JP2016162421A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】 ＲＡＷ画像を現像するために用いる現像パラメータを審美性に基づき探索する際、好適なパラメータを高速に探索できるようにする。【解決手段】 ＲＡＷ画像データから算出される第１の特徴量と複数の現像パラメータとに基づいて複数の第２の特徴量を算出し、この複数の第２の特徴量それぞれに対応する審美スコアを推定する。そして、推定した審美スコアから好適な現像パラメータを選択する。【選択図】 図１

Description

本発明は、ＲＡＷ画像に基づいて画像を現像する際の現像パラメータを決定する情報処理装置、情報処理方法、およびプログラムに関する。

デジタルカメラが撮影時に取得する画像センサのデータは、ＲＡＷデータ（生データ）と呼ばれ、これはデジタルカメラの画像センサの出力値をＡ／Ｄ変換した値をそのまま保持したデータのことである。そして、このＲＡＷデータに対して現像処理を行うことによって、通常の画像である現像後画像が生成される。ここで、現像処理とは、ベイヤー配列された画素データをＲＧＢ３チャネルのピクセル値に変換するデモザイキング処理や、露出調整、ホワイトバランス調整、ノイズ除去処理などの各種画像処理から成る処理のことである。そして、現像処理のパラメータのことは現像パラメータとも呼ばれる。現像パラメータは画像処理それぞれの処理パラメータを総称するものである。撮影者は、ＲＡＷデータを保持しておけば、撮影後に現像パラメータを調整することで好みの現像後画像を生成することができる。

特許文献１には、さまざまな現像パラメータを使ってＲＡＷデータを現像した現像後画像をユーザに提示して選ばせ、ユーザの好みの現像パラメータを画像種（シーン判別結果）ごとに記憶しておく方法が記載されている。この方法では、新たに撮影した入力画像に対して、この入力画像に類似する画像に対して事前にユーザが設定しておいた現像パラメータによって、現像処理がなされるようになる。

特開２００９−２９６１７２号公報

Ｒｉｔｅｎｄｒａ Ｄａｔｔａ、他３名、「Ｓｔｕｄｙｉｎｇ Ａｅｓｔｈｅｔｉｃｓ ｉｎ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｉｍａｇｅｓ Ｕｓｉｎｇ ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ａｐｐｒｏａｃｈ」、９ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，Ｇｒａｚ，Ａｕｓｔｒｉａ，Ｍａｙ ７−１３，２００６，Ｐｒｏｃｅｅｄｉｎｇｓ，Ｐａｒｔ ＩＩＩ，ｐｐ２８８−３０１

しかしながら、特許文献１の方法は、シーン判別結果ごとに現像パラメータが決められており、シーン種別の数以上に現像パラメータを設定することができないため、現像後画像のバリエーションが制限される。そのため、現像パラメータの細かい違いによる画像の美しさの違いをユーザに提示することができない。

ところで、上記の技術とは別に、画像の審美性を判定する技術が存在する（非特許文献１）。画像の審美性とは、人間が画像を見て感覚的に感じる美しさのことである。この技術では、人間が審美性のスコアを付与した訓練画像を用い、機械学習の技術によって学習処理を行い、未知の画像に対して審美性のスコアを推定できるようにしている。

そこで、特許文献１の方法に審美性判定の方法を適用して、審美性を基準として好適な現像パラメータを探索する方法が考えられる。しかし、この場合は現像パラメータ候補の数だけ現像処理と審美性判定処理を行うことになり、探索処理時間が長くなってしまう。

上記課題を解決するために、本発明は、ＲＡＷ画像データに基づいて第１の特徴量を算出する第１の算出手段と、前記第１の特徴量と複数の現像パラメータの候補とに基づいて、複数の第２の特徴量を算出する第２の算出手段と、前記複数の第２の特徴量に対して審美性に関する情報を推定する推定手段と、前記推定した審美性に関する情報に基づいて、所定数の前記現像パラメータの候補を選択する選択手段と、を有することを特徴とする。

以上の構成によれば、本発明は、好適な現像パラメータを探索するための処理時間を短縮することが可能となる。

第１の実施形態に関わる情報処理装置の機能構成を示すブロック図。 第１の実施形態に関わる学習フェーズの処理を説明するフローチャート。 第１の実施形態に関わる探索フェーズの処理を説明するフローチャート。 第２の実施形態に関わる情報処理装置の機能構成を示すブロック図。 第２の実施形態における学習フェーズの処理を説明する図。 第３の実施形態に関わる情報処理装置の機能構成を示すブロック図。 第３の実施形態に関わる学習フェーズの処理を説明するフローチャート。 第３の実施形態に関わる探索フェーズの処理を説明するフローチャート。 第４の実施形態において第２の特徴量の算出の処理を示すフローチャート。

［第１の実施形態］
以下、図面を参照して本発明の実施形態を詳細に説明する。

図１は、本実施形態に関わる情報処理装置の機能構成を説明するブロック図であり、後述する本実施形態の情報処理フローを実施するためのソフトウェアを実行する機能部を示している。図１に示す各機能部は、情報処理装置が有しているＣＰＵがＲＯＭまたはＲＡＭ等の格納手段に格納されている制御プログラムを実行することにより実現される。

なお、本実施形態において、格納手段には、第１の学習データセットとして、複数の学習データが保持されている。１つの学習データは、ＲＡＷ画像データ、現像パラメータ、審美スコアの組から成る。ＲＡＷ画像データとは、デジタルカメラ等の撮像装置（図示せず）によって撮影され、何も処理されていない生のデータのことである。現像パラメータとは、ＲＡＷ画像データを現像する際の現像処理のパラメータである。現像処理とは、例えば、色温度補正、暗部補正、シャープネス補正などの画像処理を含むものである。現像パラメータは、それぞれの画像処理に対するパラメータである複数のパラメータ値から構成されるものとする。審美スコアとは、現像パラメータを用いてＲＡＷ画像データを現像処理して生成された現像後画像が美しいかどうかを人間が評価し付与したスコアである。審美スコアは１０点満点などの実数であってもよいし、良いか悪いかを０，１で表現した２値スコアであってもかまわない。

また、このようなデータセットを準備する労力を避けるために、プロが撮影して現像パラメータを調整した画像のＲＡＷ画像データと現像パラメータを入手し、これを良画像（審美性の高い画像）の学習セットとしてもよい。この場合、後述する学習部１１３においては、学習セットの良画像への近さによって審美性スコアを算出するような学習方法をとればよい。以上のような学習データを、さまざまな絵柄の画像について事前に収集しておき、第１の学習データセットとして格納手段に保持しておく。

図１に戻り、情報処理装置は、ＲＡＷ画像データをＲＧＢ画像に変換するデモザイキング部１１０、ＲＧＢ画像の特徴量を算出する第１の特徴量算出部１１１、第１の特徴量と現像パラメータとから第２の特徴量を算出する第２の特徴量算出部１１２を有する。以上の構成は、後述する情報処理装置の学習フェーズ、探索フェーズの両方の処理を実行するための機能部である。

また、学習フェーズの処理に関わる学習部１１３は、説明変数と目標変数の組からなる訓練データを用いて、未知のデータに対する出力値を推定する推定器を訓練する手段である。本実施形態において、説明変数は画像や現像パラメータ等の情報から抽出した特徴量にあたり、目標変数は審美スコアにあたる。学習部１１３の学習手法は特定の構成に限定されるものではなく、適用可能な学習手法としては、例えば、線形回帰、サポートベクトル回帰（ＳＶＲ）、回帰木などが挙げられる。また、審美スコアが画像の良否を表す２値スコアである場合には、サポートベクトルマシン（ＳＶＭ）などの２クラス判定的な学習手法でもよい。また、訓練データが追加されるごとに逐一学習の更新を行うオンライン学習と呼ばれる学習手法を用いることも可能であり、例えば確率的勾配法などが知られている。

また、情報処理装置は、探索フェーズの処理に関わる構成として、現像パラメータ候補セットを生成する現像パラメータ候補生成部１１４、第１の審美スコア推定用辞書１２１を用いて審美スコアを推定する第１の審美スコア推定部１１５を有する。また、現像パラメータ候補セットから現像パラメータを選択する現像パラメータ選択部１１６、選択現像パラメータセットに含まれる現像パラメータ間の類似度を算出する類似度算出部１１７を有する。また、ＲＡＷ画像データから現像後画像を生成する現像部１１８、生成した現像後画像を表示装置に表示する表示部１１９、ユーザが選択した現像後画像に対応するＲＡＷ画像データをユーザ選択情報として取得するユーザ選択情報取得部１２０を有する。

情報処理装置の格納手段には、上述の第１の学習データセット１２０、未知の画像に対して審美スコアを推定するために用いられる第１の審美スコア推定用辞書１２１を記憶する領域が割り当てられている。また、探索する現像パラメータの全組合せを保持する現像パラメータ候補セット１２２、現像パラメータ候補に対応する審美スコアから成る審美スコア推定値セット１２３の領域も割り当てられている。上記と同様に、審美スコアに基づき選択された現像パラメータを保持する選択現像パラメータセット１２４、生成された現像後画像を保持する現像後画像セット１２５も格納手段に保存される。

なお、以上の説明では、学習フェーズの処理と探索フェーズの処理とを一体の情報処理装置により行うための構成について述べたが、各フェーズの処理をそれぞれ別体の情報処理装置により行うようにしてもよい。以下、本実施形態の各機能部の詳細な処理について説明する。図２は、本実施形態の情報処理装置における学習フェーズの処理を示すフローチャートである。

まず、ステップＳ２０１では、デモザイキング部１１０が、第１の学習データ記録部１２０から１つの学習データを読み出す。１つの学習データは、ＲＡＷ画像データ、現像パラメータ、審美スコアの３つのデータの組からなっている。ステップＳ２０２では、デモザイキング部１１０が、ＲＡＷ画像データをＲＧＢ画像に変換する。ＲＧＢ画像とは１つの画素がＲ，Ｇ，Ｂの３つのチャネルの値からなっている画像のことである。デモザイキング部１１０が行う処理は、ベイヤー配列で保持されているＲＡＷ画像データをＲＧＢ画像に変換する処理であり、一般的に知られている処理であるので、詳細説明は省略する。

ステップＳ２０３では、第１の特徴量算出部１１１が、ステップＳ２０２で得たＲＧＢ画像の特徴量を算出する。第１の特徴量算出部１１１は、非特許文献１に記載されるように、例えば色の統計量や空間周波数成分を特徴量として算出する。非特許文献１に記載の特徴量算出方法は、ＲＧＢ画像に対しても適用することが可能である。ただし、本実施形態は、この例に限定されるものではなく、画像の審美性に相関する特徴量をＲＧＢ画像から算出する特徴量算出方法であれば、他の方法であってもかまわない。なお、本実施形態において、第１の特徴量はＤ１次元の特徴ベクトルとして表現されるものとする。

ステップＳ２０４では、第２の特徴量算出部１１２が、ステップＳ２０３で得た第１の特徴量と現像パラメータとに基づき第２の特徴量を算出する。現像パラメータに含まれるパラメータ値の数がＤ２個であるとすると、第２の特徴量算出部１１２は、Ｄ２個のパラメータ値をＤ２次元の特徴ベクトルとみなして、第１の特徴量（Ｄ１次元の特徴ベクトル）に連結した特徴ベクトルを第２の特徴量として算出する。この場合、第２の特徴量は（Ｄ１＋Ｄ２）次元の特徴ベクトルとなる。

ステップＳ２０５では、学習部１１３に訓練データを追加する。訓練データとは、前ステップで得られた第２の特徴量を説明変数とし、また、審美スコアを目標変数としたものである。なお、学習手法がオンライン学習に類する手法である場合には、訓練データを追加した時点で学習結果を更新し、第１の審美スコア推定用辞書１２１を更新する。

ステップＳ２０６では、第１の学習データ記録部１２０に未処理の学習データが残っていないかどうかを判定する。未処理の学習データが残っていればステップＳ２０１に戻り、未処理の学習データがなければステップＳ２０７に進む。

ステップＳ２０７では、学習部１１３が学習処理を行う。学習部１１３は、先に述べたような既存の学習手法によって、説明変数から目標変数への推定を行う推定器を訓練し、これを第１の審美スコア推定用辞書１２１として保存する。一般的に、学習処理の結果として生成される、学習モデルのパラメータが記載されたデータのことを辞書と呼ぶ。第１の審美スコア推定用辞書１２１も、未知の画像に対して審美スコアを推定する審美スコア推定部のためのデータであり、学習処理の結果生成されたものである。なお、学習手法がオンライン学習の手法である場合には、ステップＳ２０５にて訓練データを追加した時点で第１の審美スコア推定辞書１２１が更新されており、本ステップでは何の処理も行わない。

次に、本実施形態における探索フェーズの処理について説明する。図３は、本実施形態における探索フェーズの処理を説明するフローチャートである。探索フェーズの処理は、与えられたＲＡＷ画像データに対してそれに適する現像パラメータを探索する処理にあたる。

まず、ステップＳ３０１では、デモザイキング部１１０が、入力データとして与えられたＲＡＷ画像データを取得する。そして、ステップＳ３０２では、デモザイキング部１１０が、ＲＡＷ画像データからＲＧＢ画像を生成する。続くステップＳ３０３では、第１の特徴量算出部１１１が、ＲＧＢ画像から第１の特徴量を算出する。このステップＳ３０３の処理は、前述した、学習フェーズにおけるステップＳ２０３の処理と同様である。

ステップＳ３０４では、現像パラメータ候補生成部１１４が、現像パラメータ候補セット１２２を生成する。現像パラメータ候補セット１２２は、探索フェーズの処理で探索する現像パラメータの全組合せを保持するものである。例えば、ひとつの現像パラメータはＮｐ個のパラメータ値からなるとし、ｉ番目（１≦ｉ≦Ｎｐ）のパラメータ値の探索下限値をＤＰＬｉ、探索上限値ＤＰＨｉとする。またｉ番目のパラメータ値の探索ステップ数をＭｉとする。現像パラメータ候補生成部１１４は、探索候補として、ＤＰＬｉからＤＰＨｉまでの値をＭｉステップで設定する。ＤＰＬｉとＤＰＨｉ設定値は、最初は各パラメータ値の最小値、最大値に設定しておけばよい。

例えば、露出補正処理のパラメータ値の探索範囲がＤＰＬｉ＝−３．０、ＤＰＨｉ＝＋３．０、探索ステップ数Ｍｉ＝５と設定されている場合は、そのパラメータ値の探索候補は｛−３．０，−１．５，０．０，＋１．５，＋３．０｝と設定すればよい。現像パラメータ候補セット１２２に格納される現像パラメータ候補の数Ｎｄｐは、以下の数１式で表わされる。

Ｍｉの設定値は固定的に設定しておいてもよいし、以下で述べるステップＳ３１５にてループごとに設定を変えてもかまわない。

ステップＳ３０５では、第２の特徴量算出部１１２が、現像パラメータ候補セット１２２から現像パラメータを１つ取り出す。前述のように、１つの現像パラメータには複数のパラメータ値が設定されている。ステップＳ３０６では、第２の特徴量算出部１１２が、ステップＳ３０５で取得した現像パラメータと、第１の特徴量とに基づいて第２の特徴量を算出する。この処理は、前述した、学習フェーズのステップＳ２０４の処理と同様である。

ステップＳ３０７では、第１の審美スコア推定部１１５が、第１の審美スコア推定用辞書１２１を用いて第２の特徴量から審美スコアを推定し、審美スコア推定値セット１２３に追加する。審美スコア推定値セット１２３は、Ｎｄｐ個の現像パラメータ候補に対応するＮｄｐ個の審美スコアから成るデータである。ステップＳ３０８では、ＣＰＵが、現像パラメータ候補セット１２２の全ての現像パラメータに対して処理を完了したかどうかを判定する。全ての現像パラメータについて処理が完了していればステップＳ３０９へ進み、全ての現像パラメータについて処理が完了していなければステップＳ３０５に進む。

ステップＳ３０９では、現像パラメータ選択部１１６が、現像パラメータ候補セット１２２から好適な現像パラメータを１つ以上選択して、選択現像パラメータセット１２４に格納する。現像パラメータ選択部１１６は、審美スコア推定値セット１２３の中から審美スコアが高いものを１つ以上選択し（その数をＮｓｅｌｅｃｔとする）、それに対応する現像パラメータ候補を現像パラメータ候補セット１２２から１つ以上選択する。現像パラメータの選択にあたっては、Ｎｓｅｌｅｃｔの数を事前に設定しておいて、その数になるまでスコアの高い順に選んでもよいし、審美スコアが所定の閾値以上のものを全て選んで、その数をＮｓｅｌｅｃｔとしてもよい。

ステップＳ３１０では、類似度算出部１１７が、選択現像パラメータセット１２４にあるＮｓｅｌｅｃｔ個の現像パラメータ間の類似度を算出する。現像パラメータ間の類似度の算出方法については、現像パラメータを多次元ベクトルとみなし、各次元を正規化したうえで、ベクトル間のＬ２距離を類似度とみなすなどすればよい。

ステップＳ３１１において、現像パラメータ選択部１１６が、算出した類似度に応じて選択現像パラメータセット１２４中の現像パラメータを再選択し、選択現像パラメータセット１２４中の現像パラメータが所定数Ｎｄｉｓｐ個になるようにする。ここで所定数Ｎｄｉｓｐとは、最終的にユーザに提示する候補画像の枚数であり、事前に設定しておくか、ユーザの指示に応じて設定するものである。ここでは、選択現像パラメータセット１２４に保持される現像パラメータ数がＮｄｉｓｐより多かった場合、最も類似する現像パラメータの組のうち審美スコアが低い現像パラメータを選択現像パラメータセット１２４から削除する。以上の処理を、所定数Ｎｄｉｓｐになるまで繰り返す。

ステップＳ３１２では、現像部１１８が、選択現像パラメータセット１２４とＲＡＷ画像データを用いて、Ｎｄｉｓｐ個の現像後画像を生成し、現像後画像セット１２５に格納する。現像部１１８が行う処理は、ＲＡＷ現像処理と呼ばれている処理であり、ＲＡＷ画像データと現像パラメータの組から１つのＲＧＢ画像を生成する処理である。これはデモザイキング部１１０による処理とは異なり、現像パラメータに応じて色温度補正やシャープネス補正など様々な画像処理を行うものである。そして、ステップＳ３１３では、表示部１１９が、ステップＳ３１２で生成したＮｄｉｓｐ個の現像後画像を、情報装置に接続された表示装置（不図示）に表示させる。

ステップＳ３１４では、ユーザ選択情報取得部１２０が、ユーザ選択情報を取得する。ユーザは、表示装置に表示されたＮｄｉｓｐ個の現像後画像の中から好みの現像画像を選択し、マウス、キーボード等の入力装置によりその情報を入力する。ユーザ選択情報取得部１２０は、ユーザが選択した現像後画像に関するＲＡＷ画像データと現像パラメータの組から成る情報をユーザ選択情報として取得、保持する。

ステップＳ３１５では、ＣＰＵが、ユーザから追加探索の指示があるかを確認し、追加探索の指示がある場合はステップＳ３１６に進む。一方、追加探索の指示がない場合は、ユーザが選択した現像後画像、またはこの現像後画像に関連するＲＡＷ画像データと現像パラメータの組のデータであるユーザ選択情報等を出力して、処理を終了する。

ステップＳ３１６では、現像パラメータ選択部１１６が、ユーザにより選択された現像後画像に付随する現像パラメータを用いて探索の範囲を再設定する。すなわち、現像パラメータのｉ番目のパラメータ値の探索下限値ＤＰＬｉ、探索上限値ＤＰＨｉを変更する。具体的には、現像パラメータ選択部１１６は、ユーザが選択した現像後画像を現像した際のパラメータ値を中心とし、前回探索の候補となっていない範囲の値を下限、上限となるように再設定する。例えば、前回探索で露出補正処理のパラメータ候補が｛−３．０，−１．５，０．０，１．５，３．０｝で、ユーザが０．０を選択した場合、０．０の近傍の候補パラメータによりＤＰＬｉ＝−１．４，ＤＰＨｉ＝１．４などと設定するなどすればよい。この場合、このパラメータ値の次回の探索候補は｛−１．４，−０．７，０．０，０．７，１．４｝となる。また、ｉ番目のパラメータ値の探索ステップ数Ｍｉをここで変更してもよい。ステップＳ３１６で現像パラメータの探索範囲が再設定された後、処理はステップＳ３０４へと進み、前述したステップＳ３０４以降の処理を再度行う。

以上、本実施形態における探索フェーズの処理について説明した。ここで、ステップＳ３１０〜Ｓ３１１、および、ステップＳ３１４〜Ｓ３１５の処理を行わなくても、好適な現像パラメータの探索は可能である。例えば、ユーザを介在させずに自動的に最適な現像パラメータを決定する場合は、ステップＳ３０９で最も審美スコアの高い現像パラメータを１つ出力するようにすればよい。

または、ステップＳ３１４において、ユーザが明示的に選択するのではなく、最も審美スコアが高い現像パラメータ候補の現像後画像を自動的に選択し、さらにステップＳ３１５で追加探索に進むようにしてもよい。このようにすれば、初期に設定していたＤＰＬｉ，ＤＰＨｉの値の探索範囲から粗い探索を始め、徐々に審美性の高い現像パラメータにむけて探索範囲を絞り込みつつ詳細探索するようなＣｏａｒｓｅ ｔｏ Ｆｉｎｅの探索が可能になる。この場合、ステップＳ３１５では、既に十分に詳細な探索を完了したかどうかを、繰返し回数、またはＤＰＬｉとＤＰＨｉとの差分等によって判定すればよい。探索を完了した後で、自動で選択した現像後画像をユーザに提示し、確認させるようにしてもよい。

また、ステップＳ３１４で取得するユーザ選択情報を用いて、第１の審美スコア推定用辞書１２１を更新する学習更新部を更に有するようにしてもよい。これにより、ユーザが好む現像後画像を生成するような現像パラメータが学習されるようになる。学習更新部の構成例としては、学習部１１３の学習手法がオンライン学習的手法であれば、選択した現像後画像に関連するＲＡＷ画像データと現像パラメータの組のデータであるユーザ選択情報等を学習部１１３に追加すればよい。オンライン学習でない場合は、第１の学習データセット１２０にユーザ選択情報を加えて学習処理のやり直しをすればよい。その際、ユーザ選択情報の学習重み（学習時にそのデータを重要視させる重み係数）を、第１の学習データセットに含まれるデータよりも所定割合だけ増して学習してもよい。これにより、ユーザが好適であると直接判断したデータがより重み付けられて辞書が更新されるようになる。辞書の更新は、本フローチャートのループごとに行ってもよいが、ユーザ選択情報を追加学習データセットとして保存しておいて、適当な時期に学習更新処理を行うようにしてもかまわない。

以上、本実施形態では、第１の審美スコア推定部１１５は、現像後のＲＧＢ画像から算出する画像特徴を用いるのではなく、現像前のＲＡＷ画像データから算出する第１の特徴量と現像パラメータとから算出する第２の特徴量に基づいて、審美スコアを推定する。第１の特徴量は画像特徴であるため算出処理には比較的時間がかかるが、第２の特徴算出処理の処理は画像のような大量のデータの処理ではなく、また、複雑な処理でもないために高速に処理可能である。本実施形態では、処理時間がかかる第１の特徴量の算出はＲＡＷ画像につき１回だけ算出しておけばよいため、第２の特徴量算出の処理は探索候補の数だけ繰り返す必要があっても、高速な審美性スコア推定処理が可能となる。

このように、本実施形態の構成によれば、審美性を基準とした好適な現像パラメータの探索が可能になり、しかも、探索の際に探索候補の数だけの現像処理を行う必要がなく、高速な探索処理が可能になる。

また、本実施形態のステップＳ３１０，Ｓ３１１では、現像パラメータ間の類似度を求めて、類似する現像パラメータを削除するようにしている。この構成により、審美スコアが高くなるだけでなくバラエティに富むような現像パラメータをユーザに提示できるようになる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、第１の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。また、本実施形態の探索フェーズの処理は、第１の実施形態の探索フェーズの処理と同一であるため、ここでは、学習フェーズの処理について説明する。

図４は、本実施形態に関わる情報処理装置の機能構成を説明するブロック図である。本実施形態の情報処理装置は、第２の審美スコア推定部１３０および学習データ生成部１３１を有する。第２の審美スコア推定部１３０は、従来から知られている手法により審美スコアを推定するもので、インターネット上にある多数の審美スコア付きの画像データなどを用いて、多様な画像の審美スコアが推定できるように事前に訓練されている。第２の審美スコア推定部１３０に未知のＲＧＢ画像を与えれば、その未知画像の審美スコアを推定することができる。

また、情報処理装置の格納手段には、学習用ＲＡＷ画像データセット１２６、および第２の学習データセット１２７を記憶するための領域が用意されている。学習用ＲＡＷ画像データセット１２６は、ＲＡＷ画像データを複数含むだけのものであり、現像パラメータや審美スコアなどは含まないという点で、第１の学習データセット１２０とは異なる内容のものである。

図５は、本実施形態における学習フェーズの処理を説明する図であり、図５（Ａ）は学習フェーズの処理の流れを示すフローチャートである。ステップＳ５０１では、学習データセット生成処理が実行され、学習データ生成部１３１が、第２の学習データセット１２７を生成し、格納手段に保存する。学習データセット生成処理の詳細については後述するが、ユーザが画像の審美スコアを付与することなく学習データセットを生成することができる。

ステップＳ５０２では、学習部１１３が、第２の学習データセット１２７を用いて学習処理を行う。このステップＳ５０２の処理内容は、第１の実施形態で説明した学習フェーズ全体の処理と同様のものである。ただし、第１の学習データセット１２０に代えて第２の学習データセット１２７を学習に使う点が異なる。それ以外の処理の内容に違いはない。

本実施形態の学習部１１３は、第２の学習データセット１２７からＲＡＷ画像データを取り出して第１の特徴量を算出し、さらに現像パラメータを用いて第２の特徴量を算出する。また、学習部１１３は、第２の特徴量を説明変数として、審美スコアを目標変数として、第１の審美スコア推定器を訓練する。学習の結果、第１の審美スコア推定用辞書１２１が情報装置の格納手段に保存される。

なお、ステップＳ５０２では、第２の学習データセット１２７に加えて、第１の学習データセット１２０に含まれる学習データも併せて学習に使用してもよい。その場合、さらに第１の学習データセット１２０に含まれる学習データの重みを第２の学習データセットの重みより所定割合だけ増して学習してもよい。これは、第２の学習データセット１２７に含まれる学習データは、第２の審美スコア推定器によって推定された審美スコアを目標変数とする学習データであり、幾分かの誤差を含む可能性があるためである。このように異なる重みを与えることで、データの信頼度に応じた学習を行うことが可能になる。

次に、学習データセット生成処理について説明する。図５（Ｂ）は、学習データセット生成処理の流れを説明するフローチャートである。ステップＳ５１１では、現像パラメータ候補生成部１１４が、現像パラメータ候補セットを生成し、格納手段に現像パラメータ候補セット１２２を格納する。この処理は、図３のステップＳ３０４の処理内容と同様である。なお、現像パラメータの候補数はＮｄｐとする。

ステップＳ５１２では、学習データ生成部１３１が、学習用ＲＡＷ画像データセット１２６から、まだ処理していない１つの学習用ＲＡＷ画像データを選び出す。次に、ステップＳ５１３では、現像パラメータ候補生成部１１４が、ステップＳ５１１で生成したＮｄｐ個の現像パラメータ候補から、まだ処理していない１つの現像パラメータを選び出す。

ステップＳ５１４では、現像部１１８が、ＲＡＷ画像データと現像パラメータとを用いて現像処理を行い、ひとつの現像後画像を生成する。次に、ステップＳ５１５では、第２の審美スコア推定部１３０が、現像後画像の審美スコアを推定する。第２の審美スコア推定部１３０は、現像後画像のような現像済みのＲＧＢ画像の審美スコアを推定するように事前に訓練されているものであり、これは従来の技術である。

ステップＳ５１６では、学習データ生成部１３１が、ＲＡＷ画像データ、現像パラメータ、及び審美スコアの組を、第２の学習データセット１２７に追加する。続くステップＳ５１７では、ＣＰＵが、現像パラメータ候補セット１２２に含まれる全てのデータに対して、以上の処理が完了したかどうかを判定する。全てのデータに対する処理が完了していればステップＳ５１８へ進み、完了していなければステップＳ５１３に戻る。

ステップＳ５１８では、ＣＰＵが、学習用ＲＡＷ画像データセット１２６に含まれる全てのデータに対して、以上の処理が完了したかどうかを判定する。全てのデータに対する処理が完了していれば学習データセット処理は完了し、完了していなければステップＳ５１２に戻る。

以上、本実施形態の構成によれば、第１の学習データセット１２０として多数のデータをユーザが準備することなく、第１の審美スコア推定用辞書を生成することが可能になる。また、ユーザが通常設定することがないような広範な現像パラメータによって現像された画像を学習データセットに加えることができ、学習データセットの多様性が増える。そのため、探索フェーズでユーザが予期しない画像を提示できるようになる。さらには、第１の学習データセットの学習重みを第２の学習データセットより増すことにより、人間が審美スコアを付けたデータをより強く学習することが可能になる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。本実施形態は、学習フェーズにおいて、画像種別ごとに分けた学習データセットを用いて学習を行い、画像種別ごとに第１の審美スコア推定用辞書を生成する。そして、探索フェーズにおいては、入力したＲＡＷ画像データに対して画像種別判定を行い、判定結果に基づいて第１の審美スコア推定用辞書を切替えて探索処理を行う。以下、第１、第２の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。

図６は、本実施形態の情報処理装置の機能構成を示すブロック図である。第１の実施形態と比較すると、本実施形態の情報処理装置は、画像の種別を判別する画像種別判別部１３２を有している点で異なっている。また、本実施形態では、第１の学習データセットを画像種別ごとに分割して生成した画像種別学習データセット１２８を格納する領域を格納手段に備える。また、第１の実施形態で用いた第１の審美スコア推定用辞書１２１に代えて、本実施形態では画像種別第１の審美スコア推定用辞書１２９を用いる。

次に、本実施形態の学習フェーズの処理について説明する。図７は、本実施形態における学習フェーズの全体の処理を示すフローチャートである。第１の学習データセット１２０が事前に用意されている点は第１の実施形態と同様である。

まず、ステップＳ７０１では、画像種別判別部１３２が、第１の学習データセット１２０を画像種別ごとに分割する。具体的には、デモザイキング手段１１０がＲＡＷ画像データをＲＧＢ画像に変換した後、画像種別判別部１３２が、画像分類用の画像特徴を用いてクラスタリングし、学習データセット１２０をＮｓ個の学習データセットに分割する。分割したデータセットは、画像種別学習データセット１２８として格納手段に格納される。なお、Ｎｓは事前に定められた所定数であり、画像分類用の画像特徴とは、例えば色ヒストグラムやエッジ方向ヒストグラムを使った局所特徴量のヒストグラム（Ｂａｇ ｏｆ Ｖｉｓｕａｌ Ｗｏｒｄｓと呼ばれるもの）等の画像特徴である。

また、画像種別判別部１３２は、クラスタのクラスタ中心を記憶手段に記録しておく。これにより、探索フェーズにおいて未知のＲＡＷ画像データを処理する際には、それをデモザイキングしたＲＧＢ画像がＮｓ個のデータクラスタ中心のどれに一番近いかを判定することによって未知画像の画像種別を判別する。

ステップＳ７０２では、ステップＳ７０１で画像種別ごとに分けられた画像種別学習データセット１２８に含まれるデータセットを用いて、画像種別ごとに第１の実施形態における学習フェーズと同様の処理を行う。その結果、Ｎｓ個の辞書が生成され、画像種別第１の審美スコア推定用辞書１２９として格納手段に格納される。

次に、本実施形態の探索フェーズの処理について説明する。本実施形態の探索フェーズにおける処理は、図３に示す第１の実施形態の探索フェーズの処理に対して、ステップＳ４０２とＳ４０３との間に画像種別判別によって辞書を切り替える画像種別判別処理の工程を追加したものとなっている。以下、図８を用いて、第１の実施形態の探索フェーズとの差異にあたる、画像種別判別処理の工程について説明する。

図８において、ステップＳ８０１では、画像種別判別部１３２が、ＲＡＷ画像データの画像種別を判定する。その判定手法は、学習フェーズでの判定と同様であり、対象としているＲＧＢ画像が、学習フェーズでクラスタリングした際のどのクラスタ中心に近いかを判別するものである。

次に、ステップＳ８０２では、画像種別判別部１３２が、ステップＳ８０１で判別された画像種別１３８に応じて、画像種別第１の審美スコア推定用辞書１２９から画像種別に対応する辞書をひとつ取り出し、第１の審美スコア推定部１１５にセットする。

以上が、本実施形態の画像種別判別処理である。本実施形態では、このような処理が第１の実施形態の探索フェーズのステップＳ４０２とＳ４０３の間に追加されることで、第１の審美スコア推定部１１５は、ステップＳ４０７において画像種別ごとに学習された辞書を用いて審美スコア推定処理を行うことができる。

本実施形態の構成では、画像の種別に応じて第１の審美スコア推定器を訓練しておくことにより、画像の種別に応じて適切な現像パラメータを探索することができるようになる。画像の審美性の判断基準は画像の種別に応じて異なることが予想され、画像の種別ごとに学習を行うことが有効である。本実施形態においては、現像後の画像に対して画像種別を判別するのではなく、ＲＡＷ画像データに対して（撮像パラメータを使わずに）画像種別判別を一度だけ行い、その判別結果に応じて多数の探索処理を高速に行うことが可能になる。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。第１の実施形態では、審美スコアを推定する際に用いる説明変数として、ＲＡＷ画像及び現像パラメータから抽出した特徴量を用いるようにしていたが、本実施形態では、さらに撮影時情報及び画像種別から抽出する特徴量を加える。撮影時情報とは、ＲＡＷ画像が撮影された時の種々の付帯情報であり、例えば撮影時刻、ＧＰＳ情報などが挙げられる。また、撮影装置（カメラ）が高度計、照度計、コンパス、加速度計などの機能を有する場合は、撮影時のそれらデータを撮影時情報としてもよい。これらの情報は、撮影時にＲＡＷ画像データと関連付けられており、ＲＡＷ画像が情報処理装置に格納される際、併せて記録される。また、本実施形態の第１の学習データセット１２０中の学習データには、ＲＡＷ画像データ、現像パラメータ、審美スコアとともに撮影時情報も記録されている。

本実施形態は、第３の実施形態で示した情報処理装置の構成により実施可能であるため、その説明は省略する。次に、本実施形態における学習フェーズの処理について説明する。本実施形態の学習フェーズは、第１の実施形態における学習フェーズの処理とほぼ同じであるが、以下の２つの点が異なる。

まず、第１点として、第１の実施形態では、ステップＳ２０１において、第１の学習データセット１２０より１つの学習データを取得する際は、ＲＡＷ画像データ、現像パラメータ、審美スコアから成る組を１つ取り出していた。本実施形態では、さらに撮影時情報も取得する。

第２点として、本実施形態と第１の実施形態とでは、第２の特徴量を算出する処理が異なる。第１の実施形態では、ステップＳ２０４において、第２の特徴量算出部１１２は、第１の特徴量と、現像パラメータから算出した特徴量とを結合した特徴量を算出していた。本実施形態では、さらに、撮影時情報から算出する特徴量、及び画像種別判別部１３２がＲＡＷ画像データにから判別した画像種別から算出する特徴量を加えて、第２の特徴量を算出する。本実施形態の学習フェーズでは、以下に説明する第２の特徴量の算出処理を、第１の実施形態のステップＳ２０４に代えて行えばよい。

以下に、本実施形態における第２の特徴量の算出処理の詳細について説明する。図９は、本実施形態における第２の特徴量の算出の処理を示すフローチャートである。

ステップＳ９０１では、第２の特徴量算出部１１２が、現像パラメータの情報を特徴ベクトル化する。これは、第１の実施形態のステップＳ２０４の処理と同じように、現像パラメータのパラメータ値の列をそのまま多次元ベクトルとして扱えばよい。次に、ステップＳ９０２では、第２の特徴量算出部１１２が、撮影時情報を特徴ベクトル化する。撮影時情報は複数の数値の集まりとして表現されるため、例えば、それを多次元ベクトルとして扱えばよい。

ステップＳ９０３では、画像種別判別部１３２が、ＲＡＷ画像データの画像種別を判別し、その判別した画像種別を１からＮｓまでの数値（クラスタ番号）の情報として保持する。

なお、画像種別判別部１３２は、事前に第１の学習データセット１２０に対してクラスタリング処理を行い、そのクラスタ中心を記憶しておき、未知画像に対しては再近傍となるクラスタを判定するものである。ただし、これは一例であり、画像種別判別部１３２は未知の画像に対して画像種別判別ができるように事前に学習されていれば、どのような方法で実現されてもかまわない。本実施形態の画像種別判別部１３２は、第３の実施形態とは異なり、第１の学習データセット１２０を分割する必要はない。

ステップＳ９０４では、第２の特徴量算出部１１２が、ステップＳ９０３で得た画像種別を特徴ベクトル化する。画像種別の値をそのまま１次元のベクトル値としてもよいし、Ｎｓビットのバイナリ値（該当する画像種別の番号のビットが１）としてもよい。

ステップＳ９０５では、第２の特徴量算出部１１２が、第１の特徴量と、現像パラメータの特徴ベクトルと、ステップＳ９０２で得た撮影時情報の特徴ベクトルと、ステップＳ９０４で得た画像種別の特徴ベクトルとを結合し、第２の特徴量を生成する。

以上が、本実施形態における第２の特徴量の算出処理である。上述の説明では、撮影時情報および画像種別に基づく２種類の特徴量を用いるようにしているが、どちらか一方の特徴量だけを用いるようにしてもよい。

また、本実施形態の探索フェーズの処理も基本的に第１の実施形態と同じである。ただし、処理対象のＲＡＷ画像データに対して撮影時情報も関連付けて与えられ、前述した第２の特徴量の算出処理（図９）により第２の特徴量を算出する。

以上、本実施形態の構成によれば、画像自体の情報に加えて、撮影時の情報を説明変数として用いることにより、撮影時間、場所などの条件も加味した審美スコア推定を行うことができ、好適な現像パラメータを探索することが可能になる。また、画像種別の情報を説明変数として用いることにより、使用する辞書は１つでありながら、画像種別の条件も加味して審美スコア推定を行うことができ、好適な現像パラメータを探索することが可能になる。いずれの場合も、現像処理を行わずに審美スコアを推定して探索を行うので、処理時間を要する第１の特徴量算出は１回のみ行えばよく、好適な現像パラメータを高速に探索することが可能になる。

［その他の実施形態］
なお、本発明は、以下の種々の形態に適用可能である。例えば、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明の趣旨は、種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれる。

１１１ 第１の特徴量算出部
１１２ 第２の特徴量算出部
１１４ 現像パラメータ候補生成部
１１５ 第１の審美スコア推定部
１１６ 現像パラメータ選択部

Claims (15)

1. ＲＡＷ画像データに基づいて第１の特徴量を算出する第１の算出手段と、
   前記第１の特徴量と複数の現像パラメータの候補とに基づいて、複数の第２の特徴量を算出する第２の算出手段と、
   前記複数の第２の特徴量に対して審美性に関する情報を推定する第１の推定手段と、
   前記推定した審美性に関する情報に基づいて、所定数の前記現像パラメータの候補を選択する選択手段と、を有することを特徴とする情報処理装置。
2. 前記ＲＡＷ画像データに基づいてＲＧＢ画像を生成するするデモザイキング手段を更に有し、
   前記第１の算出手段は、前記生成されたＲＧＢ画像に基づいて、前記第１の特徴量を算出することを特徴とする請求項１に記載の情報処理装置。
3. 前記選択手段により選択された所定数の現像パラメータの候補の類似度を算出する類似度算出手段を更に有し、
   前記選択手段は、前記算出された類似度に基づいて、現像パラメータの候補を再び選択することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記選択手段により選択された現像パラメータの候補に基づいて、前記ＲＡＷ画像データから画像を現像する現像手段と、
   前記現像された画像を表示装置に表示する表示手段と、を更に有することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記表示装置に表示された画像からユーザが選択した画像に関する情報を取得する取得手段を更に有し、
   前記第２の算出手段は、前記取得した情報に基づき複数の現像パラメータの候補を変更して、前記複数の第２の特徴量を再び算出することを特徴とする請求項４に記載の情報処理装置。
6. 前記ＲＡＷ画像データに対して画像種別の判別を行う画像種別判別手段を更に有し、
   前記第１の推定手段は、前記判別された画像種別に応じて推定用辞書を切り替えて、前記複数の第２の特徴量に対して審美性に関する情報を推定することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記第２の算出手段は、前記第１の特徴量と、前記複数の現像パラメータの候補と、前記ＲＡＷ画像データの画像種別または撮影時情報のいずれかに一方とに基づいて、前記第２の特徴量を算出することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記第１の推定手段は、学習用ＲＡＷ画像データと複数の現像パラメータと審美性に関する情報とを含む第１の学習データに基づいて学習された推定用辞書を用いて、前記複数の第２の特徴量に対して審美性に関する情報を推定することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 学習用ＲＡＷ画像データと複数の現像パラメータと審美性に関する情報とを含む第１の学習データに基づいて、前記推定用辞書を学習する学習手段を更に有することを特徴とする請求項８に記載の情報処理装置。
10. 前記第１の算出手段が、前記学習用ＲＡＷ画像データに基づいて第１の特徴量を算出し、
    前記第２の算出手段が、前記算出した第１の特徴量と前記学習データに含まれる現像パラメータとに基づいて、第２の特徴量を算出し、
    前記学習手段が、前記算出した第２の特徴量と前記学習データに含まれる審美性に関する情報とに基づいて、前記推定用辞書を学習することを特徴とする請求項９に記載の情報処理装置。
11. 学習用ＲＡＷ画像データを所定の現像パラメータにより現像した画像に基づいて、審美性に関する情報を推定する第２の推定手段と、
    前記第２の推定手段に供された学習用ＲＡＷ画像データおよび現像パラメータと、前記第２の推定手段により推定された審美性に関する情報とを含む第２の学習データを生成する学習データ生成手段と、を更に有し、
    前記学習手段は、前記第１の学習データと前記第２の学習データとに基づいて、前記推定用辞書を学習することを特徴とする請求項９または１０に記載の情報処理装置。
12. 前記学習手段は、前記第１の学習データと前記第２の学習データとに対して異なる重み付けを行って、前記推定用辞書を学習することを特徴とする請求項１１に記載の情報処理装置。
13. 前記学習手段は、前記学習用ＲＡＷ画像の画像種別ごとに推定用辞書を学習することを特徴とする請求項９から１２のいずれか１項に記載の情報処理装置。
14. ＲＡＷ画像データに基づいて第１の特徴量を算出する第１の算出ステップと、
    前記第１の特徴量と複数の現像パラメータの候補とに基づいて、複数の第２の特徴量を算出する第２の算出ステップと、
    前記複数の第２の特徴量に対して審美性に関する情報を推定する推定ステップと、
    前記推定した審美性に関する情報に基づいて、所定数の前記現像パラメータの候補を選択する選択ステップと、を有することを特徴とする情報処理方法。
15. コンピュータを、請求項１から１３のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images