JP2011199671A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】ユーザに煩わしい操作をさせることなく、より効果的に画像を提示する。
【解決手段】画像処理装置は、周囲の状況を示す情報を取得して状況ベクトルを生成し、状況ベクトルにより特定される変換パラメータを選択する。そして、画像処理装置は、得られた変換パラメータを用いて、これから表示しようとする元画像に画像変換を施し、得られた変換画像を表示する。これにより、例えば、現在時刻が夕方であれば、その状況に合わせて元画像が、赤味がかった色合いに色調補正されて変換画像とされ、表示される。このとき、ユーザは変換パラメータを指定する等の操作を何ら行なう必要がない。本発明は、デジタルフォトフレームに適用することができる。
【選択図】図２

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、ユーザに煩わしい操作をさせることなく、より効果的に画像を提示することができるようにした画像処理装置および方法、並びにプログラムに関する。

従来、フラッシュメモリ等の記録媒体に保存されている画像のなかから、任意に選択したものを表示させたり、画像をスライドショー表示、すなわち複数の画像を順番に表示させたりするデジタルフォトフレームと呼ばれる画像再生装置が知られている。

近年では、画像を単にスライドショー表示するだけでなく、画像変換を施した画像を表示させることで、娯楽性を高めている画像再生装置も提案されてきている。例えば、そのような画像再生装置として、画像を絵画調に変換するものがあり、この画像再生装置では、ユーザの指定した水彩画モードや油絵風モードなどの芸術的な表現の画像への変換が行われる。

また、画像の提示方法として、画像ファイルの作成からの経過時間に応じて、表示させる画像を段階的にグレー化するもの（例えば、特許文献１参照）や、キーワード検索で得られたお手本画像に近い色合いになるように、画像を色変換するものもある（例えば、特許文献２参照）。

特開２００９−１４１６７８号公報

特開２００９−１７１１７６号公報

しかしながら、画像を絵画調に変換する方法では、ユーザはいちいち画像を変換させるモードを設定しなければならず、不便であった。この方法では、順番にまたはランダムに、画像を変換するモードが自動的に選択されるように設定することもできるが、そうすると画像の視聴環境などに適したモードが選択されないこともある。

また、画像を段階的にグレー化して表示させる方法では、ユーザは時間の経過を直感的に知ることはできるが、画像を効果的に表示しているとはいえなかった。さらに、お手本画像を用いて画像を色変換する方法では、ユーザはキーボード等でキーワードを入力して検索を行い、多くの画像から目的とする画像を探し出さなければならず、煩雑な操作が必要であった。

本発明は、このような状況に鑑みてなされたものであり、ユーザに煩わしい操作をさせることなく、より効果的に画像を提示することができるようにするものである。

本発明の一側面の画像処理装置は、周囲の状況を示す情報を取得し、前記情報を数値化して状況ベクトルを生成する状況ベクトル生成手段と、予め用意された画像変換用の複数の変換パラメータのうち、前記状況ベクトルにより特定されるいくつかの変換パラメータを重み付き加算する変換パラメータ算出手段と、処理対象の元画像に対して、前記重み付き加算により得られた変換パラメータを用いた画像変換を行なって、変換画像を生成する変換画像生成手段とを備える。

前記変換画像生成手段には、前記画像変換として、色調補正処理または幾何学的な変形処理の少なくとも一方を行なわせることができる。

前記変換パラメータを、目標となる色分布を示す情報とし、前記変換画像生成手段には、前記元画像の色分布が、前記目標となる色分布となるように前記元画像に対する色調補正を行なわせることで、前記変換画像を生成せることができる。

前記目標となる色分布を示す情報を、目標三次元ガウスモデルを定義する情報とし、前記変換画像生成手段には、前記元画像の色分布を示す三次元ガウスモデルの正規化された固有ベクトル空間における前記元画像の注目画素の位置に対応する、前記目標三次元ガウスモデルの正規化された目標固有ベクトル空間における位置を求めさせて、その位置から正規化前の前記目標固有ベクトル空間における前記注目画素の位置を特定させることにより、前記色調補正後の前記注目画素の画素値を算出させることができる。

前記変換パラメータ算出手段には、前記変換パラメータと、状況ベクトルからなる状況ベクトル空間における、前記変換パラメータが対応付けられた位置または領域を示す位置情報とからなるデータベースを記録させ、前記位置情報により示される位置または領域のうち、前記状況ベクトル生成手段により生成された前記状況ベクトルの終点近傍にある、所定数の位置または領域に対応付けられた前記変換パラメータを前記重み付き加算させることができる。

前記変換パラメータ算出手段には、メタデータが付加された学習画像に基づいて、前記目標となる色分布を示す情報を前記変換パラメータとして生成させるとともに、前記メタデータから前記状況ベクトルを生成させ、前記状況ベクトルにより特定される前記状況ベクトル空間の位置または領域に、前記学習画像から得られた前記変換パラメータを対応付けさせることができる。

前記変換パラメータ算出手段には、各成分に重み付けがされた前記状況ベクトルを用いて、前記重み付き加算する前記変換パラメータを特定させることができる。

前記変換画像生成手段には、前記元画像から所定の特徴の特徴量を抽出して、前記元画像の各領域における被写体らしさを示す被写体マップを生成する被写体マップ生成手段と、前記被写体マップを用いて、前記元画像上の被写体が含まれる被写体領域を特定する被写体特定手段と、前記被写体領域を含み、前記変換パラメータにより定まる大きさまたは形状の前記元画像上の領域を切り出して前記変換画像とする表示領域決定手段とを設けることができる。

本発明の一側面の画像処理方法またはプログラムは、周囲の状況を示す情報を取得し、前記情報を数値化して状況ベクトルを生成し、予め用意された画像変換用の複数の変換パラメータのうち、前記状況ベクトルにより特定されるいくつかの変換パラメータを重み付き加算し、処理対象の元画像に対して、前記重み付き加算により得られた変換パラメータを用いた画像変換を行なって、変換画像を生成するステップを含む。

本発明の一側面においては、周囲の状況を示す情報が取得され、前記情報が数値化されて状況ベクトルが生成され、予め用意された画像変換用の複数の変換パラメータのうち、前記状況ベクトルにより特定されるいくつかの変換パラメータが重み付き加算され、処理対象の元画像に対して、前記重み付き加算により得られた変換パラメータを用いた画像変換が行なわれて、変換画像が生成される。

本発明の一側面によれば、ユーザに煩わしい操作をさせることなく、より効果的に画像を提示することができる。

本発明を適用した画像処理装置の概要を説明する図である。 画像処理装置による元画像の変換について説明する図である。 本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。 画像変換部の構成例を示す図である。 画像変換処理を説明するフローチャートである。 変換パラメータの取得について説明する図である。 色調補正処理を説明するフローチャートである。 色調補正について説明する図である。 変換パラメータのデータベースの構築について説明する図である。 変換パラメータによる変換例について説明する図である。 画像変換部の構成例を示す図である。 画像変換処理を説明するフローチャートである。 画像変形処理を説明するフローチャートである。 被写体マップについて説明する図である。 変換画像の生成について説明する図である。 画像変換部の構成例を示す図である。 画像変換処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

〈画像処理装置の概要〉
図１に示すように、本発明を適用した画像処理装置１１は、画像処理装置１１の周囲の状況、すなわち画像処理装置１１がおかれた現在の状況に応じて画像に変換処理を施し、その結果得られた画像をユーザに対して提示する。

ここで、画像処理装置１１の周囲の状況とは、図２の左側に示すように、日時や曜日、天候、季節、気温、画像処理装置１１からユーザまでの距離、周囲の明るさなどをいい、画像処理装置１１は、それらの周囲の状況を示す情報を取得して、状況ベクトルを生成する。この状況ベクトルは、周囲の状況としての時刻やユーザの視聴距離などの要素を数値化し、数値化された各要素からなるベクトルである。

画像処理装置１１は、このようにして得られた状況ベクトルを用いて、これから表示しようとする画像（以下、元画像と称する）を変換するために用いる変換パラメータを選択する。例えば、図２の中央に示すように、元画像に対して色調変換を施す場合、変換パラメータは、画像における色の分布を示す三次元ガウスモデルを特定する色調変換パラメータとされる。

例えば、この色調変換パラメータにより、現在時刻に応じた色合いに元画像が色調補正される。具体的には、現在時刻が夕方や夜であった場合、元画像が夕焼けや夜景の写真のような色合いとなるように色調補正される。

また、元画像に対して幾何的な変形処理を施す場合、変換パラメータは、変形処理後に表示させる元画像の領域を特定する拡大率を示す変形パラメータとされる。例えば、この変形パラメータにより、画像処理装置１１からユーザまでの距離（以下、視聴距離と称する）に応じた倍率で元画像が拡大処理される。

なお、変形パラメータの選択にあたり、状況ベクトルだけでなく、変形後の画像を表示させる表示部の仕様を示す表示領域情報なども用いられるようにしてもよい。

変換パラメータが選択されると、画像処理装置１１は、変換パラメータを用いて元画像に対する変換処理を行う。具体的には、変換パラメータとしての色調変換パラメータを用いた色調補正処理や、変換パラメータとしての変形パラメータを用いた変形処理などが行われる。このような変換処理により、元画像が変換画像に変換されると、画像処理装置１１は、得られた変換画像を表示する。

このように、画像処理装置１１は、現在の状況を示す情報を取得して、状況ベクトルを生成し、状況ベクトルにより特定される変換パラメータを用いて、元画像を変換画像に変換し、表示する。

画像処理装置１１では、状況ベクトルにより定まる変換パラメータで、周囲の状況に合った画像変換を行うことで、ユーザを飽きさせることなく、変化に富んだ画像を表示することができる。しかも、状況ベクトルから変換パラメータを選択するので、ユーザに変換パラメータを指定させる等の面倒な操作をさせることなく、より簡単に、かつ効果的に変換画像を表示することができる。

また、状況ベクトルから変換パラメータを選択するようにしているので、時間や天気、気温、視聴者の有無など様々な状況と、変換パラメータにより定まる変換処理とを、効果的に一貫して対応付けることができる。

なお、元画像に対する変換処理は、色調変換（色調補正）や幾何的な変形に限らず、どのような変換処理が行われてもよい。また、変換処理として色調補正や幾何変形など複数の変換処理が行われて変換画像が生成されるようにしてもよい。

〈第１の実施の形態〉
［画像処理装置の構成］
次に、画像処理装置１１の具体的な構成例について説明する。図３は、画像処理装置１１の構成例を示す図である。

画像処理装置１１は、例えばデジタルフォトフレームなどからなり、状況取得部２１、メモリ２２、再生部２３、画像変換部２４、および画像表示部２５から構成される。

状況取得部２１は、例えば時計、温度計、照度計、湿度計、GPS（Global Positioning System）装置、電子コンパス、カメラ、センサなどからなる。状況取得部２１は、ユーザの視聴距離を測定したり、図示せぬネットワークを介してサーバなどの装置から、画像処理装置１１がある地域の現時刻の天気を取得したりすることにより周囲の状況を取得して状況ベクトルを生成し、再生部２３に供給する。

メモリ２２は、不揮発性の記録媒体であり、元画像を記録している。再生部２３は、例えばマイクロプロセッサなどからなり、画像処理装置１１全体の動作を制御する。例えば、再生部２３は、状況取得部２１からの状況ベクトルを用いて変換パラメータを取得し、変換パラメータと、メモリ２２から読み出した元画像を画像変換部２４に供給して変換画像を生成させる。また、再生部２３は、画像変換部２４から取得した変換画像を画像表示部２５に供給して表示させる。

画像変換部２４は、再生部２３から変換パラメータと元画像の供給を受け、変換パラメータを用いて元画像を変換画像に変換し、再生部２３に供給する。画像表示部２５は、例えば液晶ディスプレイからなり、再生部２３から供給された変換画像を表示する。

［画像変換部の構成］
また、図３の画像変換部２４は、より詳細には図４に示すように構成される。

画像変換部２４は、色空間変換部５１、固有ベクトル算出部５２、位置特定部５３、および色空間逆変換部５４から構成される。

色空間変換部５１は、再生部２３から供給された元画像の色空間を変換し、固有ベクトル算出部５２に供給する。固有ベクトル算出部５２は、色空間変換部５１から供給された色空間変換後の元画像の三次元ガウスモデルを求め、さらに得られた三次元ガウスモデルの固有値と固有ベクトルを算出し、元画像、固有値、および固有ベクトルを位置特定部５３に供給する。

位置特定部５３は、固有ベクトル算出部５２からの元画像、固有値、および固有ベクトルと、再生部２３からの変換パラメータとを用いて、元画像の各画素の画素値の写像を行い、得られた写像後の元画像を色空間逆変換部５４に供給する。色空間逆変換部５４は、位置特定部５３からの元画像を元の色空間に逆変換し、その結果得られた変換画像を再生部２３に供給する。

［画像変換処理の説明］
次に、画像処理装置１１の動作について説明する。

ユーザは、画像処理装置１１に画像を表示させる場合、表示モードとして固定表示モード、スライドショーモード、および自動変換モードの何れかを選択することができる。

ユーザは、画像処理装置１１の筐体側面等に設けられた図示せぬボタンを操作することで、表示モードを設定し、その設定を再生部２３に記録させておくことができる。これにより、画像の再生時にいちいち表示モードを指定しなくても、設定された表示モードで画像を再生させることができる。なお、表示モードの設定は、ボタン操作に限らず、リモートコマンダの操作により行なわれてもよい。

例えば、ユーザにより画像の表示開始が指示されると、再生部２３は記録している表示モードに従って画像の再生を開始する。具体的には、固定表示モードが設定されている場合、再生部２３は、ユーザにより指定された１つの元画像をメモリ２２から読み出して画像表示部２５に供給し、表示させる。つまり、固定表示モードでは、ユーザにより指定された元画像がそのまま表示され続ける。

また、スライドショーモードが設定されている場合、再生部２３は、メモリ２２から元画像を順次読み出して画像表示部２５に供給し、表示させる。これにより、元画像が順番にスライドショー表示されることになる。

さらに、自動変換モードが設定されている場合、画像処理装置１１は、画像変換処理を行って、元画像を変換画像に変換し、変換画像をスライドショー表示する。以下、図５のフローチャートを参照して、画像処理装置１１による画像変換処理について説明する。

ステップＳ１１において、再生部２３は、表示対象となる元画像をメモリ２２から読み込む。

ステップＳ１２において、状況取得部２１は、現時点における画像処理装置１１の周囲の状況を示す情報を取得して状況ベクトルを生成し、再生部２３に供給する。

例えば、状況取得部２１は、周囲の状況として現在時刻を取得した場合、０時から２４時までの各時刻に対して０乃至１００の値の数値を割り当て、状況ベクトルの成分とする。

また、現時点における画像処理装置１１の周囲の天候を状況ベクトルの成分としてもよい。そのような場合、例えば、天候「晴れ」、「曇り」、「雨」のそれぞれに対して、状況ベクトルの天候の成分の値「０」、「５０」、「１００」が割り当てられる。したがって、例えば状況取得部２１が、有線または無線のネットワークを介して、画像処理装置１１が設置された地域の天候として「雨」を示す情報を取得すると、天候の成分の値が「１００」である状況ベクトルを生成する。

さらに、１月１日から１２月３１日までの各日付を数値化して、現在の日付を状況ベクトルの成分としてもよい。そのような場合、例えば、１月１日であれば日付の成分の値が「０」とされ、１２月３１日であれば日付の成分の値が「１００」とされ、他の日付はそれらの０乃至１００の間の数値が状況ベクトルの成分の値とされる。

なお、状況ベクトルの各成分の値の範囲は任意の範囲とされる。また、その他、温度や湿度、画像処理装置１１の緯度経度値、電子コンパスによる方位など、画像処理装置１１の周囲の状況を示すものであれば、どのようなものが状況ベクトルの成分とされてもよい。

ステップＳ１３において、再生部２３は、状況取得部２１から供給された状況ベクトルを用いて変換パラメータを取得する。

具体的には、再生部２３に設けられた図示せぬＲＯＭ（Read Only Memory）には、状況ベクトルによって定義される多次元の状況ベクトル空間内の点（以下、配置点と称する）に対して、変換パラメータが対応付けられたデータベースが予め記録されている。すなわち、このデータベースは、予め用意された変換パラメータと、状況ベクトルの集合からなる状況ベクトル空間上の変換パラメータが対応付けられた配置点を示す情報とからなる。

再生部２３は、データベースを参照して、それらの配置点と、状況ベクトルにより示される位置、つまり状況ベクトルの終点とのユークリッド距離を計算し、得られたユークリッド距離の最も短い配置点に対応付けられた変換パラメータを選択する。

例えば、図６に示すように、状況ベクトルＪ１が成分Ｊｘと成分Ｊｙとからなる２次元のベクトルであるとする。図６の例では、成分Ｊｘと成分Ｊｙからなり、原点Ｏを基準とする２次元の状況ベクトル空間の配置点Ｐ１乃至配置点Ｐ６に対して変換パラメータが対応付けられている。

このとき、再生部２３は、変換パラメータが対応付けられた配置点Ｐ１乃至配置点Ｐ６のうち、状況ベクトル空間上において状況ベクトルＪ１により示される点（位置）と最も近い配置点に対応付けられた変換パラメータを選択する。図６の例では、状況ベクトルＪ１は、原点Ｏを始点とし、点Ｐ７を終点とするベクトルであるので、点Ｐ７に最も近い配置点Ｐ５に対応付けられた変換パラメータが選択される。

また、図６において、配置点Ｐ１乃至配置点Ｐ６のそれぞれを囲む点線は、隣接する２つの配置点から等距離にある境界線を示している。したがって、この境界線に囲まれる領域内に状況ベクトルＪ１の終点があれば、その領域内の配置点に対応する変換パラメータが選択されることになる。

なお、状況ベクトルに循環する数値を持つ成分（以下、循環成分と称する）がある場合、変換パラメータの選択時には、その循環成分については、状況ベクトルと配置点との成分間の距離は次のようにして求められる。

すなわち、再生部２３は、状況ベクトルの終点と配置点の循環成分の値の差分の絶対値を通常の減算結果として求める。次に、再生部２３は、状況ベクトルの終点と配置点の循環成分の値のうち、より小さい値に、循環成分のとり得る値の範囲の最大値を加算してから、循環成分の値の差分の絶対値を補正後の減算結果として求める。そして、再生部２３は、通常の減算結果と補正後の減算結果とのうち、より値の小さい減算結果を循環成分の距離として用いる。

具体的には、循環成分が現在時刻を示す０から２４までの数値とされ、各時刻の数値が循環成分の値となるとすると、０時と２４時は同じ値となる。

いま、例えば１時と２３時との差分を求めると、その差分は２２（２２時の距離）となるが、実際には差分の値は２（２時の距離）となるべきである。そこで、１時と２３時のうち、より小さい１時の値に、循環成分がとり得る最大値２４（２４時）を加算してから１時と２３時の差分を求めると、｜（１＋２４）−２３｜＝２（２時の距離）となり、循環成分の正しい距離が得られる。

このような循環成分には、時刻の他、電子コンパスやジャイロセンサによって得られる角度の距離などが考えられる。なお、状況ベクトルの各成分が循環成分であるか否かは、状況ベクトルの成分の属性として予め再生部２３が記録しておけばよい。

また、以上においては、状況ベクトルの終点と最も近い位置にある１つの配置点に対応付けられた変換パラメータを選択すると説明したが、複数の配置点の変換パラメータから最終的な変換パラメータが算出されるようにしてもよい。

例えば、状況ベクトルの終点近傍にある複数の配置点の変換パラメータを、状況ベクトルの終点からの距離に応じて加重平均（重み付き加算）し、最終的な変換パラメータとしてもよい。この場合、例えば状況ベクトルの終点からの距離が近い順に、予め定められた特定数の配置点の変換パラメータが重み付き加算される。また、全ての配置点の変換パラメータを、各配置点から状況ベクトルの終点までの距離に応じて加重平均したものを最終的な変換パラメータとしてもよい。

さらに、状況ベクトルの終点から、所定の閾値よりも近い距離の配置点がない場合には、変換処理（色調補正）を全く行なわないという変換パラメータが選択されてもよい。この場合、変換画像は、元画像そのものとなる。

また、状況ベクトルの各成分に重み付けがされて、特定の成分が重要視されるようにしてもよい。例えば、状況ベクトルの全ての成分が同じ重みとされる場合には、各成分に数値「１」が重みとして与えられ、特定の成分を無視したい場合には、その成分に数値「０」が重みとして与えられる。このような重みは、例えば、状況ベクトルの終点と配置点とのユークリッド距離の計算に用いることができ、各成分の距離を重みで除算することで、選択される変換パラメータとしての目標三次元ガウスモデルの調整を行なうことが可能となる。具体的には、重み乗算前に所定の成分の距離「１０」が得られた場合でも、重みが１であれば、最終的な距離は１０（＝１０／１）となるが、重みが０．５であれば、最終的な距離は２０（＝１０／０．５）となる。これにより、重みの大きい状況ベクトル成分による距離の近さが重視されることになる。

なお、状況ベクトルの終点と配置点との距離は、ユークリッド距離とされると説明したが、マハラノビス距離などとされてもよい。そのような場合、変換パラメータは、状況ベクトル空間において、点ではなくガウス関数のような空間的な広がりを持って配置されることになり、状況ベクトルの終点とのマハラノビス距離が最も短い変換パラメータが選択される。

図５のフローチャートの説明に戻り、ステップＳ１３において変換パラメータが取得されると、再生部２３は、変換パラメータと、メモリ２２から読み出した元画像とを画像変換部２４に供給し、その後、処理はステップＳ１４に進む。

ステップＳ１４において、画像変換部２４は、色調補正処理を行って、再生部２３から供給された変換パラメータを用いて、再生部２３からの元画像を変換画像に変換する。そして、画像変換部２４は、得られた変換画像を再生部２３に供給する。

例えば、変換パラメータが目標とする三次元ガウスモデル（以下、目標三次元ガウスモデルと称する）を定義する、画像の画素の画素値の平均値と、それらの画素の画素値の分散量を示す共分散行列であったとする。この場合、画像変換部２４は、元画像の色分布の三次元ガウスモデルを求め、求めた三次元ガウスモデルと、目標三次元ガウスモデルとを用いて元画像の色調補正を行なう。つまり、変換画像の色分布が目標三次元ガウスモデルに示す分布となるように、元画像の各画素の画素値が色調補正される。

換言すれば、変換パラメータは、元画像の色分布を示す三次元ガウスモデルを、所望の形状に変形するためのパラメータであり、変換パラメータに基づいて三次元ガウスモデルが変形され、その変形に合わせて元画像の色が変更される。なお、色調補正処理の詳細は後述する。

ステップＳ１５において、再生部２３は、画像変換部２４から供給された変換画像を画像表示部２５に供給し、表示させる。これにより、変換パラメータが用いられて色調補正された元画像、つまり画像変換により得られた変換画像が画像表示部２５に表示される。

ステップＳ１６において、再生部２３は処理を終了するか否かを判定する。例えば、ユーザにより画像処理装置１１が操作され、画像を表示させる処理の終了が指示された場合、処理を終了すると判定される。

ステップＳ１６において、処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、次の元画像が読み出されて色調補正され、表示される。したがって、画像変換処理では、処理の終了が指示されるまで、色調補正された元画像がスライドショー表示されることになる。

これに対して、ステップＳ１６において、処理を終了すると判定された場合、画像処理装置１１の各部は行なっている処理を停止し、画像変換処理は終了する。

このようにして画像処理装置１１は、周囲の状況を示す情報を取得して状況ベクトルを生成し、状況ベクトルを用いて現在の周囲の状況に合った変換パラメータを選択する。そして画像処理装置１１は、変換パラメータを用いて元画像を変換画像に変換し、表示する。

したがって、画像処理装置１１によれば、ユーザに何ら操作をさせることなく、周囲の状況に応じた変換パラメータを特定することができる。これにより、変換パラメータを用いて、元画像に対して周囲の状況に合った色調補正を行なって、変化に富んだ変換画像を得ることができ、その結果、より効果的に元画像を提示することができる。

［色調補正処理の説明］
次に、図７のフローチャートを参照して、図５のステップＳ１４の処理に対応する色調補正処理について説明する。

ステップＳ４１において、色空間変換部５１は、再生部２３から供給された元画像の各画素の画素値をＬαβ空間の画素値に変換する。

ここで、Ｌαβ空間とは、輝度成分（Ｌ）と、色合い（色相）の成分（α，β）とからなる３次元の色空間である。例えば、元画像の画素の画素値がＲ（赤），Ｇ（緑），Ｂ（青）の各色の成分の値からなる場合、元画像の各画素の画素値は、Ｒ，Ｇ，Ｂの各成分の値から、Ｌ，α，βの各成分の値へと変換される。色空間変換部５１は、ＲＧＢ空間の画像から、Ｌαβ空間の画像へと変換された元画像を固有ベクトル算出部５２に供給する。

なお、ＲＧＢ空間からＬαβ空間への変換については、例えば、「High Dynamic Range Imaging: Acquisition, Display, and Image-Based Lighting (The Morgan Kaufmann Series in Computer Graphics)、 Erik Reinhard, Greg Ward, Sumanta Pattanaik, Paul Debevec」に記載されており、ＲＧＢ空間からＬαβ空間への変換に用いる係数は、適宜変更可能である。

このような色空間の変換は、各成分同士の相関の少ない三次元空間（色空間）への写像を行なうことで、それらの三軸の値（各成分の値）を独立に変換しても、その結果得られる画像の破綻が少なくなるという利点がある。例えば、元画像をＬαβ空間に変換して処理した場合、画素の輝度成分を変更しても、画素の明るさが変化するだけでα成分、β成分は殆ど影響を受けることはなく、変換画像が不自然になってしまうようなことがない。なお、元画像に対する色空間の変換を行なわず、Ｒ，Ｇ，ＢやＹ，Ｃｂ，Ｃｒなど、元画像の色空間をそのまま利用して処理するようにしてもよい。

ステップＳ４２において、固有ベクトル算出部５２は、色空間変換部５１から供給された元画像を用いて、元画像の色分布を示す三次元ガウスモデルを求める。すなわち、元画像の画素の画素値の平均値と共分散行列が算出される。

ステップＳ４３において、位置特定部５３は、再生部２３から供給された変換パラメータとしての画素値の平均値と共分散行列により定義される三次元ガウスモデルを、元画像の三次元ガウスモデルの変換後の目標三次元ガウスモデルとする。

ステップＳ４４において、固有ベクトル算出部５２は、元画像の共分散行列に基づいて、元画像の三次元ガウスモデルの固有値と固有ベクトルを算出し、元画像、固有値、および固有ベクトルを位置特定部５３に供給する。

ここで、固有ベクトルは、Ｌαβ空間の各成分、つまりＬ，α，βの各成分（より詳細には、Ｌ，α，βの各成分の線形結合）により表現される。例えば、固有ベクトルとして、固有ベクトルｕ，固有ベクトルｖ，固有ベクトルｗが得られたとすると、これらの固有ベクトルと固有値とから元画像の三次元の固有ベクトル空間が定義される。つまり、固有値の長さを有する固有ベクトルからなる空間が固有ベクトル空間である。以下では、固有ベクトル空間における任意の点の固有ベクトルｕ，固有ベクトルｖ，固有ベクトルｗの各成分の値、つまりその点の座標（位置）を（ｕ，ｖ，ｗ）で表すこととする。

ステップＳ４５において、位置特定部５３は、固有ベクトル算出部５２からの元画像、固有値、および固有ベクトルを用いて、元画像の各画素の固有ベクトル空間における位置（ｕ，ｖ，ｗ）、つまり画素の画素値を算出する。元画像の各画素は、Ｌ，α，βの各成分を画素値として有するので、それらの成分の値から、固有ベクトル空間のｕ，ｖ，ｗの各成分の値が求められる。

ステップＳ４６において、位置特定部５３は、求めた元画像の各画素の固有ベクトル空間における位置（ｕ，ｖ，ｗ）から、その画素の目標三次元ガウスモデルの固有ベクトル空間（以下、目標固有ベクトル空間と称する）における位置（ｕ’，ｖ’，ｗ’）を算出する。

具体的には、位置特定部５３は、元画像の三次元ガウスモデルの固有ベクトル空間を正規化し、固有ベクトル空間の各画素の位置（ｕ，ｖ，ｗ）から、正規化後の固有ベクトル空間の各画素の位置（ｒｕ，ｒｖ，ｒｗ）を算出する。

また、位置特定部５３は、目標三次元ガウスモデルの共分散行列から、目標三次元ガウスモデルの固有ベクトルおよび固有値を求め、これらの固有ベクトルおよび固有値から定義される目標固有ベクトル空間を正規化する。

ここで、目標固有ベクトル空間における任意の点の固有ベクトルｕ’，固有ベクトルｖ’，固有ベクトルｗ’の各成分の値、つまりその点の座標（位置）を（ｕ’，ｖ’，ｗ’）で表すこととする。また、正規化後の目標固有ベクトル空間における任意の点の位置（座標）を（ｒｕ’，ｒｖ’，ｒｗ’）で表すこととする。

目標固有ベクトル空間の各成分ｕ’，ｖ’，ｗ’と、正規化後の目標固有ベクトル空間の各成分ｒｕ’，ｒｖ’，ｒｗ’とは、それぞれＬαβ空間の各成分Ｌ，α，βにより表現される。したがって、正規化後の目標固有ベクトル空間の任意の位置の各成分ｒｕ’，ｒｖ’，ｒｗ’のそれぞれは、正規化後の固有ベクトル空間の各成分ｒｕ，ｒｖ，ｒｗを用いて表現することができる。

そこで、位置特定部５３は、元画像の各画素について、正規化後の固有ベクトル空間における画素の位置（ｒｕ，ｒｖ，ｒｗ）から、正規化後の目標固有ベクトル空間におけるその画素の位置（ｒｕ’，ｒｖ’，ｒｗ’）を算出する。

そして、位置特定部５３は、正規化後の目標固有ベクトル空間における元画像の各画素の位置（ｒｕ’，ｒｖ’，ｒｗ’）から、正規化前の目標固有ベクトル空間における元画像の各画素の位置（ｕ’，ｖ’，ｗ’）を算出する。

ステップＳ４７において、位置特定部５３は、元画像の各画素について、目標固有ベクトル空間における画素の位置（ｕ’，ｖ’，ｗ’）から、その画素のＬαβ空間上の位置、つまりＬ，α，βの各成分の値を算出する。これにより得られたＬ，α，βの各成分の値が、その画素のＬαβ空間の画素値、つまり色調補正された画素値とされる。

このようにして得られた各画素からなる画像は、目標三次元ガウス分布を色分布として有する画像であり、この画像が変換画像とされる。すなわち、変換パラメータにより特定される目標三次元ガウスモデルに基づく画素の写像処理により、元画像が、目標三次元ガウスモデルに示される色分布を有する変換画像に変換されたことになる。

以上において説明したステップＳ４２乃至ステップＳ４７の処理を、２次元の成分に着目して説明すると、次のようになる。

すなわち、例えば、図８の左上に示されるように、元画像の三次元ガウスモデルから固有ベクトル空間ＳＶが得られたとする。この固有ベクトル空間ＳＶは、固有値を長さとする固有ベクトルｕと、固有値を長さとする固有ベクトルｖとからなる空間である。

なお、図中、固有ベクトル空間ＳＶにおける２つの軸（矢印）は、それぞれ固有値を長さとする固有ベクトルｕと固有ベクトルｖを示しており、固有ベクトル空間ＳＶを示す楕円は、元画像の画素の色のおおよその分布具合を表している。

いま、元画像の画素のうち、固有ベクトル空間ＳＶ上の座標（ｕ，ｖ）で表される画素Ｇｐ（点Ｇｐ）を、図中、右上に示す目標固有ベクトル空間ＳＶ’上に写像することを考える。

なお、目標固有ベクトル空間ＳＶ’は、変換パラメータにより特定される目標三次元ガウスモデルから得られた固有値を長さとする固有ベクトルｕ’および固有ベクトルｖ’からなる空間である。また、固有ベクトル空間ＳＶ’における２つの軸（矢印）は、それぞれ固有値を長さとする固有ベクトルｕ’と固有ベクトルｖ’を示しており、固有ベクトル空間ＳＶ’を示す楕円は、目標三次元ガウスモデルに示される画素の色のおおよその分布具合を表している。

まず、位置特定部５３は、固有ベクトル空間ＳＶおよび目標固有ベクトル空間ＳＶ’を、それらのベクトル空間を構成する固有ベクトルが同じ長さとなるように正規化する。これにより、正規化後の固有ベクトル空間ｒＳＶおよび目標固有ベクトル空間ｒＳＶ’が得られる。

固有ベクトル空間ｒＳＶおよび目標固有ベクトル空間ｒＳＶ’における２つの軸（矢印）は、正規化された固有ベクトルｕと固有ベクトルｖ、および正規化された固有ベクトルｕ’と固有ベクトルｖ’を示している。

以下、正規化後の固有ベクトルｕと固有ベクトルｖを、それぞれ固有ベクトルｒｕと固有ベクトルｒｖと称し、正規化後の固有ベクトルｕ’と固有ベクトルｖ’を、それぞれ固有ベクトルｒｕ’と固有ベクトルｒｖ’と称する。

ここで、固有ベクトル空間ＳＶおよび目標固有ベクトル空間ＳＶ’において、各固有ベクトルは直交するので、それらの固有ベクトル空間を正規化することは、固有ベクトル空間を単位円化することである。これにより、固有ベクトル空間ｒＳＶと目標固有ベクトル空間ｒＳＶ’は同じ大きさのベクトル空間となる。

次に、位置特定部５３は、固有ベクトル空間ＳＶ上の座標（ｕ，ｖ）で表される点Ｇｐの固有ベクトル空間ｒＳＶ上の位置を求める。その結果、例えば、点Ｇｐに対応する固有ベクトル空間ｒＳＶ上の点として、座標が（ｒｕ，ｒｖ）である点Ｇｑが得られたとする。

位置特定部５３は、点Ｇｑが求まると、図中、中央下側に示すように、固有ベクトル空間ｒＳＶと目標固有ベクトル空間ｒＳＶ’を重ね合わせることで、目標固有ベクトル空間ｒＳＶ’における点Ｇｑの座標（ｒｕ’，ｒｖ’）を求める。

固有ベクトル空間ｒＳＶと目標固有ベクトル空間ｒＳＶ’の各固有ベクトルは、Ｌαβ空間のＬ，α，βの各成分により求まるから、点Ｇｑの固有ベクトルｒｕ’の成分は、点Ｇｑの固有ベクトルｒｕと固有ベクトルｒｖの成分から求めることができる。同様に、点Ｇｑの固有ベクトルｒｖ’の成分も点Ｇｑの固有ベクトルｒｕと固有ベクトルｒｖの成分から求めることができる。これにより、目標固有ベクトル空間ｒＳＶ’における点Ｇｑの座標（ｒｕ’，ｒｖ’）が得られる。

さらに、位置特定部５３は、目標固有ベクトル空間ｒＳＶ’上の座標（ｒｕ’，ｒｖ’）で表される点Ｇｑの目標固有ベクトル空間ＳＶ’上の位置を求める。その結果、例えば、点Ｇｑに対応する目標固有ベクトル空間ＳＶ’上の点として、座標が（ｕ’，ｖ’）である点Ｇｐ’が得られたとする。

位置特定部５３は、目標固有ベクトル空間ＳＶ’上の点Ｇｐ’の座標（ｕ’，ｖ’）が得られると、その座標から点Ｇｐ’のＬαβ空間のＬ，α，βの各成分の値を算出し、写像後の画素の画素値とする。

このようにして、位置特定部５３は、固有ベクトル空間ＳＶと目標固有ベクトル空間ＳＶ’を、それぞれ正規化（単位円化）する。そして、位置特定部５３は、その結果得られた固有ベクトル空間ｒＳＶと目標固有ベクトル空間ｒＳＶ’との位置の対応を求めることで、画素Ｇｐの固有ベクトル空間ＳＶと目標固有ベクトル空間ＳＶ’の間での座標変換（写像処理）を行い、画素Ｇｐ’を得る。

このように、固有ベクトル空間を正規化することで、固有ベクトル空間ＳＶ上の各点を、固有ベクトル空間ｒＳＶ上の点に線形写像することができる。これにより、固有ベクトル空間ＳＶ上の各画素の相対的な位置関係が、写像後の目標固有ベクトル空間ＳＶ’上においても同じ位置関係となるように、固有ベクトル空間ＳＶと目標固有ベクトル空間ＳＶ’の間の座標変換を行なうことができる。その結果、各位置における画素の画素値の周囲の画素の画素値との相対的な関係が、元画像における場合と同じ関係を有する変換画像を得ることができ、破綻の生じない色調補正を実現することができる。

例えば、元画像が変換画像に変換されたとき、２つの画素の画素値が、それぞれ画素値Ｒ１およびＲ２から、画素値Ｒ１’およびＲ２’に変換されたとする。このとき、必ず変換前後の画素値について、Ｒ１’／Ｒ１＝Ｒ２’／Ｒ２が成立するように画素値の写像処理が行われる。そうすれば、例えば元画像上のグラデーション模様の領域は、変換後の変換画像上においても必ずグラデーション模様となり、画像の各画素の画素値の相対的な関係を保ったまま、画素の色分布を所望の分布に変更することができる。

なお、図８を参照して説明した、固有ベクトル空間を正規化して座標変換を行なう処理は、二次元以上の任意の次元の空間に対して適用することができる。

図７のフローチャートの説明に戻り、ステップＳ４７において、目標三次元ガウスモデルに示される色分布の変換画像が得られると、位置特定部５３は、得られた変換画像を色空間逆変換部５４に供給し、処理はステップＳ４８に進む。

ステップＳ４８において、色空間逆変換部５４は、位置特定部５３から供給された変換画像の各画素の画素値を、Ｌαβ空間の画素値からＲＧＢ空間の画素値に逆変換する。これにより、各画素がＲ，Ｇ，Ｂの各成分の値を画素値として有する変換画像が得られる。色空間逆変換部５４は、色空間の逆変換を行なうと、得られた変換画像を再生部２３に供給し、色調補正処理は終了する。色調補正処理が終了すると、その後、処理は図５のステップＳ１５へと進む。

このようにして画像変換部２４は、周囲の状況に合った変換パラメータを用いて元画像を色調補正し、変換画像を生成する。

したがって、天気や時刻といった、現在の周囲の状況に合わせて元画像を色調補正することができ、周囲の状況に合った雰囲気の変換画像を得ることができる。これにより、季節感や時間の雰囲気を演出することが可能となる。例えば、風景の写真（元画像）であれば、昼間の写真を夕方や夜の写真のように色調補正することができる。また、このようにして得られた変換画像を表示すれば、ユーザは、表示された変換画像を見て、直感的に現在の時刻や天候を知ることができる。

なお、変換処理の例として色調補正処理を行う場合について説明したが、その他、元画像のコントラストやソフトネスの調整、ノイズの低減、ダイナミックレンジの変換、明るさや色相の調整などが行なわれるようにしてもよい。

［変換パラメータのデータベースの構築の説明］
ところで、上述したように、変換パラメータは、状況ベクトル空間における点（配置点）に対応付けてもよいし、ある程度の範囲の領域に分布するものとしてもよい。例えば、状況ベクトル空間の領域に対して変換パラメータが対応付けられる場合には、教師データ（学習画像）となる画像集合を用いることで、変換パラメータの分布が定められる。

以下、そのような場合における変換パラメータのデータベースの構築の一例について説明する。なお、ここでは、変換パラメータは、目標三次元ガウスモデルを定義する平均値と共分散行列であるものとする。この変換パラメータにより示される三次元ガウスモデルは、画像のみから算出することができる。

例えば、三次元ガウスモデルを示す変換パラメータを状況ベクトル空間に対応付けるのには、例えば画像のメタデータ情報であるExif（Exchangeable Image File Format）情報が利用される。Exif情報は、画像に付加される、画像に関する情報であり、例えばExif情報には、画像の撮像日時や年月日、撮像されたGPS位置情報、撮像装置の設定情報などが含まれている。

再生部２３は、変換パラメータのデータベースを構築するための画像（以下、学習画像とも称する）が供給されると、その学習画像から三次元ガウスモデル、つまり平均値と共分散行列を変換パラメータとして算出する。そして、再生部２３は、学習画像に付加されたメタデータ情報を用いて、変換パラメータの状況ベクトルを生成する。

例えば、状況ベクトルが、季節を示す値Ｊｘと、時刻を示す値Ｊｙとの２つの成分（要素）からなるベクトルであるとすると、再生部２３は、学習画像のメタデータ情報から、その学習画像が撮像された季節と時刻を特定し、状況ベクトルの季節の成分の値Ｊｘと、時刻の成分の値Ｊｙとを算出する。そして、再生部２３は、得られた状況ベクトルにより特定される状況ベクトル空間の点を配置点として、その配置点に変換パラメータを対応付ける。

なお、学習画像は、画像処理装置１１の外部から入力されるようにしてもよいし、予めメモリ２２に記録されたものが再生部２３により読み出されるようにしてもよい。

また、予め用意された写真や所定の素材集の写真のそれぞれを学習画像として、１つの学習画像から得られる変換パラメータごとに配置点を定めてもよいし、状況ベクトル空間上で配置点が近いものをセグメント化（グループ化）して１つのグループとしてもよい。

例えば、学習画像のセグメント化を行なう場合、再生部２３は、複数の学習画像のそれぞれについて状況ベクトルを算出し、状況ベクトル空間に各学習画像を対応付ける。

その結果、例えば図９に示す結果が得られたとする。なお、図９において、縦軸および横軸は、状況ベクトルの季節の成分Ｊｘ、および時刻の成分Ｊｙを示しており、原点Ｏを基準とするＪｘ成分およびＪｙ成分からなる２次元座標系が状況ベクトル空間とされている。

図９の例では、１つの四角形は、１つの学習画像を表しており、それらの学習画像は、状況ベクトルにより定まる状況ベクトル空間上の位置、つまりＪｘ成分およびＪｙ成分からなる座標位置に配置されている。

このように、状況ベクトル空間上に各学習画像を対応付けると、再生部２３は、各学習画像の状況ベクトルを用いて、学習画像をセグメント化する。例えばセグメント化は、ｋ近傍方などにより行なわれる。図９の例では、セグメント化により、学習画像は、３つのグループＧｒ１乃至グループＧｒ３にグループ化（セグメント化）されている。グループＧｒ１およびグループＧｒ２は、それぞれ複数の学習画像からなり、グループＧｒ３は、１つの学習画像からなる。

再生部２３は、１つの学習画像からなるグループＧｒ３については、その学習画像の状況ベクトルにより定まる点を配置点とし、その配置点に学習画像から得られた変換パラメータを対応付ける。

また、再生部２３は、複数の学習画像からなるグループＧｒ１については、それらの学習画像の状況ベクトルにより定まる点全てを含む領域を配置領域とし、配置領域に対して１つの変換パラメータを対応付ける。この配置領域に対応付けられる変換パラメータは、例えば、グループＧｒ１に属す学習画像の変換パラメータの平均値や加重平均値などとされる。グループＧｒ１と同様に、再生部２３は、グループＧｒ２についても、複数の学習画像から配置領域と、その配置領域に対応付ける変換パラメータとを求める。

このように、入力された学習画像から、再生部２３が状況ベクトル空間の各配置点や配置領域に対応付ける変換パラメータを構築することで、例えば、図１０に示すように、周囲の時刻や季節に応じた色調補正を実現する変換パラメータが得られる。なお、図１０において、横方向は状況ベクトルの時刻の成分Ｊｙを示している。

図１０の例では、状況ベクトル空間における各季節の朝の時間帯の領域ＶＲ１には、朝に撮像された学習画像から得られた変換パラメータが対応付けられる。したがって、この領域ＶＲ１に含まれる状況ベクトルが得られた場合には、元画像は、領域ＶＲ１に対応付けられた変換パラメータにより、明るい黄色味を帯びた色合いの画像に変換される。

また、状況ベクトル空間における春、夏、秋、冬のそれぞれの季節の昼の時間帯の領域ＶＲ２乃至領域ＶＲ５には、それらの各季節の昼間に撮像された学習画像から得られた変換パラメータが対応付けられる。したがって、領域ＶＲ２乃至領域ＶＲ５に含まれる状況ベクトルが得られた場合には、元画像は、領域ＶＲ２乃至領域ＶＲ５のそれぞれに対応付けられた変換パラメータにより色調補正される。

例えば、領域ＶＲ２の変換パラメータによる変換では、元画像は桜色がかった色合いの画像に変換され、領域ＶＲ３の変換パラメータによる変換では、元画像は青色が強調されるように色調補正される。また、領域ＶＲ４の変換パラメータによる変換では、元画像は赤味がかった色合いの画像に変換され、領域ＶＲ５の変換パラメータによる変換では、元画像は白が強調されるように色調補正される。このように、状況ベクトル空間の昼間の時間帯の各季節の領域には、季節ごとの色味を強調する変換パラメータが対応付けられる。

また、状況ベクトル空間における各季節の夕方の時間帯の領域ＶＲ６には、夕方に撮像された学習画像から得られた変換パラメータが対応付けられる。したがって、領域ＶＲ６に含まれる状況ベクトルが得られた場合には、元画像は、領域ＶＲ６に対応付けられた変換パラメータにより、赤味がかった色合いの画像に変換される。

さらに、状況ベクトル空間における各季節の夜の時間帯の領域ＶＲ７には、夜に撮像された学習画像から得られた変換パラメータが対応付けられる。したがって、領域ＶＲ７に含まれる状況ベクトルが得られた場合には、元画像は、領域ＶＲ７に対応付けられた変換パラメータにより、全体的に暗く、彩度が抑えられた色味の画像に変換される。

以上のようにして、再生部２３は、学習画像から変換パラメータのデータベースを構築して記録し、得られた変換パラメータを元画像の変換画像への変換に用いる。

なお、変換パラメータのデータベースの構築時には、所定の画像の集合から、有用な画像のみを学習画像として選択し、データベースを構築するようにしてもよい。そのような場合、例えば見映えのよい画像だけを再生部２３またはユーザが選択してデータベースを構築すれば、変換パラメータを用いた元画像の色調補正により、より見映えのよい変換画像を得ることができるようになる。

〈第２の実施の形態〉
［画像変換部の構成］
また、変換パラメータを用いた変換処理として、幾何的な変形処理を行なうようにしてもよい。そのような場合、図３の画像変換部２４は、例えば図１１に示すように構成される。

図１１に示す画像変換部２４は、被写体マップ生成部８１、被写体特定部８２、および表示領域決定部８３から構成される。

被写体マップ生成部８１は、再生部２３から供給された元画像に基づいて、元画像の各領域における被写体の領域らしさを示す被写体マップを生成し、被写体特定部８２に供給する。なお、ここでいう被写体とは、ユーザが元画像を一瞥した場合に、ユーザが注目すると推定される元画像上の物体、例えば、より中心に多くある色の領域や焦点の合っている領域の物体など、ユーザが目を向けると推定される物体をいう。

被写体特定部８２は、被写体マップ生成部８１から供給された被写体マップを用いて、元画像上の被写体の領域を特定し、その特定結果を表示領域決定部８３に供給する。表示領域決定部８３は、被写体特定部８２から供給された被写体の特定結果と、再生部２３からの元画像および変換パラメータを用いて、元画像上の被写体が含まれる特定の領域を切り出して変換画像とし、再生部２３に供給する。

［画像変換処理の説明］
画像変換部２４が図１１に示す構成とされる場合においても、自動変換モードが設定されている状態で、ユーザにより元画像の表示が指示されると、画像処理装置１１は、画像変換処理を行って、元画像から得られた変換画像をスライドショー表示する。

以下、図１２のフローチャートを参照して、画像変換部２４が図１１に示す構成とされる場合における画像変換処理について説明する。

なお、ステップＳ７１乃至ステップＳ７３の処理は、図５のステップＳ１１乃至ステップＳ１３の処理と同様であるため、その説明は省略する。但し、再生部２３により取得される変換パラメータは、例えば元画像上の変換画像として表示される領域を特定する拡大率などとされる。

ステップＳ７３において変換パラメータが取得されると、再生部２３は、元画像を被写体マップ生成部８１および表示領域決定部８３に供給するとともに、変換パラメータを表示領域決定部８３に供給する。

ステップＳ７４において、画像変換部２４は、画像変形処理を行う。なお、画像変形処理の詳細は後述するが、この画像変形処理では、変換パラメータが用いられて、元画像が幾何学的に変形され、変換画像が生成される。

変換画像が生成されると、その後、ステップＳ７５およびステップＳ７６の処理が行われて画像変換処理は終了するが、これらの処理は図５のステップＳ１５およびステップＳ１６の処理と同様であるので、その説明は省略する。

このようにして画像処理装置１１は、周囲の状況を示す情報を取得して状況ベクトルを生成し、状況ベクトルを用いて現在の周囲の状況に合った変換パラメータを選択する。そして画像処理装置１１は、変換パラメータを用いて元画像を幾何学的に変形し、得られた変換画像を表示する。

したがって、画像処理装置１１によれば、ユーザに何ら操作をさせることなく、周囲の状況に応じた変換パラメータを特定することができ、この変換パラメータを用いて、時間や視聴距離などの周囲の状況に合わせて元画像を変形することができる。

例えば、周囲の状況を示す情報として、カメラで撮像した画像からユーザと画像処理装置１１との距離が分かる場合、ユーザが離れているときは被写体を拡大して表示するなど、ユーザの視聴距離という状況に応じて元画像を変形し、より効果的に元画像を表示することができる。また、例えば、いわゆるパノラマ画像など巨大な元画像を表示する場合、元画像のうち、被写体のない背景領域を中心に表示すれば、リラックスした雰囲気を演出するスライドショーが可能となる。

［画像変形処理の説明］
次に、図１３のフローチャートを参照して、図１２のステップＳ７４の処理に対応する画像変形処理について説明する。

ステップＳ１０１において、被写体マップ生成部８１は、再生部２３から供給された元画像を用いて被写体マップを生成し、被写体特定部８２に供給する。

例えば、被写体マップ生成部８１は、元画像が有する輝度や色、エッジ等の特徴ごとに、元画像の各領域における特徴の特徴量を抽出し、抽出した特徴量から、元画像の各領域における被写体らしさを示す特徴量マップを生成する。

この特徴量マップは、例えば、特徴が輝度である場合には、元画像上の所定の位置の輝度と、その位置の周囲の領域の平均的な輝度との差分を示す情報（画像）とされる。一般的に、画像において周囲との輝度の差分の大きい領域は、その画像を見る人の目を引く領域であるので、その領域は被写体の領域である可能性が高い。したがって、輝度を特徴とする特徴量マップにおいて、より輝度の差分、つまり画素値の大きい画素が、より被写体の領域である可能性の高い領域であることを示している。同様に、他の特徴の特徴量マップにおいても、画素値のより大きい画素が、より被写体らしい領域を示している。

被写体マップ生成部８１は、このようにして得られた複数の特徴量マップを所定の重みを用いて重み付き加算し、被写体マップを生成する。つまり、各特徴量マップの同じ位置にある画素の画素値が重み付き加算されて、被写体マップの画素の画素値とされる。

さらに、被写体マップ生成部８１は、得られた被写体マップの各画素の画素値を所定の閾値により二値化して最終的な被写体マップとする。すなわち、被写体マップの画素の画素値が閾値以上であれば、その画素の最終的な画素値は「１」とされ、画素値が閾値未満であれば、その画素の最終的な画素値は「０」とされる。したがって、被写体マップにおいて、画素値が「１」である画素からなる領域が、被写体の領域とされる。

例えば、図１４に示す元画像ＩＰを用いて上述した処理を行うと、図中、右側に示す二値画像である被写体マップＳＭが得られる。図１４の例では、元画像ＩＰのほぼ中央に花が表示されており、元画像ＩＰから得られた被写体マップＳＭでは、元画像ＩＰ上の花と同じ位置の画素の画素値が「１」となっている。そのため、被写体マップＳＭを用いた被写体検出では、花の領域が被写体の領域であると特定されることになる。

なお、被写体マップの生成方法については、例えば、「Learning to Detect A Salient Object、Tie Liu，Jian Sun，Nan-Ning Zheng，Xiaoou Tang，Heung-Yeung Shum, Computer Vision and Pattern Recognition, 2007. CVPR '07. IEEE Conference on Publication Date: 17-22 June 2007」に記載されている。

図１３のフローチャートの説明に戻り、ステップＳ１０２において、被写体特定部８２は、被写体マップ生成部８１から供給された被写体マップを用いて、元画像上の被写体の領域を特定する。

例えば、被写体特定部８２は、被写体マップにおいて、画素値が「１」である、互いに隣接する複数の画素からなる領域を被写体の領域とし、その被写体の領域を囲む最小の矩形の領域（以下、最小矩形領域と称する）を特定する。

また、被写体特定部８２は、変換画像のアスペクト比を示す表示領域情報を取得する。例えば、表示領域情報が被写体特定部８２に予め記録されていてもよいし、画像表示部２５の表示画面の大きさ等の物理的な情報や、別の情報と画面を分割して変換画像等を表示するための画面設定情報などを画像表示部２５等から取得し、変換画像のアスペクト比を算出してもよい。

さらに、被写体特定部８２は、被写体マップ上の最小矩形領域のアスペクト比を求めて、最小矩形領域のアスペクト比が、変換画像のアスペクト比と同じとなるように、最小矩形領域を垂直方向または水平方向に拡大して、アスペクト比の調整を行なう。そして、被写体特定部８２は、アスペクト比調整後の最小矩形領域と同じ位置にある元画像上の領域を、被写体表示領域とし、その被写体表示領域を示す情報を表示領域決定部８３に供給する。

なお、アスペクト比調整時において、被写体特定部８２は、基本的には、最小矩形領域の中心を基点として最小矩形領域を拡大させるが、調整後の最小矩形領域が被写体マップからはみ出してしまう場合には、基点をずらして最小矩形領域を拡大する。

ステップＳ１０３において、表示領域決定部８３は、被写体特定部８２から供給された被写体表示領域を示す情報と、再生部２３からの変換パラメータとを用いて、変換画像を生成する。

例えば、図１５の左側に示すように、被写体マップＳＭ上において、中央からやや右側の領域が最小矩形領域ＭＲとされ、最小矩形領域ＭＲを囲む特定のアスペクト比の領域ＤＲ、より詳細には領域ＤＲと同じ位置の元画像の領域が被写体表示領域とされたとする。

このような場合、表示領域決定部８３は、被写体マップＳＭ上において、特定のアスペクト比の最も大きい領域ＥＲ１から、領域ＤＲまでの間にある特定のアスペクト比の領域、より詳細にはその領域と同じ位置の元画像の領域を、変換画像とする。

すなわち、領域ＥＲ１内にある領域であって、領域ＤＲが含まれる領域が変換画像の領域とされる。なお、図１５の例では、被写体マップＳＭ、つまり元画像のアスペクト比は、変換画像のアスペクト比と同じであるので、被写体マップＳＭ全体の領域が領域ＥＲ１とされている。

また、変換画像とされる領域は、変換パラメータにより定められる。具体的には、変換パラメータとしての拡大率が「0.0」から「1.0」までの間の値をとるとする。この場合、拡大率が「0.0」であるとき、領域ＤＲが変換画像の領域とされ、拡大率が「1.0」であるとき、領域ＥＲ１が変換画像の領域とされる。

さらに、拡大率が「0.0」と「1.0」の間の値である場合、その値により定まる大きさで、かつ特定のアスペクト比である領域であって、領域ＤＲが含まれる領域ＥＲ１内の領域が変換画像の領域とされる。例えば、拡大率が「0.5」である場合、図中、領域ＤＲを含み、領域ＥＲ１内にある領域ＥＲ２が変換画像の領域とされる。ここで、拡大率「0.5」は、拡大率「1.0」の半分の値であるので、領域ＥＲ２の大きさは、領域ＤＲと領域ＥＲ１の間（平均値）の大きさとされる。

このように、変換画像として表示される領域を、拡大率により定まる大きさの領域とする処理は、拡大率に応じた倍率で領域ＤＲを拡大する処理である。領域ＤＲの拡大は、基本的に領域ＤＲの中心位置を基点として行なわれるが、領域ＤＲが拡大により被写体マップＳＭからはみ出してしまう場合には、拡大後の領域ＤＲ、つまり変換画像とされる領域が被写体マップＳＭからはみ出さないように、基点位置がずらされながら拡大処理が行われる。

例えば、変換パラメータとしての拡大率により領域ＤＲ、領域ＥＲ２、および領域ＥＲ１のそれぞれが特定された場合、それらの領域と同じ位置にある元画像上の領域が変換画像とされる。これにより、図中、右側に示すように、変換画像ＯＰ１、変換画像ＯＰ２、および変換画像ＯＰ３のそれぞれが得られる。

例えば、拡大率が「0.0」である場合、つまり領域ＤＲが変換画像の領域とされた場合に得られた変換画像ＯＰ１では、被写体としての花が画像中に大きく表示されている。なお、より詳細には、領域ＤＲと同じ位置にある元画像上の領域が、画像表示部２５の表示画面と同じ大きさに拡大されて得られる画像が変換画像ＯＰ１とされる。

また、例えば、拡大率が「1.0」である場合、つまり領域ＥＲ１が変換画像の領域とされた場合に得られた変換画像ＯＰ３では、被写体としての花が変換画像ＯＰ１の場合よりも小さく表示され、花の周囲の被写体も表示されている。

なお、状況ベクトルとして画像処理装置１１からユーザまでの距離、つまり視聴距離が得られる場合、その視聴距離に応じて拡大率を決定すれば、視聴距離が短いときには被写体を小さく表示させるなど、視聴距離に合った大きさで被写体を表示させることができる。

状況ベクトルとして視聴距離を得るには、例えば、状況取得部２１としてのカメラが画像処理装置１１の正面の画像を撮像し、状況取得部２１が得られた画像から人の顔を検出して、検出された顔の大きさから視聴距離を求めればよい。

このようにして変換画像が得られると、表示領域決定部８３は、得られた変換画像を再生部２３に供給し、画像変形処理は終了する。画像変形処理が終了すると、その後、処理は図１２のステップＳ７５に進む。

このようにして、画像変換部２４は、元画像上の被写体が含まれる、変換パラメータにより定まる大きさの領域を切り出して変換画像とすることで、元画像を変換画像に変換（変形）する。これにより、周囲の状況に応じた大きさで被写体を表示させることができる。

なお、以上においては、元画像に対する幾何的な変形処理として、拡大率に応じた大きさの被写体の領域を変換画像とする場合を例として説明したが、被写体の領域の拡大や縮小に限らず、画像の回転や、それらの組み合わせなどとしてもよい。また、変換パラメータによって定まる形状の領域を元画像から切り出して変換画像としたり、メッシュワーピングやシームカービングといった高度な画像処理を用いた変形処理を行うようにしたりしてもよい。例えば、元画像上の被写体が含まれる領域であって、変換パラメータにより定まる大きさおよび形状の領域が切り出されて変換画像とされてもよい。

〈第３の実施の形態〉
［画像変換部の構成］
さらに、以上においては、元画像を変換画像に変換する変換処理として、色調補正処理または変形処理の何れか一方だけが行われる例について説明したが、それらの両方の処理が行われるようにしてもよい。

そのような場合、画像処理装置１１の画像変換部２４は、例えば、図１６に示すように構成される。

図１６の画像変換部２４は、色空間変換部５１、固有ベクトル算出部５２、位置特定部５３、色空間逆変換部５４、被写体マップ生成部８１、被写体特定部８２、および表示領域決定部８３から構成される。なお、図１６において、図４および図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１６の画像変換部２４は、図４に示した色空間変換部５１乃至色空間逆変換部５４の後段に、図１１に示した被写体マップ生成部８１乃至表示領域決定部８３が接続されている。また、画像変換部２４では、再生部２３からの元画像が色空間変換部５１に供給され、再生部２３からの変換パラメータが、位置特定部５３と表示領域決定部８３に供給される。

さらに、色空間逆変換部５４は、色空間の逆変換により得られた、色調補正後の画像を被写体マップ生成部８１および表示領域決定部８３に供給し、被写体マップ生成部８１は、この色調補正後の画像から、被写体マップを生成する。また、表示領域決定部８３は、被写体特定部８２から供給された被写体の特定結果と、色空間逆変換部５４からの色調補正後の画像、および変換パラメータを用いて変換画像を生成し、再生部２３に供給する。

［画像変換処理の説明］
次に、図１７のフローチャートを参照して、画像変換部２４が図１６に示す構成とされる場合に行われる画像変換処理について説明する。

なお、ステップＳ１４１乃至ステップＳ１４４の処理は、図５のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

但し、ステップＳ１４３においては、変換パラメータとして、平均値と共分散行列、および拡大率が取得される。また、ステップＳ１４４の色調補正処理においては、変換パラメータとしての平均値と共分散行列により定義される目標三次元ガウスモデルに示される色分布となるように、元画像が色調補正される。そして、色調補正された元画像は、色空間逆変換部５４から被写体マップ生成部８１と表示領域決定部８３に供給される。

さらに、その後、ステップＳ１４５乃至ステップＳ１４７の処理が行われて画像変換処理は終了する。なお、これらのステップＳ１４５乃至ステップＳ１４７の処理においては、図１２のステップＳ７４乃至ステップＳ７６と同様の処理が行われる。

すなわち、色調補正された元画像から被写体マップが生成され、被写体マップにより特定された、色調補正後の元画像における被写体の領域が切り出されて変換画像とされる。このとき、切り出される領域の大きさは、変換パラメータとしての拡大率により定められる。

以上のようにして、画像処理装置１１は、変換パラメータを用いて元画像に対して、色調補正処理および画像変形処理を施して変換画像を生成する。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 画像処理装置， ２１ 状況取得部， ２２ メモリ， ２３ 再生部， ２４ 画像変換部， ２５ 画像表示部， ５２ 固有ベクトル算出部， ５３ 位置特定部， ８１ 被写体マップ生成部， ８２ 被写体特定部， ８３ 表示領域決定部

Claims (10)

1. 周囲の状況を示す情報を取得し、前記情報を数値化して状況ベクトルを生成する状況ベクトル生成手段と、
   予め用意された画像変換用の複数の変換パラメータのうち、前記状況ベクトルにより特定されるいくつかの変換パラメータを重み付き加算する変換パラメータ算出手段と、
   処理対象の元画像に対して、前記重み付き加算により得られた変換パラメータを用いた画像変換を行なって、変換画像を生成する変換画像生成手段と
   を備える画像処理装置。
2. 前記変換画像生成手段は、前記画像変換として、色調補正処理または幾何学的な変形処理の少なくとも一方を行なう
   請求項１に記載の画像処理装置。
3. 前記変換パラメータは、目標となる色分布を示す情報とされ、
   前記変換画像生成手段は、前記元画像の色分布が、前記目標となる色分布となるように前記元画像に対する色調補正を行なうことで、前記変換画像を生成する
   請求項２に記載の画像処理装置。
4. 前記目標となる色分布を示す情報は、目標三次元ガウスモデルを定義する情報からなり、
   前記変換画像生成手段は、前記元画像の色分布を示す三次元ガウスモデルの正規化された固有ベクトル空間における前記元画像の注目画素の位置に対応する、前記目標三次元ガウスモデルの正規化された目標固有ベクトル空間における位置を求めて、その位置から正規化前の前記目標固有ベクトル空間における前記注目画素の位置を特定することにより、前記色調補正後の前記注目画素の画素値を算出する
   請求項３に記載の画像処理装置。
5. 前記変換パラメータ算出手段は、前記変換パラメータと、状況ベクトルからなる状況ベクトル空間における、前記変換パラメータが対応付けられた位置または領域を示す位置情報とからなるデータベースを記録しており、前記位置情報により示される位置または領域のうち、前記状況ベクトル生成手段により生成された前記状況ベクトルの終点近傍にある、所定数の位置または領域に対応付けられた前記変換パラメータを前記重み付き加算する
   請求項３に記載の画像処理装置。
6. 前記変換パラメータ算出手段は、メタデータが付加された学習画像に基づいて、前記目標となる色分布を示す情報を前記変換パラメータとして生成するとともに、前記メタデータから前記状況ベクトルを生成し、前記状況ベクトルにより特定される前記状況ベクトル空間の位置または領域に、前記学習画像から得られた前記変換パラメータを対応付ける
   請求項５に記載の画像処理装置。
7. 前記変換パラメータ算出手段は、各成分に重み付けがされた前記状況ベクトルを用いて、前記重み付き加算する前記変換パラメータを特定する
   請求項５に記載の画像処理装置。
8. 前記変換画像生成手段は、
   前記元画像から所定の特徴の特徴量を抽出して、前記元画像の各領域における被写体らしさを示す被写体マップを生成する被写体マップ生成手段と、
   前記被写体マップを用いて、前記元画像上の被写体が含まれる被写体領域を特定する被写体特定手段と、
   前記被写体領域を含み、前記変換パラメータにより定まる大きさまたは形状の前記元画像上の領域を切り出して前記変換画像とする表示領域決定手段と
   を備える請求項２に記載の画像処理装置。
9. 周囲の状況を示す情報を取得し、前記情報を数値化して状況ベクトルを生成する状況ベクトル生成手段と、
   予め用意された画像変換用の複数の変換パラメータのうち、前記状況ベクトルにより特定されるいくつかの変換パラメータを重み付き加算する変換パラメータ算出手段と、
   処理対象の元画像に対して、前記重み付き加算により得られた変換パラメータを用いた画像変換を行なって、変換画像を生成する変換画像生成手段と
   を備える画像処理装置の画像処理方法であって、
   前記状況ベクトル生成手段が前記状況ベクトルを生成し、
   前記変換パラメータ算出手段が、前記状況ベクトルにより特定される前記変換パラメータを前記重み付き加算し、
   前記変換画像生成手段が、前記重み付き加算により得られた前記変換パラメータを用いた前記画像変換により前記変換画像を生成する
   ステップを含む画像処理方法。
10. 周囲の状況を示す情報を取得し、前記情報を数値化して状況ベクトルを生成し、
    予め用意された画像変換用の複数の変換パラメータのうち、前記状況ベクトルにより特定されるいくつかの変換パラメータを重み付き加算し、
    処理対象の元画像に対して、前記重み付き加算により得られた変換パラメータを用いた画像変換を行なって、変換画像を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images