JP2005151130A - 画像出力装置、画像出力方法ならびに記憶媒体、プログラム - Google Patents

Abstract

【課題】 撮影装置で撮影されたデジタル画像を画質補正して出力する場合において、画質の向上を図ることを目的とする。
【解決手段】 撮影装置で撮影された画像データを出力する画像出力方法であって、前記画像データを撮影した際の撮影状態に関する情報を含み、該画像データに付属する付属情報を読み込む工程（ステップＳ５０１）と、前記付属情報に含まれる撮影状態に関する情報の信頼性の有無を識別する工程（ステップＳ５０３〜Ｓ５０６）と、前記画像データの画質を補正するための補正情報を、前記撮影状態に関する情報に対応付けて予め保持する工程と、前記撮影状態に関する情報が信頼性ありと識別された場合、該付属情報に含まれる撮影状態に関する情報に対応する補正情報に従って、前記画像データの画質を補正する工程（ステップＳ５０９〜Ｓ５１２）とを備える。
【選択図】 図５

Description

本発明はデジタルカメラ等の撮影装置で撮影したデジタル画像の画質補正技術に関するものである。

近年、デジタルカメラやプリンタの性能向上に伴い、デジタルカメラとプリンタとをＵＳＢなどの高速通信回線を介して直接接続することや、デジタルカメラに取り付けられたコンパクトフラッシュ（登録商標）などの半導体メモリを直接プリンタに差し込んだりすることが可能になっている。この結果、ユーザはデジタルカメラで撮影した画像を簡単にプリンタに取り込むことができ、パソコンを所持していなくても銀塩写真と同等の画質を有する画像を手軽に印刷することができる。

一般に、デジタルカメラで撮影した画像は、たとえば、Ｅｘｉｆファイルフォーマット等の形式で記録されるが、このとき、撮影時のデジタルカメラの状態等を表す撮影情報や印刷時の画質補正情報などの付属情報を画像とともに記録しておくことにより、画像検索の際に当該情報を利用したり、画質補正に用いたりすることができる。

さらに、撮影情報の中には、風景モードや夜景モードなどの撮影シーン情報を格納することもでき、撮影者がこのモードを適切に設定して撮影すれば、当該モードに応じた適切な画質補正を施すことも可能となる。

しかしながら、モード設定の切り替え忘れによって間違ったモードで撮影したり、モード設定操作の煩わしさから、オートモードで撮影する場合が多く、撮影シーン情報はあまり利用されていない。また、より適切な画質補正をするためには、さらにきめの細かい撮影シーン情報を付加することが必要となってくるが、操作性が悪くなるために市場に受け入れられない。そこで、撮影シーン情報が付加されていない場合であっても（撮影者が撮影シーン情報を適切に設定していない場合であっても）適切な画質補正が行えるよう、撮影された画像を解析し、画像から撮影シーンを推定する手法が提案されている。

例えば、特開２００１−１８６２９７号公報（特許文献１）には、撮影シーン情報が付加されている場合に当該撮影シーン情報に基づいて画質補正を行う一方、撮影シーン情報が付加されていない場合には撮影シーンを推定することで、撮影シーン情報が付加されていない場合でも適切な画質補正を行う装置について開示されている。

また、特開２００１−２３８１７７号公報（特許文献２）には、カメラで撮影すると同時に撮影情報を記録しておき、当該撮影情報を考慮しながら画像を解析した上で撮影シーンを推定することにより、撮影シーン情報が付加されていない場合でも精度よく撮影シーンを推定することが可能な装置について開示されている。
特開２００１−１８６２９７号公報 特開２００１−２３８１７７号公報

しかしながら、上記特許文献１、２によれば、画像に撮影シーン情報が付加されていた場合、当該撮影シーン情報に基づいて画質補正を行うこととしているため、信頼性の低い撮影シーン情報が付加されていると、かえって画質低下が生じてしまうという問題がある。具体的には、画像に付加される撮影シーン情報は撮影者によって撮影時に設定される場合のほか、他の画像処理装置において画像に基づいて推定される場合がある。そして、画像に基づいて推定された撮影シーン情報も、そのすべてが信頼性の高いものになっているとは限らず、推定された撮影シーンが誤判定の場合もありえる。

例えば、撮影された画像が一旦パソコン等の処理能力の高い機器に読み込まれ、当該機器で画像解析することで撮影シーン情報が得られたような場合には、信頼性の高い撮影シーン情報が期待できるが、大容量のワークメモリを持たないデジタルカメラで画像解析することで得られたような場合には、撮影シーン情報に高い信頼性は望めない。つまり、プリンタがパソコン以外の様々な機器（デジタルカメラ他）と直接接続され、画像の取り込みが容易となったことに伴い、取り込まれた画像に付加された撮影シーン情報（画像解析により推定された撮影シーン情報）の信頼性にもばらつきが生じることとなり、その結果、取り込まれた画像に付加された撮影シーン情報をそのまま利用した場合、当該撮影シーン情報に誤判定があると、かえって画質の低下を招くこととなる。

本発明は、上記課題を鑑みてなされたものであり、撮影装置で撮影されたデジタル画像を画質補正して出力する場合において、画質の向上を図ることを目的とする。

上記の目的を達成するために本発明に係る画像出力装置は以下のような構成を備える。即ち、
撮影装置で撮影された画像データを出力する画像出力装置であって、
前記画像データを撮影した際の撮影状態に関する情報を含み、該画像データに付属する付属情報を読み込む読込手段と、
前記付属情報に含まれる撮影状態に関する情報の信頼性の有無を識別する識別手段と、
前記画像データの画質を補正するための補正情報を、前記撮影状態に関する情報に対応付けて予め保持する保持手段と、
前記撮影状態に関する情報が信頼性ありと識別された場合、該付属情報に含まれる撮影状態に関する情報に対応する補正情報に従って、前記画像データの画質を補正する画質補正手段とを備える。

本発明によれば、撮影装置で撮影されたデジタル画像を画質補正して出力する場合において、画質の向上を図ることが可能となる。

以下、添付の図面を参照して、本発明の好適な実施形態を説明する。

＜一実施形態＞
［システム構成］
図１は本発明の一実施形態にかかる画像出力装置（プリンタ）を含む画像処理システム全体の構成を示す図であり、印刷データを生成する情報処理装置１００と、その印刷データに基づいて画像を形成するプリンタ２００、被写体を撮影しデジタル画像データを出力するデジタルカメラ３００とを備える。

情報処理装置１００は、メモリ１１０、ＲＯＭ１２０、ＣＰＵ１３０、ブラウン管や液晶ディスプレイなどの表示装置（ＣＲＴ）１４０、フロッピー（登録商標）ディスクドライブ（ＦＤＤ）１５０、ハードディスクドライブ（ＨＤＤ）１６０、キーボード（ＫＢ）及びポインティングデバイス（ＰＤ）１７０、プリンタなど各種デバイスと接続可能なＵＳＢ Ｉ／Ｆ１８０、コンパクトフラッシュ（登録商標）のような半導体メモリカード（ＭＥＭＯＲＹ ＣＡＲＤ）４００を挿入可能なスロットを装備したメモリカードインターフェース（ＭＥＭＯＲＹ Ｉ／Ｆ）１９０などで構成され、これらを接続するバス１９５を介して相互にデータの入出力を行う。

プリンタ２００は、着脱可能な液晶ディスプレイなどの表示装置（ＣＲＴ）２１０、記録信号を入力するＵＳＢ Ｉ／Ｆ２２０、ＭＥＭＯＲＹ ＣＡＲＤ４００を挿入可能なスロットを装備したＭＥＭＯＲＹ Ｉ／Ｆ２３０、ＲＡＭ２４０、ＲＯＭ２５０、ＭＰＵ２６０、オペレーションパネル２７０、モータや印字ヘッドなどの制御を行うプリンタエンジン２８０などで構成され、これらを接続するバス２９５を介して相互にデータの入出力を行う。

デジタルカメラ３００は、撮像部３３０とＵＳＢ Ｉ／Ｆ３１０、ＭＥＭＯＲＹ ＣＡＲＤ４００を挿入可能なスロットを装備したＭＥＭＯＲＹ Ｉ／Ｆ３２０などで構成され、撮影した画像データをＭＥＭＯＲＹ Ｉ／Ｆ３２０を介して、スロットに挿入されたＭＥＭＯＲＹ ＣＡＲＤ４００に記録したり、また、ＵＳＢ Ｉ／Ｆ３１０を介して情報処理装置１００やプリンタ２００と通信することが可能である。

なお、ＵＳＢ Ｉ／ＦのほかにＢｌｕｅＴｏｏｔｈ、ＩＥＥＥ８０２．１１、ＵＳＢやＩＥＥＥ１３９４のような通信インターフェースを搭載しても、本発明の目的を達することができる。

［プリンタとの接続］
以上のようなシステム構成のもと、デジタルカメラ３００とプリンタ２００を相互に接続して印刷する場合、プリンタのＲＯＭ２５０に画質補正プログラムを記録し、プリンタのＭＰＵ２６０により制御を行い、デジタルカメラ３００の表示装置、操作部（不図示）を使用して各処理を実行する。また、プリンタ２００のＭＥＭＯＲＹ Ｉ／Ｆ２３０を使用して画像データを供給してもよい。

なお、情報処理装置１００を使用する場合はＵＳＢ Ｉ／Ｆ１８０を介してデジタルカメラ２００から直接画像を読み込んだり、ＭＥＭＯＲＹ Ｉ／Ｆ１９０から画像を読み込むことができる。ＭｉｃｒｏｓｏｆｔのＷｉｎｄｏｗｓ（登録商標） ＸＰなどのオペレーティングシステムであれば、いずれもドライブとして扱うことができ、ＨＤＤ１６０に格納されたファイルと同様な操作で画像データを読み書き可能となる。

［付属情報について］
画像の付属情報の格納方法について説明する。付属情報は、たとえばＥｘｉｆファイルフォーマットの場合は、画像データを圧縮したものであれば、ＪＰＥＧ画像ファイルのアプリケーションマーカセグメントに露出、フラッシュのＯＮ／ＯＦＦなどの撮影情報がタグ付けして格納される。

メーカ拡張領域にはメーカ独自の情報を格納することができることから、本実施形態では、独自の情報として、画像解析アルゴリズムの識別子およびバージョン、特徴量データベース識別子およびそのバージョン、ならびにシーン自動判定結果を格納するものとする。画像解析アルゴリズムの識別子は画像解析アルゴリズムを識別するもので、記憶領域や処理能力といったさまざまな制限があったときに、撮影シーンの判定をどの程度まで高度に行ったか識別するものである。また、画像解析アルゴリズムのバージョンはどちらが新しいアルゴリズムかを識別するものである。画像解析アルゴリズムが同じであれば、新しいバージョンでの判定結果のほうが信頼性が高い。

同様に特徴量データベースにもいくつかのバリエーションがある。一般的な撮影シーン判定を行うためのデータベースセットのほかに、ある種の撮影シーン判定に特化して構築されたデータベースセットが複数存在し、それらを合成した特徴量データベースで撮影シーン判定をしている。また、システムの処理能力に応じて、特徴量データベースのレコード数を増減するために、いくつかのサブセットが存在する。

このような状況に対応するために、撮影シーン判定に利用した特徴量データベースが特定できる識別子を格納する。図７は特徴量データベースの包含関係と識別子の一例を示したものである。特徴量データベースの識別子を比較して包含関係を判定するためには識別子を文字列で表したときに、サブセットの特徴量データベース側の識別子を構成する文字列が、スーパーセットの文字列の部分文字列になるような関係で両者の識別子を決めればよい。

同様に画像解析アルゴリズム識別子についても、解析能力が下位の画像解析アルゴリズムの識別子が上位の画像解析アルゴリズムの部分文字列になるような関係で識別子を決めればよく、下位の画像解析アルゴリズムの数が増えた場合はそれらをグルーピングしたものに識別子を与えればよい。本実施形態においてアルゴリズムと特徴量データベースに関する付属情報の目的は、付属情報に格納されているシーン判定結果が付属情報を読み出した装置（例えば、デジタルカメラ）が実装している撮影シーン判定により、より高精度な判定ができるか否かを判断するためのものである。目的を達成することができれば、他の独自のフォーマットで記録しても、他の情報を記録してもよい。

［特徴量データベースの構造について］
本実施形態における特徴量データベースの構造について図８を用いて説明する。データベースは２つのテーブルから構成される。第１のテーブル画像特徴量情報Ｔ１は画像特徴量とシーンＩＤのフィールドで構成される。画像特徴量は、シーンＩＤごとに定義された画像解析処理固有のデータ構造をもつバイナリデータであり、その内容と求め方の一例を画像解析処理の項で詳しく説明する。シーンＩＤは風景、花、ポートレートなどの撮影シーンを一意に識別する識別子である。撮影シーンは画像解析処理の解析能力に応じてより細かく設定することが可能である。

このテーブルに格納するレコードは、判定する撮影シーン毎に１つまたは複数の典型的な画像と、そのバリエーション画像を用意し、各画像から抽出した特徴量と対応するシーンＩＤが１画像につき、１レコードとして格納される。

第２のテーブルシーン情報Ｔ２は、ユニークキーであるシーンＩＤと、対応する補正方法、画像解析方法のフィールドから構成される。補正方法のフィールドに格納するデータは可変長バイナリ形式で、その内容は、彩度、明度等の度合いを強調したり、色空間の変換マトリクス、色ヒストグラムの最適値を記述し、それに向かって指定の度合いだけ近づけるといった補正方針が格納される。位置空間、色空間上で部分的な補正が必要な場合や、ヒューリスティックな補正方法を適用する場合は、撮影シーン別の補正アルゴリズム識別子により、所定の補正アルゴリズムを適用して補正することができる。画像解析方法のフィールドに格納するデータは可変長バイナリ形式で、画像解析アルゴリズムを特定する識別子と、それに与える固有のパラメータが格納される。

［処理の概要］
次に画像出力装置（プリンタ）２００を含む画像処理システム全体の画像印刷処理の概要について図２を用いて説明する。

システムが起動されると、ステップＳ２０１に進み、デジタルカメラ、情報処理装置、プリンタの各機器では以下の処理で必要なフラグや表示画面などの初期化を行う。次に、ステップＳ２０２に進み、印刷する画像を選択する。なお、本システムの場合、印刷する画像の選択としては次のようなケースが考えられる。つまり、デジタルカメラ３００とプリンタ２００とが直接接続されている場合には、デジタルカメラ３００において印刷する画像を選択し、情報処理装置１００とプリンタ２００とが接続されている場合には、情報処理装置１００において印刷する画像を選択し、ＭＥＭＯＲＹ ＣＡＲＤ４００がプリンタ２００に差し込まれ画像がプリンタ２００に取り込まれている場合には、プリンタ２００において印刷する画像を選択することとなる。

次に、ステップＳ２０３に進み、プリンタ２００では、ステップＳ２０２において選択された画像を読み込み、画像解析処理を行い、補正方法案を決定する。この処理の詳細については後述する。次にステップＳ２０４に進み、複数の補正方法案が得られた場合はステップＳ２０５に進み、補正方法案が１つであればステップＳ２１１に進む。ステップＳ２０５ではプリンタの補正方法案の選択モードが自動選択モードであるか否かを判断する。このフラグは後述する補正候補（判定された撮影シーンに対応する補正方法案の候補）の提示において設定されるフラグの内容を評価することにより処理が分岐する。

自動選択モードでない場合にはステップＳ２０６へ進み、補正候補の提示を行う。このときの表示装置（ＣＲＴ）２１０の例を図３に示すが、詳細な説明は後述する。次にステップＳ２０７に進み、補正パラメータの修正を行う。このステップは必須のものではなく、補正方法案に満足するものであれば、次のステップへスキップしてもよい。次にステップＳ２０８に進み、提示された補正候補の中から１つ補正方法案を選択する。次にステップＳ２０９に進み、選択した撮影シーン及び補正方法案を学習する。学習内容については後述する。

一方、ステップＳ２０５の判断の結果、自動選択モードであった場合、ステップＳ２１０に進み、自動選択モード設定時に指示された判定方法にしたがって一の補正方法案の選択を行い、ステップＳ２１１に進む。

ステップＳ２１１では、印刷用に画質補正を施し、次にステップＳ２１２に進み、画像を印刷する。なお印刷データはスプーラ領域１１３と呼ばれる一時ファイルとして保存され、実際の印刷とは非同期で処理が進む。次にステップＳ２１３に進み、選択した画像をすべて処理したかを判断し、すべて処理していたら終了する。選択した画像がすべて処理されていない場合はステップＳ２０３に戻り、選択した次の画像について処理を繰り返す。

［学習内容について］
ステップＳ２０９の選択内容学習処理において学習する内容は、選択された補正方法案のうち、撮影シーンごとの選択頻度の他、手動で調整した補正値を撮影シーンと対応付けて格納される。このように、手動で調整した補正内容を撮影シーンと対応付けて格納しておくことで、次回以降、ステップＳ２０６において補正候補の１つとして提示されることとなり、ユーザの好みを反映した画質補正を行うことが可能となる。

なお、複数の補正方法案から合成された補正方法案が選択されている場合は学習の対象とはしない。また、入出力デバイスによる補正方法案の差については色表現系をｓＲＧＢもしくは、ｓＲＧＢで表現可能な色空間を拡張した色表現系を用いることで、入出力デバイスごとに学習結果を分ける必要はない。しかし、現実的には入出力デバイスによって補正方法案が異なってしまうため、このような場合は、入出力デバイスによって学習ファイルを切り替えればよい。

なお、利用者が満足する画質の印刷結果が得られるまで何度か試行錯誤することを考慮して、画像について最後の１回の選択内容、補正値だけを学習することが効果的である。

［補正候補の選択画面の説明］
図３はステップＳ２０６におけるＣＲＴ２１０上の画面表示の例である。この例では１枚の画像に対して、４つの異なる補正方法案を施した効果を確認し、オペレータの好む画像を選択する画面である。３００１〜３００４は画像、３００５は注目中の画像であることを示すカーソル、３００６は微調整ボタン、３００７は選択ボタン、３００８は自動選択ボタンである。

画像３００１〜３００４上をクリックすることでその画像１つが注目状態となり、画像の周囲にカーソル３００５が表示される。

微調整ボタン３００６をクリックすると、カーソル３００３のある画像の補正方法を微調整するための補正内容微調整設定画面を表示する。

このとき、ＣＲＴ２１０に表示する操作パネルの例を図４に示す。詳細な説明は後述する。選択ボタン３００７をクリックすると、カーソルのある画像の補正方法案が決定されるとともに、本ウインドウを消去して印刷用画質補正処理（ステップＳ２１１）へ処理が移行する。

自動選択ボタン３００８をクリックすると、以降、複数の補正方法案があったとしても、オペレータの選択操作をすることなく、画像の印刷が続けられるようになる。

［補正内容微調整設定画面の説明］
図４は微調整ボタン３００６をクリックしたときに表示される補正内容微調整設定画面の例である。この画面では各補正項目についてその効果の係り具合を相対的に設定できるようにすることが可能である。なお、本実施形態は画質補正の初級ユーザ向けを想定し相対的な設定方法をとったが、画質補正の上級ユーザ向けには補正の絶対値が確認できるようにしてもよい。相対的な設定方法の利点は、一般に補正を強くかけてしまうと、画像の色の階調性を失ったり、再現可能な色範囲を超えてしまう画素が多く発生してしまうことになり、かえって画質劣化につながってしまうが、これを最小限に抑えるために、手動で変更可能な補正量の最大幅を求めたうえでユーザの好みに合わせることが可能となっていることである。

図４の各表示内容について説明する。図中４００１は各スライダについているつまみである。この画面を表示した直後は、前記の補正方針から相対的に調整するので、各補正項目のつまみは中央に配置される。任意の補正項目のつまみを横方向にドラッグすることによって、その補正量の強弱を設定できる。４００２はガンマ値の補正スライダである。また、４００３は黒レベルの補正スライダ、４００４は明るさの補正スライダ、４００５は鮮やかさの補正スライダで彩度を調整する。４００６はくっきりさの補正スライダで、輪郭を強調するシャープネスを調整する。

４００７はプレビューボタンで、クリックすると設定中の補正値を適用した画像を画面に表示する。４００８はＯＫボタンで、クリックすると本画面を閉じて、設定中の補正値を適用する。４００９はＣａｎｃｅｌボタンで、クリックすると本画面を閉じて、設定中の補正値は適用しない。

［自動選択方法の説明］
自動選択ボタン３００６をクリックしたときに有効となる自動選択の方法について説明する。自動選択では、複数の画像を選択して、補正処理を行う場合に、補正方法案が複数あったときに、どの補正方法案を選択するかを自動的に行う。これには、いくつかの判断材料から、ユーザの趣向や過去の手動選択内容を元に決定される。第１の判断材料は、第１の候補を選択するもので、尤度がもっとも高い撮影シーンの補正方法案を採用する。第２の判断材料は、今回選択と同一の撮影シーンを重視し、印刷するために選択した画像が似たような画像である場合に選択するもので、今回ステップＳ２０８で選択した補正方法案の撮影シーンと同じものを採用する。第３の判断材料は、学習結果に着目したもので、選択した撮影シーンの頻度をカウントしておき、高頻度なほうを採用するものである。

［補正方法案決定］
次に、画像解析処理を行い、補正方法案を決定するプリンタ２００における処理（ステップＳ２０３）の詳細を図５に示す。まず、ステップＳ５０１進み、画像の付属情報を読み込む。次にステップＳ５０２に進み、撮影シーンの判定結果があるかどうかを調査する。ない場合はステップＳ５０７に進み、撮影シーンの判定を行う。撮影シーンの判定結果が存在する場合は、ステップＳ５０３に進み、それが信頼できるものかを調査する。すなわち、付属情報に記録された画像解析アルゴリズムがプリンタ２００に実装された解析アルゴリズムと同等か上位のアルゴリズムによって作成されたものである場合でなければ信頼できないと判断し、ステップＳ５０７に進む。

また、アルゴリズムが同等な場合はステップＳ５０４に進み、上位の場合はステップＳ５０９に進む。ステップＳ５０４では付属情報に記録された画像解析アルゴリズムのバージョンナンバーをチェックし、バージョンナンバーがプリンタ２００の画像解析アルゴリズムのバージョンナンバーよりも古い場合は信頼できないと判断し、ステップＳ５０７に進む。そうでない場合はステップＳ５０９に進む。

次に付属情報に記録された判定用特徴量データベースに着目し、ステップＳ５０５にて特徴量データベースがプリンタ２００で実装された特徴量データベースと同等か上位のアルゴリズムによって作成されたものである場合でなければ信頼できないと判断し、ステップＳ５０７に進む。

また、特徴量データベースが同等な場合はステップＳ５０６に進み、上位の場合はステップＳ５０９に進む。ステップＳ５０６では付属情報に記録された特徴量データベースのバージョンナンバーをチェックし、バージョンナンバーがプリンタ２００の特徴量データベースのバージョンナンバーよりも古い場合は信頼できないと判断し、ステップＳ５０７に進む。そうでない場合はステップＳ５０９に進む。

ステップＳ５０７からは撮影シーン判定を行う処理である。この処理の詳細は後述する。次にステップＳ５０８に進み、画像の付属情報に判定結果、判定ロジックのバージョン、ルールのバージョン、特徴量データベースの名称とバージョンを保存記録する。なお、判定結果は第１候補の撮影シーン情報だけでなく、第２候補以降の情報や尤度情報を記録してもよい。

次にステップＳ５０９に進み、シーン情報テーブルＴ２を参照し、撮影シーンに対応した上位候補の撮影シーンの補正方法案を獲得する。

次にステップＳ５１０に進み、上位の尤度が近い場合、本実施形態では、１番確度の高いシーンと２番目の尤度との違いが１０％未満である場合、２番目も撮影シーン候補とし、複数解ありと判断しステップＳ５１１に進む。そうでない場合には推測した撮影シーンを決定し、終了する。

ステップＳ５１１では第１番目の撮影シーンと対応付けられた補正方法案と２番目の撮影シーンに対応付けられた補正方法案をブレンドした方法を第３の補正方法案として追加する。ブレンドの方法は、各補正項目について、その補正量の平均または、尤度に応じた加重平均を採用して求める。次にステップＳ５１２に進み学習結果を反映する。具体的には、推定された撮影シーンにおける各調整項目の平均値と分散値を求め、分散値が一定未満の場合には、手動補正の明らかな傾向があると判断し、データベース中の撮影シーンに応じて設定された補正値に、手動調整の平均値を加味する。これによりユーザの嗜好にあった補正方法案を提示することが可能となる。

このように、本実施形態にかかるプリンタによれば、付属情報として撮影シーン判定結果がある場合には、ステップＳ５０３〜Ｓ５０６の判断基準に基づいて、撮影シーン判定のための再計算が必要か否か（つまり、付属情報の撮影シーン判定結果が信頼性のあるものか否か）を判断し、再計算の必要がないと判断されれば、当該撮影シーン判定結果をそのまま用いる。この結果、信頼性の低い撮影シーン情報を用いて画質補正を行うことを回避することが可能となり、画質の向上が実現できる。

また、補正候補を提示するにあたり、撮影シーン判定における尤度が高いものに対応する補正案を尤度の高い順に表示することにより、補正方法案を選択する際の操作性が向上する。

［撮影シーンの判定］
次にプリンタにおける撮影シーンの判定処理（ステップＳ５０７）の詳細を図６に示す。撮影シーンの判定は撮影シーン毎に代表的な画像の画像特徴量をあらかじめデータベース化しておき、それに補正しようとしている画像から、撮影シーン毎の代表的な画像と同様な方法で求めた特徴量との類似度を求め、類似度の高い画像の撮影シーンをその確からしさとともに出力するものである。

図６に従って処理の説明をする。処理を開始したらステップＳ６０１に進み、画像特徴量情報テーブルＴ１の先頭へカーソル移動する。次にステップＳ６０２に進み、カーソルのあるレコードを取得する。次にステップＳ６０３に進み、撮影シーンを判定しようとしている画像から特徴量を算出する。なお、この処理は、レコードによっては同じ算出方法の場合もあるため、一度算出した特徴量はキャッシュしておき、再利用すれば処理が高速になる。

特徴量の抽出アルゴリズムの一例を挙げると、各静止画を縦横に格子状に複数のブロック分割を行い、それぞれのブロックに関してＲＧＢの平均値を算出したものであるとか、色ヒストグラムなどである。このとき、このアルゴリズムのパラメータとしては、ブロック分割の縦横数、色空間の座標系をＲＧＢ系で行うか、ＹＵＶ系で行うか、色の平均値を表現するためのビット数などである。

次にステップＳ６０４に進み、特徴量を比較する。これには例えば、各静止画を縦横に格子状に複数のブロック分割を行い、それぞれのブロックに関してＲＧＢの平均値を算出した特徴量どうしを比較する場合、比較する画像の対応するブロック同士のＲＧＢ各チャンネルの差の二乗和を求め、静止画間の類似性距離とし、これが小さいほど類似しておりすなわち画像相関が高く、類似性距離が大きいほど類似していない、すなわち画像相関が低いとする方法である。

このフレーム間類似性距離の計算式は、下記（数１）に示す通りである。

ここで、各変数の内容は以下の通りである。
ｉ ：処理中のブロック
Ｋ ：分割ブロック数
Ｐ１ｉＲ ：第１画像のｉ番目のブロックのＲチャンネルの平均値
Ｐ１ｉＧ ：第１画像のｉ番目のブロックのＧチャンネルの平均値
Ｐ１ｉＢ ：第１画像のｉ番目のブロックのＢチャンネルの平均値
Ｐ２ｉＲ ：第２画像のｉ番目のブロックのＲチャンネルの平均値
Ｐ２ｉＧ ：第２画像のｉ番目のブロックのＧチャンネルの平均値
Ｐ２ｉＢ ：第２画像のｉ番目のブロックのＢチャンネルの平均値
このようにして求めた画像間距離と、付属情報から推測できる撮影環境情報からヒューリスティックなルールにより重み付けを行い最終的な画像間距離とする。このルールの一例を挙げると、海に沈む夕日を撮影した写真と類似度が高い場合でも、撮影環境情報の撮影位置、撮影日時、撮影時刻から判断して、朝、夕方でない場合には夕日のシーンではないと判断できる。

次にステップＳ６０５に進み、シーンＩＤごとに画像間距離の最小値を保存する。そしてステップＳ６０６に進み、最終レコードまで処理したか判定し、まだであればステップＳ６０６に進みカーソルを次に進めてステップＳ６０２に進む。ステップＳ６０６で最終レコードまで処理した場合はステップＳ６０８に進み、シーンＩＤごとに得られた画像間距離の最小値からシーンに対する尤度を求める。ここで問題になるのは、撮影シーンによって比較アルゴリズム、パラメータが異なるため、画像間距離の単純比較では求めることができないことである。そこで、画像間距離を撮影シーン間で比較可能にする尤度への変換式を統計的手法によってあらかじめ求めておき、この変換式によって、画像間距離を撮影シーン判定の尤度情報に変換して出力する。このように撮影シーン判定を行ってシーンＩＤとその尤度情報を出力する。

次にステップＳ６０９に進み、学習結果を反映させる。これは、学習結果のうち判定した撮影シーンに対応する選択回数を読み込み、尤度の高い順に並べたときに、学習した選択回数の多いものから順に並ぶように尤度を設定し終了する。

なお、撮影シーンの判定はブロック分割したカラーレイアウトによる一例を示したが、この方法に限定するものではない。その他の方法として、画像の全体または一部のカラーヒストグラムを用いたり、領域分割やエッジに着目した方法などがある。ＭＰＥＧ７で標準化されたエッジヒストグラム、リージョンシェイプ、カウンターシェイプなどの画像検索技術のための特徴量を用いてもよい。

また、付属情報に撮影シーン判定に有益な情報があればこれらを使って撮影シーン判定することはいうまでもない。たとえば焦点情報があれば風景のみを撮った写真かどうかの判定などが行える。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の一実施形態にかかる画像出力装置（プリンタ）を含む画像処理システムを示す図である。 本発明の一実施形態にかかる画像出力装置における処理の概要を示すフローチャートである。 補正方法選択画面の表示例を示す図である。 補正内容微調整画面の表示例を示す図である。 本発明の一実施形態にかかる画像出力装置における補正方法案を決定する処理の詳細を説明するフローチャートである。 本発明の一実施形態にかかる画像出力装置における撮影シーンの判定処理の詳細を説明するフローチャートである。 特徴量データベースの包含関係と識別子の対応関係を示す図である。 特徴量データベースのスキーマを示す図である。

Claims (12)

1. 撮影装置で撮影された画像データを出力する画像出力装置であって、
   前記画像データを撮影した際の撮影状態に関する情報を含み、該画像データに付属する付属情報を読み込む読込手段と、
   前記付属情報に含まれる撮影状態に関する情報の信頼性の有無を識別する識別手段と、
   前記画像データの画質を補正するための補正情報を、前記撮影状態に関する情報に対応付けて予め保持する保持手段と、
   前記撮影状態に関する情報が信頼性ありと識別された場合、該付属情報に含まれる撮影状態に関する情報に対応する補正情報に従って、前記画像データの画質を補正する画質補正手段と
   を備えることを特徴とする画像出力装置。
2. 前記識別手段は、
   前記付属情報に含まれる撮影状態に関する情報が生成された際に用いられた解析アルゴリズムの属性およびデータベースの属性に基づいて、信頼性の有無を判定することを特徴とする請求項１に記載の画像出力装置。
3. 前記画像データの画質を補正するための補正内容をユーザからの入力に基づいて設定する手動画質補正手段と、
   前記画像データを撮影した際の撮影状態を、該画像データに基づいて判定する判定手段と、を更に備え、
   前記保持手段は、
   前記読込手段により読み込まれた撮影状態に関する情報、または前記判定手段により判定された撮影状態に関する情報に対応付けて、前記手動画質補正手段により設定された補正内容を補正情報として保持することを特徴とすることを特徴とする請求項１に記載の画像出力装置。
4. 前記画像データの撮影状態に関する情報に対応する一または複数の前記補正情報を表示する表示手段と、
   前記表示手段に表示された前記補正情報のうち、一の補正情報を選択する選択手段と、を更に備え、
   前記画質補正手段は、前記選択手段により選択された補正情報に従って前記画像データの画質を補正することを特徴とする請求項３に記載の画像出力装置。
5. 前記表示手段は、前記判定手段により判定された複数の撮影状態のうち尤度の高い撮影状態に対応する補正情報を、尤度の高い順に表示することを特徴とする請求項４に記載の画像出力装置。
6. 撮影装置で撮影された画像データを出力する画像出力方法であって、
   前記画像データを撮影した際の撮影状態に関する情報を含み、該画像データに付属する付属情報を読み込む読込工程と、
   前記付属情報に含まれる撮影状態に関する情報の信頼性の有無を識別する識別工程と、
   前記画像データの画質を補正するための補正情報を、前記撮影状態に関する情報に対応付けて予め保持する保持工程と、
   前記撮影状態に関する情報が信頼性ありと識別された場合、該付属情報に含まれる撮影状態に関する情報に対応する補正情報に従って、前記画像データの画質を補正する画質補正工程と
   を備えることを特徴とする画像出力方法。
7. 前記識別工程は、
   前記付属情報に含まれる撮影状態に関する情報が生成された際に用いられた解析アルゴリズムの属性およびデータベースの属性に基づいて、信頼性の有無を判定することを特徴とする請求項６に記載の画像出力方法。
8. 前記画像データの画質を補正するための補正内容をユーザからの入力に基づいて設定する手動画質補正工程と、
   前記画像データを撮影した際の撮影状態を、該画像データに基づいて判定する判定工程と、を更に備え、
   前記保持工程は、
   前記読込工程により読み込まれた撮影状態に関する情報、または前記判定工程により判定された撮影状態に関する情報に対応付けて、前記手動画質補正工程において設定された補正内容を補正情報として保持することを特徴とすることを特徴とする請求項６に記載の画像出力方法。
9. 前記画像データの撮影状態に関する情報に対応する一または複数の前記補正情報を表示する表示工程と、
   前記表示工程に表示された前記補正情報のうち、一の補正情報を選択する選択工程と、を更に備え、
   前記画質補正工程は、前記選択工程により選択された補正情報に従って前記画像データの画質を補正することを特徴とする請求項８に記載の画像出力方法。
10. 前記表示工程は、前記判定工程により判定された複数の撮影状態のうち尤度の高い撮影状態に対応する補正情報を、尤度の高い順に表示することを特徴とする請求項９に記載の画像出力方法。
11. 請求項６乃至１０のいずれかに記載の画像出力方法をコンピュータによって実現させるための制御プログラムを格納した記憶媒体。
12. 請求項６乃至１０のいずれかに記載の画像出力方法をコンピュータによって実現させるための制御プログラム。

Images