JP2012099897A - 画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】画像データに付加される情報に基づいて画像データの補正を行う画像処理方法および画像処理装置において、画像データに付加される情報に応じて顔情報の取得を適正化して顔情報に基づく画像データの補正を開始するまでの時間を最適化する。
【解決手段】画像データに顔情報が付加されるときには顔情報に基づいて画像データを補正し、画像データに顔情報が付加されていないとき、画像データに付加されるシーン情報が人物である場合に画像データから人物の顔を認識する顔認識処理を実行して顔情報を取得するとともに該顔情報に基づいて画像データを補正する一方、シーン情報が人物以外である場合に顔認識処理を行わない。
【選択図】図５

Description

この発明は、画像データに付加される情報（顔情報やシーン情報）に基づいて画像データの補正を適切に行う画像処理方法および画像処理装置に関するものである。

画像データに顔情報を付加する技術については、例えば特許文献１に記載されている。この特許文献１に記載のプリントシステムでは、デジタルカメラが顔認識処理を実行して顔オブジェクトの位置情報や色情報などを顔オブジェクト情報として検出し、さらに原撮影画像データに添付し、または埋め込んで顔オブジェクト情報付き撮影画像データを生成する。一方、プリンターなどの印刷装置は、撮影画像に付加される顔オブジェクト情報に基づいて画像データに対して色補正を実行し、色補正済の画像を印刷する。このように、デジタルカメラによる顔認識結果を利用して印刷装置側で独自に補正をかける技術が知られている。

特開２００７−２１３４５５号公報

ところで、デジタルカメラの顔認識によって被写体に含まれる人物の顔の全部が完全かつ正確に認識される保証はない。このため、デジタルカメラ側での顔認識の補佐あるいは再確認を行う意味で印刷装置側でも独自に顔認識を行うことは有効である。その一方で、印刷装置側での顔認識処理を一律に行うことには次の問題が含まれている。すなわち、顔認識処理には時間がかかり、かつ印刷開始前に行う必要があることから、印刷装置側での顔認識処理を無条件に実行する場合、印刷ボタン押下から印刷開始までの待ち時間が徒に増えるという問題がある。

この発明にかかるいくつかの態様は、画像データに付加される情報に基づいて画像データの補正を行う画像処理方法および画像処理装置において、画像データに付加される情報に応じて顔情報の取得を適正化して顔情報に基づく画像データの補正を開始するまでの時間を最適化することを目的とする。

本発明の第１の態様は、上記目的を達成するため、画像データに顔情報が付加されるときには顔情報に基づいて画像データを補正し、画像データに顔情報が付加されていないとき、画像データに付加されるシーン情報が人物である場合に画像データから人物の顔を認識する顔認識処理を実行して顔情報を検出するとともに該顔情報に基づいて画像データを補正する一方、シーン情報が人物以外である場合に顔認識処理を行わないことを特徴としている。

また、本発明の第２の態様は、上記目的を達成するため、画像データに付加される顔情報を取得する顔情報取得部と、画像データに付加されるシーン情報を取得するシーン情報取得部と、画像データから人物の顔を認識する顔認識処理を行う顔認識部と、画像データを補正する補正部とを備え、補正部は、顔情報取得部により顔情報が取得されるときには顔情報に基づいて補正する一方、顔情報取得部により顔情報が取得されずしかもシーン情報取得部により取得されるシーン情報が人物であるときには顔認識処理の実行により検出される顔情報に基づいて補正し、顔認識部は、顔情報取得部により顔情報が取得されずしかもシーン情報取得部により取得されるシーン情報が人物以外であるとき、または顔情報取得部により顔情報が取得されるときには顔認識処理を実行しないことを特徴としている。

このように構成された発明（画像処理方法および画像処理装置）では、画像データに顔情報が付加されている場合、画像データに人物が含まれている蓋然性が高いため、顔認識処理を実行することなく、付加されている顔情報に基づいて画像データが補正される。一方、画像データに顔情報が付加されていない場合、次のような態様が考えられる。例えば被写体を撮像して画像データを生成するデジタルカメラなどの撮像装置に、顔認識機能が装備されていない場合、被写体に人物を含まれていたとしても、顔情報を画像データに付加することは不可能である。また、顔認識機能を有するものの、撮像装置が顔認識に失敗していることも想定される。そこで、画像データに顔情報が付加されているか否かという判断基準（以下、「顔情報基準」という）のみではなく、本発明ではシーン情報をさらに組み合わせて画像データに対する補正を実行している。すなわち、シーン情報が人物である場合、画像データに人物が含まれている可能性が高いため、顔認識処理が実行されて顔情報が検出され、該顔情報に基づいて画像データが補正される。逆に、シーン情報が人物以外である場合、画像データに人物が含まれている可能性が低いため、顔認識処理の実行が見送られる。このように画像データに付加される情報に応じて顔情報の取得が適正化されている。その結果、顔情報に基づく画像データの補正を開始するまでの時間が最適化される。

上記のように、本発明では、顔情報基準と、シーン情報が人物であるか否かという判断基準（以下、「シーン情報基準」という）とを組み合わせているが、顔情報基準を優先させるのが望ましい。というのも、上記したように画像データに付加される顔情報は撮像装置による顔認識により取得されるものであるため、顔情報が付加されているということは被写体に人物が含まれる蓋然性がシーン情報基準よりも高いと考えられるからである。したがって、画像データに顔情報が付加されるときには、シーン情報が人物以外であっても顔情報に基づいて画像データを補正するのが好適である。

さらに、画像データに顔情報が付加されず、かつシーン情報が人物以外である場合には、被写体に人物が含まれていない可能性が高いが、シーン情報に基づいて画像データを補正することで画像の色合いを最適化することができ、好適である。

本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図。 デジタルカメラで作成される画像ファイルの一例を示す図。 図２の部分拡大図。 顔認識処理により認識された顔の一例を示す図。 図１の印刷装置で実行される画像処理および印刷動作を示すフローチャート。 座標リストおよび座標リストへの顔情報の登録例を示す図。 各撮影シーンでの最適な画質パラメータの特徴量を示す図。

図１は、本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図である。この印刷システムは、デジタルカメラ２００の撮影により取得された画像データを、メモリカードＭ、ＵＳＢ(Universal Serial Bus)ケーブルや無線ＬＡＮ(Local Area Network)等によって印刷装置１００に転送し、印刷装置１００で印刷するものである。すなわち、ここではユーザーがデジタルカメラ２００で画像を撮影して画像データを生成し、その画像データをそのまま印刷装置１００で読み込んで印刷する、いわゆるダイレクト印刷を想定しているが、本発明を適用可能な印刷システムはこれに限定されるものではない。つまり、デジタルカメラ２００で生成した画像データをパーソナルコンピューターや携帯電話などに取り込み、パーソナルコンピューターから印刷装置１００に画像データを送信して印刷する印刷システムにも本発明を適用することは可能である。

デジタルカメラ２００では、同図に示すように、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、ＣＣＤ（Charge Coupled Device）２０４、ＧＰ（Graphic Processor）２０５およびＩ／Ｆ（Interface）２０６がバス２０７を介して相互に接続され、これらの間で情報の授受が可能となっている。そして、ＣＰＵ２０１はＲＯＭ２０２に格納されているプログラムに応じて各種演算処理を実行しながらデジタルカメラ２００の制御を行う。このとき一時的に必要となるデータはＲＡＭ２０３に格納される。また、ＣＣＤ２０４は、光学系２０８によって集光された被写体からの光学像を電気信号に変換して出力する。この光学系２０８は、複数のレンズおよびアクチュエータによって構成されており、アクチュエータによってフォーカス等を調整しながら被写体の光学像を複数のレンズによってＣＣＤ２０４の受光面に結像する。さらに、ＧＰ２０５は、ＣＰＵ２０１から供給される表示命令に基づいて表示用の画像処理を実行し、得られた表示用画像データをＬＣＤ（Liquid Crystal Display）２０９に供給して表示させる。

Ｉ／Ｆ２０６はデジタルカメラ２００の入出力機能を提供するものであり、操作ボタン２１０、ジャイロセンサー２１１およびカードＩ／Ｆ回路２１２の間で情報を授受する際に、データの表現形式を適宜変換する装置である。Ｉ／Ｆ２０６に接続される操作ボタン２１０には、電源、モード切替え、シャッターなどのボタンや、各種機能を設定できる入力手段があり、これらによってユーザーはデジタルカメラ２００を任意に制御して動作させることが可能となっている。また、ジャイロセンサー２１１はデジタルカメラ２００によって被写体を撮影した際のカメラ本体の角度（水平面に対する角度）を示す信号を生成して出力する。デジタルカメラ２００は、上記したカメラ本体の角度を含め、撮影時における種々の情報（例えば、露光、被写体等に関する情報）を生成する。それらの情報の一つである撮影情報に後述する顔情報やシーン情報が含まれる。なお、本実施形態では、デジタルカメラ２００は、撮影情報をＥｘｉｆ（Exchangeable Image File Format）情報に記載し、画像データに付加した画像ファイルを生成することができる構造となっている。

また、カードＩ／Ｆ回路２１２はカードスロット２１３に挿入されたメモリカードＭとの間で情報を読み書きするためのインタフェースである。さらに、Ｉ／Ｆ２０６は図示を省略するＵＳＢ、無線ＬＡＮなどの外部機器との接続機能も有しており、有線または無線にて印刷装置１００との間で画像ファイルの授受が可能となっている。なお、デジタルカメラ２００で作成され、印刷装置１００に与えられる画像ファイル（画像データ＋Ｅｘｉｆ情報）については、後で詳述する。

印刷装置１００はデジタルカメラ２００で撮像された画像を印刷する装置であり、次のように構成されている。印刷装置１００では、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１０４、ＧＰ１０５およびＩ／Ｆ１０６がバス１０７を介して相互に接続され、これらの間で情報の授受が可能となっている。ＣＰＵ１０１はＲＯＭ１０２およびＥＥＰＲＯＭ１０４に格納されているプログラムに応じて各種演算処理を実行するとともに印刷装置１００の各部を制御し、本発明の「顔情報取得部」、「シーン情報取得部」、「顔認識部」および「補正部」として機能する。また、ＣＰＵ１０１が実行対象とするプログラムやデータについてはＲＡＭ１０３に一時的に格納される一方、印刷装置の電源が切断された後も保持しておくデータ等についてはＥＥＰＲＯＭ１０４に格納される。さらに、ＣＰＵ１０１は必要に応じてＧＰ１０５に対して表示命令を与え、この表示命令に応じてＧＰ１０５が表示用の画像処理を実行し、その処理結果をＬＣＤ１０８に供給して表示させる。

Ｉ／Ｆ１０６は、操作ボタン１０９、カードＩ／Ｆ回路１１０およびプリンターエンジンコントローラー１１１の間で情報を授受する際に、データの表現形式を適宜変換する装置である。印刷装置１００では、操作ボタン１０９は印刷装置１００のメニュー選択等を行う時に押されるように構成されている。また、カードＩ／Ｆ回路１１０は、カードスロット１１２と接続されており、このカードスロット１１２に挿入されたメモリカードＭからデジタルカメラ２００によって生成された画像ファイルを読み出す。なお、Ｉ／Ｆ１０６は、図示を省略するＵＳＢ、無線ＬＡＮなどの外部機器との接続機能も有しており、有線通信または無線通信にてデジタルカメラ２００との間で画像ファイルの授受が可能となっている。

そして、印刷装置１００は、メモリカードＭを介して、あるいはデータ通信により画像データを受け取ると、ＣＰＵ１０１により種々の処理を行うとともにプリンターエンジンコントローラー１１１によりプリンターエンジン１１３を制御し、これによって画像データに対応する画像を印刷する。以下、図２ないし図４に基づき画像ファイルの構成を説明した上で、本実施形態における画像処理動作および印刷動作について図５ないし図７を参照しつつ詳述する。

図２は上記のように構成されたデジタルカメラで作成される画像ファイルの一例を示す図である。また、図３は図２の部分拡大図である。この実施形態では、デジタルカメラ２００はＣＣＤ２０４で撮像された画像データをＲＡＭ２０３に格納する。また、デジタルカメラ２００は、被写体に人物が含まれているときには顔認識処理を行う（なお、顔認識方式については従来より数多く提案されており、それらのうちいずれの方式を採用してもよい）。なお、本実施形態では、顔認識結果は、図４に示すような座標情報が顔位置の情報、つまり顔情報として表現される。すなわち、同図に示すように、画像データは所定の画像幅(Width)と画像高さ(Height)の画素で構成されており、Ｘが横軸、Ｙが縦軸を表しており、左上が原点（０，０）である。そして、画像データから顔が検出されると、その顔領域ＦＲを左上（ＬＴ）、左下（ＬＢ）、右上（ＲＴ）、右下（ＲＢ）の４点の座標で囲まれる領域で表し、顔領域ＦＲを示す座標、つまり顔座標（顔位置）を、認識した顔の個数（つまり顔個数）ＮｃとともにＲＡＭ２０３に格納する。また、本明細書では、後で説明するように、印刷装置１００においてもデジタルカメラ２００での顔認識と同様に顔認識を行って顔座標を求めるため、デジタルカメラ２００での顔認識により得られる顔座標を「カメラ顔座標」と称し、左上（ＬＴｃ）、左下（ＬＢｃ）、右上（ＲＴｃ）、右下（ＲＢｃ）で示す。また、顔認識処理により複数個の顔が検出される場合もあるため、第ｎ番目のカメラ顔座標を左上（ＬＴｎｃ）、左下（ＬＢｎｃ）、右上（ＲＴｎｃ）、右下（ＲＢｎｃ）で示す。なお、後述するように印刷装置１００の顔認識で得られる顔座標については「プリンター顔座標」と称し、第ｎ番目のプリンター顔座標については、左上（ＬＴｎｐ）、左下（ＬＢｎｐ）、右上（ＲＴｎｐ）、右下（ＲＢｎｐ）で示す。

また、この実施形態では、上記のように画像データ、顔個数および顔座標などをＲＡＭ２０３に格納しているが、その記録方式としてディジタルスチルカメラ用画像ファイルフォーマット規格Ｅｘｉｆ Ver.2.2.1を使用している。このＥｘｉｆ画像ファイルの構造は、基本的には通常のＪＰＥＧ（Joint Photographic Experts Group）画像形式そのものであり、その中にサムネイル画像や撮影関連データ等のデータをＪＰＥＧの規約に準拠した形で埋め込んだものである。

本実施形態で使用する画像ファイルは、図２の左側部分に示すように、最初にＳＯＩ(Start of image)３０１がある。その後に、ＡＰＰ１（アプリケーション・マーカーセグメント）３０２、ＤＱＴ(Define Quantization Table)３０３、ＤＨＴ(Define Huffman Table)３０４の順となっている。さらにその後に、ＳＯＦ(Start of Frame)３０５、ＳＯＳ(Start of Stream)マーカー３０６、圧縮データ(Compress Data)３０７の順となっている。最後にＥＯＩ(End of Image)３０８がある。これらのうちＡＰＰ１はアプリケーションプログラムで使用するためのデータ領域として図２の中央部分に示す構造を有している。ＡＰＰ１の構造は、先頭にＡＰＰ１ Ｍａｒｋｅｒ領域３０２ａがある。そして、その次にＬｅｎｇｔｈ領域３０２ｂがある。

Ｌｅｎｇｔｈ領域３０２ｂに続くデータの最初の６バイトの領域３０２ｃでは、識別子としてASCII文字の“Exif”が、その次に2バイトの0x00が続く。そこからＴｉｆｆ(Tagged Image File Format)形式でデータが格納されている。Ｔｉｆｆ形式の最初の８バイトはＴｉｆｆヘッダー(Header)領域３０２ｄである。

また、Ｔｉｆｆヘッダー領域３０２ｄの次の０ｔｈ ＩＦＤ(IFD of main image)領域３０２ｅに、同図の右側部分に示すように、画像幅、画像高さ等の画像関連情報（あるは、単に画像情報とも呼ぶ）が格納される。そして、０ｔｈ ＩＦＤの次に０ｔｈ ＩＦＤ Ｖａｌｕｅ領域３０２ｆがある。さらに、その次にＥｘｉｆ ＩＦＤ領域３０２ｇが設けられ、露出時間、Ｆナンバー、撮影シーンタイプなどの撮影関連情報（あるいは、単に撮影情報とも呼ぶ）が格納される。また、Ｅｘｉｆ ＩＦＤ領域３０２ｇにＥｘｉｆ ＩＦＤ Ｖａｌｕｅ領域３０２ｈがある。なお、現在のところ、顔認識処理により検出される顔個数ＮｃとＮｃ個の顔座標をＥｘｉｆタグに書き込む規格は規定されていないが、本実施形態では顔個数ＮｃがＥｘｉｆ ＩＦＤ領域３０２ｇに書き込まれ、Ｎｃ個の顔座標がＥｘｉｆ ＩＦＤ Ｖａｌｕｅ領域３０２ｈに書き込まれるとともに該書込位置をポイントする情報がＥｘｉｆ ＩＦＤ領域３０２ｇに書き込まれると仮定して説明を続ける。もちろん、これらの情報をメーカーに依存する領域に書き込むように構成してもよい。このように、顔位置（顔座標）の情報である顔情報はＥｘｉｆ情報に記載され、画像データに添付されている。したがって、Ｅｘｉｆ情報に顔情報が含まれる場合には、顔個数Ｎｃやシーン情報などとともに画像データの補正に利用される。一方、Ｅｘｉｆ情報に顔情報が含まれていない場合、顔情報がないと判断される。

次に、上記のようなデータ構造（図２）を有する画像ファイルがメモリカードＭに保存されており、そのメモリカードＭから画像ファイルを読み出し、印刷装置１００により画像ファイルに含まれる各種情報に基づき所定の画像処理を実行して印刷する動作について、図５を参照しつつ説明する。

図５は図１の印刷装置で実行される画像処理および印刷動作を示すフローチャートである。ユーザーが印刷装置１００のカードスロット１１２にメモリカードＭを挿入し、操作ボタン１０９を操作して印刷指令を与えると、ＣＰＵ１０１がＲＯＭ１０２に格納されているプログラムにしたがって装置各部を制御して以下の画像処理および印刷動作を実行する。

まず、ＣＰＵ１０１は、印刷の対象となる画像ファイルをメモリカードＭから取得し、ハフマン解凍処理を実行し、量子化ＤＣＴ（Discrete Cosine Transform）係数を得る（ステップＳ１０）。より具体的には、ＣＰＵ１０１は、図２に示す画像ファイルからエントロピー符号化テーブルを取得し、圧縮データ３０７に含まれているＹ（輝度）成分、Ｃｒ（色差成分）、および、Ｃｂ（色差成分）のそれぞれのブロックのＤＣ係数と、ＡＣ係数とを復号する。なお、この際、最小符号化単位であるＭＣＵ（Minimum Coded Unit）単位で復号を行う。

また、ＣＰＵ１０１は、ステップＳ１０において得られた量子化ＤＣＴ係数を逆量子化する（ステップＳ１１）。具体的には、ＣＰＵ１０１は、図２に示す画像ファイルから量子化テーブルを取得し、ステップＳ１０において得られた量子化ＤＣＴ係数に乗じることにより（逆量子化することにより）、ＤＣＴ係数を得る。

次に、ＣＰＵ１０１は、画像を回転させるために必要な情報を、例えばＲＡＭ１０３にキャッシュする（ステップＳ１２）。具体的には、ＪＰＥＧ方式によって圧縮された画像を回転させる場合、ＭＣＵのＤＣ成分（直流成分）とＡＣ成分（交流成分）のそれぞれを一度ハフマン展開しなければならない。ここで、ＤＣ成分については隣接するＤＣ成分値の差分をハフマン符号化することから、隣接するＭＣＵとの相関関係が問題となる。また、ＡＣ成分ではハフマン符号化処理によりそのデータ長が各ＭＣＵで一定にならず、ＪＰＥＧデータのビットストリーム中のどのデータが求めるＭＣＵのＡＣ成分値であるかが不明となることが問題となる。そこで、ステップＳ１２では、各ＭＣＵのＤＣ成分値とＡＣ成分のアドレスを求めてキャッシュしておくことにより、ローテート処理を可能とする。

そして、ＣＰＵ１０１はステップＳ１１で得られたＤＣＴ係数に対して逆ＤＣＴ演算を施すことによりもとの画素値を得る（ステップＳ１３）。また、ＣＰＵ１０１は、ステップＳ１３の処理によって得られたＹＣＣ空間の画像をＲＧＢ（Red Green Blue）空間の画像と、ＨＳＢ（Hue Saturation Brightness）空間の画像に変換する（ステップＳ１４）。

そして、ＣＰＵ１０１はステップＳ１３およびステップＳ１４の処理において得られたＹＣＣ，ＲＧＢ，ＨＳＢのそれぞれの画像をＲＡＭ１０３に格納して保持する。なお、このとき、データ量を削減するために画素を所定の割合で間引きした後にＲＡＭ１０３に格納してもよい（ステップＳ１５）。

また、ＣＰＵ１０１は、ステップＳ１５においてＲＡＭ１０３に格納されたＹＣＣ，ＲＧＢ，ＨＳＢそれぞれの画像の成分について、ヒストグラムを計算する（ステップＳ１６）。具体的には、ＲＧＢ画像については、Ｒ，Ｇ，Ｂそれぞれの画像についてヒストグラムを計算する。その結果、画像を構成する各成分の分布を得る。

上記したように、本実施形態では、ステップＳ１０〜１６の処理はＭＣＵ単位で行われており、ＣＰＵ１０１は、全てのＭＣＵについての処理が終了したことを確認するまで、ステップＳ１０に戻って処理を繰り返して実行する。一方、全てのＭＣＵについての処理が終了した場合には、次のステップＳ１７に進む。

このステップＳ１７では、ＣＰＵ１０１は、図２の画像ファイル中のＥｘｉｆタグから顔個数Ｎｃおよび顔座標を読み込み、ＲＡＭ１０３に格納する。なお、顔個数Ｎｃはデジタルカメラ２００での顔認識処理により得られた顔の個数、つまりカメラ顔個数あり、これを参照することで画像データに顔情報が付加されているか否かを正確に判別することが可能となる。例えば図３に示すようにＥｘｉｆ ＩＦＤ Ｖａｌｕｅ領域３０２ｈに２つの顔座標（ＬＴ１ｃ、ＬＢ１ｃ、ＲＴ１ｃ、ＲＢ１ｃ）、（ＬＴ２ｃ、ＬＢ２ｃ、ＲＴ２ｃ、ＲＢ２ｃ）が格納されている場合、つまりデジタルカメラ２００での顔認識処理により２人の顔が認識された場合には、顔個数Ｎｃは「２」であり、この段階で顔座標を読み出すまでもなく、顔個数Ｎｃに基づき画像データへの顔情報の付加を判別することができる。そこで、本実施形態では、ＣＰＵ１０１は、ＲＡＭ１０３から顔個数Ｎｃを読み出し、ゼロであるか否かを判定する（ステップＳ１８）。もちろん、顔座標に基づいて画像データへの顔情報の付加を判別してもよい。

そして、ステップＳ１８での判定結果が「ＮＯ」である、つまり顔個数Ｎｃがゼロではない（例えば図３に示す場合には、Ｎｃ＝２）場合、画像データに顔情報、つまり顔座標が付加されていることが判るので、ＣＰＵ１０１はデジタルカメラ２００で取得した顔座標、つまりカメラ顔座標をＱＶＧＡサイズに規格化し、それらをＲＡＭ１０３に格納し（ステップＳ１９）、ステップＳ２０に進む。なお、本実施形態では、例えば図６（ａ）に示すように予め１０個の顔座標を記憶するためのメモリ空間がＲＡＭ１０３に準備されており、このメモリ空間にステップＳ１９で規格化された顔座標が登録顔情報Ｎｏ．１、２、…の順序で記憶される。こうして、１０個の登録顔情報を記憶する座標リストが生成される。例えば図３に示すように２個のカメラ顔座標が画像データに付加されている場合には、図６（ｂ）に示すようにＱＶＧＡサイズに規格化された顔座標（ＬＴ１ｃ、ＬＢ１ｃ、ＲＴ１ｃ、ＲＢ１ｃ）が座標リストの登録顔情報Ｎｏ．１のアドレスに登録される。また、２つ目の顔座標（ＬＴ２ｃ、ＬＢ２ｃ、ＲＴ２ｃ、ＲＢ２ｃ）が座標リストの登録顔情報Ｎｏ．２のアドレスに登録される。また、該当する顔座標がない登録顔情報のアドレスにはゼロを登録する。なお、本実施形態では、最大１０個の顔座標を登録することが可能となっているが、登録可能個数はこれに限定されるものではなく、任意である。

一方、ステップＳ１８での判定結果が「ＹＥＳ」である、つまり顔個数Ｎｃがゼロであり、画像データに顔情報が付加されていない場合、直ちに印刷装置１００で顔認定処理を実行することも考えられるが、上記したように撮影シーンによっては被写体に人物が含まれない場合もある。そこで、本実施形態では、ＣＰＵ１０１は、図２の画像ファイル中のＥｘｉｆタグから撮影シーンタイプをシーン情報として読み込み（ステップＳ２１）、そのシーン情報に基づき顔認識の実行を制御している。具体的には、ＣＰＵ１０１はシーン情報の有無、つまりステップＳ２１でのシーン情報の読み込みに成功したか、画像データにシーン情報が含まれていないなどの理由により失敗したかを判定する（ステップＳ２２）。そして、シーン情報の読み込みに成功した場合、ＣＰＵ１０１は、当該シーン情報が人物であるか人物以外であるかを判定し（ステップＳ２３）、人物である場合には、被写体に人物が含まれている蓋然性が高いため、ステップＳ１５でＲＡＭ１０３に格納した画像データを使って顔認識処理を行う（ステップＳ２４）。このように、画像データにカメラ顔座標（顔情報）が付加されていないが、画像データに付加されたシーン情報から被写体に人物が含まれている蓋然性が高い場合には、印刷装置１００側で顔認識処理を行って顔情報、つまりプリンター顔座標を取得している。なお、こうして取得されたプリンター顔座標についても、カメラ顔座標の場合と同様にして、座標リストに格納する。例えば印刷装置１００側で顔認識処理により２つのプリンター顔座標（ＬＴ１ｐ、ＬＢ１ｐ、ＲＴ１ｐ、ＲＢ１ｐ）、（ＬＴ２ｐ、ＬＢ２ｐ、ＲＴ２ｐ、ＲＢ２ｐ）が取得された場合には、図６（ｃ）に示すように、それぞれが登録顔情報Ｎｏ．１、Ｎｏ．２として座標リストに登録される。

また、ＣＰＵ１０１は、ステップＳ２３でシーン情報が人物以外であると判定すると、被写体に人物が含まれている蓋然性が低いため、顔認識処理を行うことなく、ステップＳ２５に進む。このように、本実施形態では、画像データに顔情報が付加されていないという条件のみならず、シーン情報に基づき顔認識処理の要否を判定している。ただし、画像データにシーン情報が付加されていない場合、ＣＰＵ１０１はシーン情報がないと判定し（ステップＳ２２）、顔認識処理を実行してプリンター顔座標を座標リストに登録し（ステップＳ２４）、ステップＳ２０に進む。

ステップＳ２０では、ＣＰＵ１０１は、カメラ顔座標またはプリンター顔座標の登録顔座標が座標リストに登録されているか否かを判定し、登録顔座標がない場合にはステップＳ２５に進み、登録顔座標がある場合にはステップＳ２６に進む。

ステップＳ２５では、ＣＰＵ１０１は、撮影シーンに応じてエンハンスパラメータを計算する。また、ステップＳ２６では、ＣＰＵ１０１は、座標リストに登録された顔座標に基づいて全ての顔位置を計算し、さらに顔の平均顔色を取得する。そして、ＣＰＵ１０１は、顔色が最適になるようにエンハンスパラメータを計算する（ステップＳ２７）。エンハンスパラメータ計算の詳細については省略するが、ＲＡＭ１０３に記憶したＲＧＢヒストグラムに基づきコントラスト、明度、彩度、シャープネスなどの各画質パラメータの特徴量を抽出し、抽出した特徴量が例えば図７に示す各画質パラメータの特徴量に近づくようエンハンスのパラメータを設定する。

上記のようにしてエンハンスパラメータ計算（ステップＳ２５、Ｓ２７）が終了すると、ＣＰＵ１０１は、印刷対象となる画像ファイルにおいて、解凍処理の対象となる位置を示すファイルポインタをリセットし、処理位置を画像ファイルの先頭に復元する（ステップＳ２８）。そして、ＣＰＵ１０１は、以下のステップＳ２９〜Ｓ３６を繰り返して画像データに基づいて画像を印刷する。

ＣＰＵ１０１は、ＲＡＭ１０３にキャッシュされた１ＭＣＵライン分の画像データにハフマン解凍処理を施し、量子化ＤＣＴ係数を得る（ステップＳ２９）。ここで、１ＭＣＵラインとは、画像を回転させる場合には、画像を構成する列方向に１列のＭＣＵ群をいい、回転させない場合には、画像を構成する行方向に１列のＭＣＵ群をいう。そして、ＣＰＵ１０１は、ステップＳ２９の処理において得られた量子化ＤＣＴ係数を逆量子化し（ステップＳ３０）、さらにステップＳ３０で得られたＤＣＴ係数に対して逆ＤＣＴ演算を施すことによりもとのデータを得る（ステップＳ３１）。

こうして得られたＹＣＣ空間の画像を、ＣＰＵ１０１はＲＧＢ空間の画像に変換する（ステップＳ３２）。そして、ＣＰＵ１０１は、ＲＧＢ空間の画像を構成する各画素に対してステップＳ２５、Ｓ２７において算出したエンハンスパラメータを適用することにより、印刷される画像を最適な色合いに補正する（ステップＳ３３）。

ＣＰＵ１０１は、こうして補正された画像データに対して、リサイズ、回転などのレイアウト処理を施し（ステップＳ３４）、プリンターエンジンコントローラー１１１の図示せぬバンドバッファに供給する。これを受けたプリンターエンジンコントローラー１１１は、プリンターエンジン１１３の各部を制御して画像データに対応する画像を印刷する（ステップＳ３５）。そして、印刷処理が完了すると、ＣＰＵ１０１はＲＡＭ１０３のキャッシュ状態を更新する（ステップＳ３６）。そして、全ＭＣＵライン分について上記ステップＳ２９〜Ｓ３６が完了すると、一連の処理を終了する。

以上のように、本実施形態によれば、画像データにカメラ顔座標が付加されているか否かという判断基準（顔情報基準）と、シーン情報が人物であるか否かという判断基準（シーン情報基準）とに基づき、印刷装置１００での顔認識処理の実行を制御しているので、印刷装置１００での顔情報の取得が適正化され、顔情報に基づく画像データの補正を開始するまでの時間を最適化することができる。例えば画像データにカメラ顔座標が付加されている場合、あるいはカメラ顔座標が付加されていない場合であっても撮影シーンが人物以外である場合、印刷装置１００で顔認識処理を実行することなく、カメラ顔座標やシーン情報に基づいて画像データを補正しているので、ユーザーが印刷装置１００での顔認識処理を待つ必要はなくなる。一方、カメラ顔座標が付加されていない場合であっても、撮影シーンが人物であれば、被写体に人物が含まれている可能性が高いため、印刷装置１００で顔認識処理を実行してプリンター顔情報を取得し、そのプリンター顔情報に基づいて画像データを補正している。このように、画像データに付加される情報に応じて画像データの補正を開始するまでの時間を最適化することができる。

また、上記実施形態では、顔情報基準と、シーン情報基準とを組み合わせているが、顔情報基準を優先させている。これは、カメラ顔座標はデジタルカメラ２００などの撮像装置による顔認識により取得されるものであるため、顔情報が付加されているということは被写体に人物が含まれる蓋然性がシーン情報基準よりも高いと考えられるからである。したがって、顔情報基準の優先によって高い信頼性で、印刷装置１００での顔認識処理の省略を行うことができる。この点を考慮すると、画像データにカメラ顔座標が付加されるときには、シーン情報が人物以外であってもカメラ顔座標に基づいて画像データを補正するのが好適である。

さらに、本実施形態では、画像データにカメラ顔座標が付加されず、かつシーン情報が人物以外である場合には、被写体に人物が含まれていない可能性が高いため、シーン情報に基づいて画像データを補正することで画像の色合いを最適化している。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、画像データに顔情報およびシーン情報を付加した画像ファイルをメモリカードＭに記録し、当該メモリカードＭを介して印刷装置１００に供給して印刷しているが、有線または無線通信により画像ファイルが印刷装置１００に供給される場合も、本発明を適用することで上記した実施形態と同様の作用効果が得られる。

また、上記実施形態では、本発明にかかる画像処理装置および方法を印刷装置１００に適用しているが、複数の電子機器から構成される印刷システムにも、また印刷装置以外の１つの電子機器（例えば複合機、ファクシミリ装置など）にも適用可能である。

また、上記実施形態にかかる画像処理方法を実行するプログラムを、ＣＤ−ＲＯＭ、光ディスク、光磁気ディスク、不揮発性メモリカードなどの記憶媒体に記憶させ、この記憶媒体からプログラムをコードとして読み出し、コンピューターにおいて実行してもよい。つまり、上記プログラムを記憶した記憶媒体、コンピュータープログラム自体も本発明の一実施形態に含まれる。

１００…印刷装置、 １０１…ＣＰＵ（顔情報取得部、シーン情報取得部、顔認識部、補正部）、 １０２…ＲＯＭ、 １０３…ＲＡＭ、 １０４…ＥＥＰＲＯＭ、 ２００…デジタルカメラ、 ３０７…圧縮データ（画像データ）

Claims (6)

1. 画像データに顔情報が付加されるときには前記顔情報に基づいて前記画像データを補正し、
   前記画像データに顔情報が付加されていないとき、前記画像データに付加されるシーン情報が人物である場合に前記画像データから人物の顔を認識する顔認識処理を実行して顔情報を検出するとともに該顔情報に基づいて前記画像データを補正する一方、前記シーン情報が人物以外である場合に前記顔認識処理を行わない
   ことを特徴とする画像処理方法。
2. 前記画像データに前記顔情報が付加されるときには、前記シーン情報が人物以外であっても前記顔情報に基づいて前記画像データを補正する請求項１に記載の画像処理方法。
3. 前記画像データに顔情報が付加されず、かつ前記シーン情報が人物以外である場合には、前記シーン情報に基づいて前記画像データを補正する請求項１に記載の画像処理方法。
4. 画像データに付加される顔情報を取得する顔情報取得部と、
   前記画像データに付加されるシーン情報を取得するシーン情報取得部と、
   前記画像データから人物の顔を認識する顔認識処理を行う顔認識部と、
   前記画像データを補正する補正部とを備え、
   前記補正部は、前記顔情報取得部により顔情報が取得されるときには前記顔情報に基づいて補正する一方、前記顔情報取得部により顔情報が取得されずしかも前記シーン情報取得部により取得されるシーン情報が人物であるときには前記顔認識処理の実行により検出される顔情報に基づいて補正し、
   前記顔認識部は、前記顔情報取得部により顔情報が取得されずしかも前記シーン情報取得部により取得されるシーン情報が人物以外であるとき、または前記顔情報取得部により顔情報が取得されるときには前記顔認識処理を実行しないことを特徴とする画像処理装置。
5. 前記補正部は、前記顔情報取得部により顔情報が取得されるときには前記シーン情報取得部により取得されるシーン情報が人物以外であっても前記顔情報取得部により取得された前記顔情報に基づいて前記画像データを補正する請求項４に記載の画像処理装置。
6. 前記補正部は、前記顔情報取得部により顔情報が取得されずしかも前記シーン情報取得部により取得されるシーン情報が人物以外であるとき、前記シーン情報に基づいて前記画像データを補正する請求項４に記載の画像処理装置。

Images