JP2010003165A - 画像処理装置及び画像処理方法、コンピュータプログラム及び記録媒体 - Google Patents

Abstract

【課題】 外部装置と画像処理装置の双方に特定領域を検出する処理を有する場合に、外部装置で検出した結果をそのまま印刷装置で用いると誤検出が増える。また、画像処理装置で検出処理の全ての項目を処理すると時間がかかってしまう。
【解決手段】 外部装置から画像データと前記画像データを解析して得られた撮影情報を入力し、入力された撮影情報に基づき、前記画像データから特定領域を検出する際の角度範囲またはサイズを設定し、設定された角度範囲またはサイズに基づいて、特定領域を検出する。
【選択図】 図２

Description

本発明は、撮影装置と画像処理装置に同じような検出処理を有する場合に、撮影装置の検出処理で検出した情報を利用して、特定領域の検出処理を行う画像処理装置及び画像処理方法、コンピュータプログラム及び記録媒体に関する。

近年、デジタルカメラやデジタルビデオカメラ等の撮影装置では、撮影時に、被写体との焦点距離や露出設定を合わせるために、顔検出、人物検出等の被写体を検出する処理を行う装置が増えている。また、プリンタ等の印刷装置でも、被写体に合わせた補正処理を行うために、入力画像に対し、顔検出、人物検出等の被写体を検出する、撮影装置と同じような処理を行う印刷装置が増えている。

例えば、特許文献１では、デジタルカメラで撮影した撮影情報を利用し、プリンタで画像を補正してプリントする装置が開示されている。特許文献１記載の画像処理方法は、まず、デジタルカメラで被写体を撮影した画像データと、画像全体に対する人物画像の位置及び大きさを示す人物座標情報をメモリカードに記憶する。次に、プリンタで、メモリカードから画像データとともに人物座標情報を読み出す。そして、読み出した人物座標情報に基づいて、画像範囲に対する所定の位置及び大きさとなるように人物データを拡大縮小及び変位して補正した画像データをプリントします。

また、特許文献２では、赤目検出を行う際に、高速に赤目検出を行うために、顔検出を行う領域及び方向、サイズを限定する方法が開示されている。特許文献２では、赤目の候補領域を特定領域候補とし、特定領域候補に対し顔検出を行い、顔が検出されると、顔の向き及び顔のサイズを示す顔情報を記憶しておく。次の特定領域候補に対する顔検出を行う際に、記憶してある顔情報を用いて、顔検出する方向、サイズを限定する。顔検出する方向、サイズを限定することにより、高速に検出処理を行え、誤検出の可能性も減る。
特開２００４−２０７９８７号公報 特開２００５−２６７５１２号公報

しかしながら、特許文献１では、デジタルカメラとプリンタの双方に顔検出処理を搭載しているものではなく、デジタルカメラのみに顔検出処理が搭載されている。デジタルカメラでは、被写体撮影時に人物を検出し、焦点距離を合わせた後、被写体が動いてしまう可能性がある。そのため、検出した人物座標情報の座標位置と実際に撮影された画像データの被写体の位置が異なってしまう恐れがある。よって、人物座標情報の座標位置が、実際に撮影されている画像データとずれてしまっている場合、デジタルカメラで撮影した人物座標情報をプリンタで用いると、補正画像データも位置がずれてしまうという問題が発生する。

また、特許文献２では、検出装置において記憶している顔情報を用いて、顔検出する方向、サイズを限定して顔検出を行う画像処理方法であるが、デジタルカメラとプリンタの双方に顔検出処理を搭載しているものではない。よって、特許文献２では、撮影装置の顔検出処理で検出した顔情報を利用して、プリンタで顔領域の検出処理を行うことができない。

本発明は、上記課題を解決するために、外部装置と画像処理装置に特定領域を検出する処理を有する場合に、外部装置の検出処理で検出した情報を利用して、画像処理装置で特定領域の検出処理を行うことで、画像処理装置の検出処理の短縮及び性能向上を行うことを目的とする。

上記目的を達成するため、本発明の画像処理装置は、外部装置から画像データと前記画像データを解析して得られた撮影情報を入力する入力手段と、前記入力手段で入力された撮影情報に基づき、前記画像データから特定領域の検出に用いるテンプレートの角度またはサイズを定める設定手段と、前記画像データと、前記設定手段で設定された角度またはサイズを有するテンプレートとの比較処理を行うことで、特定領域の検出を行う検出手段とを有する。

本発明によれば、外部装置と画像処理装置に特定領域を検出する処理を有する場合に、外部装置の検出処理で検出した情報を利用して、画像処理装置で特定領域の検出処理を行うことで、画像処理装置の検出処理の短縮及び性能向上を行うことができる。

以下、本発明にかかる実施形態の画像処理を図面を参照して詳細に説明する。

＜第１の実施形態＞
図８は、本発明を適用し得る画像処理装置であるプリンタ１０１のハードウェア構成の例を示したものである。プリンタ内部には、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、さらに、印刷処理を実行するためのプリンタエンジン１０５を保持している。また、近年では、プリンタにスキャナを搭載した複合機が台頭していることもあり、場合によっては、原稿を読み取るためのスキャナエンジン１０７を備えている場合もある。また、表示部１０６は、プリントを行う際に用紙、印刷品位などの様々な設定を行うために使用される。１０８はボタン、タッチパネル等のユーザインタフェイス、１０９はパーソナルコンピュータやデジタルカメラ等の外部装置と接続するためのインタフェイスを示している。上記構成が、システムバスを介して接続されている状態が、プリンタ内部の基本構造である。

なお、この他にもプリンタを構成する要素として様々なものが考えられる。例えば、電源部や、用紙をハンドリングするためのフィーダ部や、ネットワークと直接接続するためのインタフェイスなどである。しかし、それらについては本実施形態では直接言及することはないため、ここでは割愛する。

図９、図１０は、本発明で考えられる印刷環境の一例である。図９は、デジタルカメラで撮影した画像データを印刷する形態を示したものである。デジタルカメラ２０１で撮影された画像データを、メモリカード２０２に保存する。メモリカード２０２はプリンタ１０１に接続され、撮影した画像データがプリンタ２０３から印刷される。なお、デジタルカメラ２０１とプリンタ２０３を直接接続し、メモリカード２０２を介さずにデジタルカメラ２０１の画像データをプリンタ２０３に転送してもよい。

図１０はパーソナルコンピュータを主とした印刷環境の一例を示した図である。パーソナルコンピュータ３０３はハードディスクを保持している。ハードディスクには、カードリーダ３０２を介してメモリカード３０１内の画像データを保存したり、ルータ３０５を介してインターネット３０６に接続してダウンロードした画像データを保存したり、と様々な経路から入手したデータを保存している。このハードディスクに保存されたデータは、パーソナルコンピュータ３０３で操作することにより、プリンタ３０４から印刷される。

上記のように、本実施形態は、デジタルカメラ等の撮影装置２０１で生成された画像データをプリンタ等の画像処理装置１０１で印刷する形態とする。

撮影装置と画像処理装置の組み合わせをデジタルカメラとプリンタとして説明するが、次の組み合わせであっても構わない。スキャナとプリンタ、デジタルカメラとモニタ（画像処理アプリケーション）、モニタ（画像処理アプリケーション）とプリンタなどが考えられる。

本実施形態の画像処理方法は、図１で示される画像処理装置１０１を用いて実行される。図１は、本実施形態における各処理部の動作を実行させる画像処理装置１０１を説明するための概要図である。

図１において、撮影装置２０１または記憶媒体２０２には、デジタルカメラで被写体を撮影した際の撮影情報と撮影した画像の双方を含む画像情報Ｄ１が記憶されている。撮影装置２０１または記憶媒体２０２は、画像処理装置１０１のインタフェースであるＩ／Ｆ１０９に接続され、Ｉ／Ｆ１０９を介して画像情報Ｄ１を画像メモリ１０４に転送する。撮影情報抽出部１２では、画像メモリ１０４に格納された画像情報Ｄ１から、撮影情報と画像データを抽出する。処理設定部１３では、撮影情報抽出部１２で抽出した撮影情報から、検出処理部１４で行う処理を設定する。検出処理部１４では、処理設定部１３で設定された処理内容から、画像情報Ｄ１の画像データに対し検出処理を行う。補正処理部１５では、検出処理部１４で検出した内容に適した補正処理を行い、画像情報Ｄ２を形成し、プリンタエンジン１０５に送る。プリンタエンジン１０５では、画像情報Ｄ２を印刷媒体に印字して出力する。

＜１−１＞第１の実施形態の画像処理装置の概略
以下、本実施形態における画像処理装置の処理概要について図２を用いて説明する。

図２は、第１の実施形態の画像処理装置１０１の動作手順を説明するためのフローチャートである。ＲＯＭ１０３またはＲＡＭ１０４に図２のフローチャートを実行するプログラムを格納し、ＣＰＵ１０２が前記プログラムを読み出して実行することで、図２のフローチャートが実行される。

まず、ステップＳ２１において、画像処理装置１０１は、Ｉ／Ｆ１０９を介して、撮影装置２０１または記憶媒体２０２であるメモリカードを接続し、メモリカードに記憶されている画像情報Ｄ１を画像メモリ１０４に格納する。

ここで、撮影装置２０１または記憶媒体２０２は、デジタルカメラで撮影され、撮影情報を含む画像情報Ｄ１をメモリカードに記録させたものとする。メモリカードに記憶された撮影情報は、撮影の際に焦点距離を合わせるために顔検出した顔の数、向き、サイズ、位置情報とする。

次に、ステップＳ２２において、撮影情報抽出部１２は、画像メモリ１０４に格納された画像情報Ｄ１を解析し顔検出を行い、検出した顔の数、向き、サイズ、位置情報等の撮影情報を抽出する。

次に、ステップＳ２３において、処理設定部１３は、撮影情報である顔検出した顔の数、向き、サイズ、位置情報から検出処理部１４で行う顔検出処理内容を設定する。本実施形態では、撮影情報は、顔検出情報である。

検出処理部１４で行う顔検出処理内容の設定は、撮影情報である顔検出した顔の数、向き、サイズ、位置情報から、顔検出に使用する検出器の向き、サイズ、位置を設定することである。ここで、検出器とは、特定領域のマッチングに使用するテンプレートのことである。本実施形態では、特定領域を顔領域として処理を説明するが、特定領域は、画像に含まれる顔以外の部分でもよい。例えば、人物の体全体、建物、車などであってもよい。

次に、ステップＳ２４において、検出処理部１４は、処理設定部１３で設定された顔検出処理内容に従って顔検出処理を行う。

次に、ステップＳ２５において、補正処理部１５は、顔検出されている場合と顔検出されていない場合で補正処理を変更し、画像情報Ｄ１の画像データを補正して、画像情報Ｄ２を出力する。

次に、ステップＳ２６において、プリンタエンジン１０５は、補正処理部１５で生成した補正後の画像情報Ｄ２を印刷用紙に印刷する。

従来では、検出処理部１４を行わないで、撮影装置２０１で顔検出した結果をそのまま補正処理部１５で利用していた。または、撮影装置２０１または記憶媒体２０２に記憶されている撮影情報を使用しないで、検出処理部１４で顔検出した結果を補正処理部１５で利用していた。

本実施形態では、処理設定部１３で、撮影装置２０１または記憶媒体２０２に記憶されている撮影情報である顔検出結果を用いて、検出処理部１４で行う顔検出に使用する検出器の向き、サイズ、位置を必要な分だけ設定することが異なる。

上述した内容は、入力された画像情報Ｄ１に対し補正処理を行い、更に印刷処理まで行っているが、顔検出のみを目的とする場合には、特に、補正処理部１５及びプリンタエンジン１０５は必要ない。

また、上述した記憶媒体２０２はメモリカードとしているが、メモリカード以外の記憶媒体であってもよい。

また、撮影装置２０１は、デジタルカメラやデジタルビデオカメラを示す。また、撮影装置２０１は、撮影手段を持ち、撮影した画像を装置本体のメモリもしくは、接続されているメモリカードに撮影画像を記録し、ＵＳＢケーブルのようなシリアルケーブル等で、外部装置と接続できる手段を持つ装置であってもよい。

また、撮影装置２０１として、ハードディスクのような記憶手段を持たないが、撮影情報を含む画像データを本体メモリに保存でき、シリアルケーブル等で、外部装置と接続できる手段を持つ装置であってもよい。

また、記憶媒体２０２は、例えば、メモリカードやＵＳＢメモリを示す。メモリカードのような記憶手段を持たないが、撮影情報を含む画像データを本体メモリに保存でき、外部装置と接続できる手段を持つ装置でもよい。

また、画像情報Ｄ１は、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）のような、画像ファイルの中に撮影時のカメラ情報を記述できるフォーマットで保存された画像データを示す。

上述した画像情報Ｄ１は、撮影情報と画像データが関連付けられる画像フォーマットや記録形式であれば、特に限定はしない。

従って、撮影装置２０１または記憶媒体２０２は、デジタルカメラやメモリカード等の撮影情報を含む撮影画像である画像情報Ｄ１を記憶できる撮影装置及び記憶媒体を示す。

＜１−２＞第１の実施形態の画像処理部５３の詳細な説明
以下、本実施形態における画像処理装置１０１の画像処理部５３の詳細について図を用いて説明する。

図１に示すように、画像処理部５３は、撮影情報抽出部１２と処理設定部１３と検出処理部１４から構成されている。

＜１−２−１＞撮影情報抽出部１２の説明
撮影情報抽出部１２は、画像メモリ１０４に格納された画像情報Ｄ１から撮影情報を抽出する処理部である。

例えば、画像情報Ｄ１がＥｘｉｆ形式で保存されたＪＰＥＧ画像データとする。図３は、Ｅｘｉｆファイルのデータ構造を示す。Ｅｘｉｆファイルのデータ構造３０は、主に、ヘッダ３１とサムネイル３２と主画像のデータ３３とから構成される。

主画像のデータ３３は、撮影した画像データを静止画像データの圧縮方式の一つであるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の画像形式で圧縮された画像データを示す。

サムネイル３２は、主画像のデータ３３を１６０×１２０画素数にサイズ変換された画像データを示す。

ヘッダ３１は、主画像を撮影する際の撮影情報が保存されている。本実施形態では、撮影情報を、画素数や圧縮方式、撮影日時等の他に、焦点距離を合わせる際に顔検出を行った顔検出結果とする。顔検出結果には、検出した顔数と、検出された各顔の向きとサイズ、撮影画像における座標位置が含まれている。

撮影情報抽出部１２では、画像メモリ１０４に保存されている画像情報のヘッダ情報からＥｘｉｆファイル形式で保存されていることを判定し、Ｅｘｉｆのヘッダ３１に格納されている顔検出結果を抽出する。抽出した顔検出結果は、処理設定部１３に送られる。

＜１−２−２＞処理設定部１３の説明
処理設定部１３は、撮影情報抽出部１２で抽出した撮影情報から検出処理部１４で行う検出処理の処理内容を設定する処理部である。

検出処理部１４で顔検出処理を行うとすると、処理設定部１３は、撮影情報抽出部１２で抽出した顔検出結果である顔の向きから、検出処理部１４において、顔検出を行うテンプレート（検出器）の向きを設定する。

図４は、顔検出を行うための検出器（テンプレート）４０のイメージ図を示す。撮影画像とテンプレート４０のマッチングをとることで、撮影画像に含まれる顔の検出を行う。図４の検出器（テンプレート）４０は、顔の器官である右目４１、左目４２、鼻４３、口４４を検出するためのイメージ図を示す。顔検出方法は、検出器４０の右目４１、左目４２、鼻４３、口４４が全て検出されているか否かで判定する。

図５は、顔検出を行う際に、図４の検出器４０を８方向の向きで使用するイメージ図を示す。図５において、検出器４０の８方向は、上向きの検出器の角度を０°とし、０°を基準に時計回りで、０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°、３１５°とする。

従来、顔検出を行う際には、画像情報Ｄ１の画像データにおいてどの向きに顔があるかわからないため、図５に示すような様々な角度の検出器４０を使用してテンプレートマッチングをする必要があった。本実施形態では、撮影情報抽出部１２で抽出した顔検出結果により、撮影時の顔の向きが検出されているため、入力画像においても撮影画像に含まれる顔の向きと同じ向きあたりで顔がある可能性が高いと推測できる。

従って、例えば、画像情報Ｄ１の撮影情報に、画像データにおいて、上向きの角度０°の向きに顔が検出されていた情報が含まれている場合、画像情報Ｄ１の画像データにおいて、角度０°付近に顔の向きがあると推測できる。

例えば、上述する角度０°付近に顔の向きがあると推測とした場合、検出処理部１４での顔検出を行う検出器（テンプレート）の角度を０°、４５°、３１５°として、３つの検出器を使って画像データとマッチングを行う。図６は、処理設定部１３において、検出処理部１４での顔検出を行う検出器の向きを設定後のイメージ図を示す。撮影画像に複数の顔が含まれる場合、画像処理装置１０１で複数の顔を検出できるように、検出された全ての顔を検出できるように検出器の向きを設定する。例えば、角度０°付近に顔が一つあり、角度１８０°付近にもう一つの顔がある場合、検出器４０は、０°、４５°、１３５°、１８０°、２２５°、３１５°の６方向の向きに対して検出器を設定し、６方向の向きに対して顔検出処理を行う。

上述したとおり顔検出方法は、検出器４０の右目４１、左目４２、鼻４３、口４４が検出されているか否かで判定するため、多くの検出処理を行うため処理時間がかかる。図５に示すように８方向に対し、顔検出を行うための検出器を使用してしまうと、さらに処理時間がかかる。そこで、本実施形態では、図６に示すように、３方向に顔検出処理を限定することで、処理時間を短縮することができる。

上述した例では、顔検出結果である顔の向きから、検出処理部１４において顔検出を行う検出器の向きを設定するとしているが、これに限らない。

例えば、顔検出結果である顔のサイズから、検出処理部１４において顔検出を行う検出器のサイズを設定する。

図７は、顔検出を行う検出器４０のサイズを変えたイメージ図を示す。図７は、前述した検出器４０を基準とし、検出器のサイズを縦、横の幅を２分の１にしたサイズの検出器７１と縦、横の幅を２倍にしたサイズの検出器７２を示す。

従来、顔検出を行う際には、画像情報Ｄ１の画像データにおいてどのサイズの顔があるかわかららないため、図７に示すような様々なサイズに対し、検出器４０を使用する必要があった。本実施形態では、撮影情報抽出部１２で抽出した顔検出結果により、撮影時の顔のサイズが検出されているため、入力画像においても同じサイズ付近で顔がある可能性が高いと推測できる。

従って、例えば、画像情報Ｄ１の撮影情報に、画像データにおいて、基準サイズである検出器４０の２分の１サイズに近い顔サイズである情報が含まれているとする。この場合、画像情報Ｄ１の画像データにおいても、基準サイズである検出器４０の２分の１サイズ付近の顔のサイズであると推測できる。

例えば、上述する基準サイズである検出器４０の２分の１サイズ付近の顔サイズであると推測した場合、検出処理部１４で顔検出を行う検出器のサイズを、基準サイズである検出器４０の２分の１サイズである検出器７１のみ検出を行う設定をする。

上述したとおり顔検出方法は、検出器４０の右目４１、左目４２、鼻４３、口４４が検出されているか否かで判定するため、多くの検出処理を行うため処理時間がかかる。図７に示すように３つのサイズに対し、顔検出を行うための検出器を使用してしまうと、さらに処理時間がかかる。そこで、本実施形態では、１サイズに検出器を限定することで、処理時間を短縮することができる。

なお、撮影画像にサイズが異なる顔が複数含まれる場合、画像処理装置１０１で複数の顔を検出できるように、複数の顔のサイズに適した検出器を設定する。例えば、撮影画像に検出器４０の２分の１サイズ付近の顔と検出器４０の２倍付近の顔がある場合、基準サイズである検出器４０の２分の１サイズである検出器７１と検出器４０の２倍サイズである検出器７２の双方を使って顔検出処理を行う。

＜１−２−３＞検出処理部１４の説明
検出処理部１４は、処理設定部１３で設定された検出処理内容に従って検出処理を行う処理部である。

例えば、検出処理部１４では、顔検出処理を行う。顔検出処理は、様々な方法があるが、本実施形態では、右目４１、左目４２、鼻４３、口４４を検出する検出器４０を使用し、画像情報Ｄ１の画像データに対し、検出器４０の角度、サイズを変更し、検出されるか否かを判定する。

例えば、処理設定部１３で設定された検出処理内容が、角度０°付近の０°、４５°、３１５°に対してのみ検出を行う設定とする。また、図７に示す基準サイズである検出器４０の２分の１サイズである検出器７１のみ検出を行う設定とする。この場合、画像情報Ｄ１の画像データに対し、基準サイズである検出器４０の２分の１サイズである検出器７１を使用し、撮影画像と検出器７１との比較処理を角度０°、４５°、３１５°の３方向で行うことで、顔検出処理を行う。

従来、顔検出を行う際には、画像情報Ｄ１の画像データにおいてどの向きに顔があるかわかららないため、例えば、図７に示すような３つのサイズの検出器と図５に示すような８方向の組み合わせ、計２４通りの検出処理を行う必要があった。本実施形態では、上述の例では、基準サイズである検出器４０の２分の１サイズである検出器７１を使用し、検出器７１を角度０°、４５°、３１５°の３方向で検出処理を行うだけなので、計３通りの検出処理を行うのみとなる。従って、検出処理数を減少させることにより、処理時間を短縮することができる。

検出処理部１４の検出処理内容は、撮影装置２０１または記録媒体２０２に記録されている撮影情報が生成される際に行う各種検出処理と、同様の検出処理を行っている。この場合に、検出処理部１４で行う検出処理の前処理として検出処理内容を限定できるような撮影情報が含まれていれば、特に限定しない。

本実施形態では、デジタルカメラ等の撮影装置２０１とプリンタ等の画像処理装置１０１を例に説明しているが、スキャナとプリンタでもよい。その場合、スキャナとプリンタに特定領域を検出する検出処理部を有し、スキャナの検出処理で検出した情報を利用してプリンタで検出処理を行う。同様に、デジタルカメラとＰＣ（パーソナルコンピュータ）を接続し、デジタルカメラの検出処理で検出した情報を利用してＰＣ（パーソナルコンピュータ）で検出処理を行ってもよい。また、同様に、ＰＣ（パーソナルコンピュータ）とプリンタを接続し、ＰＣ（パーソナルコンピュータ）の検出処理で検出した情報を利用してプリンタで検出処理を行ってもよい。

以上説明したように、第１の実施形態によれば、外部装置と画像処理装置の双方に特定領域を検出する処理を有する場合に、外部装置の検出処理で検出した情報を利用して特定領域の検出処理を行うことで、画像処理装置の検出処理の短縮及び性能向上を行うことができる。

＜第２の実施形態＞
以下、本実施形態における画像処理装置の処理概要について説明する。

第１実施形態によれば、デジタルカメラ等の撮像装置と同じ検出処理を画像処理装置が有する場合、撮像装置に保存されている検出結果を画像処理装置の検出処理の前処理に使用することによって、処理内容を削減することが可能である。しかし、第１実施形態の場合、撮像装置の性能によっては、撮像装置で検出することができない特定領域が存在する可能性がある。上述した撮像装置で検出できていない特定領域は、画像処理装置の検出処理を用いても検出することができない。なぜなら、画像処理装置で検出処理を行う特定領域が、撮像装置に保存されている検出結果からでしか判定しないためである。すなわち、撮像装置の検出処理でテンプレートの角度やサイズが限定されているため、画像処理装置では限定された角度やサイズ以外の特定領域の検出は行うことができない。本実施形態では、このような事情を考慮してなされたものである。

本実施形態では、第１実施形態と同様に、図１に示す画像処理装置１０１と同じ構成である。本実施形態は、第１実施形態とは、図１における処理設定部１３の処理内容と検出処理部１４の処理内容が異なる。本実施形態の説明に関して、第１実施形態と同様な処理部に関しては、説明を省略する。

また、画像処理装置１０１の動作手順は、第１実施形態の図２に示すフローチャートと同じ構成である。第１実施形態と図２におけるフローチャートでの動作手順説明については、全く同様なため説明を省略する。

＜２−２＞第２実施形態の画像処理部の詳細
以下、本実施形態における画像処理装置の画像処理部５３の詳細について図を用いて説明する。

図１の画像処理部５３は、撮影情報抽出部１２と処理設定部１３と検出処理部１４から構成されている。本実施形態では、図１における撮影情報抽出部１２は、第１実施形態と同様のため説明を省略し、処理設定部１３と検出処理部１４の処理内容について説明を行う。

＜２−２−１＞処理設定部１３の説明
処理設定部１３は、撮影情報抽出部１２で抽出した撮影情報から検出処理部１４で行う検出処理の処理内容を設定する処理部である。

例えば、検出処理部１４で顔検出処理を行うとする。処理設定部１３では、撮影情報抽出部１２で抽出した顔検出結果である顔の向きから、検出処理部１４において顔検出を行う検出器の向きの重要度を設定する。

従来、顔検出を行う際には、画像情報Ｄ１の画像データにおいてどの向きに顔があるかわからないため、図５に示すような様々な角度に対し、同じ重要度で検出器４０を使用する必要があった。本実施形態では、撮影情報抽出部１２で抽出した顔検出結果により、撮影時の顔の向きが検出されているため、入力画像においても同じ角度付近で顔がある可能性が高いと推測できる。また、デジタルカメラ等の撮影装置で検出できなかった顔に関しても検出されている顔検出結果の向きに顔がある可能性が高いと推測できる。

例えば、上述する角度０°付近に顔の向きがあると推測とした場合、検出処理部１４での顔検出を行う検出器の向きを、角度０°付近の０°、４５°、３１５°に対しては、重要度を高く設定をする。また、その他の角度９０°、１３５°、１８０°、２２５°、２７０°に対しては重要度を低く設定をする。

上述したとおり顔検出方法は、図５に示すように８方向に対し顔検出を行うための検出器を使用してしまうと、実際に顔がない向きにまで同じ重要度の検出器を使用してしまい、誤検出の可能性が増えてしまう。そこで、本実施形態では、撮影情報抽出部１２で抽出した顔検出結果である顔の向きに応じて検出処理部１４で使用する検出器の重要度を変更することで、誤検出の可能性を軽減することができる。

上述した例では、顔検出結果である顔の向きから、検出処理部１４において、顔検出を行う検出器の向きの重要度を設定するとしているが、これに限らない。

例えば、顔検出結果である顔のサイズから、検出処理部１４において、顔検出を行う検出器のサイズの重要度を設定する。

従来、顔検出を行う際には、画像情報Ｄ１の画像データにおいてどのサイズの顔があるかわかららないため、図７に示すような様々なサイズに対し、重要度の同じ検出器４０を使用する必要があった。本実施形態では、撮影情報抽出部１２で抽出した顔検出結果により、撮影時の顔のサイズが検出されているため、入力画像においても同じサイズ付近で顔がある可能性が高いと推測できる。

従って、例えば、画像情報Ｄ１の撮影情報に、画像データにおいて、基準サイズである検出器４０の２分の１サイズに近い顔サイズである情報が含まれている。この場合、画像情報Ｄ１の画像データにおいても、基準サイズである検出器４０の２分の１サイズ付近の顔のサイズであると推測できる。

例えば、上述する基準サイズである検出器４０の２分の１サイズ付近の顔のサイズであると推測する。この場合、検出処理部１４で、基準サイズである検出器４０の２分の１サイズである検出器７１は重要度を高くし、その他の検出器のサイズの重要度は低く設定をする。

上述したとおり顔検出方法は、図７に示すように３つのサイズに対し、顔検出を行うための検出器を同じ重要度で使用してしまうと、実際にない顔のサイズにまで同じ重要度の検出器を使用してしまうので、誤検出の可能性が増えてしまう。そこで、本実施形態では、撮影情報抽出部１２で抽出した顔検出結果である顔のサイズに応じて検出器の重要度を変更することで、誤検出の可能性を軽減することができる。

＜２−２−２＞検出処理部１４の説明
検出処理部１４は、処理設定部１３で設定された検出処理内容に従って検出処理を行う処理部である。

例えば、検出処理部１４では、顔検出処理を行う。顔検出処理は、様々な方法があるが、本実施形態では、右目４１、左目４２、鼻４３、口４４を検出する検出器４０（テンプレート）を使用し、画像情報Ｄ１の画像データに対し、検出器４０の角度、サイズを変更し、検出されるか否かを判定する。

例えば、処理設定部１３で設定した検出処理内容が、図５に示す検出器の向きにおいて、角度０°付近の０°、４５°、３１５°に対しては重要度を高く、それ以外の角度９０°、１３５°、１８０°、２２５°、２７０°に対しては重要度を低く設定したとする。また、図７に示す検出器のサイズにおいて、基準サイズである検出器４０の２分の１サイズである検出器７１の重要度を高くし、それ以外のサイズの重要度は低く設定したとする。

テンプレートの角度０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°、３１５°のすべての角度に対して、顔検出処理は行われる。顔検出処理の一致度に閾値を設け、前記閾値は重要度に応じて変更される。例えば、重要度が第１の所定値よりも大きい角度に対しては、閾値は第２の所定値よりも小さく設定され、重要度が第１の所定値よりも小さい角度に対しては、閾値は第２の所定値よりも大きく設定される。こうすることで、重要度が低いテンプレートの角度に対応する画像の顔領域は検出されにくくなる。顔領域が検出されにくいので、その後の補正処理部で補正を行う顔の数も少なくなり、処理が軽くなるというメリットがある。このように、顔検出処理に使用する閾値は、テンプレートの角度毎に設定される。

同様に、例えば、重要度が高いサイズに対しては、閾値は低めに設定され、重要度が低いサイズに対しては、閾値は高めに設定される。

また、検出処理部１４で行う顔検出処理は、右目４１、左目４２、鼻４３、口４４を検出する検出器４０を使用するが、各器官の検出の有無に一致度を設けてもよい。例えば、右目４１、左目４２の各一致度を１００とし、鼻４３の一致度を５０とし、口４４の一致度を７０と設定したとする。また、検出器４０全体の一致度に関しては、器官毎に検出の有無を判定し、検出されていれば各器官の一致度を、全体の一致度に加算する設定とする。更に、顔が検出されたかどうかの一致度に対して閾値を設定し、例えば、閾値を２５０と設定とし、閾値を越えていれば顔が検出されたと判定する。

例えば、ある箇所で、右目４１、左目４２、鼻４３、口４４が全て検出されていれば、検出器４０全体の一致度は、１００＋１００＋５０＋７０＝３２０となり、閾値２５０を越えるので、顔であると判定する。また、ある箇所で右目４１、鼻４３、口４４が検出されていれば、一致度は１００＋５０＋７０＝２２０となり、閾値２５０を越えないので、顔ではないと判定する。

従来、顔検出を行う際には、画像情報Ｄ１の画像データにおいてどの顔の向き、サイズがわからないため、実際には顔がない顔の向き、サイズに対しても同じ重要度で検出していたため、誤検出の可能性が多かった。本実施形態では、撮影情報の検出結果から検出処理部１４で行う検出処理の重要度を設定することで、誤検出を軽減することが可能となる。

また、第１実施形態では、デジタルカメラ等の撮影装置の性能によっては、撮影装置で検出できなかった特定領域がある場合、画像処理装置でも検出することはできなかった。

本実施形態では、処理設定部１３で、抽出した撮影情報から検出処理部１４で行う検出処理の重要度を設定する。そして、画像情報Ｄ１の画像データの全領域に対し検出処理を実行することで、誤検出を軽減しつつ、撮影装置で検出できなかった特定領域に対しても検出処理を行わせることが可能となる。

以上説明したように、第２の実施形態によれば、外部装置と画像処理装置の双方に特定領域を検出する処理を有する場合に、抽出した撮影情報から、画像処理装置の検出処理で使用するテンプレートの角度またはサイズに重要度を設定する。これにより、撮影装置で検出されなかった特定領域に対しても画像処理装置で検出することができ、検出処理性能を向上させることが可能である。

＜第３の実施形態＞
本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体から、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がそのプログラムコードを読み出し実行することによっても、達成される。この場合、コンピュータ読み取り可能な記録媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶したコンピュータ読み取り可能な記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＣＤ―ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカードなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットによっても実現することができる。この場合、記憶媒体から読み出されたプログラムコードが、機能拡張ボードや機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードに指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態の各処理部の動作を実行させる画像処理装置を説明するための概要図である。 第１実施形態の画像処理装置の動作手順を説明するためのフローチャートである。 Ｅｘｉｆファイルのデータ構造を示す。 顔検出を行うための検出器のイメージ図を示す。 顔検出を行う際に、図４の検出器４０を８方向の向きで使用するイメージ図を示す。 処理設定部１３において、検出処理部１４での顔検出を行う検出器の向きを設定後のイメージ図を示す。 顔検出を行う検出器４０のサイズを変えたイメージ図を示す。 本発明を適用し得る印刷装置の内部のハードウェア構成例を示すブロック図である。 本発明が実施される、印刷装置の接続環境の一例を示す図である。 本発明が実施される、印刷装置の接続環境の別の例を示す図である。

Claims (10)

1. 外部装置から画像データと前記画像データを解析して得られた撮影情報を入力する入力手段と、
   前記入力手段で入力された撮影情報に基づき、前記画像データから特定領域の検出に用いるテンプレートの角度またはサイズを定める設定手段と、
   前記画像データと、前記設定手段で設定された角度またはサイズを有するテンプレートとの比較処理を行うことで、特定領域の検出を行う検出手段とを有することを特徴とする画像処理装置。
2. 前記撮影情報は前記画像データを解析して得られた顔検出情報であり、前記特定領域は顔領域であることを特徴とする請求項１に記載の画像処理装置。
3. 前記顔検出情報は、顔の向きまたは顔のサイズであることを特徴とする請求項２記載の画像処理装置。
4. 前記設定手段において、前記撮影情報に基づき、前記特定領域の検出に用いるテンプレートの角度それぞれに対して重要度を設定し、
   前記検出手段において、前記重要度に基づき特定領域を検出するための閾値を前記テンプレートの角度毎に設定し、前記画像データに含まれる特定領域と前記特定領域の角度に対応したテンプレートとの比較処理を行い、前記比較処理の一致度と前記設定された閾値とを比較した結果に応じて、前記特定領域を検出すること特徴とする請求項１乃至３記載の画像処理装置。
5. 前記重要度が第１の所定値よりも大きい場合、前記閾値は第２の所定値よりも小さく設定され、前記重要度が第１の所定値よりも小さい場合、前記閾値は第２の所定値よりも大きく設定されることを特徴とする請求項４記載の画像処理装置。
6. 前記比較処理の一致度が前記閾値よりも大きい場合、前記特定領域が検出されることを特徴とする請求項４または請求項５記載の画像処理装置。
7. 外部装置から画像データと前記画像データを解析して得られた撮影情報を入力する入力ステップと、
   前記入力ステップで入力された撮影情報に基づき、前記画像データから特定領域の検出に用いるテンプレートの角度またはサイズを定める設定ステップと、
   前記画像データと、前記設定手段で設定された角度またはサイズを有するテンプレートとの比較処理を行うことで、特定領域の検出を行う検出ステップとを有することを特徴とする画像処理方法。
8. 前記撮影情報は前記画像データを解析して得られた顔検出情報であり、前記特定領域は顔領域であることを特徴とする請求項７に記載の画像処理方法。
9. 画像処理装置に、請求項５に記載された画像処理を実行させることを特徴とするプログラム。
10. 請求項９に記載されたプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。

Images