JP2009260630A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】複数の人物を被写体として含む画像中で人物間に何らかのコミュニケーションが発生している場面を的確に抽出することができる画像処理装置および画像処理プログラムを提供する。
【解決手段】画像信号中の画像パターンに基づいて画像信号中に含まれる複数の人物の顔を検出する顔検出部と、顔検出部が顔を検出した複数の人物の目線を推定する目線推定部と、目線推定部が目線を推定した複数の人物までの距離をそれぞれ算出する距離算出部と、目線推定部の推定結果および距離算出部の算出結果を用いることによって複数の人物の目線のターゲットが画像信号中に含まれる他の人物であるか否かを判定するターゲット判定部と、を備える。
【選択図】 図１

Description

本発明は、画像信号に対して所定の処理を行う画像処理装置および画像処理プログラムに関する。

従来より、撮像機能を備えたデジタルカメラ等の画像処理装置においては、被写体が人間である場合にその人間の顔を検出し、この検出した顔の位置にピントを合わせる技術が知られている。また、近年では、被写体である人間が笑顔等の撮影に好適な表情を見せているタイミングを自動的に認識することによって撮影を行う技術も知られている。

このような状況の下、複数の人物を対象とした撮影を行う際、個々の人物の顔の向きや黒目の位置を判定することによってカメラ目線の画像を抽出する技術が開示されている（例えば、特許文献１を参照）。また、映像から検出した人物の目線方向を推定し、この目線方向の特徴を抽出することによってその人物の行動意図を判定する技術も開示されている（例えば、特許文献２を参照）。さらに、前述した従来技術以外にも、画像中の人物の顔や目線の向きを解析するための様々な技術が開示されている（例えば、特許文献３〜５を参照）。

特開２００７−９６４４０号公報 特開２００１−５１３３８号公報 特開２０００−３２２５７７号公報 特開２００６−７４３６８号公報 特開２００７−２６３８７号公報

しかしながら、上述した従来技術では、個々の人物の顔や目線を個別に判定するだけであるため、画像中に複数の人物が存在している場合、複数の人物の間で見つめ合いや会話、話しかけ等の何らかのコミュニケーションが発生している場面を抽出することができなかった。

本発明は、上記に鑑みてなされたものであって、複数の人物を被写体として含む画像中で人物間に何らかのコミュニケーションが発生している場面を的確に抽出することができる画像処理装置および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像信号中の画像パターンに基づいて前記画像信号中に含まれる複数の人物の顔を検出する顔検出部と、前記顔検出部が顔を検出した前記複数の人物の目線を推定する目線推定部と、前記目線推定部が目線を推定した前記複数の人物までの距離をそれぞれ算出する距離算出部と、前記目線推定部の推定結果および前記距離算出部の算出結果を用いることによって前記複数の人物の目線のターゲットが前記画像信号中に含まれる他の人物であるか否かを判定するターゲット判定部と、を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ターゲット判定部は、前記複数の人物のうち互いに相手の目線のターゲットとなっているペアが存在しているか否かを判定することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像信号に対応する画像データを表示する表示部を備え、前記表示部は、前記ターゲット判定部が判定した結果を前記画像データに重畳して表示することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記表示部は、前記複数の人物の中で前記画像信号中に含まれる他の人物をターゲットとする目線を有する人物を特定する情報を前記画像データに重畳して表示することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ターゲット判定部の判定結果に応じて前記画像データのトリミングを行うトリミング部を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、所定の視野領域内の被写体を撮像して画像信号を生成する撮像部と、前記撮像部が撮像している被写体の撮影を指示する撮影指示信号が入力される入力部と、前記入力部から入力された前記撮影指示信号に応じて前記撮像部が撮像している被写体を撮影する制御を行う制御部と、を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記制御部は、前記複数の人物の中で前記画像信号中に含まれる他の人物をターゲットとする目線を有する人物にピントおよび露出を合わせる制御を行うことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記制御部は、前記ターゲット判定部が判定した結果に応じて前記撮像部が撮像している被写体を自動的に撮影する制御を行うことを特徴とする。

本発明に係る画像処理プログラムは、画像信号に対して所定の処理を行う画像処理装置に、前記画像信号中の画像パターンに基づいて前記画像信号中に含まれる複数の人物の顔を検出する顔検出ステップ、前記顔検出ステップで顔を検出した前記複数の人物の目線を推定して顔情報を記憶する顔情報記憶部へ格納する目線推定ステップ、前記目線推定ステップで目線を推定した前記複数の人物までの距離をそれぞれ算出して前記顔情報記憶部へ格納する距離算出ステップ、前記目線推定ステップの推定結果および前記距離算出ステップの算出結果を前記顔情報記憶部から読み出し、この読み出した推定結果および算出結果を用いることによって前記複数の人物の目線のターゲットが前記画像信号中に含まれる他の人物であるか否かを判定するターゲット判定ステップ、を実行させることを特徴とする。

本発明によれば、画像信号中の複数の人物の目線を推定し、目線を推定した複数の人物までの距離をそれぞれ算出し、これらの目線推定結果および距離算出結果を用いることによって複数の人物の目線のターゲットが画像信号中に含まれる他の人物であるか否かを判定しているため、複数の人物を被写体として含む画像中で人物間に何らかのコミュニケーションが発生している場面を的確に抽出することが可能となる。

以下、添付図面を参照して本発明を実施するための最良の形態（以後、「実施の形態」と称する）を説明する。

図１は、本発明の一実施の形態に係る画像処理装置である撮像装置１の構成を模式的に示す図である。撮像装置１は、所定の視野領域内の被写体を撮像して画像信号を生成する撮像部２、撮像部２の視野領域の状態を検出するセンサ部３、撮像部２が出力した画像信号に対して画像処理を施す画像処理部４、画像処理部４が出力する画像データを含む情報を表示する表示部５、表示部５の表示を制御する表示制御部６、画像データの圧縮および伸張を行う圧縮伸張部７、撮像装置１に外部から装着されるメモリカード等の記録媒体１００に対して画像データ等の情報を記録する一方、記録媒体１００が記録する情報を読み出す記録媒体インターフェース８、撮像装置１の操作指示信号が入力される入力部９、警告を含む各種情報の音声出力を行う音声出力部１０、撮像領域へ向けて補助光を投射する補助光投射部１１、撮像装置１の動作を制御する制御部１２、撮像装置１の動作に関する各種情報を記憶する記憶部１３を備える。

撮像部２は、所定の視野領域にある被写体からの光を集光する撮影レンズ２１、撮影レンズ２１が集光した光の入射量を調整する絞り２２、絞り２２を通過した入射光を受光して電気信号に変換するＣＣＤ等の撮像素子２３、撮像素子２３から出力されるアナログ信号に対して感度補正やホワイトバランスを含む各種処理を施すアナログ信号処理部２４、アナログ信号処理部２４が出力した信号からデジタルの画像データを生成するＡ／Ｄ変換部２５を有する。このうち、撮影レンズ２１は、一または複数のレンズによって構成される光学系であり、レンズ駆動部１４によって駆動される。また、絞り２２は絞り駆動部１５によって駆動される。

画像処理部４は、画像信号の画像パターンに基づいて画像信号中に含まれる人物の顔を検出する顔検出部４１、顔検出部４１が複数の人物の顔を検出した場合に各人物の目線を推定する目線推定部４２、目線推定部４２が目線を推定した複数の人物までの距離の算出をそれぞれ行う距離算出部４３、目線推定部４２の推定結果および距離算出部４３の算出結果を用いることによって複数の人物の目線のターゲットが画像信号中に含まれる他の人物であるか否かを判定するターゲット判定部４４、ターゲット判定部４４が判定した結果に基づいて画像データのトリミングを行うトリミング部４５を有する。

入力部９は、撮像装置１の電源ボタン、撮像指示を与えるシャッターボタン、撮像装置１が有する各種動作モータの切替を行うモード切替ボタン、画像データの再生や編集の指示を含む制御ボタンなどを有する。

制御部１２は、撮影日時の判定等を行う時計１２１を有しており、センサ部３の検知結果や入力部９で入力された操作指示信号に応じて撮像装置１の動作を制御する。制御部１２は、ＭＰＵを用いて実現され、制御対象の各部とバスラインを介して接続されている。

記憶部１３は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ等の半導体メモリを有しており、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部１３１と、画像処理部４の顔検出部４１や目線推定部４２が参照する顔や目のパターンを顔角度や目線角度とそれぞれ対応付けて記憶するパターン情報記憶部１３２と、画像処理部４における各種処理結果を顔情報として記憶する顔情報記憶部１３３とを有する。

図２は、パターン情報記憶部１３２が記憶する顔のパターンの例を模式的に示す図である。パターン情報記憶部１３２は、撮像装置１から見て右側を向いている場合の撮影レンズ２１の光軸に対する顔の角度を正とし、その角度θfが０度、±４５度および±９０度の場合の顔のパターンを記憶している。

図３は、パターン情報記憶部１３２が記憶する目のパターンの例を模式的に示す図である。パターン情報記憶部１３２は、撮像装置１から見て右側を向いている場合の撮影レンズ２１の光軸に対する目の角度を正とし、その角度θeが０度、±４５度および±９０度の場合の目のパターンを記憶している。

図４は、撮像装置１で設定可能な動作モードの一部を示す図である。図４では、撮像装置１に特有の動作モードを中心に記載し、従来の撮像装置で設定可能な動作モードと同じ動作モードについては記載を省略している。撮像装置１が撮影モードに設定されている場合、画像中に含まれる複数の人間の目線のターゲットを判定する目線判定を行ってから撮影を行う目線判定撮影モードや、通常撮影を行ってから目線判定と目線判定結果に基づく画像のトリミングを行う撮影用目線判定トリミングモードをさらに設定することができる。このうち、撮像装置１が目線判定撮影モードに設定されている場合、トリミングモード、連写モードおよび自動撮影モードのうち一または複数のモードをさらに設定することができる。一方、撮像装置１が再生モードに設定されている場合、記録媒体１００が記録する画像データを再生する際に目線判定を行った後、この判定結果に基づいて画像のトリミングを行う再生用目線判定トリミングモードをさらに設定することができる。

図５は、以上の構成を有する撮像装置１が目線判定処理を含む動作を行う場合の処理の流れを示すフローチャートである。

まず、撮像装置１が撮影モードに設定されている場合（ステップＳ１，撮影モード）を説明する。撮像装置１が撮影モードに設定されている場合、表示部５は撮像部２から出力された画像信号に対応する画像データを表示制御部６の制御のもとでリアルタイムに表示する。以下、表示部５でリアルタイムに表示される画像データのことを「スルー画像」という。撮像装置１が目線判定撮影モードに設定されていれば（ステップＳ２，Ｙｅｓ）、撮像装置１はスルー画像に対して目線判定処理を行う（ステップＳ３）。

図６は、撮像装置１が行う目線判定処理の概要を示すフローチャートである。まず、顔検出部４１が、表示部５で表示しているスルー画像中に存在する人物の顔を検出する（ステップＳ３０１）。顔検出部４１は、パターン情報記憶部１３２が記憶する顔のパターン（図２を参照）を用いてパターンマッチングを行うことにより、人物の顔の検出を行う。

顔検出部４１がスルー画像中で顔を検出しなかった場合（ステップＳ３０２，Ｎｏ）、撮像装置１は目線判定処理を終了して後述するステップＳ４に進む。

顔検出部４１がスルー画像中で顔を検出した場合（ステップＳ３０２，Ｙｅｓ）、目線推定部４２は、顔検出部４１が検出した顔の目線方向を顔ごとに推定する目線推定処理を行う（ステップＳ３０３）。ステップＳ３０３において、目線推定部４２は、パターン情報記憶部１３２が記憶する目のパターン（図３を参照）を用いてパターンマッチングを行うことにより、スルー画像中の人物の目線方向を推定する。なお、両目の目線方向が異なっている場合には、顔の角度等の条件に応じて左右の目線方向に重み付けしたものを推定値として算出すればよい。例えば、顔が右方（撮像装置１から見て撮影レンズ２１の光軸に対して左方）を向いている場合、左目の重みを右目の重みよりも大きくして推定値を算出する。また、顔が正面付近を向いている時は、両目の目線方向の平均を推定値として算出する。

図７は、ステップＳ３０４以降の目線推定処理を説明する際に参照する撮像装置１付近の状況を模式的に示す図である。具体的には、図７は、撮像装置１の撮像領域（水平方向の画角θ_X）内に存在する二人の人物Ａ１、Ａ２が互いに見つめ合っている状況を撮像装置１の上方から見た模式図である。図７では、撮像装置１の撮影レンズ２１からの距離が遠い方の人物Ａ１の位置を座標原点Ｏとして撮影レンズ２１の光軸Ｐと平行な軸をＬ軸とする一方、撮影レンズ２１の光軸Ｐと直交する軸をＸ軸としている。また、図７では、人物Ａ１、Ａ２の水平方向の目線角度をそれぞれφ１、φ２としている。この意味で、目線角度φ１、φ２は、上記ステップＳ３０３で算出され、顔情報記憶部１３３に格納されたものである。

ステップＳ３０４において、距離算出部４３は、撮影レンズ２１を起点として、目線推定を行った人物までの距離を算出する（ステップＳ３０４）。図７に示す場合、距離算出部４３は、人物Ａ１およびＡ２にそれぞれピントを合わせることによって人物Ａ１までの距離Ｌ１および人物Ａ２までの距離Ｌ２を算出し、顔情報記憶部１３３に記録する。この際には、絞り駆動部１５が絞り２２を小さくして焦点の深度を深くすることにより、撮影レンズ２１からの距離が異なる複数の被写体にピント合わせを行う。

この後、ターゲット判定部４４は、目線推定を行った人物の目線のターゲットを判定する（ステップＳ３０５）。まず、ターゲット判定部４４は、ステップＳ３０４で距離算出部４３が算出した距離Ｌ１、Ｌ２を顔情報記憶部１３３から読み出し、人物Ａ１と人物Ａ２のＬ座標の差分ΔＬおよびＸ座標の差分ΔＸを、次式（１）、（２）にしたがってそれぞれ算出する。
ΔＬ＝Ｌ１−Ｌ２ …（１）
ΔＸ＝Ｌ１ｔａｎ（ρ１）＋Ｌ２ｔａｎ（ρ２） …（２）
ここで、式（２）のρ１（＜θ_X）は、撮影レンズ２１から見た人物Ａ１の方向と撮影レンズ２１の光軸Ｐとのなす角度である。また、式（２）のρ２（＜θ_X）は、撮影レンズ２１から見た人物Ａ２の方向と撮影レンズ２１の光軸Ｐとのなす角度である。

続いて、ターゲット判定部４４は、式（１）、（２）の算出結果に加えて顔情報記憶部１３３から読み出した人物Ａ１，Ａ２の水平方向の目線角度φ１、φ２を用いることにより、人物Ａ１、Ａ２の目線のターゲット判定を行う。まず、撮像装置１から最も遠くに位置する人物Ａ１の目線のターゲットを判定する。具体的には、ターゲット判定部４４は、人物Ａ１の目線角度φ１を用いることにより、Ｌ座標の差分ΔＬとＸ座標の差分ΔＸとが、
ΔＸ＝ΔＬｔａｎ（φ１） …（３）
を満たしているか否かを判定する。ΔＬとΔＸが式（３）を満たしている場合、ターゲット判定部４４は、人物Ａ１の目線のターゲットが人物Ａ２であると判定する。なお、式（３）で用いるΔＬ，ΔＸ，φ１は推定値であることに鑑み、ターゲット判定部４４は、式（３）の左辺と右辺とが厳密に一致していなくても所定の範囲内に入っていれば等号が成立しているとみなす。この点については、後述する式（４）〜（６）を用いた判定を行う場合も同様である。

次に、ターゲット判定部４４は、人物Ａ２の目線のターゲットを判定する。図７に示す場合、人物Ａ２の目線角度φ２は鈍角である。このような場合、ターゲット判定部４４は、Ｌ座標の差分ΔＬとＸ座標の差分ΔＸが、
ΔＸ＝ΔＬ｜ｔａｎ（φ２）｜ …（４）
を満たしているか否かを判定する。ここで、｜ｔａｎ（φ２）｜はｔａｎ（φ２）の絶対値である。ΔＬとΔＸが式（４）を満たしている場合、ターゲット判定部４４は、人物Ａ２のターゲットが人物Ａ１であると判定する。これにより、二人の人物Ａ１，Ａ２は、互いに見つめ合っていることが判明する。

なお、式（３）が満たされている場合、ターゲット判定部４４は、式（４）の代わりに、人物Ａ１の目線角度φ１と人物Ａ２の目線角度φ２が、
φ１＋φ２＝π …（５）
を満たしているか否かを判定するようにしてもよい。

ここまで、二人の人物Ａ１、Ａ２が互いに見つめ合っており、式（３）および（４）（または式（３）および（５））がともに成立する場合を説明してきたが、これ以外にも、例えば式（３）が成立する一方、式（４）が成立しない場合（この場合の画像を「画像α」という）がある。この場合の処理は、ターゲット判定部４４に対して設定される判定条件に応じて異なる。

ターゲット判定部４４が互いに見つめ合っている人物同士を含む画像であるか否かを判定するように設定されている場合、ターゲット判定部４４は式（３）および（４）がともに成立しているか否かを判定する。この場合、ターゲット判定部４４は、画像αを判定条件に合致しない画像であると判定する。

これに対し、ターゲット判定部４４に対して同じ画像中の他の人物を見つめている人物を含む画像であるか否かを判定する設定がなされている場合、ターゲット判定部４４は式（３）および（４）の少なくともいずれか一方が成立しているか否かを判定する。この場合、ターゲット判定部４４は、画像αを判定条件に合致した画像であると判定する。

なお、スルー画像中に３人以上の人物が含まれている場合、ターゲット判定部４４は、スルー画像中の全ての人物の目線判定処理を式（３）または（４）にしたがって順次実行した後、そのスルー画像が所定の判定条件に合致した画像であるか否かを判定する。

図８は、撮像装置１の撮像領域（水平方向の画角θ_X）内に存在する二人の人物Ａ１、Ａ２が互いに見つめ合っている状況の第２例を撮像装置１の上方から見た模式図である。図８に示す場合、撮像装置１は、人物Ａ２の目線を推定することができない。したがって、ターゲット判定部４４が同じ画像中の他の人物を見つめている人物を含む画像であるか否かを判定するように設定されている場合のみ、人物Ａ１と人物Ａ２のＬ座標の差分ΔＬ'＝Ｌ１'−Ｌ２'およびＸ座標の差分ΔＸ'＝Ｌ１'ｔａｎ（ρ１'）＋Ｌ２'ｔａｎ（ρ２'）が、
ΔＸ'＝ΔＬ'ｔａｎ（φ１'） …（６）
を満たしているか否かを判定する。ここでφ１'は、人物Ａ１の水平方向の目線角度φ１'である。式（６）が満たされている場合には、少なくとも人物Ａ１の目線のターゲットは人物Ａ２である。したがって、ターゲット判定部４４は、図８に示す状況を撮像した画像データを判定条件に合致する画像と判定する。

ターゲット判定部４４が式（６）を算出するには、顔検出部４１が人物Ａ２の後頭部を検出できなければならない。そこで、このような状況にも対応可能とするために、パターン情報記憶部１３２に予め人間の後頭部のパターンを記憶させておけばよい。また、顔検出部４１に顔を含む頭部の追尾機能を具備させることにより、図８に示す状況以前に人物Ａ２の顔を検出した場合には、人物Ａ２の頭部を追尾できるようにしてもよい。

以上説明したステップＳ３の目線判定処理に続く処理は、撮像装置１が自動撮影モードに設定されているか否かによって異なる。まず、撮像装置１が自動撮影モードに設定されていない場合（ステップＳ４，Ｎｏ）を説明する。この場合、ターゲット判定部４４がスルー画像を判定条件に合致する画像である（人物ターゲットあり）と判定していれば（ステップＳ５，Ｙｅｓ）、撮像装置１は目線のターゲットである人物と目線元の人物とにピントおよび露出を合わせる（ステップＳ６）。その後、表示部５は、撮影に好適なタイミングであることを報知するＯＫ表示を表示する（ステップＳ７）。一方、ターゲット判定部４４がスルー画像を判定条件に合致しない画像であると判定していれば（ステップＳ５，Ｎｏ）、撮像装置１は表示部５でＯＫ表示を出力することなく、後述するステップＳ８へ直接進む。

図９は、表示部５におけるＯＫ表示の表示例（第１例）を示す図である。同図に示す表示画像５１では、被写体である二人の人物Ａ１、Ａ２が見つめ合っており、画面左上部に「タイミングＯＫ」という文字列が重畳して表示されている。撮影者は、表示部５に前述した文字列が表示出力されたことにより、スルー画像中の人物のペアが見つめ合っており、撮影に好適なタイミングであることを認識することができる。

図１０は、ＯＫ表示の別な表示例（第２例）を示す図である。同図に示す表示画像５２では、互いに見つめ合っているペアを示す正方形状のペア特定シンボル５２ａがスルー画像中の人物Ａ３、Ａ４の顔領域に重畳して表示されている。したがって、撮影者は、スルー画像中の３人の人物Ａ３、Ａ４、Ａ５の中に見つめ合っているペアが存在しており、撮影に好適なタイミングであることを的確に認識することができる。

図１１は、ＯＫ表示のさらに別な表示例（第３例）を示す図である。同図に示す表示画像５３は、図８に示す状況に対応している。この場合、人物Ａ６の顔領域には、画像中の他の人物Ａ７をターゲットとする目線を発している人物であることを示す目線元特定シンボル５３ａが人物Ａ６の顔領域に重畳して表示される一方、人物Ａ７の顔領域には人物Ａ６のターゲットであることを示すターゲット特定シンボル５３ｂが重畳して表示されている。したがって、撮影者は、少なくとも一方の人物の目線のターゲットが他方の人物であるようなペアが存在しており、撮影に好適なタイミングであることを的確に認識することができる。

この後、撮影者によって入力部９から撮影指示信号が入力された場合（ステップＳ８，Ｙｅｓ）、撮像装置１は制御部１２の制御のもとで画像の撮影を行い（ステップＳ９）、撮影した画像データを圧縮伸張部７で所定のサイズに圧縮し、この圧縮した画像データを記録媒体インターフェース８によって記録媒体１００へ記録する（ステップＳ１０）。ここで、撮像装置１は、撮影した画像データを記憶部１３へ書き込んで記録することもできる。なお、ステップＳ８で所定時間経過しても撮影指示信号が入力されない場合（ステップＳ８，Ｎｏ）、撮像装置１はステップＳ３に戻る。

次に、撮像装置１が自動撮影モードに設定されている場合を説明する（ステップＳ４，Ｙｅｓ）。この場合、ターゲット判定部４４がスルー画像を判定条件に合致する画像である（人物ターゲットあり）と判定していれば（ステップＳ１１，Ｙｅｓ）、撮像装置１は目線のターゲットである人物と目線元の人物とにピントおよび露出を合わせ（ステップＳ１２）、自動的に撮影処理を行う（ステップＳ９）。この後、撮像装置１は撮影した画像データを圧縮伸張部７で所定のサイズに圧縮し、この圧縮した画像データを記録媒体インターフェース８によって記録媒体１００へ記録する（ステップＳ１０）。一方、ターゲット判定部４４がスルー画像を判定条件に合致しない画像であると判定していれば（ステップＳ１１，Ｎｏ）、撮像装置１はステップＳ３に戻る。

ステップＳ１０に続く処理は、撮像装置１で連写モードが設定されているか否かによって異なる。撮像装置１が連写モードに設定されていない場合（ステップＳ１３，Ｎｏ）、画像処理部４は、記録媒体インターフェース８から画像データを読み出して上述したステップＳ３と同じ目線判定処理（ステップＳ１４）を行う。ここで目線判定処理を再び行うのは、ステップＳ３における目線判定処理の後、実際に撮影を行うまでのタイムラグがあり、ステップＳ３の判定結果と異なる判定結果が生じる可能性があるからである。

一方、撮像装置１が連写モードに設定されている場合（ステップＳ１３，Ｙｅｓ）、所定の撮影枚数分の撮影が終了していなければ（ステップＳ１５，Ｎｏ）、ステップＳ９に戻って撮影を繰り返し行う。撮像装置１が連写モードに設定されており（ステップＳ１３，Ｙｅｓ）、かつ所定の撮影枚数分の撮影が終了していれば（ステップＳ１５，Ｙｅｓ）、画像処理部４は記録媒体インターフェース８からステップＳ９で撮影した画像データを読み出し、上記ステップＳ３と同様の目線判定処理を行う（ステップＳ１４）。

画像処理部４が画像データの目線判定処理（ステップＳ１４）を行った結果、ターゲット判定部４４がその画像データを判定条件に合致する画像である（人物ターゲットあり）と判定した場合（ステップＳ１６，Ｙｅｓ）、撮像装置１はその画像データを人物ターゲット画像として記録媒体インターフェース８を介して記録媒体１００へ記録する（ステップＳ１７）。ここでいう「人物ターゲット画像」とは、ターゲット判定部４４の判定条件に対応する情報が付与された画像データのことであり、例えば撮影した画像データに対して人物ターゲット画像であることを示すフラグを立てたものである。一方、ターゲット判定部４４がその画像データを判定条件に合致しない画像であると判定した場合（ステップＳ１６，Ｎｏ）、撮像装置１はステップＳ３に戻る。

この後、撮像装置１がトリミングモードに設定されている場合（ステップＳ１８，Ｙｅｓ）、トリミング部４５は人物ターゲット画像のトリミングを行う（ステップＳ１９）。続いて、表示部５は、トリミング部４５によってトリミングされた結果を表示する（ステップＳ２０）。図１２は、表示部５におけるトリミング結果の表示例を示す図である。同図に示すトリミング結果表示画像５４は、互いに見つめ合っているペアである人物Ａ８、Ａ９を含み、スルー画像中の他の人物をターゲットとする目線を有していない人物Ａ１０を除いた領域をトリミング領域５４ａとして破線を用いて表示している。なお、ステップＳ２０において表示部５がトリミング結果表示画像５４を表示する代わりに、トリミング領域５４ａのみを表示するようにしてもよい。また、トリミング結果表示画像５４の適当な位置に、トリミング画像を記録するか否かを問合わせるメッセージを出力し、撮影者に入力部９からの選択入力を促すようにしてもよい。

入力部９からトリミング画像を記録する操作指示信号が入力された場合（ステップＳ２１，Ｙｅｓ）、撮像装置１はトリミング後の画像データを圧縮伸張部７で所定のサイズに圧縮し、この圧縮したトリミング画像データを、記録媒体インターフェース８を介して記録媒体１００へ記録する（ステップＳ２２）。一方、トリミング画像を記録する操作指示信号が入力されなかった場合（ステップＳ２１，Ｎｏ）、撮像装置１は一連の処理を終了する。

撮像装置１がトリミングモードに設定されていない場合（ステップＳ１８，Ｎｏ）、撮像装置１は一連の処理を終了する。

次に、撮像装置１が撮影モードに設定されており（ステップＳ１，撮影モード）、かつ目線判定撮影モードに設定されていない場合（ステップＳ２，Ｎｏ）を説明する。この場合、撮像装置１は通常撮影処理を行う（ステップＳ２３）。

通常撮影処理に続く処理は、撮像装置１が撮影用目線判定トリミングモードに設定されているか否かによって異なる。撮像装置１が撮影用目線判定トリミングモードに設定されている場合（ステップＳ２４，Ｙｅｓ）、画像処理部４は、ステップＳ２３で記録媒体１００に記録された画像データに対してステップＳ１４と同じ目線判定処理を行う（ステップＳ２５）。これに対して、撮像装置１が撮影用目線判定トリミングモードに設定されていない場合（ステップＳ２４，Ｎｏ）、撮像装置１は通常撮影処理のみを行う。

以下、撮像装置１が撮影用目線判定トリミングモードに設定されている場合を説明する。画像処理部４が画像データの目線判定処理（ステップＳ２５）を行った結果、ターゲット判定部４４がその画像データを判定条件に合致する画像である（人物ターゲットあり）と判定した場合（ステップＳ２６，Ｙｅｓ）、撮像装置１はその画像を人物ターゲット画像として記録媒体インターフェース８を介して記録媒体１００へ記録する（ステップＳ２７）。続いて、トリミング部４５が人物ターゲット画像のトリミングを行う（ステップＳ１９）。このステップＳ１９に続くステップＳ２０〜Ｓ２２の処理は、上述した通りである。

一方、ターゲット判定部４４が画像データを判定条件に合致しない画像であると判定した場合（ステップＳ２６，Ｎｏ）、撮像装置１は一連の処理を終了する。

次に、撮像装置１で再生モードが設定されている場合（ステップＳ１，再生モード）を説明する。まず、表示部５は、記録媒体１００が記憶する画像データから撮影者によって選択された画像データを再生表示する（ステップＳ２８）。

撮像装置１が再生用目線判定トリミングモードに設定されている場合（ステップＳ２９，Ｙｅｓ）、画像処理部４は再生表示している画像データに対して目線判定処理を行う（ステップＳ２５）。このステップＳ２５に続くステップＳ２６以降の処理は、撮像装置１で撮影モードおよび撮影用目線判定トリミングモードが設定されている場合と同じである。

一方、撮像装置１で再生用目線判定トリミングモードが設定されていない場合（ステップＳ２９，Ｎｏ）、撮像装置１は処理を終了する。

以上説明した本発明の一実施の形態によれば、画像信号中の複数の人物の目線を推定し、目線を推定した複数の人物までの距離をそれぞれ算出し、これらの目線推定結果および距離算出結果を用いることによって複数の人物の目線のターゲットが画像信号中に含まれる他の人物であるか否かを判定しているため、複数の人物を被写体として含む画像中で人物間に何らかのコミュニケーションが発生している場面を的確に抽出することが可能となる。

ここまで、本発明を実施するための最良の形態を説明してきたが、本発明は上述した一実施の形態によってのみ限定されるべきものではない。例えば、スルー画像中の人物の目線方向を推定する際には、上述したパターンマッチング以外の手法を適用してもよい。

また、上述した一実施の形態では、水平方向の目線角度を用いた目線判定を行う場合を説明したが、垂直方向についても同様のターゲット判定処理を行うことができる。このため、水平方向に加えて垂直方向のターゲット判定処理の結果を反映することにより、ターゲット判定の精度を一段と向上させることができる。

このように、本発明は、ここでは記載していない様々な実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的思想を逸脱しない範囲内において種々の設計変更等を施すことが可能である。

本発明の一実施の形態に係る画像処理装置（撮像装置）の構成を示す図である。 目線推定処理で参照する顔のパターンの例を示す図である。 目線推定処理で参照する目のパターンの例を示す図である。 本発明の一実施の形態に係る画像処理装置（撮像装置）で設定可能な動作モードの一部を示す図である。 本発明の一実施の形態に係る画像処理装置（撮像装置）の目線判定処理を含む処理の流れを示すフローチャートである。 目線判定処理の概要を示すフローチャートである。 被写体である二人の人物とこれら二人の人物が互いに見つめ合っている状況を画像処理装置の上方から見た模式図である。 被写体である二人の人物とこれら二人の人物が互いに見つめ合っている状況（第２例）を画像処理装置の上方から見た模式図である。 ＯＫ表示の表示例（第１例）を示す図である。 ＯＫ表示の表示例（第２例）を示す図である。 ＯＫ表示の表示例（第３例）を示す図である。 トリミング結果の表示例を示す図である。

符号の説明

１ 撮像装置（画像処理装置）
２ 撮像部
３ センサ部
４ 画像処理部
５ 表示部
６ 表示制御部
７ 圧縮伸張部
８ 記録媒体インターフェース
９ 入力部
１０ 音声出力部
１１ 補助光投射部
１２ 制御部
１３ 記憶部
１４ レンズ駆動部
１５ 絞り駆動部
２１ 撮影レンズ
２２ 絞り
２３ 撮像素子
２４ アナログ信号処理部
２５ Ａ／Ｄ変換部
４１ 顔検出部
４２ 目線推定部
４３ 距離算出部
４４ ターゲット判定部
４５ トリミング部
５１、５２、５３ 表示画像
５２ａ ペア特定シンボル
５３ａ 目線元特定シンボル
５３ｂ ターゲット特定シンボル
５４ トリミング結果表示画像
５４ａ トリミング領域
１００ 記録媒体
１２１ 時計
１３１ プログラム記憶部
１３２ パターン情報記憶部
１３３ 顔情報記憶部
Ａ１〜Ａ１０ 人物

Claims (9)

1. 画像信号中の画像パターンに基づいて前記画像信号中に含まれる複数の人物の顔を検出する顔検出部と、
   前記顔検出部が顔を検出した前記複数の人物の目線を推定する目線推定部と、
   前記目線推定部が目線を推定した前記複数の人物までの距離をそれぞれ算出する距離算出部と、
   前記目線推定部の推定結果および前記距離算出部の算出結果を用いることによって前記複数の人物の目線のターゲットが前記画像信号中に含まれる他の人物であるか否かを判定するターゲット判定部と、
   を備えたことを特徴とする画像処理装置。
2. 前記ターゲット判定部は、
   前記複数の人物のうち互いに相手の目線のターゲットとなっているペアが存在しているか否かを判定することを特徴とする請求項１記載の画像処理装置。
3. 前記画像信号に対応する画像データを表示する表示部を備え、
   前記表示部は、
   前記ターゲット判定部が判定した結果を前記画像データに重畳して表示することを特徴とする請求項１または２記載の画像処理装置。
4. 前記表示部は、
   前記複数の人物の中で前記画像信号中に含まれる他の人物をターゲットとする目線を有する人物を特定する情報を前記画像データに重畳して表示することを特徴とする請求項３記載の画像処理装置。
5. 前記ターゲット判定部の判定結果に応じて前記画像データのトリミングを行うトリミング部を備えたことを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
6. 所定の視野領域内の被写体を撮像して画像信号を生成する撮像部と、
   前記撮像部が撮像している被写体の撮影を指示する撮影指示信号が入力される入力部と、
   前記入力部から入力された前記撮影指示信号に応じて前記撮像部が撮像している被写体を撮影する制御を行う制御部と、
   を備えたことを特徴とする請求項１〜５のいずれか一項記載の画像処理装置。
7. 前記制御部は、
   前記複数の人物の中で前記画像信号中に含まれる他の人物をターゲットとする目線を有する人物にピントおよび露出を合わせる制御を行うことを特徴とする請求項６記載の画像処理装置。
8. 前記制御部は、
   前記ターゲット判定部が判定した結果に応じて前記撮像部が撮像している被写体を自動的に撮影する制御を行うことを特徴とする請求項６または７記載の画像処理装置。
9. 画像信号に対して所定の処理を行う画像処理装置に、
   前記画像信号中の画像パターンに基づいて前記画像信号中に含まれる複数の人物の顔を検出する顔検出ステップ、
   前記顔検出ステップで顔を検出した前記複数の人物の目線を推定して顔情報を記憶する顔情報記憶部へ格納する目線推定ステップ、
   前記目線推定ステップで目線を推定した前記複数の人物までの距離をそれぞれ算出して前記顔情報記憶部へ格納する距離算出ステップ、
   前記目線推定ステップの推定結果および前記距離算出ステップの算出結果を前記顔情報記憶部から読み出し、この読み出した推定結果および算出結果を用いることによって前記複数の人物の目線のターゲットが前記画像信号中に含まれる他の人物であるか否かを判定するターゲット判定ステップ、
   を実行させることを特徴とする画像処理プログラム。

Images