JP2010044436A - 画像表示装置および方法、ならびにプログラム - Google Patents

Abstract

【課題】本発明は、唇や額、頬などの顔の特定の構成物が表示領域から外れることなく、顔の構成物のピントや色味の確認を行いやすくする画像表示装置を提供する。
【解決手段】撮像装置１００によれば、読み込んだ画像から人物の顔の構成物を検出し、各構成物の位置座標を取得すると共に、検出された顔の構成物から顔の特定の構成物を含む矩形の検出顔領域を設定する。そして、設定された検出顔領域と、検出された顔の構成物の位置座標と、顔の向きに基づいて、顔の特定の構成物を含む顔表示領域４０２を算出して表示する。
【選択図】図３

Description

本発明は、画像から人物の顔部分の画像を切り出して表示することができる画像表示装置および方法、ならびにプログラムに関する。

従来の撮像装置において、撮影画像の中から被写体の特定領域を任意の条件によって自動で検出し、検出した被写体の特定領域に対して様々な処理を行う技術が提案されている。入力された画像データの中から人物の顔を検出し、検出された人物の顔の少なくとも一部を測距エリアとして自動合焦制御を行う技術が開示されている（特許文献１参照）。

ここで、汎用の顔検出モジュールにおける代表的な顔検出方法を簡単に説明する。

まず、顔検出の対象となる画像データに対して、図１７（ａ）に示すように垂直方向に、または図１７（ｂ）に示すように水平方向に、特定周波数帯域の信号を通すバンドパスフィルタをかけ、画像信号からエッジ成分を検出する。そして、検出されたエッジ成分に対してパターンマッチングを行い、目、二つの鼻孔（以下、「鼻孔対」という）、口、耳等の顔の特徴的な構成物の抽出を行う。抽出された目の候補群の中から、予め設定された条件（両目の距離、傾き等）を満たすものを、正しい目の組み合わせと判断し、目の組み合わせが存在するもののみ目の候補群として絞り込む。絞り込まれた目の候補群と、それに対応する顔を形成する他の構成物（鼻、口、耳等）を対応付け、予め設定した非顔条件フィルタを通すことで、顔を検出する。なお、ここでいう非顔条件フィルタとは、顔の候補と非顔条件フィルタとを比較し、所定の評価値を満たさなければ顔ではないと判断するためのフィルタである。

また、画像から検出した顔の領域の左右に顔の向きを判定する判定領域を設け、それぞれの色相を取得し、顔の領域の色相と差分の少ない方の判定領域から、被写体の顔が左向き、正面向き、右向きのいずれかを判定する技術が公開されている（特許文献２参照）。

また、検出した被写体の顔の向きを、顔の構成物の位置関係をもとに検出する技術が公開されている（特許文献３参照）。この特許文献３では、以下のように、顔の構成物の三次元座標と構成物間のベクトル距離情報を用いて顔の向きを求める方法が紹介されている。

図１８に示すように、カメラのレンズの中心Οを三次元空間の原点とし、ｚ軸がカメラの光軸方向、ｘ軸が左右方向、ｙ軸が上下方向とする。撮像平面（二次元平面）はｘｙ平面に平行で、レンズからの距離を既知情報ｄとする。撮像平面上の右目座標をａ’、左目座標をｂ’、鼻孔対座標をｃ’としたとき、ａ’，ｂ’，ｃ’は、三次元空間上の右目の座標ａ、左目の座標ｂ、鼻孔対の座標ｃを、レンズから撮像面に中心投影した座標であると仮定できる。そこで、顔の構成物である右目、左目、鼻孔対の三次元座標について、ユークリッド距離を既知情報として与えることによって、ａ，ｂ，ｃの三次元空間中の座標を算出することができる。顔の向きは、両目及び鼻孔対を含む平面の法線方向とすることで求められる。
特開２００３−１０７３３５号公報 特開２００６−３３８３２９号公報 特開平１０−３０７９２３号公報

しかしながら、撮影画像の中から人物の顔部分の画像を切り出して表示する場合、上記顔検出方法により検出された両目や鼻孔や口を含む矩形を顔領域として表示すると、顔の向きによっては顔の見たい部分（唇や額、頬）が表示領域から外れてしまうことがある。

本発明は、上記問題に鑑みて成されたものであり、唇や額、頬などの顔の特定の構成物が表示領域から外れることなく、顔の構成物のピントや色味の確認を行いやすくする画像表示装置および方法、並びにプログラムを提供することを目的とする。

上記目的を達成するために、請求項１記載の画像表示装置は、画像を読み込む画像読込手段と、読み込んだ画像から人物の顔の構成物を検出する顔検出手段と、前記顔検出手段で検出された顔の構成物から顔の特定の構成物を含む矩形領域を設定する検出顔領域設定手段と、前記顔検出手段で検出された顔の構成物の位置座標を取得する顔の構成物位置取得手段と、前記人物の顔の向きを判定する顔の向き判定手段と、前記設定された矩形領域と、前記取得された顔の構成物の位置座標と、前記判定された顔の向きに基づいて、前記顔の特定の構成物を含む顔部分を表示するための表示領域を算出する表示領域算出手段と、前記表示領域算出手段で算出された表示領域を表示する顔領域表示手段とを有することを特徴とする。

上記目的を達成するために、請求項６記載の画像表示方法は、画像を読み込む画像読込ステップと、読み込んだ画像から人物の顔の構成物を検出する顔検出ステップと、前記顔検出ステップで検出された顔の構成物から顔の特定の構成物を含む矩形領域を設定する検出顔領域設定ステップと、前記顔検出ステップで検出された顔の構成物の位置座標を取得する顔の構成物位置取得ステップと、前記人物の顔の向きを判定する顔の向き判定ステップと、前記設定された矩形領域と、前記取得された顔の構成物の位置座標と、前記判定された顔の向きに基づいて、前記顔の特定の構成物を含む顔部分を表示するための表示領域を算出する表示領域算出ステップと、前記表示領域算出ステップで算出された表示領域を表示する顔領域表示ステップとを有することを特徴とする。

本発明によれば、読み込んだ画像から人物の顔の構成物を検出した後、検出された顔の構成物から顔の特定の構成物を含む矩形領域を設定し、検出された顔の構成物の位置座標を取得し、人物の顔の向きを判定する。そして、設定された矩形領域と、取得された顔の構成物の位置座標と、判定された顔の向きに基づいて、顔の特定の構成物を含む顔部分を表示するための表示領域を算出し、算出された表示領域を表示する。これにより、唇や額、頬などの顔の特定の構成物が表示領域から外れることなく、顔の構成物のピントや色味の確認を行いやすくするという効果がある。

以下、本発明の実施の形態を図面を参照して詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像表示装置が適用された撮像装置の構成例を示すブロック図である。

図１において、１００は撮像装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御回路２２からの画像データに対して所定の画素補間処理や色変換処理を行う。画像処理回路２０は、Ａ／Ｄ変換器１６からの画像データを用いて所定の演算処理を行う。

システム制御回路５０は、画像処理回路２０により得られた演算結果に基づき、露光制御回路４０及び測距制御回路４２を制御する。そして、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行う。また、システム制御回路５０は、画像処理回路２０により得られた演算結果に基づき、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、及び圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６により変換された画像データが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６により変換された画像データが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に保存される。

２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に保存された表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。撮像素子１４からＡ／Ｄ変換器１６及びメモリ制御回路２２を介して出力された画像データを画像表示部２８に逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。

メモリ３０は、撮影された静止画像や動画像のデータを格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像のデータを格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像保存をメモリ３０に対して行うことが可能となる。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する回路であり、メモリ３０に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、処理されたデータを再びメモリ３０に格納する。

露光制御回路４０は、絞り機能を備えるシャッター１２を制御し、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。測距制御回路４２は、撮影レンズ１０のフォーカシングを制御する。

４４は撮影レンズ１０のズーミングを制御するズーム制御回路、４６は保護手段であるバリア１０２の動作を制御するバリア制御回路である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御回路４０及び測距制御回路４２は、画像処理回路２０によって演算された演算結果に基づき、システム制御回路５０により制御される。

システム制御回路５０は撮像装置１００全体を制御する。５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。表示部５４は、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録媒体１８０，１９０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示等がある。また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。６０，６２，６４，６６，６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなる。シャッタースイッチＳＷ２＿６４が押下されると、システム制御回路５０により、露光処理や現像処理、メモリ３０から画像データを読み出して圧縮・伸長回路３２で圧縮を行って記録媒体１８０等に保存する記録処理等の一連の動作が開始される。

６６は顔領域表示スイッチであり、画像表示部２８に表示する画像を、全体画像又は顔部分の画像（拡大画像）に切り替えるための切り替えスイッチである。画像中に複数の顔が検出された場合は、検出された複数の顔部分の画像がそれぞれ、顔領域表示スイッチ６６が操作される度に切り替えて表示され、全て表示した後に全体画像の表示に戻る。

６８はクイックレビューＯＮ／ＯＦＦスイッチで、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。なお、本実施形態では、特に、画像表示部２８をＯＦＦとした場合におけるクイックレビュー機能の設定をする機能を備えるものとする。

７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

８０は電源制御回路で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御回路８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２，８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。９０，９４はメモリカードやハードディスク等の記録媒体とのインターフェース（Ｉ／Ｆ）である。９２，９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び／又はコネクタ９６に記録媒体が装着されているか否かを検知する記録媒体着脱検知回路である。

なお、本実施形態では、記録媒体１８０，１９０を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。また、インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ(登録商標)）カード等の規格に準拠したものを用いて構成して構わない。さらに、インターフェース９０，９４、コネクタ９２，９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ(登録商標)）カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード等の通信カード等の各種通信カードを接続してもよい。これにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

バリア１０２は、撮像装置１００の撮影レンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する保護手段である。１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。

１１０は通信回路で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。１１２は通信回路１１０により撮像装置１００を他の機器と接続するコネクタ、或いは無線通信の場合はアンテナである。

記録媒体１８０，１９０は、メモリカードやハードディスク等の記録媒体である。記録媒体１８０は、半導体メモリや磁気ディスク等から構成される記録部１８２、撮像装置１００とのインターフェース１８４、撮像装置１００と接続を行うコネクタ１８６を備えている。記録媒体１９０は、半導体メモリや磁気ディスク等から構成される記録部１９２、撮像装置１００とのインターフェース１９４、撮像装置１００と接続を行うコネクタ１９６を備えている。

顔検出部（顔検出手段）１５０は、画像データから両目、鼻孔や口といった顔の構成物を検出する。検出顔領域設定部（検出顔領域設定手段）１５２は、顔検出部１５０により検出された顔の構成物から特定の構成物を含む矩形の領域（検出顔領域）を設定して保存する。検出顔領域の保存とは、設定された矩形の検出顔領域の各頂点の座標位置が保存されることをいう。なお、保存される場所は、検出顔領域設定部１５２内であっても、メモリ３０等であってもよい。

顔の構成物の位置取得部（顔の構成物位置取得手段）１５４は、顔検出部１５０により検出された顔の構成物の位置座標を取得して保存する。ここでいう座標とは、図４に示すように、画像の左下を原点０とし、縦方向をＹ軸、横方向をＸ軸としたときの画素の位置をいう。なお、口の位置座標については口の両端の座標とするが、これに限定されるものではなく、口の両端を結ぶ線上の中心位置の座標としてもよい。顔の向き判定部（顔の向き判定手段）１５６は、顔検出部１５０により検出された顔の構成物から顔の向きを判定する。

表示領域算出部（表示領域算出手段）１５８は、設定された検出顔領域と、顔の構成物の座標と、顔の向きに基づいて、顔部分を表示するための顔表示領域を求めてメモリ３０に保存する。顔領域表示部（顔領域表示手段）１６０は、メモリ３０に保存された顔表示領域を、顔領域表示スイッチ６６の操作に応じたシステム制御回路５０からの指示により、メモリ制御回路２２及びＤ／Ａ変換器２６を介して画像表示部２８に表示する。

次に、図１の撮像装置１００で実行される画像データから人物の顔部分を含む顔表示領域を切り出して表示する顔領域表示処理について説明する。

図２は、図１の撮像装置１００で実行される顔領域表示処理の流れを示すフローチャートである。

図２において、ステップＳ２０１では、システム制御回路５０は、メモリ３０から画像データを読み込む。次に、ステップＳ２０２では、顔検出部１５０は、ステップＳ２０１で読み込んだ画像データに対して顔検出を実施する。顔検出方法はどのような方法でもよいが、画像データから両目、鼻孔や口といった顔の構成物を検出する方法が望ましい。例えば、上述の特許文献１に記載された方法が挙げられる。なお、顔検出の精度を上げるために、両耳や眉毛、顔の輪郭といった構成物を検出してもよい。

次に、ステップＳ２０３では、検出顔領域設定部１５２は、ステップＳ２０２で検出された顔の構成物から特定の構成物（例えば、両目と口）を含む矩形領域（検出顔領域）を設定して保存する。検出顔領域については、両目、鼻孔や口等の顔の構成物からその中心位置を求め、この中心位置から特定の構成物を含むように設定される。次に、ステップＳ２０４では、顔の構成物の位置取得部１５４は、ステップＳ２０２で検出された顔の構成物の位置座標を取得して保存する。

次に、ステップＳ２０５では、ステップＳ２０４で取得した顔の構成物の座標に基づいて、顔の向き判定部１５６が顔の左右の向きを判定する。顔の向きの判定は、既存のどのような方法で行ってもよい。例えば、上述した特許文献２で開示されている方法では、検出顔領域の左右に顔向き判定領域を設け、それぞれの色相を取得し、検出顔領域の色相と差分の少ない方の顔向き判定領域を顔の頬部分と判断することで、顔の向きを判定する。

次に、ステップＳ２０６では、表示領域算出部１５８は、検出顔領域と、顔の構成物の座標と、顔の向きに基づき、切り出して表示する顔部分の領域（顔表示領域）を算出してメモリ３０に保存する。

次に、ステップＳ２０７では、顔領域表示部１６０は、メモリ３０に保存された顔表示領域を、顔領域表示スイッチ６６の操作に応じたシステム制御回路５０からの指示により、メモリ制御回路２２及びＤ／Ａ変換器２６を介して画像表示部２８に表示する。

なお、ステップＳ２０２において複数の顔が検出された場合、ステップＳ２０３以降の処理を、ステップＳ２０２で検出した顔の数だけ繰り返す。そして、検出した夫々の顔の顔表示領域をメモリ３０に保持しておき、顔領域表示スイッチ６６への操作に従って画像表示部２８に顔表示領域を表示する。

次に、ステップＳ２０６における表示領域算出処理の詳細について説明する。

図３は、図２のステップＳ２０６における表示領域算出処理の詳細を示すフローチャートである。図４は、撮影により得られた画像の一例を示す図である。図５〜図７は、図４に示す画像３０１に対する表示領域算出処理の具体例を説明するための図である。なお、図４〜図７では、画像の左下が原点、図の左右方向がＸ軸、上下方向がＹ軸とする。

ステップＳ２０６における表示領域算出処理により画像３０１から切り出して顔部分画像として表示したい顔表示領域は、図５に示す４０２のように、額、唇、頬の色味が確認できる矩形である。一方、ＡＦで用いられる顔検出では、目にピントを合わせることが目的であるため、額や唇、頬の色味が確認できる矩形としては、図５に示すように、右目４０４、左目４０５、口の右端４０７、口の左端４０６を含む検出顔領域４０１がある。

しかしながら、検出顔領域４０１をそのまま顔表示領域として使用する場合、画像上の人物の額や頬の部分がはみ出してしまうことがある。そこで、本実施形態では、検出顔領域４０１をそのまま顔表示領域として使用するのではなく、両目や唇はもとより、額や頬の部分が含まれるように検出顔領域４０１を拡張する。

本実施形態では、図５に示すように、右目４０４、左目４０５、口の左端４０６、口の右端４０７の各座標を結ぶ多角形４２０の重心を検出顔領域４０１の中心とする。そして、顔が正面を向いているときに両目や口がおよそ含まれる矩形を検出顔領域４０１として設定するものとする。

図３において、ステップＳ３０１では、表示領域算出部１５８は、検出顔領域４０１の縦方向（Ｙ軸方向）の拡張量を算出する。顔における額部分の表示領域を確保するには、人物の顔の構成物の位置関係から、目と口の間の長さとほぼ同じ長さの領域を額方向（縦方向）に拡張する。本実施形態では、図６に示すように、両目（右目４０４，左目４０５）の座標のうちのＹ座標の高い点（左目４０５）から、口の両端の座標（口の左端４０６、口の右端４０７）のうちのＹ座標の低い点（口の右端４０７）までの長さ５０４を算出する。算出した長さ５０４を目と口の間の長さとして、両目の座標のうちのＹ座標の高い点から縦方向（Ｙ軸方向）に、長さ５０４と同じ長さの表示領域を確保する。これにより、図６に示す顔表示領域４０２の上辺として５１１が求まる。

次に、ステップＳ３０２では、表示領域算出部１５８は、検出顔領域４０１の横方向（Ｘ軸方向）の拡張量を算出する。検出顔領域４０１の横方向に確保する領域には、両目と頬が含まれている必要がある。そこで、顔が正面を向いている場合、右目４０４のＸ座標から表示領域の左側の辺のＸ座標までの幅及び左目４０５のＸ座標から右側の辺のＸ座標までの幅がそれぞれ、検出顔領域４０１の横幅に対して一定の割合であれば、表示したい顔表示領域を確保できる。例えば、検出顔領域４０１の横幅に対して、右目４０４のＸ座標から検出顔領域４０１の左側の辺までの幅及び左目４０５のＸ座標から検出顔領域４０１の右側の辺までの幅をそれぞれ１／５程度に設定することで、統計的に、両目と頬を含む領域を確保できる。本実施形態では、検出顔領域４０１の横幅に対して、両目のＸ座標からそれぞれ外側に１／５の幅で表示領域が確保できるものとする。

一方、図５のように画像上の人物の顔が正面を向いておらず、左または右に向いている場合、上記方法であれば、手前側の頬が表示領域に含まれない状態となることがある。そこで、人物の顔が左または右に向いている場合に、手前側の頬を含む横方向（Ｘ軸方向）の表示領域を確保するために、顔の向き判定部１５６で判定された顔の向きを利用する。例えば、図示例のように顔が右側を向いている場合、図５に示す検出顔領域４０１の横幅４２３に対して、左目４０５のＸ座標から検出顔領域４０１の右側の辺までの幅６０８（図７）を１／２程度に設定する。この結果、統計的に、手前側の頬を含む顔部分の領域を確保できる。以上により、図７に示す顔表示領域４０２の手前側の頬を含む横方向の左辺として６１３が求まる。

なお、上述した縦及び横方向に拡張する表示領域の算出方法は、検出顔領域４０１の上下左右方向と画像の上下左右方向とが一致している前提で説明したが、被写体となる人物が寝ころんでいる場合など、顔の上下左右方向が画像の上下左右と一致しない場合がある。そこで、図１７（ａ）、図１７（ｂ）に示すような９０度単位のバンドパスフィルタによる顔検出方式により、検出顔領域４０１の傾きを検出するとよい。例えば、図１７（ｂ）に示すように顔が右に９０度傾いている場合は、顔の縦方向の表示領域を算出するには、検出顔領域４０１のＸ軸方向に拡張する表示領域を計算する。同様に、両目と頬を含む顔の横方向の表示領域を算出するには、検出顔領域４０１のＹ軸方向に拡張する表示領域を計算する。

上記第１の実施形態によれば、読み込んだ画像から人物の顔の構成物を検出し、各構成物の位置座標を取得すると共に、検出された顔の構成物から顔の特定の構成物を含む矩形の検出顔領域を設定する。そして、設定された検出顔領域と、検出された顔の構成物の位置座標と、顔の向きに基づいて、顔の特定の構成物を含む顔表示領域４０２を算出して表示する。これにより、唇や額、頬などの顔の特定の構成物が表示領域から外れることなく、顔の構成物のピントや色味の確認を行いやすくする。

［第２の実施形態］
本発明の第２の実施形態では、撮像装置で撮影された画像データを情報処理装置に取り込み、画像データから人物の顔部分の画像を切り出し、顔画像表示ツール（画像の顔部分のみを表示するウィンドウアプリケーション）に表示するプログラムについて説明する。なお、不図示ではあるが、情報処理装置１１０２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク装置、マウスやキーボード等の操作装置、ディスプレイ装置等の一般的なＰＣの構成要素を有するものとする。

図８は、本発明の第２の実施形態に係る画像表示方法が適用された情報処理装置の機能的な構成例を示すブロック図である。

図８において、ＰＣ（パーソナルコンピュータ）等の情報処理装置１１０２は、撮像装置であるカメラ１１０１にＵＳＢケーブル等で接続されている。情報処理装置１１０２には、顔画像表示ツールであるプログラム１１０３がインストールされている。

入力モジュール１１０４は、画像読込処理１１１０を実行することにより、カメラ１１０１や不図示のストレージとの通信で、若しくはメディアから不図示のカードリーダーを介して、画像データを情報処理装置１１０２内に読み込む。

画像データ解析モジュール１１０５は、顔検出処理１１１１を実行することにより、画像データから両目、鼻孔や口といった顔の構成物を検出する。そして、検出顔領域設定処理１１１２を実行することにより、検出された顔の構成物から特定の構成物を含む矩形の領域（検出顔領域）を設定して保存する。検出顔領域の保存とは、設定された矩形の検出顔領域の各頂点の座標位置がＲＡＭ等に保存されることをいう。

さらに、画像データ解析モジュール１１０５は、顔の構成物位置取得処理１１１３を実行することにより、検出された顔の構成物の位置座標を取得してＲＡＭ等に保存する。ここでいう座標とは、図４に示すように、画像の左下を原点０とし、縦方向をＹ軸、横方向をＸ軸としたときの画素の位置をいう。なお、口の位置座標については口の両端を結ぶ線上の中心位置の座標とするが、これに限定されるものではなく、口の両端の座標としてもよい。

また、画像データ解析モジュール１１０５は、顔の向き判定処理１１１４を実行することにより、検出された顔の構成物から顔の向きと角度を判定する。顔の向きと角度の判定は、既存のどのような方法で行ってもよい。本実施形態では、上記特許文献２，３に開示された方法を用いて、顔の向きと角度を求める。また、画像データ解析モジュール１１０５で取得した両目と口の座標をもとに、特許文献３に開示された方法を用いて顔の向きと角度を判定してもよい。

表示領域算出モジュール１１０６は、表示領域算出処理１１１５を実行することにより、画像データ解析モジュール１１０５が設定した検出顔領域と、顔の構成物の座標と、顔の角度に基づいて、表示したい顔部分の領域（顔表示領域）を算出する。出力モジュール１１０７は、顔領域表示処理１１１６を実行することにより、算出した顔表示領域を画像から切り出して顔画像表示ツールに表示する。

次に、図８の情報処理装置１１０２で実行される画像データから人物の顔部分を含む顔表示領域を切り出して表示する顔領域表示処理について説明する。

図９は、図８の情報処理装置１１０２で実行される顔領域表示処理の流れを示すフローチャートである。

図９において、ステップＳ１２０１では、入力モジュール１１０４が画像読込処理１１１０を行い、カメラ１１０１や不図示のストレージ、若しくは不図示のメディアから画像データを読み込む。次に、ステップＳ１２０２では、画像データ解析モジュール１１０５が顔検出処理１１１１により、ステップＳ１２０１で読み込んだ画像データに対して顔検出を実施する。顔検出方法はどのような方法でもよいが、画像データから両目、鼻孔や口といった顔の構成物を検出する方法が望ましい。例えば、上述の特許文献１に記載された方法が挙げられる。なお、顔検出の精度を上げるために、両耳や眉毛、鼻孔対、顔の輪郭といった構成物を検出してもよい。

次に、ステップＳ１２０３では、画像データ解析モジュール１１０５が検出顔領域設定処理１１１２により、ステップＳ１２０２で検出された顔の構成物から特定の構成物（例えば、両目と口）を含む矩形領域（検出顔領域）を設定してＲＡＭ等に保存する。本実施形態では、検出された両目と口の位置に基づいて、画像データにおける検出顔領域の矩形を設定する。また、画像データの付帯データとして検出顔情報（検出顔領域、個々の顔の構成物の座標）が保存されており、プログラム１１０３で読み込むことができる場合はこれを利用してもよい。

次に、ステップＳ１２０４では、画像データ解析モジュール１１０５が顔の構成物位置取得処理１１１３により、ステップＳ１２０２で検出された顔の構成物の位置座標を取得してＲＡＭ等に保存する。

次に、ステップＳ１２０５では、ステップＳ１２０４で取得した顔の構成物の座標に基づいて、画像データ解析モジュール１１０５が顔の向き判定処理１１１４により、顔の向きと大凡の角度を求める。例えば、図１８に示すように、カメラのレンズの中心Οを三次元空間の原点とし、ｚ軸がカメラの光軸方向、ｘ軸が左右方向、ｙ軸が上下方向とする。画像平面（撮像平面）はｘｙ平面に平行で、レンズからの距離ｄはレンズの合焦位置情報から求まる。画像の右目の座標をａ’、左目の座標をｂ’、口の座標を口の両端の点（４０７，４０６）の不図示の中間点座標をｃ’とする。このとき、三次元空間上の右目の座標ａ（ｘ１，ｙ１，ｚ１）、左目の座標ｂ（ｘ２，ｙ２，ｚ２）、口の座標ｃ（ｘ３，ｙ３，ｚ３）を、レンズから画像平面に中心投影した座標であると仮定できる。そこで、顔の構成物である右目、左目、口の三次元座標について、ユークリッド距離を既知情報として与える。人物の顔の構成物間距離は個人差があるが、ここでは統計的に求めた右目と左目の距離ｓ、右目と口及び左目と口の距離ｔを用いて、顔の大凡の角度が求まる。

次に、ステップＳ１２０６では、表示領域算出モジュール１１０６が表示領域算出処理１１１５により、検出顔領域と、顔の構成物の座標と、顔の角度に基づいて、顔画像表示ツールに表示する顔部分の領域（顔表示領域）を算出してＲＡＭ等に保存する。次に、ステップＳ１２０７では、出力モジュール１１０７が顔領域表示処理１１１６により、保存された顔表示領域の画像を顔画像表示ツールに表示する。

次に、ステップＳ１２０６における表示領域算出処理の詳細について説明する。

図１０は、図９のステップＳ１２０６における表示領域算出処理の詳細を示すフローチャートである。図１１〜図１５は、図４に示す画像３０１に対する表示領域算出処理の具体例を説明するための図である。なお、図１１〜図１５では、画像の左下が原点、図の左右方向がＸ軸、上下方向がＹ軸とする。

ステップＳ１２０６における表示領域算出処理により画像３０１から切り出して顔部分画像として表示したい顔表示領域は、図１１に示す１３０２ように、額、唇、頬の色味が確認できる矩形である。一方、ＡＦで用いられる顔検出では、目にピントを合わせることが目的であるため、図１１に示すように、右目１３０４、左目１３０５、口１３０６を含む検出顔領域１３０１がある。

しかしながら、検出顔領域１３０１をそのまま顔表示領域として使用する場合、画像上の人物の額や頬の部分がはみ出してしまうことがある。そこで、本実施形態では、検出顔領域１３０１をそのまま顔表示領域として使用するのではなく、両目や唇はもとより、額や頬の部分が含まれるように、検出顔領域１３０１を移動および拡張する。

本実施形態では、図１１に示すように、両目と口の座標が含まれる最少の矩形１３０７を一定の倍率で広げた矩形を検出顔領域１３０１としている。具体的には、両目と口の座標が含まれる最少の矩形１３０７を、両目のＸ軸方向の幅の０．７倍の長さを上下左右に拡張した矩形を検出顔領域１３０１とする。

図１０において、ステップＳ１２１０では、検出顔領域１３０１の縦方向（Ｙ軸方向）の移動量が算出される。顔における額部分の表示領域を確保するには、人物の顔の構成物の位置関係から、目と口の間の長さとほぼ同じ長さの領域を額方向（縦方向）に確保する必要がある。そこで、本実施形態では、図１２に示すように、両目（右目１３０４，左目１３０５）の座標のうちのＹ座標の高い点（左目１３０５）から、口のＹ座標までの長さ１４０３を算出する。算出した長さを目と口の間の長さとして、両目の座標のうちのＹ座標の高い点から額方向（Ｙ軸方向）に、長さ１４０３と同じ長さの表示領域を確保する。これにより、表示したい顔部分の顔表示領域１３０２の上辺として１４１１が求まる。

そして、図１４に示す検出顔領域１３０１の額方向への移動量１６０２は、以下の式で求めることができる。

座標が高い方の目のＹ座標＋（高い方の目のＹ座標−口の座標）−検出顔領域１３０１の上辺の座標
なお、ここでいう座標は、画像の左下隅を原点とする水平方向の位置を表わす。

次に、ステップＳ１２１１では、検出顔領域１３０１の横方向（Ｘ軸方向）の移動量が算出される。顔表示領域の横方向に確保する領域には、両目と頬が含まれている必要がある。そこで、顔が正面を向いている場合、検出顔領域１３０１の横幅１３２３（図１１）に対して、両目の座標からそれぞれ外側に十分な長さの領域を確保すれば、大凡表示したい顔表示領域を確保できる。

一方、図１１のように画像上の人物の顔が正面を向いておらず、左または右に向いている場合、上記方法であれば、手前側の頬が検出顔領域１３０１に含まれない状態となることがある。そこで、人物の顔が左または右に向いている場合に、手前側の頬を含む横方向（Ｘ軸方向）の表示領域を確保するには、顔の向き判定処理１１１４による人物の顔の角度を利用する。ここでは、顔の角度と手前側の頬の長さを予め統計的に求めておき、手前側の頬を表示するのに必要な領域の長さを求める方法を示す。

例えば、顔が右側を向いている場合、図１３に示すように、表示したい手前側の頬の横方向の長さを、顔の角度に応じて、手前側の目（左目１３０５）のＸ座標から横方向に確保する長さ１５０８と設定する。顔の角度毎に確保する手前側の頬の横方向の長さの比率を図１６に示す。頬の長さは、検出顔領域１３０１のサイズに比例して変化するため、図１６に示す表の第２カラムは、検出顔領域１３０１の横幅を１００とした場合の頬の長さの比率で表している。例えば、検出顔領域１３０１の横幅が１００ピクセルで、顔の角度が左右どちらかに１０度傾いている場合、手前側の頬を表示するには、２０ピクセル必要ということを意味する。

検出顔領域１３０１の右辺または左辺のＸ座標と手前側の目のＸ座標から、図１４に示す検出顔領域１３０１を横方向（Ｘ軸方向）への移動量１６０１は、以下の式で求めることができる。

手前側の目のＸ座標＋確保する頬の横方向の長さ−検出顔領域１３０１の右辺または左辺のＸ座標（手前側となる辺）
なお、ここでいう座標とは、画像の左下隅を原点とする水平方向の位置を表わす。

以上の手順で、検出顔領域１３０１のサイズを変えることなく、額と手前側の頬を表示できる位置に検出顔領域１３０１を移動することができる。しかし、検出顔領域１３０１のサイズが十分でない場合、表示領域から唇や奥側の目（右目１３０４）や頬がはみ出してしまう場合がある。

図１４の検出顔領域１３０１を移動して得た表示領域１６０３では、唇と奥側の頬がはみ出してしまっている。このような場合、検出顔領域を縦方向および横方向に拡張する拡張量を求める（図１０のステップＳ１２１２，Ｓ１２１３）。図１５に示すように、縦方向には口のＹ座標から一定の長さ１７０５、横方向には奥側の目（右目１３０４）のＸ座標から一定の長さ１７０３を、検出顔領域１３０１を移動して得た表示領域１６０３に追加して表示領域を拡張する必要がある。例えば、横方向の拡張量は、奥側の目のＸ座標から検出顔領域１３０１の外側の辺までの幅を、検出顔領域１３０１の横幅の１／５と設定すればよい。また、縦方向の拡張量は、口のＹ座標から検出顔領域１３０１の外側の辺までの幅を、検出顔領域１３０１の縦幅の１／５と設定すればよい。

なお、上述した顔表示領域の算出は、検出顔領域１３０１の上下左右方向と画像の上下左右方向とが一致している前提で説明したが、被写体となる人物が寝ころんでいる場合など、顔の上下左右が画像の上下左右と一致しない場合がある。そこで、図１７（ａ）、図１７（ｂ）に示すように９０度単位のバンドパスフィルタによる顔検出方式により、検出顔領域１３０１の傾きを検出するとよい。例えば、図１７（ｂ）に示すように顔が右に９０度傾いている場合は、顔の額方向の表示領域を算出するには、検出顔領域１３０１のＸ軸方向の移動量および拡張量を計算する。同様に、左右に傾いた顔の横方向の表示領域を算出するには、検出顔領域１３０１のＹ軸方向の移動量および拡張量を計算する。

上記第２の実施形態によれば、読み込んだ画像から人物の顔の構成物を検出し、各構成物の位置座標を取得すると共に、検出された顔の構成物から顔の特定の構成物を含む矩形の検出顔領域を設定する。そして、目と口の間の長さを求めて、検出顔領域１３０１を額方向に移動し、顔の角度を基に手前側の頬の長さを求めて、検出顔領域１３０１を横方向に移動する。さらに、検出顔領域１３０１を移動した結果、顔の構成物が表示領域からはみ出してしまった場合に、検出顔領域１３０１を縦方向及び横方向に拡張する拡張量を求める。そして、検出顔領域１３０１を移動及び拡張した表示領域を顔表示領域１３０２とする。これにより、上記第１の実施形態よりもさらにクローズアップした顔表示領域を得ることができる。

また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに保存される。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

本発明の第１の実施形態に係る画像表示装置が適用された撮像装置の構成例を示すブロック図である。 図１の撮像装置１００で実行される顔領域表示処理の流れを示すフローチャートである。 図２のステップＳ２０６における表示領域算出処理の詳細を示すフローチャートである。 撮影により得られた画像の一例を示す図である。 第１の実施形態における表示領域算出処理の概要を説明するための図である（その１）。 第１の実施形態における表示領域算出処理の概要を説明するための図である（その２）。 第１の実施形態における表示領域算出処理の概要を説明するための図である（その３）。 本発明の第２の実施形態に係る画像表示方法が適用された情報処理装置の機能的な構成例を示すブロック図である。 図８の情報処理装置１１０２で実行される顔領域表示処理の流れを示すフローチャートである。 図９のステップＳ１２０６における表示領域算出処理の詳細を示すフローチャートである。 第２の実施形態における表示領域算出処理の概要を説明するための図である（その１）。 第２の実施形態における表示領域算出処理の概要を説明するための図である（その２）。 第２の実施形態における表示領域算出処理の概要を説明するための図である（その３）。 第２の実施形態における表示領域算出処理の概要を説明するための図である（その４）。 第２の実施形態における表示領域算出処理の概要を説明するための図である（その５）。 顔の角度毎に確保する手前側の頬の横方向の長さの比率の一例を示す図である。 従来のバンドパスフィルタによる顔検出方法の一例を示す図であり、（ａ）は垂直方向、（ｂ）は水平方向を示す。 従来の三次元座標空間における顔の向きの判定方法を説明するための図である。

符号の説明

２８ 画像表示部
５０ システム制御回路
６６ 顔領域表示スイッチ
１００ 撮像装置
１５０ 顔検出部
１５２ 検出顔領域設定部
１５４ 顔の構成物の位置取得部
１５６ 顔の向き判定部
１５８ 表示領域算出部
１６０ 顔領域表示部

Claims (11)

1. 画像を読み込む画像読込手段と、
   読み込んだ画像から人物の顔の構成物を検出する顔検出手段と、
   前記顔検出手段で検出された顔の構成物から顔の特定の構成物を含む矩形領域を設定する検出顔領域設定手段と、
   前記顔検出手段で検出された顔の構成物の位置座標を取得する顔の構成物位置取得手段と、
   前記人物の顔の向きを判定する顔の向き判定手段と、
   前記設定された矩形領域と、前記取得された顔の構成物の位置座標と、前記判定された顔の向きに基づいて、前記顔の特定の構成物を含む顔部分を表示するための表示領域を算出する表示領域算出手段と、
   前記表示領域算出手段で算出された表示領域を表示する顔領域表示手段とを有することを特徴とする画像表示装置。
2. 前記表示領域算出手段は、前記取得された顔の構成物の位置関係をもとに、前記矩形領域を縦方向及び／又は横方向に拡張することで前記表示領域を算出することを特徴とする請求項１記載の画像表示装置。
3. 前記表示領域算出手段は、前記取得された顔の構成物の位置関係をもとに、前記矩形領域を縦方向及び／又は横方向に移動し、さらに、移動しただけでは前記顔の特定の構成物を含む顔部分の表示領域を得られない場合は、前記矩形領域を縦方向及び／又は横方向に拡張することを特徴とする請求項１記載の画像表示装置。
4. 前記検出顔領域設定手段は、前記顔検出手段で検出された両目と口の座標を含む矩形を検出顔領域とすることを特徴とする請求項１乃至３のいずれか１項に記載の画像表示装置。
5. 前記顔の向き判定手段は、前記人物の顔の角度を判定し、
   前記表示領域算出手段は、前記設定された矩形領域と、前記取得された顔の構成物の位置座標と、前記判定された顔の角度に基づいて、前記顔の特定の構成物を含む顔部分を表示するための表示領域を算出することを特徴とする請求項１記載の画像表示装置。
6. 画像を読み込む画像読込ステップと、
   読み込んだ画像から人物の顔の構成物を検出する顔検出ステップと、
   前記顔検出ステップで検出された顔の構成物から顔の特定の構成物を含む矩形領域を設定する検出顔領域設定ステップと、
   前記顔検出ステップで検出された顔の構成物の位置座標を取得する顔の構成物位置取得ステップと、
   前記人物の顔の向きを判定する顔の向き判定ステップと、
   前記設定された矩形領域と、前記取得された顔の構成物の位置座標と、前記判定された顔の向きに基づいて、前記顔の特定の構成物を含む顔部分を表示するための表示領域を算出する表示領域算出ステップと、
   前記表示領域算出ステップで算出された表示領域を表示する顔領域表示ステップとを有することを特徴とする画像表示方法。
7. 前記表示領域算出ステップは、前記取得された顔の構成物の位置関係をもとに、前記矩形領域を縦方向及び／又は横方向に拡張することで前記表示領域を算出することを特徴とする請求項６記載の画像表示方法。
8. 前記表示領域算出ステップは、前記取得された顔の構成物の位置関係をもとに、前記矩形領域を縦方向及び／又は横方向に移動し、さらに、移動しただけでは前記顔の特定の構成物を含む顔部分の表示領域を得られない場合は、前記矩形領域を縦方向及び／又は横方向に拡張することを特徴とする請求項６記載の画像表示方法。
9. 前記検出顔領域設定ステップは、前記顔検出ステップで検出された両目と口の座標を含む矩形を検出顔領域とすることを特徴とする請求項６乃至８のいずれか１項に記載の画像表示方法。
10. 前記顔の向き判定ステップは、前記人物の顔の角度を判定し、
    前記表示領域算出ステップは、前記設定された矩形領域と、前記取得された顔の構成物の位置座標と、前記判定された顔の角度に基づいて、前記顔の特定の構成物を含む顔部分を表示するための表示領域を算出することを特徴とする請求項６記載の画像表示方法。
11. 請求項６乃至１０のいずれか１項に記載の画像表示方法をコンピュータに実行させるためのコンピュータに読み取り可能なプログラム。

Images