JP2008033718A - 撮像装置及び部位拡大表示方法 - Google Patents

Abstract

【課題】注目したい顔の部位を自動的に拡大表示する機能を実現する。
【解決手段】撮影によって得られる撮影画像から顔領域及び顔パーツ（目など）を抽出する。そして、動きベクトルなどを参照して顔領域内での動きを検出し、その動きが顔パーツの動き（瞬きなど）であるか、或いは、化粧道具などの動きであるかを判別する。検出した動きが顔パーツの動きである判別した場合は顔領域全体を表示するが、化粧道具等の動きであると判別した場合は該動きの周辺画像を表示部に拡大表示する。
【選択図】図８

Description

本発明は、デジタルビデオカメラ等の撮像装置及び該撮像装置に用いられる部位拡大表示方法に関する。本発明は、特に、顔領域の特定部位を拡大表示する技術に関する。

電車などの車内にて、手に鏡を持ちつつ顔に化粧を施すことも多い。このような化粧を行うためには、鏡を持ち歩く必要がある。デジタルビデオカメラ等の撮像装置を所有している場合は、この撮像装置にて撮影者自身を撮影し、その撮影画像を表示画面上で確認することで、デジタルビデオカメラを鏡として利用することも可能である。

特開２００６−２６２２６号公報

目の周囲などに化粧を施す場合、その目の周囲が拡大されて表示されれば、スムーズに化粧を行うことができるが、化粧の度に画角を手動調整するのは面倒であり、また、ズームインによって画角を小さくすると、手のブレなどによって注目したい部位が撮影領域から簡単に外れてしまう、という問題がある。

尚、上記特許文献１には、撮像部を備えた化粧台が開示されている。この化粧台においても部位拡大表示が行われるが、拡大表示を行う領域を、ユーザが操作によって逐次指示してやる必要がある。

特に、化粧に着目して従来の問題点を説明したが、化粧に限らず、コンタクトレンズの装着作業、眼に入ったごみの除去作業等、顔に対する任意の作業に対して、同様の問題が発生する。

そこで本発明は、注目したい顔の部位を自動的に拡大表示する機能を備えた撮像装置及びそれに用いられる部位拡大表示方法を提供することを目的とする。

上記目的を達成するために本発明に係る撮像装置は、撮影によって得られた撮影画像を表す撮像信号を出力する撮像手段と、前記撮影画像に基づく画像を表示する表示手段と、前記撮像信号に基づいて、前記撮影画像から顔領域を認識する顔認識手段と、前記撮像信号に基づいて、前記撮影画像の前記顔領域内における動きを検出する動き検出手段と、前記顔認識手段の認識結果と前記動き検出手段の検出結果に基づいて、前記動きのある画像部位を含む、前記撮影画像の一部画像が拡大表示されるように前記表示手段を制御する拡大表示制御手段と、を備えたことを特徴とする。

化粧など、顔に対して何らかの作業を施す際、化粧道具や指先などが顔の前で動く。このような動きを検出して、その動きに対応する部位を拡大表示する。これにより、注目したい部位が自動的に拡大表示され、ユーザの利便性が向上する。

また例えば、前記動き検出手段は、前記撮影画像の前記顔領域内にて動く動物体が、顔の構成要素であるのか或いは前記構成要素と異なる非構成要素であるのかを判別し、前記拡大表示制御手段は、前記動物体が前記非構成要素であると判別された場合、前記非構成要素の周辺画像を前記一部画像として前記表示手段に拡大表示させる。

具体的には例えば、前記動き検出手段は、前記動物体の動きの方向に基づいて、前記動物体が前記構成要素であるのか或いは前記非構成要素であるのかを判別する。

尚、この判別手法に対応する実施例として、後に、第１判別手法を例示している。

また、具体的には例えば、前記動き検出手段は、前記動物体の動きが、前記構成要素の動きに対応する予め定められた特定の動きに属するかを評価することによって、前記動物体が前記構成要素であるのか或いは前記非構成要素であるのかを判別する。

また、具体的には例えば、前記動き検出手段は、前記撮影画像における、前記顔領域と前記動物体が動く領域との位置関係に基づいて、前記動物体が前記構成要素であるのか或いは前記非構成要素であるのかを判別する。

尚、これらの判別手法に対応する実施例として、後に、第２判別手法を例示している。

また、具体的には例えば、前記動き検出手段は、前記動物体の動きの頻度に基づいて、前記動物体が前記構成要素であるのか或いは前記非構成要素であるのかを判別する。

尚、この判別手法に対応する実施例として、後に、第３判別手法を例示している。

また、具体的には例えば、前記動き検出手段は、前記非構成要素が含まれない状態で撮影された前記顔領域を含む基準画像と、前記撮影画像と、の対比に基づいて、前記動物体が前記構成要素であるのか或いは前記非構成要素であるのかを判別する。

尚、この判別手法に対応する実施例として、後に、第４判別手法を例示している。

また、具体的には例えば、前記動き検出手段は、前記動物体が前記非構成要素であると判別された場合、前記非構成要素の先端の周辺画像を前記一部画像として前記表示手段に拡大表示させる。

また上記目的を達成するために本発明に係る部位拡大表示方法は、撮像手段からの撮像信号に基づいて、前記撮像信号にて表される撮影画像から顔領域を認識する顔認識ステップと、前記撮像信号に基づいて、前記撮影画像の前記顔領域内における動きを検出する動き検出ステップと、を有し、前記顔領域の認識結果と前記動きの検出結果に基づいて、前記動きのある画像部位を含む、前記撮影画像の一部画像を表示手段に拡大表示することを特徴とする。

本発明によれば、注目したい顔の部位が自動的に拡大表示される。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

後に、第１及び第２実施形態を説明するが、まず、それらに共通する内容について説明する。

図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク（音入力手段）１４と、音声信号処理部１５と、圧縮処理部１６と、内部メモリの一例としてのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７と、メモリカード１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。

撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。

ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。ＳＤＲＡＭ１７は、フレームメモリとして機能する。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）をＳＤＲＡＭ１７に記録する。

メモリカード１８は、外部記録媒体であり、例えば、ＳＤ（Secure Digital）メモリカードである。尚、本実施形態では外部記録媒体としてメモリカード１８を例示しているが、外部記録媒体を、１または複数のランダムアクセス可能な記録媒体（半導体メモリ、メモリカード、光ディスク、磁気ディスク等）で構成することができる。

図２は、図１の撮像部１１の内部構成図である。撮像部１１にカラーフィルタなどを用いることにより、撮像装置１は、撮影によってカラー画像を生成可能なように構成されている。撮像部１１は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。ドライバ３４は、ズームレンズ３０及びフォーカスレンズ３１の移動並びに絞り１２の開口量の調節を実現するためのモータ等から構成される。

被写体（撮像対象）からの入射光は、光学系３５を構成するズームレンズ３０及びフォーカスレンズ３１、並びに、絞り３２を介して撮像素子３３に入射する。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。

ＡＦＥ１２は、撮像部１１からのアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。このデジタル信号は、順次、映像信号処理部１３に送られる。尚、ＣＰＵ２３は、撮像部１１の出力信号の信号レベルに基づいて、ＡＦＥ１２における信号増幅の増幅度を調整する。

以下、撮像部１１またはＡＦＥ１２から出力される、撮影によって得られた信号（被写体に応じた信号）を、撮像信号と呼ぶ。ＴＧ２２は所定のフレーム周期にて垂直同期信号Ｖｓｙｎｃを生成し、１つのフレーム周期分の撮像信号にて１つの画像が得られる。１つのフレーム周期分の撮像信号によって表される該画像を、撮影画像と呼ぶ。フレーム周期は、例えば１／６０秒である。フレーム周期ごとに訪れる各フレームにおいて、１つの撮影画像が得られる。

映像信号処理部１３は、ＡＦＥ１２からの撮像信号に基づいて、撮像部１１の撮影によって得られる映像（即ち、撮影画像）を表す映像信号を生成し、生成した映像信号を圧縮処理部１６に送る。この際、デモザイキング処理、輪郭強調処理などの必要な映像処理も施される。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。

マイク１４は、外部から与えられた音声（音）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。

圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画撮影時において、圧縮された映像信号はメモリカード１８に送られる。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード１８に送られる。

録画ボタン２６ａは、ユーザが動画（動画像）の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、ユーザが静止画（静止画像）の撮影を指示するための押しボタンスイッチである。録画ボタン２６ａに対する操作に従って動画撮影の開始及び終了が実施され、シャッタボタン２６ｂに対する操作に従って静止画撮影が実施される。フレーム周期にて順次取得される撮影画像の集まり（ストリーム画像）が、動画を構成する。

撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード１８に格納された動画または静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。

撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介してメモリカード１８に記録される。つまり、音声信号と共に、各フレームの撮影画像が順次メモリカード１８に格納される。動画撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード１８への記録は終了し、１つの動画の撮影は完了する。

また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影が行われる。具体的には、ＣＰＵ２３の制御の下、その押下直後の１つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部１６を介してメモリカード１８に記録される。動画の撮影中に静止画を同時撮影することも可能であり、この場合、同一のフレームの撮像信号から、動画用の画像と静止画用の画像が生成される。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。また、撮影モードにおいては、通常、動画または静止画を撮影しているか否かに拘らず、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。

映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。即ち、表示部２７は、撮像部１１から現在出力されている撮像信号に基づく画像（現在の被写体を表す画像）、または、メモリカード１８に記録されている動画（動画像）若しくは静止画（静止画像）を、表示する。

また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。

＜＜第１実施形態＞＞
次に、撮像装置１の特徴的な機能である自動拡大表示機能を、第１実施形態として説明する。自動拡大表示機能は、撮影モードにおいて、操作部２６への操作等に従って、実行される。但し、この機能を実行時においては、映像信号のメモリカード１８への記録は省略されうる。

自動拡大表示機能では、撮影領域内に含まれる人物の顔が動画として捉えられ、顔の一部などが表示部２７に拡大表示される。自動拡大表示機能は、表示部２７を鏡として利用する場合などに用いられ、表示部２７を鏡と見立てた上で化粧をする場合などに特に有効に機能する。

図３に、撮像装置１の概略的な外観図を示す。撮影者自身を撮影している状態で撮影者が表示部２７の表示内容を確認できるように、表示部２７と撮像部１１の配置関係は調整可能となっている。図３において、図１と同一の部分には同一の符号を付してある。図３は、撮像装置１が携帯電話機としても利用できることを表している。或いは、撮像装置１が携帯電話機に搭載されている、と考えてもよい。

自動拡大表示機能を実現するための機能ブロック図を図４に示す。自動拡大表示機能は、図４の画像拡大処理部４０によって実現される。画像拡大処理部４０は、撮像信号を参照して撮影画像内に含まれる顔領域及び顔パーツ（目など）を認識する認識処理部４１と、認識処理部４１による認識処理に用いられるデータを記憶する認識用データ記憶部４２と、撮像信号を参照して撮影画像内の動きを検出する動き検出部４３と、認識処理部４１の認識結果と動き検出部４３の検出結果を参照しつつ、撮影信号によって表される撮影画像から表示部２７に表示されるべき表示用出力画像（以下、単に出力画像という）を生成して出力する出力画像生成部４４と、を備える。動き検出部４３は、更に、動物体判別部４５を備える。

出力画像生成部４４にて生成される上記出力画像を表す映像信号は、図１の映像出力回路２０に与えられ、該出力画像は表示部２７に表示される。つまり、自動拡大表示機能の実行時においては、出力画像生成部４４の出力画像が、表示部２７の表示画面上に表示される表示画像となる。出力画像生成部４４の出力画像を表す映像信号は、通常、メモリカード１８に記録されない（記録することも可能）。

画像拡大処理部４０を構成する各部位は、例えば、映像信号処理部１３によって或いは映像信号処理部１３とＣＰＵ２３の組み合わせによって実現される。但し、認識用データ記憶部４２は、映像信号処理部１３の内部又は外部に設けられたメモリによって実現される。

［図５：動作フローチャート］
図５は、図４の画像拡大処理部４０の動作を表すフローチャートである。自動拡大表示機能を実行する前に、撮影者としての被写体（人物）の顔全体が撮影部１１によって撮影されるようにしておく。そして、図３に示す如く、被写体を撮影している状態で該被写体が表示部２７の表示内容を確認できるように、表示部２７と撮像部１１の配置関係を調整しておく。この状態は、通常、自動拡大表示機能の実行終了時点まで維持される。

図１の操作キー２６ｃの操作などに従って自動拡大表示機能が有効になると、まず、ステップＳ１１〜Ｓ１４から成る登録処理が行われる。この登録処理は、図４の認識処理部４１によって実行される。

ステップＳ１１の処理は、例えば、自動拡大表示機能の実行開始後においてシャッタボタン２６ｂが押下された時点で実行される。ステップＳ１１では、現フレームの撮像信号に基づく撮影画像が図４の画像拡大処理部４０に入力される。この撮影画像内には、撮影者としての被写体（顔全体）が含まれることになる。

続いてステップＳ１２において、ステップＳ１１にて入力された撮影画像内に含まれる被写体の顔領域を抽出及び認識する。

具体的には例えば、図４の認識用データ記憶部４２に記憶された顔辞書に含まれる顔パターンと、顔領域を含む撮影画像との間のパターンマッチングにより、認識処理部４１が撮影画像に含まれる顔領域を認識して抽出する。顔辞書には、正面から見た顔を画像として表現した複数の顔パターンが、予めデータとして格納されている。顔辞書は、正面から見た複数の顔の画像を学習することにより、予め作成される。パターンマッチングは、周知の技術的内容であるため、ここでの詳細な説明は割愛する。

尚、顔領域の抽出及び認識する手法として、他の任意の手法を用いることも可能である。例えば、肌色に分類される領域を抽出することによって顔領域を抽出するようにしてもよいし、撮影画像から人の顔の輪郭を抽出して、顔領域を認識するようにしてもよい。

ステップＳ１２に続くステップＳ１３では、ステップＳ１２で抽出された顔領域内における顔パーツを抽出及び認識する。顔パーツとは、目、鼻、眉、唇、頬などの顔の構成要素である。唇を、口と捉えてもよい。

具体的には例えば、図４の認識用データ記憶部４２に記憶された顔パーツ辞書に含まれる顔パーツパターンと、顔領域及び顔パーツを含む撮影画像との間のパターンマッチングにより、認識処理部４１が撮影画像に含まれる各顔パーツ（例えば、左目、右目、鼻、眉、唇、頬のそれぞれ）を認識して抽出する。顔パーツを唇とした場合、顔パーツ辞書には、唇を画像として表現した複数の顔パーツパターン（唇パターン）が、予めデータとして格納されている。顔パーツ辞書は、複数の唇の画像を学習することにより、予め作成される。唇以外の顔パーツについても同様である。

尚、顔パーツの抽出及び認識する手法として、他の任意の手法を用いることも可能である。例えば、目、眉、唇などは、それらと顔領域との位置関係を考慮して、撮像信号の色情報を用いれば、比較的容易に抽出可能である。

ステップＳ１３に続くステップＳ１４では、ステップＳ１２に抽出された顔領域を複数の領域に分割する。

図６（ａ）及び（ｂ）を参照して、ステップＳ１４における分割手法例を説明する。図６（ａ）において、符号１０１が付された四角枠は、着目した撮影画像の全体を表しており、符合１０２が付された四角枠は、この撮影画像において抽出された顔領域を表している。図６（ａ）に示す例では、顔領域１０２が行列状に配列された複数の分割領域にて分割される。図６（ｂ）は、顔領域１０２の各分割領域に参照符号を付した図であり、図面の煩雑化防止のため顔の図示を省略している。図６（ａ）及び（ｂ）は、顔領域を５×４の分割領域で分割した場合を例示している。

着目した撮影画像の顔領域１０２において、分割領域の配列を５行４列の行列として捉え、各分割領域をＡＲ［ｉ，ｊ］で表す。ここで、ｉは、顔領域１０２内における分割領域の垂直位置（上下位置）を表し、１〜５の間の各整数をとる。ｊは、顔領域１０２内における分割領域の水平位置（左右位置）を表し、１〜４の間の各整数をとる。

認識された顔領域及び各顔パーツの画像上の位置を特定する情報を参照し、各顔パーツが何れかの分割領域に含まれるように、顔領域１０２を分割する。図６（ａ）及び（ｂ）に示す例の場合、左目及び左眉は分割領域ＡＲ［２，２］に含まれ、右目及び右眉は分割領域ＡＲ［２，３］に含まれる。但し、図６（ａ）及び（ｂ）に示す例の場合、唇や鼻などは複数の分割領域にまたがって存在することになる。

尚、唇や鼻なども１つの分割領域内に収まるように、顔領域１０２を分割しても構わない。また、上述の例では、左目と左眉を含む分割領域ＡＲ［２，２］のように、１つの分割領域に複数の顔パーツが含まれうるが、各分割領域に１つの顔パーツのみが含まれるようにしても構わない。

ステップＳ１４において、顔領域１０２の画像上の位置との関係における各分割領域の画像上の位置が特定され、さらに、各顔パーツが何れの分割領域に含まれているかが特定される。これらの特定された内容を表す情報（以下、「位置関係情報」という）は、ステップＳ１４以降の処理にて参照される。

ステップＳ１４を終えると登録処理が完了してステップ２１に移行する。その後は、自動拡大表示機能の実行が終了するまで、ステップＳ２１〜Ｓ２７から成るループ処理が繰り返し実行される。このループ処理は、ステップＳ１１〜Ｓ１４から成る登録処理の後のフレームにおいて、例えば１フレームにつき１回実行される。

ステップＳ２２の処理は図４の認識処理部４１によって実行され、ステップＳ２３〜Ｓ２５の処理は動き検出部４３によって実行され、ステップＳ２６の処理は、主として出力画像生成部４４及び図１の表示部２７によって実行される。ステップＳ２４における判別処理は、特に、図４の動物体判別部４５によって実行される。ステップＳ２２〜Ｓ２５の処理によって認識された結果及び検出された結果などは、出力画像生成部４４に伝達され、出力画像生成部４４による出力画像の生成にそれらは利用される。

ステップＳ２１では、現フレームの撮像信号に基づく撮影画像が図４の画像拡大処理部に入力される。この撮影画像内には、撮影者としての被写体（顔全体）が含まれることになる。

続いてステップＳ２２では、ステップＳ１２における処理と同様の処理を用いて、ステップＳ２１にて入力された撮影画像内に含まれる被写体の顔領域を抽出及び認識する。同時に、ステップ１４で特定された上記の位置関係情報に基づき、ステップＳ２２で抽出された顔領域の分割領域ＡＲ［ｉ，ｊ］の画像上の位置も特定され、各顔パーツが何れの分割領域ＡＲ［ｉ，ｊ］に含まれるかも特定される。

ステップＳ１１とステップＳ２１にて入力された撮影画像が全く同じ場合、それらの撮影画像内の顔領域も全く同じとなり、顔領域との関係における分割領域ＡＲ［ｉ，ｊ］の大きさ及び位置も両撮影画像間で同じとなる。撮影画像において、顔領域が全体的に移動すれば分割領域ＡＲ［ｉ，ｊ］もそれに追従して移動し、顔領域の大きさが変化すれば、その変化に追従して分割領域ＡＲ［ｉ，ｊ］の大きさも変化する。例えば、被写体の顔が撮像装置１から遠ざかれば、通常、撮影画像における顔領域の大きさは小さくなるが、その場合、撮影画像における各分割領域ＡＲ［ｉ，ｊ］の大きさも顔領域の縮小比率と同じ比率にて縮小される。

続いてステップＳ２３では、ステップＳ２２にて抽出された顔領域内における動きが検出される。例えば、隣接するフレームの撮影画像間の対比に基づき、周知の代表点マッチング法を用いて、顔領域内の動きに対応する動きベクトルを検出する。この動きベクトルの向き及び大きさは、隣接するフレームの撮影画像間における、動物体の動きの向き及び大きさを表す。従って、ステップＳ２３では、顔領域内の動物体の動きの向き及び大きさが検出される。

後述の説明から明らかとなるが、自動拡大表示機能を利用し、例えば表示部２７を鏡と見立てて化粧を施す場合、顔領域内で動く化粧道具の周辺画像が拡大表示される。化粧を施す際、口紅などの化粧道具が画像上で動き、この化粧道具が画像上の動物体として捉えられることになる。しかしながら、瞬き等により顔パーツも動物体として捉えられうる。

そこで、ステップＳ２３に続くステップＳ２４では、ステップＳ２３で検出された動物体が顔パーツであるかを判別する。つまり、撮影画像の顔領域内にて検出された動きが、瞬き等の顔パーツの動きであるのか、或いは、化粧道具等の顔パーツ以外の動きであるのかを判別する。この判別手法については後に詳説する。

ステップＳ２３にて検出された動物体の動きが顔パーツによるものと判断された場合は、ステップＳ２２で抽出された顔領域の全体が表示部２７に表示されるように、図４の出力画像生成部４４は撮影画像から出力画像を生成する。そして、ステップＳ２１に戻る（ステップＳ２４のＹ）。一方、ステップＳ２３にて検出された動物体の動きが顔パーツ以外の動物体によるものと判断された場合はステップＳ２５に移行する（ステップＳ２４のＮ）。

ステップＳ２５では、ステップＳ２３にて検出された動物体の先端の、画像上の位置が検出される。例えば、眉毛を書く化粧を施す場合、図７（ａ）に示す如く、アイブロウペンシルを実際の眉毛に沿って滑るように移動させる。図７（ａ）又は（ｂ）において、符号１２０が付された四角枠は、ステップＳ２１にて入力された或る撮影画像を表し、符号１２１は、その撮影画像上のアイブロウペンシルを表す。この場合、アイブロウペンシル１２１が眉毛に沿って移動することによって、アイブロウペンシル１２１の位置に対応する画像領域１２２に、その移動に応じた動き成分が生じる。図７（ｂ）は、その動き成分に応じた動きベクトルを例示している。

ステップＳ２３にて検出された動きベクトルなどを参照することによって、画像領域１２２及び該画像領域１２２の先端１２３を容易に検出することができる。但し、ここにおける先端１２３は、顔領域内における動物体（画像領域１２２に対応）の先端を表す。図７（ｂ）は、図示の簡略化上、符号１２３が付された先端の反対側にも動物体の先端が存在しているかのような図になっているが、実際には、そこにアイブロウペンシル１２１と同期して動く手が存在するため、画像上では先端は１つとなる。尚、隣接するフレームの撮影画像間の差分画像を参照することによっても、先端１２３は検出可能である。

ステップＳ２５に続くステップＳ２６では、ステップＳ２５にて検出された、動物体の先端の周辺画像を表示部２７に拡大表示する。

具体的には、ステップＳ２５にて検出された先端の画像上の位置と、ステップ２２で抽出された顔領域の画像上の位置とを参照して、その先端が属する分割領域を特定する。例えば、図７（ａ）及び（ｂ）に示す例の場合、先端１２３は左眉上にあるため、先端１２３は分割領域ＡＲ［２，２］に属すると判断される（図６（ａ）及び（ｂ）参照）。この場合、図８に示す如く撮影画像１２０の顔領域における分割領域ＡＲ［２，２］を拡大した画像が表示部２７に表示されるように、図４の出力画像生成部４４が撮影画像から出力画像（表示用出力画像）を生成する。その出力画像を表す映像信号は映像出力回路２０に送られる。この出力画像は、分割領域ＡＲ［２，２］に対応する、撮影画像の一部画像を拡大した画像であり、アイブロウペンシル１２１の先端の周辺画像を拡大した画像である。図８の符号１３０は、出力画像生成部４４の出力画像を表すと共に表示部２７の表示画像を表す。尚、図８において、矢印１３１はアイブロウペンシル１２１の動きを示す。

尚、検出された動物体の先端が分割領域ＡＲ［４，２］に属する場合は、上述と同様に、分割領域ＡＲ［４，２］の拡大画像を表示部２７に表示されるようにしてもよいが、分割領域ＡＲ［４，２］とＡＲ［４，３］とを含む画像の拡大画像を表示部２７に表示するようにしてもよい。唇（口）は、分割領域ＡＲ［４，２］とＡＲ［４，３］にまたがって存在しているからである。

また、動物体の先端を中心とする所定画像サイズの一部画像を撮影画像から切り出し、その一部画像を所定倍率にて拡大して得られる画像を、出力画像としてもよい。前記の「所定画像サイズ」を適切に設定すれば、これによっても、注目したい部位が表示部２７に拡大表示される。

ステップＳ２６の処理を終えるとステップＳ２７に移行し、操作キー２６ｃに対する操作等によって自動拡大表示機能の実行終了が指示されたかが確認される。自動拡大表示機能の実行終了の指示があった場合は（ステップＳ２７のＹ）、自動拡大表示機能の動作は終了するが、その指示がない場合は（ステップＳ２７のＮ）、ステップＳ２１に戻ってステップＳ２１〜Ｓ２７から成るループ処理が繰り返される。

次に、図５のステップＳ２４にて行われる判別処理の手法について説明する。この手法として、以下に第１〜第４判別手法を例示する。第１〜第４判別手法は、矛盾なき限り、任意に組み合わせ可能である。各判別手法を実施する場合において、必要であれば、ステップＳ２２において、顔領域を抽出すると共にステップＳ１３の処理と同様の手法を用いて顔パーツを抽出するようにしてもよい。この顔パーツの抽出に関する情報は、適宜、ステップＳ２４の判別処理に利用される。

尚、以下の第１〜第４判別手法の説明において、上下左右の言葉を用いる。この上下左右は、顔領域との関係における方向を表し、上下は、唇と眉間を結ぶ方向を意味し、左右は左目と右目を結ぶ方向を意味する。上述のステップＳ２２（図５参照）において、顔領域が認識されると同時に顔領域との関係における方向（上下左右）も認識される。また、以下の説明において、動きベクトルに関する説明を行うことがあるが、動きベクトルとして、上述のステップＳ２３にて検出される動きベクトルを利用可能である。また、以下の説明において、動物体とは、上述のステップＳ２３にて検出された、撮影画像の顔領域内における動物体を指すものとする。

［第１判別手法］
まず、第１判別手法について説明する。顔パーツの動きは、瞬きや口の開閉のように、概ね上下方向の動きである。一方において、アイブロウペンシルを用いて眉毛を書く動き、口紅を唇に塗る動き、アイシャドウを塗る動き、パフを用いて化粧溶液を頬に塗る動きなど、化粧道具を用いた化粧の動作は、概ね左右方向の動き或るいは左右方向の動き成分を多く含んだ動きである。

これに着目し、第１判別手法では、動物体の動きの方向に基づいて、動物体が顔パーツであるか否かを判別する。

具体的には、動物体の動きベクトルを参照し、その動きベクトルを、上下方向の動き成分を表す上下ベクトルと、左右方向の動き成分を表す左右ベクトルと、に分解する。そして、左右ベクトルの大きさが所定の大きさ閾値以下である場合、その動物体は顔パーツであると判断し、そうでない場合は顔パーツ以外の動物体であると判断する。

［第２判別手法］
次に、第２判別手法について説明する。

図９は、各顔パーツの特有の動きを示した表である。目は、特有の動きとして瞬きを行う。瞬きをする際、目の両端はあまり動かないが、目の中央部は上下方向に比較的大きく動く。唇（口）は、口の開閉に伴う特有の動きをとる。口を開閉する際、上唇及び下唇の両端はあまり動かないが、上唇及び下唇の中央部は上下方向に比較的大きく動く。眉、鼻及び頬は、通常、殆ど動かないという特徴を有する。

第２判別手法では、上記の如く顔パーツの動きが或る程度定まっていることを考慮して、動物体が顔パーツであるか否かを判別する。

具体的な処理例を説明する。瞬きについて考える。図１０に、目が瞬きする際の目の様子及びそれに対応する動きベクトルの様子を示す。瞬きに伴ってまぶたが閉じる際、瞳とまぶたの境界の動きベクトルは目の内側を向き、その動きベクトルの大きさは目の両端付近で比較的小さく目の中央付近で比較的大きくなる。瞬きに伴ってまぶたが開く際、瞳とまぶたの境界の動きベクトルは目の外側を向き、その動きベクトルの大きさは目の両端付近で比較的小さく目の中央付近で比較的大きくなる。

このような瞬きの動きの特徴を、顔パーツ動き辞書にデータとして格納しておく。この顔パーツ動き辞書は、図４の動き検出部４３が参照可能なように、例えば画像拡大処理部４０に設けられる。上述の説明からも明らかな様に、顔領域のどの分割領域ＡＲ［ｉ，ｊ］に何れの顔パーツが存在しているかを、動物体判別部４５は認識できる。例えば左目は分割領域ＡＲ［２，２］に存在していると認識できる。

動物体判別部４５は、分割領域ＡＲ［２，２］に動きが検出された際、動きベクトルの向き及び大きさを参照しつつ、その動きの特徴を表す特徴量と、顔パーツ動き辞書にデータとして格納されている瞬きの特徴量との類似性を評価する。そして、両者の類似性が高い場合は、その動きが瞬きという動きに属すると判断して、分割領域ＡＲ［２，２］における動物体が顔パーツであると判断する。両者の類似性が低い場合は、分割領域ＡＲ［２，２］における動物体が顔パーツ以外の動物体であると判断する。尚、この判断の精度を上げるために必要であれば、ステップＳ２２において、顔領域を抽出すると共にステップＳ１３と同様の顔パーツの抽出を行い、その抽出結果を利用するようにしてもよい。口の周辺の動きについても、同様にして、動物体の分類が可能である。

また、目に関しては、瞬きに伴って瞳が隠れるため、撮影画像の色情報を参照することで容易に動きが瞬きによるものか、それ以外に由来するものかを判別可能である。具体的には、目が存在する分割領域ＡＲ［２，２］又はＡＲ［２，３］の色信号（色差信号など）を参照すればよい。

他方、眉、鼻及び頬に関しては、瞬きのような動きは想定されないので、眉、鼻又は頬付近で動きが検出されれば、その動きは、顔パーツ以外の動物体によるものと推測可能である。但し、この推測を行うためには、先にステップＳ２５による動物体の先端の検出を行う必要がある。

例えば、検出された動物体の先端が、左頬のみが含まれる分割領域ＡＲ［３，１］に属する場合は、その動物体は顔パーツ以外の動物体であると判断する。そして、ステップＳ２６に移行して、分割領域ＡＲ［３，１］を拡大表示するようにする。また、分割領域ＡＲ［２，２］の上方は左眉が存在していることがステップＳ１３の顔パーツ抽出で分かっているので、分割領域ＡＲ［２，２］の上方に動物体の先端が検出されれば、その動物体は顔パーツ以外の動物体であると判断する。そして、ステップＳ２６に移行し、分割領域ＡＲ［２，２］を拡大表示するようにする。右頬、右眉、鼻についても同様である。

このように、眉、鼻及び頬に関しては、顔パーツ動き辞書のようなものを参照するまでもなく、撮影画像における、抽出された顔領域と動物体の動く領域（動物体の先端）との位置関係を評価することによって、動物体が顔パーツであるか否かを判別可能である。尚、この評価も、直接的ではないが、動物体の動きが顔パーツの特有の動きに属するかを評価していることになる（眉等に関しては、特有の動きがないと仮定して評価が行われることになる）。

［第３判別手法］
次に、第３判別手法について説明する。瞬きなどの顔パーツの動きは繰り返し運動ではあるが、その発生間隔は比較的長い（例えば、５秒に１回など）。一方、化粧道具等の動きの発生間隔は比較的短い（例えば、１秒に３回など）。

これを考慮し、第３判別手法では、動物体の動きの頻度に基づいて、動物体が顔パーツであるか否かを判別する。

この判別を行うためには、過去のステップＳ２３の動き検出結果を参照する必要がある。例えば、現フレームにて検出された動きベクトルと、現フレームを基準とした過去の（ｎ−１）フレーム分の動きベクトルとを参照する（ｎは整数）。つまり、上記の判別を行うために、ｎフレーム分の動きベクトルを参照する。そして、目又は唇の周辺の動きについてのｎフレーム分の動きベクトルの内、所定の閾値以上の大きさを有する動きベクトルの個数を計数する。この個数が所定の個数閾値以下である場合は、目又は唇の周辺の動きに由来する動物体は顔パーツであると判断し、そうでない場合は顔パーツ以外の動物体であると判断する。尚、この手法は、眉、鼻及び頬についても適用可能である。

［第４判別手法］
次に、第４判別手法について説明する。顔の前に化粧道具などを当てると、画像上では、当然、その化粧道具に遮蔽されて顔領域の一部が見えなくなる。このため、そのような遮蔽のない画像を用意しておけば、化粧道具などが顔領域に入ってきたかを容易に判別可能である。

第４判別手法では、上記のような遮蔽のない状態で顔全体を撮影した画像（以下、基準画像という）が必要である。この基準画像として、例えば図５のステップＳ１１で取得された撮影画像を利用可能である。そして、基準画像から抽出された顔領域の画像と、ステップＳ２１にて取得された撮影画像から抽出された顔領域の画像と、を比較する。例えば、両顔領域の画像間の差分画像を生成し、該差分画像で遮蔽状態を評価すればよい。

撮影画像の顔領域の一部が何らかの物体にて遮蔽されている場合は、その遮蔽に関与する動きは顔パーツ以外の動物体によるものと判断できる。例えば、撮影画像の顔領域の顎の一部及び唇の一部が何らかの物体で遮蔽されている場合、その遮蔽に関与する動きは顔パーツ以外の動物体（例えば口紅と口紅を持つ手）によるものと判断できる。但し、比較される２つの顔領域の画像の対比において、目の画像部位にのみ差異がある場合や口の画像部位にのみ差異がある場合、その差異は、顔パーツの動きに由来するものと判断する（前者は瞬きに対応し、後者は口の開閉に対応する）。

本実施形態のような自動拡大表示機能を利用すれば、顔領域内の動きのある部位、即ち化粧などを施している注目部位が自動的に拡大表示されるため、化粧などをスムーズに行うことが可能となる。特に化粧に関する説明を行ったが、コンタクトレンズの装着作業、眼に入ったごみの除去作業等、顔に対する任意の作業に対して、自動拡大表示機能は効果的に作用する。

＜＜第２実施形態＞＞
次に、撮像装置１に装備可能な拡大表示機能を、第２実施形態として説明する。第２実施形態に係る拡大表示機能は、図４の画像拡大処理部４０の機能を利用して実現される。第１実施形態に記述した事項は、矛盾なき限り、第２実施形態にも適用される。拡大表示機能は、撮影モードにおいて、操作部２６への操作等に従って、実行される。但し、この機能を実行時においては、映像信号のメモリカード１８への記録は省略されうる。

拡大表示機能の実行時においても、第１実施形態に係る自動拡大表示機能と同様、撮影領域内に含まれる人物の顔が動画として捉えられ、顔の一部が表示部２７に拡大表示される。但し、この拡大表示は、図１の操作部２６等に対する操作に従って行われる。

図１１に、拡大表示機能の実行時における撮像装置１の概略的な外観図を示す。拡大表示機能を実行する際、撮影者としての被写体（人物）の顔全体が撮影部１１によって撮影されるようにしておく。

図１の操作部２６は複数のキーを備えており、それらを第１、第２、・・・第ｋ指定キー（ｋは整数）と呼ぶ。そして、各指定キーには、顔パーツの何れかが予め対応付けられている。例えば、第１指定キーには左目が対応付けられ、第２指定キーには右目が対応付けられ、第３指定キーには唇が対応付けられている。他の指定キーについても同様である。

拡大表示機能を実行すると、被写体の顔領域が動画として撮影され、図１１（ａ）に示す如く、その顔領域を表す画像が表示部２７の表示画面上に表示される。この際、撮影画像から顔領域を抽出して、顔領域の拡大画像を表示画面上に表示するとよい。

そして、撮像装置１は、何れかの指定キーに対するユーザからの操作（押下）を待ち受ける。例えば、第１指定キーが押下された場合、第１指定キーに対応付けられた左目を拡大指定パーツとして特定する。その後は、次々と得られる撮影画像から、顔領域と拡大指定パーツ（今の場合、左目）を抽出する。この抽出の手法は、図５のステップＳ１２及びＳ１３における手法と同様である。そして、拡大指定パーツが動画として表示部２７に拡大表示されるように、図４の出力画像生成部４４が、順次取得される撮影画像から拡大指定パーツを含む一部画像を切り出し、その一部画像を表す映像信号を、順次、映像出力回路２０に供給する。これにより、図１１（ｂ）に示すような画像が動画として表示される。

また、表示部２７にタッチパネルとしての機能を持たせ、タッチパネルの機能を用いて拡大指定パーツの指定を行っても良い。この場合、表示部２７は、指が触れられた表示画面上の位置を検出する機能を備える。以下に、この場合の処理を説明する。図１２は、タッチパネルを利用して拡大表示機能を実行した際の表示画面の遷移を示す図である。

拡大表示機能を実行すると、被写体の顔領域が動画として撮影され、図１１（ａ）に示す如く、その顔領域を表す画像が表示部２７の表示画面上に表示される。拡大表示機能の実行時において、図５のステップＳ１２及びＳ１３における手法と同様の手法を用いて、各撮影画像から顔領域及び顔パーツを抽出する。図４の出力画像生成部４４は、抽出した顔領域の拡大画像が表示部２７の表示画面上に表示されるように出力画像を生成して出力する。

表示部２７は、指が触れられた表示画面上の位置を検出し、その位置を特定する位置情報を図４の出力画像生成部４４に送る。出力画像生成部４４は、受け取った位置情報に基づいて、表示された顔のどの部分に指が触れられたかを検出し、その指が触れられた部分に対応する顔パーツを拡大指定パーツとして特定する。例えば、指が触れられた部分が左目の表示領域内であれば或いは左目に近い所定の表示領域内であれば、左目が拡大指定パーツとして特定される。出力画像生成部４４は、表示部２７に表示される画像を生成しており、その画像において、どの部分に各顔パーツが存在しているかを認識しているため、表示部２７からの位置情報に基づいて拡大指定パーツを特定することが可能である。

この後は、この拡大指定パーツが動画として表示部２７に拡大表示されるように、図４の出力画像生成部４４が、順次取得される撮影画像から拡大指定パーツを含む一部画像を切り出し、その一部画像を表す映像信号を、順次、映像出力回路２０に供給する。

本実施形態のような拡大表示機能を利用することによっても、注目したい部位が拡大して表示されるため、化粧などをスムーズに行うことが可能となる。また、化粧に限らず、顔の一部を拡大して見たい要求に対して、拡大表示機能は効果的に作用する。

尚、上記の特許文献１に記載の、撮像部を備えた化粧台においても、ユーザからの操作に従った部位拡大表示が行われる。しかしながら、この化粧台では、部位拡大表示をするためにマウスなどを操作して拡大したいエリアを囲む等の操作が必要となる。本実施形態に係る拡大表示機能では、顔パーツ抽出を利用していることに由来して、簡単な操作で顔パーツを拡大表示することが可能である。

＜＜変形等＞＞
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図４の画像拡大処理部４０の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像拡大処理部４０にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

図４の出力画像生成部４４は、拡大表示制御手段として機能する。この拡大表示制御手段に、図１の映像出力回路２０が含まれていると考えても構わない。

本発明の実施の形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部ブロック図である。 図１の撮像装置の概略的な外観図である。 図１の撮像装置に係る、画像拡大処理部の機能ブロック図である。 本発明の第１実施形態に係る自動拡大表示機能の動作フローチャートである。 図４の画像拡大処理部にて実行される、顔領域の分割の様子を示す図である。 図４の動き検出部による、動物体の先端の検出動作を説明するための図である。 図４の画像拡大処理部を用いた自動拡大表示機能によって得られる拡大表示の状態を表す図である。 図４の動物体判別部の機能を説明するための図であり、目などの顔パーツの特有の動きを表として表した図である。 図４の動物体判別部の機能を説明するための図であり、目の瞬きに関連する動きベクトルの状態を表す図である。 本発明の第２実施形態に係る拡大表示機能に関する、表示画面の遷移状態を表す図である。 本発明の第２実施形態に係る拡大表示機能に関する、表示画面の遷移状態を表す図である。

符号の説明

１ 撮像装置
１１ 撮像部
１３ 映像信号処理部
２６ 操作部
２７ 表示部
４０ 画像拡大処理部
４１ 認識処理部
４２ 認識用データ記憶部
４３ 動き検出部
４４ 出力画像生成部
４５ 動物体判別部

Claims (9)

1. 撮影によって得られた撮影画像を表す撮像信号を出力する撮像手段と、
   前記撮影画像に基づく画像を表示する表示手段と、
   前記撮像信号に基づいて、前記撮影画像から顔領域を認識する顔認識手段と、
   前記撮像信号に基づいて、前記撮影画像の前記顔領域内における動きを検出する動き検出手段と、
   前記顔認識手段の認識結果と前記動き検出手段の検出結果に基づいて、前記動きのある画像部位を含む、前記撮影画像の一部画像が拡大表示されるように前記表示手段を制御する拡大表示制御手段と、を備えた
   ことを特徴とする撮像装置。
2. 前記動き検出手段は、前記撮影画像の前記顔領域内にて動く動物体が、顔の構成要素であるのか或いは前記構成要素と異なる非構成要素であるのかを判別し、
   前記拡大表示制御手段は、前記動物体が前記非構成要素であると判別された場合、前記非構成要素の周辺画像を前記一部画像として前記表示手段に拡大表示させる
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記動き検出手段は、前記動物体の動きの方向に基づいて、
   前記動物体が前記構成要素であるのか或いは前記非構成要素であるのかを判別する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記動き検出手段は、前記動物体の動きが、前記構成要素の動きに対応する予め定められた特定の動きに属するかを評価することによって、
   前記動物体が前記構成要素であるのか或いは前記非構成要素であるのかを判別する
   ことを特徴とする請求項２に記載の撮像装置。
5. 前記動き検出手段は、前記撮影画像における、前記顔領域と前記動物体が動く領域との位置関係に基づいて、
   前記動物体が前記構成要素であるのか或いは前記非構成要素であるのかを判別する
   ことを特徴とする請求項２に記載の撮像装置。
6. 前記動き検出手段は、前記動物体の動きの頻度に基づいて、
   前記動物体が前記構成要素であるのか或いは前記非構成要素であるのかを判別する
   ことを特徴とする請求項２に記載の撮像装置。
7. 前記動き検出手段は、前記非構成要素が含まれない状態で撮影された前記顔領域を含む基準画像と、前記撮影画像と、の対比に基づいて、
   前記動物体が前記構成要素であるのか或いは前記非構成要素であるのかを判別する
   ことを特徴とする請求項２に記載の撮像装置。
8. 前記動き検出手段は、前記動物体が前記非構成要素であると判別された場合、前記非構成要素の先端の周辺画像を前記一部画像として前記表示手段に拡大表示させる
   ことを特徴とする請求項２〜請求項７に記載の撮像装置。
9. 撮像手段からの撮像信号に基づいて、前記撮像信号にて表される撮影画像から顔領域を認識する顔認識ステップと、
   前記撮像信号に基づいて、前記撮影画像の前記顔領域内における動きを検出する動き検出ステップと、を有し、
   前記顔領域の認識結果と前記動きの検出結果に基づいて、前記動きのある画像部位を含む、前記撮影画像の一部画像を表示手段に拡大表示する
   ことを特徴とする部位拡大表示方法。

Images