JP2008035332A - 撮像装置及び出力画像生成方法 - Google Patents

Abstract

【課題】撮像装置との関係において被写体が動くことに由来して発生する諸問題を解決する。
【解決手段】撮像装置は、撮影によって得られた撮影画像から出力画像を生成し、その出力画像を表示部の表示画面上に表示する。撮像装置は、撮影画像内に含まれる特定被写体（人の顔領域や、目などの顔の構成要素）を認識する認識処理部を備える。その認識結果を参照して、各撮影画像における特定被写体の大きさを評価する。評価した大きさが比較的大きければ、撮影画像から出力画像を生成する際の倍率を比較的小さくし、評価した大きさが比較的小さければ、撮影画像から出力画像を生成する際の倍率を比較的大きくする。これによって、出力画像における特定被写体の大きさを概ね一定に保つ。
【選択図】図１５

Description

本発明は、デジタルビデオカメラ等の撮像装置及び該撮像装置に用いられる出力画像生成方法に関する。

電車などの車内にて、手に鏡を持ちつつ顔に化粧を施すことも多い。このような化粧を行うためには、鏡を持ち歩く必要がある。デジタルビデオカメラ等の撮像装置を所有している場合は、この撮像装置にて撮影者自身を撮影し、その撮影画像を表示画面上で確認することで、デジタルビデオカメラを鏡として利用することも可能である。

しかしながら、単純に撮影画像を表示画面上に表示した場合は、通常の鏡と同様、表示画面上の被写体が電車の揺れなどに連動して変化してしまうといったこともあり、より利便性の高い機能を有した撮像装置が求められている。

また、撮像装置を用いて遠くから近づいてくる被写体を動画撮影する場合、撮影しながらズーム倍率などを手動で調整しなければ、被写体が撮影領域からはみ出してしまう、という問題がある。この手動による調整を行う際、撮像装置がぶれて撮影画像が乱れたり、被写体を見失ってしまったりすることも多い。

特開２００６−２６２２６号公報

これらの問題は、何れも、撮像装置との関係において被写体が動くことに由来して発生する。動画撮影において被写体が動くのは、通常のことであるので、このような問題を撮像装置側で解決するような技術が切望されている。

そこで本発明は、撮像装置との関係において被写体が動くことに由来して発生する諸問題の解決に寄与する撮像装置及び該撮像装置に用いられる出力画像生成方法を提供することを目的とする。

上記目的を達成するために本発明に係る撮像装置は、次々と撮影を行って、撮影によって得られた撮影画像を表す撮像信号を順次出力する撮像手段と、前記撮像信号を受け、次々と得られる前記撮影画像から次々と出力画像を生成して出力する画像出力手段と、を備え、前記画像出力手段は、前記撮像信号に基づいて前記撮影画像内に含まれる特定被写体を認識する認識手段を備え、前記認識手段の認識結果に基づきつつ、実空間における前記特定被写体と前記撮像手段との距離の変化に起因する、前記出力画像における前記特定被写体の大きさの変化を低減する変化低減処理を実行可能に形成されていることを特徴とする。

実空間における被写体と撮像手段との距離が変化すれば、通常、撮影画像における被写体の大きさも変化する。これに対して何ら補正を施さなければ、撮影画像から得られる出力画像における被写体の大きさも変化する。この変化は、出力画像が表示された表示画面を鏡と見立てて化粧する場合や、遠くから近づいてくる被写体を撮影し続ける場合などに対して、悪い影響を与えうる。これを考慮して、撮像装置を上記の如く構成する。これにより、これらの悪い影響の軽減効果が期待できる。

具体的には例えば、当該撮像装置は、前記画像出力手段からの前記出力画像を表示する表示手段を更に備え、前記画像出力手段が前記変化低減処理を実行することにより、前記距離の変化に起因する、前記表示手段の表示画面上における前記特定被写体の大きさの変化が低減される。

また具体的には例えば、前記画像出力手段は、前記認識手段の認識結果に基づいて、前記撮影画像における前記特定被写体の大きさ、または、前記特定被写体の動きに連動して動く、前記撮影画像における関連被写体の大きさ、を評価し、その評価した大きさに基づいて前記変化低減処理を実行する。

そして例えば、前記画像出力手段は、所定の上限大きさと、前記特定被写体または前記関連被写体の、前記撮影画像における大きさと、を比較し、後者が前者より大きい場合に前記変化低減処理の実行を禁止して、前記出力画像における前記特定被写体の大きさを拡大させる。

また例えば、前記画像出力手段は、所定の下限大きさと、前記特定被写体または前記関連被写体の、前記撮影画像における大きさと、を比較し、後者が前者より小さい場合に前記変化低減処理の実行を禁止して、前記出力画像における前記特定被写体の大きさを縮小させる。

例えば、特定被写体としての顔や目などに着目した画像を出力画像として生成し、該出力画像を表示手段の表示画面に表示するようにした場合、上記の変化低減処理は、表示画面を鏡と見立てて化粧などを実施するユーザに対して高い利便性を供与しうる。しかしながら、常に上記の変化低減処理を実行するようにすると、顔や目などをより拡大して見たい場合や、上半身全体を見たい場合などに対応できない。

一方において、撮影画像における被写体の大きさは、実空間における被写体と撮像手段との距離に依存して変化する。また、鏡を見る人物は、通常、像を拡大して見たい時には鏡に近づき、像を縮小して見たい時には鏡から離れる。そして、撮像装置の表示画面は鏡として機能する。これらの関係を考慮し、撮影画像における特定被写体の大きさ等に基づいて、変化低減処理の実行可否を決定するようにする。そして、上記のような処理を行う。これにより、被写体の意図に沿った処理が実施可能となる。

また例えば、前記画像出力手段は、前記認識手段の認識結果に基づいて、前記撮影画像における前記特定被写体の大きさの変化状態、または、前記特定被写体の動きに連動して動く、前記撮影画像における関連被写体の大きさの変化状態、を評価し、その評価結果に基づいて、前記変化低減処理の実行可否を決定するようにしてもよい。

また例えば、前記画像出力手段は、前記認識手段の認識結果に基づいて、前記撮影画像における前記特定被写体の、その特定被写体の中心に対する動きの向きの変化状態、または、前記特定被写体の動きに連動して動く、前記撮影画像における関連被写体の、その関連被写体の中心に対する動きの向きの変化状態、を評価し、その評価結果に基づいて、前記変化低減処理の実行可否を決定するようにしてもよい。

これらによっても、被写体の意図に沿った処理が実施可能となる。

また例えば、前記画像出力手段は、前記変化低減処理の実行時において、前記距離の変化に起因して、前記撮影画像における前記特定被写体の大きさが変化したとき、前記認識手段の認識結果に基づきつつ、その変化の後において、前記撮像手段による撮影の画角を制御することにより、その変化に起因する、前記出力画像における前記特定被写体の大きさの変化を低減する。

上記目的を達成するために本発明に係る出力画像生成方法は、撮影によって得られた撮影画像を表す撮像信号を撮像手段から受け、次々と得られる前記撮影画像から次々と出力画像を生成して出力する出力画像生成方法であって、前記撮像信号に基づいて前記撮影画像内に含まれる特定被写体を認識する認識ステップと、前記認識ステップによる認識結果に基づきつつ、実空間における前記特定被写体と前記撮像手段との距離の変化に起因する、前記出力画像における前記特定被写体の大きさの変化を低減する変化低減ステップと、を有することを特徴とする。

本発明は、撮像装置との関係において被写体が動くことに由来して発生する諸問題の解決に寄与する。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

後に、第１及び第２実施形態を説明するが、まず、それらに共通する内容について説明する。

図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク（音入力手段）１４と、音声信号処理部１５と、圧縮処理部１６と、内部メモリの一例としてのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７と、メモリカード１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。

撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。

ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。ＳＤＲＡＭ１７は、フレームメモリとして機能する。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）をＳＤＲＡＭ１７に記録する。

メモリカード１８は、外部記録媒体であり、例えば、ＳＤ（Secure Digital）メモリカードである。尚、本実施形態では外部記録媒体としてメモリカード１８を例示しているが、外部記録媒体を、１または複数のランダムアクセス可能な記録媒体（半導体メモリ、メモリカード、光ディスク、磁気ディスク等）で構成することができる。

図２は、図１の撮像部１１の内部構成図である。撮像部１１にカラーフィルタなどを用いることにより、撮像装置１は、撮影によってカラー画像を生成可能なように構成されている。撮像部１１は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。ドライバ３４は、ズームレンズ３０及びフォーカスレンズ３１の移動並びに絞り１２の開口量の調節を実現するためのモータ等から構成される。

被写体（撮像対象）からの入射光は、光学系３５を構成するズームレンズ３０及びフォーカスレンズ３１、並びに、絞り３２を介して撮像素子３３に入射する。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。

ＡＦＥ１２は、撮像部１１からのアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。このデジタル信号は、順次、映像信号処理部１３に送られる。尚、ＣＰＵ２３は、撮像部１１の出力信号の信号レベルに基づいて、ＡＦＥ１２における信号増幅の増幅度を調整する。

以下、撮像部１１またはＡＦＥ１２から出力される、撮影によって得られた信号（被写体に応じた信号）を、撮像信号と呼ぶ。ＴＧ２２は所定のフレーム周期にて垂直同期信号Ｖｓｙｎｃを生成し、１つのフレーム周期分の撮像信号にて１つの画像が得られる。１つのフレーム周期分の撮像信号によって表される該画像を、撮影画像と呼ぶ。フレーム周期は、例えば１／６０秒である。フレーム周期ごとに訪れる各フレームにおいて、１つの撮影画像が得られる。

映像信号処理部１３は、ＡＦＥ１２からの撮像信号に基づいて、撮像部１１の撮影によって得られる映像（即ち、撮影画像）を表す映像信号を生成し、生成した映像信号を圧縮処理部１６に送る。この際、デモザイキング処理、輪郭強調処理などの必要な映像処理も施される。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。

マイク１４は、外部から与えられた音声（音）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。

圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画撮影時において、圧縮された映像信号はメモリカード１８に送られる。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード１８に送られる。

録画ボタン２６ａは、ユーザが動画（動画像）の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、ユーザが静止画（静止画像）の撮影を指示するための押しボタンスイッチである。録画ボタン２６ａに対する操作に従って動画撮影の開始及び終了が実施され、シャッタボタン２６ｂに対する操作に従って静止画撮影が実施される。フレーム周期にて順次取得される撮影画像の集まり（ストリーム画像）が、動画を構成する。

撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード１８に格納された動画または静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。

撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介してメモリカード１８に記録される。つまり、音声信号と共に、各フレームの撮影画像が順次メモリカード１８に格納される。動画撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード１８への記録は終了し、１つの動画の撮影は完了する。

また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影が行われる。具体的には、ＣＰＵ２３の制御の下、その押下直後の１つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部１６を介してメモリカード１８に記録される。動画の撮影中に静止画を同時撮影することも可能であり、この場合、同一のフレームの撮像信号から、動画用の画像と静止画用の画像が生成される。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。また、撮影モードにおいては、通常、動画または静止画を撮影しているか否かに拘らず、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。

映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。即ち、表示部２７は、撮像部１１から現在出力されている撮像信号に基づく画像（現在の被写体を表す画像）、または、メモリカード１８に記録されている動画（動画像）若しくは静止画（静止画像）を、表示する。

また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。

また、ＣＰＵ２３は、図２のドライバ３４を介してズームレンズ３０を光軸に沿って移動させることにより、撮像部１１による撮影の画角を変更する（換言すれば、撮像素子３３の撮像面上に形成される被写体の像を拡大または縮小する）。この画角の変更は、操作キー２６ｃに対する所定の操作に従って、或いは、後述の第２実施形態で説明するように自動的に行われる。

＜＜第１実施形態＞＞
次に、撮像装置１の特徴的な機能について説明する。この機能を、サイズ調整機能と呼ぶ。まず、サイズ調整機能の第１実施形態について説明する。サイズ調整機能は、撮影モードにおいて、操作部２６への操作等に従って、実行される。

サイズ調整機能では、撮影領域内に含まれる人物の顔全体又は顔のパーツ（目や口など）が動画として捉えられ、それらが表示部２７に拡大表示される。この際、注目した特定部位の表示画面上における大きさが変化しないようにする処理なども適宜実施される。サイズ調整機能は、表示部２７を鏡として利用する場合などに用いられ、表示部２７を鏡と見立てた上で化粧をする場合などに特に有効に機能する。

図３に、撮像装置１の概略的な外観図を示す。撮影者自身を撮影している状態で撮影者が表示部２７の表示内容を確認できるように、表示部２７と撮像部１１の配置関係は調整可能となっている。図３において、図１と同一の部位には同一の符号を付してある。図３は、撮像装置１が携帯電話機としても利用できることを表している。或いは、撮像装置１が携帯電話機に搭載されている、と考えてもよい。

サイズ調整機能を実現するための機能ブロック図を図４に示す。サイズ調整機能は、撮像信号を参照して撮影画像内に含まれる特定の被写体を認識する認識処理部４１と、認識処理部４１の認識結果を参照しつつ、撮像信号に基づいて撮影画像から出力画像を生成して出力する出力画像生成部４３と、認識処理部４１による認識処理に用いられるデータを記憶する認識用データ記憶部４２と、を用いて実現され、それらから構成される部位を、被写体サイズ調整部（画像出力手段）４０と呼ぶ。出力画像生成部４３にて生成される上記出力画像を表す映像信号は、メモリカード１８に記録されうる（記録を省略することも可能）。

認識処理部４１は、例えば、主として映像信号処理部１３とＣＰＵ２３によって実現される。認識用データ記憶部４２は、映像信号処理部１３の内部又は外部に設けられたメモリによって実現される。出力画像生成部４３は、例えば、主として映像信号処理部１３とＣＰＵ２３によって実現される。

［図５：概略フローチャート］
図５は、図４の被写体サイズ調整部４０の動作を表す概略フローチャートである。サイズ調整機能を実行する前に、撮影者としての被写体（人物）の顔全体が撮影部１１によって撮影されるようにしておく。そして、図３に示す如く、被写体を撮影している状態で該被写体が表示部２７の表示内容を確認できるように、表示部２７と撮像部１１の配置関係を調整しておく。この状態は、通常、サイズ調整機能の実行終了時点まで維持される。

図１の操作キー２６ｃの操作などに従ってサイズ調整機能が有効になると、まず、ステップＳ１にて、登録処理が行われる。ステップＳ１では、拡大表示を行う特定部位（目など）に関する登録処理などが行われる。

ステップＳ１を終えるとステップＳ２に移行する。ステップＳ２では、ステップＳ１以降の撮影画像から特定部位を抽出する抽出処理が行われる。ステップＳ２に続くステップＳ３では、特定部位を含む画像を出力する画像出力処理が行われる。ステップＳ３を終えるとステップＳ４に移行し、操作キー２６ｃなどに対する操作によってサイズ調整機能の実行終了が指示されたかが確認される。サイズ調整機能の実行終了の指示があった場合は（ステップＳ４のＹ）、サイズ調整機能の動作は終了するが、その指示がない場合は（ステップＳ４のＮ）、ステップＳ２に戻ってステップＳ２及びＳ３から成るループ処理が繰り返される。このループ処理は、例えば、１つのフレームについて１回実行される。

［登録処理］
図６は、図５のステップＳ１にて実行される登録処理の詳細な動作の流れを表す詳細フローチャートである。図５のステップＳ１は、ステップＳ１００〜Ｓ１０６にて形成され、ステップＳ１０６の処理を終えると、図５のステップＳ２に移行する。

ステップＳ１に移行すると、まず、ステップＳ１００の処理が実行される。ステップＳ１００の処理は、例えば、サイズ調整機能の実行開始後においてシャッタボタン２６ｂが押下された時点で実行される。ステップＳ１００では、現フレームの撮像信号に基づく撮影画像が図４の被写体サイズ調整部４０に入力される。この撮影画像内には、撮影者としての被写体（顔全体）が含まれることになる。

続いてステップＳ１０１において、ステップＳ１００にて入力された撮影画像内に含まれる被写体の顔領域を抽出及び認識する。

具体的には例えば、図４の認識用データ記憶部４２に記憶された顔辞書に含まれる顔パターンと、顔領域を含む撮影画像との間のパターンマッチングにより、認識処理部４１が撮影画像に含まれる顔領域を認識して抽出する。顔辞書には、正面から見た顔を画像として表現した複数の顔パターンが、予めデータとして格納されている。顔辞書は、正面から見た複数の顔の画像を学習することにより、予め作成される。パターンマッチングは、周知の技術的内容であるため、ここでの詳細な説明は割愛する。

尚、顔領域の抽出及び認識する手法として、他の任意の手法を用いることも可能である。例えば、肌色に分類される領域を抽出することによって顔領域を抽出するようにしてもよいし、撮影画像から人の顔の輪郭を抽出して、顔領域を認識するようにしてもよい。

ステップＳ１０１に続くステップＳ１０２では、ステップＳ１０１で抽出された顔領域内における顔パーツを抽出及び認識する。顔パーツとは、目、鼻、眉、唇、頬などの顔の構成要素である。唇を、口と捉えてもよい。

具体的には例えば、図４の認識用データ記憶部４２に記憶された顔パーツ辞書に含まれる顔パーツパターンと、顔領域及び顔パーツを含む撮影画像との間のパターンマッチングにより、認識処理部４１が撮影画像に含まれる各顔パーツ（例えば、左目、右目、鼻、眉、唇、頬のそれぞれ）を認識して抽出する。顔パーツを唇とした場合、顔パーツ辞書には、唇を画像として表現した複数の顔パーツパターン（唇パターン）が、予めデータとして格納されている。顔パーツ辞書は、複数の唇の画像を学習することにより、予め作成される。唇以外の顔パーツについても同様である。

尚、顔パーツの抽出及び認識する手法として、他の任意の手法を用いることも可能である。例えば、目、眉、唇などは、それらと顔領域との位置関係を考慮して、撮像信号の色情報を用いれば、比較的容易に抽出可能である。

ステップＳ１０２に続くステップＳ１０３では、表示部２７において拡大表示されるべき特定部位を設定する。特定部位は、例えば、顔領域の全体、または、ステップＳ１０２で抽出及び認識されうる何れかの顔パーツである。ここで設定された特定部位を、以下、特定部位α（特定被写体）とよぶ。特定部位αの設定は、例えば、操作キー２６ｃに対するキー操作などに従って行われる。或いは、表示部２７をタッチパネルとして機能させようにし、そのタッチパネルに対する操作に従って特定部位αの設定を行う。例えば、左目が表示された部位に触れた場合は、左目を特定部位αとして設定する。

尚、ステップＳ１０３の処理は、ステップＳ１０１及びＳ１０２の前に実行するようにしても良い。

ステップＳ１０３に続くステップＳ１０４において、図４の出力画像生成部４３は、特定部位αのサイズを算出する。ステップＳ１０４にて算出された特定部位αのサイズは、基準サイズとして他の処理にて参照される。

特定部位αが顔領域の全体である場合は、ステップＳ１０１にて抽出された顔領域の撮影画像内における位置を特定する情報に基づいて、その顔領域のサイズ（即ち、特定部位αのサイズ）を算出する。特定部位αが何れかの顔パーツである場合は、ステップＳ１０２にて抽出された顔パーツの撮影画像内における位置を特定する情報に基づいて、その顔パーツのサイズ（即ち、特定部位αのサイズ）を算出する。

例えば、図７に示す撮影画像が得られた場合を考える。図７において、符号１０１が付された四角枠内は撮影画像の全体画像を表す。符号１０２は、抽出された顔領域を表し、符号１０３は、抽出された顔パーツの１つとしての左目の領域を表す。符合１０２ａは、顔領域１０２に外接する矩形、即ち、顔領域１０２を囲む最小の矩形を表す。符合１０３ａは、左目の領域１０３に外接する矩形、即ち、左目の領域１０３を囲む最小の矩形を表す。尚、図示の簡略化上、図７等の、人物の顔又は顔パーツを表す図面において、顔に関連する部位以外の図示を省略しており、また、便宜上、紙面左側が顔の左側に対応するものとする。

そして、特定部位αが顔領域の全体である場合は、矩形１０２ａのサイズを、特定部位αのサイズとする。また、特定部位αが左目である場合は、矩形１０３ａのサイズを、特定部位αのサイズとする。矩形１０２ａ（又は１０３ａ）のサイズは、撮影画像において矩形１０２ａ（又は１０３ａ）を形成する画素数（画素の総数）によって表される。

ステップＳ１０４に続くステップＳ１０５において、図４の出力画像生成部４３は、図１の表示部２７の表示画面サイズとステップＳ１０４で算出された特定部位αのサイズから、特定部位αを表示部２７の表示画面上に表示する際の表示倍率を算出する。ステップＳ１０５にて算出された表示倍率は、基準表示倍率として他の処理にて参照される。

そして、ステップＳ１０６において、出力画像生成部４３は、その表示倍率に従って画像サイズを調整した、特定部位αを含む画像を被写体サイズ調整部４０の出力画像として出力する。この出力画像を表す映像信号は、映像出力回路２０を介して表示部２７に与えられ、該出力画像が表示部２７の表示画面上で表示される。

図８（ａ）及び（ｂ）並びに図９を参照してステップＳ１０５及びＳ１０６の処理内容について補足説明する。図８（ａ）及び（ｂ）において、Ｄ_Wは、表示部２７の表示画面の全体領域を表しており、Ｄ₁は、その全体領域Ｄ_Wの中央付近に位置する、表示画面の一部領域を表している。図９において、図７と同一の部分には同一の符号を付してある。

特定部位αが図９の符号１０２に対応する顔領域の全体である場合、ステップＳ１０６の処理によって表示画面上の表示内容は、図８（ａ）のようになる。即ち、図９の撮影画像における矩形１０２ａ内の画像が、一部領域Ｄ₁の全体を使って表示されるように、表示倍率が設定される。この場合、具体的な処理としては、図４の出力画像生成部４３は、設定された表示倍率に応じた画像サイズを有する図９の一部画像１０２ｂ（一部画像１０２ｂは矩形１０２ａを含む）を撮影画像の全体画像１０１から切り出し、この一部画像１０２ｂを表示倍率に応じて拡大して出力画像を生成する。これにより、一部画像１０２ｂは、表示画面の全体領域Ｄ_Wを使って表示されることになる。

特定部位αが図９の符号１０３に対応する左目である場合、ステップＳ１０６の処理によって表示画面上の表示内容は、図８（ｂ）のようになる。即ち、図９の撮影画像における矩形１０３ａ内の画像が、一部領域Ｄ₁の全体を使って表示されるように、表示倍率が設定される。この場合、具体的な処理としては、図４の出力画像生成部４３は、設定された表示倍率に応じた画像サイズを有する図９の一部画像１０３ｂ（一部画像１０３ｂは矩形１０３ａを含む）を撮影画像の全体画像１０１から切り出し、この一部画像１０３ｂを表示倍率に応じて拡大して出力画像を生成する。これにより、一部画像１０３ｂは、表示画面の全体領域Ｄ_Wを使って表示されることになる。

尚、或る画像に関し、表示倍率が増大するにつれて、その画像の表示画面上での表示サイズは増大するものとする。また、切り出される一部画像１０２ｂ又は１０３ｂの縦横比と撮影画像の全体画像１０１の縦横比は、例えば同じとされる。

［抽出処理］
図１０は、図５のステップＳ２にて実行される抽出処理の詳細な動作の流れを表す詳細フローチャートである。ステップＳ２の処理は、主として、図４の認識処理部４１によって実行される。但し、ステップＳ２０４の処理は出力画像生成部４３によって実行される。図５のステップＳ２は、ステップＳ２００〜Ｓ２０２及びＳ２０４にて形成され、ステップＳ２０４の処理を終えると、図５のステップＳ３に移行する。

ステップＳ２に移行すると、まず、ステップＳ２００の処理が実行される。ステップＳ２００では、現フレームの撮像信号に基づく撮影画像が図４の被写体サイズ調整部４０に入力される。この撮影画像内には、撮影者としての被写体が含まれることになる。

続いてステップＳ２０１では、図６のステップＳ１０１における処理と同様の処理を用いて、ステップＳ２００にて入力された撮影画像内に含まれる被写体の顔領域を抽出及び認識する。

続いてステップＳ２０２では、ステップＳ２００にて入力された撮影画像から特定部位αを抽出及び認識する。特定部位αが顔領域の全体である場合は、ステップＳ２０１の処理にて特定部位αの抽出が完了する。特定部位αが顔パーツである場合は、図６のステップＳ１０２における処理と同様の処理を用いて、特定部位αを抽出する。

ステップＳ２０２の処理を終えるとステップＳ２０４に移行する。ステップＳ２０４では、ステップＳ２０２で抽出された特定部位αのサイズを、図６のステップＳ１０４における処理と同様の処理を用いて、算出する。このサイズは、ステップＳ１０４にて説明したように、撮影画像内におけるサイズである。

［画像出力処理］
図１１は、図５のステップＳ３にて実行される画像出力処理の詳細な動作の流れを表す詳細フローチャートである。ステップＳ３の処理は、出力画像生成部４３によって実行される。図５のステップＳ３は、ステップＳ３００〜Ｓ３０７にて形成される。

ステップＳ３に移行すると、まず、ステップＳ３００の処理が実行される。ステップＳ３００では、直前のステップＳ２０４の処理によって算出された特定部位αのサイズ（このサイズを、Ａ_Sとおく）が一定範囲内にあるかを判断する。具体的には、下記式（１）が成立するか否かが判断される。
Ａ_REF＋ΔＡ₁≧Ａ_S≧Ａ_REF−ΔＡ₂ ・・・（１）

ここで、Ａ_REFは、図６のステップＳ１０４にて算出された特定部位αの基準サイズを表し、ΔＡ₁及びΔＡ₂は、正の値を有する。従って、（Ａ_REF＋ΔＡ₁）は、基準サイズよりも大きな上限サイズを表し、（Ａ_REF−ΔＡ₂）は、基準サイズよりも小さな下限サイズを表す。

ステップＳ３００において、式（１）が成立する場合は、ステップＳ３０１に移行し、基準サイズＡ_REFとの対比における、サイズＡ_Sを評価する。

サイズＡ_Sが基準サイズＡ_REFと同じ（或いは実質的に同じ）である場合は、ステップＳ３０３に移行して、図６のステップＳ１０５にて算出した基準表示倍率を表示倍率として算出する。そして、出力画像生成部４３は、最新の撮影画像における特定部位αを含む一部画像を該表示倍率（＝基準表示倍率）に従って拡大した画像を、出力画像として出力する。これにより、表示画面上における特定部位αのサイズ（大きさ）は、図６のステップＳ１０６の表示におけるそれと同等となる。この場合における出力画像は、ステップＳ１０６にて切り出される一部画像（１０２ｂ、１０３ｂなど）と同じ画像サイズを有する一部画像（切り出し画像）を、基準表示倍率にて拡大したものとなる。

サイズＡ_Sが基準サイズＡ_REFよりも小さい場合は、ステップＳ３０２に移行して、表示画面上における特定部位αのサイズ（大きさ）が図６のステップＳ１０６の表示におけるそれと同等となるように、基準表示倍率よりも大きな表示倍率を算出する。そして、出力画像生成部４３は、最新の撮影画像における特定部位αを含む一部画像を該表示倍率（＞基準表示倍率）に従って拡大した画像を、出力画像として出力する。これにより、表示画面上における特定部位αのサイズ（大きさ）は、図６のステップＳ１０６の表示におけるそれと同等となる。この場合における出力画像は、ステップＳ１０６にて切り出される一部画像（１０２ｂ、１０３ｂなど）よりも小さな画像サイズを有する一部画像（切り出し画像）を、基準表示倍率よりも大きな表示倍率にて拡大したものとなる。

サイズＡ_Sが基準サイズＡ_REFよりも大きい場合は、ステップＳ３０４に移行して、表示画面上における特定部位αのサイズ（大きさ）が図６のステップＳ１０６の表示におけるそれと同等となるように、基準表示倍率よりも小さな表示倍率を算出する。そして、出力画像生成部４３は、最新の撮影画像における特定部位αを含む一部画像を該表示倍率（＜基準表示倍率）に従って拡大した画像を、出力画像として出力する。これにより、表示画面上における特定部位αのサイズ（大きさ）は、図６のステップＳ１０６の表示におけるそれと同等となる。この場合における出力画像は、図ステップＳ１０６にて切り出される一部画像（１０２ｂ、１０３ｂなど）よりも大きな画像サイズを有する一部画像（切り出し画像）を、基準表示倍率よりも小さい表示倍率にて拡大したものとなる。

撮像装置１のよる撮影の画角が固定されている状態において、撮影画像内に捉えられる人物と撮像装置１（撮像部１１）との実空間における距離Ｄが変化すると、撮影画像内における該人物の顔領域及び顔パーツの大きさが変化する（図１２参照）。従って、仮に表示倍率を固定とすれば、距離Ｄの変化によって表示画面上での特定部位αの大きさが変化してしまい、表示画面を参照して化粧などする場合などに不都合である。しかしながら、図１１のステップＳ３０１〜Ｓ３０４から成る処理（変化低減処理）を実行するようにすれば、被写体のブレなどで距離Ｄの変化しても、表示画面上での特定部位αの大きさが概ね一定に保たれ、表示画面を参照しての化粧などをスムーズに行うことができる。被写体のブレは、例えば、撮像装置１を持つ手のブレや顔のブレ又は体の揺れなどである。

ステップＳ３００において、上記の式（１）が不成立であった場合は、ステップＳ３０５に移行し、サイズＡ_Sが上限サイズ（Ａ_REF＋ΔＡ₁）よりも大きいかを判断する。サイズＡ_Sは撮影画像内における特定部位αのサイズであるから、被写体としての人物が撮像装置１側に近づくと（即ち距離Ｄが短くなると）サイズＡ_Sは増大し、遠ざかると（即ち距離Ｄが長くなると）サイズＡ_Sは減少する。

サイズＡ_Sが上限サイズ（Ａ_REF＋ΔＡ₁）よりも大きい場合は、ステップＳ３０６に移行して、表示画面上における特定部位αのサイズ（大きさ）が図６のステップＳ１０６の表示におけるそれよりも大きくなるように、表示倍率を算出する。例えば、この表示倍率を基準表示倍率又はそれ以上とする。そして、出力画像生成部４３は、特定部位αを含む一部画像をその表示倍率に従って拡大した画像を出力画像として出力する。

ステップＳ３０６に至る場合は、距離Ｄが短くなって撮影画像内における特定部位αのサイズＡ_Sが大きくなっている。このため、例えば基準表示倍率を用いても、表示画面上における特定部位αのサイズは、図１３（ａ）に示す如く、図６のステップＳ１０６の表示（図８（ｂ）参照）におけるそれよりも大きくなる。

サイズＡ_Sが上限サイズ（Ａ_REF＋ΔＡ₁）よりも小さい場合は、ステップＳ３０７に移行する。ステップＳ３００の判断結果と併せて考えると、サイズＡ_Sが下限サイズ（Ａ_REF−ΔＡ₂）よりも小さい場合はステップＳ３０７に移行する、ということになる。ステップＳ３０７では、表示画面上における特定部位αのサイズ（大きさ）が図６のステップＳ１０６の表示におけるそれよりも小さくなるように、表示倍率を算出する。例えば、この表示倍率を基準表示倍率又はそれ以下とする。そして、出力画像生成部４３は、特定部位αを含む一部画像をその表示倍率に従って拡大した画像を出力画像として出力する。

ステップＳ３０７に至る場合は、距離Ｄが長くなって撮影画像内における特定部位αのサイズＡ_Sが小さくなっている。このため、例えば基準表示倍率を用いても、表示画面上における特定部位αのサイズは、図１３（ｂ）に示す如く、図６のステップＳ１０６の表示（図８（ｂ）参照）におけるそれよりも小さくなる。尚、図１３（ａ）及び（ｂ）は、特定部位αが左目である場合の表示画面例である。図１３（ｂ）は、表示倍率が小さいために、顔領域の全体が表示されている場合を示している。ステップＳ３０７において、表示部２７の表示画面上に撮影画像の全体を表示するようにしてもよい。

ステップＳ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０６及びＳ３０７の何れかの処理を終えるとステップＳ３の画像出力処理を終了し、図５のステップＳ４に移行する。図１２に、距離Ｄとの関係における、ステップＳ３の画像出力処理の概略内容を示す。

ステップＳ３０１〜Ｓ３０４から成る処理（変化低減処理）にて、或る程度の距離Ｄの変化に対する表示画面上での特定部位αの大きさの変化は抑制され、上述のような効果が奏される。しかしながら、特定部位αを特に注目して見たい場合などにおいては、被写体としての人物は、通常、鏡と見立てた表示部２７に顔を近づける。このような場合、ステップＳ３０６の処理が実行され、特定部位αが図１３（ａ）のように拡大表示される。つまり、ユーザの意図に合致した表示が行われる。

一方、目の周辺を化粧などしている状態において、顔全体を確認したくなった場合、被写体としての人物は、通常、鏡と見立てた表示部２７から顔を遠ざける。このような場合、ステップＳ３０７の処理が実行され、図１３（ｂ）のように、特定部位αを含む比較的大きな実空間領域の画像が表示される。つまり、ユーザの意図に合致した表示が行われる。

［分岐判断変形例］
図１１に対応する上述の画像出力処理は、特定部位αのサイズを評価することによって、出力画像の生成に関する分岐判断を行っている。しかしながら、特定部位αとは異なる部位のサイズを評価することによって、その分岐判断を行うようにしても良い。このような分岐判断を、分岐判断変形例として説明する。

特定部位αとは異なる部位を、以下、関連部位β（関連被写体）と呼ぶ。関連部位βは、特定部位αと同様、顔領域の全体、または、ステップＳ１０２及びステップＳ２０２（図６及び図１０参照）で抽出及び認識されうる何れかの顔パーツである。例えば、特定部位αが左目であれば、関連部位βは、顔領域の全体、または、左目以外の何れかの顔パーツである。

分岐判断変形例を採用する場合、図６のステップＳ１０４において、ステップＳ１００にて取得した撮影画像における関連部位βのサイズを基準サイズＢ_REFとして算出しておくと共に、図１０のステップＳ２０４において、ステップＳ２００にて取得した撮影画像における関連部位βのサイズをサイズＢ_Sとして算出するようにする。関連部位βのサイズの算出法は、特定部位αのサイズの算出法と同様である。

そして、この場合、ステップＳ３００にて、下記式（２）が成立するか否かを判断する。ここで、ΔＢ₁及びΔＢ₂は、正の値を有する。
Ｂ_REF＋ΔＢ₁≧Ｂ_S≧Ｂ_REF−ΔＢ₂ ・・・（２）

式（２）が成立する場合において、サイズＢ_Sが基準サイズＢ_REFと同じ（或いは実質的に同じ）である場合はステップＳ３０３の処理を実行し、サイズＢ_Sが基準サイズＢ_REFよりも小さい場合はステップＳ３０２の処理を実行し、サイズＢ_Sが基準サイズＢ_REFよりも大きい場合はステップＳ３０４の処理を実行するようにする。式（２）が不成立の場合において、サイズＢ_Sが上限サイズ（Ｂ_REF＋ΔＢ₁）よりも大きい場合はステップＳ３０６の処理を実行し、そうでない場合はステップＳ３０７の処理を実行するようにする。

関連部位βは、当然の如く、実空間においても撮影画像内においても、特定部位αの動きに連動して動く。距離Ｄが長くなって、撮影画像内における特定部位αのサイズが小さくなれば、それに連動して撮影画像内における関連部位βのサイズも小さくなるし、距離Ｄが短くなって、撮影画像内における特定部位αのサイズが大きくなれば、それに連動して撮影画像内における関連部位βのサイズも大きくなる。従って、分岐判断変形例のように処理しても、上述と同様の作用が得られる。

次に、図５のステップＳ３の画像出力処理についての他の処理例として、第１、第２及び第３変形処理例を説明する。第１、第２又は第３変形処理例は、図１１に示す処理の代わりに実施されうる。第１、第２及び第３変形処理例の夫々に対して、上記の分岐判断変形例は適用可能である。第１、第２及び第３変形処理例は、図４の出力画像生成部４３によって実行される。この際、図４の認識処理部４１による認識結果が参照される。

［第１変形処理例］
まず、第１変形処理例について説明する。第１変形処理例においては、撮影画像内における特定部位αのサイズ（大きさ）の変化状態、または、撮影画像内における関連部位βのサイズ（大きさ）の変化状態に基づいて、図１１のステップＳ３０１〜Ｓ３０４に対応するような処理（変化低減処理）の実行可否を判断する。撮影画像内において、特定部位αのサイズと関連部位βのサイズは同じように変化するため、この判断を両者のどちらに基づいて行っても構わない。

記述の簡略化上、特定部位αと関連部位βの内、特定部位αに着目して、以下の第１変形処理例の説明を行う。関連部位βを用いて第１変形処理例を行う場合は、特定部位α、サイズＡ_S及び基準サイズＡ_REFを、必要な部分だけ、夫々、特定部位β、サイズＢ_S及び基準サイズＢ_REFに読み替えればよい。

図１４（ａ）及び（ｂ）において、折れ線１５１及び１５２は、ステップＳ２の抽出処理で算出される特定部位αのサイズＡ_Sの時間変化を表している。図１４（ａ）及び（ｂ）の夫々において、横軸は時間、縦軸は算出されるサイズＡ_Sを表しており、縦軸の上方はサイズＡ_Sが小さくなる方向に対応している。図１４（ａ）及び（ｂ）の夫々において、タイミングＴ０は、図５のステップＳ１の処理を実行したタイミングであり、タイミングＴ１は、図５のステップＳ２の処理を実行したタイミングであり、タイミングＴ２は、タイミングＴ１以降に、図５のステップＳ２の処理を実行したタイミングである。

図１４（ａ）の折れ線１５１の如く、基準サイズＡ_REFに対して、サイズＡ_Sが大きくなったり小さくなったりする場合、そのサイズＡ_Sの変化は、被写体のブレに起因するものと推測される。このような場合には、上述したように、特定部位αの表示サイズが一定に保たれていた方が便利である。このため、このような場合には、図１１のステップＳ３０１〜Ｓ３０４の処理を実行するようにする。図１５に、図１４（ａ）に対応した撮影画像及び出力画像（表示画像）を示す。撮影画像１１１、１１２及び１１３は、夫々、タイミングＴ０、Ｔ１及びＴ２における撮影画像である。出力画像１１４、１１５及び１１６は、夫々、タイミングＴ０、Ｔ１及びＴ２における出力画像（即ち、表示部２７に表示される画像）である。尚、図１５及び後述する図１６は、特定部位αが顔領域の全体である場合を例にとっている。

一方、図１４（ｂ）の折れ線１５２の如く、サイズＡ_Sが一方向（大きくなる方向又は小さくなる方向）に変化している場合は、被写体としての人物が、その変化に対応する方向に移動していると推測される。このような場合には、上述したように、その移動に応じた表示を行ったほうが被写体の意図に沿う。このため、このような場合には、図１１のステップＳ３０１〜Ｓ３０４の処理を実行せずに、その移動に応じた表示を行う。図１６に、図１４（ｂ）に対応した撮影画像及び出力画像（表示画像）を示す。撮影画像１２１、１２２及び１２３は、夫々、タイミングＴ０、Ｔ１及びＴ２における撮影画像である。出力画像１２４、１２５及び１２６は、夫々、タイミングＴ０、Ｔ１及びＴ２における出力画像（即ち、表示部２７に表示される画像）である。

具体的には、上記の推測を可能にするために、ステップＳ２の処理にて算出された各サイズＡ_Sを必要分だけ記憶しておく。そして、現フレームにて算出されたサイズＡ_Sと、現フレームを基準とした過去の（ｎ−１）フレーム分のサイズＡ_Sとを参照する（ｎは整数）。つまり、最新のサイズＡ_Sを含むｎ個のサイズＡ_Sを参照する。そして、このｎ個のサイズＡ_Sの中に、基準サイズＡ_REFより大きいサイズと基準サイズＡ_REFより小さいサイズとが混在している場合は、図１１のステップＳ３０１〜Ｓ３０４の処理を実行するようにする。

一方、このｎ個のサイズＡ_Sの中に、基準サイズＡ_REFより大きいサイズと基準サイズＡ_REFより小さいサイズとが混在しておらず、サイズＡ_Sが時間経過と共に一方向に変化しているような場合には、図１１のステップＳ３０１〜Ｓ３０４の処理を実行せずに、撮影画像内における特定部位αのサイズＡ_Sの変化に応じて表示画面上の特定部位αのサイズも変化するような出力画像を生成する（例えば、図１１のステップＳ３０６又はＳ３０７の処理を実行すればよい）。

第１変形処理例を採用すれば、被写体が意図していないブレ等と被写体が意図する移動とが判別され、その判別結果に応じた妥当な表示が行われる。

［第２変形処理例］
次に、第２変形処理例について説明する。第２変形処理例においても、第１変形処理例と同様、撮影画像内における特定部位αのサイズ（大きさ）の変化状態、または、撮影画像内における関連部位βのサイズ（大きさ）の変化状態に基づいて、図１１のステップＳ３０１〜Ｓ３０４に対応するような処理（変化低減処理）の実行可否を判断する。但し、第２変形処理例では、サイズの変化量が参照される。

記述の簡略化上、特定部位αと関連部位βの内、特定部位αに着目して、以下の第２変形処理例の説明を行う。関連部位βを用いて第２変形処理例を行う場合は、特定部位α、サイズＡ_S及び基準サイズＡ_REFを、必要な部分だけ、夫々、特定部位β、サイズＢ_S及び基準サイズＢ_REFに読み替えればよい。

図１７（ａ）及び（ｂ）において、折れ線１５３及び１５４は、ステップＳ２の抽出処理で算出される特定部位αのサイズＡ_Sの時間変化を表している。図１７（ａ）及び（ｂ）の夫々において、横軸は時間、縦軸は算出されるサイズＡ_Sを表しており、縦軸の上方はサイズＡ_Sが小さくなる方向に対応している。図１７（ａ）及び（ｂ）の夫々において、タイミングＴ０は、図５のステップＳ１の処理を実行したタイミングであり、タイミングＴ３は、図５のステップＳ２の処理を実行したタイミングであり、タイミングＴ４は、タイミングＴ３以降に、図５のステップＳ２の処理を実行したタイミングである。

図１７（ａ）の折れ線１５３に示す如く、時間経過に伴ってサイズＡ_Sが変化していても、その変化の大きさが小さい場合、そのサイズＡ_Sの変化は、被写体のブレに起因するものと推測される。このような場合には、上述したように、特定部位αの表示サイズが一定に保たれていた方が便利である。このため、このような場合には、図１１のステップＳ３０１〜Ｓ３０４の処理を実行するようにする。

一方、図１７（ｂ）の折れ線１５４に示す如く、サイズＡ_Sが大きく変化している場合は、被写体としての人物が、その変化に対応する方向に移動していると推測される。このような場合には、上述したように、その移動に応じた表示を行ったほうが被写体の意図に沿う。このため、このような場合には、図１１のステップＳ３０１〜Ｓ３０４の処理を実行せずに、その移動に応じた表示を行う。

具体的には、上記の推測を可能にするために、ステップＳ２の処理にて算出された各サイズＡ_Sを必要分だけ記憶しておく。そして、図１１のステップＳ３００において、最新のサイズＡ_Sを基準として、単位時間あたりのサイズＡ_Sの変化量を算出する。例えば、単位時間がタイミングＴ３とＴ４の間の時間である場合、タイミングＴ３におけるサイズＡ_SとタイミングＴ４におけるサイズＡ_Sとの差分を、タイミングＴ４に対応する変化量として算出する。

そして、その変化量が所定の閾値変化量よりも小さい場合は、図１１のステップＳ３０１〜Ｓ３０４の処理を実行するようにする。逆に、その変化量が所定の閾値変化量よりも大きい場合は、図１１のステップＳ３０１〜Ｓ３０４の処理を実行せずに、撮影画像内における特定部位αのサイズＡ_Sの変化に応じて表示画面上の特定部位αのサイズも変化するような出力画像を生成する（例えば、図１１のステップＳ３０６又はＳ３０７の処理を実行すればよい）。

第２変形処理例を採用すれば、被写体が意図していないブレ等と被写体が意図する移動とが判別され、その判別結果に応じた妥当な表示が行われる。

［第３変形処理例］
次に、第３変形処理例について説明する。第３変形処理例においては、撮影画像における特定部位αの動きの向きの変化状態、または、撮影画像における関連部位βの動きの向きの変化状態に基づいて、図１１のステップＳ３０１〜Ｓ３０４に対応するような処理（変化低減処理）の実行可否を判断する。撮影画像内において、特定部位αと関連部位βは同じように動くため、この判断を両者のどちらに基づいて行っても構わない。

記述の簡略化上、特定部位αと関連部位βの内、特定部位αに着目して、以下の第３変形処理例の説明を行う。関連部位βを用いて第３変形処理例を行う場合は、特定部位α、サイズＡ_S及び基準サイズＡ_REFを、必要な部分だけ、夫々、特定部位β、サイズＢ_S及び基準サイズＢ_REFに読み替えればよい。

撮影画像を表す図１８（ａ）〜（ａ）を参照して、第３変形処理例の原理を説明する。図１８（ａ）〜（ａ）において、符号１３１は、撮影された剛体を表す。符合１３２は、撮影画像における剛体１３１の中心を表す。

画角を固定している状態において、剛体１３１を動画として撮影している場合を考える。剛体１３１と撮像装置１との距離が遠くなれば、撮影画像は図１８（ａ）から図１８（ｂ）のように変化し、この場合、剛体１３１の周辺部の動きベクトルの向きは、剛体１３１の外側から中心１３２に向かう向きと一致することとなる。逆に、剛体１３１と撮像装置１との距離が近くなれば、撮影画像は図１８（ａ）から図１８（ｃ）のように変化し、この場合、剛体１３１の周辺部の動きベクトルの向きは、中心１３２から剛体１３１の外側に向かう向きと一致することとなる。

この原理を利用し、第３変形処理例では、特定部位αの動きの向きを参照して必要な判断処理を行う。これを可能とするために、例えば、隣接するフレームの撮影画像間の対比に基づき、周知の代表点マッチング法を用いて、各フレームごとに、特定部位αの動きベクトルを検出しておく。この動きベクトルの向き及び大きさは、隣接するフレームの撮影画像間における、特定部位αの周辺部の動きの向き及び大きさを表す。特定部位αの周辺部とは、特定部位αの中心を除く部位であり、例えば、特定部位αの外周（輪郭）である。

図１９（ａ）及び（ｂ）において、折れ線１５５及び１５６は、特定部位αの動きベクトルの向き及び大きさの時間変化を表している。図１９（ａ）及び（ｂ）の夫々において、横軸は時間を表し、直線１６０は動きベクトルの大きさがゼロである場合を表す。そして、直線１６０より上方は、図１８（ｂ）のように動きベクトルが特定部位αの内側を向いていることに対応し、直線１６０より下方は、図１８（ｃ）のように動きベクトルが特定部位αの外側を向いていることに対応する。直線１６０より上方（又は下方）に向かえば向かうほど、動きベクトルの大きさが大きいことを表す。

図１９（ａ）の折れ線１５５の如く、特定部位αの動きベクトルの向きが特定部位αの内側を向いたり外側を向いたりする場合、その動きは、被写体のブレに起因するものと推測される。このような場合には、上述したように、特定部位αの表示サイズが一定に保たれていた方が便利である。このため、このような場合には、図１１のステップＳ３０１〜Ｓ３０４の処理を実行するようにする。

一方、図１９（ｂ）の折れ線１５６の如く、特定部位αの動きベクトルの向きが特定部位αの内側を向き続けたりする場合は、被写体としての人物が、その向きに対応する方向に移動していると推測される。このような場合には、上述したように、その移動に応じた表示を行ったほうが被写体の意図に沿う。このため、このような場合には、図１１のステップＳ３０１〜Ｓ３０４の処理を実行せずに、その移動に応じた表示を行う。

具体的には、図５のステップＳ３を実行する度に、特定部位αの動きベクトルの向き（及び必要に応じて動きベクトルの大きさ）を検出しておく。この向きは、特定部位αの中心に対する向きである。図７に示す撮影画像で考えた際、特定部位αが符号１０２に対応する顔領域の全体である場合は、矩形１０２ａの中心を特定部位αの中心と考えることができ、特定部位αが符号１０３に対応する左目である場合は、矩形１０３ａの中心を特定部位αの中心と考えることができる。

そして、現フレームにて算出された動きベクトルの向きと、現フレームを基準とした過去の（ｎ−１）フレーム分の動きベクトルの向きとを参照する（ｎは整数）。つまり、最新の動きベクトルの向きを含むｎ個の動きベクトルの向きを参照する。そして、このｎ個の動きベクトルの向きの中に、特定部位αの中心に向かう向きと該中心から離れる向きとが混在している場合は、図１１のステップＳ３０１〜Ｓ３０４の処理を実行するようにする。

一方、そのような混在がなく、ｎ個の動きベクトルの向きが、全て特定部位αの中心に向かう向きとなっている場合、または、全て該中心から離れる向きとなっている場合は、図１１のステップＳ３０１〜Ｓ３０４の処理を実行せずに、撮影画像内における特定部位αのサイズＡ_Sの変化に応じて表示画面上の特定部位αのサイズも変化するような出力画像を生成する（例えば、図１１のステップＳ３０６又はＳ３０７の処理を実行すればよい）。

第３変形処理例を採用すれば、被写体が意図していないブレ等と被写体が意図する移動とが判別され、その判別結果に応じた妥当な表示が行われる。

尚、図６に関する説明において、特定部位αは、操作キー２６ｃに対するキー操作などに従って決定されると説明したが、動きベクトルなどを参照して、撮影画像内で動きのある部分を検出し、その動きのある部分を特定部位αとして自動的に設定するようにしても良い。

また、第１実施形態では、特定部位αが顔領域又は顔パーツである場合を想定したが、特定部位αは、人物の全体であっても構わない。撮影画像内において、人物の顔領域を認識できれば、その人物の全体を認識することは容易である。また、撮影画像内の動きなどを参照して、撮影画像に含まれる人物を検出するようにしてもよい。

＜＜第２実施形態＞＞
次に、サイズ調整機能の第２実施形態について説明する。第１実施形態で説明した事項は、矛盾なき限り、第２実施形態にも適用されうる。

第２実施形態では、撮像部１１による撮影の画角を調整することによって、被写体と撮像装置１（撮像部１１）との実空間における距離の変化に起因する、出力画像内における特定の被写体のサイズ（大きさ）の変化を低減する。この変化の低減を実現するに際して、第１実施形態では、所謂電子ズームを利用するのに対して、第２実施形態では、所謂光学ズームを利用する。第２実施形態における、画角を調整する処理を、変化低減処理と呼ぶことができる。

第２実施形態に係るサイズ調整機能でも、まず、第１実施形態にて説明した手法と同様の手法を利用して、注目する特定部位に関する登録処理を行う。この特定部位は、例えば、被写体としての人物の全体、人物の顔領域又は顔パーツである。サイズ調整機能を実行すると、例えば、操作部２６に対する所定操作に同期して、撮影画像内における人物の全体、人物の顔領域又は顔パーツが抽出され、抽出された人物の全体、人物の顔領域又は顔パーツが、特定部位として設定される。そして、例えば、その特定部位に含まれる顔領域のサイズ、或いは、その特定部位としての顔領域のサイズ、或いは、その特定部位を含む顔領域のサイズを、図６のステップＳ１０４の処理と同様の処理にて算出する。そして、ここで、算出した顔領域のサイズを、基準サイズとする。

特定部位（特定被写体）が人物の全体であるならば、顔領域は関連部位（関連被写体）と捉えられる。関連部位は、当然の如く、実空間においても撮影画像内においても、特定部位αの動きに連動して動く。人物と撮像装置１との距離が長くなって、撮影画像内における特定部位のサイズが小さくなれば、それに連動して撮影画像内における関連部位のサイズも小さくなるし、その距離が短くなって、撮影画像内における特定部位のサイズが大きくなれば、それに連動して撮影画像内における関連部位のサイズも大きくなる。

それ以降は、図５のステップＳ２の処理と同様の処理にて、各フレームの撮影画像内における顔領域のサイズを逐次算出し、撮影画像内における顔領域のサイズが上記の基準サイズと略同じに保たれるように、画角を調整する。これにより、撮影画像における特定部位のサイズ（大きさ）が、略一定に保たれる。

例えば、直前のフレームの撮影画像または数フレーム前の撮影画像における顔領域のサイズと、現フレームの顔領域のサイズと、を比較する。そして、前者より後者の方が大きければズームアウトを行って次フレーム以降の画角を現フレームの画角よりも増加させる。逆に、前者より後者の方が小さければズームインを行って次フレーム以降の画角を現フレームの画角よりも減少させる。両者が同じ（或いは実質的に同じ）であれば、画角を変更しない。

ズームアウト及びズームインは、図４の出力画像生成部４３として機能する図１のＣＰＵ２３が、図２のドライバ３４を介してズームレンズ３０を光軸に沿って移動させることにより、実施される。ズームアウトとは、撮像素子３３の撮像面上に形成される被写体の像を縮小させる動作であり、この動作に伴って撮像部１１による撮影の画角は増加する。ズームインとは、撮像素子３３の撮像面上に形成される被写体の像を拡大させる動作であり、この動作に伴って撮像部１１による撮影の画角は減少する。勿論、画角の変更範囲には制限があるため、その制限を超えるような画角の変更は実施されない。

第２実施形態においては、撮影画像における被写体のサイズ変化に応じて、その変化がキャンセルされる方向に画角が変更されるため、撮影画像の全体を、そのまま、図４の出力画像生成部４３の出力画像とすることができる。この出力画像は、第１実施形態と同様、表示部２７にて表示されると共にメモリカード１８に記録されうる。

例えば、被写体が遠くから撮像装置１に向かって近づいてくる場合、通常は、撮影しながらズーム倍率などを手動で調整しなければ、被写体が撮影領域からはみ出してしまう。また、撮像装置１の近くにいる被写体が撮像装置１との距離が変化する方向に若干の移動を行った場合、それを何ら補正しなければ、移動の前後で映像上の被写体の大きさが変わり、視聴の際、違和感を覚えることがある。しかしながら、上記の如く画角を調整すれば、このような支障が軽減される。尚、このような支障は、第１実施形態における、図１１のステップＳ３０１〜Ｓ３０４の処理によっても軽減される。

＜＜変形等＞＞
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図４の被写体サイズ調整部４０の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。被写体サイズ調整部４０にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

図４において、被写体サイズ調整部４０は画像出力手段として機能し、認識処理部４１は認識手段として機能する。

本発明の実施の形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部ブロック図である。 図１の撮像装置の概略的な外観図である。 図１の撮像装置に係る、被写体サイズ調整部の機能ブロック図である。 図４の被写体サイズ調整部の動作を表す概略フローチャートである。 図５の登録処理の動作を表す詳細フローチャートである。 図６の登録処理の動作を説明するための図であり、図１の撮像部の撮影画像を表す図である。 図６の登録処理の動作を説明するための図であり、図１の表示部に表示される画像を表す図である。 図６の登録処理の動作を説明するための図であり、図１の撮像部の撮影画像を表す図である。 図５の抽出処理の動作を表す詳細フローチャートである。 図５の画像出力処理の動作を表す詳細フローチャートである。 実空間における、図１の撮像装置と被写体の位置関係を示す図である。 図１１の画像出力処理を実行することによって表示される表示画面の一例である。 図５の画像出力処理の変形例としての第１変形処理例を説明するための図である。 図５の画像出力処理の変形例としての第１変形処理例を実行した際における、撮影画像と出力画像（表示画像）の関係を示す図である。 図５の画像出力処理の変形例としての第１変形処理例を実行した際における、撮影画像と出力画像（表示画像）の関係を示す図である。 図５の画像出力処理の変形例としての第２変形処理例を説明するための図である。 図５の画像出力処理の変形例としての第３変形処理例を説明するための図である。 図５の画像出力処理の変形例としての第３変形処理例を説明するための図である。

符号の説明

１ 撮像装置
１１ 撮像部
１３ 映像信号処理部
２７ 表示部
４０ 被写体サイズ調整部
４１ 認識処理部
４２ 認識用データ記憶部
４３ 出力画像生成部

Claims (9)

1. 次々と撮影を行って、撮影によって得られた撮影画像を表す撮像信号を順次出力する撮像手段と、
   前記撮像信号を受け、次々と得られる前記撮影画像から次々と出力画像を生成して出力する画像出力手段と、を備え、
   前記画像出力手段は、
   前記撮像信号に基づいて前記撮影画像内に含まれる特定被写体を認識する認識手段を備え、
   前記認識手段の認識結果に基づきつつ、実空間における前記特定被写体と前記撮像手段との距離の変化に起因する、前記出力画像における前記特定被写体の大きさの変化を低減する変化低減処理を実行可能に形成されている
   ことを特徴とする撮像装置。
2. 当該撮像装置は、前記画像出力手段からの前記出力画像を表示する表示手段を更に備え、
   前記画像出力手段が前記変化低減処理を実行することにより、前記距離の変化に起因する、前記表示手段の表示画面上における前記特定被写体の大きさの変化が低減される
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記画像出力手段は、前記認識手段の認識結果に基づいて、
   前記撮影画像における前記特定被写体の大きさ、または、
   前記特定被写体の動きに連動して動く、前記撮影画像における関連被写体の大きさ、を評価し、
   その評価した大きさに基づいて前記変化低減処理を実行する
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記画像出力手段は、
   所定の上限大きさと、
   前記特定被写体または前記関連被写体の、前記撮影画像における大きさと、を比較し、
   後者が前者より大きい場合に前記変化低減処理の実行を禁止して、前記出力画像における前記特定被写体の大きさを拡大させる
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記画像出力手段は、
   所定の下限大きさと、
   前記特定被写体または前記関連被写体の、前記撮影画像における大きさと、を比較し、
   後者が前者より小さい場合に前記変化低減処理の実行を禁止して、前記出力画像における前記特定被写体の大きさを縮小させる
   ことを特徴とする請求項３または請求項４に記載の撮像装置。
6. 前記画像出力手段は、前記認識手段の認識結果に基づいて、
   前記撮影画像における前記特定被写体の大きさの変化状態、または、
   前記特定被写体の動きに連動して動く、前記撮影画像における関連被写体の大きさの変化状態、を評価し、
   その評価結果に基づいて、前記変化低減処理の実行可否を決定する
   ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
7. 前記画像出力手段は、前記認識手段の認識結果に基づいて、
   前記撮影画像における前記特定被写体の、その特定被写体の中心に対する動きの向きの変化状態、または、
   前記特定被写体の動きに連動して動く、前記撮影画像における関連被写体の、その関連被写体の中心に対する動きの向きの変化状態、を評価し、
   その評価結果に基づいて、前記変化低減処理の実行可否を決定する
   ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
8. 前記画像出力手段は、前記変化低減処理の実行時において、前記距離の変化に起因して、前記撮影画像における前記特定被写体の大きさが変化したとき、
   前記認識手段の認識結果に基づきつつ、その変化の後において、前記撮像手段による撮影の画角を制御することにより、その変化に起因する、前記出力画像における前記特定被写体の大きさの変化を低減する
   ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
9. 撮影によって得られた撮影画像を表す撮像信号を撮像手段から受け、次々と得られる前記撮影画像から次々と出力画像を生成して出力する出力画像生成方法であって、
   前記撮像信号に基づいて前記撮影画像内に含まれる特定被写体を認識する認識ステップと、
   前記認識ステップによる認識結果に基づきつつ、実空間における前記特定被写体と前記撮像手段との距離の変化に起因する、前記出力画像における前記特定被写体の大きさの変化を低減する変化低減ステップと、を有する
   ことを特徴とする出力画像生成方法。

Images