JP2014027580A - 撮像装置、及び画像処理方法 - Google Patents

Abstract

【課題】適切に画像効果を施すことができる撮像装置、及び画像処理方法を提供すること。
【解決手段】本発明の一態様に係る撮像装置は、動画像を撮像する撮像部１００と、撮フレーム画像から検出対象を順次検出する顔検出処理部１３１と、検出対象が検出された検出フレーム画像の間の中間フレーム画像において、検出対象の座標を補正する中央制御部４００と、中央制御部４００によって補正された検出対象の位置に応じて、画像効果を施す画像効果処理部２１０と、を備え、中央制御部４００が、（ａ）フレーム画像の一部である検出エリアＣと、サーチ範囲Ｓと、を決定し、（ｂ）サーチ範囲Ｓ内において、検出エリアＣと比較されるリファレンスエリアＲをスキャンしていき、（ｃ）リファレンスエリアＲをスキャンした時の検出エリアＣの輝度情報とリファレンスエリアＲの輝度情報の比較結果から、検出対象の座標を補正する。
【選択図】図１

Description

本発明は撮像装置、及びその画像処理方法に関するものである。

特許文献１には画像中の適切な位置に所定の画像を合成する画像処理装置が開示されている。例えば、特許文献１では、スルー画像中に、キャラクタ画像を合成することにより得られる合成画像を表示している。

また、特許文献２には、ユーザがタッチパネル上で文字、図形を手書きすることで、モニタ上に表示された画像に手書きした文字、図形を表示させる撮像装置が開示されている。

特開２０１０−１０３６５１号公報 特開２００５−１８４７７８号公報

しかしながら、特許文献１に記載の画像処理装置、及び特許文献２に記載の撮像装置では、キャラクタ画像、文字画像、又は図形画像が撮像の際の画角や方向と関係なく不変の位置となっている。すなわち、撮像方向を変えた場合でも、モニタに表示される、又は記録媒体に記録される画像において、キャラクタ画像等の位置が一定となっている。また、ズーム倍率を変更して画角を変更した場合でも、同じくモニタに表示される、又は記録媒体に記録される画像において、キャラクタ画像の位置や大きさが一定となっている。

そのため、例えば、撮像の際にユーザが注目した特定の被写体画像の近辺等にキャラクタ等の画像を合成した合成画像を生成しても、その後ユーザが撮像の最中に画角を変更、又は撮像方向を変更した場合には、その被写体画像の大きさ等が変化するため、ユーザは一度合成したキャラクタ画像等を削除し、改めて新しい位置や大きさでキャラクタ画像等を合成しなおす必要があった。つまり、撮像方向や撮像画角といった撮像条件を変化させた場合、ユーザはキャラクタ画像等を合成し直す操作をしなければならないという問題があった。

本発明は、上記問題を鑑み、適切に画像効果を施すことができる撮像装置、及び表示処理方法を提供することを目的とする。

本発明の一態様にかかる撮像装置は、動画像を撮像する撮像部（１００）と、前記撮像部（１００）で撮像された動画像のフレーム画像から検出対象を順次検出する検出部（１３１）と、前記検出対象が検出された検出フレーム画像の間の中間フレーム画像において、前記検出対象の座標を補正する処理部（４００）と、前記処理部によって補正された検出対象の位置に応じて、画像効果を施す画像効果処理部（２１０）と、を備え、前記処理部（４００）が、（ａ）前記検出部での検出結果に基づいて、フレーム画像の一部である検出エリアと、前記中間フレーム画像において前記検出対象をサーチするサーチ範囲（Ｓ）と、を決定し、（ｂ）前記中間フレーム画像の前記サーチ範囲（Ｓ）内において、前記検出エリアと比較されるリファレンスエリア（Ｒ）をスキャンしていき、（ｃ）前記リファレンスエリア（Ｒ）をスキャンした時の前記検出エリアの輝度情報と前記リファレンスエリア（Ｒ）の輝度情報の比較結果から、前記検出対象の座標を補正するものである。このようにすることで、適切に画像効果を施すことができる。
上記の撮像装置において、前記（ｃ）において補正された前記検出対象の位置に基づいて、前記中間フレーム画像から前記検出エリアを抽出して、前記検出エリアの輝度情報を更新し、抽出された前記検出エリアによって、前記（ｂ）、及び前記（ｃ）の処理を行うようにしてもよい。このようにすることで、適切に画像効果を施すことができる。
上記の撮像装置において、前回の前記検出対象と最新の前記検出対象との移動量に応じて、前記サーチ範囲（Ｓ）が決定されていてもよい。このようにすることで、適切なサーチ範囲（Ｓ）を設定することができるため、迅速に処理することができる。
上記の撮像装置において、前記（ｃ）では、前記検出エリアの輝度情報と前記リファレンスエリア（Ｒ）の輝度情報との差の絶対値を画素毎に求め、前記画素毎の絶対値の総和を求め、前記サーチ範囲（Ｓ）に含まれるリファレンスエリア（Ｒ）の中で、前記総和が最小となるリファレンスエリアに基づいて、前記検出対象の位置が補正されていてもよい。
上記の撮像装置において、前記総和がしきい値よりも大きい時は、前記（ｃ）において前記検出対象の位置を補正しないようにしてもよい。
本発明の一態様にかかる画像処理方法は動画像を撮像する撮像部を有する撮像装置における画像処理方法であって、前記撮像部によって撮像された動画像のフレーム画像から検出対象を順次検出するステップと、前記検出対象が検出された検出フレーム画像の間の中間フレーム画像において、前記検出対象の位置を補正するステップと、補正された前記検出対象の位置に基づいて、画像効果を施すステップと、を備え、前記撮像装置が、前記検出対象の検出結果に基づいて、フレーム画像の一部である検出エリアと、前記中間フレーム画像において前記検出対象をサーチするサーチ範囲（Ｓ）と、を決定し、前記中間フレーム画像の前記サーチ範囲（Ｓ）内において、前記検出エリアと比較されるリファレンスエリア（Ｒ）をスキャンしていき、前記リファレンスエリア（Ｒ）をスキャンした時の前記検出エリアの輝度情報と前記リファレンスエリア（Ｒ）の輝度情報の比較結果から、前記検出対象の位置を補正するものである。このようにすることで、適切に画像効果を施すことができる。

本発明の撮像装置及び表示処理方法によれば、適切に画像効果を施すことができる。

撮像装置の構成を示すブロック図である。 検出エリアＣとサーチ範囲Ｓを説明するための図である。 フレーム画像におけるエリアを説明するための図である。 検出エリアＣとリファレンスエリアＲの輝度データを示す図である。 フレーム画像におけるエリアを説明するための図である。 本実施の形態にかかる撮像方法を示すフローチャートである。 本実施の形態にかかる撮像方法を示すフローチャートである。

本実施の形態に係る撮像装置は、動画像を撮像して、スルー画像として表示するものである。さらに、撮像装置は、画像効果を施して、スルー画像を表示する。例えば、撮像した動画像の中から対象画像を検出して、対象画像に画像効果を施す。そして、画像効果が行われた動画像を表示する。

より具体的には、動画像のフレーム画像に対して顔検出を行う。そして、検出された顔画像に対して顔枠、アニメーション、アバター等の画像効果を施している。すなわち、検出された顔画像の座標、及びサイズに基づいて、そして、画像効果を施した状態で、動画像を表示する。なお、画像効果は、画像データに対する演算に限らず、撮像部のオートフォーカス、ゲイン、アイリス、シャッタースピードの調整等を含むものとする。

本実施の形態に係る撮像装置を備えた撮像システムについて、図１を用いて説明する。図１は、本発明の実施形態に係る撮像装置１の内部構成の例を示すブロック図である。撮像装置１は動画像を撮像することができる。なお、本発明に係る撮像装置１は、動画像を撮像できるものであれば、その形状、及び構成は特に限定されるものではない。また、以下の説明では、人間の顔を検出する例を説明するが、検出対象としては、人間、動物、又は物体等とすることができる。また、以下の説明では、検出した顔に顔枠を付加して表示する例を説明する。

中央制御部４００はＣＰＵ（Central Processing Unit）、各種プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成されている。中央制御部４００をマイクロコンピュータで構成することができる。中央制御部４００は、撮像、各種画像の表示、又は後述する画像処理や画像表示等に関する撮像装置１全体の処理を統括的に制御する。

撮像装置１は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４で構成される撮像部１００を有する。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。これにより、撮像される撮像画像のズーム倍率が変更する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子１０４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成される。

撮像装置１を用いた撮像は以下の手順で行われる。撮像素子１０４はズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。
アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ１０７は、画像Ａ／Ｄ変換部１０６から出力されたデジタル画像データを撮像画像データとして取り込んで、バス２００を介してメインメモリ２０６に格納する。

デジタル信号処理部１０８は、バス２００を介して中央制御部４００からの指令に基づき、メインメモリ２０６に格納された撮像画像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。

音声処理部２０２は、バス２００を介して中央制御部４００の指示に従い、マイク（不図示）等で取得された音声データに所定の処理を施す。例えば、音声データをデジタルデータに変換したり、雑音除去処理等をしたりする。

圧縮・伸長処理部２０１は、バス２００を介して中央制御部４００からの指示に従って、撮像画像データ及びデジタル音声データに所定の圧縮処理を施して圧縮データを生成する。また、圧縮・伸長処理部２０１は、中央制御部４００からの指示に従って、記録部の一例であるカード型記録媒体３０２に格納された圧縮データに所定形式の伸張処理を施して非圧縮データを生成する。所定の圧縮処理としては、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式を採用することができ、動画像に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式を採用することができる。

ＲＯＭ２０３はバス２００を介して中央制御部４００に接続されており、中央制御部４００が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ２０４は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。撮像装置１は、様々な撮像のシチュエーションに応じて、いくつかの撮像モードと、各モードにあわせた撮像条件の設定を予めフラッシュＲＯＭ２０４に記憶している。そして、ユーザは撮像を開始する前に、各モードの中から最適なモードを選択することにより、最適な撮像条件で撮像を実施することができる。例えば、特定の人物の撮像に適した「ポートレートモード」、運動会等の撮像に適した「スポーツモード」、又は夜景等の暗い場所の撮像に適した「夜景モード」等である。

メディア制御部２０７は、中央制御部４００からの指示に従って、カードＩ／Ｆ３０１を介してカード型記録媒体３０２に対してデータを書き込み、カード型記録媒体３０２に記録されたデータを読み出すよう制御する。カード型記録媒体３０２はＳＤカードやコンパクトフラッシュ（登録商標）等の外部メモリであり、撮像装置１に対して脱着可能に設けられている。

液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。液晶モニタ３０４は、例えばＶＲＡＭやメインメモリ２０６に一時記録された撮像画像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。液晶モニタ３０４は、撮像部１００によって取得された動画像を表示する。

画像効果処理部２１０は、撮像部１００が取得した動画像に対して、画像効果処理を行う。すなわち、画像効果処理部２１０は、顔検出結果に基づいて、画像効果を施す。例えば、撮像した動画像に含まれる人物の顔を顔枠で囲む画像効果を施す。すなわち、動画像のフレーム画像に、検出対象である顔を囲む顔枠を付加した画像データを生成する。そして、液晶モニタ３０４は、画像効果が施された動画像をスルー画像として表示する。これにより、撮像部１００が取得した動画像の各フレームに顔枠が重畳された動画像を表示することができる。ここで、画像効果処理部２１０は、中央制御部４００における顔座標の補正結果に基づいて、顔枠の位置（フレーム画像中における座標）を補正している。顔枠の座標補正については後述する。

スピーカ３０５は、例えばメインメモリ２０６に一時記録された音声を出力する。操作部３０６は、図示しないレリーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。入出力端子３０７は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。

顔検出処理部１３１は、撮像部１００が撮像した動画像に対して顔検出処理を順次行う。これにより、動画像に含まれるフレーム画像中の顔が検出される。例えば、フレーム画像から特徴を抽出して、特徴の位置や大きさに応じて顔を検出する。顔検出処理部１３１は、フレーム画像における顔座標、及び顔サイズを検出する。顔検出処理部１３１が検出した顔座標、及び顔サイズに基づいて、画像効果処理部３１０が画像効果を施す。

顔検出処理部１３１による顔検出処理は、少なくとも数フレームを有する。すなわち、顔検出処理は、動画像の数フレームに対応する時間を要する処理である。従って、動画像の撮像中では、複数のフレーム毎に顔検出が行われることになる。ここで、顔検出が行われたフレーム画像を検出フレーム画像とする。そして、隣接する検出フレーム画像間のフレーム画像を中間フレーム画像とする。すなわち、前回の検出フレーム画像から最新の検出フレーム画像までのフレーム画像が、中間フレーム画像となる。中間フレーム画像では、顔検出処理部１３１による顔検出処理が行われていないことになる。以下、中間フレーム画像において、顔座標を補正するための構成を説明する。

中央制御部４００は、顔検出データ取得部４０１と、移動量算出部４０２と、補正・予測処理部４０３と、を備えている。そして、中央制御部４００は、中間フレーム画像における顔座標を補正する。顔検出データ取得部４０１は、必要な顔検出データを顔検出処理部１３１から取得する。移動量算出部４０２は、顔検出データ取得部４０１で取得した顔検出データに基づいて、顔の移動量を算出する、そして、補正・予測処理部４０３は、顔検出データ取得部４０１で取得した顔検出データと、移動量算出部４０２で算出した移動量に基づいて、顔座標を補正して、画像効果を施す位置を予測する。

例えば、補正・予測処理部４０３は、顔検出が行われたフレーム画像の一部である検出エリアと、最新のフレーム画像の一部であるリファレンスエリアを比較することで、顔座標を補正している。すなわち、検出エリアとリファレンスエリアとで、ブロックマッチングを行う。そして、サーチ範囲内でリファレンスエリアをスキャンしていく、最もマッチングしたリファレンスエリアに基づいて、顔座標を補正する。

以下、中央制御部４００における顔座標の補正処理を図２〜図４を用いて説明する。図２〜図４は、撮像部１００によって取得されたフレーム画像を模式的に示す図である。

まず、顔検出処理部１３１による検出結果がある検出フレーム画像での処理を説明する。顔検出処理部１３１が顔検出処理を行うと、顔座標、及び顔サイズが決定する。検出フレーム画像での顔検出結果から、図２に示すようなサーチ範囲Ｓ、及び検出エリアＣを抽出する。検出エリアＣは顔座標における顔サイズの矩形である。サーチ範囲Ｓは、フレーム画像の一部の範囲であり、検出エリアＣよりも大きい範囲である。ここでは、サーチ範囲Ｓは、検出エリアＣを含み、検出エリアＣよりも大きいサイズの矩形となっている。具体的には、サーチ範囲Ｓは、検出エリアＣの中心を中心として、横方向（ｘ方向）、及び縦方向（ｙ方向）に一定の幅を有する矩形となっている。例えば、サーチ範囲Ｓは、フレーム画像の画素数により特定される。

検出エリアＣは、検出フレーム画像で検出された顔に対応する矩形エリアである。検出エリアＣのサイズは、検出された顔サイズに対応している。ここでは、検出エリアＣのサイズを顔検出の矩形エリアと一致させているが、異なるサイズとしてもよい。検出エリアＣの座標は、顔検出の矩形エリアの中心座標とすることができる。例えば、矩形枠内の輝度情報が検出エリアＣとして取得される。すなわち、検出フレーム画像における検出エリアＣの輝度情報を顔検出データ取得部４０１が取得する。

サーチ範囲Ｓは、最新の顔検出データと前回の顔検出データとに基づいて、決定することができる。具体的には、最新の顔検出が更新されると、顔検出データ取得部４０１が、前回の顔検出データと、今回の顔検出データを取得する。そして、顔検出データ取得部４０１顔検出データの座標を取得する。移動量算出部４０２が、顔の移動量から、サーチ範囲Ｓを決定する。

顔の移動量Ｘ，Ｙは、以下の式（１）で示すことができる。
Ｘ＝｜ｘ（ｆ）−ｘ（ｆ−１）｜
Ｙ＝｜ｙ（ｆ）−ｙ（ｆ−１）｜・・・（１）

なお、ｘ、ｙは顔検出結果のｘ座標、ｙ座標を示している。例えば、ｘ（ｆ）、ｙ（ｆ）は、ｆ回目の検出結果のｘｙ座標であり、ｘ（ｆ−１）、ｙ（ｆ−１）は、（ｆ−１）回目の検出結果のｘｙ座標である。ここでは、移動量算出部４０２が、移動量Ｘ、Ｙを２つの検出フレーム画像における顔座標の差を求めている。最新の顔座標と前回の顔座標の差に基づいて、移動量算出部４０２が移動量を算出する。ここでは、差の絶対値を移動量としている。

そして、移動量算出部４０２が、移動量Ｘ,Ｙからサーチ範囲Ｓを特定する。ここで、ｘ方向、及ぶｙ方向のサーチ範囲Ｓの大きさをそれぞれＳｘ、Ｓｙとする。移動量算出部４０２は、以下の式（２）を用いて、Ｓｘ、Ｓｙを決定している。

Ｓｘ＝２（｜Ｘ｜＋α）
Ｓｙ＝２（｜Ｙ｜＋β） ・・・（２）

ここで、α、βは調整値であり、具体的には正の数である。移動量に正の数を加算した値をＳｘ，Ｓｙとしている。このように顔の移動量に応じてサーチ範囲Ｓを設定している。これにより、顔が移動した場合でも、適切に顔座標を補正することができる。なお、移動量に調整値を加算するだけではなく、移動量を調整値で乗算してもよい。顔検出処理部１３１が顔検出を行う毎に、サーチ範囲Ｓが更新される。

連続するフレーム画像での補正について説明する。最新のフレーム画像では、図３に示すように顔が移動しているとする。ここで、顔座標を補正するため、サーチ範囲Ｓ内でリファレンスエリアＲをスキャンしていく。リファレンスエリアＲは、最新のフレーム画像の一部である。

サーチ範囲Ｓ内で、リファレンスエリアＲの輝度情報と検出エリアＣの輝度情報を比較する。例えば、検出エリアＣの輝度情報と、リファレンスエリアＲの輝度情報が図４に示すようになっているとする。ここでは、検出エリアＣ、及びリファレンスエリアＲのそれぞれが（ｍ＋１）×（ｎ＋１）の画素数を有する矩形としている。そして、検出エリアＣの輝度情報をＸ_００〜Ｘ_ｍｎとし、リファレンスエリアＲの輝度情報をＹ_００〜Ｙ_ｍｎとしている。

なお、リファレンスエリアＲは、検出エリアＣと同じサイズの矩形となっている。こうすることで、スキャン精度を向上することができる。もちろん、リファレンスエリアＲは、検出エリアＣと異なるサイズとなっていてもよい。すなわち、検出エリアＣを構成する画素数と、リファレンスエリアＲを構成する画素数は、異なっていてもよい。

ここで、ＳＡＤは、リファレンスエリアＲと検出エリアＣの比較を示す比較値である。すなわち、検出エリアＣの輝度情報とリファレンスエリアＲの輝度情報との差の絶対値を画素毎に求め、画素毎の絶対値の総和が比較値ＳＡＤとしている。具体的には、リファレンスエリアＲと検出エリアＣとの比較値ＳＡＤは、以下の式（３）で求めることができる。
ＳＡＤ＝Σ |Ｘ_ｍｎ−Ｙ_ｍｎ| ・・・（３）

そして、補正・予測処理部４０３が、サーチ範囲Ｓにおいて、比較値ＳＡＤが最小となるリファレンスエリアＲを補正エリアＡ１とする。補正・予測処理部４０３が、サーチ範囲Ｓ内において、リファレンスエリアＲを順番にずらしていき、リファレンスエリアＲがサーチ範囲Ｓ全体をスキャンする。ここでは、サーチ範囲Ｓの左上角からリファレンスエリアＲを下方向にスキャンしていく。そして、サーチ範囲Ｓの下端までスキャンしたら、リファレンスエリアＲを１画素右方向にずらして、再度上端から下端までスキャンする。これを繰り返してサーチ範囲Ｓの右下角までスキャンしたら、スキャンを終了する。そして、ずらして行ったリファレンスエリアＲのそれぞれについて、比較値ＳＡＤを求める。

ここで、顔が存在する位置にリファレンスエリアＲがある場合、比較値ＳＡＤが小さくなる。すなわち、顔が存在するエリア同士を比較する場合、各画素の輝度情報が類似する。対応する位置では、リファレンスエリアＲと検出エリアＣの輝度情報が近くなる。一方、顔が存在しないリファレンスエリアＲでは、検出エリアＣと輝度情報が大きく異なる。よって、サーチ範囲Ｓ内において、顔が存在するリファレンスエリアＲで比較値ＳＡＤが最小になる。サーチ範囲Ｓ内に比較値ＳＡＤが最小となるリファレンスエリアＲを、補正エリアＡ１とする。

なお、サーチ範囲Ｓをサーチする方向は、特に限定されるものではない。例えば、前回の検出エリアＣの近傍から順番にサーチしていってもよい。そして、ある程度類似した比較結果が得られた場合は、その段階でサーチを打ち切ってもよい。これにより、速やかにサーチを行うことができる。

そして、顔座標が補正された補正エリアＡ１に対して画像効果を施す。ここでは、補正エリアＡ１の位置に顔枠の矩形を表示する。こうすることで、適切に顔枠を表示することができる。具体的には、画像効果処理部２１０が、補正エリアＡ１に顔枠を重畳する画像処理を行う。そして、液晶モニタ３０４が、所定の位置に顔枠が付加された画像を表示する。

なお、比較値ＳＡＤが大きい場合は、補正エリアＡ１を更新しないようにしてもよい。すなわち、比較値ＳＡＤが予め設定されたしきい値よりも大きい場合は、前回の補正エリアをそのままと使用することもできる。

さらに、次の中間フレーム画像が取得されたとする。この場合、補正エリアＡ１に基づいて、検出エリアＣを更新する。すなわち、図５に示すように、最新の補正エリアＡ１を検出エリアＣとする。すなわち、補正された顔位置に基づいて、中間フレーム画像から検出エリアＣを抽出する。これにより、中間フレーム画像から検出エリアの輝度情報を更新する。そして、中間フレーム画像から更新された検出エリアＣを用いて、新たなフレーム画像に対してスキャンを行う。図５で、比較値ＳＡＤが最小となるリファレンスエリアＲを補正エリアＡ２とする。中央制御部４００は、上記の処理を繰り返して、新たな補正エリアＡを順次決定する。これにより、補正・予測処理部４０３が補正エリアＡ１、補正エリアＡ２、補正エリアＡ３・・・・と順番に更新していく。

そして、中央制御部４００は、新たな補正エリアを決定すると、検出エリアＣを順次更新していく。すなわち、更新された補正エリアＡを検出エリアＣとして、次のフレーム画像に対してスキャン処理を繰り返し行う。このとき、サーチ範囲Ｓは、前回と同じ範囲にすることができる。すなわち、サーチ範囲Ｓは、顔検出処理部１３１での顔検出結果が更新されるまで、同じ範囲にすることができる。

このように、ブロックマッチングによって画像効果を施す座標を補正している。そして、マッチング結果によって、顔座標を随時補正している。すなわち、最新のフレーム画像と前回のフレーム画像との比較結果から、補正・予測処理部４０３が顔座標を予測する。そして、画像効果処理部２１０が、予測した顔座標で顔枠等を付加する画像効果を施す。これにより、画像効果の位置を適切に補正することができ、適切な位置に顔枠を付加することができる。例えば、顔検出処理には少なくとも数フレームを要し、リアルタイムに検出結果を撮影画像に反映することができない。すなわち、描画している顔検出枠は数フレーム前の検出結果に対するものであって、描画しているフレーム画像の顔座標とは異なる座標となってしまう。また、検出処理には少なくとも数フレームを要するため、連続的に検出結果を得ることは困難である。そのため、同じ検出結果を使用する期間が生じ、顔検出枠のずれや追従精度の低下が生じる。

そこで、上記のようにブロックマッチングで顔座標を補正する。顔検出処理に少なくとも数フレームを要したとしても、現在のフレーム画像に対して負荷の少ない処理で検出結果を補正することができる。最新のフレーム画像に対して顔検出処理が終了していない場合でも、補正・予測処理部４０３が前回のフレーム画像から顔座標を予測する。すなわち、補正・予測処理部４０３が、顔検出処理が終了するまでの間、前回の顔検出結果から顔座標を予測する。そして、予測した顔座標に基づいて、画像効果を施す。これにより、上記課題を解決することができ、顔枠の追従性を高くすることができる。すなわち、顔検出処理部１３１が検出フレーム画像に対して顔検出を終了する前に、顔位置を予測することができる。これにより、補正した位置に画像効果を付加することができる。

もちろん、顔枠以外の画像効果についても適用することができる。以上から、顔検出結果を用いた顔枠や、アニメーション、アバター等の画像効果の追従性を高くすることができる。よって、適切に画像効果を施した動画像を表示することができる。さらに、オートフォーカス、アイリス、ゲイン等の調整を適切に行うことができる。すなわち、対象とする顔の画像を適切に表示するために、撮像条件の調整を行うことができる。

さらに、前回の顔検出結果と最新の顔検出結果とに応じて、サーチ範囲Ｓを決定している。顔の移動量に応じて、サーチ範囲Ｓを変えているため、適切なサーチ範囲Ｓを設定することができる。例えば、顔の移動量が大きい場合は、対象となる人物が早く移動しているため、サーチ範囲Ｓが大きくなる。これにより、顔が高速に動いた場合でも、サーチ範囲Ｓ内に顔の位置を含ませることができる。よって、確実に顔座標を補正することができる。反対に顔の移動量が小さい場合、対象となる人物の動きがほとんどないため、サーチ範囲Ｓが小さくなる。サーチ範囲Ｓを絞り込むことができるため、演算処理の負荷を低減し、処理を迅速に行うことができる。

次に、本実施の形態にかかる撮像装置の画像処理方法について、図６、及び図７を用いて説明する。図６、及び図７は、画像処理方法を示すフローチャートである。

まず、顔検出データの更新があるか否かを判定する（ステップＳ１）。すなわち、顔検出処理部１３１による顔検出が終了したか否かを判定する。新たな顔検出データの更新がない場合（ステップＳ１のＮＯ）、前回の補正エリアＡとサーチ範囲Ｓを取得する（ステップＳ２）。そして、ステップＳ８に移行する。すなわち、前回の補正エリアＡを検出エリアＣとして、検出エリアＣを更新する。また、前回のサーチ範囲Ｓを変更せずにそのまま使用する。

新たな顔検出データの更新がある場合（ステップＳ１のＹＥＳ）、最新の顔検出データを取得する（ステップＳ３）。すなわち、顔検出データ取得部４０１が最新の顔検出結果の顔座標、及び顔サイズを取得する。これにより、顔検出処理部１３１による顔座標、及び顔サイズに応じて、検出エリアＣが確定する。そして、一つ前の顔検出データの有無を判定する（ステップＳ４）。一つ前の顔検出データが無い場合（ステップＳ４のＮＯ）、全画面をサーチ範囲Ｓとする（ステップＳ５）。すなわち、最新の顔検出結果が１回目の顔検出結果である場合、フレーム画像の全領域をサーチ範囲Ｓとする。そして、ステップＳ８に移行する。

一つ前の顔検出データの更新がある場合（ステップＳ４のＹＥＳ）、一つ前の顔検出データを取得する（ステップＳ６）。すなわち、顔検出データ取得部４０１が１回前の顔検出結果の顔座標、及び顔サイズを取得する。そして、補正・予測処理部４０３が、最新の顔検出データと、一つ前の検出データを比較して、サーチ範囲Ｓを確定する（ステップＳ７）。サーと範囲Ｓは、上記のように顔座標の移動量Ｘ、Ｙを考慮した大きさとなっている。なお、サーチ範囲Ｓは、顔サイズを考慮して決定されていてもよい。例えば、顔サイズが大きい場合、サーチ範囲Ｓを大きくしてもよい。そして、ステップＳ８に移行する。

ステップＳ８では、サーチ範囲Ｓ内をリファレンスエリアＲでサーチする。そして、リファレンスエリアＲと検出エリアＣとを順次比較していく。この比較結果によって、比較値ＳＡＤを求めることができる。そして、サーチ範囲Ｓ内に信頼できるサーチ結果があるか否かを判定する（ステップＳ９）。例えば、比較値ＳＡＤが所定のしきい値よりも低くなっているか否かを判定する。比較値ＳＡＤが予め定められたしきい値よりも高い場合、信頼できるサーチ結果が無いと判定する（ステップＳ９のＮＯ）。すなわち、サーチ範囲Ｓ内に検出エリアＣに十分類似したリファレンスエリアＲが存在しないため、過去の顔座標をそのまま利用する（ステップＳ１０）。すなわち、補正・予測処理部４０３が、１回前に補正した補正エリアＡを、最新の補正エリアとしてもう一度利用する。そして、ステップＳ１３に移行する。

比較値ＳＡＤが予め定められたしきい値よりも低い場合、信頼できるサーチ結果があると判定する（ステップＳ９のＹＥＳ）。すなわち、サーチ範囲Ｓ内に検出エリアＣに十分類似したリファレンスエリアＲが存在するため、最もマッチングしたエリアを補正エリアＡに選定する（ステップＳ１１）。比較値ＳＡＤが最小となったリファレンスエリアＲを最新の補正エリアＡとする。そして、最新の補正エリアＡから顔座標と予測する（ステップＳ１２）。次に、ステップＳ１３に移行する。

ステップＳ１３では、画像効果位置を算出する。すなわち、最新の補正エリアＡによって、画像効果を施す位置を決定する。そして、表示するフレーム画像に画像効果を付与する（ステップＳ１４）。例えば、最新の補正エリアＡに顔枠が付加された状態で、フレーム画像が表示されていく。

このようなフローを繰り返し行う。こうすることで、画像効果を適切に位置に施すことができる。例えば、顔検出処理に時間を要する場合でも、最新のフレーム画像に対する画像効果の位置ずれを抑制することができる。さらに、フレーム画像の一部をサーチ範囲に設定しているため、速やかに処理を行うことができる。また、サーチ範囲を移動量に応じて設定しているため、適切かつ速やかな処理が可能になる。もちろん、画像効果は、顔枠の付加に限らず、アニメーションやアバターへの変換や、その他画像の追加などでもよい。さらには、画像効果は、撮像部１００に対するオートフォーカス等の設定調整であってもよい。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上記の動機撮影の処理は、メインプロセッサのＲＯＭ等に格納されたコンピュータプログラムによって実行可能である。上述の例において、各処理をコンピュータ（プロセッサ）に行わせるための命令群を含むプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１００ 撮像部
１０５ アナログ画像信号処理部
１０６ 画像Ａ／Ｄ変換部
１０７ 画像入力コントローラ部
１０８ デジタル信号処理部
１３１ 顔検出処理部
２０２ 音声処理部
２０３ ＲＯＭ
２０４ フラッシュＲＯＭ
２０６ メインメモリ
２０７ メディア制御部
３０１ カードＩ／Ｆ
３０２ カード型記録媒体
３０３ 入出力Ｉ／Ｆ
３０４ 液晶モニタ
３０５ スピーカ
３０６ 操作部
３０７ 入出力端子
４００ 中央制御部
４０１ 顔検出データ取得部
４０２ 移動量算出部
４０３ 補正・予測処理部

Claims (6)

1. 動画像を撮像する撮像部と、
   前記撮像部で撮像された動画像のフレーム画像から検出対象を順次検出する検出部と、
   前記検出対象が検出された検出フレーム画像の間の中間フレーム画像において、前記検出対象の座標を補正する処理部と、
   前記処理部によって補正された検出対象の位置に応じて、画像効果を施す画像効果処理部と、を備え、
   前記処理部が、
   （ａ）前記検出部での検出結果に基づいて、フレーム画像の一部である検出エリアと、前記中間フレーム画像において前記検出対象をサーチするサーチ範囲と、を決定し、
   （ｂ）前記中間フレーム画像の前記サーチ範囲内において、前記検出エリアと比較されるリファレンスエリアをスキャンしていき、
   （ｃ）前記リファレンスエリアをスキャンした時の前記検出エリアの輝度情報と前記リファレンスエリアの輝度情報の比較結果から、前記検出対象の座標を補正する、
   撮像装置。
2. 前記（ｃ）において補正された前記検出対象の位置に基づいて、前記中間フレーム画像から前記検出エリアを抽出して、前記検出エリアの輝度情報を更新し、
   抽出された前記検出エリアによって、前記（ｂ）、及び前記（ｃ）の処理を行うことを特徴とする請求項１に記載の撮像装置。
3. 前回の前記検出対象と最新の前記検出対象との移動量に応じて、前記サーチ範囲が決定されている請求項１、又は２に記載の撮像装置。
4. 前記（ｃ）では、前記検出エリアの輝度情報と前記リファレンスエリアの輝度情報との差の絶対値を画素毎に求め、前記画素毎の絶対値の総和を求め、
   前記サーチ範囲に含まれるリファレンスエリアの中で、前記総和が最小となるリファレンスエリアに基づいて、前記検出対象の位置が補正される請求項１、２、又は３に記載の撮像装置。
5. 前記総和がしきい値よりも大きい時は、前記（ｃ）において前記検出対象の位置を補正しないことを特徴とする請求項４に記載の撮像装置。
6. 動画像を撮像する撮像部を有する撮像装置における画像処理方法であって、
   前記撮像部によって撮像された動画像のフレーム画像から検出対象を順次検出するステップと、
   前記検出対象が検出された検出フレーム画像の間の中間フレーム画像において、前記検出対象の位置を補正するステップと、
   補正された前記検出対象の位置に基づいて、画像効果を施すステップと、を備え、
   前記撮像装置が、
   前記検出対象の検出結果に基づいて、フレーム画像の一部である検出エリアと、前記中間フレーム画像において前記検出対象をサーチするサーチ範囲と、を決定し、
   前記中間フレーム画像の前記サーチ範囲内において、前記検出エリアと比較されるリファレンスエリアをスキャンしていき、
   前記リファレンスエリアをスキャンした時の前記検出エリアの輝度情報と前記リファレンスエリアの輝度情報の比較結果から、前記検出対象の位置を補正する、
   画像処理方法。

Images