JP2010021709A - 画像処理装置 - Google Patents

Abstract

【課題】 画像処理によって加工された動画像において被写体認識の精度を向上させる手段を提供する。
【解決手段】 画像処理装置は、データ読込部と、メモリと、被写体認識部とを備える。データ読込部は、時間軸方向に連続する複数の静止画像を含む第１画像ファイルと、静止画像に画像処理を施して生成された動画像を含む第２画像ファイルとを読み込む。メモリは、認識対象となる被写体の特徴を示す特徴データを記憶する。被写体認識部は、特徴データを用いて画像から被写体を認識する。そして、被写体認識部は、第２画像ファイルが認識処理の対象に指定されたときに、第１画像ファイルの静止画像に対して被写体の認識処理を行う。
【選択図】 図１

Description

本発明は、被写体認識を行う画像処理装置に関する。

従来から、動画撮影および静止画撮影の機能を有する撮像装置が知られている。例えば、特許文献１には、動画撮影中に静止画撮影を行う撮像装置の一例が開示されている。
特開２００１−１１１９３４号公報

ところで、動画像のフレームに被写体認識を行なうことで、所定の被写体が含まれる動画像のフレームを抽出することが検討されている。このとき、静止画像に画像処理による加工を施して生成された動画像については被写体認識の精度が比較的に低くなるため、その対策が検討されていた。

本発明は、上記従来技術の課題を解決するためのものである。本発明の目的は、画像処理によって加工された動画像において被写体認識の精度を向上させる手段を提供することにある。

一の形態に係る画像処理装置は、データ読込部と、メモリと、被写体認識部とを備える。データ読込部は、時間軸方向に連続する複数の静止画像を含む第１画像ファイルと、静止画像に画像処理を施して生成された動画像を含む第２画像ファイルとを読み込む。メモリは、認識対象となる被写体の特徴を示す特徴データを記憶する。被写体認識部は、特徴データを用いて画像から被写体を認識する。そして、被写体認識部は、第２画像ファイルが認識処理の対象に指定されたときに、第１画像ファイルの静止画像に対して被写体の認識処理を行う。

上記の一の形態において、動画像は、静止画像に対して時間軸方向に異なる少なくとも１以上の被加算画像を加算して生成された合成画像によって構成されるものであってもよい。

上記の一の形態において、静止画像の画面解像度は、動画像の画面解像度よりも高く設定されていてもよい。

上記の一の形態において、被写体認識部は、認識処理の結果に基づいて、動画像のうちで被写体を含むフレームを示す付帯データを第２画像ファイルに対応付けて記録してもよい。

上記の一の形態において、被写体認識部は、動画像に対応付けされた被写体の動きベクトルに基づいて、被写体を含むフレームの範囲を求めてもよい。

上記の一の形態において、被写体の認識処理を行なう静止画像は、第１画像ファイルのうちで保存指定されている画像を含んでもよい。

上記の一の形態において、第１画像ファイルの静止画像に対してレタッチ処理を行う画像処理部を画像処理装置がさらに備えていてもよい。そして、被写体認識部は、静止画像のうちの被写体の部分にレタッチ処理が行われた場合に認識処理によって被写体を含む他の静止画像を抽出してもよい。また、画像処理部は、他の静止画像にレタッチ処理を施して、動画像のフレームを生成してもよい。

本発明では、画像処理で加工された動画像から被写体を認識するときに、動画像の生成に用いた静止画像に対して被写体認識処理を行うことで被写体認識の精度を向上させる。

＜電子カメラの構成の説明＞
図１は本実施形態の電子カメラの構成を示すブロック図である。電子カメラは、撮像光学系１１と、レンズ駆動部１２と、撮像素子１３と、撮像素子駆動回路１４と、信号処理回路１５と、データ処理回路１６と、第１メモリ１７と、表示制御回路１８およびモニタ１９と、圧縮／伸長回路２０と、記録Ｉ／Ｆ（インターフェース）２１と、通信Ｉ／Ｆ（インターフェース）２２と、操作部材２３と、レリーズ釦２４と、第２メモリ２６と、制御回路２７およびバス２８とを有している。

ここで、データ処理回路１６、第１メモリ１７、圧縮／伸長回路２０、第２メモリ２６および制御回路２７はそれぞれバス２８を介して相互に接続されている。また、レンズ駆動部１２、撮像素子駆動回路１４、信号処理回路１５、表示制御回路１８、記録Ｉ／Ｆ２１、通信Ｉ／Ｆ２２、操作部材２３、レリーズ釦２４は、それぞれ制御回路２７と接続されている（なお、図１では、信号処理回路１５および表示制御回路１８と制御回路２７との間を結ぶ信号線の図示は簡単のため省略する）。

撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されており、撮像素子１３の撮像面上に被写体像を結像させる役目を果たす。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。

撮像光学系１１の各々のレンズ位置は、レンズ駆動部１２によって光軸方向に調整される。このレンズ駆動部１２はレンズ駆動機構を含み、制御回路２７からのレンズ駆動指令に応じてレンズ位置を調整する。例えば、レンズ駆動部１２がフォーカスレンズを光軸方向に進退駆動することで、撮像光学系１１のフォーカス調整が行われる。また、レンズ駆動部１２がズームレンズを光軸方向に進退駆動することで、撮像光学系１１のズーム調整が行われる。

撮像素子１３は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。本実施形態での撮像素子１３は、静止画像の単写撮像、静止画像の連写撮像および動画像の撮像が可能である。この撮像素子１３の出力は信号処理回路１５に接続されている。なお、撮像素子１３は、ＣＣＤイメージセンサあるいはＣＭＯＳ型イメージセンサなどで構成される。

撮像素子駆動回路１４は、制御回路２７からの指令に応じて所定タイミングの駆動信号を生成し、この駆動信号を撮像素子１３に供給する。そして、撮像素子駆動回路１４は、上記の駆動信号によって、撮像素子１３の電荷蓄積（撮像）および蓄積電荷の読み出しを制御する。

信号処理回路１５は、撮像素子１３の出力に対して各種の信号処理を施すＡＳＩＣである。具体的には、信号処理回路１５は、相関二重サンプリング、ゲインの調整、直流再生、Ａ／Ｄ変換などを実行する。信号処理回路１５でのゲインの調整などのパラメータは、制御回路２７からの指令に応じて決定される。なお、信号処理回路１５はデータ処理回路１６に接続されており、上記信号処理後のデータはデータ処理回路１６に出力される。

データ処理回路１６は、信号処理回路１５から出力された画像のデータに対してデジタル信号処理を施す回路である。データ処理回路１６では、例えば、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整などの画像処理が実行される。このデータ処理回路１６は、表示制御回路１８および圧縮／伸長回路２０にそれぞれ接続されている。そして、データ処理回路１６は、制御回路２７からの指令に応じて、画像処理後の記録画像のデータを圧縮／伸長回路２０に出力する。

また、データ処理回路１６は、制御回路２７からの指令に応じて、画像の解像度変換（画素数変換）処理を実行する。一例として、モニタ１９に再生画像を表示する場合、データ処理回路１６は、再生表示しようとする画像のデータに対して、モニタ１９の画素数に合わせるための解像度変換（画素数変換）処理を実行する（なお、特に断りのないかぎり、本明細書でモニタ１９に画像を表示するときには、データ処理回路１６で表示画像の画素数調整が行われているものとする）。そして、データ処理回路１６は、解像度変換後の再生画像のデータを表示制御回路１８に出力する。また、電子ズーム処理を行う場合、データ処理回路１６は、入力される画像のデータに対して解像度変換（画素数変換）処理を実行し、解像度変換後の画像のデータを圧縮／伸長回路２０および表示制御回路１８にそれぞれ出力する。

第１メモリ１７は、データ処理回路１６または圧縮／伸長回路２０による処理の前工程や後工程などで画像のデータを一時的に記憶するバッファメモリである。

表示制御回路１８は、制御回路２７からの指令に応じて、データ処理回路１６から入力された画像のデータに所定の信号処理（例えば、モニタ１９の表示特性にあわせた階調特性の変換など）を施してモニタ１９へ出力する。表示制御回路１８は、さらに上記の画像のデータに撮影メニュー、カーソルなどのオーバーレイ画像データを重畳させる処理を行う。このような制御回路２７および表示制御回路１８の制御によって、オーバーレイ画像が重畳された被写体画像をモニタ１９に表示することができる。なお、本実施形態でのモニタ１９は、接眼部を有する電子ファインダや、カメラ筐体の背面などに設けられる液晶表示パネルのいずれで構成されていてもよい。

圧縮／伸長回路２０は、制御回路２７からの指令に応じて、データ処理回路１６から入力される画像のデータに所定の圧縮処理を施す。この圧縮／伸長回路２０は記録Ｉ／Ｆ２１に接続されており、圧縮後の画像のデータは記録Ｉ／Ｆ２１に出力される。また、圧縮／伸長回路２０は、圧縮後の画像のデータに対し、圧縮処理の逆処理である復号化処理を実行する。なお、本実施形態の圧縮／伸長回路２０は、可逆圧縮（いわゆるロスレス符号化）を行うことが可能な構成となっている。

記録Ｉ／Ｆ２１は、記憶媒体２９を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２１は、コネクタに接続された記憶媒体２９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２９は、小型ハードディスクや、半導体メモリを内蔵したメモリカードや、ＤＶＤなどの光ディスクなどで構成される。図１では記憶媒体２９の一例としてメモリカードを図示する。なお、記憶媒体２９は、電子カメラに内蔵されるものであってもよく、電子カメラに対して着脱可能に装着されるものであってもよい。また、画像のデータを読み書きする記憶媒体として、通信Ｉ／Ｆ２２を介して電気的に接続された外付けの記憶媒体を利用してもよい。

ここで、電子カメラの動作モードの１つである撮影モードにおいて撮像した画像のデータを記録する場合、制御回路２７は、記録画像に対応する再生画像をモニタ１９に表示させる。本明細書での記録画像とは、撮像により得られ、最終的に記憶媒体２９に記録されるべき（あるいは記憶媒体２９に記録された）静止画像データに対応する静止画像を意味するものとする。

なお、操作部材２３によるユーザーの操作によって、記録画像の非圧縮記録が制御回路２７に指示されている場合、圧縮／伸長回路２０は圧縮処理を行なわずに、記録画像のデータを記録Ｉ／Ｆ２１に出力する。上記の非圧縮記録の場合にも、制御回路２７は、記録画像に対応する再生画像をモニタ１９に表示させる。

また、電子カメラの動作モードの１つである再生モードにおいて、制御回路２７は、記憶媒体２９に記憶されている画像のデータによる再生画像をモニタ１９に表示させる。この再生モードでは、記録Ｉ／Ｆ２１が、制御回路２７からの指令に応じて再生対象の画像のデータを記憶媒体２９から読み出す。そして、圧縮／伸長回路２０は、再生対象の画像のデータに対して復号化処理を施した上で、復号化後の画像のデータをデータ処理回路１６に送る。その後、データ処理回路１６および表示制御回路１８が復号化後の画像のデータに対して上述の処理を実行することで、モニタ１９には再生画像が表示される。なお、記憶媒体２９から非圧縮の画像データが読み出された場合には、圧縮／伸長回路２０は復号化処理を行わずに画像のデータをデータ処理回路１６に送る。

通信Ｉ／Ｆ２２は、有線または無線による公知の通信規格の仕様に準拠して、外部装置３０（例えば、パーソナルコンピュータや外付けの記憶媒体）とのデータ送受信を制御する。電子カメラと外部装置３０との通信は、有線または無線の通信回線を介して行われる。

操作部材２３は、例えば、コマンドダイヤル、十字状のカーソルキー、ズーム操作釦、決定釦などで構成される。そして、操作部材２３は電子カメラの各種入力をユーザーから受け付ける。なお、操作部材２３には、後述する補間画像を生成するフレーム数を設定する設定部材を設けるようにしてもよい。

一例として、制御回路２７は、ズーム操作釦からの入力を受け付けるとズームレンズについてのレンズ駆動指令を出力し、レンズ駆動部１２にズームレンズを進退駆動させる。これにより、撮像素子１３の撮像面上に結像される被写体像が拡大もしくは縮小して撮像光学系１１による光学的なズーム調整が行われる。

また、制御回路２７は、さらにズーム操作釦からの入力を受け付けるとデータ処理回路１６に指令を出力し、画像のデータに対する解像度変換処理の変換比率をユーザーの操作に応じて変化させる。これにより、モニタ１９に表示される画像が拡大もしくは縮小して電子的なズーム調整が行われる（電子ズーム）。上記の解像度変換処理の変換比率は、電子ズーム倍率に対応する。データ処理回路１６が電子ズーム倍率を高める方向に変換比率を変える場合、モニタ１９には再生画像の一部が拡大されて表示される（拡大率が上がる反面、再生画像の表示範囲は狭くなる）。一方、データ処理回路１６が電子ズーム倍率を低くする方向に変換比率を変える場合、モニタ１９に表示される再生画像の拡大率は低くなるが、再生画像の表示範囲は広くなる。なお、上記の撮影モードでは、モニタ１９の表示画像に対応する撮像画像のデータを記憶媒体２９に記録することができる。

レリーズ釦２４は、撮影モードにおいて、半押し操作による撮影前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。

制御回路２７は、レリーズ釦２４の半押し操作に応じて、公知のコントラスト検出方式のＡＦ動作を実行する。このＡＦでは、撮像素子１３から読み出される画像信号のなかで、撮影画面内に予め設定されているフォーカス検出領域に対応する信号が用いられる。具体的には、信号処理回路１５によって信号処理された画像のデータのうち、フォーカス検出領域に対応するデータについての高周波数成分の積算値（いわゆる焦点評価値）を最大にするように、制御回路２７はフォーカスレンズのレンズ駆動指令をレンズ駆動部１２に送る。焦点評価値を最大にするフォーカスレンズの位置は、撮像素子１３によって撮像される被写体像のエッジのぼけをなくし、画像のコントラストを最大にする（尖鋭度を高める）合焦位置である。

第２メモリ２６は、フラッシュメモリ等の不揮発性の記憶媒体である。この第２メモリ２６には、各種の設定データやプログラムなどが記憶されている。また、第２メモリ２６には、後述の被写体認識処理で用いるテンプレートデータが記憶されている。

制御回路２７は、電子カメラの動作を統括的に制御するプロセッサである。例えば、制御回路２７は、撮像素子１３から出力される信号から被写界の明るさを求める。そして、制御回路２７は、上記の明るさの情報に基づいて公知のＡＥ演算を実行し、撮影モードでの撮像条件（撮像素子１３の電荷蓄積時間、絞り（不図示）の絞り値、画像信号の増幅度）を決定する。

また、制御回路２７は、第２メモリ２６等に記憶されたプログラムを実行することで、補間画像の生成処理や、時間軸方向の画像加算による合成処理や、被写体認識処理や、画像のレタッチ処理などを実行する（これらの処理については後述する）。

以下、本実施形態の電子カメラの連写撮影モードの動作と、再生モードの動作とをそれぞれ説明する。

＜連写撮影モードの説明＞
図２は、本実施形態における連写撮影モードでの動作を示す流れ図である。ここで、連写撮影モードは上記の撮影モードの１つであって、レリーズ釦２４が押圧されている間、電子カメラが所定の時間間隔で静止画像の撮像動作を連続的に実行するモードである。なお、連写撮影モードでの制御回路２７は、連写撮影される各々の記録画像が静止画としての鑑賞に耐えうるように撮像条件を決定する。

ステップＳ１０１：制御回路２７は、レリーズ釦２４の押圧操作を検出すると、上記のＡＦ動作を連続的に実行するとともに、記録画像の連写撮影動作を実行する。

ここで、Ｓ１０１でのＡＦ動作に関し、制御回路２７は画面内を移動する特定被写体を追尾してＡＦ動作を行ってもよい。あるいは、制御回路２７は、所定の撮影距離の物体に常に合焦するようにＡＦ動作を行ってもよい。なお、Ｓ１０１において、制御回路２７は、操作部材２３を介したユーザーのマニュアル操作によって焦点調整を行うようにしてもよい。

また、Ｓ１０１での連写撮影動作に関し、制御回路２７は、撮像素子駆動回路１４に対して、連写撮影動作を実行するための駆動信号の出力を指示する。撮像素子１３は、上記の駆動信号を受けて、例えば１０ｆｐｓのフレームレートで画像信号を出力する。そして、撮像素子１３から出力された各フレームの画像信号は、信号処理回路１５およびデータ処理回路１６で所定の処理が施される。その後、制御回路２７は、各フレームに対応する記録画像のデータを第１メモリ１７に一時的に記憶させる。

なお、連写撮影動作時には、データ処理回路１６は、記録画像のデータに解像度変換処理を施し、モニタ１９の画素数に合わせたビュー画像のデータを生成する。そして、データ処理回路１６は、各フレームのビュー画像のデータを表示制御回路１８を介して順次モニタ１９に供給する。連写撮影動作時には、表示制御回路１８の制御によって、モニタ１９には各々のフレームに対応するビュー画像が順次表示される。これにより、ユーザーは、モニタ１９のビュー画像を目視することで、被写界の状態と記録画像の構図とを確認することができる。

ステップＳ１０２：制御回路２７は、第１メモリ１７に記憶されている各々の記録画像のデータ（Ｓ１０１）に対して、特徴点抽出処理を実行する。具体的には、制御回路２７は、記録画像のデータに対してエッジ成分を抽出し、例えば抽出したエッジの交点（コーナー）の位置を特徴点として求める。そして、制御回路２７は、各々の記録画像のフレームに対応する特徴点の位置を第１メモリ１７または第２メモリ２６に記録する。なお、制御回路２７は、ユーザーがモニタ１９上で指定した点を特徴点として抽出するようにしてもよい。

ステップＳ１０３：制御回路２７は、複数の記録画像のフレームの間を補間する補間画像を生成する。この補間画像の画素数は記録画像と同じ画素数に設定される。また、本実施形態での制御回路２７は、被写体像の変形を伴う幾何学的なモーフィング処理や、被写体像が変形せずに移動するモーフィング処理を行って補間画像を生成する。

具体的には、制御回路２７は、以下の（イ）から（ト）の手順で補間画像を生成する。ここで、２つの記録画像の間に挿入される補間画像のフレーム数は、ユーザーの入力によって制御回路２７が変更する。なお、以下の例では、簡単のため、２つの記録画像の間に２フレーム分の補間画像を挿入する場合について説明する。

（イ）制御回路２７は、時間軸方向に隣接する２つの記録画像のフレームをキーフレームとして指定する。

（ロ）制御回路２７は、上記（イ）で指定された２つのキーフレームにそれぞれ含まれる特徴点の対応付けを行う。例えば、制御回路２７は、２つのキーフレーム間で相互の特徴点のマッチング処理を実行して、各々の特徴点の対応関係を求める。

（ハ）制御回路２７は、上記（ロ）で対応付けした一対の特徴点の位置を空間方向に結ぶ関数（モーフィング動作における特徴点の移動軌跡）を求める。ここで、上記の関数は、一対の特徴点を直線で結ぶものであってもよく、あるいは一対の特徴点をスプライン曲線などで結ぶものであってもよい。なお、制御回路２７は、２つのキーフレーム間で対応付けができた全ての特徴点について上記の関数を求める。

（ニ）制御回路２７は、上記（ハ）で求めた関数によって、補間画像のフレームにおける特徴点の位置を決定する。具体的には、制御回路２７は、補間画像の挿入数に応じて上記の関数と一対の特徴点とで定義された区間を内分し、この内分点の位置を補間フレームの特徴点の位置とする。

図３は、補間画像での特徴点の決定方法の一例を示す説明図である。図３の例では、第１キーフレームの特徴点Ａ，Ｂ，Ｃに対して、第２キーフレームの特徴点Ｄ，Ｅ，Ｆがそれぞれ対応する。そして、第１特徴点Ａ，Ｄを結ぶ一次関数の区間を３つに内分する点（Ｇ，Ｊ）の位置が、各々の補間画像における第１特徴点の位置となる。なお、補間画像における第２特徴点の位置（Ｈ，Ｋ）および第３特徴点の位置（Ｉ，Ｌ）についても、上記の第１特徴点の場合と同様の手順で求めることができる。

（ホ）制御回路２７は、中間画像において特徴点以外の注目画素の位置をそれぞれ求める。具体的には、制御回路２７は、キーフレームにおける注目画素の位置を特徴点を結ぶベクトルで定義する。そして、制御回路２７は、上記のベクトルの定義に基づいて、補間画像上での注目画像の位置を求める。

図４は、補間画像での注目画素の決定方法の一例を示す説明図である。

したがって、制御回路２７は、上記の方法で補間画像における各々の注目画素の位置を求めることができる。

（ヘ）制御回路２７は、補間画像における各画素の階調値の変化を求める。具体的には、第１に、制御回路２７は、２つのキーフレーム間において対応関係を有する画素（注目画素）の階調値をそれぞれ求める。第２に、制御回路２７は、２つの階調値の区間を補間画像の挿入数に応じて内分し、補間画像における注目画素の階調値を求める。一例として、２つのキーフレームで注目画素の階調値がそれぞれ１３０，１３６であるときに、制御回路２７は、階調値１３０〜１３６の区間を３つに内分する点を求める。そして、制御回路２７は、上記の内分点に対応する階調値（１３２，１３４）を、各々の補間画像での注目画素の階調値とする。なお、制御回路２７は、上記の階調値をＲＧＢまたはＹＣｂＣｒのそれぞれの値について求める。

（ト）制御回路２７は、上記の工程で生成された補間画像を第１メモリ１７または第２メモリ２６に記録する。そして、制御回路２７は、上記（イ）で指定したキーフレームを変更して、上記（ロ）から（へ）までの処理を繰り返す。これにより、制御回路２７は、連写撮影された記録画像のすべてのフレーム間で補間画像をそれぞれ生成する。

ステップＳ１０４：制御回路２７は、時間軸方向に隣接する２つの記録画像のフレームを対象として、フレーム間での被写体の動きベクトルを求める。例えば、制御回路２７は、１６×１６画素のマクロブロック単位でフレーム間の被写体の動きを抽出し、この結果からフレーム間での被写体の動きベクトルを求める。なお、Ｓ１０４での制御回路２７は、連写撮影された記録画像のすべてのフレーム間で上記の動きベクトルをそれぞれ演算する。

ステップＳ１０５：制御回路２７は、各々の記録画像のフレーム間の動きベクトル（Ｓ１０４で求めたもの）のうち、動きベクトルの大きさの最大値Ｚをそれぞれ求める。そして、制御回路２７は、動きベクトルの大きさの最大値Ｚを第１メモリ１７に記録する。

ステップＳ１０６：制御回路２７は、動きベクトルの大きさの最大値Ｚ（Ｓ１０５で求めたもの）がすべてのフレーム間でいずれも「０」値であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１５に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１０７に移行する。なお、Ｓ１０６でＹＥＳ側となるときは、例えば、明るさや色に変化はあるが、動きのない被写体を連写撮影した場合などが相当する。

ステップＳ１０７：制御回路２７は、記録画像のフレームと補間画像のフレームとを含む対象画像群のうちから特定画像を１つ選択する。この特定画像は、後述の合成画像を生成するときに基準となる画像である。より好適には、特定画像は、記録画像と補間画像とを時系列に並べたときに時間的に等間隔となるように対象画像群から選択される。

なお、本実施形態のＳ１０７では、制御回路２７は記録画像のフレームのうちから特定画像を順次選択するものとする。この選択は、時系列に並ぶ複数の記録画像から途中を飛ばすことなく全て選択されるものとする。

ステップＳ１０８：制御回路２７は、Ｓ１０７で選択された現在の特定画像が最初の特定画像（連写撮影による最初の記録画像）であるか否かを判定する。最初の特定画像である場合（ＹＥＳ側）にはＳ１１３に移行する。一方、最初の特定画像ではない場合（ＮＯ側）にはＳ１０９に移行する。

ステップＳ１０９：制御回路２７は、Ｓ１０５で求めた動きベクトルの大きさの最大値Ｚから、現在の特定画像と次の特定画像との間に対応する値をそれぞれ読み出す。そして、制御回路２７は、読み出した動きベクトルの大きさの最大値Ｚが閾値Ｔｈ未満（Ｚ＜Ｔｈ）か否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１０に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１１１に移行する。

ステップＳ１１０：制御回路２７は、動画再生に用いる合成画像の生成時に加算するフレーム数を「３」に設定するとともに、特定画像と補間画像との加算比率をそれぞれ決定する。なお、合成画像とは、特定画像に対して時間軸方向に異なる画像を加算して被写体に像流れを生じさせた画像である。

具体的には、制御回路２７は、特定画像に対して時間軸方向で前（過去）と後（未来）との１フレーム分ずつの補間画像（すなわち、特定画像を基準として１フレーム分過去の補間画像および１フレーム分未来の補間画像）をそれぞれ被加算画像として選択する。そして、制御回路２７は、特定画像の加算比率を０．５に設定する。また、制御回路２７は、各々の被加算画像の加算比率をそれぞれ０．２５に設定する。すなわち、時間軸方向に表記すると、Ｓ１１０での画像の加算比率は「０．２５：０．５：０．２５」となる（図５（ａ）参照）。その後、制御回路２７はＳ１１２に処理を移行する。

ステップＳ１１１：制御回路２７は動画再生に用いる合成画像の生成時に加算するフレーム数を「５」に設定するとともに、特定画像と補間画像との加算比率をそれぞれ決定する。

具体的には、制御回路２７は、特定画像に対して時間軸方向で前と後との２フレーム分ずつの補間画像（すなわち、特定画像を基準として２フレーム分まで過去の補間画像および２フレーム分まで未来の補間画像）をそれぞれ被加算画像として選択する。そして、制御回路２７は、特定画像の加算比率を０．４に設定する。また、制御回路２７は、各々の被加算画像のうち、特定画像を基準として前後１フレーム目の補間画像の加算比率をそれぞれ０．２に設定する。さらに、制御回路２７は、各々の被加算画像のうち、特定画像を基準として前後２フレーム目の補間画像の加算比率をそれぞれ０．１に設定する。すなわち、時間軸方向に表記すると、Ｓ１１１での画像の加算比率は「０．１：０．２：０．４：０．２：０．１」となる（図５（ｂ）参照）。

ステップＳ１１２：制御回路２７は、上記の加算フレーム数および加算比率（Ｓ１１０またはＳ１１１で求めたもの）に基づいて、特定画像のデータと補間画像を加算して合成画像を生成する。そして、制御回路２７は、生成した合成画像のデータを第１メモリ１７に一時的に記憶する。

ここで、図６（ａ）に特定画像の一例を示す。また、図６（ｂ）では、図６（ａ）の特定画像を表示の核とした合成画像を模式的に示す。この図６（ｂ）の例では、加算フレーム数が「５」であって、時間軸方向で表記したときに画像の加算比率が「０．１：０．２：０．４：０．２：０．１」となる場合の例を示している。合成画像は、表示の核となる特定画像に対して時間軸方向で過去の画像と未来の画像とが加算されるため、画像上に像流れが発生する。そのため、複数の合成画像を動画として鑑賞した場合には、動きの流れが滑らかで好ましい画像となる。なお、合成画像を生成するときの加算フレーム数および加算比率は、連写撮影した記録画像間での動きの大きさに応じて制御回路２７が変化させる。そのため、本実施形態では、撮影したシーンの被写体の動きに応じて、合成画像の像流れを好ましい量に調整できる。

ステップＳ１１３：制御回路２７は、記録画像のフレームと補間画像のフレームとを含む対象画像群の最後から１フレーム前のフレームまで判定が終了したか否かを判定する。本実施形態においては、記録画像の最後から１つ前までのフレームまでの判定が終了したか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１４に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、制御回路２７はＳ１０７に戻って上記動作を繰り返す。

ステップＳ１１４：圧縮／伸長回路２０は、制御回路２７の指令に応じて、記録画像のデータおよび補間画像のデータを非加算の状態（合成画像を生成しない状態）で、Ｍｏｔｉｏｎ−ＪＰＥＧ形式の圧縮を行って第１画像ファイルを生成する。また、制御回路２７は、各々の特定画像ごとの加算フレーム数および加算比率を示すデータを第１画像ファイルに対応付けて記録する。

また、圧縮／伸長回路２０は、制御回路２７の指令に応じて、１フレーム目の特定画像と、上記の合成画像と、最終フレームの特定画像とを１つの動画像としてＭＰＥＧ圧縮し、第２画像ファイルを生成する。ここで、第２画像ファイルの各フレームの画面解像度（画素数）は、再生装置の解像度の規格に合わせて設定される。なお、Ｓ１１４において、第２画像ファイルの各フレームの画面解像度は、第１画像ファイルの記録画像および補間画像の画面解像度よりも低く設定されている。

そして、制御回路２７は、動きベクトルの大きさが「０」ではない旨のフラグを第１画像ファイルおよび第２画像ファイル内にそれぞれ記録しておく。そして、第１画像ファイルおよび第２画像ファイルは、最終的に記憶媒体２９に記録される。その後、制御回路２７は連写撮影モードの処理を終了する。

ステップＳ１１５：圧縮／伸長回路２０は、制御回路２７の指令に応じて、記録画像のデータおよび補間画像のデータを非加算の状態（合成画像を生成しない状態）で、Ｍｏｔｉｏｎ−ＪＰＥＧ形式の圧縮を行って画像ファイルを生成する。また、Ｓ１１５の場合には、制御回路２７は、動きベクトルの大きさが「０」である旨のフラグを画像ファイル内に記録しておく。そして、この画像ファイルは最終的に記憶媒体２９に記録される。以上で、図２の流れ図の説明を終了する。

＜再生モードの説明＞
次に、本実施形態の再生モードでの動作を説明する。図７は、本実施形態の再生モードでの設定画面の一例を示す図である。本実施形態の再生モードでは、画像ファイルの再生態様として、「静止画像再生」、「コマ送り再生（動的再生）」、「通常動画再生」の項目をユーザーが選択することが可能である。なお、以下の例では、上記の連写撮影モードの画像ファイルのうち、上記のＳ１１４で生成されたもの（第１画像ファイルおよび第２画像ファイル）が再生対象となる場合を前提として説明を行う。

（静止画像再生）
「静止画像再生」の選択時には、制御回路２７は、第１画像ファイルのうちでユーザーに指定された画像のみをモニタ１９に静止画表示する。なお、第１画像ファイルの各画像には像流れがないため、鮮明な静止画像がモニタ１９に再生される。

ここで、制御回路２７は、ユーザーの操作に応じて、「静止画像再生」で表示中の画像に対してレタッチ処理を行うこともできる。一例として、レタッチ処理の内容には、画像全体の明るさの補正（ブライトネス処理）、画像のノイズ除去、画像の彩度調整および色補正、コントラスト補正、トーンカーブ補正、ぼかし処理、輪郭強調処理、アンシャープマスク処理、シャドウポイント処理（画像内でもっとも暗くしたいＲＧＢ値の範囲を指定する処理）、ハイライトポイント処理（画像内でもっとも明るくしたいＲＧＢ値の範囲を指定する処理）などが含まれる。

なお、制御回路２７は、記録画像にレタッチ処理を施したときには、レタッチ処理後の画像をＪＥＰＧ圧縮し、第１画像ファイルの元画像とは別に画像のデータを記憶媒体２９に記録する。

（動的再生）
「動的再生」の選択時には、制御回路２７は、第１画像ファイルの画像のうち記録画像のみを時系列に沿ってモニタ１９にコマ送りで連続的に再生する（動的再生）。よって、連写によって得られた記録画像の動的再生が開始される。なお、動的再生において、制御回路２７は、補間画像と記録画像とを時系列に沿って連続再生するようにしてもよい。

（通常動画再生）
「通常動画再生」の選択時には、制御回路２７は、第２画像ファイルの動画像をモニタ１９に再生表示する。なお、第２画像ファイルの各画像には画像加算によって像流れが付加されているので、動きの流れが滑らかで好ましい動画を鑑賞することができる。

（付帯データの生成処理）
また、制御回路２７は、「通常動画再生」での編集処理の一つとして、ユーザーの指定した第２画像ファイルの動画像に対して、動画像の内容を示す付帯データを付与することも可能である。以下、図８の流れ図を参照しつつ、付帯データの生成処理の内容を説明する。

ステップＳ２０１：制御回路２７は、第１画像ファイルおよび第２画像ファイルを記憶媒体２９から読み出す。そして、圧縮／伸長回路２０は、制御回路２７の指令に応じて、各画像ファイルの復号化処理を実行する。なお、復号化された各々の画像のデータは第１メモリ１７に一時的に記憶される。

ステップＳ２０２：制御回路２７は、認識対象の被写体の特徴を示すテンプレートデータをユーザーの操作に応じて生成する。なお、認識対象のテンプレートデータが予め第２メモリ２６に記憶されている場合には、制御回路２７はＳ２０２での動作を省略することができる。

一例として、Ｓ２０２での制御回路２７は、第１画像ファイルから選択された記録画像をモニタ１９に再生する。このとき、制御回路２７は、第１画像ファイルの記録画像のうち、静止画として保存指定されたフレーム（例えば、撮影時または再生時にユーザーが保存指定のマーキングを行なった記録画像）を優先して再生するようにしてもよい。そして、制御回路２７は、認識対象の被写体を指定する入力を操作部材２３から受け付ける。制御回路２７は、上記入力を受け付けると、再生中の画像に対応する記録画像から認識対象の被写体を含む部分領域を切り出してテンプレートデータを生成する。

このとき、制御回路２７は、切り出した部分画像をそのままテンプレートデータとしてもよく、また、切り出した画像の輪郭成分、輝度、色差、コントラスト比などのパラメータを示すデータをテンプレートデータとしてもよい。

なお、本実施形態の電子カメラでは、人間、動物、建築物、乗物などを含むあらゆる物体を認識対象としてテンプレートデータを生成することが可能である。例えば、人間の顔が認識対象である場合、制御回路２７は、テンプレートデータによって被写体の顔検出処理を行うこともできる。また、各々の人物の特徴を示すテンプレートデータを第２メモリ２６に予め登録すれば、制御回路２７は被写体の人物認証を行うことも可能となる。

ステップＳ２０３：制御回路２７は、認識対象の被写体をユーザーに選択させる画面（不図示）をモニタ１９に表示するとともに、認識対象とする被写体の選択入力を操作部材２３から受け付ける。例えば、制御回路２７は、テンプレートデータに対応する画像をモニタ１９に表示し、認識対象の画像をユーザーに選択させる。そして、制御回路２７は、ユーザーによる選択入力を受け付けると、指定された画像に対応するテンプレートデータを用いて被写体認識を行うこととなる。

ステップＳ２０４：制御回路２７は、Ｓ２０３で選択されたテンプレートデータを用いて被写体認識処理を実行し、第２画像ファイルの動画像のうちで認識対象を含むフレームを特定する。なお、Ｓ２０４の被写体認識処理において、制御回路２７は、第２画像ファイルの各フレームと対応関係を有する第１画像ファイルの記録画像を用いて被写体認識処理を行う。

一例として、制御回路２７は、Ｓ２０３で選択されたテンプレートデータを用いて、第１画像ファイルの記録画像の被写体とのテンプレートマッチングを実行する。そして、テンプレートマッチングで求めた被写体の類似度が閾値以上となるとき（記録画像の被写体がテンプレートデータの示す認識対象の特徴と類似するとき）には、制御回路２７は記録画像に認識対象の被写体が存在するものと判定する。そして、制御回路２７は、時間軸方向に連続する各記録画像について上記のテンプレートマッチングを順次実行し、認識対象の被写体が存在する記録画像を特定する。

また、他の例として、制御回路２７は、動画像の動きベクトルを用いて他の画像での認識対象の位置を特定することもできる。例えば、制御回路２７は、ある記録画像からテンプレートマッチングで認識対象の被写体を検出したときには、認識対象を検出した記録画像に対応する第２画像ファイルのフレームを特定し、その特定されたフレームでの認識対象の位置を求める。そして、制御回路２７は、第２画像ファイルでＭＰＥＧ圧縮時に求めた動きベクトルを参照し、上記の特定されたフレームでの認識対象の位置での被写体の動きベクトルから前後のフレームに認識対象が存在するか否かを判定する。

すなわち、動きベクトルを求めるためには前後のフレーム間に認識対象の被写体が存在する必要があるため、制御回路２７は認識対象に対応する動きベクトルに基づいて、他方のフレームに認識対象が存在するものと判定できる。この場合には、認識対象を含むフレームと前後するフレームについては、動画像の動きベクトルを参照することで比較的簡単に認識対象の被写体の有無を判定できるので、制御回路２７の演算負荷を軽減できる。

なお、Ｓ２０４での制御回路２７は、認識対象を検出した記録画像に対応する動画像のフレーム（または動きベクトルに基づいて認識対象を検出できた動画像のフレーム）と、その画像内での認識対象の位置とを対応付けて第１メモリ１７に一時的に記憶する。

ステップＳ２０５：制御回路２７は、Ｓ２０４での被写体認識の結果に基づいて付帯データを生成するとともに、第２画像ファイルに付帯データを対応付けて記録する。

例えば、制御回路２７は、認識対象が検出された動画像のフレームを示すポインタを第２画像ファイルのヘッダ領域に記録する。あるいは、制御回路２７は、動画像において認識対象の被写体が撮影されている時間帯を示すデータを第２画像ファイルのヘッダ領域に記録する。なお、Ｓ２０５で生成された付帯データは、例えば、通常動画再生時において、認識対象の被写体が撮影されているシーンの頭出しなどに用いることができる。以上で、図８の流れ図の説明を終了する。

上記の付帯データの生成処理では、画像加算によって像流れの生じた動画像から被写体認識を行うときに、第２画像ファイルの動画像に対応する第１画像ファイルの記録画像に対して被写体認識処理を実行する。そのため、像流れのない鮮明な静止画像で被写体認識が行なわれるので、第２画像ファイルの合成画像で被写体認識を行う場合と比べて、被写体の認識精度を向上させることができる。しかも、第１画像ファイルの記録画像は、第２画像ファイルの動画像よりも画面解像度が高いため、多くの情報量をもつ画像を用いて精度の高い演算を行うことも容易となる。また、本実施形態では、被写体認識に用いるテンプレートデータも第１画像ファイルの記録画像から生成するので、より被写体認識の精度を向上させることができる。

（動画像へのレタッチ処理）
また、本実施形態の電子カメラでは、上述の被写体認識の結果を利用して、ある記録画像の被写体に施されたレタッチ処理の結果を第２画像ファイルの動画像に反映させることもできる。

図９は、第２画像ファイルにレタッチ処理を反映させるときの制御回路２７の動作例を示す流れ図である。なお、図９の例では、第１画像ファイルのいずれかの記録画像に予めレタッチ処理が施されていることを前提として説明を行う。

ステップＳ３０１：制御回路２７は、記憶媒体２９からレタッチ処理後の画像（以下「レタッチ画像」と称する）を読み出すとともに、レタッチ画像から認識対象のテンプレートデータを生成する。なお、Ｓ３０１での制御回路２７の動作は、上記のＳ２０２とほぼ共通するので重複説明を省略する。

ステップＳ３０２：制御回路２７は、Ｓ３０１で生成されたテンプレートデータを用いて被写体認識を行う。そして、制御回路２７は、第１画像ファイルの複数の記録画像および補間画像のうち、レタッチ画像と共通する被写体が撮影されたフレームを特定する。このとき、制御回路２７は、各々のフレームにおいて認識対象の被写体（レタッチ画像との共通被写体）の位置を特定しておく。なお、Ｓ３０２での制御回路２７の動作は、上記のＳ２０４とほぼ共通するので重複説明を省略する。

また、レタッチ画像との共通被写体を含むフレームを示す付帯データが予め第２画像ファイルに付与されている場合、制御回路２７は、上記の付帯データを用いることでＳ３０１およびＳ３０２の動作を省略することも可能である。

ステップＳ３０３：制御回路２７は、第１画像ファイルのうちでレタッチ画像との共通被写体を含む画像（Ｓ３０２で特定されたフレーム）に対して、それぞれレタッチ画像と同内容のレタッチ処理を施す。例えば、ユーザーが記録画像の被写体に対して色補正を施してレタッチ画像を生成した場合、Ｓ３０３での制御回路２７は、各フレームで対応する被写体の範囲に上記と同様の色補正をそれぞれ実行することとなる。

ステップＳ３０４：制御回路２７は、Ｓ３０３でのレタッチ処理後に第１画像ファイルの画像を用いて合成画像を生成する。このとき、制御回路２７は、時系列に並ぶ複数の記録画像から特定画像を順次選択する。そして、制御回路２７は、各々の特定画像について第１画像ファイルに記憶された加算フレーム数および加算比率を適用して合成画像を生成する。

ステップＳ３０５：圧縮／伸長回路２０は、制御回路２７の指令に応じて、１フレーム目の特定画像と、Ｓ３０４で生成された合成画像群と、最終フレームの特定画像とを１つの動画像としてＭＰＥＧ圧縮し、新たな第２画像ファイルを生成する。新たな第２画像ファイルでは、レタッチ画像におけるレタッチの内容が動画像に反映されるので、ユーザーにとってより好ましい動画を再生することが可能となる。また、ユーザーは、動画像の個々のフレームをレタッチする必要がなくなるので、動画像のレタッチがより容易となる。

なお、Ｓ３０５での制御回路２７は、新たな第２画像ファイルを従前の第２画像ファイルと置き換えてもよい。以上で、図９の流れ図の説明を終了する。

（実施形態の補足事項）
（１）上記実施形態の付帯データの生成処理において、制御回路２７は、第１画像ファイルの記録画像のうち、任意のフレーム（例えば、静止画として保存指定されたフレーム）についてのみ被写体認識を行うものであってもよい。

（２）上記実施形態では、画像の再生時に被写体認識を行って付帯データを生成する例を説明した。しかし、制御回路２７は、撮影時に記録画像に対して被写体認識を行って、第２画像ファイルに付帯データを付与するようにしてもよい。

（３）上記実施形態では、記録画像に補間画像を加算して合成画像を生成する例を説明したが、補間画像を用いずに記録画像同士を加算して合成画像を生成するようにしてもよい。また、上記実施形態では、連写撮影された記録画像から特定画像を選択する例を説明したが、補間画像のフレームから特定画像を選択し、この補間画像に対して時間軸方向の前と後の画像を被加算画像として加算することで合成画像を生成してもよい。

（４）上記実施形態において、第１画像ファイルをＭＰＥＧ規格に準拠して圧縮してもよく、また、第２画像ファイルをＭｏｔｉｏｎ−ＪＰＥＧなどの圧縮形式で記録してもよい。また、上記実施形態のＳ１０１の処理では、記録画像のデータを第１メモリ１７に記録する例を説明しているが、上記の場合において記録画像のデータを記憶媒体２９に記録するようにしてもよい。この場合には、Ｓ１０２以降の処理は、記憶媒体２９に記憶されている記録画像のデータに基づいて実行されることとなる。

（５）上記実施形態のＳ１１２では、加算フレーム数および加算比率のデータを特定画像のデータのみに対応付けして記録する構成を説明した。しかし、上記実施形態において、対象画像群の個々の画像のデータに、画像を合成するときの特定画像を示すデータと画像合成時の加算比率のデータとをそれぞれ対応付けして記録するようにしてもよい。

以下、図５（ｂ）を参照しつつ上記の例をより具体的に説明する。この例では、加算フレーム数を「５」とし、時間軸方向に表記した加算比率は「０．１：０．２：０．４：０．２：０．１」とする。例えば、図５（ｂ）に示す対象画像群のうち、中央の記録画像が特定画像となる場合には、右から２番目の画像（補間画像）のデータには、特定画像としての「中央の記録画像」を示すデータと、そのときの加算比率「０．１」とが対応付けされて記録される。同様に、最も右側の記録画像が特定画像となる場合には、右から２番目の画像（補間画像）のデータには、特定画像としての「右側の記録画像」を示すデータと、そのときの加算比率「０．２」とが対応付けされて記録される。

（６）上記実施形態では、特定画像に対して時間的に前後する画像からそれぞれ被加算画像を選択して合成画像を生成する例を説明した。しかし、上記実施形態において、特定画像に対して時間的に前の画像のみ（または特定画像に対して時間的に後の画像のみ）から被加算画像を選択するようにしてもよい。

（７）上記実施形態では電子カメラの制御回路２７が合成画像の生成などを行う例を説明したが、例えば、電子カメラと接続された外部装置３０（パーソナルコンピュータなど）が、上記実施形態の制御回路２７の処理を実行してもよい。また、上記実施形態で電子カメラの制御回路２７が実行する処理の一部を外部装置３０に負担させて、電子カメラと外部装置３０とを協働させて上記実施形態で説明したアルゴリズムを実現してもよい。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

本実施形態の電子カメラの構成を示すブロック図 本実施形態における連写撮影モードでの動作を示す流れ図 補間画像での特徴点の決定方法の一例を示す説明図 補間画像での注目画素の決定方法の一例を示す説明図 合成画像を構成する画像と加算比率とを示す図 （ａ）特定画像の一例を示す図、（ｂ）図６（ａ）を表示の核とした合成画像を模式的に示す図 本実施形態の再生モードでの設定画面の一例を示す図 付帯データの生成処理の一例を示す図 第２画像ファイルにレタッチ処理を反映させるときの制御回路の動作例を示す流れ図

符号の説明

１３…撮像素子、１９…モニタ、２１…記録Ｉ／Ｆ、２２…通信Ｉ／Ｆ、２３…操作部材、２６…第２メモリ、２７…制御回路、２９…記憶媒体、３０…外部装置

Claims (7)

1. 時間軸方向に連続する複数の静止画像を含む第１画像ファイルと、前記静止画像に画像処理を施して生成された動画像を含む第２画像ファイルとを読み込むデータ読込部と、
   認識対象となる被写体の特徴を示す特徴データを記憶したメモリと、
   前記特徴データを用いて画像から前記被写体を認識する被写体認識部と、を備え、
   前記被写体認識部は、前記第２画像ファイルが認識処理の対象に指定されたときに、前記第１画像ファイルの前記静止画像に対して前記被写体の認識処理を行うことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記動画像は、前記静止画像に対して時間軸方向に異なる少なくとも１以上の被加算画像を加算して生成された合成画像によって構成されることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記静止画像の画面解像度は、前記動画像の画面解像度よりも高く設定されていることを特徴とする画像処理装置。
4. 請求項１から請求項３のいずれか１項に記載の画像処理装置において、
   前記被写体認識部は、前記認識処理の結果に基づいて、前記動画像のうちで前記被写体を含むフレームを示す付帯データを前記第２画像ファイルに対応付けて記録することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記被写体認識部は、前記動画像に対応付けされた前記被写体の動きベクトルに基づいて、前記被写体を含むフレームの範囲を求めることを特徴とする画像処理装置。
6. 請求項１から請求項５のいずれか１項に記載の画像処理装置において、
   前記被写体の認識処理を行なう前記静止画像は、前記第１画像ファイルのうちで保存指定されている画像を含むことを特徴とする画像処理装置。
7. 請求項１から請求項６のいずれか１項に記載の画像処理装置において、
   前記第１画像ファイルの前記静止画像に対してレタッチ処理を行う画像処理部をさらに備え、
   前記被写体認識部は、前記静止画像のうちの前記被写体の部分に前記レタッチ処理が行われた場合に前記認識処理によって前記被写体を含む他の静止画像を抽出し、
   前記画像処理部は、前記他の静止画像に前記レタッチ処理を施して、前記動画像のフレームを生成することを特徴とする画像処理装置。
   
   

Images