JP2009049457A - 撮像装置およびプログラム - Google Patents

Abstract

【課題】 離散的に撮像された２つの画像間で被写体の対応箇所を探索するときに、より効率のよい探索範囲の設定を可能とする手段を提供する。
【解決手段】 撮像装置は、撮像部と、動きセンサと、画像解析部と、制御部とを備える。撮像部は、撮像光学系を通過した光束によって被写体を連続的に撮像して第１画像および第２画像のデータをそれぞれ生成する。動きセンサは、装置に加わる動きの方向および大きさを検出する。画像解析部は、第１画像の注目領域に対応する対応領域を第２画像から探索する。制御部は、動きの方向および大きさに応じて、第２画像での対応領域の探索範囲を変化させる。
【選択図】 図１

Description

本発明は、離散的に撮像された２つの画像間で対応関係を有する部分を探索する画像解析技術に関する。

従来から、離散的に撮像された複数の画像を動画として滑らかに再生するために、キーフレームとなる２つの画像間で被写体の動きを補間する補間画像を生成する技術が公知である。上記の補間画像の生成工程では、被写体の動きを求めるために２つのキーフレーム間で被写体の対応箇所を効率的に探索することが要求される。なお、特許文献１には、パノラマ画像の生成に関して、２つの画像間で被写体の対応箇所を探索する技術が開示されている。
特開平５−２６０２６４号公報

しかし、上記特許文献１の技術では、カメラの撮像範囲の移動方向に基づいて被写体の対応箇所の探索範囲を大まかに絞り込むにすぎない。その一方で、上記の対応箇所の探索効率をより一層向上させることがなお要望されている。

本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、離散的に撮像された２つの画像間で被写体の対応箇所を探索するときに、従来と比べてより効率のよい探索範囲の設定を可能とする手段を提供することである。

本発明の第１の形態の撮像装置は、撮像部と、動きセンサと、画像解析部と、制御部とを備える。撮像部は、撮像光学系を通過した光束によって被写体を連続的に撮像して第１画像および第２画像のデータをそれぞれ生成する。動きセンサは、装置に加わる動きの方向および大きさを検出する。画像解析部は、第１画像の注目領域に対応する対応領域を第２画像から探索する。制御部は、動きの方向および大きさに応じて、第２画像での対応領域の探索範囲を変化させる。

上記の第１の形態では、撮像光学系の焦点距離の状態を検出する焦点距離検出部を撮像装置がさらに備えていてもよい。また、制御部は、焦点距離に応じて探索範囲を変化させるようにしてもよい。

本発明の第２の形態の撮像装置は、撮像部と、動きセンサと、焦点距離検出部と、画像解析部と、制御部とを備える。撮像部は、撮像光学系を通過した光束によって被写体を連続的に撮像して第１画像および第２画像のデータをそれぞれ生成する。動きセンサは、装置に加わる動きの方向を検出する。焦点距離検出部は、撮像光学系の焦点距離の状態を検出する。画像解析部は、第１画像の注目領域に対応する対応領域を第２画像から探索する。制御部は、動きの方向および焦点距離に応じて、第２画像での対応領域の探索範囲を変化させる。

本発明の第３の形態の撮像装置は、撮像部と、焦点距離検出部と、画像解析部と、制御部とを備える。撮像部は、撮像光学系を通過した光束によって被写体を連続的に撮像して第１画像および第２画像のデータをそれぞれ生成する。焦点距離検出部は、撮像光学系の焦点距離の状態を検出する。画像解析部は、第１画像の注目領域に対応する対応領域を第２画像から探索する。制御部は、第１画像の撮像時と第２画像の撮像時とで焦点距離が異なるときに、変化前後の焦点距離に応じて、撮像光学系の光軸に対応する基準点と注目領域の位置とを通過する線を含むように第２画像での対応領域の探索範囲を設定する。

上記の第３の形態では、注目領域内の被写体についての被写体距離を求める被写体距離検出部を撮像装置がさらに備えていてもよい。また、制御部は、被写体距離に応じて探索範囲を変化させるようにしてもよい。

本発明の第４の形態の撮像装置は、撮像部と、動きセンサと、焦点距離検出部と、画像解析部と、制御部とを備える。撮像部は、撮像光学系を通過した光束によって被写体を連続的に撮像して第１画像および第２画像のデータをそれぞれ生成する。動きセンサは、装置に加わる動きの方向および大きさを検出する。焦点距離検出部は、撮像光学系の焦点距離の状態を検出する。画像解析部は、第１画像の注目領域に対応する対応領域を第２画像から探索する。制御部は、第２画像での対応領域の探索範囲を変化させる。そして、制御部は、動きセンサが閾値以上の大きさの動きを検出したときには動きの方向および大きさに応じて探索範囲を変化させる。また、制御部は、第１画像の撮像時と第２画像の撮像時とで焦点距離が異なるときには、変化前後の焦点距離に応じて、撮像光学系の光軸に対応する基準点と注目領域の位置とを通過する線を含むように探索範囲を設定する。

上記の第４の形態では、制御部は、動きセンサが閾値以上の大きさの動きを検出したときに、焦点距離に応じて探索範囲を変化させてもよい。

なお、上記の第１の形態から第４の形態に関する構成を、撮像装置で生成されたデータを用いた画像解析方法、上記の画像解析方法を行うコンピュータ、上記の画像解析方法をコンピュータに実行させるプログラム、このプログラムを記憶した記憶媒体などに変換して表現したものも本発明の具体的態様として有効である。

本発明の一の形態では、装置に加わる動きの方向および大きさに応じて、第２画像における探索範囲が変化し、第１画像に対応する被写体をより効率的に探索できる。

本発明の他の形態では、装置に加わる動きの方向と撮像光学系の焦点距離とに応じて、第２画像における探索範囲が変化し、第１画像に対応する被写体をより効率的に探索できる。

また、本発明の他の形態では、撮像光学系の焦点距離の変化に応じて、第２画像における探索範囲が変化し、第１画像に対応する被写体をより効率的に探索できる。

（電子カメラの構成）
図１は本実施形態の画像処理装置を適用した電子カメラの構成を示すブロック図である。電子カメラは、撮像光学系１１と、レンズ駆動部１２と、撮像素子１３と、撮像素子駆動回路１４と、信号処理回路１５と、データ処理回路１６と、第１メモリ１７と、表示制御回路１８およびモニタ１９と、圧縮／伸長回路２０と、記録Ｉ／Ｆ２１と、通信Ｉ／Ｆ２２と、操作部材２３と、レリーズ釦２４と、振動センサ２５と、第２メモリ２６と、制御回路２７およびバス２８とを有している。

ここで、データ処理回路１６、第１メモリ１７、圧縮／伸長回路２０、第２メモリ２６および制御回路２７はそれぞれバス２８を介して相互に接続されている。また、レンズ駆動部１２、撮像素子駆動回路１４、信号処理回路１５、表示制御回路１８、記録Ｉ／Ｆ２１、通信Ｉ／Ｆ２２、操作部材２３、レリーズ釦２４、振動センサ２５は、それぞれ制御回路２７と接続されている（なお、図１では、信号処理回路１５および表示制御回路１８と制御回路２７との間を結ぶ信号線の図示は簡単のため省略する）。

撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されており、撮像素子１３の撮像面上に被写体像を結像させる役目を果たす。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。

撮像光学系１１の各々のレンズ位置は、レンズ駆動部１２によって光軸方向に調整される。このレンズ駆動部１２はレンズ駆動機構を含み、制御回路２７からのレンズ駆動指令に応じてレンズ位置を調整する。例えば、レンズ駆動部１２がフォーカスレンズを光軸方向に進退駆動することで、撮像光学系１１のフォーカス調整が行われる。また、レンズ駆動部１２がズームレンズを光軸方向に進退駆動することで、撮像光学系１１のズーム調整が行われる。

また、レンズ駆動部１２は、撮像光学系１１のズームレンズの焦点距離をエンコーダ（不図示）によって検出するとともに、制御回路２７に対して撮像光学系１１の焦点距離情報を出力する。

撮像素子１３は、撮像光学系１１を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。本実施形態での撮像素子１３は、静止画像の単写撮像、静止画像の連写撮像および動画像の撮像が可能である。この撮像素子１３の出力は信号処理回路１５に接続されている。

ここで、本実施形態における撮像素子１３には、画像のデータを生成するための受光素子とは別に、瞳分割式の位相差ＡＦを行うための測距画素が複数設けられている。この測距画素は、撮像素子１３の撮像面の全面に一定間隔をあけて配置されている。そのため、本実施形態の制御回路２７は、撮像素子１３の測距画素の出力によって、撮影画面上の任意の部分の被写体距離を求めることができる。なお、測距画素を有する撮像素子については、例えば、特開２０００−１５６８２３号公報などの公知の構成のものを適用することができる。

撮像素子駆動回路１４は、制御回路２７からの指令に応じて所定タイミングの駆動信号を生成し、この駆動信号を撮像素子１３に供給する。そして、撮像素子駆動回路１４は、上記の駆動信号によって、撮像素子１３の電荷蓄積（撮像）および蓄積電荷の読み出しを制御する。

信号処理回路１５は、撮像素子１３の出力に対して各種の信号処理を施すＡＳＩＣである。具体的には、信号処理回路１５は、相関二重サンプリング、ゲインの調整、直流再生、Ａ／Ｄ変換などを実行する。信号処理回路１５でのゲインの調整などのパラメータは、制御回路２７からの指令に応じて決定される。なお、信号処理回路１５はデータ処理回路１６に接続されており、上記信号処理後のデータはデータ処理回路１６に出力される。

データ処理回路１６は、信号処理回路１５から出力された画像のデータに対してデジタル信号処理を施す回路である。データ処理回路１６では、例えば、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整などの画像処理が実行される。このデータ処理回路１６は、表示制御回路１８および圧縮／伸長回路２０にそれぞれ接続されている。そして、データ処理回路１６は、制御回路２７からの指令に応じて、画像処理後の記録画像のデータを圧縮／伸長回路２０に出力する。なお、本明細書での記録画像とは、撮像により得られ、最終的に後述の記憶媒体２９に記録されるべき（あるいは記憶媒体２９に記録された）静止画像データに対応する静止画像を意味するものとする。

また、データ処理回路１６は、制御回路２７からの指令に応じて、画像の解像度変換（画素数変換）処理を実行する。一例として、モニタ１９に再生画像を表示する場合、データ処理回路１６は、再生表示しようとする画像のデータに対して、モニタ１９の画素数に合わせるための解像度変換（画素数変換）処理を実行する（なお、特に断りのないかぎり、本明細書でモニタ１９に画像を表示するときには、データ処理回路１６で表示画像の画素数調整が行われているものとする）。そして、データ処理回路１６は、解像度変換後の再生画像のデータを表示制御回路１８に出力する。また、電子ズーム処理を行う場合、データ処理回路１６は、入力される画像のデータに対して解像度変換（画素数変換）処理を実行し、解像度変換後の画像のデータを圧縮／伸長回路２０および表示制御回路１８にそれぞれ出力する。

第１メモリ１７は、データ処理回路１６または圧縮／伸長回路２０による処理の前工程や後工程などで画像のデータを一時的に記憶するバッファメモリである。

表示制御回路１８は、制御回路２７からの指令に応じて、データ処理回路１６から入力された画像のデータに所定の信号処理を施してモニタ１９へ出力する。表示制御回路１８は、さらに上記の画像のデータに撮影メニュー、カーソルなどのオーバーレイ画像データを重畳させる処理を行う。このような制御回路２７および表示制御回路１８の制御によって、オーバーレイ画像が重畳された被写体画像をモニタ１９に表示することができる。なお、本実施形態でのモニタ１９は、接眼部を有する電子ファインダや、カメラ筐体の背面などに設けられる液晶表示パネルのいずれで構成されていてもよい。

圧縮／伸長回路２０は、制御回路２７からの指令に応じて、データ処理回路１６から入力される画像のデータに所定の圧縮処理を施す。この圧縮／伸長回路２０は記録Ｉ／Ｆ２１に接続されており、圧縮後の画像のデータは記録Ｉ／Ｆ２１に出力される。また、圧縮／伸長回路２０は、圧縮後の画像のデータに対し、圧縮処理の逆処理である復号化処理を実行する。なお、本実施形態の圧縮／伸長回路２０は、可逆圧縮（いわゆるロスレス符号化）を行うことが可能な構成となっている。

記録Ｉ／Ｆ２１は、記憶媒体２９を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２１は、コネクタに接続された記憶媒体２９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２９は、小型ハードディスクや、半導体メモリを内蔵したメモリカードや、ＤＶＤなどの光ディスクなどで構成される。図１では記憶媒体２９の一例としてメモリカードを図示する。なお、記憶媒体２９は、電子カメラに内蔵されるものであってもよく、電子カメラに対して着脱可能に装着されるものであってもよい。また、画像のデータを読み書きする記憶媒体として、通信Ｉ／Ｆ２２を介して電気的に接続された外付けの記憶媒体を利用してもよい。

ここで、電子カメラの動作モードの１つである撮影モードにおいて撮像した画像のデータを記録する場合、制御回路２７は、記録画像に対応する再生画像をモニタ１９に表示させる。なお、操作部材２３によるユーザーの操作によって、記録画像の非圧縮記録が制御回路２７に指示されている場合、圧縮／伸長回路２０は圧縮処理を行なわずに、記録画像のデータを記録Ｉ／Ｆ２１に出力する。上記の非圧縮記録の場合にも、制御回路２７は、記録画像に対応する再生画像をモニタ１９に表示させる。

また、電子カメラの動作モードの１つである再生モードにおいて、制御回路２７は、記憶媒体２９に記憶されている画像のデータによる再生画像をモニタ１９に表示させる。この再生モードでは、記録Ｉ／Ｆ２１が、制御回路２７からの指令に応じて再生対象の画像のデータを記憶媒体２９から読み出す。そして、圧縮／伸長回路２０は、再生対象の画像のデータに対して復号化処理を施した上で、復号化後の画像のデータをデータ処理回路１６に送る。その後、データ処理回路１６および表示制御回路１８が復号化後の画像のデータに対して上述の処理を実行することで、モニタ１９には再生画像が表示される。なお、記憶媒体２９から非圧縮の画像データが読み出された場合には、圧縮／伸長回路２０は復号化処理を行わずに画像のデータをデータ処理回路１６に送る。

通信Ｉ／Ｆ２２は、有線または無線による公知の通信規格の仕様に準拠して、外部装置３０（例えば、パーソナルコンピュータや外付けの記憶媒体）とのデータ送受信を制御する。電子カメラと外部装置３０との通信は、有線または無線の通信回線を介して行われる。

操作部材２３は、例えば、コマンドダイヤル、十字状のカーソルキー、ズーム操作釦、決定釦などで構成される。そして、操作部材２３は電子カメラの各種入力をユーザーから受け付ける。なお、操作部材２３には、後述する補間画像を生成するフレーム数を設定する設定部材を設けるようにしてもよい。

一例として、制御回路２７は、ズーム操作釦からの入力を受け付けるとズームレンズについてのレンズ駆動指令を出力し、レンズ駆動部１２にズームレンズを進退駆動させる。これにより、撮像素子１３の撮像面上に結像される被写体像が拡大もしくは縮小して撮像光学系１１による光学的なズーム調整が行われる。

また、制御回路２７は、さらにズーム操作釦からの入力を受け付けるとデータ処理回路１６に指令を出力し、画像のデータに対する解像度変換処理の変換比率をユーザーの操作に応じて変化させる。これにより、モニタ１９に表示される画像が拡大もしくは縮小して電子的なズーム調整が行われる（電子ズーム）。上記の解像度変換処理の変換比率は、電子ズーム倍率に対応する。データ処理回路１６が電子ズーム倍率を高める方向に変換比率を変える場合、モニタ１９には再生画像の一部が拡大されて表示される（拡大率が上がる反面、再生画像の表示範囲は狭くなる）。一方、データ処理回路１６が電子ズーム倍率を低くする方向に変換比率を変える場合、モニタ１９に表示される再生画像の拡大率は低くなるが、再生画像の表示範囲は広くなる。なお、上記の撮影モードでは、モニタ１９の表示画像に対応する撮像画像のデータを記憶媒体２９に記録することができる。

レリーズ釦２４は、後述する連写撮影モードにおいて、オートフォーカス（ＡＦ）動作開始の指示入力と、連写撮像動作開始の指示入力とをユーザーから受け付ける。

なお、制御回路２７は、レリーズ釦２４の押圧操作に応じて、撮像素子１３の測距画素の出力に基づいて、公知の位相差検出方式のＡＦ動作を実行する。このとき、制御回路２７は、撮像素子１３の測距画素で構成される全ての焦点検出エリアから、画像の撮像動作に同期して焦点検出情報を出力させる。これにより、制御回路２７は、各々の焦点検出エリアに対応する被写体距離を算出することができる。なお、被写体距離の算出は、フォーカス調整がマニュアルでなされる場合にも行うことが可能である。

振動センサ２５は、電子カメラの筐体の振れを直交する２方向について検出する。この振動センサ２５は、例えば角速度センサやジャイロセンサなどで構成され、電子カメラの筐体内に配置される。振動センサ２５は、撮影モードにおいて電子カメラに加わる振れを検知し、直交する２方向の振れ量データ（振れの方向、振れの大きさ（振れの速度または加速度）を含むデータ）を制御回路２７に出力する。制御回路２７は、上記の振れ量データに基づいて手ブレ補正を実行する。例えば、撮像光学系１１にブレ補正レンズがある場合、制御回路２７は、筐体の振れに伴う撮像面上での被写体の移動が打ち消されるように、レンズ駆動部１２を介してブレ補正レンズを駆動させることで手ブレ補正を行う。

第２メモリ２６は、フラッシュメモリ等の不揮発性の記憶媒体である。この第２メモリ２６には、各種の設定データなどが記憶されている。例えば、第２メモリ２６には、特徴点の探索範囲を決定するための第１テーブルおよび第２テーブルが記憶されている（第１テーブルおよび第２テーブルの内容については後述する）。

制御回路２７は、電子カメラの動作を統括的に制御するプロセッサである。例えば、制御回路２７は、撮像素子１３から出力される信号から被写界の明るさを求める。そして、制御部は、上記の明るさの情報に基づいて公知のＡＥ演算を実行し、撮影モードでの撮像条件（撮像素子１３の電荷蓄積時間、絞り（不図示）の絞り値、画像信号の増幅度）を決定する。

また、制御回路２７は、第２メモリ２６等に記憶されたプログラムを実行することで、各種の画像解析処理（例えば、特徴点の抽出処理、２つの画像間での特徴点を対応付ける処理）や、補間画像の生成処理などを行うことができる（これらの処理については後述する）。

以下、本実施形態の電子カメラの連写撮影モードの動作と、再生モードの動作とをそれぞれ説明する。

（連写撮影モードの説明）
図２は、第１実施形態における連写撮影モードでの動作を示す流れ図である。ここで、連写撮影モードは上記の撮影モードの１つであって、レリーズ釦２４が押圧されている間、電子カメラが所定の時間間隔で静止画像の撮像動作を連続的に実行するモードである。なお、連写撮影モードでの制御回路２７は、連写撮影される各々の記録画像（連写画像）が静止画としての鑑賞に耐えうるように撮像条件を決定する。例えば、制御回路２７は、絞りを絞って被写界深度を深くする。

ステップＳ１０１：制御回路２７は、レリーズ釦２４の押圧操作を検出すると、上記のＡＦ動作を連続的に実行するとともに、記録画像の連写撮影動作を実行する。

ここで、Ｓ１０１でのＡＦ動作に関し、制御回路２７は画面内を移動する特定被写体を追尾してＡＦ動作を行ってもよい。あるいは、制御回路２７は、所定の撮影距離の物体に常に合焦するようにＡＦ動作を行ってもよい。なお、Ｓ１０１において、制御回路２７は、操作部材２３を介したユーザーのマニュアル操作によって焦点調整を行うようにしてもよい。

また、Ｓ１０１での連写撮影動作に関し、制御回路２７は、撮像素子駆動回路１４に対して、連写撮影動作を実行するための駆動信号の出力を指示する。撮像素子１３は、上記の駆動信号を受けて、例えば１０ｆｐｓのフレームレートで画像信号を出力する。そして、撮像素子１３から出力された各フレームの画像信号は、信号処理回路１５およびデータ処理回路１６で所定の処理が施される。その後、制御回路２７は、各フレームに対応する記録画像のデータを第１メモリ１７に一時的に記憶させる。このとき、制御回路２７は、記録画像の撮像条件（撮像光学系１１の焦点距離、露出条件、振れ量データ、被写体距離など）を示す付帯情報を、各々の記録画像のデータに対応付けて記録しておく。

また、連写撮影動作時には、データ処理回路１６は、記録画像のデータに解像度変換処理を施し、モニタ１９の画素数に合わせたビュー画像のデータを生成する。そして、データ処理回路１６は、各フレームのビュー画像のデータを表示制御回路１８を介して順次モニタ１９に供給する。連写撮影動作時には、表示制御回路１８の制御によって、モニタ１９には各々のフレームに対応するビュー画像が順次表示される。これにより、ユーザーは、モニタ１９のビュー画像を目視することで、被写界の状態と記録画像の構図とを確認することができる。

ステップＳ１０２：制御回路２７は、第１メモリ１７に記憶されている各々の記録画像のデータ（Ｓ１０１）に対して、特徴点抽出処理を実行する。具体的には、制御回路２７は、記録画像のデータに対してエッジ成分を抽出し、例えば抽出したエッジの交点（コーナー）の位置を特徴点として求める。そして、制御回路２７は、各々の記録画像のフレームに対応する特徴点の位置を第１メモリ１７または第２メモリ２６に記録する。なお、制御回路２７は、ユーザーがモニタ１９上で指定した点を特徴点として抽出するようにしてもよい。

ステップＳ１０３：制御回路２７は、振動センサ２５の出力する振動の周波数特性（振れの周波数の帯域、振れの角度のピークなど）に基づいて、記録画像がパンニング撮影（左右方向にカメラを振って撮像範囲をシフトさせる撮影）によるものか否かを判定する。パンニング撮影の場合（ＹＥＳ側）にはＳ１０５に移行する。一方、パンニング撮影ではない場合（ＮＯ側）にはＳ１０４に移行する。

ステップＳ１０４：制御回路２７は、レンズ駆動部１２からの焦点距離情報に基づいて、連写撮影中にズーミングがされたか否かを判定する。ズーミングがされている場合（ＹＥＳ側）にはＳ１０６に移行する。一方、ズーミングがない場合（ＮＯ側）にはＳ１０７に移行する。

ステップＳ１０５：制御回路２７は、時間軸方向に連続する２つの記録画像を抽出するとともに、第１テーブルを用いて各々の記録画像に含まれる特徴点の対応付けを行う。なお、Ｓ１０５の処理後には、制御回路２７はＳ１０８に移行する。

ここで、Ｓ１０５での特徴点の対応付けは、以下の（イ）から（ニ）の手順で行われる。また、以後の説明では、特徴点の対応付けを行う２つの記録画像のうち、前に撮像された記録画像を第１画像と称する。また、後に撮像された記録画像を第２画像と称する。

（イ）制御回路２７は、第１画像に含まれる複数の特徴点のうちから、注目する特徴点を指定する。

（ロ）制御回路２７は、第２画像の付帯情報のうちから、焦点距離の情報と振れ量データとを読み込む。

（ハ）制御回路２７は、第２メモリに記憶されている第１テーブルを参照して、特徴点の探索範囲の値を決定する。

図３は、パンニング撮影のときに用いられる第１テーブルの内容を模式的に示す図である。この第１テーブルには、撮像光学系１１の焦点距離（ｆ）の値ごとに、撮影画面上における特徴点の探索範囲の値がそれぞれ対応付けされている。また、第１テーブルにおける特徴点の探索範囲の値は、パンニング速度に応じて変化する。具体的には、パンニング速度が閾値Ａ以上の場合と、パンニング速度が閾値Ａ未満の場合では、第１テーブルの示す特徴点の探索範囲の値は同一の焦点距離でも異なる値となる。

また、図３における探索範囲の値は、第１画像上での特徴点の位置を基準として、画面横方向での探索範囲の両端の位置を示すものである（図４参照）。また、図３での探索範囲の値は、画面横方向の長さに対する割合の形式で表記されている。

制御回路２７は、第１画像を撮影したときと第２画像を撮影したときとで焦点距離が異なる場合は、長い方の焦点距離に基づいて第１テーブルを参照する。なお、第１画像を撮影したときと第２画像を撮影したときとで焦点距離が異なる場合に、制御回路２７は、長い方の焦点距離によって決まる探索範囲と短い方の焦点距離によって決まる探索範囲との両方を探索範囲として決定してもよい。

なお、パンニングを純粋に回転移動と考えると被写体距離によって特徴点の移動量が変化することはない。そのため、第１テーブルでは、探索範囲を求めるパラメータとして被写体距離を考慮していない。例えば、図５に示すように、被写体距離の異なる被写体を撮影するときに、レンズ主点を中心として±４５°の範囲で電子カメラを回転させた場合を考える。このとき、撮像面の特徴点の像はいずれの場合も画面右端（ｔ１の状態）から画面左端（ｔ２の状態）に移動し、被写体距離にかかわらずその移動量は変わらないことが分かる。

そして、制御回路２７は、第１テーブルを用いて、振れ量データが示す振れの大きさ（パンニング速度）と焦点距離とから、特徴点の探索範囲の値を決定する。なお、図４では、パンニング速度がＡ以上で、焦点距離が３５ｍｍのときに、特徴点の探索範囲の値を１／４．８〜１／５．２とした例を示している。

（ニ）制御回路２７は、上記（イ）で指定された特徴点に対応する特徴点を第２画像内から探索する。具体的には、まず、制御回路２７は、第１画像での特徴点の位置を第２画像に写像する。次に、制御回路２７は、写像された特徴点の位置を基準として、振れ量データの示すパンニングの方向と、上記（ハ）で決定した特徴点の探索範囲とに基づいて、第２画像上での特徴点の探索範囲を特定する。なお、図４に示すように、第２画像において特徴点の移動する方向は、パンニングの移動方向と逆になる。

そして、制御回路２７は、第２画像上での特徴点の探索範囲内でマッチング処理を実行し、探索対象となる特徴点の位置を求める。

ステップＳ１０６：制御回路２７は、時間軸方向に連続する２つの記録画像を抽出するとともに、第２テーブルを用いて各々の記録画像に含まれる特徴点の対応付けを行う。なお、Ｓ１０６の処理後には、制御回路２７はＳ１０８に移行する。

ここで、Ｓ１０６での特徴点の対応付けは、以下の（ホ）から（チ）の手順で行われる。

（ホ）制御回路２７は、第１画像に含まれる複数の特徴点のうちから、注目する特徴点を指定する。

（ヘ）制御回路２７は、第１画像および第２画像の付帯情報のうちから、焦点距離の情報、振れ量データおよび被写体距離のデータとをそれぞれ読み込む。

（ト）制御回路２７は、第２メモリに記憶されている第２テーブルを参照して、第２画像上での特徴点の探索範囲を決定する。

図６は、ズーミング撮影のときに用いられる第２テーブルの内容を模式的に示す図である。この第２テーブルには、被写体距離（Ｌ）および撮像光学系１１の焦点距離（ｆ）と、撮影画面上の基準点からの距離（Ｖ）との対応関係がそれぞれ記憶されている。また、上記の基準点は、撮像光学系の光軸に対応する撮影画面の中心点とする。

図６では、便宜上、基準点から右側にある特徴点との距離のみを示す。しかし、実際の第２テーブルには、撮影画面上の複数の位置に対応するＶの値が記録されている。なお、図６でのＶの値は、画面横方向の長さに対する割合の形式で表記されている。

ここで、被写体距離Ｌが同一のときには焦点距離ｆが短いほど、第２テーブルが示す上記のＶの値は小さくなる。また、焦点距離ｆが同一のときには被写体距離Ｌが大きいほど、第２テーブルが示す上記のＶの値は小さくなる。

図７は、Ｓ１０６における特徴点の探索範囲の決定方法を示す説明図である。図７の例では、第１画像の特徴点Ｘ１と、第２画像の特徴点Ｘ２とが対応する。また、第１画像および第２画像では、被写体距離は２．５ｍで一定とする。さらに、第１画像の撮影時には撮像光学系１１の焦点距離ｆを３５ｍｍとする。第２画像の撮影時には撮像光学系１１の焦点距離ｆを１３５ｍｍとする。

一般的に、ズーミングの前後において被写体は撮像光学系の光軸を中心として放射状に移動する。そのため、第２画像の特徴点Ｘ２は、基準点と特徴点Ｘ１を通過する線の近くにあるものと考えられる。このことから、制御回路２７は、基準点と特徴点Ｘ１とを通過する線を含むように特徴点Ｘ２の探索範囲を設定する。

また、図７の例で、画面中央の基準点から特徴点Ｘ１までの距離Ｖを１／８．６（約０．１２）と考える。このとき、第２テーブルで焦点距離ｆの値を１３５ｍｍに変化させると、距離Ｖは１／２．１（約０．４８）となる。この値は、基準点から第２画像の特徴点Ｘ２までの推定距離に相当する。なお、基準点から特徴点Ｘ１までの距離に対して、基準点から特徴点Ｘ２までの推定距離は約４倍（０．４８／０．１２）となる。

そのため、制御回路２７は、第２テーブルから求めた距離Ｖによって、特徴点Ｘ２の探索範囲を決定できる。なお、制御回路２７は、撮像光学系１１の幾何学的な収差や偏芯などの影響を考慮して、特徴点Ｘ２の探索範囲を調整してもよい。

また、制御回路２７は、撮像素子１３の測距画素から画面内の各領域毎の被写体距離を求め、同一の画像内で複数の特徴点を探索するときに異なる被写体距離を用いて探索範囲を決定してもよい。

（チ）制御回路２７は、上記（ト）で決定した第２画像上での特徴点の探索範囲でマッチング処理を実行し、探索対象となる特徴点の位置を求める。

ステップＳ１０７：この場合の制御回路２７は、第２画像において、第１画像の特徴点の位置を中心とするデフォルトの探索範囲内で特徴点のマッチング処理を実行し、各々の特徴点の対応関係を求める。

ステップＳ１０８：制御回路２７は、第１画像と第２画像との間で被写体の変化を補間する補間画像を生成する。ここで、補間画像の画素数は、第１画像および第２画像と同じ画素数に設定される。また、本実施形態での制御回路２７は、被写体像の変形を伴う幾何学的なモーフィング処理や、被写体像が変形せずに移動するモーフィング処理を行って補間画像を生成する。

具体的には、制御回路２７は、以下の（１）から（４）の手順で、各々の補間画像を生成する。また、第１画像と第２画像との間に挿入される補間画像のフレーム数は、ユーザーの入力によって制御回路２７が変更する。なお、以下の例では、便宜上、第１画像と第２画像の間に２フレーム分の補間画像を挿入する場合を前提とする。

（１）制御回路２７は、第１画像および第２画像における一対の特徴点の位置を空間方向に結ぶ関数（モーフィング動作における特徴点の移動軌跡）を求める。ここで、上記の関数は、一対の特徴点を直線で結ぶものであってもよく、あるいは一対の特徴点をスプライン曲線などで結ぶものであってもよい。なお、制御回路２７は、第１画像と第２画像との間で対応付けができた全ての特徴点について上記の関数を求める。

（２）制御回路２７は、上記（１）で求めた関数によって、各々の補間画像での特徴点の位置を決定する。具体的には、制御回路２７は、補間画像の挿入数に応じて上記の関数と一対の特徴点とで定義された区間を内分し、この内分点の位置を補間画像での特徴点の位置とする。

図８は、補間画像での特徴点の決定方法の一例を示す説明図である。図８の例では、第１画像の特徴点Ａ，Ｂ，Ｃに対して、第２画像の特徴点Ｄ，Ｅ，Ｆがそれぞれ対応する。そして、第１特徴点Ａ，Ｄを結ぶ一次関数の区間を３つに内分する点（Ｇ，Ｊ）の位置が、各々の補間画像における第１特徴点の位置となる。なお、補間画像における第２特徴点の位置（Ｈ，Ｋ）および第３特徴点の位置（Ｉ，Ｌ）についても、上記の第１特徴点の場合と同様の手順で求めることができる。

（３）制御回路２７は、各々の補間画像において特徴点以外の注目画素の位置をそれぞれ求める。具体的には、制御回路２７は、第１画像（または第２画像）における注目画素の位置を特徴点を結ぶベクトルで定義する。そして、制御回路２７は、上記のベクトルの定義に基づいて、補間画像上での注目画像の位置を求める。

図９は、補間画像での注目画素の決定方法の一例を示す説明図である。

したがって、制御回路２７は、補間画像での各々の注目画素の位置を、上記の方法で求めることができる。

（４）制御回路２７は、補間画像での各画素の階調値の変化を求める。具体的には、第１に、制御回路２７は、第１画像と第２画像との間で対応関係を有する画素（注目画素）の階調値をそれぞれ求める。第２に、制御回路２７は、２つの階調値の区間を補間画像の挿入数に応じて内分し、補間画像における注目画素の階調値を求める。一例として、第１画像および第２画像で注目画素の階調値がそれぞれ１３０，１３６であるときに、制御回路２７は、階調値１３０〜１３６の区間を３つに内分する点を求める。そして、制御回路２７は、上記の内分点に対応する階調値（１３２，１３４）を、各々の補間画像における注目画素の階調値とする。なお、制御回路２７は、上記の階調値をＲＧＢまたはＹＣｂＣｒのそれぞれの値について求める。

ステップＳ１０９：圧縮／伸長回路２０は、制御回路２７の指令に応じて、記録画像のデータ（Ｓ１０１）と補間画像のデータ（Ｓ１０８）とをそれぞれ圧縮する。そして、記録Ｉ／Ｆ２１は、制御回路２７の指令に応じて、圧縮後の記録画像のデータおよび補間画像のデータとを記憶媒体２９に記録する。

ステップＳ１１０：制御回路２７は、操作部材２３を介して再生指示を受け付けたか否かを判定する。再生指示を受け付けた場合（ＹＥＳ側）にはＳ１１１に移行する。一方、再生指示がない場合（ＮＯ側）には制御回路２７はそのまま処理を終了する。

ステップＳ１１１：記録Ｉ／Ｆ２１は、制御回路２７の指令に応じて、記録画像のデータ（Ｓ１０１）と、補間画像のデータ（Ｓ１０８）とを記憶媒体２９から読み出す。そして、圧縮／伸長回路２０は、制御回路２７の指令に応じて、記録画像のデータ（Ｓ１０１）と補間画像のデータ（Ｓ１０８）とをそれぞれ復号化する。その後、制御回路２７は、データ処理回路１６および表示制御回路１８を介して、第１画像と、補間画像と、第２画像とを時系列に沿ってモニタ１９で連続的に再生する。以上で、図２の流れ図の説明を終了する。

以下、本実施形態の連写撮影モードにおける作用効果を述べる。本実施形態の電子カメラでは、記録画像間で対応関係を有する特徴点を探索するときに、振動センサ２５の示す振れの方向と撮像光学系１１の焦点距離を考慮して、第２画像における特徴点の探索範囲をより適切な状態に変更する。さらに、本実施形態の電子カメラでは、パンニング速度によっても上記の特徴点の探索範囲を変化させる。そのため、本実施形態では、パンニングを伴う記録画像間で特徴点の対応付けを行うときに、探索精度を維持しつつマッチング処理での演算量を抑制でき、画像の解析をより効率的に行うことができる。

また、本実施形態の電子カメラでは、記録画像間で対応関係を有する特徴点を探索するときに、第１画像と第２画像とでズーミングが行われている場合には、撮像光学系１１の焦点距離や被写体距離を考慮して、第２画像における特徴点の探索範囲をより適切な状態に変更する。そのため、本実施形態では、ズームを伴う記録画像間で特徴点の対応付けを行うときに、探索精度を維持しつつマッチング処理での演算量を抑制でき、画像の解析をより効率的に行うことができる。

（再生モードの説明）
図１０は、本実施形態における再生モードにおいて補間画像を生成する動作を示す流れ図である。この再生モードでは、制御回路２７が、予め連写撮影モードで生成した複数の記録画像の画像ファイルを記憶媒体２９から読み込んで、再生表示のときに補間画像を生成する。ここで、再生対象となる記録画像の画像ファイルには、振れ量データ、焦点距離情報、被写体距離情報を含む付帯情報がいずれも対応付けされているものとする。

ステップＳ２０１：制御回路２７は、操作部材２３を介して、画像ファイルの再生指示を受け付けたか否かを判定する。再生指示があった場合（ＹＥＳ側）にはＳ２０２に移行する。一方、再生指示がない場合（ＮＯ側）には、制御回路２７は、再生指示があるまで待機する。

ステップＳ２０２：制御回路２７は、操作部材２３からのユーザーの入力に基づいて、各々の記録画像の間に挿入される補間画像のフレーム数を設定する。

ステップＳ２０３：制御回路２７は、記録Ｉ／Ｆ２１を介して、記憶媒体２９から再生対象の画像ファイル（記録画像のデータ）をそれぞれ読み込む。なお、圧縮／伸長回路２０は、制御回路２７からの指令により、必要に応じて圧縮された記録画像のデータの復号化を行う。

ステップＳ２０４：制御回路２７は、各々の記録画像のデータ（Ｓ２０３）に対して、特徴点抽出処理を実行する。このＳ２０４での処理は、上記のＳ１０２に対応するので重複説明は省略する。

ステップＳ２０５：制御回路２７は、画像ファイルから取得した振れ量データ（振動の周波数特性）に基づいて、記録画像がパンニング撮影によるものか否かを判定する。パンニング撮影の場合（ＹＥＳ側）にはＳ２０７に移行する。一方、パンニング撮影ではない場合（ＮＯ側）にはＳ２０６に移行する。

ステップＳ２０６：制御回路２７は、画像ファイルから取得した焦点距離情報に基づいて、連写撮影中にズーミングがされたか否かを判定する。ズーミングがされている場合（ＹＥＳ側）にはＳ２０８に移行する。一方、ズーミングがない場合（ＮＯ側）にはＳ２０９に移行する。

ステップＳ２０７：制御回路２７は、時間軸方向に連続する２つの記録画像を抽出するとともに、第１テーブルを用いて各々の記録画像に含まれる特徴点の対応付けを行う。このＳ２０７での処理は、上記のＳ１０５に対応するので重複説明は省略する。なお、Ｓ２０７の処理後には、制御回路２７はＳ２１０に移行する。

ステップＳ２０８：制御回路２７は、時間軸方向に連続する２つの記録画像を抽出するとともに、第２テーブルを用いて各々の記録画像に含まれる特徴点の対応付けを行う。このＳ２０８での処理は、上記のＳ１０６に対応するので重複説明は省略する。なお、Ｓ２０８の処理後には、制御回路２７はＳ２１０に移行する。

ステップＳ２０９：この場合の制御回路２７は、第２画像において、第１画像の特徴点の位置を中心とするデフォルトの探索範囲内で特徴点のマッチング処理を実行し、各々の特徴点の対応関係を求める。

ステップＳ２１０：制御回路２７は、第１画像と第２画像との間で被写体の変化を補間する補間画像を生成する。このＳ２１０での処理は、上記のＳ１０８に対応するので重複説明は省略する。なお、制御回路２７は、Ｓ２１０において各々の補間画像を記憶媒体２９に記録するようにしてもよい。

ステップＳ２１１：制御回路２７は、データ処理回路１６および表示制御回路１８を介して、第１画像と、補間画像と、第２画像とを時系列に沿ってモニタ１９で連続的に再生する。以上で、図１０の流れ図の説明を終了する。この再生モードによっても、上記の連写撮影モードとほぼ同様の作用効果を得ることができる。

（実施形態の補足事項）
（１）上記実施形態の電子カメラでは、位相差ＡＦのためのモジュールを撮像素子１３とは別に設け、撮像素子１３を用いずに公知の瞳分割による位相差ＡＦ動作を行うようにしてもよい。この場合には、測距画素を有しない通常の撮像素子を上記の電子カメラに用いることが可能となる。また、上記実施形態では、撮像素子１３の出力に基づいてＡＥ演算を行う例を説明したが、撮像素子１３とは別にＡＥ演算用の測光素子を設けてもよい（これらの構成の図示は省略する）。

（２）上記実施形態では、ズームレンズを構成に含む電子カメラの例を説明したが、本発明は、一眼レフなどのレンズ交換式の電子カメラにも当然に適用できる。なお、レンズ交換式の電子カメラの場合には、焦点距離情報はマウントの電気接点を介して、カメラとレンズ間の通信で取得することとなる（上記構成の図示は省略する）。

（３）上記実施形態では、パンニングを伴う連写撮影の場合を説明したが、上下方向にカメラを振って撮像範囲をシフトさせるティルト撮影の場合にも、本発明を同様に適用できる。

（４）上記実施形態では電子カメラの制御回路２７が合成画像の生成などを行う例を説明したが、例えば、電子カメラと接続された外部装置３０（パーソナルコンピュータなど）が、上記実施形態の制御回路２７の処理を実行してもよい。また、上記実施形態で電子カメラの制御回路２７が実行する処理の一部を外部装置３０に負担させて、電子カメラと外部装置３０とを協働させて上記の実施形態で説明したアルゴリズムを実現してもよい。

（５）なお、図２のＳ１０２からＳ１０７の処理による探索範囲の決定は、補間画像を生成するための処理であったが、動画圧縮データを生成するために動きベクトルを検出する場合のブロックマッチング処理にも適用できる。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

本実施形態の電子カメラの構成を示すブロック図 本実施形態における連写撮影モードでの動作を示す流れ図 第１テーブルの内容を模式的に示す図 第１テーブルにおける特徴点の探索範囲の値に関する説明図 パンニング撮影時の被写体距離による特徴点の移動を示す説明図 第２テーブルの内容を模式的に示す図 Ｓ１０６における特徴点の探索範囲の決定方法を示す説明図 補間画像での特徴点の決定方法の一例を示す説明図 補間画像での注目画素の決定方法の一例を示す説明図 本実施形態における再生モードでの動作を示す流れ図

符号の説明

１１…撮像光学系、１２…レンズ駆動部、１３…撮像素子、１８…表示制御回路、１９…モニタ、２１…記録Ｉ／Ｆ、２２…通信Ｉ／Ｆ、２５…振動センサ、２６…第２メモリ、２７…制御回路、２９…記憶媒体、３０…外部装置

Claims (16)

1. 撮像光学系を通過した光束によって被写体を連続的に撮像して第１画像および第２画像のデータをそれぞれ生成する撮像部と、
   装置に加わる動きの方向および大きさを検出する動きセンサと、
   前記第１画像の注目領域に対応する対応領域を前記第２画像から探索する画像解析部と、
   前記動きの方向および大きさに応じて、前記第２画像での前記対応領域の探索範囲を変化させる制御部と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像光学系の焦点距離の状態を検出する焦点距離検出部をさらに備え、
   前記制御部は、前記焦点距離に応じて前記探索範囲を変化させることを特徴とする撮像装置。
3. 撮像光学系を通過した光束によって被写体を連続的に撮像して第１画像および第２画像のデータをそれぞれ生成する撮像部と、
   装置に加わる動きの方向を検出する動きセンサと、
   前記撮像光学系の焦点距離の状態を検出する焦点距離検出部と、
   前記第１画像の注目領域に対応する対応領域を前記第２画像から探索する画像解析部と、
   前記動きの方向および前記焦点距離に応じて、前記第２画像での前記対応領域の探索範囲を変化させる制御部と、
   を備えることを特徴とする撮像装置。
4. 撮像光学系を通過した光束によって被写体を連続的に撮像して第１画像および第２画像のデータをそれぞれ生成する撮像部と、
   前記撮像光学系の焦点距離の状態を検出する焦点距離検出部と、
   前記第１画像の注目領域に対応する対応領域を前記第２画像から探索する画像解析部と、
   前記第１画像の撮像時と前記第２画像の撮像時とで前記焦点距離が異なるときに、変化前後の前記焦点距離に応じて、前記撮像光学系の光軸に対応する基準点と前記注目領域の位置とを通過する線を含むように前記第２画像での前記対応領域の探索範囲を設定する制御部と、
   を備えることを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記注目領域内の被写体についての被写体距離を求める被写体距離検出部をさらに備え、
   前記制御部は、前記被写体距離に応じて前記探索範囲を変化させることを特徴とする撮像装置。
6. 撮像光学系を通過した光束によって被写体を連続的に撮像して第１画像および第２画像のデータをそれぞれ生成する撮像部と、
   装置に加わる動きの方向および大きさを検出する動きセンサと、
   前記撮像光学系の焦点距離の状態を検出する焦点距離検出部と、
   前記第１画像の注目領域に対応する対応領域を前記第２画像から探索する画像解析部と、
   前記第２画像での前記対応領域の探索範囲を変化させる制御部と、を備え、
   前記制御部は、前記動きセンサが閾値以上の大きさの動きを検出したときには前記動きの方向および大きさに応じて前記探索範囲を変化させ、前記第１画像の撮像時と前記第２画像の撮像時とで前記焦点距離が異なるときには、変化前後の前記焦点距離に応じて、前記撮像光学系の光軸に対応する基準点と前記注目領域の位置とを通過する線を含むように前記探索範囲を設定することを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記制御部は、前記動きセンサが閾値以上の大きさの前記動きを検出したときに、前記焦点距離に応じて前記探索範囲を変化させることを特徴とする撮像装置。
8. データ読込部と、演算部とを有するコンピュータに対して、
   撮像装置で被写体を連続的に撮像して生成された第１画像のデータおよび第２画像のデータと、前記第１画像の撮像時から前記第２画像の撮像時までに前記撮像装置に加わった動きの方向および大きさを示す動きデータとを前記データ読込部により前記演算部に読み込む第１ステップと、
   前記第１画像のうちから注目領域を指定する第２ステップと、
   前記動きの方向および大きさに応じて、前記第１画像の前記注目領域に対応する対応領域の探索範囲を前記第２画像内で決定する第３ステップと、
   前記第３ステップで決定された前記第２画像の前記探索範囲から前記対応領域を探索する第４ステップと、
   を前記演算部に実行させることを特徴とするプログラム。
9. 請求項８に記載のプログラムにおいて、
   前記第１ステップにて、前記撮像装置の撮像光学系の焦点距離のデータをさらに前記データ読込部により前記演算部に読み込むとともに、
   前記第３ステップにて、前記焦点距離に応じて前記探索範囲を変化させることを特徴とするプログラム。
10. データ読込部と、演算部とを有するコンピュータに対して、
    撮像装置で被写体を連続的に撮像して生成された第１画像のデータおよび第２画像のデータと、前記第１画像の撮像時から前記第２画像の撮像時までに前記撮像装置に加わった動きの方向を示す動きデータと、前記撮像装置の撮像光学系の焦点距離のデータとを前記データ読込部により前記演算部に読み込む第１ステップと、
    前記第１画像のうちから注目領域を指定する第２ステップと、
    前記動きの方向および前記焦点距離に応じて、前記第１画像の前記注目領域に対応する対応領域の探索範囲を前記第２画像内で決定する第３ステップと、
    前記第３ステップで決定された前記第２画像の前記探索範囲から前記対応領域を探索する第４ステップと、
    を前記演算部に実行させることを特徴とするプログラム。
11. データ読込部と、演算部とを有するコンピュータに対して、
    撮像装置で被写体を連続的に撮像して生成された第１画像のデータおよび第２画像のデータと、前記第１画像に対応する前記撮像装置の撮像光学系の第１焦点距離のデータと、前記第２画像に対応する前記撮像装置の撮像光学系の第２焦点距離のデータとを前記データ読込部により前記演算部に読み込む第１ステップと、
    前記第１画像のうちから注目領域を指定する第２ステップと、
    前記第１焦点距離と前記第２焦点距離とが異なるときに、変化前後の焦点距離に応じて、前記第１画像の前記注目領域に対応する対応領域の探索範囲を、前記撮像光学系の光軸に対応する基準点と前記注目領域の位置とを通過する線を含むように前記第２画像内で決定する第３ステップと、
    前記第３ステップで決定された前記第２画像の前記探索範囲から前記対応領域を探索する第４ステップと、
    を前記演算部に実行させることを特徴とするプログラム。
12. 請求項１１に記載のプログラムにおいて、
    前記第１ステップにて、前記注目領域内の被写体についての被写体距離のデータをさらに前記データ読込部により前記演算部に読み込むとともに、
    前記第３ステップにて、前記被写体距離に応じて前記探索範囲を変化させることを特徴とするプログラム。
13. データ読込部と、演算部とを有するコンピュータに対して、
    撮像装置で被写体を連続的に撮像して生成された第１画像のデータおよび第２画像のデータと、前記第１画像の撮像時から前記第２画像の撮像時までに前記撮像装置に加わった動きの方向および大きさを示す動きデータと、前記第１画像に対応する前記撮像装置の撮像光学系の第１焦点距離のデータと、前記第２画像に対応する前記撮像装置の撮像光学系の第２焦点距離のデータとを前記データ読込部により前記演算部に読み込む第１ステップと、
    前記第１画像のうちから注目領域を指定する第２ステップと、
    前記動きデータの示す前記動きの大きさが閾値以上であるときに、前記動きの方向および大きさに応じて、前記第１画像の前記注目領域に対応する対応領域の探索範囲を前記第２画像内で決定する第３ステップと、
    前記第１焦点距離と前記第２焦点距離とが異なるときに、変化前後の焦点距離に応じて、前記第１画像の前記注目領域に対応する対応領域の探索範囲を、前記撮像光学系の光軸に対応する基準点と前記注目領域の位置とを通過する線を含むように前記第２画像内で決定する第４ステップと、
    前記第３ステップおよび前記第４ステップの少なくとも一方で決定された前記第２画像の前記探索範囲から前記対応領域を探索する第５ステップと、
    を前記演算部に実行させることを特徴とするプログラム。
14. 請求項１３に記載のプログラムにおいて、
    前記第３ステップにて、前記第１焦点距離および前記第２焦点距離の少なくとも一方に応じて前記探索範囲を変化させることを特徴とするプログラム。
15. 請求項８から請求項１４のいずれか１項に記載のプログラムにおいて、
    前記注目領域と前記対応領域との空間的な位置変化から前記被写体の動きベクトルを求める動きベクトル演算ステップをさらに前記演算部に実行させることを特徴とするプログラム。
16. 請求項１５に記載のプログラムにおいて、
    前記動きベクトルに基づいて、前記第１画像と前記第２画像との間で前記被写体の変化を補間する補間画像を生成する補間画像生成ステップをさらに前記演算部に実行させることを特徴とするプログラム。
    

Images