JP2016001815A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】撮影される被写体の、位置や大きさが滑らかに連続的に変化するような動画像を取得でき、かつ、動画像の撮影時間分の再生時間を得ることができることを可能にする画像処理装置を提供する。【解決手段】記録するフレーム数のｎ倍のフレーム数で撮像された画像をｎフレーム分保持する撮影バッファ１０５と、撮影バッファ１０５から選択された画像を少なくとも１枚以上保持する選択バッファ１０７とを備える画像処理装置１０１を設ける。画像処理装置１０１が、撮影バッファ１０５内の画像のうち、選択バッファ１０７内の画像との連続性が良い画像を１枚選択して選択バッファ１０７に記憶する。【選択図】図１

Description

本発明は、画像処理装置およびその制御方法に関する。

図１９は、撮影者が移動しながら撮影する例を説明する図である。
被写体１９０１に対して、撮影者がビデオカメラを手持ちで、位置１９０２から位置１９０３、位置１９０４へと移動しながら撮影する。これにより、被写体の位置や大きさなどに変化がある動画像を撮影できる。しかし、通常の撮影者が移動しながら撮影を行う場合、映画撮影などで用いられるカメラをレール等に乗せて、一定間隔で移動させた場合のような、滑らかな画像の変化を持つ、連続性の良い画像を撮影することは困難である。例えば、図２０に示すように、撮影した画像２００１において、各フレーム画像間（２００２，２００３，２００４）で、被写体の位置がまちまちになったり、被写体の大きさの変化が不連続になることがある。特許文献１は、フレーム間における被写体の移動量を求めて、移動が少ない場合は、フレーム間引きを行い、移動が多い場合は、フレーム補間を行う動画撮影装置を開示している。

特開２０１２−６０２５８号公報

しかし、特許文献１が開示する動画撮影装置では、フレーム間引きとフレーム補間をどの程度行うかが明確でなく、動きが続く場合や、静止状態が続く画像を撮影した場合、本来の動きとは異なる動きで撮影されてしまう。例えば、動きが極端に連続する場合、フレーム補間が多発するため、通常のフレームレート（例えば毎秒６０フレーム）よりも多い数のフレーム数を持った動画像がかなりの期間、発生してしまう。したがって、撮影された動画像を通常のフレームレートで再生すると、スローモーションとして再生されてしまい、撮影時の被写体の動きとは異なった動きになってしまう。一方、この動画撮影装置で極端に静止状態が続く画像を撮影した場合、フレーム間引きが続くので、通常のフレームレートに満たないフレーム数の動画を作成してしまい、撮影時間分の再生時間が得られない。

本発明は、撮影される被写体の位置や大きさが滑らかに連続的に変化するような動画像を取得でき、かつ、動画像の撮影時間分の再生時間を得ることができることを可能にする画像処理装置の提供を目的とする。

本発明の一実施形態の画像処理装置は、記録するフレーム数のｎ倍のフレーム数で撮像された画像をｎフレーム分保持する第１の記憶部と、前記第１の記憶部から選択された画像を少なくとも１枚以上保持する第２の記憶部と、前記第１の記憶部内の画像のうち、前記第２の記憶部内の画像との連続性が良い画像を１枚選択して前記第２の記憶部に記憶する制御手段とを備える。

本発明によれば、撮影される被写体の位置や大きさが滑らかに連続的に変化するような動画像を取得でき、かつ、動画像の撮影時間分の再生時間を得ることができる。

実施例１の画像処理装置の構成を示す図である。 画像データの選択処理を説明する図である。 連続性判断部による画像の選択処理の具体例を示す図である。 実施例１の画像処理装置の動作処理を説明するフローチャートである。 実施例２の画像処理装置の構成を示す図である。 撮影倍率の計算の例を説明する図である。 連続性判断部による画像の選択処理の具体例を示す図である。 実施例２の画像処理装置の動作処理を説明するフローチャートである。 実施例３の画像処理装置の構成を示す図である。 画像からの主被写体の検出と重心位置の計算を説明する図である。 連続性判断部による画像の選択処理の具体例を示す図である。 重心位置の予測を説明する図である。 実施例３の画像処理装置の動作処理を説明するフローチャートである。 実施例４の画像処理装置の構成を示す図である。 主被写体の形状を示す四隅位置の計算を説明する図である。 連続性判断部による画像の選択処理の具体例を示す図である。 画像の四隅位置の予測を説明する図である。 実施例４の画像処理装置の動作処理を説明するフローチャートである。 撮影者が移動しながら撮影する例を説明する図である。 撮影した画像の例である。

（実施例１）
図１は、実施例１の画像処理装置の構成を示す図である。
実施例１の画像処理装置１０１は、撮影バッファ１０５内のｎフレーム分の画像のうち、選択バッファ１０７内の画像との画素間の変化が最も少ない画像を、連続性が良い画像と判断し、この画像を記録対象すなわち再生対象として選択する。なお、画像処理装置１０１が備える各処理部の機能は、不図示のＣＰＵによって実現される。

画像処理装置１０１は、画像を撮影し、撮影した画像を記録媒体１０８に記録する。図中、太線は、画像データの流れを示している。１０２は撮影レンズ、１０３は、ＣＣＤやＣＭＯＳなどの撮像素子であって、撮影レンズで結像された画像を画像信号に変換する。撮像素子１０３は、記録媒体１０８に記録するフレームレートのｎ倍の高速のフレームレート（ｎは整数）で画像撮影が可能である。例えば、記録するフレームレートが６０Ｐ（毎秒６０フレーム）である場合、撮像素子１０３は、２４０Ｐ（毎秒２４０フレーム）で撮影を行う。すなわち、この場合には、画像処理装置１０１は、記録するフレームレートの４倍（ｎ＝４）のフレームレートで撮影する。

画像処理部１０４は、撮像素子１０１からの画像信号に対して、デモザイク処理やホワイトバランス調整などの必要な処理を行って、画像データを作成する。画像処理された画像データは、一旦、撮影バッファ１０５に記録される。

画像処理部１０４は、ＣＰＵの指示にしたがって、撮影バッファ１０５に、ｎフレーム単位で画像データを記録する。具体的には、ＣＰＵは、連続性判断部１０６が撮影バッファ１０５から画像を選択する毎に、撮影バッファ１０５内の画像をｎフレーム単位で更新する。以下では、撮影する画像フレームをｎフレーム単位にまとめた画像データを、フレームグループと呼ぶ。撮影された画像データは、フレームグループ単位で、撮影バッファ１０５に記録される。また、毎秒のフレームグループの数と、記録するフレームレートの値は、同じ値である。例えば、記録するフレームレートが６０Ｐであり、撮影するフレームレートが２４０Ｐである場合、撮影するフレームの４フレーム単位でフレームグループが形成される。また、フレームグループは、毎秒６０フレームグループが作成されることになる。すなわち、撮影バッファ１０５は、記録するフレーム数のｎ倍のフレーム数で撮像された画像をｎフレーム分保持する第１の記憶部として機能する。

連続性判断部１０６は、撮影バッファ１０５に保持されているｎフレームの画像について、選択バッファ１０７に保持されている画像との連続性の良否を判断し、最も連続性の良い画像を１枚選択して、選択バッファ１０７に記憶する。これにより、選択バッファ内の画像が更新される。

選択バッファ１０７は、連続性判断部１０６によって撮影バッファ１０５から選択された画像を少なくとも１枚以上保持する第２の記憶部として機能する。連続性判断部１０６で次の画像が選択された場合、ＣＰＵが、それまでに記録してあった画像データを、記録媒体１０８に記録する。すなわち、ＣＰＵおよび連続性判断部１０６は、第１の記憶部内（撮影バッファ内）の画像のうち、第２の記憶部内（選択バッファ内）の画像との連続性が良い画像を１枚選択して選択バッファに記憶する制御手段として機能する。

記録媒体１０８には、画像データが記録される。ここで、画像データを記録する際に、必要に応じて、画像データの圧縮処理やファイル形式の変更などが行われるが、本発明の動作に直接関係しないので、説明を省略した。また、この例では、一旦、選択バッファに記録した画像データを記録媒体１０８に記録するが、連続性判断部１０６で選択された画像データを、選択バッファ１０７に記録すると同時に記録媒体１０８に記録するようにしてもよい。また、この例では、画像処理装置１０１と記録媒体１０８とが、別構成となるように記述しているが、記録媒体１０８を、画像処理装置１０１の内部に構成することも可能である。

図２は、撮影した画像データから、記録する画像データを選択する処理を説明する図である。
例示する画像は、４８０ｘ６４０画素のサイズの画像である。図２中、２０１は、時間軸を示す。図の右側ほど前の時間であり、左側ほど後の時間を示す。時間軸２０１の目盛線は、撮影する画像データのフレーム間隔を示す。

２０２は、撮像素子１０３で撮影された画像データを示す。図では、Ｇ０−０からＧ３−０番までの番号付された画像が１３枚出力されている。画像データは、ｎ枚単位でフレームグループを形成しており、破線の矩形で囲んだ４枚づつの画像データがそれぞれフレームグループとなる。この例では、Ｇ０からＧ３までのフレームグループが示されている。なお、フレームグループＧ３は、まだ画像データは１枚だけである。

２０３は、記録された画像データの例を示しており、連続性判断部で選択された結果、各フレームグループ単位から、一枚づつの画像データが選択されて、記録される様子を示している。図では、フレームグループＧ０から、画像データＧ０−０が選択され、フレームグループＧ１から、画像データＧ１−２が選択され、フレームグループＧ２から、画像データＧ２−１が選択された様子が示してある。この記録された画像データを再生する際は、これらの画像データを、記録されたフレームレートに従って、一定の時間間隔で再生し表示する。

画像処理装置１０１は、フレームグループ単位に、一枚の画像を撮影バッファ１０５から選択して選択バッファ１０７に記録する。このとき、フレームグループ内のどの画像データが選択されるかは、連続性判断部１０６による選択の判断に依存し、フレームの順序や、フレームの間隔は無関係である。例えば、記録された画像データＧ０−０に対して、次の記録された画像データＧ１−２は、撮影時の画像データＧ０−０の６フレーム後の画像データである。一方、その次に記録された画像データＧ２−１は、撮影時の画像データＧ１−２の３フレーム後の画像データである。撮影時には、Ｇ０−０とＧ１−２のフレーム間隔と、Ｇ１−２とＧ２−１のフレーム間隔は異なるが、これを連続した画像として記録し、再生時には、Ｇ０−０とＧ１−２とＧ２−１とを、一定のフレームレートで再生する。すなわち、撮影時はバラバラのフレーム間隔で撮影された画像を、一定のフレームレートで再生する。再生される画像データ（Ｇ０−０，Ｇ１−２，Ｇ２−１）は、記録される際、連続性判断部で画像の連続性を判断して選択されているため、一定のフレームレートで再生した場合、動きが滑らかな、連続性の良い画像として再生できる。

また、画像処理装置１０１は、ｎフレーム単位（フレームグループ単位）毎に、一つの画像データを選択しているので、選択するフレーム間隔が極端に短い場合が続いたり、極端に離れる状態が発生することはない。したがって、撮影した時間と、再生する時間とが概ね一致した画像データが得られる。

図３は、連続性判断部による画像の選択処理の具体例を示す図である。
撮影バッファ３０１は、図１の撮影バッファ１０５に相当する。選択バッファ３０２ｈａ，図１の選択バッファ１０７に相当する。図３（Ａ）乃至図３（Ｄ）は、後述するように、特定のタイミングにおける、各バッファ内の画像データを示す。

図３（Ａ）は、撮影バッファ３０１に、フレームグループＧ１のＧ１−０からＧ１−３までの４枚の画像が読み込まれた状態を示す。この状態のとき、選択バッファ３０２には、画像Ｇ０−０が記録されているとする。本実施例では、連続性判断部１０６が、選択バッファ３０２内における選択された画像と、撮影バッファ内の画像の連続性の良否を判断する。このために、連続性判断部１０６は、画素間のマッチングを計算する。すなわち、比較元となる選択された画像（図３（Ａ）では、Ｇ０−０）と、比較対象となる撮影バッファ内の画像（Ｇ１−０，Ｇ１−１，Ｇ１−２，Ｇ１−３）とで、対応する座標の画素値の差分の二乗の総和を求める。連続性判断部１０６は、画素値の差分の二乗の総和の大きさに基づいて、連続性の良否を判断する。画素値の差分の二乗の総和に代えて、二乗の総和の平方根を用いてもよい。

画素値の差分の二乗の総和を、図３（Ａ）の撮影バッファ３０１内の各画像の下に記述してある。例えば、画像Ｇ１−０は、画像Ｇ０−０との画素値の差分の二乗の総和が２４０と計算される。同様に、画像Ｇ１−１については、画素値の差分の二乗の総和は３８３である。画像Ｇ１−２については、１２２、画像Ｇ１−３については、３５５と計算される。連続性判断部１０６は、画素値の二乗の総和が最も小さかったＧ１−２を、最も連続性の良い画像と判断して、撮影バッファ３０１内の画像から選択する。図３（Ｂ）は、画像Ｇ１−２が選択された状態を示す。画像に施されたハッチングは、当該画像が選択されたことを示している。選択された画像Ｇ１−２は、選択バッファ３０２に記録される。選択バッファ３０２に先に記録されていたＧ０−０は、記録媒体１０８に記録され、選択バッファ３０２から削除される。

図３（Ｃ）は、次のフレームグループＧ２のＧ２−０からＧ２−３までの、４枚の画像が読み込まれた状態を示している。画像Ｇ２−１が、画素値の差分の二乗の総和が１４５と最も小さいので、この画像が最も連続性が良いと判断され、選択される。図３（Ｄ）は、画像Ｇ２−１が選択され、選択バッファ３０２に記録された状態を示している。なお、画像の画素値の差分の二乗の総和を計算する際には、全画面の画素値を用いる必要はなく、画像の中央部分など一部の領域に制限して計算をしても良い。

図４は、実施例１の画像処理装置の動作処理を説明するフローチャートである。
Ｓ４０１で処理が開始されると、Ｓ４０２において、画像処理部１０４が、フレームグループを形成するｎ枚の画像を撮影バッファ１０５に読み込む。読み込まれた結果は、図３（Ａ）または図３（Ｃ）の状態となる。

次に、Ｓ４０３において、連続性判断部１０６が、Ｓ４０２で読み込まれた各画像と、選択バッファ１０７内の画像とを比較し、画像毎に評価値を求める。ここでは、先に説明したように、画素間のマッチング計算を行い、画素値の差分の二乗の総和を評価値として求める。続いて、Ｓ４０４において、連続性判断部１０６が、撮影バッファ１０５内の画像のうち、評価値が最も小さい画像を連続性が良い画像と判断して、選択する。

次に、Ｓ４０５で、画像処理装置１０１が備えるＣＰＵが、選択バッファ１０７に記録されている画像を記録媒体１０８に記録し、選択バッファ１０７から削除する。続いて、Ｓ４０６において、連続性判断部１０６が、選択バッファ１０７に、Ｓ４０４で選択した画像を記録して、選択バッファ１０７の更新を行う。選択バッファ１０７の更新を行った状態が、図３（Ｂ）または図３（Ｄ）である。

次に、Ｓ４０７において、画像処理装置１０１が備えるＣＰＵが、撮影が終了したかを判断する。撮影が終了していない場合は、処理がステップＳ４０２に戻る。撮影が終了した場合は、処理を終了する。

実施例１の画像処理装置は、撮影バッファ１０５に読み込んだｎ枚の画像のそれぞれと、選択バッファ１０７内の画像とで画像マッチングを行う。そして、ｎ枚の画像のうち、画素値の差分の二乗の総和が最も小さい画像を、選択バッファ１０７内の画像との連続性が良い画像として選択して、記録対象とする。これにより、画像間の変化が小さい画像が記録されるので、記録された画像の再生時に、より安定した画像を表示することができる。

（実施例２）
図５は、実施例２の画像処理装置の構成を示す図である。
実施例２の画像処理装置５０１は、撮影バッファ１０５内のｎフレーム分の画像のうち、対応する撮影倍率が、選択バッファ１０７内の画像に対応する撮影倍率と最も近い画像を、連続性が良い画像と判断し、この画像を記録対象すなわち再生対象として選択する。なお、画像処理装置５０１が備える各処理部の機能は、不図示のＣＰＵによって実現される。

図５中、図１に示す処理部と同等の動作や機能を持つ処理部は、図１に示す処理部と同一の番号を使用している。太線は、画像データの流れを、細線は、それ以外のデータの流れを示している。撮影レンズ１０２で結像された画像が、撮像素子１０３で画像信号に変換され、画像処理部１０４が、必要な処理を行ったのち、撮影バッファ１０５にｎフレーム単位（フレームグループ）で、画像データを記録する。

本実施例では、撮影情報取得部５０２が、撮影情報を取得する。撮影情報は、画像を撮影する際のカメラの状態や、被写体の情報である。具体的には、撮影情報は、カメラレンズの焦点距離や、被写体距離などである。撮影情報が、レンズの絞り値、シャッター速度、ホワイトバランス情報、画像ヒストグラムなどでもよい。以下の説明では、撮影情報がカメラレンズの焦点距離と、被写体距離とを有する場合について説明する。倍率計算部５０３が、撮影情報に基づいて撮影倍率を計算した後、撮影倍率を画像データと関連付けて撮影バッファ１０５に記録する。倍率計算部５０３は、撮影情報のうち、カメラレンズの焦点距離と被写体距離を受け取り、各画像の撮影倍率を計算する。

図６は、撮影倍率の計算の例を説明する図である。
図６中、６０１は、被写体、６０２は、カメラレンズ、６０３は、撮像素子上の被写体像である。６０４は、レンズの光軸であり、レンズ６０２の中心を通り、被写体６０１と被写体像６０３を結ぶ。矢印ｆは、レンズの焦点距離を示す。矢印ａは、レンズから被写体までの距離を示す。矢印ｂは、レンズから被写体像までの距離を示す。矢印ｄは、撮像素子から被写体までの距離を示す。以下、便宜上、ａ，ｂ，ｆ，ｄ の値は、全て正の値として説明する。

撮影倍率βは、ａとｂから、以下の式（１）で定義される。

また、以下の式（２）、式（３）で示す関係が成立する。

通常、撮影情報として得られるは、カメラレンズの焦点距離ｆと、被写体距離ｄである。したがって、ｆとｄから、式（１），式（２），式（３）の関係を利用して、撮影倍率βが求められる。ただし、マクロ撮影のような特殊撮影を除いて、ポートレート撮影などで、通常の被写体を普通に撮影する場合は、焦点距離ｆに比べて、被写体距離ａが十分に大きくなり、同時にレンズから被写体像までの距離ｂはｆに近い値となる。したがって、簡易的に、以下の式（４）で概略の撮影倍率β’を求めて、撮影倍率としても良い。

すなわち、連続性判断部５０３は、撮影情報のうち、レンズ焦点距離と、被写体距離から、撮影バッファ１０５内に記録されたそれぞれの画像データの撮影倍率を計算する。
図５の説明に戻る。撮影バッファ１０５には、ｎフレーム単位で画像データが記録されるともに、各画像データに対応する撮影倍率が記録される。連続性判断部５０４は、撮影バッファに記録されたｎフレームの画像の、選択バッファ１０７に記録された画像との連続性の良否を判断し、最も連続性の良い画像を一つ選択して選択バッファ１０７に記録する。

選択バッファ１０７には、連続性判断部５０４によって選択された画像データと撮影倍率とが記録される。連続性判断部１０６で次の画像が選択された場合、それまでに記録してあった画像データは、記録媒体１０８に記録される。

図７は、連続性判断部による画像の選択処理の具体例を示す図である。
撮影バッファ７０１は、図５の撮影バッファ１０５に相当する。選択バッファ７０２は、図５の選択バッファ１０７に相当する。図７（Ａ）から図７（Ｄ）は、特定のタイミングでの各バッファ内の画像データの様子を示す。

図７（Ａ）は、撮影バッファ７０１に、フレームグループＧ１のＧ１−０からＧ１−３までの４枚の画像が読み込まれた状態を示している。このとき、選択バッファ７０２には、画像Ｇ０−０が記録されている。それぞれの画像には、既に計算された撮影倍率が関連して記録されている。本実施例では、連続性判断部１０６が、選択バッファ７０１内の画像と、撮影バッファ７０１内の画像の連続性の良否を判断するために、撮影倍率を比較する。すなわち、比較元となる選択された画像（図７（Ａ）では、Ｇ０−０）と、比較対象となる撮影バッファ内の画像（Ｇ１−０，Ｇ１−１，Ｇ１−２，Ｇ１−３）とで、撮影倍率の比を求めて、これを評価値として、連続性の良否を判断する。連続性判断部１０６が、撮影倍率の差を利用して、連続性の良否を判断してもよい。

撮影倍率を記録した例を、図７（Ａ）の撮影バッファ７０１内の各画像と選択バッファ７０２内の画像の下に記述してある。例えば、画像Ｇ１−０は、対応する撮影倍率が、０．１０５である。画像Ｇ１−１は、対応する撮影倍率が０．０９７、画像Ｇ１−２は、対応する撮影倍率が０．１０１、画像Ｇ１−３は、対応する撮影倍率が０．１１２である。また、選択画像Ｇ０−０の撮影倍率は、０．１００である。連続性判断部１０６は、以上の撮影倍率を比較した結果、選択画像Ｇ０−０の撮影倍率と最も近い撮影倍率に対応するＧ１−２を、最も連続性の良い画像と判断して、撮影バッファ７０１内の画像から選択する。

図７（Ｂ）は、画像Ｇ１−２が選択された様子を示す。選択された画像Ｇ１−２は、選択バッファ７０２に記録される。選択バッファ７０２に先に記録されていたＧ０−０は、記録媒体１０８に記録され、選択バッファ７０２からは削除される。

図７（Ｃ）は、次のフレームグループＧ２のＧ２−０からＧ２−３までの、４枚の画像が読み込まれた状態を示している。各画像は、同様に撮影倍率の計算が行われており、それぞれ記録されている。この中では、画像Ｇ２−１が撮影倍率０．０９９と、画像Ｇ１−２の撮影倍率０．１０１に対して最も近いので、この画像が最も連続性が良いと判断され、画像Ｇ２−１が選択される。図３（Ｄ）は、画像Ｇ２−１が選択され、選択バッファ３０２に記録された状態を示している。

図８は、実施例２の画像処理装置の動作処理を説明するフローチャートである。
Ｓ８０１で処理が開始されると、Ｓ８０２において、画像処理部１０４が、フレームグループを形成するｎ枚の画像を撮影バッファ１０５に読み込む。Ｓ８０３において、倍率計算部５０３が、撮影倍率を計算し、画像データと関連付けて、撮影バッファ１０５に記録する。

次に、Ｓ８０４において、画像処理装置５０１が備えるＣＰＵが、画像の読み込み（Ｓ８０２）と撮影倍率の計算（Ｓ８０３）が、ｎフレーム分繰り返されたかを判断する。画像の読み込み（Ｓ８０２）と撮影倍率の計算（Ｓ８０３）が、ｎフレーム分繰り返されていない場合は、処理がＳ８０２に戻る。画像の読み込み（Ｓ８０２）と撮影倍率の計算（Ｓ８０３）が、ｎフレーム分繰り返された場合は、処理がＳ８０５に進む。ｎフレームの画像を読み読み込んだ結果は、図７（Ａ）または図７（Ｃ）の状態となる。

次に、Ｓ８０５において、連続性判断部５０４が、撮影バッファ１０５に読み込まれた各画像と、選択バッファ１０７内の画像とで、撮影倍率の比を求める。連続性判断部５０４は、撮影バッファ１０５内の画像のうち、撮影倍率の比の値が最も小さい画像を連続性が良い画像と判断して、選択する。

次に、Ｓ８０６で、画像処理装置５０１が備えるＣＰＵが、選択バッファ１０７に記録されている画像を記録媒体１０８に記録し、選択バッファ１０７から削除する。続いて、Ｓ８０７において、連続性判断部５０４が、選択バッファ１０７に、Ｓ８０５で選択した画像を記録して、選択バッファ１０７の更新を行う。

選択バッファ１０７の更新を行った状態が、図７（Ｂ）または図７（Ｄ）に示す状態である。Ｓ８０８において、画像処理装置５０１が備えるＣＰＵが、撮影が終了したかを判断する。撮影が終了していない場合は、処理がＳ８０２に戻る。撮影が終了した場合は、処理を終了する。

実施例２の画像処理装置によれば、画像間の撮影倍率の変化が小さい画像が記録対象として選択されるので、撮影レンズの焦点距離にかかわらず、被写体の撮影サイズがほとんど同じ画像が記録される。したがって、再生時により安定した画像を表示することができる。これにより、例えば、映画などで行われている、ズームレンズと被写体距離を変化させながら、被写体の大きさは一定として、背景画像のみを変化させることができ、なおかつ、その変化が滑らかである画像を得ることができる。

（実施例３）
図９は、実施例３の画像処理装置の構成を示す図である。
実施例３の画像処理装置９０１は、撮影バッファ１０５内のｎフレーム分の画像のうち、選択バッファ９０５内の画像の重心位置の変化から予測される重心位置に最も近い重心位置を持つ画像を連続性が良い画像と判断する。そして、この画像を記録対象すなわち再生対象として選択する。なお、画像処理装置９０１が備える各処理部の機能は、不図示のＣＰＵによって実現される。

実施例３では、主被写体検出部９０２が、画像処理部１０４が出力した画像データから主被写体を検出する。そして、重心位置計算部９０３が、検出された主被写体の重心位置を計算し、重心位置を画像データと関連付けて撮影バッファ１０５に記録する。

図１０は、画像からの主被写体の検出と重心位置の計算を説明する図である。
図１０（Ａ）は、撮影した画像全体を示す。図１０（Ｂ）中、１００１は、検出される主被写体範囲を示す。主被写体検出部９０２は、主被写体を、被写体の形状や種類、背景画像との差分などから判別し、検出する。検出された主被写体は、その周辺を含めて、主被写体範囲１００１として抽出される。重心位置計算部９０３は、抽出された主被写体範囲について、その画素値と画像の座標に基づいて、重心位置の計算を実行する。重心位置は、例えば、図１０（Ｃ）の１００２で示す×印のように、画像の左上からの画素数で表す。

重心位置計算部９０３は、以下の式で撮影バッファ１０５内の画像データの重心位置を計算する。ここで、Ｙ（ｉ，ｊ）は、座標（ｉ，ｊ）の位置の画像の画素値、重心の座標を（Ｗｘ，Ｗｙ）とする。

画像処理装置９０１は、撮影バッファ１０５に、ｎフレーム単位で画像データを記録すると共に、各画像データに対応する重心位置を記録する。

図９の説明に戻る。連続性判断部９０４は、選択バッファ９０５内の画像データに対応する重心位置から、予測される重心位置を算出する。連続性判断部９０４は、撮影バッファ１０５内の画像のうち、対応する重心位置が上記予測される重心位置に最も近い画像を、選択バッファ９０５内の画像との連続性が最も良いと判断し、選択する。選択バッファ９０５は、選択された画像データと重心位置とを記録する。この例では、選択バッファ９０５には、選択された画像が２枚記録されるものとする。連続性判断部９０４で次の画像が選択された場合、ＣＰＵが、それまでに記録してあった最も古い画像データを、記録媒体１０８に記録する。なお、実施例１で説明したように、連続性判断部９０４で選択された画像データを、選択バッファに記録すると同時に記録媒体１０８に記録する構成をとることもできる。

図１１は、連続性判断部による画像の選択処理の具体例を示す図である。
撮影バッファ１１０１は、図９の撮影バッファ１０５に相当する。選択バッファ１１０２は、図９の選択バッファ９０５に相当する。図１１（Ａ）から図１１（Ｄ）は、特定のタイミングでの、各バッファ内の画像データの様子を示す。

図１１（Ａ）は、撮影バッファ１１０１に、フレームグループＧ２のＧ２−０からＧ２−３までの４枚の画像が読み込まれた状態を示している。このとき、選択バッファ１１０２には、画像Ｇ０−０及び画像Ｇ１−２が記録されているとする。それぞれの画像には、既に計算された重心位置が関連付けられて記録されている。画像処理装置９０１は、選択バッファ内の画像と、撮影バッファ内の画像の連続性を判断するために、選択バッファ内の画像の重心位置から予測される重心位置と、撮影バッファ内の画像の重心位置を比較する。具体的には、選択された画像（図１１（Ａ）では、Ｇ０−０とＧ１−２）の重心位置の変化から予測される重心位置と、比較対象となる撮影バッファ内の画像（Ｇ２−０，Ｇ２−１，Ｇ２−２，Ｇ２−３）の重心位置とで、それぞれの距離を求める。画像処理装置９０１は、距離が最も小さい画像を撮影バッファから選択する。

重心位置を記録した例が、図１１（Ａ）の撮影バッファ１１０１内の各画像と選択バッファ１１０２内の各画像の下に記述してある。例えば、画像Ｇ０−０は、重心位置が、（２１５，２９８）である。同様に、画像Ｇ１−２は、重心位置が（２３９，３２２）である。画像Ｇ２−０は、重心位置が（２８０，３５１）である。画像Ｇ２−１は、重心位置が（２６５，３４４）である。画像Ｇ２−２は、重心位置が（２７３，２５５）である。画像Ｇ２−３は、重心位置が（２５２，３５１）である。

図１２は、重心位置の予測を説明する図である。
図１２（Ａ）は、図１１（Ａ）の状態における各画像の重心位置を示している。画像Ｇ０−０の重心位置が、座標（２１５，２９８）に示される。以下、同様に、画像Ｇ１−２，画像Ｇ２−０，画像Ｇ２−１，画像Ｇ２−２，画像Ｇ２−３の重心位置が、それぞれ座標（２３９，３２２），（２８０，３５１），（２６５，３４４），（２７３，２５５），（２５２，３５１）に示される。

図１２（Ｂ）は、選択画像Ｇ０−０とＧ１−２の重心位置から予測される重心位置を示す。Ｐ０１は、Ｇ０−０とＧ１−２の重心位置から予測される重心位置の座標である。連続性判断部９０４は、Ｇ０−０とＧ１−２の重心位置の座標の差分値を求める。連続性判断部９０４は、求めた座標の差分値を画像Ｇ１−２の重心位置の座標値に加算することで、予測される重心位置の座標Ｐ０１を求める。図１２（Ｂ）中、白矢印は、Ｇ０−０とＧ１−２との重心位置の座標の差分値である。黒矢印は、Ｇ１−２の重心位置の座標値に当該差分値が加算される様子を示す。

ここで、選択画像の重心座標を、順に、（Ｗ０ｘ，Ｗ０ｙ）、（Ｗ１ｘ，Ｗ１ｙ）、選択画像の重心座標の差分値を（△Ｗｘ，△Ｗｙ）、差分値から予測される重心位置の座標を（Ｗｐｘ，Ｗｐｙ）とすると、以下の関係が成立する。

上記の関係を利用し、Ｇ０−０とＧ１−２の重心位置から予測される重心位置の座標は、（２６３，３４６）となる。

ここで、撮影バッファ内のｎ番目の画像の重心位置を（Ｗｎｘ，Ｗｎｘ） としたとき、この重心位置の座標と、予測される重心位置の座標との距離Ｄｎは、次の式で求められる。

連続性判断部９０４は、上記の式にしたがって、画像Ｇ２−０，画像Ｇ２−１，画像Ｇ２−２，画像Ｇ２−３の重心位置と、予測される重心位置の座標との距離を、それぞれ、１７．７，２．８，１３．５，１２．１と計算する。連続性判断部９０４は、計算された距離を評価値として、撮影バッファ内の画像の選択画像との連続性の良否を判断する。連続性判断部９０４は、上記の距離が最も小さい画像Ｇ２−１を、最も連続性が良い画像として、選択する。

図１１の説明に戻る。図１１（Ｂ）は、画像Ｇ２−１が選択された様子を示す。選択された画像Ｇ２−１は、選択バッファ１１０２に記録される。選択バッファ１１０２では、最も先に記録されていたＧ０−０が、記録媒体１０８に記録され、選択バッファ１１０２からは削除される。その結果、選択バッファ１１０２内の画像は、画像Ｇ１−２及び画像Ｇ２−１となる。

図１１（Ｃ）は、次のフレームグループＧ３のＧ３−０からＧ３−３までの、４枚の画像が読み込まれた状態を示している。各画像は、重心位置の座標の計算が行われ、記録されている。図１１（Ｃ）では、画像Ｇ３−０，画像Ｇ３−１，画像Ｇ３−２，画像Ｇ３−３の重心位置が、それぞれ、座標（２９５，３６８），（３０１，３５９），（３１８，３６６），（３０７，３７３）と計算されている。

図１２（Ｃ）は、図１１（Ｃ）の状態の場合の各画像の重心位置を示す。図１２（Ｄ）は、図１２（Ｂ）と同様に、選択画像Ｇ１−２とＧ２−１の重心位置の変化から予測される重心位置の座標を示す。この例では、画像Ｇ３−０，画像Ｇ３−１，画像Ｇ３−２，画像Ｇ３−３の重心位置と、予測される重心位置の座標との距離は、それぞれ、４．５，１２．２，２７．０，１７．５と計算される。連続性判断部９０４は、上記の距離が最も小さい画像Ｇ３−０を、最も連続性が良い画像として、選択する。図１１（Ｄ）は、画像Ｇ３−０が選択され、選択バッファ内の画像が更新された結果を示している。

図１３は、実施例３の画像処理装置の動作処理を説明するフローチャートである。
Ｓ１３０１で処理が開始されると、Ｓ１３０２において、画像処理部１０４が、フレームグループを形成するｎ枚の画像を撮影バッファ１０５に読み込む。Ｓ１３０３において、主被写体検出部９０２が、撮影バッファ１０５に読み込まれた画像から主被写体を検出する。Ｓ１３０４において、重心位置計算部９０３が、主被写体の重心位置を計算する。画像処理装置９０１は、重心位置を画像と関連付けて撮影バッファ１０５に記録する。

次に、Ｓ１３０５において、画像処理装置９０１が備えるＣＰＵが、Ｓ１３０２乃至Ｓ１３０４の処理がｎフレーム分繰り返されたかを判断する。Ｓ１３０２乃至Ｓ１３０４の処理がｎフレーム分繰り返されていない場合は、処理がＳ１３０２に戻る。Ｓ１３０２乃至Ｓ１３０４の処理がｎフレーム分繰り返された場合は、処理がＳ１３０６に進む。ｎフレームの画像を読み読み込んだ結果は、図１１（Ａ）または図１１（Ｃ）の状態となる。

次に、Ｓ１３０６において、連続性判断部９０４が、撮影バッファ内の各画像の重心位置の座標と、選択バッファ９０５内の画像から予測される重心位置の座標との距離を求める。連続性判断部９０４は、求めた距離が最も近い画像を、連続性が良い画像と判断して、選択する。

次に、Ｓ１３０７において、ＣＰＵが、選択バッファ９０５に記録された画像のうち、最も先に記録されていた画像を記録媒体１０８に記録し、選択バッファ９０５内から削除する。続いて、Ｓ１３０８において、連続性判断部９０４が、選択バッファ９０５に、Ｓ１３０６で選択した画像を記録して、選択バッファ９０５の更新を行う。選択バッファ９０５の更新を行った状態が、図１１（Ｂ）または図１１（Ｄ）に示される。

Ｓ１３０９において、ＣＰＵが、撮影が終了したかを判断する。撮影が終了していない場合は、処理がＳ１３０２に戻る。撮影が終了した場合は、処理を終了する。実施例３の画像処理装置によれば、画像間で主被写体の重心位置の変化が小さい画像が選択されるので、主被写体の位置がほとんど同じ画像が記録される。したがって、再生時により安定した滑らかな画像を表示することができる。

（実施例４）
図１４は、実施例４の画像処理装置の構成を示す図である。
実施例４の画像処理装置１４０１は、撮影バッファ１０５内のｎフレーム分の画像のうち、選択バッファ１４０５内の画像の形状の変化から予測される形状に最も近い形状を持つ画像を連続性が良い画像と判断して、記録対象すなわち再生対象として選択する。なお、画像処理装置１４０１が備える各処理部の機能は、不図示のＣＰＵによって実現される。

実施例４では、主被写体検出部１４０２が、画像処理部１０４が出力した画像データから主被写体を検出する。そして、四隅位置計算部１４０３が、検出された主被写体の形状を示す四隅の位置を計算した後、四隅の位置（四隅位置）を画像データと関連付けて撮影バッファ１０５記録する。

図１５は、主被写体の検出と、主被写体の形状を示す四隅位置の計算を説明する図である。
図１５（Ａ）は、撮影した画像全体を示している。図１５（Ｂ）中、１５０１は、検出される主被写体範囲を示している。主被写体の検出は、実施例３と同様の方法で行われる。実施例４では、四隅位置計算部１４０３が、主被写体１５０１の形状にかかわらず、主被写体１５０１が収まる矩形の領域を設定する。四隅位置計算部１４０３は、設定した矩形領域について、その四隅位置の座標を算出する。この四隅位置の座標が、主被写体の形状を示す値である。画像処理装置１４０１は、撮影バッファ１０５内の各画像について算出された四隅位置に基づいて、選択バッファ１４０５内の画像との連続性の良否の判断を実行する。

四隅位置の座標は、図１０（Ｃ）に示すように、主被写体に対して、左上座標１５０２、右上座標１５０３、左下座標１５０４及び右下座標１５０４として求められる。この例では、左上座標１５０２のように、画像の左上からの画素数で表示する。

図１４の説明に戻る。連続性判断部１４０４は、選択バッファ１４０５内の画像データに対応する四隅位置の変化から予測される四隅位置を算出する。連続性判断部１４０４は、撮影バッファ１０５内の画像のうち、対応する四隅位置が上記予測される四隅位置に最も近い画像を、選択バッファ１４０５内の画像との連続性が最も良いと判断し、選択する。選択バッファ１４０５は、選択された画像データと四隅位置とを記録する。この例では、選択バッファ９０５には、選択された画像が２枚記録されるものとする。連続性判断部１４０４で次の画像が選択された場合、ＣＰＵが、それまでに記録してあった最も古い画像データを、記録媒体１０８に記録する。なお、実施例１で説明したように、連続性判断部１４０４で選択された画像データを、選択バッファ１４０５に記録すると同時に記録媒体１０８に記録する構成をとることもできる。

図１６は、連続性判断部による画像の選択処理の具体例を示す図である。
図１６中、撮影バッファ１６０１は、図１４の撮影バッファ１０５に相当する。選択バッファ１６０２は、図１４の選択バッファ１４０５に相当する。図１６（Ａ）および図１６（Ｂ）は、特定のタイミングでの、各バッファ内の画像データの様子を示す。

図１６（Ａ）は、撮影バッファ１６０１に、フレームグループＧ２のＧ２−０からＧ２−３までの４枚の画像が読み込まれた状態を示す。このとき、選択バッファ１６０２には、画像Ｇ０−０及び画像Ｇ１−２が記録されている。それぞれの画像には、既に計算された四隅の位置が関連して記録されている。

連続性判断部１４０４は、選択バッファ内の画像と、撮影バッファ内の画像との連続性の良否を判断するために、選択バッファ内の画像の四隅位置の変化から予測される四隅位置に最も近い四隅位置に対応する撮影バッファ内の画像を選択する。

具体的には、連続性判断部１４０４は、選択バッファ内の画像（図１６（Ａ）では、Ｇ０−０とＧ１−２）の四隅位置の変化から予測される四隅位置と、撮影バッファ内の各画像（Ｇ２−０，Ｇ２−１，Ｇ２−２，Ｇ２−３）の四隅位置との距離を求める。連続性判断部１４０４は、求めた距離の総和を各画像の評価値として、連続性を判断する。連続性判断部１４０４は、撮影バッファ内の画像のうち、距離の総和が最も小さい画像を選択バッファ内の画像との連続性が最も良いと判断して、選択する。

四隅位置を記録した例を、図１６（Ａ）の撮影バッファ１６０１内の各画像と選択バッファ１６０２内の各画像の下に記述してある。例えば、画像Ｇ０−０は、四隅位置が、｛左上、右上、左下、右下｝の順に、｛（２６５，２４８）、（２６５，３４８）、（１６５，２４８）、（１６５，３４８）｝と計算されている。同様に、画像Ｇ１−２は、四隅位置が、｛（２８９，２７２）、（２８９，３７２）、（１８９，２７２）、（１８９，３７２）｝である。

画像Ｇ２−０は、四隅位置が、｛（３３０，３０１）、（３３０，４０１）、（２３０，３０１）、（２３０，４０１）｝である。また、画像Ｇ２−１は、四隅位置が、｛（３１５，２９４）、（３１５，３９４）、（２１５，２９４）、（２１５，３９４）｝である。画像Ｇ２−２は、四隅位置が、｛（３２３，３０５）、（３２３，４０５）、（２２３，３０５）、（２２３，４０５）｝である。また、画像Ｇ２−３は、四隅位置が、｛（３０２，３０１）、（３０２，４０１）、（２０２，３０１）、（２０２，４０１）｝である。

図１７は、画像の四隅位置の予測を説明する図である。
図１７は、図１１（Ｂ）に相当する図である。選択バッファ内の画像Ｇ０−０と画像Ｇ１−２の四隅位置、撮影バッファ内の画像Ｇ２−０，Ｇ２−１，Ｇ２−２，Ｇ２−３の四隅位置、予測される四隅位置（Ｐ０１）が示される。図の破線の円は、それぞれ、表示されている各画像の主被写体の四隅位置が、左上、右上、左下及び右下の位置であることを示している。この例では、四隅位置のうち、左上の位置を１番目の位置、右上の位置を２番目の位置、左下の位置を３番目の位置、右下の位置を４番目の位置とする。白矢印は、画像Ｇ０−０とＧ１−２の差分値を示す。連続性判断部１４０４は、各四隅の予測値を、実施例３の重心位置の予測値を求める方法に準じた方法で計算する。連続性判断部１４０４は、黒矢印に示すように、Ｇ０−０の各四隅の座標値に上記差分値を加算することで、四隅位置（Ｐ０１）の座標値を算出する。

ここで、予測される四隅位置のうちのｋ番目の位置（１≦ｋ≦４）の座標を（Ｐｋｘ，Ｐｋｙ）とする。撮影バッファ内のｎ番目の画像の四隅位置のうちのｋ番目の位置を（Ｗｎｋｘ，Ｗｎｋｘ）とする。ｎ番目の画像の四隅位置のうちのｋ番目の位置と、予測される四隅位置のうちのｋ番目の位置との距離Ｄｋｎは、次の式で求められる。

求まった距離Ｄｋｎを四隅位置のうちの１番目の位置から４番目の位置まで加算した値を、当該画像についての総合的な評価値とする。すなわち、ｎ番目の画像の総合的な評価値は、次の式で求められる。

上記式に従って、画像Ｇ２−０，画像Ｇ２−１，画像Ｇ２−２，画像Ｇ２−３の評価値は、それぞれ、７０．１，１１．３，５３．８，４８．３と計算される。連続性判断部１４０４は、この評価値に基づいて、最も近い距離にある画像Ｇ２−１を、最も連続性が良い画像であると判断する。したがって、画像Ｇ２−１が、撮影バッファ１６０１内の画像から選択される。

図１６の説明に戻る。図１６（Ｂ）は、画像Ｇ２−１が選択された様子を示す。選択された画像Ｇ２−１は、選択バッファ１６０２に記録される。選択バッファ１６０２では、最も先に記録されていたＧ０−０が、記録媒体１０８に記録され、選択バッファ１６０２からは削除される。その結果、選択バッファ１６０２内の画像は、画像Ｇ１−２及び画像Ｇ２−１となる。以降、画像の選択と、選択バッファの更新とが繰り返される。

図１８は、実施例４の画像処理装置の動作処理を説明するフローチャートである。
Ｓ１８０１で処理が開始されると、Ｓ１８０２において、画像処理部１０４が、フレームグループを形成するｎ枚の画像を撮影バッファ１０５に読み込む。Ｓ１８０３において、主被写体検出部１４０２が、撮影バッファ１０５に読み込まれた画像から主被写体を検出する。Ｓ１８０４において、四隅位置計算部１４０３が、主被写体の四隅位置を計算する。画像処理装置１４０１は、四隅位置を画像と関連付けて撮影バッファ１０５に記録する。

次に、Ｓ１８０５において、画像処理装置１４０１が備えるＣＰＵが、Ｓ１８０２乃至Ｓ１８０４の処理がｎフレーム分繰り返されたかを判断する。Ｓ１８０２乃至Ｓ１８０４の処理がｎフレーム分繰り返されていない場合は、処理がＳ１８０２に戻る。Ｓ１８０２乃至Ｓ１８０４の処理がｎフレーム分繰り返された場合は、処理がＳ１８０６に進む。ｎフレームの画像を読み読み込んだ結果は、図１６（Ａ）の状態となる。

次に、Ｓ１８０６において、連続性判断部１４０４が、読み込まれた各画像の四隅位置の座標と、選択バッファ１４０５内の画像から予測される四隅位置の座標との距離を求めて、各画像の評価値とする。続いて、Ｓ１８０７において、連続性判断部１４０４が、評価値が最も小さい画像を連続性が良い画像と判断して、選択する。

次に、Ｓ１８０８において、ＣＰＵが、選択バッファ１４０５に記録された画像のうち、最も先に記録されていた画像を記録媒体１０８に記録し、選択バッファ１４０５内から削除する。続いて、Ｓ１８０９において、連続性判断部１４０４が、選択バッファ１４０５に、Ｓ１８０７で選択した画像を記録して、選択バッファ１４０５の更新を行う。選択バッファ１４０５の更新を行った状態が、図１６（Ｂ）に示される。

Ｓ１８１０において、ＣＰＵが、撮影が終了したかを判断する。撮影が終了していない場合は、処理がＳ１８０２に戻る。撮影が終了した場合は、処理を終了する。実施例４の画像処理装置によれば、画像間の主被写体の形状位置の変化が小さい画像が選択されるので、主被写体の形状がほとんど同じ画像が記録される。このため、再生時により安定した滑らかな画像を表示することができる。

実施例４では、主被写体の形状を表す領域として、矩形形状の領域を用いて、その四隅の位置を求めているが、主被写体の形状を表す領域は、矩形領域に限るものではない。例えば、主被写体の形状を三角形の領域で表した場合は、各頂点（３点）の位置を求めれば良い。同様に、他の多角形領域も利用できる。

以上、説明した通り、画像処理装置は、記録するフレーム数のｎ倍で撮影され、撮影バッファに記憶された画像から、ｎ枚単位に、最も連続性が良い一つの画像を選択する。その際、画像処理装置が備える連続性判断部が、撮影バッファ内の画像の特徴を示す第１の特徴情報と、選択バッファ内の画像の特徴を示す第２の特徴情報とを算出する。連続性判断部は、第１の特徴情報と第２の特徴情報とを比較して、第２の特徴情報が示す特徴に最も近い特徴を示す第１の特徴情報に対応する画像を選択する。

さらに、実施例１から実施例４について総括すると、実施例１と実施例２は、選択バッファ内の画像が一つである。画像処理装置は、撮影バッファ内の画像の特徴を示す第１の特徴情報と、選択バッファ内の画像の特徴を示す第２の特徴情報とを比較して、一枚の画像を選択する。実施例３と実施例４は、選択バッファ内の画像が複数である。画像処理装置は、第１の記憶部内の画像の特徴を示す第１の特徴情報と、第２の記憶部内の各々の画像の特徴を示す第２の特徴情報を算出する。画像処理装置は、第２の特徴情報に基づいて、次に算出が予測される第２の特徴情報を予測特徴情報として算出する。そして、画像処理装置は、第１の特徴情報と予測特徴情報とを比較して、予測特徴情報が示す特徴に最も近い特徴を示す第１の特徴情報に対応する画像を選択する。

実施例１では、第１、第２の特徴情報は、画像の画素値を示す。画像処理装置は、第１の特徴情報が示す画素値の、第２の特徴情報が示す画素値との差分二乗和を算出する。そして、画像処理装置は、差分二乗和が最も小さい画素値を示す第１の特徴情報に対応する画像を選択する。

実施例２では、第１、第２の特徴情報は、画像の撮影時の撮影情報から求まる値、具体的には、撮影倍率である。画像処理装置は、第２の特徴情報が示す値に最も近い値を示す第１の特徴情報に対応する画像を選択する。

実施例３では、第１の特徴情報、第２の特徴情報、および予測特徴情報は、画像内の被写体の重心の位置を示す。画像処理装置は、第２の特徴情報が示す重心の位置に最も近い重心の位置を示す第１の特徴情報に対応する画像を選択する。

実施例４では、第１の特徴情報、第２の特徴情報、および予測特徴情報は、画像内の被写体の形状を示す。画像処理装置は、第２の特徴情報が示す形状に最も近い形状を示す第１の特徴情報に対応する画像を選択する。

画像の特徴情報については、実施例１乃至４に具体的に記述した例以外の特徴情報を用いることができる。例えば、画像の特徴情報として撮影時の情報のホワイトバランス情報を用いた場合、これを実施例２で用いた撮影倍率の代わりに利用することで、ホワイトバランスについて最も連続性が良い画像が得られる。また、画像の特徴情報として、主被写体の面積を用いる場合、これを実施例３で用いた重心位置の代わりに利用することで、主被写体の面積について最も連続性が良い画像が得られる。また、実施例１乃至４に示した特徴情報を複数を組み合わせて、重み付け等を行って各画像の評価値とすることもできる。

また、撮影バッファ内に、第２の特徴情報が示す特徴と同じ特徴を示す第１の特徴情報に対応する画像が、複数保持されている場合に、撮影バッファ内の画像のうち、予め定められた撮影順序に対応するほうの画像（例えば図２の画像Ｇ０−０等）を選択してもよい。

また、選択した画像を記録媒体に記録する際に、選択した画像の撮影バッファ内の撮影順序を示す番号、すなわちフレームグループ内の番号を記録しておくようにしてもよい。このようにすることで、撮影時はバラバラのフレーム間隔で撮影された画像であることを示すこともできる。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０１ 画像処理装置
１０５ 撮影バッファ
１０６ 連続性判断部
１０７ 選択バッファ

Claims (13)

1. 記録するフレーム数のｎ倍のフレーム数で撮像された画像をｎフレーム分保持する第１の記憶部と、
   前記第１の記憶部から選択された画像を少なくとも１枚以上保持する第２の記憶部と、
   前記第１の記憶部内の画像のうち、前記第２の記憶部内の画像との連続性が良い画像を１枚選択して前記第２の記憶部に記憶する制御手段とを備える
   ことを特徴とする画像処理装置。
2. 前記制御手段は、
   前記第１の記憶部内の画像の特徴を示す第１の特徴情報と、前記第２の記憶部内の画像の特徴を示す第２の特徴情報とを算出し、
   前記第１の特徴情報と前記第２の特徴情報とを比較して、前記第２の特徴情報が示す特徴に最も近い特徴を示す第１の特徴情報に対応する画像を選択する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記第１の記憶部内に、前記第２の特徴情報が示す特徴と同じ特徴を示す第１の特徴情報に対応する画像が複数ある場合に、当該複数の画像のうち、予め定められた撮影順序に対応する画像を選択する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１、第２の特徴情報は、画像の画素値を示し、
   前記制御手段は、前記第１の特徴情報が示す画素値の、前記第２の特徴情報が示す画素値との差分二乗和を算出し、
   前記差分二乗和が最も小さい画素値を示す前記第１の特徴情報に対応する画像を選択する
   ことを特徴とする請求項２または請求項３に記載の画像処理装置。
5. 前記第１、第２の特徴情報は、画像の撮影時の撮影情報から求まる値を示し、
   前記制御手段は、前記第２の特徴情報が示す値に最も近い値を示す前記第１の特徴情報に対応する画像を選択する
   ことを特徴とする請求項２または請求項３に記載の画像処理装置。
6. 前記第１、第２の特徴情報が示す、前記撮影情報から求まる値は、撮影倍率である
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記制御手段は、
   前記第１の記憶部内の画像の特徴を示す第１の特徴情報と、前記第２の記憶部内の複数の画像のそれぞれについて、画像の特徴を示す第２の特徴情報を算出し、
   前記算出された第２の特徴情報に基づいて、次に算出が予測される第２の特徴情報を予測特徴情報として算出し、
   前記第１の特徴情報と前記予測特徴情報とを比較して、前記予測特徴情報が示す特徴に最も近い特徴を示す第１の特徴情報に対応する画像を選択する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記第１の特徴情報、前記第２の特徴情報、および前記予測特徴情報は、画像内の被写体の重心の位置を示す
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記第１の特徴情報、前記第２の特徴情報、および前記予測特徴情報は、画像内の被写体の形状を示す
   ことを特徴とする請求項７に記載の画像処理装置。
10. 前記制御手段は、前記第１の記憶部から画像を選択する毎に、前記第１の記憶部内の画像をｎフレーム単位で更新する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記制御手段は、前記第２の記憶部に前記選択された画像を記憶するとともに、前記第２の記憶部に保持されていた最も古い画像を再生対象として第３の記憶部に記憶する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記制御手段は、前記第２の記憶部に前記選択された画像を記憶すると同時に、当該記憶された画像を再生対象として第３の記憶部に記憶する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
13. 記録するフレーム数のｎ倍のフレーム数で撮像された画像をｎフレーム分保持する第１の記憶部と、前記第１の記憶部から選択された画像を少なくとも１枚以上保持する第２の記憶部とを備える画像処理装置の制御方法であって、
    前記第１の記憶部内の画像のうち、前記第２の記憶部内の画像との連続性が良い画像を１枚選択して前記第２の記憶部に記憶する工程を有する
    ことを特徴とする制御方法。

Images