JP2011030027A - 動画像再生装置及び撮像装置並びにそれらの制御方法、プログラム - Google Patents

Abstract

【課題】フレーム画像から部分領域を切り出し拡大表示して動画像を再生する際に、互いに異なる撮像条件下で撮像された複数のフレーム画像の中から表示する画像を適切に選び出して再生動画像の画質を向上させる。
【解決手段】撮像条件を互いに異ならせて順次撮像された複数のフレーム画像を含む画像群が複数連続して構成された動画像を再生する動画像再生装置であって、前記画像群に含まれる各フレーム画像から所定の領域を切り出して、画像群ごとに複数の切り出し画像を生成する画像切り出し手段と、前記複数の切り出し画像のそれぞれについて、画質を判定するための評価値を算出する評価値算出手段と、前記複数の切り出し画像のうち、前記評価値が最も高い切り出し画像を選択して表示する表示手段とを備える。
【選択図】図３

Description

本発明は、動画像再生装置及び撮像装置並びにそれらの制御方法、プログラムに関する。

現在、高フレームレートでの撮影が可能な撮像装置を用いて、撮像条件を少しずつ変えながら同一の被写体を連写する、いわゆるブラケット撮影と呼ばれる撮影方法が知られている。例えば、露出条件を少しずつ変えながら連写するオートエクスポージャーブラケット（AEB）撮影を行うことのできるディジタルカメラが製品化されている。さらに、上記のブラケット撮影を周期的に繰り返し、フレーム画像を順次撮影することにより、静止画像だけでなく動画像の撮影にもブラケット撮影を用いる技術が知られている（特許文献１を参照）。

このブラケット撮影を用いることで、ユーザは、撮影後に、連写された複数の画像の中から所望の画像を選ぶことが可能となる。特許文献２では、ブラケット撮影した動画像を再生する際に、ユーザが所望の撮像条件を指定し、その指定された撮像条件において撮影されたフレーム画像を選択して表示させる方法が開示されている。

また、高解像度での撮影が可能な撮像装置を用いて撮影された静止画像や動画像を再生する際に、全体の画像である全体画像からユーザが注視したい一部の領域の画像を切り出し、拡大表示する技術が確立されている。特許文献３では、同一の全体画像から複数の部分領域を切り出し、合成して表示する際に、切り出した各画像が良好な画質になるよう各画像の輝度や色味を個別に補正してから合成する方法が開示されている。

特開２００９−０３３５８６号公報 特開２００６−０３３０３３号公報 特開２００５−１４２６８０号公報

上記の特許文献２の動画像再生方法は、動画再生時にユーザが所望の撮像条件を指定し、フレーム画像の選択を制御するものであった。このため、撮影中の被写体の動きや周囲の環境の変化に応じて、最適な撮像条件が変化するような場合には、ユーザがその変化に合わせて撮像条件を指定し直す必要があり、手間がかかった。また、特許文献１の動画像再生方法は、撮影した全体画像を表示するものであったため、全体画像の中から部分画像を切り出して拡大表示する場合に、切り出した領域での画質が最も良い画像を選択することが容易でないという課題があった。

また、上記の特許文献３の画像処理方法は、全体画像の画質が良好になるよう撮像条件を適正化して撮影した一枚の全体画像から部分領域を切り出し、切り出した画像に対して補正を行うものであるため、補正の可能な範囲が限られてしまうという課題があった。例えば、図１５（Ｂ）のように人物１７０１を逆光下で撮影する場合、主要被写体である人物１７０１の部分は低輝度であるのに対し、背景部分１７０２は高輝度になる。この場合、人物１７０１の輝度を基準にした露出条件で撮影すると、背景部分１７０２に対しては露出過多となり、その階調情報の一部が失われ、所謂白飛びが生じる。したがって、この全体画像から、背景部分１７０２を切り出す場合、既に失われた階調情報を再現することはできないため、切り出した画像を白飛び状態から補正することはできないという課題があった。

そこで本発明は、フレーム画像から部分領域を切り出し拡大表示して動画像を再生する際に、互いに異なる撮像条件下で撮像された複数のフレーム画像の中から表示する画像を適切に選び出して再生動画像の画質を向上させることを目的とする。

上記課題を解決する本発明は、撮像条件を互いに異ならせて順次撮像された複数のフレーム画像を含む画像群が複数連続して構成された動画像を再生する動画像再生装置であって、
前記画像群に含まれる各フレーム画像から所定の領域を切り出して、画像群ごとに複数の切り出し画像を生成する画像切り出し手段と、
前記複数の切り出し画像のそれぞれについて、画質を判定するための評価値を算出する評価値算出手段と、
前記複数の切り出し画像のうち、前記評価値が最も高い切り出し画像を選択して表示する表示手段とを備える。

本発明によれば、フレーム画像から部分領域を切り出し拡大表示して動画像を再生する際に、互いに異なる撮像条件下で撮像された複数のフレーム画像の中から表示する画像を適切に選び出して再生動画像の画質を向上させることができる。

本発明に係る動画像処理システムの概要を示すブロック図。 本発明の第１の実施形態に係る撮像装置の構成を示すブロック図。 本発明の第１の実施形態に係る動画像再生装置の構成を示すブロック図。 ブラケット撮影を用いて撮影したフレーム画像の例を示す図。 ブラケット撮影を繰り返して撮影した動画像データの例を示す図。 本発明の第１の実施形態における動画像データの配列を示す図。 本発明の第１の実施形態における撮像装置の動作フロー図。 本発明の第１の実施形態における動画像再生装置の動作フロー図。 本発明の第１の実施形態における評価値の算出方法の説明図。 本発明の第２の実施形態における動画像再生装置の構成を示すブロック図。 本発明の第２の実施形態における評価値の算出方法の説明図（Ａ）と、画質パラメータ情報の例を示す図（Ｂ）。 本発明の第２の実施形態における動画像データの配列を示す図。 本発明の第２の実施形態における撮像装置の動作フロー図。 本発明の第２の実施形態における動画像再生装置の動作フロー図。 本発明の第２の実施形態における評価値の算出方法の説明図（Ａ）と、被写体を逆光下で撮影した場合の画像の説明図（Ｂ）。

［第１の実施形態］
以下、図１〜図９を参照しながら本発明の好適な実施形態について詳しく説明する。各実施形態では、動画像再生装置と撮像装置からなる動画像処理システムを例に説明する。

図１は、本実施形態に係る動画像処理システムの概要を示した図である。本実施形態の動画像処理システム１０１は、撮像装置１０２と動画像再生装置１０４から構成される。各構成要素の役割を簡単に説明すると、撮像装置１０２は、ブラケット撮影により動画像を撮影し、動画像データを動画像再生装置１０４に送信する。撮像装置１０２はデジタルビデオカメラ、或いは動画撮影が可能なデジタルカメラとして実現できる。また、カメラ付きの携帯電話やカメラを接続したパーソナルコンピュータでもよい。動画像データの送信は、ＳＤカードやＤＶＤのような記録媒体１０３を介して行っても良いし、撮像装置１０２と動画像再生装置１０４を結ぶ通信ネットワークを介して行っても良い。動画像再生装置１０４は、受信した動画像データに対する画像処理を行った後、動画像を表示する。

以下、順に、撮像装置１０２と動画像再生装置１０４の構成と動作について説明する。まず、図２のブロック図を参照しながら、本実施形態における撮像装置１０２の主要な構成を説明する。図２において、撮像レンズ２０１は被写体からの光束を結像する。撮像素子２０３はアイリス２０２を透過して入射した光を光電変換する。Ａ／Ｄ変換部２０４は、撮像素子２０３からの出力であるアナログ画像信号をディジタル信号に変換する。画像信号処理部２０５は、入力される画像信号に対してγ補正やホワイトバランス補正などの画像処理を行う。記録部２０６は、画像処理後の画像信号に管理情報を付帯させ、動画像データとして記録する。管理情報については、後で詳しく説明する。制御部２０７は、撮像装置１０２の各構成要素の動作を制御する。測光センサ２０８は被写体輝度を測光する。測距センサ２１０は被写体距離を測定する。操作部２０９は、ユーザからの操作を受け付け、不図示の操作機構を備える。

このような撮像装置１０２において、撮像素子２０３は撮像レンズ２０１、及びアイリス２０２を介して入射した被写体光を光電変換し、フレーム画像信号を順次、生成する。Ａ／Ｄ変換部２０４は、撮像素子２０３が出力したアナログのフレーム画像信号をディジタル信号に変換し、画像信号処理部２０５へ出力する。画像信号処理部２０５は、入力された各フレーム画像信号に対して、γ補正、ホワイトバランス調整等の処理を施す。一方、制御部２０７は、測光センサ２０８に被写体輝度を測光するよう指示を出す。そして、制御部２０７は、測光された被写体輝度の情報に基づいて、各フレーム画像を撮像する時に設定する露出状態を決定し、シャッタースピードやアイリス２０２の動作を制御する。また、制御部２０７は、決定した露出状態を表す情報を管理情報として記録部２０６へ出力する。具体的には、各フレーム画像に対して設定した露出値Ｅｖを出力する。記録部２０６は、画像信号処理部２０５から出力された画像信号、及び、制御部２０７から出力された管理情報を記録する。

次に、図３のブロック図を参照しながら、本実施形態における動画像再生装置１０４の主要な構成を説明する。動画像再生装置１０４は、例えばパーソナルコンピュータとして実現することができる。また、例えば、カメラを接続したパーソナルコンピュータのように、撮像装置１０２と動画像再生装置１０４とを一体として構成することもできる。或いはカメラ付きの携帯電話や携帯情報端末であってもよい。図３において、記録部３０１は動画像データを記録する。フレーム画像読出部３０２は記録部３０１からフレーム画像を読み出す。操作部３０３は、画像を切り出す領域をユーザが指定するための不図示の領域指定機構などを備える。

画像処理部３０４は読み出された動画像の表示に係る処理を行う。画像切り出し部３０５は、読み出されたフレーム画像からユーザが指定した領域を切り出し、切り出し画像を生成する。画像判別部３０６は切り出し画像を撮像条件に応じて判別する。切り出し画像記録部ａから画像記録部ｃ（３０７から３０９）は、それぞれ切り出し画像を記録する。評価値算出部ａ３１０〜評価値算出部ｃ３１２は、それぞれ切り出し画像記録部ａ３０７〜切り出し画像記録部ｃ３０９に記録されている切り出し画像に対する評価値を算出する。評価値については、動画像再生装置１０４の動作を説明する際に詳しく説明する。

評価値比較部３１３は、評価値算出部ａ３１０から評価値算出部ｃ３１２が算出した評価値を比較し、表示する画像を選択する。切り出し画像読出部３１４は、評価値比較部３１３の選択に従って切り出し画像記録部ａ３０７〜切り出し画像記録部ｃ３０９の何れかより切り出し画像を読み出す。画像表示制御部３１５は、解像度変換などの画像の表示に必要な処理を行う。表示部３１６は、動画像を表示する。

次に図４から図６を参照して本実施形態における動画像データについて説明する。本実施形態において撮像装置１０２は、通常の動画再生に必要なフレームレート（以下、通常レート）の３倍のレートでフレーム画像を撮影し、ブラケット撮影を行う。すなわち、通常レートが毎秒３０フレームであった場合、毎秒９０フレームの撮影を行うことにより、通常レートの１／３０秒間に３枚のフレーム画像を撮影する。このとき撮影する各フレーム画像に対して、互いに異なる撮像条件を設定して撮影する。例えば、露出条件をそれぞれ異なる値に設定して撮影する。このように撮影した場合の、各フレーム画像の例を、図４に示す。図４において、（ｂ）の画像はフレーム画像全体に対して適正な露出量となる露出状態で撮影されたフレーム画像である。一方、（ａ）、（ｃ）の画像はそれぞれ、（ｂ）の画像より露出オーバー、露出アンダーとなるよう一定の補正量を加えた露出状態で撮影されたフレーム画像である。したがって、（ａ）、（ｂ）、（ｃ）の順に、露出量が少なくなり、画像の輝度レベルが低くなっている。なお、この露出量の設定は、図４の（ａ）、（ｂ）、（ｃ）が互いに異なる設定となっていれば、どのような設定の仕方であっても構わない。例えば、（ａ）、（ｂ）、（ｃ）の順に露出量が多くなるように設定しても良い。

図５は、上述のブラケット撮影を順次繰り返して、動画として撮影した場合の動画像データの様子を示している。図５で、横軸は時間順序を表している。すなわち、フレーム画像の撮影順序は、フレーム画像１ａを先頭に、以下、１ｂ、１ｃ・・・３ｃの順となっている。上述のように、通常レートのフレーム間（１／３０ｓｅｃの矢印で示す）に、３枚のフレーム画像を撮影する。したがって、各フレーム画像のフレーム間隔（１／９０ｓｅｃの矢印で示す）は１／９０ｓｅｃである。図５は、通常レートで３フレーム、すなわち９枚のフレーム画像を撮影した場合を示している。

以下、フレーム画像１a，１ｂ，１ｃの画像の組を画像群１と呼ぶ。同様にして、フレーム画像ｎａ、ｎｂ、ｎｃ (ｎは自然数)の画像の組を画像群ｎと呼ぶ。即ち、本実施形態の動画像データは、画像群が複数連続して構成される。また、１a、２a、３ａ・・・ｎａ（nは自然数）の画像の組をa系列と呼び、１ｂ、２ｂ、３ｂ・・・ｎｂの画像の組をb系列、１ｃ、２ｃ、３ｃ・・・ｎｃの画像の組をｃ系列と呼ぶ。図４で説明したように、同一の画像群に属する３枚のフレーム画像は、互いに異なる露出状態で撮影されている。すなわち、ｂ系列に属するフレーム画像は、各フレーム画像に対して最適な露出量となるよう設定された露出状態で撮影されている。一方、ａ系列、ｃ系列に属するフレーム画像は、ｂ系列に属するフレーム画像に対して露出オーバー、露出アンダーとなるようにそれぞれ設定された露出状態で撮影されている。

図６は、記録部２０６に記録されるフレーム画像のデータ配列を示す図である。記録された各フレーム画像６０２には、そのフレーム画像が撮影された時の露出状態を示す管理情報６０１が付帯されている。管理情報６０１には、制御部２０７から出力された露出値Ｅｖが記録される。但し、管理情報６０１は露出値Ｅｖでなくてもよく、少なくとも各フレーム画像６０２が何れの系列に属するかを判別できる情報が含まれていればどのようなものであっても構わない。例えば、各フレーム画像６０２が属する系列を表す系列ＩＤ情報であっても良い。

次に、図７のフローチャートを参照しながら、上述のブラケット撮影を行う際の撮像装置１０２の処理動作について説明する。Ｓ７０１では、撮像装置１０２が動画撮影を開始する。Ｓ７０２では、測光センサ２０８が、被写体輝度を測光する。Ｓ７０３では、制御部２０７が、測光した被写体輝度の情報に基づいて、フレーム画像６０２全体に対する最適な露出値であるフレーム露出値Ｅｖ０を算出する。フレーム露出値Ｅｖ０は、中央重点測光方式やスポット測光方式などの公知の算出方法を用いて算出される。Ｓ７０４では、制御部２０７が、フレーム画像６０２全体に対する適正な露出状態より露出オーバーとなるよう露出状態を設定する。ここでは、例えばＳ７０３で算出したフレーム露出値Ｅｖ０から所定量だけ露出オーバー側にずらしたフレーム露出値Ｅｖ（ａ）に基づき露出状態を設定できる。露出状態を設定した後、撮像装置１０２はａ系列のフレーム画像６０２を撮像し、管理情報６０１を付帯させた後に記録部２０６に記録する。例えば、この管理情報６０１は上述のフレーム露出値Ｅｖ（ａ）となる。

Ｓ７０５では、制御部２０７が、フレーム画像６０２全体に対する適正な露出状態となるよう露出状態を設定する。ここではＳ７０３で算出したフレーム露出値Ｅｖ０に基づくフレーム露出値Ｅｖ（ｂ）により露出状態を設定できる。露出状態を設定した後、撮像装置１０２はｂ系列のフレーム画像６０２を撮像し、管理情報６０１を付帯させた後に記録部２０６に記録する。例えば、この管理情報６０１は上述のフレーム露出値Ｅｖ（ｂ）となる。Ｓ７０６では、制御部２０７が、フレーム画像６０２全体に対する適正な露出状態より露出アンダーとなるよう露出状態を設定する。ここでは、例えばＳ７０３で算出したフレーム露出値Ｅｖ０から所定量だけ露出アンダー側にずらしたフレーム露出値Ｅｖ（ｃ）に基づき露出状態を設定できる。この後、撮像装置１０２はｃ系列のフレーム画像６０２を撮像し、管理情報を付帯させた後に記録部２０６に記録する。例えば、この管理情報６０１は上述のフレーム露出値Ｅｖ（ｃ）となる。

尚、Ｓ７０２からＳ７０６までの処理により、一つの画像群が撮影、記録されたこととなる。Ｓ７０７では、制御部２０７が、撮影動作を終了するか否かを判定する。すなわち、ユーザが操作部２０９を介して動画撮影を停止するよう指示した場合には撮影動作を停止するよう判定する。ここで動画撮影を停止すると判定すれば、本実施形態における動画撮影処理を終了する。停止しないと判定すれば、Ｓ７０２へ戻り、フレーム画像６０２の撮影動作を繰り返す。以上のような撮影動作により、図４〜図６で示した動画像データが取得できることとなる。

次に、図８のフローチャートを参照しながら、本実施形態における動画像再生装置１０４の処理動作について説明する。

まず、Ｓ８０１では、ユーザが操作部３０３に設けられた不図示の操作ボタンを操作し、再生モードを切り出し再生モードに設定する。切り出し再生モードが選ばれると、切り出し再生に際して必要となる以下の一連の準備動作が実行される。すなわち、Ｓ８０２ではフレーム画像読出部３０２が記録部３０１より、動画像の先頭フレーム画像１ａを読み出す。フレーム画像読出部３０２は、読み出したフレーム画像を画像表示制御部３１５へ送信する。
Ｓ８０３では、画像表示制御部３１５が、受信したフレーム画像の表示に必要な処理を行い、表示部３１６にフレーム画像１ａを表示する。Ｓ８０４では、ユーザが、操作部３０３に設けられている不図示の領域指定手段を操作し、フレーム画像の中から切り出して拡大表示させたい領域（切り出し領域）を指定する。具体的には、ユーザは表示部３１６にフレーム画像１ａと重ねて表示される領域指定枠のサイズ変更、及び、移動を行い、フレーム画像のうちの拡大表示させたい領域に一致させるようにする。切り出し領域が指定されると、操作部３０３は、切り出し領域のサイズ、及び、位置の情報を画像切り出し部３０５へ送信する。切り出し領域のサイズは、当該サイズを規定する縦横の画素数（Ｈ×Ｗ）により定義できる。また、切り出し位置は、フレーム画像の四隅のいずれかを原点とした場合に、切り出し領域の四隅のいずれかに相当する画素のアドレスとして定義できる。例えば、フレーム画像の左上を原点として、切り出し領域の左上の画素のアドレスを切り出し位置とすることができる。以上が、切り出し再生のために必要な準備動作である。

続いて、Ｓ８０５では、ユーザが、操作部３０３に備えられている不図示の操作ボタンを操作し、切り出し再生を開始する。Ｓ８０６では、フレーム画像読出部３０２が、記録部３０１から動画像の先頭フレーム画像１ａと、フレーム画像１ａに付帯された管理情報６０１を読み出し、画像切り出し部３０５へ送信する。Ｓ８０７では、画像切り出し部３０５が、受信したフレーム画像の中から切り出し領域を切り出し、切り出し画像を生成する。その後、切り出し画像と付帯された管理情報６０１とを画像判別部３０６へ送信する。Ｓ８０８では、画像判別部３０６が、受信した切り出し画像に付帯された管理情報６０１に基づいて、各切り出し画像がいずれの系列に属するかを判別する。その後、画像判別部３０６は、判別結果に応じて、各切り出し画像を切り出し画像記録部ａ３０７〜切り出し画像記録部ｃ３０９の何れかに送信する。すなわち、入力された切り出し画像が系列ａに属すると判別した場合は、切り出し画像記録部ａ３０７に送信する。同様に、系列ｂ、ｃに属すると判別された切り出し画像は、それぞれ、切り出し画像記録部ｂ３０８、切り出し画像記録部ｃ３０９に送信される。送信された切り出し画像は、各切り出し画像記録部に記録される。なお、切り出し画像の格納先は系列に厳密に従う必要はなく、同一画像群に属する各切り出し画像が異なる記録部に記録されればよい。但し、以降で説明する評価値の比較は、同一画像群に属する切り出し画像の評価値の間で行われる必要がある。

Ｓ８０９では、評価値算出部ａ３１０〜評価値算出部ｃ３１２の何れかが、切り出し画像に対する評価値を算出する。すなわち、Ｓ８０８において切り出し画像が系列ａに属すると判別された場合は、評価値算出部ａ３１０が切り出し画像記録部ａ３０７に記録されている切り出し画像に対する評価値を算出する。同様に、切り出し画像が系列ｂ、ｃに属すると判別された場合は、それぞれ、評価値算出部ｂ３１１、評価値算出部ｃ３１２が評価値の算出を行う。各評価値算出部は、算出した評価値を、評価値比較部３１３へ送信する。ここで、Ｓ８０９における評価値算出の方法について詳しく説明する。ここで、評価値とは同一の画像群に属する切り出し画像の中から、表示する切り出し画像を選択する際の基準となる値のことを表す。本実施形態では、切り出し画像の画素のうち、その輝度が所定の輝度範囲内にある画素の数を算出し、その値を評価値として用いる。

評価値を算出する具体的な方法について、図９を参照しながらさらに説明する。図９に示したのは、切り出し画像の輝度ヒストグラムである。すなわち、図の縦軸は輝度値Ｌｖを、横軸はその輝度値Ｌｖに対応する頻度（画素数）を表す。また、９０１は輝度ヒストグラム曲線を表し、９０２、及び、９０３は、それぞれ所定の輝度範囲の上限値ＹＨと下限値ＹＬを表す。上限値ＹＨ、及び、下限値ＹＬの値は、ユーザが指定する値を用いて良いし、表示部３１６での表示に好適な輝度範囲に基づいて予め定めた値を用いても良い。図の（ａ）、（ｂ）、（ｃ）はそれぞれ、同じ画像群に属する系列ａ、ｂ、ｃの切り出し画像に対応する。図４に示したように、系列ａ、ｂ、ｃの順に露出量を少なく設定して撮影しているため、輝度ヒストグラムは（ａ）、（ｂ）、（ｃ）の順に低輝度側に分布している。

図９では、系列ａ、ｂの輝度ヒストグラムの主要な部分が所定の輝度範囲外に分布しているのに対し、系列ｃの輝度ヒストグラムの主要な部分は所定の輝度範囲内に分布しており、表示に好適な露出状態で撮影された画像は系列ｃであることを示している。つまり、フレーム画像全体に対して適正な露出状態で撮影された画像は系列ｂであるが、切り出し領域のみに注目した場合は系列ｂの露出状態が適切であるとは限らない。例えば、切り出し領域が主被写体よりも輝度の高い部分を多く含む場合には、露出アンダーに設定された系列ｃの露出状態の方が望ましい場合がある。

そこで、輝度値Ｌｖが上限値ＹＨと下限値ＹＬとの範囲内に属する（ＹＬ≦Ｌｖ≦ＹＨ）画素数を算出して、算出画素数を評価値とする。図９で例示したように、この評価値は、切り出し領域に対して最も好適な露出状態で撮影された画像に対して高い値となる。このように、算出した評価値が最も高い切り出し画像を表示する画像として選択することにより、切り出した領域での露出状態が最も良好な画像を選択することが可能になる。なお、評価値の算出方法は、切り出し画像の輝度信号に基づいて算出するものであれば、どのようなものを用いても構わない。例えば、輝度ヒストグラムのピークにおける輝度値と予め設定された目標輝度値とを比較し、その差が小さいほど評価値が高くなるように算出しても良い。

上述のＳ８０７からＳ８０９での動作は、切り出し再生を停止するまでの間、フレーム画像が読み出される度に繰り返し実行される。すなわち、まず、フレーム画像１ａが読み出されると、そこから切り出し画像１ａが生成され、評価値算出部ａ３１０が切り出し画像１ａの評価値Ｖ１ａを算出する。次に、フレーム画像１ｂが読み出されると、切り出し画像１ｂが生成され、評価値算出部ｂ３１１が切り出し画像１ｂの評価値Ｖ１ｂを算出する。同様に、フレーム画像１ｃが読み出されると、切り出し画像１ｃが生成され、評価値算出部ｃ３１２が切り出し画像１ｃの評価値Ｖ１ｃを算出する。フレーム画像２ａ以降についても、同様の処理が繰り返し実行される。

次にＳ８１０では、評価値比較部３１３が、処理中の画像群に属する画像全てに対して、評価値が算出されたかを判定する。具体的には、切り出し画像１ａ、１ｂ、１ｃの評価値Ｖ１a、V１b、V１cが全て算出されていれば、画像群１の評価値算出処理が終了したと判定する。ここで、評価値算出処理が終了したと判断されればＳ８１２へ進み、終了していないと判断されればＳ８１１へ進む。

Ｓ８１１ではフレーム画像読出部３０２が記録部３０１より次のフレーム画像を読み出す。続いてＳ８０７からＳ８１０までの処理が実行される。Ｓ８１２では、評価値比較部３１３が、同一の画像群に属する切り出し画像についての評価値を比較し、その評価値が最も高い切り出し画像を表示する画像として選択する。例えば、Ｖ１ａ＜Ｖ１ｂ＜Ｖ１ｃの関係が成り立つ場合、評価値比較部３１３は、画像群１の中から切り出し画像１ｃを表示する画像として選択する。次の画像群２以降に対しても、同様の処理により表示する画像が選択される。

Ｓ８１３では、切り出し画像読出部３１４が、評価値比較部３１３により表示する画像として選択された切り出し画像を、切り出し画像記録部ａ３０７から切り出し画像記録部ｃ３０９の何れかより読み出し、画像表示制御部３１５へ送信する。画像表示制御部３１５は、切り出し画像を受信すると、解像度変換等の表示に必要な画像処理を行った後、表示部３１６に切り出し画像を表示する。

Ｓ８１４では、不図示の制御部が切り出し再生を停止するか否かを判定する。すなわち、再生中の動画データが全て再生し終わった場合や、ユーザが操作部３０３により切り出し再生を停止するよう指示した場合に切り出し再生を停止するよう判定する。ここで切り出し再生を停止すると判定すれば、本実施形態における動画再生処理を終了する。停止しないと判定すれば、Ｓ８１１へ進み、Ｓ８０７〜Ｓ８１４までの一連の処理を実行する。

以上、説明したように、複数の異なる撮像条件でフレーム画像を順次撮像し、記録した動画像を再生する際に、同一画像群に属する切り出し画像のうち、その評価値の最も高い切り出し画像を順次選択しながら再生する。これにより、再生される動画の画質を向上させることができる。

なお、本実施形態では、通常のフレームレートの３倍のレートでブラケット撮影する場合で説明したが、３倍に限るものではない。設定したい撮像条件の数に応じて、画像群を構成するフレーム画像の数を変えれば良い。例えば、撮像条件を４通り設定した場合、一つの画像群を４枚のフレーム画像が構成することになる。この場合でも、４枚のフレーム画像から評価値が最も高いものを順次選択しながら再生すれば良い。

また、本実施形態では、撮像条件として、露出状態を変えながらブラケット撮影を行ったが、本発明は変更する撮像条件を露出状態に限るものではない。また、本実施形態では、評価値の算出方法を、切り出し画像の画素のうち、その輝度が所定の輝度範囲内にある画素の数を算出する形で説明したが、本発明は評価値の算出方法をこれに限るものではない。すなわち、切り出し画像の画像信号に基づいて評価値を算出する方法であれば、どのような方法を用いても構わない。したがって、ブラケット撮影時に変更した撮像条件に合わせて、それぞれの場合に適した評価値の算出方法を用いれば良い。

例えば、撮像装置１０２はホワイトバランス設定を変更しながら、ブラケット撮影を行っても良い。ホワイトバランス設定は、例えば、画像信号処理部２０５が、撮像したフレーム画像を用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB（オートホワイトバランス）処理により行ってもよい。この場合、切り出し画像の画素のうち、その色信号が予め設定した色信号範囲内にあるものの数に基づいて評価値を算出する。この様にすることで、切り出し領域において、ホワイトバランスがより適切に取られた切り出し画像を選択して、表示することが可能となる。他には、合焦位置（焦点距離）を変更しながら、ブラケット撮影を行っても良い。この場合、各切り出し画像の画像信号から空間周波数成分信号を算出し、高周波数成分の多い画像に対して評価値が高くなるように評価値を算出すれば良い。この様にすることで、切り出し領域において、より正確に合焦している切り出し画像を選択して、表示することが可能となる。

また、本実施形態では、切り出し画像記録部、及び、評価値算出部をそれぞれ３ヶ所設け、並列に動作する形で説明したが、本発明は、この構成を用いる場合に限るものではない。例えば、一つの切り出し画像記録部と一つの評価値算出部を設けても良い。この場合、切り出し画像記録部の前段に評価値算出部を設け、生成された切り出し画像に対する評価値が、同じ画像群内の一つ前に生成された切り出し画像に対する評価値より高い場合に、切り出し画像記録部を上書きして切り出し画像を記録するようにする。

また、本実施形態では、算出した評価値に基づいて切り出し画像を選択する場合で説明したが、本発明は、切り出し画像の選択方法を、評価値を用いる方法に限るものではない。すなわち、画像群の中で切り出し領域の画質が最も良好な画像を選択する方法であれば、どのようなものを用いても構わない。例えば、各切り出し画像に含まれる画素の輝度平均値を算出し、その値が所定の目標輝度値に最も近い切り出し画像を選択するようにしても良い。この様にすることで、表示に好適な明るさを持つ切り出し画像を選択し、表示することが可能となる。

また、本実施形態では、評価値算出処理を全ての画像群に対して行うものとして説明したが、本発明は、全ての画像群に対して評価値算出処理を行う場合に限るものではない。例えば、所定数の画像群毎に評価値算出処理を行うとし、評価値算出処理を行わない画像群については、一つ前の画像群で選択した切り出し画像と同じ系列に属する切り出し画像を選択し、表示するとしても良い。当該所定数は、例えば「１０」とすることができる。この様にすることにより、再生途中に表示する切り出し画像の系列を変える場合に、その切り替えを目立たなくすることが可能になる。

［第２の実施形態］
第１の実施形態では、切り出し画像に基づいて評価値を算出する場合について説明した。次に、本実施形態では、動画撮影時に画質パラメータ情報を記録し、動画再生時に記録した画質パラメータ情報に基づいて評価値を算出し、表示する切り出し画像を選択する場合について説明する。画質パラメータ情報については後述する。

本実施形態における動画像処理システムの構成は実施形態１の図１と同様であるため、その詳細な説明は省略する。また、実施形態２における撮像装置１０２の構成は実施形態１の図２と同様であるため、その詳細な説明は省略する。

次に図１０のブロック図を参照しながら、実施形態２における動画像再生装置１０４の主要な構成を説明する。図３に示した構成要素と同様の構成要素には同一の符号を付し、その詳細な説明は省略する。

本実施形態では、以下の構成要素が新たに追加されている。すなわち、画質パラメータ情報記録部１００１は画質パラメータ情報を記録する。撮像条件情報記録部１００２は各フレーム画像に対する撮像条件の情報を記録する。また、実施形態１では、評価値算出部を３ヶ所に設け、系列毎に異なる評価値算出部を用いていたが、本実施形態では評価値算出部１００３を１つだけ設けている。また、評価値算出部１００３には、切り出し領域のサイズと位置を表す情報、画質パラメータ情報、及び、撮像条件情報がそれぞれ入力される。

次に、本実施形態における動画像データについて説明する。本実施形態では、撮影時において管理情報とフレーム画像との記録に加えて、画質パラメータ情報を各画像群に付帯させて記録する点が実施形態１と異なる。以下、画質パラメータ情報について説明する。本実施形態では、撮影時において、フレーム画像を複数のブロックに分割し、各ブロックにおける画質を表す情報を画質パラメータ情報として記録する。具体的には、フレーム画像を分割して得られる各ブロックの位置における適正な露出値を算出し、記録する。

以下、図１１（Ａ）及び（Ｂ）を参照しながら、画質パラメータ情報の具体的な例について説明する。図１１（Ａ）に示すように、フレーム画像１１０１は、８×８の合計６４個のブロックに分割される。ここで、上からｍ番目、左からn番目（ｍ、ｎは１〜８）に位置するブロックをＢＬ（ｍｎ）と呼ぶ。撮像装置１０２の測光センサ２０８は、撮影時にブロック毎に被写体輝度を測光する。ここでＢＬ（ｍｎ）の位置で得られた測光値をＢｖ（ｍｎ）と呼ぶ。フレーム画像全体に対する適正なフレーム露出値Ｅｖ０は、Ｂｖ（ｍｎ）に所定の重み付け係数を乗算してから加算した値に基づいて算出される。所定の重み付け係数は、画像中央や主被写体の位置において大きな値を持つよう設定される。

一方、この加算処理を行わずに、測光値Ｂｖ（ｍｎ）に基づいてブロックＢＬ（ｍｎ）の位置における適正な露出値を算出したものをブロック露出値Ｅｖ（ｍｎ）と呼び、このＥｖ（ｍｎ）を画質パラメータ情報として記録する。したがって、本実施形態では、図１１（Ｂ）に示したように８×８の合計６４個のブロック露出値Ｅｖ（ｍｎ）が記録される。

図１２は、上述の画質パラメータ情報をフレーム画像に付帯させて記録する場合の、画像群のデータ配列の様子を示した図である。図１２には一つの画像群を構成するデータの内容を示している。各画像群は、３枚のフレーム画像１３０３、１３０５、１３０７と、それぞれのフレーム画像に付帯された管理情報１３０２、１３０４、１３０６と、画像群に付帯された画質パラメータ情報１３０１から構成される。なお、本実施形態の管理情報には、各フレーム画像に対する撮像条件の情報が必ず含まれる。具体的には、各フレーム画像を撮像した際に設定した露出値が含まれている。

次に、図１３のフローチャートを参照しながら、画質パラメータ情報を算出し、記録する撮影時の処理動作について説明する。Ｓ１４０１では、撮像装置１０２が動画撮影を開始する。Ｓ１４０２では、測光センサ２０８が、被写体輝度の測光を行う。上述のように、測光センサ２０８は各ブロックにおける測光値Ｂｖ（ｍｎ）を取得する。Ｓ１４０３では、制御部２０７が、各ブロックの測光値Ｂｖ（ｍｎ）に所定の重み付け係数を乗算した後加算した値に基づき、フレーム画像全体に対する適正露出値Ｅｖ０を算出する。Ｓ１４０４では、制御部２０７が、各ブロック位置における適正露出値Ｅｖ（ｍｎ）を、対応する測光値Ｂｖ（ｍｎ）に基づいて算出し、画質パラメータ情報１３０１として記録部２０６に記録する。Ｓ１４０５では、系列ａのフレーム画像１３０３を撮像し、記録部２０６に記録する。この時の露出条件は、フレーム画像全体に対する適正露出値Ｅｖ０から所定量だけ露出オーバー側にずらして設定する。ここで設定した露出値Ｅｖ（ａ）は、管理情報１３０２としてフレーム画像に付帯させて記録する。

Ｓ１４０６では、系列ｂのフレーム画像１３０５を撮像し、記録部２０６に記録する。この時の露出条件は、フレーム画像全体に対する適正露出値Ｅｖ０に設定する。設定した露出値Ｅｖ（ｂ）は、管理情報１３０４としてフレーム画像に付帯させて記録する。Ｓ１４０７では、系列ｃのフレーム画像１３０７を撮像し、記録部２０６に記録する。この時の露出条件は、フレーム画像全体に対する適正露出値Ｅｖ０から所定量だけ露出アンダー側にずらして設定する。ここで設定した露出値Ｅｖ（ｃ）は、管理情報１３０６としてフレーム画像に付帯させて記録する。尚、Ｓ１４０２〜Ｓ１４０７までの動作により、一つの画像群が撮影、記録されたこととなる。Ｓ１４０８では、制御部２０７が、撮影動作を終了するか否かを判定する。すなわち、ユーザが操作部２０９を介して動画撮影を停止するよう指示した場合には撮影動作を停止するよう判定する。ここで動画撮影を停止すると判定すれば、本実施形態における動画撮影処理を終了する。停止しないと判定すれば、Ｓ１４０２へ戻り、フレーム画像の撮影動作を繰り返す。以上のような撮影動作により、図１２で示した動画データが取得できることとなる。

次に、図１４のフローチャートを参照しながら、本実施形態における動画像再生装置１０４の処理動作について説明する。Ｓ１５０１からＳ１５０５での切り出し再生を開始するまでの準備動作は、図８に示した実施形態１の場合のＳ８０１からＳ８０５での処理動作と同様であるため、ここでは詳細な説明を省略する。Ｓ１５０６では、フレーム画像読出部３０２が、画像群１に付帯された画質パラメータ情報１３０１を記録部３０１より読み出し、画質パラメータ情報記録部１００１へ送信する。Ｓ１５０７では、フレーム画像読出部３０２が、動画像の先頭フレーム画像１ａを記録部３０１より読み出し、画像切り出し部３０５へ送信する。

Ｓ１５０８では、画像切り出し部３０５が、受信したフレーム画像の中からユーザが指定した領域（切り出し領域）を切り出し、切り出し画像を生成する。その後、切り出し画像と、その切り出し画像に付帯された管理情報とを画像判別部３０６へ送信する。Ｓ１５０９では、画像判別部３０６が、受信した切り出し画像がいずれの系列に属するかを判別し、判別結果に応じて切り出し画像を切り出し画像記録部ａ３０７から切り出し画像記録部ｃ３０９の何れかに送信する。なお、ここでの処理動作は図８に示した実施形態１の場合のＳ８０８での処理動作と同様である。次にＳ１５１０では、不図示の制御部が、処理中の画像群に属する画像全てに対して、切り出し画像が生成されたか否かを判定する。具体的には、切り出し画像１ａ、１ｂ、１ｃが全て生成されていれば、画像群１の切り出し画像生成処理が終了したと判定する。ここで、切り出し画像生成処理が終了したと判断されればＳ１５１２へ進み、終了していないと判断されればＳ１５１１へ進む。

Ｓ１５１１では、フレーム画像読出部３０２が、次のフレーム画像を記録部３０１より読み出し、画像切り出し部３０５へ送信する。その後、Ｓ１５０８からＳ１５１０までの一連の処理が行われる。Ｓ１５１２では、評価値算出部１００３が、各切り出し画像に対する評価値を算出する。

ここで、図１５（Ａ）を参照しながら、本実施形態における評価値の算出方法について説明する。図１５（Ａ）において、領域１６０１はフレーム画像を表し、領域１６０２は切り出し画像の位置を表す。評価値算出部１００３は、切り出し画像１６０２の領域と少なくともその一部が重畳しているブロックを抽出する。図１５（Ａ）の場合では、ＢＬ（５５）からＢ（５７）、ＢＬ（６５）からＢＬ（６７）の合計６個のブロックを抽出する。次に、抽出したブロックの位置における露出値Ｅｖ（ｍｎ）の平均値を算出し、代表露出値Ｅｖ（ａｒｅａ）とする。図１５（Ａ）の場合では、
Ｅｖ（ａｒｅａ）＝（Ｅｖ（５５）＋Ｅｖ（５６）＋Ｅｖ（５７）＋Ｅｖ（６５）＋Ｅｖ（６６）＋Ｅｖ（６７））／６・・・（式１）
である。そして、各切り出し画像を撮像した際の露出値Ｅｖ（ａ）からＥｖ（ｃ）とＥｖ（ａｒｅａ）とをそれぞれ比較して差分を算出する。そして、差分が小さいものから順に高い値となるよう評価値を定める。例えば、系列ａ、ｂ、ｃの切り出し画像に対する評価値をそれぞれ、Ｖａ、Ｖｂ、Ｖｃとすると、
Ｖａ ＝ Ｖ０ −｜Ｅｖ（ａｒｅａ）−Ｅｖ（ａ）｜
Ｖｂ ＝ Ｖ０ −｜Ｅｖ（ａｒｅａ）−Ｅｖ（ｂ）｜・・・（式２）
Ｖｃ ＝ Ｖ０ −｜Ｅｖ（ａｒｅａ）−Ｅｖ（ｃ）｜
のようにして評価値を算出する。ここで、Ｖ０は正の値を持つ所定の定数である。評価値算出部１００３は上述の方法で算出した評価値を評価値比較部３１３へ送信する。

Ｓ１５１３では、評価値比較部３１３が、同一の画像群に属する切り出し画像についての評価値を比較し、その評価値が最も高い切り出し画像を表示する画像として選択する。なお、ここでの処理動作は図８に示した実施形態１の場合のＳ８１２での処理動作と同様である。このようにすることにより、切り出し画像の領域における最適な露出状態に最も近い露出状態の下で撮影された画像を選択し、表示することが可能になる。

Ｓ１５１４では、切り出し画像読出部３１４が、評価値比較部３１３により表示画像として選択された切り出し画像を、切り出し画像記録部ａ３０７から切り出し画像記録部ｃ３０９の何れかより読み出し、画像表示制御部３１５へ送信する。画像表示制御部３１５は、切り出し画像を受信すると、解像度変換等の表示に必要な画像処理を行った後、表示部３１６に切り出し画像を表示する。Ｓ１５１５では、不図示の制御部が切り出し再生を停止するか否かを判定する。すなわち、再生中の動画データが全て再生し終わった場合や、ユーザが操作部３０３により切り出し再生を停止するよう指示した場合に切り出し再生を停止するよう判定する。ここで切り出し再生を停止すると判定すれば、本実施形態における動画再生処理を終了する。停止しないと判定すれば、Ｓ１５１６へ進む。Ｓ１５１６では、フレーム画像読出部３０２が、次の画像群に付帯された画質パラメータ情報を記録部３０１より読み出し、画質パラメータ情報記録部１００１へ送信する。この後、Ｓ１５１１へ進み、一連の処理が繰り返し実行される。

以上、説明したように、複数の異なる撮像条件でフレーム画像を順次撮像し、記録した動画像を再生する際に、画像群に付帯させた画質パラメータ情報に基づいて評価値を算出し、その評価値の最も高い切り出し画像を順次選択しながら再生する。これにより、再生される動画の画質を向上させることができる。

なお、本実施形態では、露出状態を変えながらブラケット撮影を行い、フレーム画像を複数のブロックに分割した各ブロックにおける最適な露出値を画質パラメータ情報として用いた。しかし、本発明はブラケット撮影の方法や画質パラメータ情報の内容をこれに限るものではない。例えば、焦点距離を変更しながら、ブラケット撮影を行っても良い。この場合、制御部２０７は、測距センサ２１０に被写体距離を測距するよう指示を出す。そして、測距センサ２１０においてフレーム画像を複数のブロックに分割した各ブロック位置において測距したブロック被写体距離（Ｄ（ｍｎ））を画質パラメータ情報として用いる。そして、画質パラメータ情報から、図１５（Ａ）を用いて説明した式１と同様にして切り出し領域における被写体距離を平均値演算により推定する。推定した被写体距離（Ｄ（ａｒｅａ））と、各フレーム画像を撮像する際の合焦位置（焦点距離）から推定される被写体距離Ｄ（ａ）からＤ（ｃ）とを比較して式２と同様に評価値を算出する。この評価値が最も高い画像を表示用画像として選択する。この様にすることで、切り出し領域において正確に合焦している画像を選択し、表示することが可能になる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (17)

1. 撮像条件を互いに異ならせて順次撮像された複数のフレーム画像を含む画像群が複数連続して構成された動画像を再生する動画像再生装置であって、
   前記画像群に含まれる各フレーム画像から所定の領域を切り出して、画像群ごとに複数の切り出し画像を生成する画像切り出し手段と、
   前記複数の切り出し画像のそれぞれについて、画質を判定するための評価値を算出する評価値算出手段と、
   前記複数の切り出し画像のうち、前記評価値が最も高い切り出し画像を選択して再生する再生手段と
   を備えることを特徴とする動画像再生装置。
2. 前記撮像条件は、露出条件であって、
   前記評価値算出手段は、前記切り出し画像の画素が有する輝度値について、該輝度値が所定の輝度範囲内に属する画素数に基づいて前記評価値を算出し、
   前記評価値が最も高い切り出し画像は、前記画素数が最も多い画像であることを特徴とする請求項１に記載の動画像再生装置。
3. 前記撮像条件は、露出条件であって、
   前記評価値算出手段は、前記切り出し画像の画素が有する輝度値についてヒストグラムを生成し、該ヒストグラムのピークの輝度値と、目標輝度値との差分に基づいて前記評価値を算出し、
   前記評価値が最も高い切り出し画像は、前記差分の最も小さい画像であることを特徴とする請求項１に記載の動画像再生装置。
4. 前記撮像条件は、露出条件であって、
   前記評価値算出手段は、前記切り出し画像の画素が有する輝度値の平均値を算出し、該平均値と目標輝度値との差分に基づいて前記評価値を算出し、
   前記評価値が最も高い切り出し画像は、前記差分の最も小さい画像であることを特徴とする請求項１に記載の動画像再生装置。
5. 前記撮像条件は、ホワイトバランス設定であって、
   前記評価値算出手段は、前記切り出し画像の画素が有する色信号について、該色信号が所定の色信号範囲内に属する画素数に基づいて前記評価値を算出し、
   前記評価値が最も高い切り出し画像は、前記画素数が最も多い画像であることを特徴とする請求項１に記載の動画像再生装置。
6. 前記撮像条件は、焦点距離であって、
   前記評価値算出手段は、前記切り出し画像の空間周波数成分信号に基づいて前記評価値を算出し、
   前記評価値が最も高い切り出し画像は、前記空間周波数成分信号に含まれる高周波数成分が最も多くなる切り出し画像であることを特徴とする請求項１に記載の動画像再生装置。
7. 前記撮像条件は露出条件であって、前記フレーム画像を複数に分割して得られる複数のブロックのそれぞれにおける被写体輝度を用いて算出されたフレーム露出値に基づいて、フレーム画像全体に対する露出条件である前記各フレーム画像のフレーム露出値が互いに異なるように設定され、
   前記画像群には、前記各フレーム画像のフレーム露出値と、前記ブロックのそれぞれにおける被写体輝度から算出された各ブロックについてのブロック露出値とが含まれ、
   前記評価値算出手段は、前記複数のブロックのうち前記切り出し画像と少なくとも一部が重畳しているブロックの前記ブロック露出値の平均値と、前記各フレーム画像のフレーム露出値との差分に基づいて前記評価値を算出し、
   前記評価値が最も高い切り出し画像は、前記差分が最も小さくなる切り出し画像であることを特徴とする請求項１に記載の動画像再生装置。
8. 前記撮像条件は、焦点距離であって、
   前記画像群には、該画像群に含まれる各フレーム画像の焦点距離に関する情報と、フレーム画像を複数に分割して得られる複数のブロックのそれぞれにおける被写体距離とが含まれ、
   前記評価値算出手段は、前記複数のブロックのうち前記切り出し画像と少なくとも一部が重畳しているブロックの前記被写体距離の平均値と、前記フレーム画像の焦点距離から求められる被写体距離との差分に基づいて前記評価値を算出し、
   前記評価値が最も高い切り出し画像は、前記差分が最も小さくなる切り出し画像であることを特徴とする請求項１に記載の動画像再生装置。
9. 前記評価値算出手段は、所定数の画像群ごとに前記評価値の算出を行うことを特徴とする請求項１乃至８のいずれか１項に記載の動画像再生装置。
10. 被写体を撮像してフレーム画像を生成する撮像手段と、
    被写体輝度を測定する測光センサと、
    制御手段であって、
    複数のフレーム画像を１つの画像群とし、該画像群の各フレーム画像について、該フレーム画像全体についての露出条件を互いに異ならせて前記撮像手段に前記撮像を行わせ、
    前記フレーム画像を複数に分割して得られる複数のブロックのそれぞれにおける被写体輝度を前記測光センサに測定させる制御手段と、
    前記フレーム画像を対応する前記露出条件と、前記複数のブロックの各ブロックにおける被写体輝度から算出された、各ブロックのブロック露出値とを付帯して記録する記録手段と
    を備えることを特徴とする撮像装置。
11. 前記制御手段は前記画像群につき、前記複数のフレーム画像のいずれか１つについてはフレーム画像全体として適切な露出条件となる露出値を設定して前記撮像を行わせ、該複数のフレーム画像の他のフレームについては、前記露出値から露出アンダー側、または、露出オーバー側にずらした露出値を設定して前記撮像を行わせることを特徴とする請求項１０に記載の撮像装置。
12. 被写体を撮像してフレーム画像を生成する撮像手段と、
    被写体距離を測定する測距センサと、
    制御手段であって、
    複数のフレーム画像を１つの画像群とし、該画像群の各フレーム画像について、該フレーム画像全体についての焦点距離を互いに異ならせて前記撮像手段に前記撮像を行わせ、
    前記フレーム画像を複数に分割して得られる複数のブロックのそれぞれにおける被写体距離を前記測距センサに測定させる制御手段と、
    前記フレーム画像を対応する前記焦点距離の情報と、前記複数のブロックの各ブロックにおける被写体距離とを付帯して記録する記録手段と
    を備えることを特徴とする撮像装置。
13. 撮像条件を互いに異ならせて順次撮像された複数のフレーム画像を含む画像群が複数連続して構成された動画像を再生する動画像再生装置の制御方法であって、
    画像切り出し手段が、前記画像群に含まれる各フレーム画像から所定の領域を切り出して、画像群ごとに複数の切り出し画像を生成する画像切り出し工程と、
    評価値算出手段が、前記複数の切り出し画像のそれぞれについて、画質を判定するための評価値を算出する評価値算出工程と、
    再生手段が、前記複数の切り出し画像のうち、前記評価値が最も高い切り出し画像を選択して再生する再生工程と
    を備えることを特徴とする動画像再生装置の制御方法。
14. 被写体を撮像してフレーム画像を生成する撮像手段と、被写体輝度を測定する測光センサとを備える撮像装置の制御方法であって、
    制御手段が、フレーム画像を複数に分割して得られる複数のブロックのそれぞれにおける被写体輝度を前記測光センサに測定させる測定工程と、
    前記制御手段が、複数のフレーム画像を１つの画像群とし、該画像群の各フレーム画像について、該フレーム画像全体についての露出条件を互いに異ならせて前記撮像手段に前記撮像を行わせる撮像工程と、
    記録手段が、前記フレーム画像を対応する前記露出条件と、前記複数のブロックの各ブロックにおける被写体輝度から算出された、各ブロックのブロック露出値とを付帯して記録する記録工程と
    を備えることを特徴とする撮像装置の制御方法。
15. 被写体を撮像してフレーム画像を生成する撮像手段と、被写体距離を測定する測距センサとを備える撮像装置の制御方法であって、
    制御手段が、フレーム画像を複数に分割して得られる複数のブロックのそれぞれにおける被写体距離を前記測距センサに測定させる測定工程と、
    前記制御手段が複数のフレーム画像を１つの画像群とし、該画像群の各フレーム画像について、該フレーム画像全体についての焦点距離を互いに異ならせて前記撮像手段に前記撮像を行わせる撮像工程と、
    記録手段が、前記フレーム画像を対応する前記焦点距離の情報と、前記複数のブロックの各ブロックにおける被写体距離とを付帯して記録する記録工程と
    を備えることを特徴とする撮像装置の制御方法。
16. コンピュータを請求項１乃至９のいずれか１項に記載の動画像再生装置の各手段として機能させるプログラム。
17. コンピュータを請求項１０乃至１２のいずれか１項に記載の撮像装置の各手段として機能させるプログラム。

Images