JP2014135775A - 再生装置、表示装置、再生方法、およびプログラム - Google Patents

Abstract

【課題】表示出力の１フレーム期間内に露光条件を変えながら複数フレームが撮影された動画データの再生をより柔軟に行う。
【解決手段】記録部に対して、表示出力の１フレーム期間内に露光条件を変えながら複数フレームが撮影された動画データが格納される。記録部から動画データが再生される際に、再生フレーム選択部により表示出力の１フレーム期間に付き１枚のフレームを選択して出力する。表示画像を暗くする旨を指示するユーザ操作がなされると、当該ユーザ操作に応じて、記録部から再生される動画データから、露出アンダーの露光条件で撮影されたフレームが、１フレーム期間内に付き１枚、選択されて出力される。
【選択図】図２

Description

本発明は、露光条件を異ならせて複数の画像が撮影された画像データを再生する再生装置および再生方法に関する。

近年、露光条件の異なる複数の画像を撮影し、これらの複数の画像による画像データを合成して、ダイナミックレンジの拡大された１の画像を得る方法が提案されている（例えば、特許文献１、特許文献２参照）。また、近年では、ＣＭＯＳセンサなどの撮像素子による画像データの読み出し速度の高速化や高解像度化に伴い、撮像装置において、高解像度、ハイフレームレートの撮影が可能になった。

特開平７−１３１７１８号公報 特開２００７−２２８０９９号公報

しかしながら、従来では、表示出力の１フレーム期間内に露光条件を変えながら複数フレームが撮影された高解像かつハイフレームレートの動画を再生する際に、次のような問題点があった。すなわち、従来では、１フレーム期間内の複数フレームを合成してダイナミックレンジの拡大はできても、１フレーム期間内の複数フレームからユーザの好みに合わせて明るいフレームや暗いフレームを選択して再生することができなかった。

したがって、本発明の目的は、露光条件を変えながら複数の画像が撮影された画像データの再生を、より柔軟に行うことが可能な再生装置を提供することにある。

本発明は、上述した課題を解決するために、互いに異なる所定の複数の露光条件で複数の画像を撮影することにより生成される画像データを再生し、表示部に出力する再生手段と、前記表示部に出力された画像データの一部の指定領域がユーザに指定されたことに応じて、前記指定領域の輝度特性を取得する取得手段と、前記取得手段により取得された前記指定領域の輝度特性に基づき、前記表示部に出力される画像データの輝度を制御する制御手段と、を備えることを特徴とする再生装置である。

本発明は、再生装置の再生手段が、互いに異なる所定の複数の露光条件で複数の画像を撮影することにより生成される画像データを再生し、表示部に出力する再生工程と、前記再生装置の取得手段が、前記表示部に出力された画像データの一部の指定領域がユーザに指定されたことに応じて、前記指定領域の輝度特性を取得する取得工程と、前記再生装置の制御手段が、前記取得工程により取得された前記指定領域の輝度特性に基づき、前記表示部に出力される画像データの輝度を制御する制御工程と、を備えることを特徴とする再生方法である。

本発明は、露光条件を変えながら複数の画像が撮影された画像データの再生を、より柔軟に行うことができる。

本発明の第１の実施形態に適用可能な再生装置の一例の構成を示すブロック図である。 本発明の第１の実施形態による、記録部に保存されている動画データと表示部に対して出力されるフレームとの一例の関係を横軸を時間として示す図である。 本発明の第１の実施形態による一例の再生処理を示すフローチャートである。 本発明の第２の実施形態に適用可能な再生装置の一例の構成を示すブロック図である。 本発明の第２の実施形態による、記録部に保存されている動画データと表示部に対して出力されるフレームとの一例の関係を横軸を時間として示す図である。 本発明の第２の実施形態による一例の再生処理を示すフローチャートである。 本発明の第３の実施形態に適用可能な再生装置の一例の構成を示すブロック図である。 本発明の第３の実施形態による、記録部に保存されている動画データと表示部に対して出力されるフレームとの一例の関係を横軸を時間として示す図である。 本発明の第３の実施形態による一例の再生処理を示すフローチャートである。

＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照しながら説明する。図１は、本発明の第１の実施形態に適用可能な再生装置１００の一例の構成を示す。再生装置１００は、記録部１０１、再生フレーム選択部１０２、再生条件付加部１０３、表示部１０４、制御部１０５および操作部１０８を備える。制御部１０５は、メモリ１０６およびＣＰＵ(Central Processing Unit)１０７が設けられる。ＣＰＵ１０７は、メモリ１０６に記憶されるプログラムに従ってこの再生装置１００の各部の動作を制御する。

記録手段としての記録部１０１は、例えばハードディスクドライブや光ディスク、不揮発性の半導体メモリなどを記録媒体として用い、この再生装置１００で再生する動画データが格納される。ここでは、記録部１０１に対して、表示出力の１フレーム期間内に露光時間などの露光条件を異ならせながら複数フレームが撮影されてなる動画データが格納されているものとする。つまり、この動画データは、表示部１０４で映像を表示するフレームレートよりも高いフレームレートの動画データであり、かつ、露光条件を異ならせた複数のフレームの組で構成されているものである。

表示部１０４は、表示出力の１フレーム期間に動画データの１フレームを表示装置などに出力する。以下、表示出力の１フレーム期間を１再生フレーム期間と呼び、撮像画像のフレーム期間と区別する。なお、本第１の実施形態において、表示部１０４の再生レートは、６０ｆｐｓ(Frame per Second)とする。

選択手段および再生手段としての再生フレーム選択部１０２は、制御部１０５の制御に従い、記録部１０１に格納される動画データの再生時に、１再生フレーム期間内の複数フレームから再生するフレームを選択し、選択されたフレームを再生する。再生条件保存手段としての再生条件付加部１０３は、記録部１０１に格納される動画データの再生状態を保存する。例えば、再生条件付加部１０３は、再生フレーム選択部１０２で選択されたフレームの情報を保存する。

操作部１０８は、ユーザ操作を受け付けるためのもので、動画再生指示部１０９および再生条件設定部１１０を備える。操作部１０８は、動画再生指示部１０９および再生条件設定部１１０に対してなされたユーザ操作に応じた制御信号を出力し、制御部１０５に供給する。動画再生指示部１０９は、記録部１０１に格納された動画データの再生を指示する。また、再生条件設定部１１０は、記録部１０１に格納される動画データの再生条件を設定する。例えば、再生条件設定部１１０は、１フレーム期間の複数フレームから、所定の露光条件のフレームを再生するように条件を設定することができる。

図２は、記録部１０１に保存されている動画データと、表示部１０４に対して出力されるフレームとの一例の関係を、横軸を時間として示す。図２（ａ）は、記録部１０１に格納される動画データの一例を示し、図２（ｂ）は、表示部１０４に対して出力される動画データの一例を示す。

この例では、記録部１０１に格納される動画データの記録フレームレートが１８０ｆｐｓであるものとする。一方、表示部１０４に出力される動画データの再生フレームレートは、６０ｆｐｓである。すなわち、記録部１０１に格納される動画データは、１再生フレーム期間に３フレームが露光条件を変えながら撮影されたものである。ここでは、記録部１０１に格納される動画データは、図２（ａ）に例示されるように、（−１）乃至（＋１）の露出レベルで、露出アンダー（−１）、適正露出（０）および露出オーバー（＋１）の順で、フレーム毎に繰り返し撮影されているものとする。

なお、露出アンダー、適正露出および露出オーバーといった露光条件を示す情報は、動画データのフレームに関連付けられて記録部１０１に格納されるものとする。例えば、露光条件を示す情報を、フレームの属性情報として各フレームのデータに付加することが考えられる。これに限らず、露光条件を示す情報を、フレームを特定可能な情報と関連付けて、動画データとは別の管理データとして記録部１０１に格納してもよい。露光条件を示す情報は、例えば動画データが記録部１０１から再生される際に、対応するフレームと共に出力される。再生フレーム選択部１０２は、フレームと共に出力される露光条件を示す情報に基づき、１再生フレーム期間内の複数フレームから再生するフレームを選択することができる。

＜第１の実施形態による再生動作＞
次に、第１の実施形態による動画データの再生動作について説明する。例えば図２の時刻Ａにおいて、ユーザ操作に応じて操作部１０８の動画再生指示部１０９により、記録部１０１に格納される動画データの再生が指示される。

ここで、上述したように、記録部１０１に格納される動画データの記録フレームレートが１８０ｆｐｓであり、表示部１０４に出力する際の再生フレームレートが６０ｆｐｓである。そこで、記録部１０１に格納される動画データの３フレームにつき１枚の、最適な露光条件のフレームを再生フレーム選択部１０２にて選択する。

ここでは、再生フレーム選択部１０２にて、記録部１０１から再生されるフレームのうち、適正露出（０）で露光され記録されたフレームが選択されるものとする。例えば、再生条件設定部１１０に対して所定のユーザ操作が無い限り、適正露出（０）のフレームが選択されるものとする。図２の例では、期間Ｔ１（図２（ｃ）参照）において、適正露出（０）のフレームが選択されている。なお、再生フレーム選択部１０２は、記録部１０１に格納されている動画データから、指定された露出のフレームを選択的に読み出すようにしてもよい。

次に、図２の時刻Ｂにおいて、再生条件設定部１１０に対するユーザ操作により、再生している動画データによる映像の明るさを下げる指示が入力されたものとする。この場合、現在再生されているフレームよりも露出が低いフレームを選択することで、再生映像の明るさを下げることができる。この例では、選択するフレームを、適正露出（０）のフレームから露出アンダー（−１）のフレームに変更することになる。

制御部１０５は、再生条件設定部１１０に対するユーザ操作に応じて操作部１０８から供給された制御信号に応じて、再生フレーム選択部１０２に対して、露出アンダー（−１）のフレームを選択するように指示する。再生フレーム選択部１０２は、この制御部１０５からの指示に応じて、記録部１０１から再生される動画データから、露光条件を示す情報を用いて露出アンダー（−１）のフレームを１再生フレーム期間に付き１枚、選択する。図２の例では、時刻Ｂ以降の期間Ｔ２（図２（ｃ）参照）の各再生フレーム期間において、露出アンダー（−１）のフレームが選択され、再生される。この場合、例えば適正露出では白飛びしていた部分の画像の確認が可能になる。

上記の処理をフローチャートを用いて説明する。図３は第１の実施形態における動画データの再生動作を制御するフローチャートである。まず、Ｓ３０１では、ユーザにより再生コンテンツが選択される。再生コンテンツの選択はユーザが操作部１０８の動画再生指示部１０９を操作することで入力された制御信号によって指示される。

再生コンテンツが選択されると、Ｓ３０２において制御部１０５は、このコンテンツが露光条件を変えて撮影された映像コンテンツであるか否かを判定する。なお、本フローチャートでは表示していないが、再生コンテンツのフレームレートが表示フレームレートよりも高い場合に、本制御を実行するものとする。再生コンテンツが露光条件を変えて撮影されたコンテンツである場合（Ｓ３０２でＹｅｓ）、ステップＳ３０３に処理を移行する。ステップＳ３０３では、再生フレーム選択部１０２が、デフォルトで定められた再生条件に対応するフレームをコンテンツのフレームから選択する。例えば、適正露出（０）という露光条件を示す情報が付与されたフレームを１再生フレーム期間に付き１枚選択する。そして、選択されたフレームを用いて再生が行われる。一方、コンテンツが露光条件を変えて撮影されたコンテンツではない場合（Ｓ３０２でＮｏ）、一般的に知られた通常の再生処理を実行する。この再生処理では、１再生フレーム期間に付き１枚のフレームを一定間隔で選択して表示部１０４の表示フレームレートで表示する処理である。この再生処理は本発明と直接関係するものではないので詳細な説明は省略する。

Ｓ３０３でのコンテンツの再生後、ステップＳ３０４では、再生条件設定部１１０に対するユーザ操作により、再生している映像の明るさをアップする指示入力が発生したか否かを制御部１０５が判定する。明るさをアップする指示入力が発生した場合（Ｓ３０４でＹｅｓ）、制御部１０５はステップＳ３０７にて現在再生しているフレームよりも明るい露光条件を示す情報が付与されたフレームがあるか否かをこの情報を用いて判定する。明るいフレームがある場合（Ｓ３０７でＹｅｓ）、Ｓ３０８へ移行し、制御部１０５は再生フレーム選択部１０２に対して、現在再生中のフレームの露光条件よりも明るい露光条件となるフレームを選択するように指示する。例えば、現在再生中のフレームの露光条件が適正露出（０）である場合は、Ｓ３０３の処理と同様の処理で露出オーバー（＋１）のフレームを選択し、再生を行う。

Ｓ３０７において、再生フレームよりも明るいフレームが存在しないと制御部１０５が判定した場合には（Ｓ３０７でＮｏ）、ステップＳ３１０に移行して、制御部１０５は表示部１０４に映像コンテンツの明るさの変更ができない旨のメッセージを表示する。

ステップＳ３０４において、明るさをアップする指示入力ではない場合（Ｓ３０４でＮｏ）、ステップＳ３０５に処理を移行する。ステップＳ３０５では、再生条件設定部１１０に対するユーザ操作により、再生している映像の明るさをダウンする指示入力が発生したか否かを制御部１０５が判定する。Ｓ３０５の判定結果がＹｅｓの場合に移行するステップＳ３０９では、制御部１０５が再生フレームより暗いフレームがあるか否かを判定する。再生フレームより暗いフレームが無い場合（Ｓ３０９でＮｏ）、上述したＳ３１０に処理を移行する。再生フレームより暗いフレームがある場合（Ｓ３０９でＹｅｓ）、上述したＳ３０８へ移行する。

Ｓ３０６では、制御部１０５が再生しているコンテンツの再生が停止したか否かを判定する。再生の停止はユーザの指示入力による停止またはコンテンツの終端到達による自動停止である。コンテンツの再生が停止していない場合は、Ｓ３０４以後の処理を繰り返すことで、再生コンテンツに対するユーザの再生条件の変更処理が発生した場合に対応する。再生が停止した場合は上述した制御を停止する。以上の処理がコンテンツの再生条件の変更を実現する制御である。

なお、再生フレーム選択部１０２で選択されたフレームは、再生条件付加部１０３に供給される。再生条件付加部１０３は、供給されたフレームをそのまま表示部１０４に対して出力すると共に、再生条件設定部１１０に対するユーザ操作に応じて、当該再生動画データに対して指定された再生条件を保存する処理を行う。

一例として、動画データを再生した状態を保存するか否かが、再生条件設定部１１０に対するユーザ操作により予め決定される。この決定内容に応じて、再生条件付加部１０３は、再生フレーム選択部１０２により選択された再生フレームの情報を、記録部１０１に格納される対応する動画データに対して付加する。再生フレームの情報は、例えば、再生中の動画データにおけるフレームデータのヘッダやフッタに対して関連付けて保存することが考えられる。これに限らず、再生フレームの情報を動画データとは別のデータとして、動画データのフレームと関連付けて管理することもできる。また、再生条件付加部１０３は、再生フレーム選択部１０２で選択されたフレームを特定する情報を、当該フレームの露光条件と関連付けて保存することができる。

表示部１０４は、再生条件付加部１０３から供給されたフレームを、再生フレームレートを有する再生動画データとして出力する。例えば、表示部１０４は、選択したフレームを図示されないバッファに一旦溜め込み、バッファに溜め込んだフレームを再生フレームレートで読み出して、再生動画データとして出力する。

このように、動画データを再生した状態を保存することで、当該動画データを再び再生する際に、当該動画データにフレーム単位で関連付けられた再生フレームの情報を参照して、再生フレーム選択部１０２により再生した状態を容易に再現することが可能になる。

以上説明したように、本発明の第１の実施形態によれば、１再生フレーム期間内に露光条件を変えながら撮影した複数のフレームを記録媒体から再生する際に、ユーザの指定した明るさでの再生が可能となる。

なお、上述では、再生条件設定部１１０に対してユーザ操作により再生条件が指定されなかった場合に、適正露出（０）のフレームを選択するように説明したが、これはこの例に限られず、露出アンダー（−１）または露出オーバー（＋１）のフレームを選択するようにしてもよい。

また、上述では、記録部１０１に格納される動画データは、露出アンダー（−１）、適正露出（０）および露出オーバー（＋１）の３状態を順次繰り返して撮影され記録されているように説明したが、これはこの例に限定されない。記録部１０１に記録される動画データは、例えば露出レベルとして（−３）から（＋３）でフレーム毎に順次撮影されたものであってもよい。

さらに、上述では、記録部１０１に格納される動画データの記録フレームレートが１８０ｆｐｓ、表示部１０４に対して出力される再生動画データの再生フレームレートが６０ｆｐｓであるものとして説明したが、これはこの例に限定されない。すなわち、記録部１０１に格納される動画データが、再生レートに対してより高いフレームレート、且つ、より多様な露光条件で撮影された動画データであれば、再生したい露出レベルの選択の幅も広がる。これにより、再生時に明るさの変化量の種類も増加させ、段階的に明るさを変化させることが可能になる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態は、ユーザによって注目領域が選択された場合、その注目領域の画像の明るさに応じて、最適なフレームを自動的に選択する。

図４は、本発明の第２の実施形態に適用可能な再生装置２００の一例の構成を示す。なお、図４において、上述の図１に示す再生装置１００と共通する部分には同一の符号を付して、詳細な説明を省略する。

図４に示される再生装置２００において、図１に示す再生装置１００に対して、統計量取得部３０１、注目領域選択拡大部３０２および注目領域選択指示部３０３が追加されている。統計量取得部３０１は、画像の特性に基づく所定の統計量を取得する。受付手段としての注目領域選択指示部３０３は、操作部１０８に対するユーザ操作に応じて、記録部１０１から再生された動画データから生成される表示画像における注目領域を選択する指示を行う。フレーム生成手段としての注目領域選択拡大部３０２は、再生フレーム選択部１０２から供給された動画データのフレーム毎に、注目領域選択指示部３０３により選択が指示された注目領域を選択し、拡大する。

図５は、記録部１０１に保存されている動画データと、表示部１０４に対して出力されるフレームとの一例の関係を、横軸を時間として示す。図５（ａ）は、記録部１０１に格納される動画データの一例を示し、図５（ｂ）は、再生フレームにおいて、注目領域選択拡大部３０２により選択される領域の例を示す。

この例では、記録部１０１に格納される動画データは、記録フレームレートが１８０ｆｐｓ、画像サイズが８０００画素×４０００画素であるものとする。一方、表示部１０４に出力される動画データの再生フレームレートは、６０ｆｐｓである。すなわち、記録部１０１に格納される動画データは、１再生フレーム期間に３フレームが露光条件を変えながら撮影されたものである。ここでは、記録部１０１に格納される動画データは、図５（ａ）に例示されるように、（−１）乃至（＋１）の露出レベルで、露出アンダー（−１）、適正露出（０）および露出オーバー（＋１）の順で、フレーム毎に繰り返し撮影されているものとする。なお、露出アンダー、適正露出および露出オーバーといった露光条件を示す情報は、動画データのフレームに関連付けられて記録部１０１に格納されるものとする。

図６は、第２の実施形態による一例の再生処理を示すフローチャートである。図６のフローチャートによる各処理は、制御部１０５のＣＰＵ１０７で実行されるプログラムによって行われる。

図６のフローチャートの処理に先立って、ユーザ操作に応じて操作部１０８の動画再生指示部１０９により、記録部１０１に格納される動画データの再生が指示される。ここで、上述したように、記録部１０１に格納される動画データの記録フレームレートが１８０ｆｐｓであり、表示部１０４に出力する際の再生フレームレートが６０ｆｐｓである。再生フレーム選択部１０２は、再生指示に応じて記録部１０１から再生された動画データの１再生フレーム期間に付き１枚の、適切な露光条件のフレームを選択する。ここでは、適正露出（０）のフレームを選択するものとする。

再生フレーム選択部１０２で選択されたフレームは、注目領域選択拡大部３０２を介して再生条件付加部１０３に供給される。再生条件付加部１０３は、供給されたフレームをそのまま表示部１０４に対して出力すると共に、上述したようにして、再生条件設定部１１０に対するユーザ操作に応じて、当該再生動画データに対して指定された再生条件を保存する処理を行う。

説明は図６のフローチャートに戻り、動画データの再生が始まると、制御部１０５は、再生条件設定部１１０で再生条件を付加して保存するように予め設定されていたか否かを判断する（ステップＳ４０１）。若し、再生条件の付加を行わないように設定されていると判断されたら、処理はステップＳ４０３に移行される。

一方、再生条件の付加を行うように設定されていると判断されたら、処理はステップＳ４０２に移行される。ステップＳ４０２では、制御部１０５は、再生条件付加部１０３に対して再生条件の動画データへの付加および保存を行うように指示する。再生条件付加部１０３は、この指示を受けると、再生条件をフレーム毎に付加して、記録部１０１に格納する。再生条件は、例えば対応するフレームのヘッダやフッタに付加することができる。これに限らず、再生条件を動画データとは別のデータとして管理することもできる。

ステップＳ４０２で再生条件の付加および保存が行われると、処理はステップＳ４０３に移行される。ステップＳ４０３では、注目領域選択指示部３０３において、注目領域選択指示部３０３に対するユーザ操作に応じて、再生フレーム選択部１０２から供給されたフレームによる画像の注目領域を選択する。図５の例では、時刻Ｃで注目領域が図５（ｅ）に例示されるように選択されている。すなわち、フレームによる画像の座標（ｘ,ｙ）を、画素を単位として表現すると、画像全体では(0,0)-(8000,4000)の範囲となる。本実施形態では、注目領域が座標(2000,1000)-(3919,2079)として選択されたものとする。この選択された注目領域の座標は、動画データの再生条件として扱われる。すなわち、領域情報保存手段としての再生条件付加部１０３は、この選択された注目領域の座標を再生条件として、フレームに関連付けて記録部１０１に格納する。制御部１０５は、選択された注目領域を示す注目領域情報を統計量取得部３０１に供給する。

処理はステップＳ４０４に移行され、統計量取得部３０１は、記録部１０１から再生される動画データの各フレームによる画像について、注目領域情報に示される注目領域内の特性を取得する。ここでは、注目領域における画素毎の輝度値による輝度特性、より具体的には輝度ヒストグラムを注目領域内の特性として取得するものとする。図５（ｃ）に、取得された輝度ヒストグラムの例を示す。この例では、再生フレーム選択部１０２で時刻Ｃの直後に選択されたフレームの画像について取得された輝度ヒストグラムが示されている。取得された輝度ヒストグラムの情報は、制御部１０５に供給される。

処理は次のステップＳ４０５に移行され、制御部１０５により、取得された輝度ヒストグラムに基づき現在選択されているフレームの露出条件が適切か否かが判断される。例えば、制御部１０５は、選択された注目領域の輝度ヒストグラムの分布が、輝度の高い方向および輝度の低い方向に偏っていなければ、露光条件が適切であると判断する。また、当該輝度ヒストグラムの分布が輝度の高い方向および輝度の低い方向のうち少なくとも一方に偏っていれば、露出条件が適切ではないと判断する。若し、露出条件が適切であると判断されたら、処理はステップＳ４０７に移行される。

一方、ステップＳ４０５で、現在選択されているフレームの露出条件が適切ではないと判断されたら、処理はステップＳ４０６に移行される。ステップＳ４０６で、制御部１０５は、取得した注目領域の輝度ヒストグラムに基づき注目領域の明暗を判断し、判断結果に応じて適切な露光条件に対応する露出レベルを選択する。これは、輝度ヒストグラムの形状をいくつかのパターンとし、各パターンに対応して予め選択すべき露出レベルを定めておくことで実現できる。そして、制御部１０５は、再生フレーム選択部１０２に対して、当該適切な露光条件のフレームを選択するように指示する。

具体的には、輝度の高い側の階調に多くの度数がある場合は、映像が白飛びしている可能性があるため、表示部１０４に対して現在出力しているフレームより露出がアンダー（−１）のフレームを適切な露光条件のフレームとして選択する。一方、輝度が低い側の階調に多くの度数がある場合は、映像が黒潰れしている可能性があるため、表示部１０４に対して現在出力しているフレームより露出がオーバー（＋１）のフレームを適切な露光条件のフレームとして選択する。

図５（ｃ）の例では、輝度の高い側の階調に多くの度数が存在しているため、統計量の取得がなされた次のフレームに対応する時刻Ｄ以降で、露出アンダー（−１）のフレームを選択し、表示部１０４に対して出力している。なお、ここで選択された露光条件は、再生条件として扱われる。すなわち、露光条件保存手段としての再生条件付加部１０３は、この選択された露光条件を再生条件として、フレームに関連付けて記録部１０１に格納する。

適切な露光条件のフレームが選択されると、処理は次のステップＳ４０７に移行される。ステップＳ４０７で、制御部１０５は、注目領域選択拡大部３０２に対して注目領域情報を送信し、フレームの画像における注目領域の拡大指示を出す。注目領域選択拡大部３０２では、制御部１０５から送信された注目領域情報に基づき、再生露光フレーム選択部１０２から供給されたフレームの画像の注目領域を拡大する。そして、注目領域が拡大された画像によるフレームを生成し、再生条件付加部１０３に対して出力する。すなわち、元の画像が注目領域でトリミングされ、１フレームの画像サイズに拡大されてフレームとして出力される。

なお、注目領域選択拡大部３０２は、注目領域選択指示部３０３に対して注目領域を選択するユーザ操作が行われていない場合や、選択された注目領域がリセットされた場合は、供給されたフレームをそのまま出力するものとする。

制御部１０５は、ステップＳ４０８で、動画再生指示部１０９から動画データの再生の停止要求が出されたか否かが判断される。例えばユーザ操作に応じて動画再生指示部１０９から制御部１０５に対して再生停止要求が送信されると、制御部１０５は、記録部１０１格納される動画データの再生を停止して、一連の処理を終了させる。一方、再生の停止要求が出されていないと判断されたら、処理はステップＳ４０３に戻される。当然ながら、映像の進展に従って、注目領域の輝度ヒストグラムの値は変化する。そのため、現在選択している露出レベルのフレームでは適正な明るさではないケースが生じることがある。本実施形態では、再生が停止するまでの間、Ｓ４０４からＳ４０６の処理を都度繰り返しているので、表示するフレーム単位に適正な露光条件のフレームを選択することが可能である。また、再生途中で注目領域が変更された場合においても、上述の処理を行うことで適正な露光条件のフレームを選択して表示することが可能である。

以上説明したように、本第２の実施形態によれば、再生フレーム期間内に露光条件を変えながら撮影した複数のフレームによる画像の注目領域を選択する場合、選択された注目領域における輝度ヒストグラムを取得し、この輝度ヒストグラムに基づき適切な露光条件のフレームを選択している。これにより、選択された注目領域の画像に合わせた明るさでの再生が可能となる。記録されたフレームでは画面全体として露光条件が変更されているため、仮に適正露出であると判定されているフレームの画像であっても、そのフレーム画像には黒潰れしている領域や白飛びしている領域が存在しているケースがある。従って、ユーザがフレーム画像内から選択した領域が適正露出であるとは限らない。本実施形態は、こうしたケースにおいても、ユーザが選択した注目領域を表示する場合に、より適切な明るさの画像を表示することを可能とするものである。

なお、再生される動画データによる画像がより高解像度（より大きな画像サイズ）であるほど、当該画像のある領域に注目しても十分に高解像度の動画をトリミング再生することが可能である。また、トリミングした座標も再生条件として記録することで、簡単な編集作業が可能となる。

なお、上述した第１の実施形態及び第２の実施形態では、記録フレームレートから１つのフレームを選択して表示しているが、複数枚のフレームを合成して生成した１枚のフレーム画像を用いることも可能である。例えば、露出アンダー（−１）と適正露出（０）のフレームを用いることで、露出アンダー（−１）と適正露出（０）の間の露出レベルの画像を生成することが可能である。このように、記録フレームの合成処理を用いることで、実際の露光条件よりも細かい露出レベルを選択することが可能となる。第１の実施形態であれば、ユーザによる明るさの選択をより詳細に行うことができるという効果を有する。また、第２の実施形態であれば、注目領域の画像をより適正な明るさの画像とすることが可能となる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第１の実施形態及び第２の実施形態では、ユーザからの指示または輝度ヒストグラムに対応して、目的の明るさのフレームを即座に選択して表示していた。対して、第３の実施形態は、上述した記録フレームを複数用いた合成処理により、動画の明るさを目標の明るさに向けて段階的に変化させる。これにより、滑らかな動画再生を実現し、且つ、再生している動画の明るさを、目標の明るさに変化させることができる。なお、この処理は、上述した第１の実施形態及び第２の実施形態に対して適用することが可能である。ここでは、第２の実施形態に適用した場合として説明を行う。

図７は、本発明の第３の実施形態に適用可能な再生装置３００の一例の構成を示す。なお、図７において、上述の図１および図４に示す再生装置１００および再生装置２００と共通する部分には同一の符号を付して、詳細な説明を省略する。

図７に示される再生装置３００において、図４に示す再生装置２００に対して、フレーム演算処理部６０１が追加されている。第３の実施形態では、再生露光フレーム選択部１０２は、１再生フレーム期間に複数すなわち２以上のフレームを選択する。フレーム合成手段としてのフレーム演算処理部６０１は、再生フレーム選択部１０２から供給された２以上のフレームに対して、累積加算処理や加重平均処理といった所定の演算処理を施す。そして、この演算処理から１つのフレームを生成して、注目領域選択拡大部３０２に対して出力する。

図８は、記録部１０１に保存されている動画データと、表示部１０４に対して出力されるフレームとの一例の関係を、横軸を時間として示す。図８（ａ）は、記録部１０１に格納される動画データの一例を示し、図８（ｃ）は、出力されるフレームの例を示す。

この例では、記録部１０１に格納される動画データは、記録フレームレートが１２００ｆｐｓ、画像サイズが８０００画素×４０００画素であるものとする。一方、表示部１０４に出力される動画データの再生フレームレートは、１２０ｆｐｓであるものとする。すなわち、記録部１０１に格納される動画データは、１再生フレーム期間に１０フレームが露光条件を変えながら撮影されたものである。ここでは、記録部１０１に格納される動画データは、図８（ａ）に例示されるように、（−１）乃至（＋１）の露出レベルで、露出アンダー（−１）、適正露出（０）および露出オーバー（＋１）の順で、フレーム毎に繰り返し撮影されているものとする。なお、露出アンダー、適正露出および露出オーバーといった露光条件を示す情報は、動画データのフレームに関連付けられて記録部１０１に格納されるものとする。

図９は、本第３の実施形態による一例の再生処理を示すフローチャートである。図９のフローチャートによる各処理は、制御部１０５のＣＰＵ１０７で実行されるプログラムによって行われる。なお、図９のフローチャートにおいて、上述した図６のフローチャートと共通する処理には同一の符号を付し、詳細な説明を省略する。すなわち、図９のフローチャートにおけるステップＳ４０１〜ステップＳ４０５の処理と、ステップＳ４０７およびステップＳ４０８の処理は、図６のフローチャートの処理と共通である。また、図９のフローチャートに先んじて行われる動画データの再生処理は、上述の第２の実施形態で既に説明した処理と同様であるので、ここでの説明を省略する。

以下、図９のフローチャートについて、上述の図６のフローチャートによる処理と異なる処理について説明する。ステップＳ４０４で選択された注目領域の輝度ヒストグラムが取得されると、処理はステップＳ７０１に移行される。

ステップＳ７０１で、制御部１０５は、ステップＳ４０４で取得した輝度ヒストグラムに基づき、目標となる明るさに対応する露出レベルを決定する。次に、ステップＳ７０２では、制御部１０５は決定した目標露出レベルに至るまでに表示する中間露出レベルを決定する。例えば、現在のフレームの露出レベルが＋１であり、目標露出レベルが−１である場合に、中間露出レベルとしては、＋０．５、０、−０．５という値が決定される。この中間露出レベルの決定は、現在のフレームの露出レベルから目標露出レベルまでの差や、フレーム毎の露光条件、目標露出レベルに到達するために必要な時間（表示フレーム数）などの条件に基づいて適宜決定することが可能である。

続いて、ステップＳ７０３では、制御部１０５は、ステップＳ７０１及び７０２で決定された露出レベルとするために用いるフレームを１再生フレーム期間内のフレームから選択する指示を、再生フレーム選択部１０２に対して供給する。より具体的には、制御部１０５は、Ｓ７０２で決定した中間露出レベルに対応するようにフレームを選択する。このとき、１枚のフレームの露光条件が中間露出レベルに対応している場合には、１再生フレーム期間内から１枚のフレームを選択すれば良い。また、１枚のフレームの露光条件が中間露出レベルに対応していない場合には、１再生フレーム期間内から複数のフレームを選択し、これらのフレームを合成することで生成する。

図８の例では、１再生フレーム期間内の１０枚のフレームのうち３枚を選択して累積加算し、中間露出レベルに対応する１枚のフレームを生成する。生成されたフレームによる画像の明るさを段階的に暗くする場合の例（図８（ｃ）参照）について説明する。なお、図８（ｄ）に示される「レベル」は、画像の明るさを数値で示した露出レベルであり、数値が大きいほど明るい画像、数値が小さいほど暗い画像であることを示すものとする。

一例として、図８（ｄ）に例示されるように、画像の明るさを数値（０）から数値（−３）まで下げる場合について考える。この場合、例えば画像の明るさを数値（０）、数値（−１）、数値（−２）および数値（−３）と段階的に下げていくことが考えられる。なお、ここでは、数値（−３）は、露出アンダー（−１）の画像の明るさに対応し、数値値（０）は、適正露出（０）の画像の明るさに対応するものとする。

より具体的には、時刻Ｅから時刻Ｆまでは数値（−１）になるような組み合わせの複数枚のフレームを選択する。次に、時刻Ｆから時刻Ｇまでは数値値（−２）になるような組み合わせの複数枚のフレームを選択する。そして、時刻Ｇ以降では、目標の明るさである数値（−３）になるような組み合わせの複数枚のフレームを選択する。

一例として、図８の時刻Ｅから時刻Ｆでは、数値（−１）になるように、対応する１再生フレーム期間の１０枚のフレームから３枚を選択する。例えば、図８（ｂ）に例示されるように、露出アンダー（−１）のフレームが１枚と、適正露出（０）のフレームが２枚との組み合わせで、フレームが選択される。図８の時刻Ｆから時刻Ｇでは、数値（−２）になるように、対応する１再生フレーム期間の１０枚のフレームから３枚を選択する。例えば、図８（ｂ）に例示されるように、露出アンダー（−１）のフレームが２枚と、適正露出（０）のフレームが１枚との組み合わせで、フレームが選択される。また、図８の時刻Ｇから時刻Ｈでは、数値（−３）になるように、対応する１再生フレーム期間の１０枚のフレームから３枚を選択する。例えば、図８（ｂ）に例示されるように、露出アンダー（−１）のフレームが３枚、選択される。

なお、１再生フレーム期間に含まれる複数枚のフレームから、どのフレームを選択するかを決める方法は、様々に考えられる。例えば、選択されたフレームの間隔がなるべく等しい間隔になるように、連続する複数の再生フレーム期間のそれぞれにおいて選択するフレームを決めることが考えられる。

フレームの選択が完了したら、処理はステップＳ７０４に移行される。ステップＳ７０４では、１再生フレーム期間において選択された複数枚のフレームが再生フレーム選択部１０２からフレーム演算処理部６０１に供給される。フレーム演算処理部６０１は、供給された複数枚のフレームを累積的に加算する。フレームの加算は、例えば加算フレームおよび被加算フレームの対応する画素同士で画素値を加算して行う。そして、加算結果を、加算したフレーム枚数で除して１枚のフレームを生成する。この複数のフレームの累積加算により１枚のフレームを生成する処理は、１再生フレーム期間毎に加算結果をリセットしながら行われる。もちろん、１再生フレーム期間において選択去れたフレームが１枚の場合には加算処理を行わずない。

フレーム演算処理部６０１で累積加算により生成されたこのフレームは、注目領域選択拡大部３０２へ供給される。以降、ステップＳ４０７でユーザ操作に応じて注目領域の選択および拡大処理が行われ、ステップＳ４０８で再生停止が指示されたか否かが判断される。若し、再生停止が指示されたと判断したら、記録部１０１からの動画データの再生動作を停止し、一連の処理を終了させる。一方、再生停止が指示されていないと判断したら、処理はステップＳ４０３に戻される。

以上説明したように、第３の実施形態によれば、１再生フレーム期間内に露出条件を変えながら撮影した複数のフレームの再生の際に、１再生フレーム期間の複数のフレームを選択して１枚のフレームに合成して出力するようにしている。これにより、目標となるフレームに対して滑らかな明るさの変更が可能となるため、違和感の低い表示を行うことが可能となる。

なお、第３の実施形態では、フレーム演算処理部６０１において、複数のフレームを累積的に加算するようにしているが、これはこの例に限定されない。例えば、１再生フレーム期間内の全てのフレームの加重平均を算出し、算出結果に基づき１枚の再生フレームを生成することもできる。その際、各フレームにかける重みは、ステップＳ７０２の中間露出レベルの決定の際に、入力された各露光条件のフレームから、求めた中間露出レベルのフレームを生成するように設定する。こうすることで、複数のフレームを単純に累積加算するよりも、より良好な画質の動画を生成することができる。

Claims (10)

1. 互いに異なる所定の複数の露光条件で複数の画像を撮影することにより生成される画像データを再生し、表示部に出力する再生手段と、
   前記表示部に出力された画像データの一部の指定領域がユーザに指定されたことに応じて、前記指定領域の輝度特性を取得する取得手段と、
   前記取得手段により取得された前記指定領域の輝度特性に基づき、前記表示部に出力される画像データの輝度を制御する制御手段と、
   を備えることを特徴とする再生装置。
2. 前記輝度特性は、輝度ヒストグラムであることを特徴とする請求項１に記載の再生装置。
3. 前記所定の複数の露光条件は、適正露出に対応する露光条件と、露出アンダーに対応する露光条件と、露出オーバーに対応する露光条件とを含むことを特徴とする請求項１または請求項２に記載の再生装置。
4. 前記再生手段は、再生した画像データの前記指定領域を拡大して前記表示部に出力することを特徴とする請求項１から請求項３までのいずれか１項に記載の再生装置。
5. 請求項１から請求項４までのいずれか１項に記載の再生装置と、
   前記表示部と、を備えることを特徴とする表示装置。
6. 再生装置の再生手段が、互いに異なる所定の複数の露光条件で複数の画像を撮影することにより生成される画像データを再生し、表示部に出力する再生工程と、
   前記再生装置の取得手段が、前記表示部に出力された画像データの一部の指定領域がユーザに指定されたことに応じて、前記指定領域の輝度特性を取得する取得工程と、
   前記再生装置の制御手段が、前記取得工程により取得された前記指定領域の輝度特性に基づき、前記表示部に出力される画像データの輝度を制御する制御工程と、
   を備えることを特徴とする再生方法。
7. 前記輝度特性は、輝度ヒストグラムであることを特徴とする請求項６に記載の再生方法。
8. 前記所定の複数の露光条件は、適正露出に対応する露光条件と、露出アンダーに対応する露光条件と、露出オーバーに対応する露光条件とを含むことを特徴とする請求項６または請求項７に記載の再生方法。
9. 前記再生工程では、再生した画像データの前記指定領域を拡大して前記表示部に出力することを特徴とする請求項６から請求項８までのいずれか１項に記載の再生方法。
10. 請求項６から請求項９までのいずれか１項に記載の再生方法の各工程をコンピュータに実行させるためのプログラム。