JP2011101352A - 画像生成装置、再生装置、再生システム、画像生成方法および再生方法 - Google Patents

Abstract

【課題】フラッシュの影響を受けている画像データを特定できるような画像データ群を生成できる画像生成装置を提供する。
【解決手段】撮像装置１００は、フラッシュ判定部１０４と、フレーム情報付加部１０２と、制御部１０５と、を備えている。フラッシュ判定部１０４は画像データ群に含まれる画像データがフラッシュの影響を受けているか否かを判定する。フレーム情報付加部１０２は、フラッシュの影響を受けている画像データを特定するためのフレーム情報を、画像データに付加する。制御部１０５は、フラッシュ判定部１０４の判定結果に基づいて、フラッシュの影響を受けている画像データに対して、フレーム情報を付加するようにフレーム情報付加部１０２を制御する。
【選択図】図４

Description

ここに開示される技術は、画像生成装置、再生装置、再生システム、画像生成方法および再生方法に関する。

従来、水平ライン毎にデータを読み出すＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いた撮像装置で撮影する場合は、例えば、水平ライン毎にＣＭＯＳでの電荷蓄積時刻が異なる。そのため、この撮像装置で被写体を撮影した場合、１枚の画像の上部分と下部分では、時刻の異なる画像が映っていることになる。実際には上部分から下部分まで連続した時刻で読み出す画像であることが多く、動きの変化が少ない被写体であれば１枚の画像を見ても違和感はほとんどない。また、ビデオカメラのように連続した画像を撮像して動画像として見る際にも、違和感はほとんどないことが多い。

特開２００７−３０６２２５号公報

しかし、この撮像装置で動画撮影を行っている間にスチルカメラ用等のフラッシュが発光すると、ＣＭＯＳの電荷蓄積時刻が異なるために、発光のタイミングによっては、連続するフレームの画像のうち、前方のフレームの画像の下部の領域、および後方のフレームの画像の上部の領域が、それぞれ白飛びしてしまうことがある。

そこで、例えば、特許文献１に記載されている撮像装置では、撮像された画像に対する評価値を用いてフラッシュによる悪影響を受けた画像を除外して、画像を記録している。したがって、このような画像を再生する場合、そのまま再生すればフラッシュによる悪影響が除外された画像が再生される。

しかしながら、特許文献１に記載の方法では、オリジナル画像を記録していないため、除外した画像が必要な画像であっても、除外した画像を復帰することができない。フラッシュの影響を受けた画像であっても、ユーザにとっては記録することが好ましい場合もあり得る。

一方で、フラッシュの影響を受けている画像を含む動画を再生する際に、再生方法によってはフラッシュの影響を受けている画像が目立つ場合も少なくない。フラッシュの影響を受けている画像に対して再生時に何らかの処理を行えるのが好ましい。

ここに開示される技術は、フラッシュの影響を受けている画像データを特定できるような画像データ群を生成できる画像生成装置および画像生成方法を提供することを目的とする。

また、ここに開示される技術は、画像データ群を再生する際にフラッシュの影響を受けている画像が目立つのを抑制できる再生装置、再生システムおよび再生方法を提供することを目的とする。

（１）ここに開示される画像生成装置は、フラッシュ判定部と、フレーム情報付加部と、付加制御部と、を備えている。フラッシュ判定部は画像データ群に含まれる画像データがフラッシュの影響を受けているか否かを判定する。フレーム情報付加部は、フラッシュの影響を受けている画像データを特定するためのフレーム情報を、画像データに付加する。付加制御部は、フラッシュ判定部の判定結果に基づいて、フラッシュの影響を受けている画像データに対して、フレーム情報を付加するようにフレーム情報付加部を制御する。

この画像生成装置では、画像データがフラッシュの影響を受けているか否かがフラッシュ判定部により判定される。さらに、フラッシュの影響を受けている画像データを特定するためのフレーム情報が、フレーム情報付加部により画像データ群に付加される。したがって、画像データに付加されたフレーム情報に基づいて、どの画像データがフラッシュの影響を受けているかを特定することができる。

以上のように、この画像生成装置では、フラッシュの影響を受けている画像データを特定できるような画像データ群を生成できる。

ここで、フラッシュの影響を受けている画像データとしては、例えば、フラッシュにより少なくとも一部の領域が白飛びしている画像データが挙げられる。

（２）ここに開示される再生装置は、フレーム情報検出部と、信号処理部と、を備えている。フレーム情報検出部は、画像データ群に含まれる画像データがフラッシュの影響を受けていることを示すフレーム情報を画像データから検出する。信号処理部は、フレーム情報が付加された画像データに対して所定の処理を行う。

この再生装置では、画像データがフラッシュの影響を受けていることを示すフレーム情報がフレーム情報検出部により画像データから検出される。フレーム情報が付加された画像データに対して信号処理部により所定の処理が行われる。したがって、フラッシュの影響を受けている画像データを画像データ群から特定することができ、画像データ群を再生する際にフラッシュの影響を受けている画像データが目立つのを抑制することができる。

（３）ここに開示される再生システムは、前述の再生装置に加えて、画像生成装置を備えている。この画像生成装置は、フラッシュ判定部と、フレーム情報付加部と、付加制御部と、を備えている。フラッシュ判定部は画像データ群に含まれる画像データがフラッシュの影響を受けているか否かを画像データから判定する。フレーム情報付加部は、フラッシュの影響を受けている画像データを特定するためのフレーム情報を、画像データに付加する。付加制御部は、フラッシュ判定部の判定結果に基づいて、フラッシュの影響を受けている画像データに対してフレーム情報を付加するようにフレーム情報付加部を制御する。

この再生システムでは、画像生成装置のフレーム情報付加部により、フラッシュの影響を受けている画像データにフレーム情報が付与され、再生装置のフレーム情報検出部により、画像データからフレーム情報が検出される。フレーム情報が付加された画像データに対して再生装置の信号処理部により所定の処理が行われる。したがって、フラッシュの影響を受けている画像データを画像データ群から特定することができ、画像データ群を再生する際にフラッシュの影響を受けている画像が目立つのを抑制することができる。

（４）ここに開示される画像生成方法は、フラッシュ判定ステップと、フレーム情報付加ステップと、を備えている。フラッシュ判定ステップでは、画像データ群に含まれる画像データがフラッシュの影響を受けているか否かがフラッシュ判定部により判定される。フレーム情報付加ステップでは、フラッシュ判定ステップでの判定結果に基づいて、フラッシュの影響を受けているフレームを特定するためのフレーム情報がフレーム情報付加部により画像データに付加される。

この画像生成方法では、画像データがフラッシュの影響を受けているか否かがフラッシュ判定部により画像データから判定される。さらに、フラッシュ判定ステップでの判定結果に基づいて、フラッシュの影響を受けている画像データを特定するためのフレーム情報が、フレーム情報付加部により画像データに付加される。したがって、画像データ群に付加されたフレーム情報に基づいて、どの画像データがフラッシュの影響を受けているかを特定することができる。

以上のように、この画像生成方法では、フラッシュの影響を受けている画像データを特定できるような画像データ群を生成できる。

（５）ここに開示される再生方法は、フレーム情報検出ステップと、信号処理ステップと、を備えている。フレーム情報検出ステップでは、画像データがフラッシュの影響を受けていることを示すフレーム情報がフレーム情報検出部により検出される。信号処理ステップでは、フレーム情報が付加された画像データに対して信号処理部により所定の処理が行われる。

この再生システムでは、画像生成装置のフレーム情報付加部により、フラッシュの影響を受けている画像データにフレーム情報が付与され、再生装置のフレーム情報検出部により、画像データ群からフレーム情報が検出される。したがって、フラッシュの影響を受けている画像データを画像データ群から特定することができ、画像データ群を再生する際にフラッシュの影響を受けている画像が目立つのを抑制することができる。

ここに開示される技術では、フラッシュの影響を受けている画像データを特定できるような画像データ群を生成できる画像生成装置および画像生成方法を提供することができる。

また、ここに開示される技術では、画像データ群を再生する際にフラッシュの影響を受けている画像データが目立つのを抑制できる再生装置、再生システムおよび再生方法を提供することができる。

撮像装置の構成を示すブロック図 再生装置の構成を示すブロック図 再生システムの構成を示すブロック図 撮像装置の記録時の動作を示すフローチャート 再生装置の再生時の動作を示すフローチャート

＜撮像装置の構成＞
撮像装置１００（画像生成装置の一例）は、例えば動画を撮影するビデオカメラであり、光学系１１１、撮像部１０１、フレーム情報付加部１０２、記録部１０３、フラッシュ判定部１０４、制御部１０５および撮像操作部１０６を備えている。

光学系１１１は被写体の光学像を形成する。

撮像部１０１（撮像部の一例）は、１フレームの画像内の領域によって電荷蓄積時刻が異なる撮像素子１１０（撮像素子の一例）を有している。本実施形態では、撮像素子１１０は、例えば水平ライン毎に電荷蓄積時刻が異なっている。ここで、電荷蓄積時刻とは、電荷の蓄積を開始する時刻を意味している。撮像素子１１０は、例えばＣＭＯＳイメージセンサであり、光学系１１１を通って入射した被写体からの光を電気信号に変換し、複数フレームの画像データを画像データ群として出力する。動画を撮影する場合、撮像素子１１０は所定の周期で画像データを順次出力する。撮像素子１１０から出力される画像データ群は複数フレームの画像データを含んでいる。

フラッシュ判定部１０４（フラッシュ判定部の一例）は、撮像部１０１から出力される複数の画像データに対して、撮像装置１００および撮像装置１００以外の装置のフラッシュの影響（より詳細には、フラッシュの悪影響）を受けているか否かの判定を行い、判定結果を制御部１０５に出力する。ここで、フラッシュの影響を受けている画像データ（より詳細には、フラッシュの悪影響を受けている画像データ）とは、表示画像の一部がフラッシュにより白飛びする画像データである。また、フラッシュには、撮像装置１００のフラッシュおよび撮像装置１００以外の装置のフラッシュのうち少なくとも一方が含まれる。

フラッシュ判定部１０４は、画像データに対してフラッシュの影響を受けているか否かを判定する。動画撮影時に周囲の撮像装置でフラッシュが発光すると、そのフラッシュにより画像のあるラインより下の領域あるいはあるラインより上の領域が白飛びしてしまい、１フレームあるいは複数のフレームにおいて、画像データの輝度がその部分だけ急激に上がる。したがって、判定の際、フラッシュ判定部１０４は隣接するフレーム間の同画素位置（同じ領域）の輝度の比較を行う。例えば、画像データ群が、隣接する２つのフレームに対応する第１画像データおよび第２画像データを含んでいるとする。この場合、例えば、フラッシュ判定部１０４は、第１および第２画像データの同じ領域の輝度を比較することで、第２画像データがフラッシュの影響を受けているか否かを判定する。

フレーム情報付加部１０２（フレーム情報付加部の一例）は、撮像部１０１から出力された画像データに対して、必要に応じてフレーム情報の付加を行う。具体的には、フレーム情報付加部１０２は、フラッシュの影響を受けているフレームを特定するためのフレーム情報を、画像データ群に付加する。フレーム情報は、例えばフラグである。本実施形態では、フレーム情報付加部１０２は、画像データ内の所定の領域にフレーム情報を付加する。ここで、所定の領域は、例えば、表示画像として用いられる有効表示領域と異なる非表示領域(表示画像としては用いられない領域、所定の領域の一例)であり、フレームに関する付加情報を記録するために予め規格で定められた領域などが考えられる。

なお、フレーム情報付加部１０２が有効表示領域にフレーム情報を重畳させることでフレーム情報を画像データに付加する構成であってもよい。この場合、例えば電子透かしのように、フレーム情報付加部１０２が、フラッシュの影響を受けていることを示す信号を画像データの有効表示領域（所定の領域の一例）に付加してもよい。

記録部１０３（記録部の一例）は、フレーム情報付加部１０２から出力された画像データに対して必要に応じて符号化等の処理を行い、処理された画像データを記録媒体１０７に記録する。より詳細には、記録部１０３はフレーム情報付加部１０２によりフレーム情報が付加された画像データ群を記録媒体１０７に記録する。記録媒体１０７の例としては、例えば、ＨＤＤ、光ディスクおよびフラッシュメモリが挙げられる。

撮像操作部１０６は、ユーザからの記録開始および終了等の操作を受け付け、その操作情報を出力する。

制御部１０５（付加制御部の一例）は、撮像操作部１０６から出力される操作情報およびフラッシュ判定部１０４から出力される判定結果に基づいて、撮像装置１００の各部（すなわち撮像部１０１、フレーム情報付加部１０２および記録部１０３）を制御する。特に、制御部１０５は、フラッシュ判定部１０４の判定結果に基づいて、フラッシュの影響を受けている画像データにフレーム情報を付加するようにフレーム情報付加部１０２を制御する。

なお、記録部１０３により画像データを記録媒体１０７に記録する構成の代わりに、撮像装置１００の外部へ生成した画像データ群を出力（他の機器へ伝送）する構成を採用してもよい。

＜再生装置の構成＞
図２に示すように、再生装置２００は、再生部２０３、フレーム情報検出部２０４、信号処理部２０２、制御部２０５、再生操作部２０６および出力部２０８を備えている。

再生部２０３は、ＨＤＤ、光ディスクおよびフラッシュメモリ等の記録媒体２０７から読み出した画像データに対して必要に応じて復号処理等を行った後、処理後の画像データを出力する。

フレーム情報検出部２０４は、入力される画像データ群から、フラッシュの影響を受けていることを示すフレーム情報を検出する。言い換えると、フレーム情報検出部２０４は、再生部２０３から出力される画像データに対して予め付加されたフレーム情報を検出し、検出結果を出力する。具体的には、フレーム情報検出部２０４は、各フレームにおいて、画像データ内の所定の領域に付加されたフレーム情報を検出する。本実施形態では、フレーム情報検出部２０４は、各フレームにおいて、表示画像として用いられる有効表示領域と異なる非表示領域に付加されたフレーム情報を検出する。画像データ内の所定の領域にフレーム情報が存在していなければ、フレーム情報検出部２０４は検出対象の画像データがフラッシュの影響を受けていないと判定する。なお、画像データがフラッシュの影響を受けていない場合に、画像データ内の所定の領域にフラッシュの影響を受けていないことを示すフレーム情報が付加されていてもよい。また、非有効表示領域ではなく有効表示領域に重畳されたフレーム情報をフレーム情報検出部２０４が検出してもよい。

信号処理部２０２（信号処理部の一例）は、フレーム情報が付加された画像データに対して所定の処理を行う。信号処理部２０２は、再生部２０３から出力された画像データに対して必要に応じて補正処理等の信号処理を行って出力する。具体的には、信号処理部２０２は、操作情報が特殊再生を示し、かつ、画像データがフラッシュの影響を受けていることをフレーム情報検出部２０４の検出結果が示しているときには、フラッシュの影響を受けている画像データに対してフラッシュの影響が再生時に目立つのを抑制する補正処理を行う。この補正処理としては、例えば悪影響を受けたフレームを、悪影響を受けていない直前のフレームに置き換えて出力する方法等が挙げられる。また、画像データ内の使用可能な部分をトリミングして静止画像として用いたり、あるいは、白飛びした領域に対して再生時に何らかの画像処理を施したりすることも、補正処理として考えられる。なお、通常再生および特殊再生に関係なく、再生時には、フラッシュの影響を受けている画像データに対して補正処理を行ってもよい。

ここで、特殊再生とは、１フレームの表示時間が比較的長い再生方法を意味しており、例えば、一時停止、コマ送りおよびスロー再生が挙げられる。これらの再生方法（第１再生方法の一例）は、入力される画像データ群を、撮像時のフレーム時間幅よりも時間幅を広げて再生する再生方法と定義することができる。また、特殊再生には、スロー撮影された画像をそのままの速度で再生する場合も含まれる。この再生方法（第２再生方法の一例）は、撮像時のフレーム時間幅が通常時間幅よりも広い画像データ群を、時間幅を変えずに再生する再生方法と定義することができる。

出力部２０８は、信号処理部２０２によって出力される画像データを外部へ出力する。出力先は、例えばディスプレイ等の表示機器や他の画像処理機器が挙げられる。

再生操作部２０６（操作部の一例）は、ユーザからの再生開始および終了、検索条件設定等の操作を受け付け、その操作情報を出力する。再生操作部２０６は、ユーザからの再生モードの設定を受け付けて操作情報として出力する。

制御部２０５は、操作情報および検出結果に基づいて再生装置２００の各部（すなわち再生部２０３、信号処理部２０２および出力部２０８）を制御する。具体的には、制御部２０５は、検出結果に基づいて信号処理部２０２を制御し、対応する画像データに補正処理等を行わせる。また、制御部２０５は、操作情報に含まれる再生モードに応じて、再生部２０３が記録媒体２０７から読み出す画像データの読み出し方法や出力方法を制御し、検出結果に応じて信号処理部２０２における信号処理方法を制御する。

なお、再生部２０３は、画像データを記録媒体２０７から読み出す代わりに再生装置２００の外部から入力（他の機器から伝送）するようにしてもよい。

図３に示すように、以上に説明した撮像装置１００および再生装置２００により再生システム３００が構成されている。

＜撮像装置の動作＞
図４は、撮像装置１００の記録時の、フラッシュ検出動作を示すフローチャートである。図４に示すように、撮像部１０１により取得された画像データがフラッシュ判定部１０４に入力されると（画像入力ステップＳ１）、入力された画像データに対してフラッシュの影響を受けているか否かの判定がフラッシュ判定部１０４により行われる（フラッシュ判定ステップＳ２）。フラッシュの影響を受けているか否か（フラッシュが発光している瞬間に撮影された画像であるか否か）は、例えば、隣接するフレーム間の同画素位置の輝度の比較を行えば良い。フラッシュが発光することで、その瞬間に取得されたフレームのみ（もしくは連続する数フレームのみ）、画像内の一部の領域で輝度が急激に上がる。したがって、数フレームの同画素位置の輝度の変化を比較することで、対象となる画像データがフラッシュの影響を受けているか否かを判定することができる。

フラッシュ判定部１０４の判定結果に基づいて、フラッシュの影響を受けている画像データに対して、フラッシュの影響を受けていることを示す情報（フレーム情報）がフレーム情報付加部１０２により付加される（フレーム情報付加ステップＳ３）。フレーム情報が画像データに付加されるということは、フレーム情報が画像データに関連付けされている、と考えることもできる。より詳細には、例えば前述のように、画像データのうち有効表示領域外へフラグ等の信号をフレーム情報として埋め込むことが考えられる。

フラッシュの影響を受けている画像データは上記のようにフレーム情報が埋め込まれ、また、フレーム情報が検出されなかった画像データはそのままの状態で、記録部１０３により記録媒体１０７へ順次記録される（画像出力ステップＳ４）。

＜再生装置の動作＞
図５は、再生装置２００の再生時の動作を示すフローチャートである。撮像装置１００によって記録された画像データ群が記録媒体２０７に記録されているものとする。図５に示すように、ユーザは、再生操作部２０６を操作して再生モードを指定して再生を開始、もしくは再生中に再生モードの設定を行う。再生が開始されると、再生部２０３により記録媒体２０７に記録されている画像データが順次読み出される（画像入力ステップＳ１１）。ユーザの指定した再生モードが通常再生である場合（再生モード判断ステップＳ１２にて「通常再生」）、再生部２０３から出力される画像データは、信号処理部２０２で通常の信号処理がなされた後に、出力部２０８から出力される（画像出力ステップＳ１５）。これにより、画像データ群は通常再生される。

一方、画像データ群（動画像）に対して一時停止やスロー再生等の特殊再生を行う場合（再生モード判断ステップＳ１２にて「特殊再生」）、記録媒体２０７から読み出された画像データは再生部２０３により複数回繰り返して出力される。例えば、通常速度の１／２の速度でスロー再生する場合、１フレームの画像データが再生部２０３により２回繰り返して出力される。これは、撮影時の撮像時のフレーム時間幅よりも時間幅を広げて再生していると言うこともできる。

特殊再生を行う場合、フレーム情報検出部２０４により、フラッシュの影響を受けていることを示すフレーム情報の検出が行われる（フレーム情報検出ステップＳ１３）。具体的には、フレーム情報検出部２０４により、フレームごとに、画像データに付加されているフレーム情報の検出が行われる。例えば、画像データ内の所定の領域に含まれているフレーム情報の有無を、フレーム情報検出部２０４は検出する。フレーム情報が所定の領域に含まれている場合は、フレーム情報検出部２０４によりフラッシュの影響を受けている画像データであると判定される。一方、フレーム情報が所定の領域に含まれていない場合は、フレーム情報検出部２０４によりフラッシュの影響を受けていない画像データであると判定される。なお、フレーム情報検出部２０４は、撮像素子１１０により生成される画像領域に重畳されたフレーム情報を検出してもよい。具体的には、電子透かしなどにより画像の有効表示領域にフレーム情報として信号が埋め込まれており、その埋め込まれた信号をフレーム情報検出部２０４が検出する構成であってもよい。

フレーム情報検出部２０４により画像データからフレーム情報が検出されていない場合（フレーム情報検出ステップＳ１３において「Ｎ」）、画像データに対して信号処理部２０２で通常の信号処理がなされ、信号処理がなされた画像データが出力部２０８から出力される（画像出力ステップＳ１５）。これにより、フラッシュの影響を受けていない画像データは、通常の信号処理がなされた後に特殊再生に用いられる。

一方、フレーム情報検出部２０４により画像データからフレーム情報が検出された場合（フレーム情報検出ステップＳ１３において「Ｙ」）、再生部２０３から出力される特殊再生のための画像データは、信号処理部２０２で通常の信号処理に加えて、その画像データに対して、フラッシュの影響が特殊再生時に目立つのを抑制する補正処理が行われる（補正処理ステップＳ１４）。補正処理としては、例えば、フレーム情報が付加されたフレームの画像データを、フレーム情報が付加されていない直前のフレームの画像データに置き換える処理や、フレーム情報が付加された画像データに対してフラッシュの悪影響を除去または低減させるような輝度補正処理などが考えられる。補正処理が行われた画像データは、出力部２０８から出力される（画像出力ステップＳ１５）。この再生装置２００で動画像を再生することで、通常再生時にはフラッシュの悪影響を受けたフレームも含めて、画像データをそのまま再生する一方で、一時停止やスロー再生といった特殊再生時には、フラッシュの悪影響を受けたフレームに対して補正処理を行った上で再生することができる。これにより、フラッシュの影響を受けている画像データが特殊再生時に目立つのを抑制することができる。

＜撮像装置の特徴＞
以上に説明した撮像装置１００の特徴を以下にまとめる。

（１）撮像装置１００では、画像データ群に含まれる画像データがフラッシュの影響を受けているか否かがフラッシュ判定部１０４により判定される。さらに、フラッシュの影響を受けている画像データを特定するためのフレーム情報が、フレーム情報付加部１０２により画像データに付加される。したがって、画像データに付加されたフレーム情報に基づいて、どの画像データがフラッシュの影響を受けているかを特定することができる。

以上のように、この撮像装置１００では、フラッシュの影響を受けている画像データを特定できるような画像データ群を生成できる。

また、オリジナルの画像データを記録しているので、重要な画像が欠けることなく、撮像した動画像の編集段階において、すべての画像データを用いて処理をすることができる。

（２）また、撮像装置１００では、フラッシュの影響を受けた画像データであっても、加工および補正を行わずオリジナルの画像データをそのまま記録している。したがって、フレームの欠けや、コピー等でのフレームの重複がなく、時間的に自然な流れを持つ連続した画像として、同じ画像をさまざまな再生方法で用いることができる。これにより、再生に用いる連続した画像を通常の動画像として扱う場合は（つまり、通常再生の場合は）、前述の通り違和感がほとんどなくなり、画像に補正処理等を行うことなく画像データ群をそのまま用いることができる。

（３）フラッシュ判定部１０４は、例えば、前述の第１および第２画像データの同じ領域の輝度を比較することで、第２画像データがフラッシュの影響を受けているか否かを判定する。これにより、画像データがフラッシュの影響を受けているか否かを正確に判定することができる。

（４）フレーム情報付加部１０２が画像データ内の所定の領域にフレーム情報を付加する。具体的には、フレーム情報付加部１０２は、画像データのうち表示に用いられる有効表示領域と異なる非表示領域にフレーム情報を付加する。したがって、フレーム情報を画像データの一部に含めることができ、画像データの所定の領域を確認することで、その画像データがフラッシュの影響を受けているか否かを容易に判定することができる。

＜再生装置の特徴＞
以上に説明した再生装置２００の特徴を以下にまとめる。

（１）この再生装置２００では、画像データがフラッシュの影響を受けていることを示すフレーム情報がフレーム情報検出部２０４により画像データから検出される。フレーム情報が付加された画像データに対して信号処理部２０２により所定の処理が行われる。したがって、フラッシュの影響を受けている画像データを画像データ群から特定することができ、画像データ群を再生する際にフラッシュの影響を受けている画像データが目立つのを抑制することができる。

（２）画像データがフラッシュの影響を受けていることをフレーム情報検出部２０４の検出結果が示しているときには、信号処理部２０２は画像データに対してフラッシュの影響を低減する補正処理を実行可能である。したがって、再生時にフラッシュの影響が目立つのを抑制できる。

（３）画像データ群を、一時停止、コマ送りおよびスロー再生などの特殊再生で動画像として扱う場合は、例えば表示画像の上の領域または下の領域がフラッシュで白飛びして表示する際に目立つ場合がある。特に、１枚の画像の表示時間が比較的長い場合は、その傾向が強くなる。

しかし、再生装置２００では、操作情報が特殊再生を示し、かつ、画像データがフラッシュの影響を受けていることをフラッシュ検出部の検出結果が示しているときには、信号処理部２０２により、画像データに対してフラッシュの影響を低減する補正処理が行われる。この補正処理としては、例えば悪影響を受けたフレームを、悪影響を受けていない直前のフレームに置き換えて出力する方法等が挙げられる。また、画像データ内の使用可能な部分をトリミングして静止画像として用いたり、あるいは、白飛びした領域に対して再生時に何らかの画像処理を施したりすることも、補正処理として考えられる。

したがって、フラッシュの影響が目立ちやすい特殊再生時に、フラッシュの影響が目立つのを抑制することができる。

同様に、画像データ群を早送り再生する場合には、再生速度に応じてフレームを間引きして表示していくが、間引きのタイミングを調節しフラッシュの影響を受けているフレームを除くようにすることで、フラッシュの影響が早送り再生時に目立たなくなる。このとき、再生速度や間引きのタイミング等によって、フラッシュの影響を低減する補正処理を画像データに行ってもよいし、補正処理をせずにそのまま再生してもよい。

ここで、特殊再生は、入力される画像データ群を、撮像時のフレーム時間幅よりも時間幅を広げて再生する第１再生方法、および、撮像時のフレーム時間幅が通常時間幅よりも広い画像データ群を、時間幅を変えずに再生する第２再生方法、のうち少なくともいずれか一方である。第１再生方法としては、例えば、一時停止、コマ送りおよびスロー再生が挙げられる。第２再生方法としては、例えば、スロー撮影した動画像を同じ速度で再生する方法が挙げられる。

（４）このように、撮像装置１００および再生装置２００により構成される再生システムでは、フラッシュの影響を受けている画像データを特定することができ、再生時にフラッシュの影響が目立つのを抑制することができる。

＜他の実施形態＞
本発明の実施形態は、前述の実施形態に限られず、本発明の趣旨を逸脱しない範囲で種々の修正および変更が可能である。また、前述の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。

（１）前述の実施形態では、ＣＭＯＳを例に撮像素子について説明しているが、電荷蓄積時刻を各画素で同じにすることが難しい撮像素子、すなわち、画像内の領域によって電荷蓄積時刻が異なる撮像素子であれば、撮像素子はＣＭＯＳに限定されない。

（２）前述の実施形態では、動画撮影機能を有するビデオカメラを例に撮像装置について説明しているが、撮像装置は、動画撮影が可能な装置に限られず、例えば、静止画の連写機能等、連続画像を取得する機能を有する装置であればよい。

（３）前述の実施形態では、フラッシュ判定部１０４を例にフラッシュ判定部を説明しているが、フラッシュ判定部の構成は前述のフラッシュ判定部１０４に限定されない。例えば、フラッシュ判定部１０４は撮像部１０１が出力する画像データに対して検出処理を行っているが、フラッシュ判定部１０４はフレーム情報付加部１０２が出力する画像データに対して判定処理を行ってもよい。

（４）前述の実施形態では、撮像時にフレーム情報が画像データとともに記録され、再生時にフレーム情報に基づいてフラッシュに影響を受けている画像データの判定を行っているが、既に記録された画像に対して、後処理でフラッシュ判定およびフレーム情報の付加を行っても良い。つまり、フラッシュ判定部、フレーム情報付加部および付加制御部があれば、例えば、画像生成装置から撮像部が省略されてもよい。

（５）前述の実施形態では、フラッシュ判定ステップにおいて、隣接するフレーム間の同位置の輝度の比較を行う例を示したが、隣接でなくとも数フレームごとでも良い。また、比較する領域は、同画素位置でなくとも、ある同エリアの平均値、例えば、同ライン平均値での比較を行うことでフラッシュの影響を受けているか否かを判定しても良い。

（６）前述の実施形態では、撮像部１０１が１つの撮像素子１１０を有しているが、撮像素子の数は前述の実施形態に限定されない。例えば、撮像装置が３板式を採用していてもよい。この場合、複数の撮像素子から出力される画像データ各々に対してフラッシュ判定部によるフラッシュ判定を行っても良いし、代表となる撮像素子から得られた画像、例えば、Ｇチャンネルの画像に対してフラッシュ検出を行っても良い。

（７）前述の実施形態では、画像に影響を与えるフラッシュとしては、撮像装置以外の装置に設けられた外部フラッシュ（撮像装置の動作とは無関係に発光するフラッシュ）および撮像装置に設けられた内部フラッシュ（撮像装置の制御により発光するフラッシュ）のうち少なくとも一方が考えられる。例えば、内部のものである場合は、カメラと連動した機能があればフラッシュが発光するときの信号と同期を取ることで画像へフレーム情報を付加することもできる。

（８）なお、フレーム情報をシーン検索に用いてもよい。一般的に、フラッシュが発光されるシーンは注目度が高いシーンであり、絶好のシャッターチャンスであることが多い。したがって、注目度の高いシーンを検索するために、シーン情報を利用すると検索効率の向上が期待できる。例えば、撮像装置１００によって記録される画像データ群（動画像）に対して、フラッシュが発光されているシーンの検索をしたい場合は、ユーザは再生操作部２０６を操作して、フラッシュが発光されているフレームを探し出すよう、検索条件を設定してもよい。ここでの検索条件は、フラッシュが発光されたこと（つまり、フラッシュの影響を受けていること）を示すフレーム情報が埋め込まれた画像データを抽出するというものである。

画像データに付加されたフレーム情報をフレーム情報検出部２０４が検出すると、検出結果を制御部２０５に出力する。制御部２０５は、検出結果からフラッシュが発光されたことを示すフレーム情報を抽出し、抽出対象の画像データに対応するフレーム以降（または抽出対象の画像データに対応するフレームを基準に所定フレーム前から）、出力部２０８に出力させることで再生を行わせ、また、その画像データに対してフラッシュの悪影響を除去または軽減するような補正処理を行わせる。

この再生装置２００では、動画像を再生することで、埋め込まれたフレーム情報を元に、注目度の高いシーンを高速に検索することができる。これにより、スクープ映像のすばやい検索が可能となる。

本発明は、画像生成装置、再生装置、再生システム、画像生成方法および再生方法の分野で有用である。

１００ 撮像装置（撮像装置の一例）
１０１ 撮像部（撮像部の一例）
１０２ フレーム情報付加部（フレーム情報付加部の一例）
１０３ 記録部（記録部の一例）
１０４ フラッシュ判定部（フラッシュ判定部の一例）
１０５ 制御部
１０６ 撮像操作部
１０７ 記録媒体
１１０ 撮像素子
１１１ 光学系
２００ 再生装置（再生装置の一例）
２０２ 信号処理部（信号処理部の一例）
２０３ 再生部
２０４ フレーム情報検出部（フレーム情報検出部の一例）
２０５ 制御部
２０６ 再生操作部（操作部の一例）
２０７ 記録媒体
２０８ 出力部
３００ 再生システム（再生システムの一例）

Claims (19)

1. 画像データ群に含まれる画像データがフラッシュの影響を受けているか否かを判定するフラッシュ判定部と、
   前記フラッシュの影響を受けている画像データを特定するためのフレーム情報を、前記画像データに付加するフレーム情報付加部と、
   前記フラッシュ判定部の判定結果に基づいて、前記フラッシュの影響を受けている前記画像データに対して、前記フレーム情報を付加するように前記フレーム情報付加部を制御する付加制御部と、
   を備えた画像生成装置。
2. 前記画像データ群は、隣接する２つのフレームに対応する第１画像データおよび第２画像データを含んでおり、
   前記フラッシュ判定部は、前記第１および第２画像データの同じ領域の輝度を比較することで、前記第２画像データが前記フラッシュの影響を受けているか否かを判定する、
   請求項１に記載の画像生成装置。
3. 前記フレーム情報付加部により前記フレーム情報を付加された前記画像データ群を記録する記録部をさらに備えた、
   請求項１または２に記載の画像生成装置。
4. 前記付加制御部は、前記画像データ内の所定の領域に前記フレーム情報を付加するように前記フレーム情報付加部を制御する、
   請求項１から３のいずれかに記載の画像生成装置。
5. 前記付加制御部は、前記画像データのうち表示画像として用いられる有効表示領域と異なる非表示領域に前記フレーム情報を付加するように前記フレーム情報付加部を制御する、
   請求項１から４のいずれかに記載の画像生成装置。
6. 前記付加制御部は、前記画像データのうち表示画像として用いられる有効表示領域に前記フレーム情報を重畳させるように前記フレーム情報付加部を制御する、
   請求項１から５のいずれかに記載の画像生成装置。
7. 前記画像データ内の領域によって電荷蓄積時刻が異なる撮像素子を有し、前記画像データ群を出力する撮像部をさらに備えた、
   請求項１から６のいずれかに記載の画像生成装置。
8. 前記撮像素子は、水平ライン毎に電荷蓄積時刻が異なる、
   請求項７に記載の画像生成装置。
9. 画像データ群に含まれる画像データがフラッシュの影響を受けていることを示すフレーム情報を前記画像データから検出するフレーム情報検出部と、
   前記フレーム情報が付加された画像データに対して所定の処理を行う信号処理部と、
   を備えた再生装置。
10. 前記信号処理部は、前記画像データが前記フラッシュの影響を受けていることを前記フレーム情報検出部の検出結果が示しているときには、前記画像データに対して前記フラッシュの影響が再生時に目立つのを抑制する補正処理を実行可能である、
    請求項９に記載の再生装置。
11. ユーザからの再生モードの設定を受け付けて操作情報として出力する操作部をさらに備え、
    前記信号処理部は、前記操作情報が特殊再生を示し、かつ、前記画像データが前記フラッシュの影響を受けていることを前記フレーム情報検出部の検出結果が示しているときには、前記画像データに対して前記フラッシュの影響が再生時に目立つのを抑制する補正処理を行う、
    請求項１０に記載の再生装置。
12. 前記特殊再生は、複数の前記画像データを含む画像データ群を、撮像時のフレーム時間幅よりも時間幅を広げて再生する第１再生方法、および、撮像時のフレーム時間幅が通常時間幅よりも広い前記画像データ群を、時間幅を変えずに再生する第２再生方法、のうち少なくともいずれか一方である、
    請求項１１に記載の再生装置。
13. ユーザからの再生モードの設定を受け付けて操作情報として出力する操作部をさらに備え、
    前記信号処理部は、前記操作情報が早送り再生を示し、かつ、前記画像データが前記フラッシュの影響を受けていることを前記フレーム情報検出部の検出結果が示しているときには、前記フラッシュの影響を受けている前記画像データを除く再生処理、または前記画像データに対して前記フラッシュの影響が再生時に目立つのを抑制する補正処理を行う、
    請求項１０に記載の再生装置。
14. 前記フレーム情報検出部は、前記画像データ内の所定の領域に付加された前記フレーム情報を検出する、
    請求項９から１３のいずれかに記載の再生装置。
15. 前記フレーム情報検出部は、前記画像データのうち表示画像として用いられる有効表示領域と異なる非表示領域に付加された前記フレーム情報を検出する、
    請求項９から１４のいずれかに記載の再生装置。
16. 前記フレーム情報付加部は、前記画像データのうち表示に用いられる有効表示領域に重畳された前記フレーム情報を検出する、
    請求項９から１４のいずれかに記載の再生装置。
17. 画像データがフラッシュの影響を受けているか否かを判定するフラッシュ判定部と、前記フラッシュの影響を受けている画像データを特定するためのフレーム情報を前記画像データ群に付加するフレーム情報付加部と、前記フラッシュ判定部の判定結果に基づいて、前記フラッシュの影響を受けている前記画像データに対して前記フレーム情報を付加するように前記フレーム情報付加部を制御する付加制御部と、を有する画像生成装置と、
    請求項９から１６のいずれかに記載の再生装置と、
    を備えた再生システム。
18. 画像データ群に含まれる画像データがフラッシュの影響を受けているか否かをフラッシュ判定部により判定するフラッシュ判定ステップと、
    前記フラッシュ判定ステップでの判定結果に基づいて、前記フラッシュの影響を受けている画像データを特定するためのフレーム情報をフレーム情報付加部により前記画像データに付加するフレーム情報付加ステップと、
    を備えた画像生成方法。
19. 画像データがフラッシュの影響を受けていることを示すフレーム情報をフレーム情報検出部により検出するフレーム情報検出ステップと、
    前記フレーム情報が付加された画像データに対して信号処理部により所定の処理を行う信号処理ステップと、
    を備えた再生方法。

Images