JP2019146128A - 撮像装置、その方法およびプログラム - Google Patents

Abstract

【課題】出力フレームレートより低い撮像フレームレートにおいて、簡易な処理および構成で、ローリングシャッタ方式による撮像画像のフラッシュバンドを抑制する。【解決手段】撮像装置１は、ローリングシャッタ方式により撮像フレームレート毎の撮像画像をライン毎に順次読出して映像信号を出力する撮像素子１１と、撮像素子１１の出力画像を保持する保持手段１２と、撮像素子１１の出力画像と保持手段１２の保持画像とに基づく出力画像を、撮像フレームレートより低い出力フレームレート毎に出力する出力手段１８と、フラッシュバンドを検出する検出手段１７と、を有する。フラッシュバンドが検出された場合、出力手段１８は、撮像素子１１の出力画像と保持手段１２の保持画像とを、フラッシュバンドの検出タイミングと出力画像の出力開始タイミングとの前後関係に応じて異なるように組み合わせた出力画像を出力する。【選択図】図３

Description

本発明は、撮像装置に関する。

撮像装置には、撮像画像をライン毎に順次読出して映像信号を出力する、ローリングシャッタ方式の撮像素子を使用するものがある（特許文献１）。そして、撮像装置には、撮像中に、外から閃光が入ることがある。この場合、撮像素子では、画像の全体において閃光の影響が生じることになる。しかしながら、ローリングシャッタ方式により撮像画像をライン毎に順次読出す場合、実際に撮像素子から出力される撮像画像では、画像の全体ではなく、画像の一部において部分的に、閃光によるフラッシュバンドが撮像されることがある。たとえば、閃光が生じる前に読み出した画像の部分と、閃光後に読み出した画像の部分とによる撮像画像では、閃光後に読み出した画像の部分が、閃光前に読み出した画像の部分より全体的に明るくなり、閃光によるフラッシュバンドが撮像されることになる。このように、ローリングシャッタ方式により撮像画像をライン毎に順次読出す撮像素子を使用する場合、閃光の影響が画像の一部において部分的に生じている違和感のある撮像画像が生成されてしまうことがある。

そこで、特許文献１では、閃光によるフラッシュバンドが発生した場合、フラッシュバンドを含む撮像画像を、フラッシュバンドを含まない撮像画像に置き換える。たとえば、フラッシュバンドを含む前の撮像画像の替わりに、その直前の撮像画像を再度出力する。また、フラッシュバンドを含む後の撮像画像の替わりに、これら前後２つの撮像画像についてのフラッシュバンドの部分を組み合わせて、閃光の影響が全体的に生じている出力画像を出力する。

特開２０１４−１１０５３６号公報

しかしながら、特許文献１は、出力画像を、撮像フレームレートと同じ出力フレームレートで出力するものである。これに対し、撮像装置では、撮像フレームレートより低い出力フレームレートで画像を出力することがある。この場合において、特許文献１のようにフラッシュバンドを含む撮像画像を、フラッシュバンドを含まない撮像画像に置き換えようとする場合、フラッシュバンドを含む撮像画像の直前の撮像画像に加えて、さらにその前の撮像画像をも保持しなければならない。また、実際にフラッシュバンドが検出された場合、出力フレームレートに応じて、保持している複数の撮像画像から、出力画像に利用する画像を選択しなければならない。このように、出力フレームレートが撮像フレームレートより低くなるように異なる場合、フラッシュバンドを含まない出力画像を出力するために撮像装置の記憶容量が増加し、構成も複雑化してしまうことになる。

撮像装置では、出力フレームレートが撮像フレームレートより低くなるように異なる場合でも、簡易な処理および構成で、ローリングシャッタ方式による撮像画像のフラッシュバンドを抑制することが求められている。

本発明の撮像装置は、ローリングシャッタ方式により撮像フレームレート毎の撮像画像をライン毎に順次読出して映像信号を出力する撮像素子と、前記撮像素子が出力した前記撮像画像を保持する保持手段と、前記撮像素子が出力する前記撮像画像と前記保持手段に保持されている前記撮像画像とに基づく出力画像を、前記撮像フレームレートより低い出力フレームレート毎に出力する出力手段と、前記撮像素子が出力する前記撮像画像において閃光により生じるフラッシュバンドを検出する検出手段と、を有し、前記出力手段は、前記検出手段がフラッシュバンドを検出した場合、前記撮像素子が出力する前記撮像画像と前記保持手段に保持されている前記撮像画像とを、前記検出手段がフラッシュバンドを検出するタイミングと出力画像を出力し始める出力開始タイミングとの前後関係に応じて異なるように組み合わせた出力画像を出力する。

本発明では、出力フレームレートが撮像フレームレートより低くなるように異なる場合でも、簡易な処理および構成で、ローリングシャッタ方式による撮像画像のフラッシュバンドを抑制した画像を出力できる。

本発明の第１実施形態に係る撮像装置の要部の模式的な説明図である。 図１の撮像装置において、撮像フレームレートと同じ出力フレームレートでメイン置換画像を生成する動作を説明する模式的なタイミングチャートである。 図１の撮像装置において、撮像フレームレートの半分の出力フレームレートでサブ置換画像を生成する動作を説明する模式的なタイミングチャートである（フラッシュバンド検出信号が後の場合）。 図１の撮像装置において、撮像フレームレートの半分の出力フレームレートでサブ置換画像を生成する動作を説明する模式的なタイミングチャートである（フラッシュバンド検出信号が前の場合）。 図１の位相検出部の動作の一例を説明するためのフローチャートである。 第２実施形態に係る撮像装置の位相検出部の動作の一例を説明するためのフローチャートである。 図６の位相検出部を用いて、撮像フレームレートの四分の一の出力フレームレートでサブ置換画像を生成する例での動作を説明する模式的なタイミングチャートである。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は実施形態に記載されている構成によって限定されることはない。

［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置１の要部の模式的な説明図である。図１の撮像装置１は、撮像素子１１、フレームメモリ１２、メインＦＢ置換部１３、メイン信号処理部１４、メイン映像出力部１５、タイミング生成部１６、フラッシュバンド検出部１７、を有する。また、撮像装置１は、サブＦＢ置換部１８、サブ信号処理部１９、サブ映像出力部２０、を有する。撮像装置１は、２つの出力系統を有する。撮像装置１は、撮像素子１１により撮像した撮像画像に基づいて、撮像フレームレートと同じメイン出力フレームレートでメイン出力画像を出力するとともに、撮像フレームレートの半分のサブ出力フレームレートでサブ出力画像を出力する。撮像装置１は、たとえば撮像画像が６０フレーム毎秒で撮像される場合、６０フレーム毎秒でメイン出力画像を出力し、３０フレーム毎秒でメイン出力画像を出力する。

撮像素子１１は、ローリングシャッタ方式を採用したＣＭＯＳ撮像素子である。撮像素子１１では、撮像面に複数の光電変換素子がマトリクス状に配列される。撮像素子１１には、被写体の像光が図示しないレンズ系を介して撮像面に入射する。撮像素子１１は、撮像面に配列された光電変換素子により画素毎に露光する。そして、撮像素子１１は、撮像面に配列された複数の光電変換素子の出力電圧を、ローリングシャッタ方式によりライン毎に順次読出し、デジタルコードに変換し、撮像フレームレート毎に撮像画像の映像信号を出力する。

フレームメモリ１２は、撮像素子１１が出力した撮像画像を保持するメモリである。フレームメモリ１２は、保持手段として機能する。フレームメモリ１２は、複数の撮像画像に相当する複数フレームを蓄積して保持するものでもよい。撮像素子１１から新たな撮像画像の映像信号が出力されると、フレームメモリ１２に保持される撮像画像が更新される。これにより、フレームメモリ１２に保持される撮像画像は、撮像フレームレート毎に更新される。

メインＦＢ置換部１３、メイン信号処理部１４、およびメイン映像出力部１５は、撮像フレームレートと同じメイン出力フレームレートでメイン出力画像を出力するための出力手段として機能する。メインＦＢ置換部１３は、撮像素子１１が出力する撮像画像に閃光によるフラッシュバンド（ＦＢ）が含まれる場合、それを、フラッシュバンドを抑制した置換画像に置き換える。メインＦＢ置換部１３は、撮像素子１１から出力される撮像画像と、フレームメモリ１２に保持されている保持画像とを用いて、フラッシュバンドを抑制したメイン置換画像を生成して出力する。メイン信号処理部１４は、メイン置換画像を処理し、所定のフォーマットのメイン出力画像を生成する。メイン映像出力部１５は、メイン出力画像に基づくメイン映像信号を、撮像フレームレートと同じメイン出力フレームレートで出力する。

サブＦＢ置換部１８、サブ信号処理部１９、およびサブ映像出力部２０は、撮像フレームレートの半分のサブ出力フレームレートでサブ出力画像を出力するための出力手段として機能する。サブＦＢ置換部１８は、撮像画像に閃光によるフラッシュバンド（ＦＢ）が含まれる場合、それを、フラッシュバンドを抑制した置換画像に置き換える。サブＦＢ置換部１８は、撮像素子１１から出力される撮像画像と、フレームメモリ１２に保持されている保持画像とを用いて、フラッシュバンドを抑制したサブ置換画像を生成して出力する。サブ信号処理部１９は、サブ置換画像を処理し、所定のフォーマットのサブ出力画像を生成する。サブ映像出力部２０は、サブ出力画像に基づくサブ映像信号を、撮像フレームレートの半分のサブ出力フレームレートで出力する。

タイミング生成部（ＴＧ）１６は、撮像装置１の各部に対して、所定のフレームレートに同期させるためのタイミング信号を出力する。タイミング生成部１６は、撮像フレームレート毎に、撮像素子１１へ撮像開始信号ＶＤＷを出力する。撮像素子１１は、撮像開始信号ＶＤＷの入力により、撮像フレームレート毎の撮像画像の生成処理を開始する。タイミング生成部１６は、メイン出力フレームレート毎に、メインＦＢ置換部１３へメイン出力開始信号ＶＤＲＭを出力する。メイン出力開始信号ＶＤＲＭは、たとえばメイン垂直同期信号である。メインＦＢ置換部１３は、メイン出力開始信号ＶＤＲＭの入力により、メイン出力フレームレート毎のメイン置換画像の生成処理を開始する。メイン出力開始信号ＶＤＲＭは、メイン信号処理部１４およびメイン映像出力部１５へ出力されてもよい。タイミング生成部１６は、サブ出力フレームレート毎に、サブＦＢ置換部１８へサブ出力開始信号ＶＤＲＳを出力する。サブ出力開始信号ＶＤＲＳは、たとえばサブ垂直同期信号である。サブ出力開始信号ＶＤＲＳは、サブ信号処理部１９およびサブ映像出力部２０へ出力されてもよい。サブＦＢ置換部１８は、サブ出力開始信号ＶＤＲＳの入力により、サブ出力フレームレート毎のサブ置換画像の生成処理を開始する。サブ出力開始信号ＶＤＲＳは、サブ信号処理部１９およびサブ映像出力部２０へ出力されてもよい。

フラッシュバンド検出部１７は、撮像素子１１が出力する撮像画像の映像信号において、閃光により生じるフラッシュバンドを検出する。フラッシュバンド検出部１７は、検出手段として機能する。撮像素子１１の撮像面に配列される複数の光電変換素子には、撮像中に、閃光による強い光が入射することがある。この場合、光電変換素子の出力電圧は大きく変動し、これに基づく撮像画像は全体的に白色化する。そして、撮像素子１１がローリングシャッタ方式によりライン毎に順次読出す場合、閃光が入射してから読み出される略１枚分の画像の映像信号は、白色化した画像の映像信号となる。たとえば撮像フレームレートによる撮像期間の途中で外からの閃光が非同期に入射すると、撮像フレームレート毎の撮像画像は、部分的に白色化した画像となる。この白色化した画像の一部が、閃光によるフラッシュバンドとなる。フラッシュバンド検出部１７は、撮像画像の１枚分に相当する映像信号において閃光による画像変化が継続することを検出し、フラッシュバンド検出信号Ｆｌａｓｈを出力する。フラッシュバンド検出部１７は、たとえば直前に撮像した画像と今回撮像している画像とをライン毎に差分をとることにより、撮像画像の１枚分に相当する期間においてフラッシュバンド検出信号Ｆｌａｓｈを出力することができる。フラッシュバンド検出部１７は、フラッシュバンド検出信号Ｆｌａｓｈを、メインＦＢ置換部１３、サブＦＢ置換部１８、および位相検出部２１へ出力する。

図２は、図１の撮像装置１において、撮像フレームレートと同じ出力フレームレートでメイン置換画像を生成する動作を説明する模式的なタイミングチャートである。図２（Ａ）は、撮像素子１１へ出力される撮像開始信号ＶＤＷである。撮像開始信号ＶＤＷは、撮像フレームレート毎に、フレームの開始タイミングを示す垂直同期パルスを有する。図２（Ｂ）は、撮像素子１１から出力される撮像画像である。撮像画像は、撮像フレームレート毎に出力される。図２（Ｃ）は、フレームメモリ１２に保持されている撮像画像である。フレームメモリ１２には、撮像素子１１が１撮像フレーム前に出力した撮像画像が保持される。フレームメモリ１２の保持画像は、撮像フレームレート毎に更新される。図２（Ｄ）は、メインＦＢ置換部１３から出力されるメイン置換画像である。メイン置換画像は、撮像フレームレートと同じメイン出力フレームレート毎に出力される。図２（Ｂ）から（Ｄ）において、画像についてのハッチングを付した部分において閃光による白色化が生じている。

そして、図２（Ｃ）の２フレーム目の撮像画像において、図２（Ａ）に示すようにフラッシュがあると、それに基づいてフラッシュバンド検出信号Ｆｌａｓｈが出力される。メインＦＢ置換部１３は、フラッシュバンド検出信号Ｆｌａｓｈの入力に基づいて、メイン置換画像を生成する。メイン置換画像は、図２（Ｃ）の２フレーム目の撮像画像においてフラッシュバンドが生じていない前半部分と、図２（Ｄ）の２フレーム目の保持画像の後半部分とを組み合わせたものである。このメイン置換画像は、閃光の影響が生じていない画像となる。閃光の影響が生じることに起因して画像の一部に部分的に生じるフラッシュバンドが抑制されている。以下、これを第１置換画像３１という。メインＦＢ置換部１３は、生成したメイン置換画像を３フレーム目に出力する。

引き続き、メインＦＢ置換部１３は、次のメイン置換画像を生成する。次のメイン置換画像は、図２（Ｃ）の３フレーム目の撮像画像においてフラッシュバンドが生じている前半部分と、フレームメモリ１２に保持されている図２（Ｄ）の３フレーム目の保持画像の後半部分とを組み合わせたものである。このメイン置換画像は、閃光の影響が画像に全体的に生じている全フラッシュ画像となる。フラッシュバンドが抑制されている。以下、これを第２置換画像３２という。メインＦＢ置換部１３は、生成したメイン置換画像を４フレーム目に出力する。

このように、メインＦＢ置換部１３は、フラッシュバンドの検出に基づいて、一定の手順での処理によりメイン置換画像を生成することが可能である。しかしながら、サブ出力フレームレートのように、撮像フレームレートより低いフレームレートで画像を出力する場合、上述したメイン出力フレームレートで画像を出力する場合と同様の一定の手順で処理することは難しい。すなわち、本実施形態のようにサブ出力フレームレートが撮像フレームレートの半分である場合、サブＦＢ置換部１８は、フラッシュバンドを検出した際に第１置換画像３１と第２置換画像３２のいずれを生成すればよいのか判断することができない。または、サブ出力フレームレートが撮像フレームレートのたとえば三分の一以下である場合、サブＦＢ置換部１８は、フラッシュバンドの影響を受けていない撮像画像を出力することも可能であり、この場合には処理内容の判断がさらに難しくなる。

そこで本実施形態では、図１に示すように、サブＦＢ置換部１８、サブ信号処理部１９、サブ映像出力部２０とともに、位相検出部２１、記憶部２２を有する。図１の記憶部２２は、位相検出部２１が利用する各種のデータを記憶する。記憶部２２は、たとえば撮像フレームレートの１フレームに相当する撮像周期ＴＶＤＷを記憶する。位相検出部２１には、フラッシュバンド検出信号Ｆｌａｓｈと、サブ出力開始信号ＶＤＲＳと、が入力される。位相検出部２１は、これらの信号の位相関係を示す位相を検出する。

位相検出部２１は、検出した位相に対応する置換要否信号を、サブＦＢ置換部１８へ出力する。たとえばフラッシュバンド検出信号Ｆｌａｓｈが入力されない場合、位相検出部２１は、撮像画像に対する置換が不要であることを示す置換要否信号を出力する。フラッシュバンド検出信号Ｆｌａｓｈが入力される場合、位相検出部２１は、サブ出力開始信号ＶＤＲＳとの位相関係に基づいて、撮像画像に対する置換が必要であることを示す置換要否信号を出力する。すなわち、位相検出部２１は、フラッシュバンド検出信号Ｆｌａｓｈの入力タイミングとサブ出力開始信号ＶＤＲＳの入力タイミングとの前後関係に基づいて、撮像画像に対する置換が必要であることを示す置換要否信号を出力する。位相検出部２１は、たとえばサブ出力開始信号ＶＤＲＳの垂直同期信号に対して、フラッシュバンド検出信号Ｆｌａｓｈの位相がどこにあるのかに応じた置換要否信号を出力する。この場合の置換要否信号には、第１置換画像３１への置換を指示する置換要否信号と、第２置換画像３２への置換を指示する置換要否信号とがある。

図３および図４は、図１の撮像装置１において、撮像フレームレートの半分の出力フレームレートでサブ置換画像を生成する動作を説明する模式的なタイミングチャートである。そして、図３は、フラッシュバンド検出信号Ｆｌａｓｈがサブ出力開始信号ＶＤＲＳより後に入力される場合、すなわち位相が遅れて入力される場合の模式的なタイミングチャートである。図４は、フラッシュバンド検出信号Ｆｌａｓｈがサブ出力開始信号ＶＤＲＳより前に入力される場合、すなわち位相が進んで入力される場合の模式的なタイミングチャートである。図３（Ａ）および図４（Ａ）は、撮像フレームレート毎に撮像素子１１から出力される撮像画像である。図３（Ｂ）および図４（Ｂ）は、撮像フレームレート毎にフレームメモリ１２に保持される撮像画像である。図３（Ｃ）および図４（Ｃ）は、撮像フレームレートの半分のサブ出力フレームレート毎に生成されるサブ置換画像である。図３（Ｄ）および図４（Ｄ）は、撮像フレームレート毎に垂直同期パルスを有する撮像開始信号ＶＤＷである。撮像周期ＴＶＤＷは、撮像フレームレートにより撮像素子１１が１つの撮像画像を出力する撮像期間に相当する時間である。図３（Ｅ）および図４（Ｅ）は、位相検出部２１がフラッシュバンドを検出した場合に出力するフラッシュバンド検出信号Ｆｌａｓｈである。フラッシュバンド検出信号Ｆｌａｓｈは、フラッシュバンドが検出され始める第２フレームから、フラッシュバンドが検出されなくなる第３フレームにかけて継続的に出力される。Ｔ（Ｆｌａｓｈ）は、フラッシュバンドが検出され始めるタイミングである。図３（Ｆ）および図４（Ｆ）は、サブ出力フレームレート毎に垂直同期パルスを有するサブ出力開始信号ＶＤＲＳである。Ｔ（ＶＤＲ）は、画像出力を開始するための出力開始タイミングとなる垂直同期パルスの入力タイミングである。サブＦＢ置換部１８は、垂直同期パルスの入力タイミングから、サブ置換画像を出力のために生成し始める。図３（Ｇ）および図４（Ｇ）は、位相検出部２１から出力される置換要否信号である。置換要否信号は、サブ出力フレームレートと同期して更新される。

そして、図３の３フレーム目に示すように、フラッシュバンド検出信号Ｆｌａｓｈがサブ出力開始信号ＶＤＲＳより撮像周期ＴＶＤＷの範囲内で後に遅れて入力される場合、位相検出部２１は、第１置換画像３１への置換を指示する置換要否信号を出力する。

サブＦＢ置換部１８は、この置換要否信号に基づいて、サブ置換画像を生成する。サブ置換画像は、図３（Ａ）の２フレーム目の撮像画像においてフラッシュバンドが生じていない前半部分と、フレームメモリ１２に保持されている図３（Ｂ）の２フレーム目の保持画像の後半部分とを組み合わせたものである。このサブ置換画像は、図３（Ｃ）の３フレーム目に示すように、閃光の影響が生じていない画像となる。閃光の影響が生じることに起因して画像の一部に部分的に生じるフラッシュバンドが抑制されている。サブＦＢ置換部１８は、生成したサブ置換画像を３フレーム目に出力する。

また、図４の３フレーム目に示すように、フラッシュバンド検出信号Ｆｌａｓｈがサブ出力開始信号ＶＤＲＳより撮像周期ＴＶＤＷの範囲内で前に進んで入力される場合、位相検出部２１は、第２置換画像３２への置換を指示する置換要否信号を出力する。サブＦＢ置換部１８は、この置換要否信号に基づいて、サブ置換画像を生成する。このサブ置換画像は、図４（Ａ）の３フレーム目の撮像画像においてフラッシュバンドが生じている前半部分と、フレームメモリ１２に保持されている図４（Ｂ）の３フレーム目の保持画像の後半部分とを組み合わせたものである。このように元にした２つの画像の双方にフラッシュバンドが発生している場合、サブ置換画像は、図４（Ｃ）の４フレーム目に示すように、画像の全体に閃光の影響が生じている全フラッシュ画像となる。閃光の影響が生じることに起因して画像の一部に部分的に生じるフラッシュバンドが抑制されている。サブＦＢ置換部１８は、生成したサブ置換画像を４フレーム目に出力する。

図５は、図１の位相検出部２１の動作の一例を説明するためのフローチャートである。位相検出部２１は、サブ出力フレームレートのフレーム期間毎に、図５の処理を実行する。図５において、位相検出部２１は、まず、ステップＳ１において、フラッシュバンドを検出したか否かを判断する。位相検出部２１は、フラッシュバンド検出信号Ｆｌａｓｈの入力の有無に基づいて、フラッシュバンドを検出したか否かを判断してよい。フラッシュバンドを検出していない場合、位相検出部２１は、処理をステップＳ３へ進める。ステップＳ３において、位相検出部２１は、置換が不要であることを示す置換要否信号を出力する。サブＦＢ置換部１８は、撮像画像をそのままサブ置換画像として出力する。

フラッシュバンドを検出している場合、位相検出部２１は、ステップＳ２において、さらにサブ出力開始信号ＶＤＲＳの入力タイミングがフラッシュバンド検出信号Ｆｌａｓｈの入力タイミングより遅れているかを判断する。サブ出力開始信号ＶＤＲＳの入力タイミングがフラッシュバンド検出信号Ｆｌａｓｈの入力タイミングより遅れている場合、位相検出部２１は、処理をステップＳ５へ進める。ステップＳ５において、位相検出部２１は、第２置換画像３２への置換を指示する置換要否信号を出力する。サブＦＢ置換部１８は、画像を組み合わせて全フラッシュ画像を生成してサブ置換画像として出力する。

サブ出力開始信号ＶＤＲＳの入力タイミングがフラッシュバンド検出信号Ｆｌａｓｈの入力タイミングより進んでいる場合、位相検出部２１は、処理をステップＳ４へ進める。ステップＳ４において、位相検出部２１は、第１置換画像３１への置換を指示する置換要否信号を出力する。サブＦＢ置換部１８は、画像を組み合わせて閃光の影響が生じていない画像を生成してサブ置換画像として出力する。

以上のように、本実施形態では、ローリングシャッタ方式によるライン毎の順次読出しに起因して、閃光を撮像した画像の一部に部分的にフラッシュバンドが生じた撮像画像が撮像素子１１から出力される場合、そのフラッシュバンドを検出する。そして、撮像装置１は、撮像素子１１の出力画像とフレームメモリ１２の保持画像とを、フラッシュバンドの検出タイミングとサブ置換画像の出力開始タイミングとの前後関係に応じて異なるように組み合わせたサブ置換画像を生成して出力する。このため、サブ置換画像では、画像の一部に閃光によるフラッシュバンドが部分的に生じた状態にある違和感のある撮像画像をそのまま出力しないようできる。閃光を撮像した撮像画像をローリングシャッタ方式により読み出すことに起因して撮像画像に生じ得る、画像の一部にフラッシュバンドが部分的に生じている撮像画像を、出力画像として出力しないようできる。しかも、このような処理のために用いるフレームメモリ１２は、撮像素子１１が出力した撮像画像を、撮像フレームレート毎に更新されるように保持できればよい。よって、フレームメモリ１２は、たとえば１つの撮像画像を記憶できる小さい記憶容量のもので足りる。その結果、本実施形態では、ローリングシャッタ方式による撮像画像を、撮像フレームレートより低い出力フレームレートで出力する際に、少ない記憶容量と簡易な追加構成とにより、閃光によるフラッシュバンドが生じている撮像画像を出力しないようにできる。特に、フレームメモリ１２が保持する撮像画像は、撮像フレームレート毎に更新することができるので、フレームメモリ１２そのものは、撮像フレームレートと同じ出力フレームレートでメイン出力画像を出力する場合でも使用することができる。フレームメモリ１２は、撮像フレームレートでメイン置換画像を生成して出力する場合でも、それよりも低い出力フレームレートでサブ置換画像を生成して出力する場合でも、共通に使用することができる。複数の出力フレームレートで画像を出力する撮像装置１の構成を簡素化できる。

［第２実施形態］
次に、本発明の第２実施形態に係る撮像装置１を説明する。本実施形態では、サブ出力フレームレートが、撮像フレームレートの半分以外の任意のフレームレートである場合にも対応可能な例について説明する。以下の説明では、主に第１実施形態の撮像装置１との相違点について説明する。

図６は、第２実施形態に係る撮像装置１の位相検出部２１の動作の一例を説明するためのフローチャートである。位相検出部２１は、任意のサブ出力フレームレートのフレーム期間毎に、図６の処理を実行する。図６において、位相検出部２１は、まず、ステップＳ１において、フラッシュバンドを検出したか否かを判断する。位相検出部２１は、フラッシュバンド検出信号Ｆｌａｓｈの入力の有無に基づいて、フラッシュバンドを検出したか否かを判断してよい。フラッシュバンドを検出していない場合、位相検出部２１は、処理をステップＳ３へ進める。ステップＳ３において、位相検出部２１は、置換が不要であることを示す置換要否信号を出力する。サブＦＢ置換部１８は、撮像画像をそのままサブ置換画像として出力する。

フラッシュバンドを検出している場合、位相検出部２１は、ステップＳ１１において、さらにサブ出力開始信号ＶＤＲＳの入力タイミングを基準として、フラッシュバンド検出信号Ｆｌａｓｈの入力タイミングを判断する。具体的には、フラッシュバンド検出信号Ｆｌａｓｈの入力タイミングが、撮像周期ＴＶＤＷの範囲内であるか否かを判断する。フラッシュバンド検出信号Ｆｌａｓｈが撮像周期ＴＶＤＷの範囲内で入力されていない場合、位相検出部２１は、処理をステップＳ３へ進める。ステップＳ３において、位相検出部２１は、置換が不要であることを示す置換要否信号を出力する。サブＦＢ置換部１８は、撮像画像をそのままサブ置換画像として出力する。フラッシュバンド検出信号Ｆｌａｓｈが撮像周期ＴＶＤＷの範囲内で入力されている場合、位相検出部２１は、処理をステップＳ２へ進める。ステップＳ２において、位相検出部２１は、さらにサブ出力開始信号ＶＤＲＳの入力タイミングがフラッシュバンド検出信号Ｆｌａｓｈの入力タイミングより遅れているかを判断する。サブ出力開始信号ＶＤＲＳの入力タイミングがフラッシュバンド検出信号Ｆｌａｓｈの入力タイミングより遅れている場合、位相検出部２１は、処理をステップＳ５へ進める。ステップＳ５において、位相検出部２１は、第２置換画像３２への置換を指示する置換要否信号を出力する。サブＦＢ置換部１８は、画像を組み合わせて全フラッシュ画像を生成してサブ置換画像として出力する。サブ出力開始信号ＶＤＲＳの入力タイミングがフラッシュバンド検出信号Ｆｌａｓｈの入力タイミングより進んでいる場合、位相検出部２１は、処理をステップＳ４へ進める。ステップＳ４において、位相検出部２１は、第１置換画像３１への置換を指示する置換要否信号を出力する。サブＦＢ置換部１８は、画像を組み合わせて閃光の影響が生じていない画像を生成してサブ置換画像として出力する。

このようにサブ出力開始信号ＶＤＲＳの入力タイミングを基準として、フラッシュバンド検出信号Ｆｌａｓｈが撮像周期ＴＶＤＷに相当する前後の時間範囲に含まれる場合、サブＦＢ置換部１８は、図３または図４と同様のサブ置換画像を生成して出力する。これに対し、フラッシュバンド検出信号Ｆｌａｓｈが撮像周期ＴＶＤＷに相当する前後の時間範囲のいずれにも含まれない場合、サブＦＢ置換部１８は、撮像画像をそのままサブ置換画像として出力する。

図７は、図６の位相検出部２１を用いて、撮像フレームレートの四分の一の出力フレームレートでサブ置換画像を生成する例での動作を説明する模式的なタイミングチャートである。図７（Ａ）から（Ｇ）は、図３（Ａ）から（Ｇ）に対応する。ただし、図７（Ｆ）において、サブ出力開始信号ＶＤＲＳの垂直同期パルスは、１フレーム目と、５フレーム目とに生じている。これに対し、フラッシュバンド検出信号Ｆｌａｓｈは、３フレーム目から４フレーム目にかけて継続的に出力される。５フレーム目では、フラッシュバンド検出信号Ｆｌａｓｈが出力されていない。この場合、位相検出部２１は、５フレーム目において、置換なしを指示する置換要否信号を出力する。サブＦＢ置換部１８は、５フレーム目の垂直同期パルスの入力タイミングから、サブ置換画像を生成し始める。サブＦＢ置換部１８は、図７（Ａ）の４フレーム目の閃光の影響がない撮像画像を、そのまま５フレーム目のサブ置換画像として出力する。

以上のように、本実施形態の撮像装置１は、撮像フレームレートの半分以外の任意のサブ出力フレームレートにおいてサブ置換画像を生成し、これをサブ出力画像として出力することができる。本実施形態では、図６の動作をする位相検出部２１を用いている。これにより、本実施形態は、撮像フレームレートとサブ出力フレームレートの関係が任意の場合においても、図１の回路構成を大きく変更することなく、その任意のサブ出力フレームレートによりサブ出力画像を出力できる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 撮像装置
１１ 撮像素子
１２ フレームメモリ
１６ タイミング生成部
１７ フラッシュバンド検出部
１８ サブＦＢ置換部
１９ サブ信号処理部
２０ サブ映像出力部
２１ 位相検出部
３１ 第１置換画像
３２ 第２置換画像
ＶＤＲＳ サブ出力開始信号
Ｆｌａｓｈ フラッシュバンド検出信号
ＴＶＤＷ 撮像周期

Claims (9)

1. ローリングシャッタ方式により撮像フレームレート毎の撮像画像をライン毎に順次読出して映像信号を出力する撮像素子と、
   前記撮像素子が出力した前記撮像画像を保持する保持手段と、
   前記撮像素子が出力する前記撮像画像と前記保持手段に保持されている前記撮像画像とに基づく出力画像を、前記撮像フレームレートより低い出力フレームレート毎に出力する出力手段と、
   前記撮像素子が出力する前記撮像画像において閃光により生じるフラッシュバンドを検出する検出手段と、を有し、
   前記出力手段は、前記検出手段がフラッシュバンドを検出した場合、前記撮像素子が出力する前記撮像画像と前記保持手段に保持されている前記撮像画像とを、前記検出手段がフラッシュバンドを検出するタイミングと出力画像を出力し始める出力開始タイミングとの前後関係に応じて異なるように組み合わせた出力画像を出力する、撮像装置。
2. 前記出力手段は、
   前記撮像素子から出力される撮像画像および前記保持手段に保持されている撮像画像の双方にフラッシュバンドが生じている場合、これらを組み合わせて閃光の影響が全体的に生じている出力画像を生成して出力し、
   前記撮像素子から出力される撮像画像のみにフラッシュバンドが生じている場合、前記保持手段に保持されている撮像画像を組み合わせて、閃光の影響が生じていない出力画像を生成して出力する、請求項１記載の撮像装置。
3. 前記検出手段は、前記撮像素子が出力する前記映像信号においてフラッシュバンドを検出するものであり、前記撮像画像の１枚分に相当する前記映像信号において閃光による画像変化が継続することを検出することにより、フラッシュバンドを検出する、請求項１または２記載の撮像装置。
4. 前記検出手段がフラッシュバンドを検出するタイミングが、前記出力手段が出力画像を出力し始める出力開始タイミングよりも、前記撮像フレームレートにより前記撮像素子が１つの撮像画像を出力する撮像期間に相当する時間で前となるタイミングから、前記出力開始タイミングまでの期間に含まれる場合、
   前記出力手段は、前記撮像素子が出力する前記撮像画像においてフラッシュバンドが生じている部分と、前記保持手段に保持されている前記撮像画像においてフラッシュバンドが生じている部分とを組み合わせて、閃光の影響が全体的に生じている出力画像を生成して出力する、請求項１から３のいずれか一項記載の撮像装置。
5. 前記検出手段がフラッシュバンドを検出するタイミングが、前記出力手段が出力画像を出力し始める出力開始タイミングから、前記出力開始タイミングよりも、前記撮像フレームレートにより前記撮像素子が１つの撮像画像を出力する撮像期間に相当する時間で後となるタイミングまでの期間に含まれる場合、
   前記出力手段は、前記撮像素子が出力する前記撮像画像においてフラッシュバンドが生じていない部分と、前記保持手段に保持されている前記撮像画像についてのフラッシュバンドが生じている部分に相当する部分とを組み合わせて、閃光の影響がない出力画像を生成して出力する、請求項１から４のいずれか一項記載の撮像装置。
6. 前記出力手段は、前記撮像フレームレートの半分の出力フレームレートにより出力画像を出力する、請求項１から５のいずれか一項記載の撮像装置。
7. 前記検出手段がフラッシュバンドを検出するタイミングが、前記出力手段が出力画像を出力し始める出力開始タイミングを基準として、前記撮像フレームレートにより前記撮像素子が１つの撮像画像を出力する撮像期間に相当する前後の時間のいずれにも含まれない場合、
   前記出力手段は、前記保持手段に保持されている前記撮像画像を、閃光の影響がない出力画像として出力する、請求項１から６のいずれか一項記載の撮像装置。
8. 撮像素子で撮像した画像を保持手段に保持させて出力する撮像装置の撮像方法であって、
   ローリングシャッタ方式により前記撮像素子から撮像フレームレート毎の撮像画像をライン毎に順次読出して映像信号を出力する撮像工程と、
   前記撮像工程で出力した前記撮像画像を前記保持手段に保持する保持工程と、
   前記撮像素子が出力する前記撮像画像と前記保持手段に保持されている前記撮像画像とに基づく出力画像を、前記撮像フレームレートより低い出力フレームレート毎に出力する出力工程と、
   前記撮像素子が出力する前記撮像画像において閃光により生じるフラッシュバンドを検出する検出工程と、を有し、
   前記出力工程は、前記検出工程でフラッシュバンドを検出した場合、前記撮像素子が出力する前記撮像画像と前記保持手段に保持されている前記撮像画像とを、前記検出手段がフラッシュバンドを検出するタイミングと出力画像を出力し始める出力開始タイミングとの前後関係に応じて異なるように組み合わせた出力画像を出力する、撮像装置の撮像方法。
9. 撮像素子で撮像した画像を保持手段に保持させて出力する撮像装置の撮像方法をコンピュータに実行させるプログラムであって、
   前記撮像装置の撮像方法は、
   ローリングシャッタ方式により前記撮像素子から撮像フレームレート毎の撮像画像をライン毎に順次読出して映像信号を出力する撮像工程と、
   前記撮像工程で出力した前記撮像画像を前記保持手段に保持する保持工程と、
   前記撮像素子が出力する前記撮像画像と前記保持手段に保持されている前記撮像画像とに基づく出力画像を、前記撮像フレームレートより低い出力フレームレート毎に出力する出力工程と、
   前記撮像素子が出力する前記撮像画像において閃光により生じるフラッシュバンドを検出する検出工程と、を有し、
   前記出力工程は、前記検出工程でフラッシュバンドを検出した場合、前記撮像素子が出力する前記撮像画像と前記保持手段に保持されている前記撮像画像とを、前記検出手段がフラッシュバンドを検出するタイミングと出力画像を出力し始める出力開始タイミングとの前後関係に応じて異なるように組み合わせた出力画像を出力する、プログラム。
   

Images