JP2017225072A - 撮像装置、その制御方法、及びプログラム - Google Patents

Abstract

【課題】１フレームに対して複数回の外部閃光によるフラッシュバンドが発生した場合でも、適切にフラッシュバンドを検出／補正して、輝度段差のない補正画像を生成する。【解決手段】撮像装置は、ローリングシャッタ方式の撮像素子１０２から出力された画像信号を用いて生成した画像情報を取得する画像取得手段１０３と、画像情報に基づき、外部閃光による複数のフレームにまたがったフラッシュバンドを検出する検出手段１０４と、フレームのラインごとにゲインを変更可能なゲイン補正機能を有し、検出手段１０４によってフラッシュバンドが検出されたフレームを全面閃光の画像に補正する補正手段１０５とを備える。補正手段１０５は、検出手段１０４によって１フレームに対して複数回の外部閃光によるフラッシュバンドが検出された場合、複数回の外部閃光の光量比からゲインを算出し、全面閃光の画像を生成する際に、記フラッシュバンドが重なる領域に算出したゲインをかけて前記領域を補正する。【選択図】図１

Description

本発明は、デジタル一眼レフカメラやデジタルスチルカメラ、デジタルビデオカメラ等撮像装置におけるフラッシュバンド補正技術の改良に関する。

デジタルカメラ等の撮像装置には、画素の水平ラインごとに順次露光を開始してラインごとに映像信号を順次読み出すローリングシャッタ方式の撮像素子を備えるものがある。このような撮像装置では、ラインごとに露光時間が異なるため、撮像素子のフレームレートより短い時間で外部閃光が被写体に照射されると、１フレーム内の画像に帯状のフラッシュバンド（輝度段差）が発生することが問題となっている。

従来、１フレームに１回の閃光でフラッシュバンドが検出されたフレームを他のフレームに置換したり、前後のフレームを加算平均したりすることで、輝度段差のない画像を生成してフラッシュバンドを補正する技術が提案されている（特許文献１）。

特開２０１５−１４９６９１号公報

しかし、上記特許文献１では、１フレームに最大で１回の閃光があった場合を前提としており、１フレームに２回以上の閃光があった場合には、フラッシュバンドの帯が２つ以上発生し、補正回路が正しく動作しない問題がある。

そこで、本発明は、１フレームに対して複数回の外部閃光によるフラッシュバンドが発生した場合でも、適切にフラッシュバンドを検出／補正して、輝度段差のない補正画像を生成することが可能な技術を提供することを目的とする。

上記目的を達成するため、本発明の撮像装置は、レンズ部を通過して結像する被写体光束に対して画素のラインごとに順次露光を開始して順次読み出しを行う撮像素子と、前記撮像素子から出力された画像信号を用いて生成した画像情報を取得する画像取得手段と、前記生成された前記画像情報に基づき、外部閃光による複数のフレームにまたがったフラッシュバンドを検出する検出手段と、前記フレームのラインごとにゲインを変更可能なゲイン補正機能を有し、前記検出手段によって前記フラッシュバンドが検出された前記フレームを全面閃光の画像に補正する補正手段と、を備え、前記補正手段は、前記検出手段によって１フレームに対して複数回の外部閃光によるフラッシュバンドが検出された場合、前記複数回の外部閃光の光量比からゲインを算出し、全面閃光の画像を生成する際に、前記フラッシュバンドが重なる領域に前記算出したゲインをかけて前記領域を補正することを特徴とする。

本発明によれば、１フレームに対して複数回の外部閃光によるフラッシュバンドが発生した場合でも、適切にフラッシュバンドを検出／補正して、輝度段差のない補正画像を生成することができる。

本発明の撮像装置の第１の実施形態であるデジタルビデオカメラの制御系の概略を示すブロック図である。 １フレームに１回の外部閃光があった場合のフラッシュバンド補正を説明する図である。 １フレームに複数回の外部閃光があった場合の撮像素子の垂直同期信号と映像信号の読み出しタイミングと水平射影差分データとの関係を示すタイミングチャート図である。 １フレームに２回の外部閃光があった場合のフラッシュバンド補正を説明する図である。 １フレームで２回の閃光があった場合のフラッシュバンドの補正処理を説明するフローチャート図である。 本発明の撮像装置の第２の実施形態であるデジタルビデオカメラにおいて、１フレームで２回の閃光があった場合のフラッシュバンドの補正処理を説明するフローチャート図である。 フラッシュバンドが発生したフレーム１，２と、その前後のフレーム０，３とを模式的に示す図である。

以下、図面を参照して、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルビデオカメラの制御系の概略を示すブロック図である。

図１において、レンズ部１０１は、フォーカス機構、絞り機構、ＮＤフィルタ及びズーム機構等を有する。撮像素子１０２は、画素の水平ラインごとに順次露光を開始してラインごとに映像信号を順次読み出すローリングシャッタ方式のＣＭＯＳセンサ等により構成されている。撮像素子１０２は、レンズ部１０１を通過して結像した被写体光束を光電変換してラインごとに映像信号を出力する。画像取得部１０３は、撮像素子１０２からの画像信号を用いて生成した画像情報をデジタル信号として取得する。なお、画像取得部１０３は、撮像素子１０２からの出力がアナログ信号であれば、アナログ・デジタルフロントエンドを含む。

フラッシュバンド検出部１０４は、ストロボ光等の外部閃光がフラッシュバンドとして映像信号に現れたか否かを検出する。画像補正部１０５は、フラッシュバンド検出部１０４によってフラッシュバンドが検出された場合、フラッシュバンドが検出された画像を全画面閃光画像に補正する。また、画像補正部１０５は、フレームのラインごとにゲインを変更可能なゲイン補正機能を有する。

システム制御部１０６は、ＣＰＵやＲＡＭ、ＲＯＭ等を含み、カメラの各ブロックと情報を送受信したり、ユーザ操作によってカメラの動作を決定し、各ブロックの動作を制御したりする等、カメラ全体の制御を司る。撮像素子制御部１０７は、撮像素子１０２の駆動を制御する。例えば、撮像素子制御部１０７は、撮像素子１０２のゲインを算出したり、垂直同期信号ＶＤを撮像素子１０２に出力したりする等の制御の他に、シャッタスピードを制御する。ここでいうシャッタスピードとは、撮像素子１０２の電子シャッタの露光時間のことであり、撮像素子制御部１０７が撮像素子１０２に対して電荷の蓄積開始タイミングと電荷の読み出しタイミングを送ることによって制御する。

レンズ制御部１０８は、レンズ部１０１の絞り機構やフォーカス機構、ズーム機構、ＮＤフィルタなどの制御を行う。記録・出力部１０９は、所定の画像補正を行った映像信号を記録媒体へ記録したり、もしくはディスプレイ等の表示装置へ出力したりする。フレームメモリ部１１０は、フラッシュバンドが検出された複数のフレームを記憶する。

図２（ａ）は、撮像素子１０２の垂直同期信号ＶＤと映像信号の読み出しタイミングＲと水平射影差分データＨとの関係を示すタイミングチャート図である。図２（ａ）に示すように、ストロボ光等の外部閃光が被写体に照射されると、照射されたラインから次のフレームの同じラインまでフラッシュバンドが発生する。水平射影差分データＨは、水平方向にデータを平均し、前のフレームとの差分を取ったデータである。このように、水平射影差分データＨを用いることにより、フラッシュバンドの検出が可能となる。

図２（ｂ）を参照して、フラッシュバンドの一般的な補正方法を説明する。図２（ｂ）は、図２（ａ）のフラッシュバンドが発生したフレーム１，２と、その前後のフレーム０，３とを模式的に示す図である。図２（ｂ）に示すように、撮像素子１０２からの入力画像の各フレーム１〜４は、フレームメモリ部１１０に保持記憶されている。フレームメモリ部１１０に各フレーム１〜４を保持する理由は、フラッシュバンドの検出が終了するまで補正を開始することができないためである。

フレーム１とフレーム２にかけて発生したフラッシュバンドを１フレームにまとめて出力画像とするために、フレーム１の領域Ｂには、フレーム０の領域Ａを置換して領域Ａ′とし、フレーム２の領域Ｄには、フレーム１の領域Ｂを置換して領域Ｂ′とする。

このような置換を行うことで、フレーム１は、フラッシュバンドが発生していないフレーム１′として補正画像１を生成する。また、フレーム２は、１フレームのみ全面でフラッシュバンドが発生しているフレーム２′として補正画像２を生成する。

しかしながら、このような補正方法では、同一フレームで２回の閃光が発せられた場合には検出及び補正が正しく動作しない問題がある。

図３は、同一フレームに複数回（ここでは、２回）の閃光が発せられた場合の撮像素子１０２の垂直同期信号ＶＤと映像信号の読み出しタイミングＲと水平射影差分データＨとの関係を示すタイミングチャート図である。

図３において、１回目の閃光１の光量による輝度変化量をＬ１、１回目及び２回目の閃光１，２の合計光量による輝度変化量をＬ２とする。また、Ｌ３，Ｌ４は、それぞれ２回目の閃光２の光量による輝度段差となる。

図４（ａ）はフレーム１に２回の外部閃光によるフラッシュバンドが発生したときのフレーム１，２と、その前後のフレーム０，３とを模式的に示す図、図４（ｂ）は補正画像２の詳細を示す図である。図４（ａ）では、図２（ｂ）と同様に、撮像素子１０２からの入力画像の各フレーム１〜４は、フレームメモリ部１１０に保持記憶されている。図４（ａ）において、フレーム１の領域ｂ２が１回目の閃光による輝度段差、フレーム１の領域ｂ３及びフレーム２の領域ｃ１が１回目と２回目の閃光による輝度段差、フレーム２の領域ｃ２が２回目の閃光による輝度段差である。

出力画像において、フレーム１の領域ｂ１はそのままとし、領域ｂ２，ｂ３にフレーム０の領域ａ２を置換して領域ａ２′とすることで、フレーム１を閃光の影響を受けないフレーム１′として補正画像１を生成する。また、図４（ｂ）に示すように、フレーム２の領域ｃ１はそのままとし、領域ｃ２は閃光１，２の光量比であるＬ２／Ｌ１をゲインとして算出して算出したゲインをかけて領域ｃ２′とする。また、領域ｃ３にフレーム１の領域ｂ３を置換して領域ｂ３′とすることで補正画像２を生成する。これにより、輝度段差のない全面閃光画像を生成することが可能となる。

次に、図５を参照して、同一フレームで２回の閃光があった場合のフラッシュバンドの補正処理について説明する。図５の各処理は、システム制御部１０６のＲＯＭ等の記憶部に格納されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。

図５において、ステップＳ５０１では、システム制御部１０６は、検出カウントを０に設定してフレームＮの検出を開始し、ステップＳ５０２に進む。

ステップＳ５０２では、システム制御部１０６は、水平射影差分データＨが予め定めた開始閾値を超えた場合に１回目の外部閃光によるフラッシュバンドが発生したことを検出する。そして、システム制御部１０６は、検出カウントを＋１、ライン位置を変数１として不図示のメモリに記憶する。

ステップＳ５０３では、システム制御部１０６は、再度水平射影差分データＨが予め定めた開始閾値を超えた場合に２回目の外部閃光によるフラッシュバンドを検出し、検出カウントを＋１、ライン位置を変数２としてメモリに記憶する。なお、２回目のフラッシュバンドの開始閾値とステップＳ５０２での１回目のフラッシュバンドの開始閾値は異なる値であっても構わない。

ステップＳ５０４では、システム制御部１０６は、次のフレームＮ＋１の検出を開始し、ステップＳ５０５に進む。

ステップＳ５０５では、システム制御部１０６は、水平射影差分データＨが予め定めた終了閾値を越えた場合に現在のライン位置が変数１と一致するか否かを判定する。終了閾値は、１回目のフラッシュバンド終了を判定する閾値であり、マイナスとなる。そして、システム制御部１０６は、現在のライン位置が変数１と一致しない場合は、フラッシュバンドではないと判定して、ライン位置が変数１より小さい場合は、ステップＳ５０１に戻って引き続き判定動作を行う。また、システム制御部１０６は、現在のライン位置が変数１と一致した場合は、ステップＳ５０６に進む。

ステップＳ５０６では、システム制御部１０６は、検出カウントの値を参照して検出カウントが１の場合は、ステップＳ５０８に進み、検出カウントが１でない場合は、ステップＳ５０７に進む。

ステップＳ５０８では、システム制御部１０６は、１回目のフラッシュバンド検出を終了し、ステップＳ５０９で図２（ｂ）に示す補正を行った後、ステップＳ５０１に戻る。

ステップＳ５０７では、システム制御部１０６は、水平射影差分データＨが予め定めた終了閾値を越えた場合に２回目のフラッシュバンド終了を検出し、ライン位置が変数２と一致するか否かを判定する。そして、システム制御部１０６は、ライン位置が変数２と一致する場合は、ステップＳ５１０に進み、一致しない場合は、ステップＳ５０５と同様に、ステップＳ５０１に戻る。

ステップＳ５１０では、システム制御部１０６は、２回目のフラッシュバンド検出を終了し、ステップＳ５１１で図４で説明した領域ｃ２のゲイン補正をした画像補正を行い、ステップＳ５０１に戻る。なお、ここでは、例として１フレーム内に２回の外部閃光によるフラッシュバンドの発生を検出する場合を例示したが、２回を超える外部閃光があった場合でも、同様な動作でフラッシュバンドの発生を検出可能である。

以上説明したように、本実施形態では、１フレームに対して複数回の外部閃光によるフラッシュバンドが発生した場合でも、適切にフラッシュバンドを検出／補正して、輝度段差のない補正画像を生成することができる。

（第２の実施形態）
次に、図６及び図７を参照して、本発明の撮像装置の第１の実施形態であるデジタルビデオカメラについて説明する。なお、上記第１の実施形態と重複する部分については、図及び符号を流用して説明する。

上記第１の実施形態では、２回目のフラッシュバンド終了を検出後にフラッシュバンド補正を行うか否かを判定してから画像補正を実施するため、フレーム遅延が２フレーム発生している。ここで、映像のフレーム遅延は少ない方が望ましいため、本実施形態では、映像フレーム遅延を１フレームに短縮する。

図６は、同一フレームで２回の閃光があった場合のフラッシュバンドの補正処理にを説明する。図６の各処理は、システム制御部１０６のＲＯＭ等の記憶部に格納されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。なお、図６のステップＳ６０１〜６０５の処理は、それぞれ上記第１の実施形態（図５）のステップＳ５０１〜ステップＳ５０５の処理と同様であるため、その説明を省略する。

図６において、ステップＳ６０６では、システム制御部１０６は、１回目のフラッシュバンドの終了を検出し、検出カウントが１の場合は、ステップＳ６０８に進む。そして、上記第１の実施形態（ステップＳ５０８）と同様に、１回目のフラッシュバンド検出を終了し、ステップＳ６０９で図２（ｂ）に示す補正を行った後、ステップＳ６０１に戻る。

一方、ステップＳ６０６で検出カウントが１でない場合は、システム制御部１０６は、ステップＳ６０７で図７の補正画像１の補正を開始し、ステップＳ６１０に進む。ステップＳ６１０ではシステム制御部１０６は、２回目のフラッシュバンド終了を検出し、ライン位置を変数２としてメモリに記憶する。ステップＳ６１１では、システム制御部１０６は、２回目のフラッシュバンド終了を検出し、図４と同様に、ステップＳ６１２で領域ｃ２のゲインを補正して図７の補正画像２を生成し、ステップＳ６０１に戻る。なお、ステップＳ６１０で２回目のフラッシュバンド終了を検出しなかった場合は、補正画像２の生成処理は行わない。

図７は、フラッシュバンドが発生したフレーム１，２と、その前後のフレーム０，３とを模式的に示す図である。図７のフレーム２において、水平射影差分データＨのタイミング７０１は、図６のステップＳ６０６のタイミングである。フレーム１を補正する際、１回目のフラッシュバンド終了を検出した後、２回目のフラッシュバンド終了を検出する前にフレーム０を読み出して補正画像１を生成するため、フレームの遅延は１フレームとなる。その他の構成、及び作用効果は、上記第１の実施形態と同様である。

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能であり、また、上述の実施形態の一部を適宜組み合わせてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ 撮像素子
１０３ 画像取得部
１０４ フラッシュバンド検出部
１０５ 画像補正部
１０６ システム制御部
１１０ フレームメモリ部

Claims (6)

1. レンズ部を通過して結像する被写体光束に対して画素のラインごとに順次露光を開始して順次読み出しを行う撮像素子と、
   前記撮像素子から出力された画像信号を用いて生成した画像情報を取得する画像取得手段と、
   前記生成された前記画像情報に基づき、外部閃光による複数のフレームにまたがったフラッシュバンドを検出する検出手段と、
   前記フレームのラインごとにゲインを変更可能なゲイン補正機能を有し、前記検出手段によって前記フラッシュバンドが検出された前記フレームを全面閃光の画像に補正する補正手段と、を備え、
   前記補正手段は、前記検出手段によって１フレームに対して複数回の外部閃光によるフラッシュバンドが検出された場合、前記複数回の外部閃光の光量比からゲインを算出し、全面閃光の画像を生成する際に、前記フラッシュバンドが重なる領域に前記算出したゲインをかけて前記領域を補正することを特徴とする撮像装置。
2. 前記補正手段は、前記検出手段によって１フレームに対して複数回の外部閃光によるフラッシュバンドが検出された場合、１回目の前記外部閃光によるフラッシュバンド終了を検出したタイミングから前のフレームを読み出してフラッシュバンドが検出されたフレームを補正することを特徴とする請求項１に記載の撮像装置。
3. 前記検出手段は、前記撮像素子からの画像信号のデータを水平方向に平均して、前のフレームとの差分をとった水平射影差分データがあらかじめ定めた閾値を超えた場合に、１回目の前記外部閃光によるフラッシュバンドを検出することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記検出手段は、前記１回目の前記外部閃光によるフラッシュバンドを検出した後、前記水平射影差分データが前記閾値を超えた場合に、２回目の前記外部閃光によるフラッシュバンドを検出することを特徴とする請求項３に記載の撮像装置。
5. レンズ部を通過して結像する被写体光束に対して画素のラインごとに順次露光を開始して順次読み出しを行う撮像素子を備える撮像装置の制御方法であって、
   前記撮像素子から出力された画像信号を用いて生成した画像情報を取得する画像取得ステップと、
   前記生成された前記画像情報に基づき、外部閃光による複数のフレームにまたがったフラッシュバンドを検出する検出ステップと、
   前記フレームのラインごとにゲインを変更可能なゲイン補正機能を有し、前記検出ステップで前記フラッシュバンドが検出された前記フレームを全面閃光の画像に補正する補正ステップと、を備え、
   前記補正ステップは、前記検出ステップで１フレームに対して複数回の外部閃光によるフラッシュバンドが検出された場合、前記複数回の外部閃光の光量比からゲインを算出し、全面閃光の画像を生成する際に、前記フラッシュバンドが重なる領域に前記算出したゲインをかけて前記領域を補正することを特徴とする撮像装置の制御方法。
6. 請求項５に記載の撮像装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images