JP2012156634A - フラッシュバンド処理回路、フラッシュバンド処理方法、撮像装置及び撮像処理方法 - Google Patents

Abstract

【課題】被写体にフラッシュを照射して撮像した映像内に生じるフラッシュバンドを検出する場合に適用できるフラッシュバンド処理回路、フラッシュバンド処理方法、撮像装置及び撮像処理方法を提供する。
【解決手段】ローリングシャッタ方式の撮像素子に含まれる画素がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎のレベルの段差であるフラッシュバンドの開始ライン及び終了ラインを検出するフラッシュバンド検出回路を備えるフラッシュバンド処理回路とする。
【選択図】図２

Description

本開示は、例えば、被写体に強い光（以下、「フラッシュ」という。）を照射して撮像した映像内に生じるフラッシュバンドを検出する場合に適用できるフラッシュバンド処理回路、フラッシュバンド処理方法、撮像装置及び撮像処理方法に関する。

従来、カメラに用いられる撮像素子には、水平ライン（以下、「ライン」という。）毎に順次露光を開始し、ライン毎に映像信号を順次読み出してフレームを生成するローリングシャッタ方式を採用したものが知られている。このローリングシャッタ方式の撮像素子では、ライン毎に露光期間が異なる。このため、撮像素子が映像信号を読み出すフレームレートより短い期間にフラッシュ等が焚かれると、読み出されたフレーム内の映像信号により表示される映像に帯状の輝度レベルの段差（フラッシュバンド）が生じることがある。以下、輝度レベルを「レベル」と略記し、フラッシュバンドを「ＦＢ」と略記する。

図１５は、従来のフレームに生じたＦＢの例を示す説明図である。
図１５Ａは、縦軸に垂直方向のライン数（本）をとり、横軸に時間（秒）をとって、連続するフレームとフラッシュとの関係を示す。
撮像素子は、垂直方向ライン数の少ない方から順に（本例では、フレームの上部から下部の方向）映像信号を読み出し、この映像信号を出力する。そして、１フレーム目から２フレーム目にわたってフラッシュが焚かれている。

図１５Ｂは、各フレームの映像の例を示す。
１フレーム目から２フレーム目にわたってフラッシュが焚かれると、既に読み出された１フレーム目の上部のラインにフラッシュの影響はないものの、１フレーム目の下部のラインにはフラッシュの影響によりレベルの段差が生じる。一方、２フレーム目については、１フレーム目の最も下部のラインの映像信号が読み出される前に、２フレーム目の上部のラインの映像信号が読み出される。このため、２フレーム目の上部のラインにはフラッシュの影響によりレベルの段差が生じ、２フレーム目の下部のラインにはフラッシュの影響はない。このように、フレーム中にＦＢが生じると、１フレーム目では、映像の下部が明るくなり、２フレーム目では映像の上部が明るくなる。そして、複数のフレームにわたってＦＢが生じると、動画の再生時や静止画のキャプチャ時にＦＢが見えてしまうため、映像の品質が落ちることがあった。

従来、ＦＢが生じたフレームが映像に与える影響を抑えるために、レベルの段差を解消するように補正する、又は、該当するフレーム自体を捨てるなどの対策がとられている。これらの対策の前提として、ＦＢの有無を検出する方法が検討されていた。

特許文献１には、ＦＢの検出方法として、典型的なＦＢの特徴である、１フレーム目の下部と２フレーム目の上部に画素のレベルが増加した領域が存在することを検出する第１の条件を用いる方法が開示されている。この方法では、１フレーム目にてレベルが増加した領域が、２フレーム目にてレベルが減少していることを第２の条件として設定している。第１の条件に加えて、第２の条件が存在することにより、単に被写体の構図に起因して第１の条件を満たす場合にＦＢが生じたと誤検出することを防ぐことができる。

さらに別の方法として、特許文献２には、適正な露出で撮像された連続するフレーム群の中から、露出が飽和しているフレームを検出する方法について開示されている。

特開２０１０−１３５９２１号公報 特開２００７−３０６２２５号公報

ところで、特許文献１に開示されたＦＢの検出方法には、ＦＢの開始ラインと終了ラインが１フレーム内に収まる（以下、このようなＦＢの状態を、「ＦＢが完結する」という。）場合や、ＦＢが３フレーム以上にわたって連続する場合を検出できなかった。また、この検出方法では、フレームの上部から下部に向けてラインの映像信号が読み出される。このため、フレームの下部から上部へ高輝度の物体が移動すると、１フレーム目の下部に表示される物体と、２フレーム目の上部に表示される物体により、ＦＢが生じたと誤検出する可能性があった。また、報道番組等で被写体に多くのフラッシュが短期間に焚かれることにより、連続するフレーム内の複数の箇所でＦＢが生じても、フレーム内におけるＦＢの位置を特定できなかった。

また、特許文献２に開示されたＦＢの検出方法は、高輝度の動体や光源の位置が変動すると、この変動した動体や光源によりＦＢが生じたものと誤検出する可能性があった。

本開示はこのような状況に鑑みて成されたものであり、フレームに生じたＦＢを適切に検出することを目的とする。

本開示は、ローリングシャッタ方式の撮像素子に含まれる画素がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュバンドの開始ライン及び終了ラインを検出するものである。

このようにしたことで、フレームに生じたＦＢの開始ライン及び終了ラインを検出することが可能となった。

本開示によれば、フレームに生じたＦＢの開始ライン及び終了ラインを検出することによって、ＦＢを補正するために必要な具体的な情報を得ることができる。このため、検出したＦＢだけを対象として適切なＦＢの補正処理を行うことができるという効果がある。

本開示の一実施の形態における撮像装置の内部構成例を示すブロック図である。 本開示の一実施の形態におけるフレーム内に生じたＦＢを検出するフラッシュバンド検出回路の内部構成例を示す。 本開示の一実施の形態におけるレベル比較部の内部構成例を示すブロック図である。 本開示の一実施の形態における水平方向積分部の内部構成例を示すブロック図である。 本開示の一実施の形態における判定保持部の内部構成例を示すブロック図である。 本開示の一実施の形態における領域判定部の内部構成例を示すブロック図である。 本開示の一実施の形態における垂直方向積分部の内部構成例を示すブロック図である。 本開示の一実施の形態におけるＦＢ補正処理の動作例を示すフローチャートである。 本開示の一実施の形態における全面フラッシュ処理の動作例を示すフローチャートである。 本開示の一実施の形態におけるフラッシュ除去処理の動作例を示すフローチャートである。 本開示の一実施の形態における２フレーム連続してＦＢが生じた場合の出力フレームの例を示す説明図である。 本開示の一実施の形態における３フレーム連続してＦＢが生じた場合の出力フレームの例を示す説明図である。 本開示の一実施の形態における４フレーム以上連続してＦＢが生じた場合の出力フレームの例を示す説明図である。 本開示の一実施の形態におけるＦＢが１フレーム内で完結する場合の出力フレームの例を示す説明図である。 従来のフレームに生じたＦＢの例を示す説明図である。

以下、本開示を実施するための最良の形態（以下、実施の形態とする。）について説明する。なお、説明は以下の順序で行う。
１．一実施の形態（ＦＢを検出し、ＦＢを補正する処理の例）
２．変形例

＜１．一実施の形態＞
［ＦＢを検出し、ＦＢを補正する処理の例］

以下、本開示の一実施の形態について、図１〜図１４を参照して説明する。本実施の形態では、フレームに生じたＦＢを検出し、検出したＦＢを補正する映像信号処理回路３及び、映像信号処理回路３を備えた撮像装置１の例（以下、「本例」という。）について説明する。

図１は、本例の撮像装置１の内部構成例を示す。
始めに、一般的なカメラシステムを採用した撮像装置１について説明する。本開示に係る技術は、撮像装置１が用いる撮像処理方法にも適用される。

撮像装置１は、ローリングシャッタ方式の撮像素子やレンズ系等を備え、ＲＧＢの３原色の映像信号を出力する撮像部２と、撮像部２から受け取った映像信号に所定の処理を行う映像信号処理回路３とを備える。この撮像素子には、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが用いられる。撮像部２が備える撮像素子やレンズ系等は不図示としてある。

撮像素子はレンズ系を介して入射した被写体の像光を画素毎に露光して、ライン毎に映像信号を読出す。撮像素子に含まれる画素がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュによってフレーム内にライン毎のレベルの段差であるＦＢが生じる場合がある。そして、撮像部２は、不図示のＡ／Ｄ（Analog/Digital）変換部を用いて、撮像素子が読み出した映像信号をアナログ信号からデジタル信号に変換し、量子化された映像信号を生成する。

映像信号処理回路３は、撮像部２から受け取る映像信号の欠陥を補正する撮像系補正部３１と、ユーザ等によってなされる不図示の操作部の指示に応じて映像信号のゲイン等を調整するゲイン調整部３２とを備える。本例では、撮像系補正部３１とゲイン調整部３２を合わせて映像信号の線形補正を行う線形補正部として用いる。

後述するフラッシュバンド検出回路１０（図２参照）は、ＦＢの有無並びにＦＢの開始ライン及び終了ラインを検出し、撮像系補正部３１又はゲイン調整部３２に実装されることが望ましい。そして、本開示に係るフラッシュバンド検出回路１０及び、線形補正部に含まれるフラッシュバンド補正回路１７は、フレーム内に生じたＦＢの開始ライン及び終了ラインを検出し、ＦＢを補正するフラッシュバンド処理回路及びフラッシュバンド処理方法として用いられる。また、フラッシュバンド補正回路１７は、フラッシュバンド補正部として用いられる。

また、フラッシュバンド処理回路は、撮像素子が現在出力する現在フレーム内にＦＢが発生したことを検出する。また、現在フレームよりも所定数のフレーム前に撮像素子が出力する過去フレームから現在フレームにわたってＦＢが発生したことを検出する。以下の説明では、現在フレームの映像を「現在フレーム」と略称し、過去フレームの映像を「過去フレーム」と略称する。

また、映像信号処理回路３は、映像信号のニー補正を行うニー補正部３３と、映像信号のガンマ補正を行うガンマ補正部３４とを備える。ニー補正部３３とガンマ補正部３４を合わせて映像信号の非線形補正を行う非線形補正部として用いる。そして、映像信号処理回路３は、ガンマ補正部３４から受け取った映像信号を外部の記録媒体（フラッシュメモリ、ＨＤＤ等）に出力する出力信号を生成する出力信号生成部３５を備える。

撮像部２が出力するＲＧＢの３原色の映像信号は、撮像系補正部３１とゲイン調整部３２によって適切に線形処理された後、所定の信号規格に収めるために、ニー補正部３３にてレベル圧縮される。また、映像信号が出力されるＣＲＴ（Cathode Ray Tube）等のモニタのガンマに対応するためにガンマ補正部３４が映像信号にガンマ補正を行う。その後、出力信号生成部３５は、モニタ等に映像信号を出力するため最終的な出力形式に変換し、変換された映像信号を出力する。

図２は、フレーム内に生じたＦＢを検出するフラッシュバンド検出回路１０及びフラッシュバンド補正回路１７の内部構成例を示す。

フラッシュバンド検出回路１０は、現在フレーム及び過去フレームの連続するフレーム間で画素毎にレベルを比較して比較結果を求め、比較結果からレベルの変動量が大きい水平ラインを特定し、変動量が大きい連続した水平ラインと、変動量が小さい連続した水平ラインの境界となるラインを検出することによって、フラッシュバンドが発生したことを検出するものである。

フラッシュバンド検出回路１０は、過去フレームを記録する記録部１１と、現在フレーム及び過去フレームのレベルを比較するレベル比較部１２を備える。また、フラッシュバンド検出回路１０は、画素毎のレベルの変動を判定した結果である変動量判定値（０又は１）をレベル比較部１２から画素毎に受け取り、現在フレームについてライン毎に水平方向に積分する水平方向積分部１３を備える。以下、レベルの変動を「レベル変動」と呼び、レベルの変動量を「レベル変動量」と呼ぶ。

水平方向積分部１３は、２種類の水平方向積分部１３ａ，１３ｄを備える。水平方向積分部１３ａは、レベル比較部１２が出力する変動量判定値をそのまま水平方向に積分するものである。一方、水平方向積分部１３ｄは、水平方向の１ライン分の変動量判定値を保存する１ライン遅延部１３ｂと、処理対象としてレベル比較部１２から読み出される現ラインの変動量判定値から、１ライン遅延部１３ｂによって遅延された１ライン分の変動量判定値を減ずる減算部１３ｃを備える。

また、フラッシュバンド検出回路１０は、水平方向の積分値判定値と、後述する判定保持部１６から受け取るＦＢ開始ライン判定値及びＦＢ終了ライン判定に基づいて、ＦＢが発生した領域のレベルが過去フレームに比べて増減したことを判定する領域判定部１４を備える。

また、領域判定部１４が出力する増領域判定値又は減領域判定値（後述する図７参照）として領域判定されたラインのライン数を各変動量判定値より積分する垂直方向積分部１５を備える。垂直方向積分部１５は、ＦＢの開始を判定した「ＦＢ開始判定値」又は、ＦＢの終了を判定した「ＦＢ終了判定値」を判定保持部１６及びフラッシュバンド補正回路１７に出力する。ＦＢ開始判定値は、０又は１で表され、０のときＦＢは開始しておらず、１のときＦＢは開始したことを表す。また、ＦＢ終了判定値は、０又は１で表され、０のときＦＢは終了しておらず、１のときＦＢは終了したことを表す。

また、フラッシュバンド検出回路１０は、ＦＢ開始判定値又はＦＢ終了判定値（以下、「ＦＢ開始／終了判定値」と略記する。）に基づいて、現在フレームがＦＢ期間中であるか否かを判定する判定保持部１６を備える。判定保持部１６は、この判定結果を１ライン又は１フレーム期間にわたって保持する。そして、判定保持部１６は、ＦＢの開始ライン及び終了ラインの判定結果として、「ＦＢ開始ライン判定値」及び「ＦＢ終了ライン判定」を求め、これを領域判定部１４に出力する。

そして、フラッシュバンド処理回路は、垂直方向積分部１５から受け取ったＦＢ開始／終了判定値に基づいて、現在フレームと過去フレームに含まれるＦＢを補正した出力フレームを出力するフラッシュバンド補正回路１７を備える。フラッシュバンド補正回路１７は、事前に設定された除去モード又は複製モードに基づいてＦＢ補正を行う。ここで、後述する全面フラッシュ処理、フラッシュ除去処理及びスルー出力を行う処理モードを「除去モード」と呼び、全面フラッシュ処理及びスルー出力を行う処理モードを「複製モード」と呼ぶ。そして、フラッシュバンド補正回路１７は、処理モードに従ってＦＢ補正したフレームを出力フレームとして出力する。

次に、各部の動作例を説明する。
レベル比較部１２は、現在及び過去フレームの特定の位置（本例では、同じ位置（ｘ，ｙ））に存在する画素の輝度レベルの比をレベル変動率として求める。そして、現在フレームと過去フレームで同じ位置（ｘ，ｙ）に存在する画素のレベル変動量が所定の閾値よりも変動したか否かを示す値として、変動量が小さい場合に０，変動量が大きい場合に１とした「変動量判定値」を出力する。

水平方向積分部１３ａは、ライン毎に積分して得る積分値の絶対値が所定の閾値よりも大きいか否かを示す値として、積分値が該閾値より小さい場合に０，積分値が大きい場合に１とした水平方向の「積分値判定値」を出力する。また、水平方向積分部１３は、この積分値の符号が正負のいずれであるかを示す「積分値符号」を出力する。

領域判定部１４は、水平方向積分部１３から入力される積分値判定値及び積分値符号並びに、判定保持部１６から入力される、ＦＢの開始ライン又は終了ラインを示す「ＦＢ開始ライン判定値」又は「ＦＢ終了ライン判定」等に基づいて、増領域と減領域を求める。「ＦＢ開始ライン判定値」又は「ＦＢ終了ライン判定」は、以下、「ＦＢ開始／終了ライン判定値」と略記する。そして、領域判定部１４は、現在フレームに増領域が含まれている場合に「増領域判定値」を出力し、現在フレームに減領域が含まれている場合に「減領域判定値」を出力する。ここで、現在フレームの画素のレベルが過去フレームの同じ位置の画素のレベルに比べて上がっている領域を「増領域」と呼び、現在フレームの画素のレベルが過去フレームの画素のレベルに比べて下がっている領域を「減領域」と呼ぶ。

垂直方向積分部１５は、現在フレームの垂直方向に増領域と判定されたライン数又は減領域と判定されたライン数を加算する。そして、加算したライン数が所定の閾値を超えるとＦＢの開始又は終了を判定するＦＢ開始／終了判定値を、判定保持部１６とフラッシュバンド補正回路１７に出力する。ＦＢ期間中かどうかの判定処理は後述する。

判定保持部１６は、垂直方向積分部１５から入力されるＦＢ開始／終了判定値に基づいて、ＦＢ開始／終了ライン判定値を領域判定部１４に出力する。また、判定保持部１６は、ＦＢ開始／終了ライン判定値が、それぞれ「ＦＢ期間中でない」又は「ＦＢ期間中である」か否かを判定する値を領域判定部１４に出力する。

フラッシュバンド補正回路１７は、現在フレームと、記録部１１から読み出した過去フレームを用いて、垂直方向積分部１５から受け取ったＦＢ開始／終了判定値に基づいてＦＢを補正し、出力フレームを出力する。フラッシュバンド補正回路１７が行うＦＢ補正の処理の詳細については、後述する図８〜図１４を参照して説明する。

本開示において、ＦＢの判定条件は以下の４つである。
第１の条件：現在フレームと直前のフレーム（過去フレーム）を比較して、同一の位置にある画素のレベル変動が大きい（レベル比較部１２）。
第２の条件：第１の条件を満たす画素が１ライン中に多く存在する（水平方向積分部１３）。
第３の条件：第２の条件を満たすラインが垂直方向に連続する（垂直方向積分部１５）。
第４の条件：第３の条件を満たすライン群の先頭のラインに、垂直方向の高周波成分が存在する（領域判定部１４）。

フレームにＦＢが生じると、過去フレームに比べて輝度が増加する正方向にレベル変動するライン群（フラッシュが撮像された領域）が現在フレーム内に現れた後、輝度が減少する負方向にレベル変動（元のレベルに回復）するライン群が現在フレーム内に現れる。このことから、第１の条件〜第４の条件を満たすライン群のうち、正方向から負方向にレベル変動したラインを境界とする領域でＦＢが生じたと推定することができる。

なお、第４の条件は、複数のフレームにわたって高輝度の動体が移動することにより、フレーム内でレベル変動し、この動体をＦＢと誤検出することを防止するために用いられる。この第４の条件は、ＦＢでは、フラッシュを照射した期間に撮像されたラインと、フラッシュを照射していない期間に撮像されたラインとの間にレベルの段差が生じるが、動体ではレベルの段差が生じないことを利用している。このため、第４の条件を用いて、フレーム内における垂直方向の高周波成分の有無を検出することにより、フラッシュと動体を識別する。

次に、フラッシュバンド検出回路１０の各部について、内部構成例と動作例を説明する。

図３は、レベル比較部１２の内部構成例を示すブロック図である。
レベル比較部１２は、現在フレームと過去フレームとを画素毎にレベル比較し、第１の条件の判定を行う。

レベル比較部１２は、現在フレームの画素毎に出力する映像信号より各画素の輝度値Ｙに変換するＹ変換部１２ａと、過去フレームの画素毎に出力する映像信号より各画素の輝度値Ｙに変換するＹ変換部１２ｂを備える。Ｙ変換部１２ａから入力する輝度値Ｙより、Ｙ変換部１２ｂから入力する輝度値Ｙを減ずる減算回路１２ｃを備える。また、レベル比較部１２は、Ｙ変換部１２ａ，１２ｂが出力する輝度値Ｙのいずれかを選択して入力する選択部１２ｄ，１２ｅと、選択部１２ｄが出力する輝度値Ｙのレベルを、選択部１２ｅが出力する輝度値Ｙのレベルを除して「レベル変動率」を求める除算回路１２ｆを備える。また、レベル比較部１２では、第１の閾値TH_LVから除算回路１２ｆによって求められたレベル変動率を減ずることにより、現在フレームと過去フレームから画素毎に輝度値Ｙの変動量を判定した判定結果を変動量判定値として出力する減算回路１２ｇを備える。

次に、レベル比較部１２の動作例を説明する。
レベル比較部１２は、現在及び過去フレームの特定の位置における画素の輝度レベルの比をレベル変動率として求め、レベル変動率が第１の閾値（TH_LV）以上であるか否かを示すレベル変動量を変動量判定値として求める。

具体的には、Ｙ変換部１２ａ，１２ｂは、レベル比較部１２に入力した現在フレームと過去フレームの各画素の映像信号を輝度値Ｙに変換し、減算回路１２ｃは、現在フレームと過去フレームの各画素の輝度値Ｙを減ずる。ここで、減算回路１２ｃは、減算結果が正であれば符号ビットとして０を出力し、負であれば１を出力する。そして、Ｙ変換部１２ａは、選択部１２ｄの第０の入力ポートと、選択部１２ｅの第１の入力ポートに輝度値Ｙが入力される。一方、Ｙ変換部１２ｂは、選択部１２ｄの第１の入力ポートと、選択部１２ｅの第０の入力ポートに輝度値Ｙが入力される。

選択部１２ｄ，１２ｅは、Ｙ変換部１２ａ，１２ｂから第０又は第１の入力ポートに入力する現在フレームと過去フレームの各画素の輝度値Ｙを減算回路１２ｃの減算結果に基づいて選択して出力する。ここで、減算回路１２ｃから入力する符号ビットが０であれば、現在フレームの輝度値Ｙが大きいので、選択部１２ｄは現在フレームの輝度値Ｙを出力し、選択部１２ｅは過去フレームの輝度値Ｙを出力する。選択部１２ｄは、減算回路１２ｃから入力する符号が０である場合に、第０の入力ポートに入力した輝度値Ｙを出力し、符号が１である場合に、第１の入力ポートに入力した輝度値Ｙを出力する。一方、入力する符号ビットが１であれば、過去フレームの輝度値Ｙが大きいので、選択部１２ｄは過去フレームの輝度値Ｙを出力し、選択部１２ｅは現在フレームの輝度値Ｙを出力する。選択部１２ｅは、減算回路１２ｃから入力する符号が０である場合に、第０の入力ポートに入力した輝度値Ｙを出力し、符号が１である場合に、第１の入力ポートに入力した輝度値Ｙを出力する。

除算回路１２ｆは、選択部１２ｄから出力されるレベルが大きい方の画素の輝度値Ｙのレベルを、選択部１２ｅから出力されるレベルが小さい方の画素の輝度値Ｙのレベルで除したレベルの比率を「レベル変動率」として求める。図中のレベル変動率は、「レベル大／レベル小」として略記される。そして、除算回路１２ｆは、レベル変動率を減算回路１２ｇだけでなく、フラッシュバンド補正回路１７にも出力する。

減算回路１２ｇは、レベル変動率が閾値TH_LVより大きい場合に、第１の条件を満たす画素が存在することを変動量判定値に含めて出力する。この変動量判定値は、現在フレームと過去フレームの同じ位置における画素のレベルの変動量が小さい場合に０とし、変動量が大きい場合に１として出力される。また、減算回路１２ｃは、レベル変動量が正負のいずれであるかを示す変動の向きとして「変動量符号」を出力する。この変動量符号は、現在フレームに含まれる画素のレベルが大きい場合に正の値となるため０とし、過去フレームのレベルが大きい場合に負の値となるため１とする。

次に、水平方向積分部１３は、レベル比較部１２が出力した変動量判定値を水平方向のライン毎に積分し、第２の条件の判定を行う。

図４は、水平方向積分部１３の内部構成例を示すブロック図である。
水平方向積分部１３は、変動量が大きい画素の変動量判定値を水平方向の１ライン毎に積分し、積分値を求める水平方向積分部１３ａを備える。また、ハイパスフィルタを通過した変動量判定値を１ライン毎に積分し、積分値を求める水平方向積分部１３ｄを備える。変動量判定値が０である場合には、水平方向積分部１３ａがライン毎に積分した積分値は０であるが、変動量判定値が１である場合には、変動量判定値が積分された結果、積分値は変動量が大きい画素の数に等しくなる。

水平方向積分部１３ａは、レベル比較部１２から入力する変動量判定値に−１を乗じる乗算部１３ａ１を備える。また、レベル比較部１２から入力する変動量判定値と、乗算部１３ａ１によって−１が乗じられた変動量判定値を入力とし、レベル比較部１２から入力する変動量符号に基づいて選択した変動量判定値を出力する選択部１３ａ２を備える。また、選択部１３ａ２が出力した１ライン分の変動量判定値を水平方向に積分する加算回路１３ａ３と、積分値を絶対値に変換する絶対値化変換部１３ａ４とを備える。また、閾値TH_INTEGより、絶対値化変換部１３ａ４が出力する絶対値を減じて積分値の大小を判定する「積分値判定値」を出力する減算回路１３ａ５を備える。

次に、水平方向積分部１３の動作例を説明する。
水平方向積分部１３のうち、水平方向積分部１３ａは、レベル変動率が第１の閾値（TH_LV）以上である変動量判定値を、現在フレームの水平ラインに含まれる画素毎に積分して水平方向積分値を求める。そして、水平方向積分値が第２の閾値（TH_INTEG）以上であるか否かを示す積分値判定値として求め、積分値が正又は負のいずれの符号であるかを示す積分値符号を求める。

水平方向積分部１３ａが備える乗算部１３ａ１は、変動量判定値に−１を乗じて得た値を選択部１３ａ２の第１の入力ポートに入力する。ここで、乗算部１３ａ１は、第１の条件を満たす画素の変動量判定値が１である場合に、−１を乗じて得た−１を選択部１３ａ２に出力し、変動量判定値が０である場合に、−１を乗じて得た０を選択部１３ａ２に出力する。選択部１３ａ２の第０の入力ポートには、変動量判定値がそのまま入力する。

変動量符号が０である場合に、選択部１３ａ２は、第０の入力ポートに入力した変動量判定値を出力し、変動量符号が１である場合に、第１の入力ポートに入力した変動量判定値を出力する。加算回路１３ａ３は、選択部１３ａ２が出力する変動量判定値を１ライン分だけ積分して積分値を求める。ここで、変動量が小さく、変動量判定値が０であって、変動量符号が０である場合には、加算回路１３ａ３が積分する積分値も０となる。変動量が大きい場合には、選択部１３ａ２が変動量符号に従って出力する変動量判定値は正又は負の符号で積分された積分値となる。加算回路１３ａ３は、積分値の符号が正又は負であることを示す符号として「積分値符号」を出力する。積分値符号は、積分値が正である場合に０とし、負である場合に１として出力される。

絶対値化変換部１３ａ４は、正又は負の積分値を絶対値化し、減算回路１３ａ５は、閾値TH_INTEGから絶対値を減じて、絶対値の大小を判定する。減算回路１３ａ５は、絶対値が閾値TH_INTEGより充分に大きい場合、判定結果を「積分値判定値」として出力する。ここで、減算回路１３ａ５は、積分値の絶対値が閾値TH_INTEG未満である場合、積分値判定値を０とし、閾値TH_INTEG以上である場合、積分値判定値を１として出力する。

水平方向積分部１３のうち、水平方向積分部１３ｄは、上述した水平方向積分部１３ａとほぼ同様の処理を行うため、水平方向積分部１３ａを構成する各ブロックと同じ符号を付したブロックについては詳細な説明を省略する。ただし、水平方向積分部１３ｄは、増領域又は減領域の開始ライン（第４の条件）を判定するために、選択部１３ａ２と加算回路１３ａ３の間に１ライン遅延部１３ｂを設けている。すなわち、水平方向積分部１３ｄは、垂直方向に隣り合うラインに含まれ、水平方向に同じ位置にある画素毎に、一方の変動量判定値から他方の変動量判定値を減じた結果を積分した「ＨＰＦ積分値」を求める。このとき、減算部１３ｃは、水平方向積分部１３ｄに入力した座標ｘの位置に存在する画素について求めた変動量判定値から、ｘ方向に同じ位置であって、ｙ方向に１ラインだけ遅延した画素について求めた変動量判定値を減じて差分値を求める。そして、加算回路１３ａ３は、この差分値を１ライン分だけ積分してＨＰＦ積分値を求める。また、水平方向積分部１３ｄは、ＨＰＦ積分値が第５の閾値（TH_HPF_INTEG）以上であるか否かを示すＨＰＦ積分値判定値を求め、ＨＰＦ積分値が正又は負のいずれの符号であるかを示すＨＰＦ積分値符号を求める。

このように水平方向積分部１３ｄに１ライン遅延部１３ｂ及び減算部１３ｃを設けたのは、フラッシュと高輝度の動体を撮像した映像のフレーム内ではライン毎の輝度差が異なることを利用して、ＦＢと高輝度の動体を撮像した映像とを識別するためである。ＦＢが生じると垂直方向に隣り合うラインに含まれる画素の輝度値Ｙの変動量は非常に大きい。しかし、高輝度の動体が撮像された場合、垂直方向に隣り合うラインにおける画素の輝度値Ｙの変動量は小さい。このため、１ライン遅延部１３ｂ、減算部１３ｃ及び加算回路１３ａ３をハイパスフィルタとして用いることで、垂直方向の高周波成分の有無を判定し、高輝度の動体を撮像した映像をＦＢと誤認識せず、ＦＢだけを正確に認識することが可能となる。

その後、減算回路１３ａ５は、絶対値化変換部１３ａ４によって変換された絶対値と閾値TH_HPF_INTEGとを比較することにより、ハイパスフィルタを通過する積分値の大小を判定した「ＨＰＦ積分値判定値」を出力する。併せて、加算回路１３ａ３は、ＨＰＦ積分値の符号が正又は負であることを示す符号として「ＨＰＦ積分値符号」を出力する。ＨＰＦ積分値判定値は、現在のラインと１ライン前との変動量判定値の差分値が積分対象となるため、垂直方向の高周波成分の有無を判定することができる。ＨＰＦ積分値判定値は、ＨＰＦ積分値の絶対値が閾値TH_HPF_INTEG未満である場合に０とし、閾値TH_HPF_INTEG以上である場合に１として出力される。また、ＨＰＦ積分値符号は、ＨＰＦ積分値が正である場合に０とし、負である場合に１として出力される。

次に、領域判定部１４は、水平方向積分部１３の出力結果に基づき、第４の条件の判定を行う。この際、判定保持部１６にて保持されるＦＢ判定結果が用いられる。このため、先に判定保持部１６の構成及び動作例を説明する。

図５は、判定保持部１６の内部構成例を示すブロック図である。
判定保持部１６は、垂直方向積分部１５から入力するＦＢ開始判定値とライン周期のリセット信号の論理積をとり、ライン毎にＦＢ開始判定値を出力するＡＮＤ回路１６ａを備える。また、垂直方向積分部１５から入力する、ＦＢ終了判定値とライン周期のリセット信号の論理積をとり、ライン毎にＦＢ終了判定値を出力するＡＮＤ回路１６ｂを備える。また、ＡＮＤ回路１６ａが出力するＦＢ開始判定値をＳ（セット）端子に入力するラッチ回路１６ｃ，１６ｆを備える。ラッチ回路１６ｆの出力は、ＦＢ開始ラインを示すＦＢ開始ライン判定値として用いられる。

また、判定保持部１６は、ラッチ回路１６ｃの出力信号の反転信号とフレーム周期のリセット信号の論理積をとるＡＮＤ回路１６ｄを備える。また、ＡＮＤ回路１６ｂ，１６ｄの信号の論理和をとり、ラッチ回路１６ｆのＲ（リセット）端子に信号を出力するＯＲ回路１６ｅを備える。また、ＡＮＤ回路１６ａの出力信号とフレーム周期のリセット信号が入力されるＯＲ回路１６ｇと、ＡＮＤ回路１６ｂの出力信号をＳ端子に入力し、ＯＲ回路１６ｇの出力信号をＲ端子に入力するラッチ回路１６ｈを備える。ラッチ回路１６ｈの出力は、ＦＢ終了ラインを示すＦＢ終了ライン判定として用いられる。

また、判定保持部１６は、ラッチ回路１６ｆの出力信号と、フレーム周期のリセット信号の論理積をとるＡＮＤ回路１６ｉと、ＡＮＤ回路１６ｉの出力信号をＳ端子に入力するラッチ回路１６ｊを備える。ラッチ回路１６ｊのＲ端子には、０が入力される。また、判定保持部１６は、ラッチ回路１６ｆの出力信号とラッチ回路１６ｊの反転信号の論理積をとるＡＮＤ回路１６ｋと、ラッチ回路１６ｈ，１６ｊの出力信号の論理積をとるが入力されるＡＮＤ回路１６ｌを備える。ＡＮＤ回路１６ｋの出力信号は、「ＦＢ期間中でない、かつ、ＦＢ開始ライン判定値」として用いられる。ＡＮＤ回路１６ｌが出力する出力信号は、「ＦＢ期間中である、かつ、ＦＢ終了ライン判定」として用いられる。

次に、判定保持部１６の動作例を説明する。
判定保持部１６は、フレームのライン周期及びフレーム周期に基づき、ライン周期及びフレーム周期に従って、ＦＢ開始判定値及びＦＢ終了判定値を一定期間保持する。そして、ＦＢ開始判定値からＦＢの開始ラインの位置を判定したＦＢ開始ライン判定値を出力し、ＦＢ終了判定値からＦＢの終了ラインの位置を判定したＦＢ終了ライン判定を領域判定部１４に出力する。

具体的には、判定保持部１６は、垂直方向積分部１５の出力結果であるＦＢ開始／終了判定値をライン周期、及び、フレーム周期で保持し、ライン周期で保持したＦＢ開始／終了判定値に基づいて、ＦＢ開始／終了ライン判定値を出力する。そして、判定保持部１６は、フレーム周期で保持したＦＢ開始／終了ライン判定値を組み合わせることにより、「ＦＢ期間中でない、かつ、ＦＢ開始ライン判定値」及び「ＦＢ期間中である、かつ、ＦＢ終了ライン判定」を併せて出力する。

「ＦＢ期間中でない、かつ、ＦＢ開始ライン判定値」は、１フレーム内で完結するＦＢ（図１４参照）を検出するために用いられる。この場合、ＦＢの終端に該当する現在フレームの画素のレベルは過去フレームのレベルに対して変動しない。このため、ＦＢの終端は負方向にレベル変動するラインではなく、レベル変動しないラインとなる。「ＦＢ期間中である、かつ、ＦＢ終了ライン判定」は、ＦＢが連続しており、１フレーム内でＦＢ終了の直後に次のＦＢが開始するもの（図１２参照）を検出するために用いられる。この場合、現在フレーム内で開始されたＦＢの始端に該当するラインの画素のレベルは過去フレームのレベルに対して変動しない。このため、ＦＢの始端は正方向にレベル変動するラインではなく、レベル変動しないラインである。

次に、領域判定部１４の構成及び動作例を説明する。

図６は、領域判定部１４の内部構成例を示すブロック図である。
領域判定部１４は、水平方向積分部１３ａから入力する積分値判定値と、反転した積分値符号の論理積をとるＡＮＤ回路１４ａと、積分値判定値と積分値符号の論理積をとるＡＮＤ回路１４ｂを備える。また、水平方向積分部１３ｄから入力するＨＰＦ積分値判定値と、反転したＨＰＦ積分値符号の論理積をとるＡＮＤ回路１４ｃと、ＨＰＦ積分値判定値とＨＰＦ積分値符号の論理積をとるＡＮＤ回路１４ｄを備える。

また、領域判定部１４は、ＡＮＤ回路１４ｃの出力信号と、後述するＡＮＤ回路１４ｍが出力する増領域判定値を入力して論理和をとるＯＲ回路１４ｅを備える。また、ＡＮＤ回路１４ｄの出力信号と、後述するＡＮＤ回路１４ｎが出力する減領域判定値を入力して論理和をとるＯＲ回路１４ｆを備える。

また、領域判定部１４は、ＡＮＤ回路１４ａとＯＲ回路１４ｅの出力信号を入力して論理積をとるＡＮＤ回路１４ｇと、ＡＮＤ回路１４ｂの反転した出力信号とＯＲ回路１４ｅの出力信号を入力して論理積をとるＡＮＤ回路１４ｈを備える。また、ＡＮＤ回路１４ａの反転した出力信号とＯＲ回路１４ｆの出力信号を入力して論理積をとるＡＮＤ回路１４ｉと、ＡＮＤ回路１４ｂとＯＲ回路１４ｆの出力信号を入力して論理積をとるＡＮＤ回路１４ｊを備える。

また、領域判定部１４は、「ＦＢ期間中である、かつ、ＦＢ終了ライン判定」の入力に基づいて、それぞれ第０及び第１の入力ポートに入力したＡＮＤ回路１４ｇ，１４ｈの出力信号を選択して出力する選択部１４ｋを備える。また、「ＦＢ期間中でない、かつ、ＦＢ開始ライン判定値」に基づいて、それぞれ第１及び第０の入力ポートに入力したＡＮＤ回路１４ｉ，１４ｊの出力信号を選択して出力する選択部１４ｌを備える。また、選択部１４ｋの出力信号と反転した「ＦＢ開始ライン判定値」の論理積をとるＡＮＤ回路１４ｍと、選択部１４ｌの出力信号と、反転した「ＦＢ終了ライン判定」の論理積をとるＡＮＤ回路１４ｎを備える。ＡＮＤ回路１４ｍは、垂直方向積分部１５に増領域判定値を出力し、ＡＮＤ回路１４ｎは、垂直方向積分部１５に減領域判定値を出力する。

次に、領域判定部１４の動作例を説明する。
領域判定部１４は、積分値判定値及び積分値符号に基づいて、積分値符号が正である場合に、過去フレームに比べて現在フレームに含まれる画素の輝度が増加する増領域であると判定した増領域判定値を出力する。積分値符号が負である場合に、過去フレームに比べて現在フレームに含まれる画素の輝度が減少する減領域であると判定した減領域判定値を出力する。また、領域判定部１４は、ＨＰＦ積分値判定値及びＨＰＦ積分値符号より、フレーム内の垂直方向の高周波成分の有無を判定して、フラッシュ光によるＦＢの有無を検出する。

領域判定部１４は、「ＦＢ期間中である、かつ、ＦＢ終了ライン判定」が１であり、ＨＰＦ積分値判定値が１であり、かつ、ＨＰＦ積分値符号が０（正）の場合、増領域を判定する。この増領域は、そのライン以降で、積分値判定値が１であり、かつ、積分値符号が１（負方向に積分値が大きい）となるラインまでのライン群である。また、「ＦＢ期間中である、かつ、ＦＢ終了ライン判定」が０であり、ＨＰＦ積分値判定値が１であり、かつ、ＨＰＦ積分値符号が０（正）の場合、増領域を判定する。この増領域は、そのライン以降で、積分値判定値が１であり、かつ、積分値符号が０（正方向に積分値が大きい）となるライン群である。増領域は、第１、第２及び第４の条件を満たし、かつ、正方向にレベル変動する（又は、負方向にレベル変動しない）領域である。

一方、「ＦＢ期間中でない、かつ、ＦＢ開始ライン判定値」が１であり、ＨＰＦ積分値判定値が１であり、かつ、ＨＰＦ積分値判定値符号が１の場合、そのライン以降で、正方向に積分値が大きくなるラインまでのライン群を減領域と判定する。また、「ＦＢ期間中でない、かつ、ＦＢ開始ライン判定値」が０であり、ＨＰＦ積分値判定値が１であり、かつ、ＨＰＦ積分値判定値符号が１の場合、そのライン以降で、負方向に積分値が大きくなるライン群を減領域と判定する。減領域は、第１、第２及び第４の条件を満たし、かつ、負方向にレベル変動する（又は、正方向にレベル変動しない）領域である。

次に、垂直方向積分部１５は、領域判定部１４の出力結果に基づき、連続するライン群を垂直方向に積分（カウント）し、第３の条件の判定を行う。以下に、垂直方向積分部１５の構成及び動作例を説明する。

図７は、垂直方向積分部１５の内部構成例を示すブロック図である。
垂直方向積分部１５は、領域判定部１４より入力する増領域判定値が１のときにカウンタ値を積分し、０のときにカウンタ値をリセットするカウンタ１５ａと、閾値TH_UP_LINESからカウンタ値を減じて減算値を求める減算部１５ｂを備える。減算部１５ｂは、閾値TH_UP_LINESによって規定されるライン数より増領域が多くなったことを認識するとＦＢ開始判定値を出力する。また、垂直方向積分部１５は、領域判定部１４より入力する減領域判定値が１のときにカウンタ値を積分し、０のときにカウンタ値をリセットするカウンタ１５ｃと、閾値TH_DN_LINESからカウンタ値を減ずる減算部１５ｄを備える。減算部１５ｄは、閾値TH_DN_LINESによって規定されるライン数より増領域が多くなったことを認識するとＦＢ終了判定値を出力する。

次に、垂直方向積分部１５の動作例を説明する。
このとき、増領域判定値を垂直方向のライン毎に積分して得た増領域判定値積分値が第３の閾値（TH_UP_LINES）以上である場合に、フレーム内でＦＢが開始したことを示すＦＢ開始判定値を出力する。また、減領域判定値を垂直方向のライン毎に積分して得た減領域判定値積分値が第４の閾値（TH_DN_LINES）以上である場合に、フレーム内でＦＢが終了したことを示すＦＢ終了判定値を出力する。

具体的には、カウンタ１５ａは、増領域判定値が１である（第１、第２及び第４の条件を満たす領域で、正方向にレベル変動する）連続するライン数をカウントする。減算部１５ｂは、このカウント値が閾値TH_UP_LINESより大きい場合、ＦＢの開始を判定し、増領域判定値を０にリセットする。一方、カウンタ１５ｃは、減領域判定値が１であるようなライン数をカウントする。そして、減算部１５ｄは、このカウント値が閾値TH_DN_LINESより大きい場合に、ＦＢの終了を判定し、減領域判定値を０にリセットする。

フラッシュバンド補正回路１７は、垂直方向積分部１５がＦＢ開始判定値を出力するラインから、ＦＢ終了判定値を出力するラインまでのライン群をＦＢが連続する区間として推定する「ＦＢ推定区間」と定める。なお、ＦＢの開始が判定されていない状態でＦＢの終了が判定された場合におけるＦＢ終了判定値は、無効である。

続いて、ＦＢ開始／終了判定値に基づき、現在フレーム及び過去フレームを用いてＦＢ補正を行うフラッシュバンド補正回路１７の処理例について説明する。

図８は、ＦＢの補正処理の動作例を示すフローチャートである。
始めに、フラッシュバンド補正回路１７は、フラッシュバンド検出回路１０の出力するＦＢ開始／終了判定値に基づいて、フレーム内にＦＢ開始判定値が存在するか否かを判断する（ステップＳ１）。ＦＢ開始判定値が存在しない場合、過去フレーム（ＦＢの検出対象となったフレーム）については、何ら補正処理を施さずにそのまま出力する（以下、「スルー出力」と称する。）（ステップＳ２）。なお、このスルー出力においては、過去フレームを複製した出力フレームを出力するだけでなく、現在フレームを複製した出力フレームを出力する場合もある。

ＦＢ開始判定値が存在する場合、フレーム内にＦＢ終了判定値が存在するか否かを判断する（ステップＳ３）。ＦＢ終了判定値が存在しない場合、現在はＦＢ期間中であると推定できる。この場合、現在フレーム及び過去フレームに含まれる画素の輝度値を比較して、輝度値が大きい方の画素に置き換えた出力フレームを出力する、「全面フラッシュ処理」を行い、ＦＢによるレベルの段差を解消する（ステップＳ４）。全面フラッシュ処理により、あるフレーム内の各画素のレベルを全面にわたって一様に高めることができる。なお、現在フレーム及び過去フレームの２フレームを画素加算（平均化）してもよい。ただし、平均化により補正後のフラッシュのレベルは本来のレベルの１／２となる。

ステップＳ３の処理において、ＦＢ開始判定値が存在し、かつ、ＦＢ終了判定値が存在する場合、現在のラインはＦＢ終了後であると推定できる。この場合、現在フレーム及び過去フレームに含まれる画素の輝度値を比較して、輝度値が小さい方の画素に置き換えた出力フレームを出力することにより、フレームからフラッシュの影響を除去する「フラッシュ除去処理」を行う（ステップＳ４）。なお、現在フレームをスルー出力する「複製モード」を選択してもよい（図１１〜図１４を参照）。ただし、ＦＢが終了した現在フレームに、次に開始するＦＢが含まれる場合、スルー出力を行うと、次に開始するＦＢがそのまま現れることとなる。

１フレーム内で完結するＦＢ（図１４）に対しては、ＦＢが開始したフレームの直後のフレームはＦＢ終了後であると推定されるため、フレーム内のレベルを全面にわたって一様に低くすることによりフラッシュを除くフラッシュ除去処理がなされる。１フレーム内で完結するＦＢの場合、過去フレームにフラッシュを撮像した領域が存在しないため、現在フレームと過去フレームを合成する全面フラッシュ処理は不可能である。このため、現在フレームからＦＢを除去する「フラッシュ除去処理」が有効な補正方法である。

図９は、図８のステップＳ４で説明した全面フラッシュ処理の動作例を示すフローチャートである。全面フラッシュ処理では、現在フレームと過去フレームに含まれるレベルが大きな明るい画素を出力フレームに集める処理がなされる。

始めに、フラッシュバンド補正回路１７は、現在フレームと過去フレームの各画素についてレベルを比較する（ステップＳ１１）。そして、現在フレームに含まれる画素のレベルが過去フレームに含まれる画素のレベルより大きいか否かを判定する（ステップＳ１２）。

次に、現在フレームに含まれる画素のレベルが過去フレームに含まれる画素のレベルより大きい場合、現在フレームの画素のレベルを過去フレームの画素のレベルで除した「レベル変動率」が閾値TH_LVより大きいか否かを判断する（ステップＳ１３）。このレベル変動率が閾値TH_LVより大きい場合、現在フレームにおいてレベルが小さい画素を、過去フレームにおいてレベルが大きい画素に置換して出力フレームを出力する（ステップＳ１４）。

一方、レベル変動率が小さい（閾値TH_LV以下）場合は、レベル変動率に応じて現在フレームと過去フレームのレベルをαブレンド等により混合する。この際の混合比率αは、変動率が１（レベルが等しい）の場合に０．５となり、変動率がTH_LVの場合に１．０となるような値とする。大きい方の画素のレベルをＨ、小さい方の画素のレベルをＬとすると、以下の計算式は上記の混合比率αの条件を満たす。以下の説明では、式の記述を簡潔にするために、現在フレームに含まれる画素のレベルを「現在」とし、過去フレームに含まれる画素のレベルを「過去」として略記する場合がある。

本例のフラッシュバンド補正回路１７は、α＝（現在−過去）／（２×過去×（TH_LV−１））＋１／２として、現在×α＋過去×（１−α）とする処理を行う（ステップＳ１５）。なお、混合比率αはフレームの空間方向に滑らかとなるように、ローパスフィルタ（ＬＰＦ：Low-pass filter）をかけることが望ましい。これにより、全面にフラッシュの撮像された映像を生成して出力フレームを出力する。

フラッシュバンド補正回路１７は、ステップＳ１２の処理において、現在フレームの画素のレベルが過去フレームの画素のレベル以下である場合についても、ステップＳ１３と同様に、レベル変動率が閾値TH_LVより大きいか否かを判断する（ステップＳ１６）。レベル変動率が閾値TH_LVより大きい場合、過去フレームにおいてレベルが小さい画素を、現在フレームにおいてレベルが大きい画素に置換して出力フレームを出力する（ステップＳ１７）。

フラッシュバンド補正回路１７は、レベル変動率が小さい（閾値TH_LV以下）場合は、レベル変動率に応じて画素のレベルをαブレンド等により混合する（ステップＳ１６）。本例では、α＝（過去−現在）／（２×現在×（TH_LV−１））＋１／２として、現在×（１−α）＋過去×αとする処理を行う（ステップＳ１５）。なお、混合比率αはフレームの空間方向に滑らかとなるように、ローパスフィルタをかけることが望ましい。これにより、全面にフラッシュの撮像された映像を生成した出力フレームを出力する。

図１０は、図８のステップＳ５で説明したフラッシュ除去処理の動作例を示すフローチャートである。フラッシュ除去処理では、現在フレームと過去フレームに含まれるレベルが小さな暗い画素を出力フレームに集める処理がなされる。

図９で説明した全面フラッシュ処理とは反対に、フラッシュバンド補正回路１７は、現在フレームにおいてレベルが大きい画素を、過去フレームにおいてレベルが小さい画素に置換する。具体的には、全面フラッシュ処理にて算出する混合比率αに対して、１−αを混合比率とすればよい。これにより、フレームの全面にフラッシュが含まれない、言い換えると、ＦＢが除去された映像を生成することができる。

始めに、フラッシュバンド補正回路１７は、現在フレームと過去フレームの各画素についてレベルを比較する（ステップＳ２１）。そして、現在フレームに含まれる画素のレベルが過去フレームに含まれる画素のレベルより大きいか否かを判定する（ステップＳ２２）。

次に、フラッシュバンド補正回路１７は、現在フレームに含まれる画素のレベルが過去フレームに含まれる画素のレベルより大きい場合、レベル変動率が閾値TH_LVより大きいか否かを判断する（ステップＳ２３）。レベル変動率が閾値TH_LVより大きい場合、過去フレームにおいてレベルが大きい画素を、現在フレームにおいてレベルが小さい画素に置換して出力フレームを出力する（ステップＳ２４）。

フラッシュバンド補正回路１７は、レベル変動率が小さい（閾値TH_LV以下）場合は、レベル変動率に応じてレベルをαブレンド等により混合する。この際の混合比率αは、変動率が１（レベルが等しい）の場合に０．５となり、変動率がTH_LVの場合に１．０となるような値とする。

本例のフラッシュバンド補正回路１７は、α＝（現在−過去）／（２×過去×（TH_LV−１））＋１／２として、現在×（１−α）＋過去×αとする処理を行う（ステップＳ２５）。なお、αはフレームの空間方向に滑らかとなるように、ローパスフィルタをかけることが望ましい。これにより、全面にＦＢが除去された映像を生成して出力フレームを出力する。

ステップＳ２２の処理において、現在フレームの画素のレベルが過去フレームの画素のレベル以下である場合についても、フラッシュバンド補正回路１７は、ステップＳ２３と同様に、レベル変動率が閾値TH_LVより大きいか否かを判断する（ステップＳ２６）。レベル変動率が閾値TH_LVより大きい場合、過去フレームにおいてレベルが大きい画素を、現在フレームにおいてレベルが小さい画素に置換して出力フレームを出力する（ステップＳ２７）。

レベル変動率が小さい（閾値TH_LV以下）場合は、レベル変動率に応じて画素のレベルをαブレンド等により混合する（ステップＳ２６）。フラッシュバンド補正回路１７は、α＝（過去−現在）／（２×現在×（TH_LV−１））＋１／２として、現在×α＋過去×（１−α）とする処理を行う（ステップＳ２５）。なお、αはフレームの空間方向に滑らかとなるように、ローパスフィルタをかけることが望ましい。これにより、全面にフラッシュを焚いたときと同じ状態で撮像された映像を生成した出力フレームを出力する。

次に、フラッシュバンド検出回路１０がフレームに生じたＦＢを検出し、フラッシュバンド補正回路１７がＦＢを補正する場合の動作例について、図１１〜図１４を参照して説明する。

図１１は、２フレーム連続してＦＢが生じた場合の出力フレームの例を示す。
図１１には、フラッシュバンド検出回路１０に入力した映像フレームを第１フレームから第５フレームにわたって示している。本例では、第２フレームの下部と第３フレームの上部にＦＢが生じている。

フラッシュバンド検出回路１０は、入力した映像フレームのうち、第２フレームのＦＢが開始したラインから増領域として検出し、第３フレームのＦＢが終了したラインから減領域として検出する。そして、フラッシュバンド補正回路１７は、除去モードと複製モードのいずれであっても、共に第１フレームをスルー出力する。次に、第２フレームと第３フレームの増領域を合成する全面フラッシュ処理を行って出力する。次に、除去モードでは、第３フレームと第４フレームの減領域を合成してフラッシュ除去して出力し、複製モードでは、第４フレームをスルー出力する。その後の出力フレームについては、ＦＢの補正は不要であるため、そのままスルー出力する。

なお、フラッシュバンド補正回路１７は、スルー出力する際に１フレーム前の過去フレームを出力フレームとする。ただし、１フレーム前のフレームにＦＢが含まれており、かつ、全面フラッシュ処理やフラッシュ除去処理を行わない場合には、現在フレームを出力フレームとし、その後、過去フレームを出力フレームとするようにスルー出力するフレームを変える。

図１２は、３フレーム連続してＦＢが生じた場合の出力フレームの例を示す。
図１２には、フラッシュバンド検出回路１０に入力した映像フレームを第１フレームから第６フレームにわたって示している。本例では、第２フレームから第４フレームにわたってＦＢが２回生じている。

図１２Ａは、ＦＢに中断がある場合におけるＦＢの検出処理と補正処理の例を示す。
本例では、第２フレームから第４フレームにわたりＦＢが生じているが、フラッシュが短時間に連続して焚かれたことにより、第３フレームでは、ＦＢが中断する。この場合、フラッシュバンド検出回路１０は、始めにフラッシュが焚かれた第２フレームに含まれるＦＢ開始ラインから増領域を検出し、減領域が検出されるＦＢ終了ラインまでをＦＢ推定区間として認識する。また、第３フレームでは、フラッシュが途切れたＦＢ終了ラインから減領域を検出し、次にフラッシュが焚かれた領域に含まれるＦＢ開始ラインから増領域として検出する。そして、第４フレームでは、フラッシュが途切れたＦＢ終了ラインから減領域として認識し、第５フレームにおいても減領域として認識する。

そして、フラッシュバンド補正回路１７は、除去モードと複製モードのいずれであっても、第１フレームはスルー出力し、第２フレームと第３フレーム、第３フレームと第４フレームはそれぞれ増領域を合成して全面フラッシュとして出力する。また、除去モードでは、第４フレームと第５フレームの減領域を合成してフラッシュ除去して出力し、複製モードでは、第５フレームをスルー出力する。その後の出力フレームについては、ＦＢの補正は不要であるため、そのままスルー出力する。

図１２Ｂは、ＦＢに中断がない場合におけるＦＢの検出処理と補正処理の例を示す。
図１２Ｂでは、第３フレームにＦＢの中断がない点が図１２Ａと異なる。このため、フラッシュバンド検出回路１０は、各フレームで増領域と減領域を検出し、ＦＢの発生有無を検出する。そして、フラッシュバンド補正回路１７は、図１２Ａに示したように、ＦＢが生じていないフレームについてはスルー出力し、ＦＢが生じたフレームは増領域を合成して全面フラッシュとして出力する。また、ＦＢの終了ラインが含まれるフレームについては次フレームの減領域を合成してフラッシュ除去して出力する。

図１３は、４フレーム以上連続してＦＢが生じた場合の出力フレームの例を示す。
図１３には、フラッシュバンド検出回路１０に入力した映像フレームを第１フレームから第７フレームにわたって示している。本例では、第２フレームから第５フレームにわたってＦＢが２回生じている。

図１３Ａは、４フレーム以上連続してＦＢが生じ、１フレーム以上のＦＢの中断があった場合におけるＦＢの検出処理と補正処理の例を示す。
本例では、第２フレームから第５フレームにわたりＦＢが生じているが、フラッシュが短時間に連続して焚かれたことにより、第３フレームから第４フレームにわたり、ＦＢが中断する。このＦＢが中断する期間は１フレーム以上の長さである。この場合、フラッシュバンド検出回路１０は、第２フレームから第３フレーム、第４フレームから第５フレームで増領域を検出した部分をＦＢ推定区間として認識する。また、第３フレームから第４フレーム、第５フレーム以降のフラッシュが途切れたＦＢ終了ラインから減領域として認識する。

そして、フラッシュバンド補正回路１７は、除去モードと複製モードのいずれであっても、第１フレームはスルー出力し、第２フレームと第３フレーム、第４フレームと第５フレームはそれぞれ増領域を合成した全面フラッシュ処理を行って出力する。なお、除去モードでは、第３フレームと第４フレームは全面フラッシュ処理を行い、第５フレームと第６フレームの減領域を合成してフラッシュ除去処理を行って出力する。一方、複製モードでは、第４フレームと第５フレームをスルー出力し、その後の出力フレームについては、ＦＢの補正は不要であるため、そのままスルー出力する。

図１３Ｂは、４フレーム以上連続してＦＢが生じ、１フレーム未満のＦＢの中断があった場合におけるＦＢの検出処理と補正処理の例を示す。
本例では、第２フレームから第５フレームにわたりＦＢが生じているが、フラッシュが短時間に連続して焚かれたことにより、第３フレームから第４フレームにわたり、ＦＢが中断する。このＦＢが中断する期間は１フレーム未満の長さである。この場合、フラッシュバンド検出回路１０は、第２フレームから第３フレーム、第４フレームから第５フレームで増領域を検出した部分をＦＢ推定区間として認識する。また、第３フレームから第４フレーム、第５フレーム以降のフラッシュが途切れたＦＢ終了ラインから減領域として認識する。

そして、フラッシュバンド補正回路１７は、除去モードと複製モードのいずれであっても、第１フレームはスルー出力し、第２フレームと第３フレーム、第４フレームと第５フレームはそれぞれ増領域を合成した全面フラッシュ処理を行って出力する。なお、除去モードでは、第３フレームと第４フレームは全面フラッシュ処理を行い、また、第５フレームと第６フレームの減領域を合成してフラッシュ除去処理を行って出力する。一方、複製モードでは、第４フレームと第５フレームをスルー出力し、その後の出力フレームについては、ＦＢの補正は不要であるため、そのままスルー出力する。

図１３Ｃは、４フレーム以上連続してＦＢが生じ、ＦＢの中断がない場合におけるＦＢの検出処理と補正処理の例を示す。
本例では、第２フレームから第５フレームにわたりＦＢが生じているが、フラッシュが長時間にわたって焚かれたことにより、ＦＢの中断がない。この場合、フラッシュバンド検出回路１０は、第２フレームから第５フレームにわたり、増領域を検出した部分をＦＢ推定区間として認識する。また、第５フレームと第６フレームでは、フラッシュが途切れたＦＢ終了ラインから減領域として認識する。

そして、フラッシュバンド補正回路１７は、除去モードと複製モードのいずれであっても、第１フレームはスルー出力し、第２フレームと第３フレーム、第３フレームと第４フレームはそれぞれ増領域を合成して全面フラッシュとして出力する。そして、第４フレーム以降の出力フレームについては、そのままスルー出力する。

図１４は、ＦＢが１フレーム内で完結する場合の出力フレームの例を示す。
図１４には、フラッシュバンド検出回路１０に入力した映像フレームを第１フレームから第４フレームにわたって示している。本例では、第２フレームでＦＢが生じているが、このＦＢが第２フレーム内で完結する。この場合、フラッシュバンド検出回路１０は、第２フレームで増領域を検出した部分をＦＢ推定区間として認識する。また、第３フレームでは、第２フレームで減領域を検出したＦＢ終了ラインから減領域として認識する。

そして、フラッシュバンド補正回路１７は、第１フレームはスルー出力する。除去モードでは、第２フレームと第３フレームを合成してフラッシュ除去処理を行って出力するが、複製モードでは、第２フレームをスルー出力する。その後の出力フレームについては、ＦＢの補正は不要であるため、そのままスルー出力する。

以上説明した一実施の形態に係るフラッシュバンド検出回路１０は、フレーム内に生じたＦＢの開始ライン及び終了ラインを検出することにより、どのフレームにＦＢが生じたかをリアルタイムに検出できる。このため、検出したＦＢだけに適切な補正処理を行うことにより、映像処理に要する時間を減らし、出力フレームをリアルタイムで出力できるという効果がある。

また、２フレームが連続するＦＢに加えて、３フレーム以上連続するＦＢや、１フレーム内で完結するＦＢを検出し、検出したＦＢを補正できる。また、過去フレームから現在フレームにわたってＦＢが発生したことを検出するだけでなく、従来、検出及び補正ができなかった現在フレーム内だけに生じたＦＢを検出できる。フラッシュバンド補正回路１７は、検出したＦＢを補正するため、１フレームだけ、又は複数フレームにわたるＦＢを効果的に補正し、出力フレームの映像品質を向上することができる。

また、フラッシュバンド補正回路１７は、フラッシュバンド検出回路１０によって求められたＦＢ開始／終了判定値に従って、全面フラッシュ処理又はフラッシュ除去処理を用いて、フレーム内で増領域及び減領域に合わせてＦＢ補正できる。このとき、２フレーム以上連続するＦＢの場合は全面フラッシュ化、１フレーム内で完結する場合はフラッシュ除去というように、場合に応じて適切な補正方法が選ばれる。また、現在フレームと過去フレームの間で画素を置き換えるＦＢ補正により、補正後の出力フレームに含まれるフラッシュの映像が補正前のフレームに含まれる本来のフラッシュのレベルから低下しない。また、フラッシュバンド補正回路１７は、任意に除去モード又は複製モードが設定されることにより、ＦＢが生じたフレームをスルー出力することを選択することもできる。

また、フラッシュバンド検出回路１０とフラッシュバンド補正回路１７は、ＦＢの検出、補正に際して、共に、現在フレームとその直前の過去フレームである２フレームのみを参照すればよい。このため、１フレーム分のフレームメモリとして記録部１１を備えればよく、フラッシュバンド処理回路を低コストで実現できる。

＜２．変形例＞
なお、フラッシュバンド検出回路１０は、フレーム内でＦＢを検出後、ＦＢが検出されたフレームの補助データ領域にＦＢが検出されたことを示す符号を付してもよい。フラッシュバンド補正回路１７は、この符号に基づいてＦＢを補正することができる。このため、フラッシュバンド検出回路１０によってＦＢが検出されたフレームを一旦記録部１１に記録した後、フラッシュバンド補正回路１７が記録部１１からフレームを読み出して、符号に従ってＦＢを補正することもできる。

また、従来は、検出したＦＢを補正する方法としては、それぞれ下部と上部にＦＢの存在する２フレームを加算し、平均化する方法が一般的であった。このため、現在フレームと過去フレームに含まれる画素の輝度値を加算し、平均化する方法を用いることで、撮像環境に柔軟に対応することもできる。

また、上述した実施の形態における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。

また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。

また、本開示は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。

なお、本開示は以下のような構成も取ることができる。
（１）ローリングシャッタ方式の撮像素子に含まれる画素がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎のレベルの段差であるフラッシュバンドの開始ライン及び終了ラインを検出するフラッシュバンド検出回路を備える
フラッシュバンド処理回路。
（２）前記フラッシュバンド検出回路は、前記撮像素子が現在出力する現在フレーム内に前記フラッシュバンドが発生したこと又は、前記現在フレームより所定数のフレーム前に前記撮像素子が出力する過去フレームから前記現在フレームにわたって前記フラッシュバンドが発生したことを検出する
前記（１）記載のフラッシュバンド処理回路。
（３）前記フラッシュバンド検出回路は、前記現在フレーム及び前記過去フレームの連続するフレーム間で画素毎にレベルを比較して比較結果を求め、前記比較結果からレベルの変動量が大きい水平ラインを特定し、変動量が大きい連続した前記水平ラインと、変動量が小さい連続した前記水平ラインの境界となるラインを検出することによって、前記フラッシュバンドが発生したことを検出する
前記（２）記載のフラッシュバンド処理回路。
（４）前記現在及び過去フレームの特定の位置に存在する画素の輝度レベルの比をレベル変動率として求め、前記レベル変動率が第１の閾値以上であるか否かを示すレベル変動量を変動量判定値として求めるレベル比較部と、
前記レベル変動率が第１の閾値以上である前記変動量判定値を、前記現在フレームの水平方向にわたる前記ラインに含まれる前記画素毎に積分して求めた水平方向積分値が第２の閾値以上であるか否かを示す積分値判定値として求め、前記積分値が正又は負のいずれの符号であるかを示す積分値符号を求める水平方向積分部と、
前記積分値判定値及び前記積分値符号に基づいて、前記積分値符号が正である場合に、前記過去フレームに比べて前記現在フレームに含まれる画素の輝度が増加する増領域であると判定した増領域判定値を出力し、前記積分値符号が負である場合に、前記過去フレームに比べて前記現在フレームに含まれる画素の輝度が減少する減領域であると判定した減領域判定値を出力する領域判定部と、
前記増領域判定値を垂直方向のライン毎に積分して得た増領域判定値積分値が第３の閾値以上である場合に、前記フレーム内で前記フラッシュバンドが開始したことを示すフラッシュバンド開始判定値を出力し、前記減領域判定値を垂直方向のライン毎に積分して得た減領域判定値積分値が第４の閾値以上である場合に、前記フレーム内で前記フラッシュバンドが終了したことを示すフラッシュバンド終了判定値を出力する垂直方向積分部と、
前記フレームのライン周期及びフレーム周期に基づき、前記ライン周期及びフレーム周期に従って、前記フラッシュバンド開始判定値及び前記フラッシュバンド終了判定値を一定期間保持し、前記フラッシュバンド開始判定値から前記フラッシュバンドの開始ラインを判定したフラッシュバンド開始ライン判定値を出力し、前記フラッシュバンド終了判定値から前記フラッシュバンドの終了ラインを判定したフラッシュバンド終了ライン判定値を前記領域判定部に出力する判定保持部と、を備える
前記（３）記載のフラッシュバンド処理回路。
（５）前記水平方向積分部は、垂直方向に隣り合う前記ラインに含まれ、水平方向に同じ位置にある前記画素毎に、一方の前記変動量判定値から他方の前記変動量判定値を減じた結果を積分した積分値が、第５の閾値以上であるか否かを示す第２の積分値判定値を求め、前記積分値が正又は負のいずれの符号であるかを示す第２の積分値符号を求め、
前記領域判定部は、前記第２の積分値判定値及び第２の積分値符号より、前記フレーム内の垂直方向の高周波成分の有無を判定して、前記フラッシュ光による前記フラッシュバンドの有無を検出する
前記（４）記載のフラッシュバンド処理回路。
（６）前記フラッシュバンドが検出された前記フレームの補助データ領域に前記フラッシュバンドが検出されたことを示す符号を付す
前記（１）〜（５）のいずれかに記載のフラッシュバンド処理回路。
（７）さらに、前記フラッシュバンド開始判定値及び前記フラッシュバンド終了判定値に基づいて、前記フレーム内に生じた前記フラッシュバンドを補正した出力フレームを出力するフラッシュバンド補正部を備える
前記（１）〜（６）のいずれかに記載のフラッシュバンド処理回路。
（８）前記フラッシュバンド補正部は、前記現在フレーム及び前記過去フレームに含まれる画素の輝度値を比較して、前記輝度値が大きい方の画素に置き換えた前記出力フレームを出力する
前記（７）記載のフラッシュバンド処理回路。
（９）前記フラッシュバンド補正部は、前記現在フレーム及び前記過去フレームに含まれる画素の輝度値を比較して、前記輝度値が小さい方の画素に置き換えた前記出力フレームを出力する
前記（７）又は（８）記載のフラッシュバンド処理回路。
（１０）前記フラッシュバンド補正部は、前記過去フレームを複製した前記出力フレームを出力する
前記（７）〜（９）のいずれかに記載のフラッシュバンド処理回路。
（１１）前記フラッシュバンド補正部は、前記現在フレーム及び前記過去フレームに含まれる画素の輝度値を加算し、平均化した前記出力フレームを出力する
前記（７）〜（１０）のいずれかに記載のフラッシュバンド処理回路。
（１２）ローリングシャッタ方式の撮像素子に含まれる画素がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎のレベルの段差であるフラッシュバンドの開始ライン及び終了ラインを検出するステップを含む
フラッシュバンド処理方法。
（１３）ローリングシャッタ方式の撮像素子に含まれる画素がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎のレベルの段差であるフラッシュバンドの開始ライン及び終了ラインを検出するフラッシュバンド検出回路と、
前記フレーム内に生じた前記フラッシュバンドがない映像に補正した出力フレームを出力するフラッシュバンド補正回路と、を備える
撮像装置。
（１４）ローリングシャッタ方式の撮像素子に含まれる画素がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎のレベルの段差であるフラッシュバンドの開始ライン及び終了ラインを検出するステップと、
前記フレーム内に生じた前記フラッシュバンドがない映像に補正した出力フレームを出力するステップと、を含む
撮像処理方法。

１…撮像装置、２…撮像部、３…映像信号処理回路、１０…フラッシュバンド検出回路、１１…記録部、１２…レベル比較部、１３…水平方向積分部、１４…領域判定部、１５…垂直方向積分部、１６…判定保持部、３１…撮像系補正部、３２…ゲイン調整部、３３…ニー補正部、３４…ガンマ補正部、３５…出力信号生成部

Claims (14)

1. ローリングシャッタ方式の撮像素子に含まれる画素がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎のレベルの段差であるフラッシュバンドの開始ライン及び終了ラインを検出するフラッシュバンド検出回路を備える
   フラッシュバンド処理回路。
2. 前記フラッシュバンド検出回路は、前記撮像素子が現在出力する現在フレーム内に前記フラッシュバンドが発生したこと又は、前記現在フレームより所定数のフレーム前に前記撮像素子が出力する過去フレームから前記現在フレームにわたって前記フラッシュバンドが発生したことを検出する
   請求項１記載のフラッシュバンド処理回路。
3. 前記フラッシュバンド検出回路は、前記現在フレーム及び前記過去フレームの連続するフレーム間で画素毎にレベルを比較して比較結果を求め、前記比較結果からレベルの変動量が大きい水平ラインを特定し、変動量が大きい連続した前記水平ラインと、変動量が小さい連続した前記水平ラインの境界となるラインを検出することによって、前記フラッシュバンドが発生したことを検出する
   請求項２記載のフラッシュバンド処理回路。
4. 前記現在及び過去フレームの特定の位置に存在する画素の輝度レベルの比をレベル変動率として求め、前記レベル変動率が第１の閾値以上であるか否かを示すレベル変動量を変動量判定値として求めるレベル比較部と、
   前記レベル変動率が第１の閾値以上である前記変動量判定値を、前記現在フレームの水平方向にわたる前記ラインに含まれる前記画素毎に積分して求めた水平方向積分値が第２の閾値以上であるか否かを示す積分値判定値として求め、前記積分値が正又は負のいずれの符号であるかを示す積分値符号を求める水平方向積分部と、
   前記積分値判定値及び前記積分値符号に基づいて、前記積分値符号が正である場合に、前記過去フレームに比べて前記現在フレームに含まれる画素の輝度が増加する増領域であると判定した増領域判定値を出力し、前記積分値符号が負である場合に、前記過去フレームに比べて前記現在フレームに含まれる画素の輝度が減少する減領域であると判定した減領域判定値を出力する領域判定部と、
   前記増領域判定値を垂直方向のライン毎に積分して得た増領域判定値積分値が第３の閾値以上である場合に、前記フレーム内で前記フラッシュバンドが開始したことを示すフラッシュバンド開始判定値を出力し、前記減領域判定値を垂直方向のライン毎に積分して得た減領域判定値積分値が第４の閾値以上である場合に、前記フレーム内で前記フラッシュバンドが終了したことを示すフラッシュバンド終了判定値を出力する垂直方向積分部と、
   前記フレームのライン周期及びフレーム周期に基づき、前記ライン周期及びフレーム周期に従って、前記フラッシュバンド開始判定値及び前記フラッシュバンド終了判定値を一定期間保持し、前記フラッシュバンド開始判定値から前記フラッシュバンドの開始ラインを判定したフラッシュバンド開始ライン判定値を出力し、前記フラッシュバンド終了判定値から前記フラッシュバンドの終了ラインを判定したフラッシュバンド終了ライン判定値を前記領域判定部に出力する判定保持部と、を備える
   請求項３記載のフラッシュバンド処理回路。
5. 前記水平方向積分部は、垂直方向に隣り合う前記ラインに含まれ、水平方向に同じ位置にある前記画素毎に、一方の前記変動量判定値から他方の前記変動量判定値を減じた結果を積分した積分値が、第５の閾値以上であるか否かを示す第２の積分値判定値を求め、前記積分値が正又は負のいずれの符号であるかを示す第２の積分値符号を求め、
   前記領域判定部は、前記第２の積分値判定値及び第２の積分値符号より、前記フレーム内の垂直方向の高周波成分の有無を判定して、前記フラッシュ光による前記フラッシュバンドの有無を検出する
   請求項４記載のフラッシュバンド処理回路。
6. 前記フラッシュバンドが検出された前記フレームの補助データ領域に前記フラッシュバンドが検出されたことを示す符号を付す
   請求項５記載のフラッシュバンド処理回路。
7. さらに、前記フラッシュバンド開始判定値及び前記フラッシュバンド終了判定値に基づいて、前記フレーム内に生じた前記フラッシュバンドを補正した出力フレームを出力するフラッシュバンド補正部を備える
   請求項６記載のフラッシュバンド処理回路。
8. 前記フラッシュバンド補正部は、前記現在フレーム及び前記過去フレームに含まれる画素の輝度値を比較して、前記輝度値が大きい方の画素に置き換えた前記出力フレームを出力する
   請求項７記載のフラッシュバンド処理回路。
9. 前記フラッシュバンド補正部は、前記現在フレーム及び前記過去フレームに含まれる画素の輝度値を比較して、前記輝度値が小さい方の画素に置き換えた前記出力フレームを出力する
   請求項７記載のフラッシュバンド処理回路。
10. 前記フラッシュバンド補正部は、前記過去フレームを複製した前記出力フレームを出力する
    請求項７記載のフラッシュバンド処理回路。
11. 前記フラッシュバンド補正部は、前記現在フレーム及び前記過去フレームに含まれる画素の輝度値を加算し、平均化した前記出力フレームを出力する
    請求項７記載のフラッシュバンド処理回路。
12. ローリングシャッタ方式の撮像素子に含まれる画素がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎のレベルの段差であるフラッシュバンドの開始ライン及び終了ラインを検出するステップを含む
    フラッシュバンド処理方法。
13. ローリングシャッタ方式の撮像素子に含まれる画素がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎のレベルの段差であるフラッシュバンドの開始ライン及び終了ラインを検出するフラッシュバンド検出回路と、
    前記フレーム内に生じた前記フラッシュバンドがない映像に補正した出力フレームを出力するフラッシュバンド補正回路と、を備える
    撮像装置。
14. ローリングシャッタ方式の撮像素子に含まれる画素がフレーム毎に出力する映像信号のライン毎の露光期間の違いにより、フラッシュ光によって前記フレーム内に生じた前記ライン毎のレベルの段差であるフラッシュバンドの開始ライン及び終了ラインを検出するステップと、
    前記フレーム内に生じた前記フラッシュバンドがない映像に補正した出力フレームを出力するステップと、を含む
    撮像処理方法。

Images