JP2015139028A - 撮像装置 - Google Patents

Abstract

【課題】フラッシュバンド検出に際し、画像フレームの画面下部の輝度平均レベルを算出し、前フレームと現在フレームとのフレーム間の輝度差のみで、フラッシュバンドと判断しているため、撮影画角内の画面下に輝度の高い被写体が入ってきたような被写体状況によってはフラッシュバンド検出と誤判定をする問題があった。【解決手段】ローリングシャッター方式で読み出しを行う撮像手段と、ライン方向の輝度を算出する輝度算出手段と、前記輝度算出手段によって算出されたライン方向の輝度に基づいて、フレーム間の輝度が所定の閾値以上高い領域が帯状に存在するか否かを判定するフレーム間輝度差判定手段と、ホワイトバランスにおける白基準ブロックを検出する白基準検出手段と、前記白基準検出手段の輝度変化を判定する輝度変化判定手段と、前記白基準検出手段の色情報の変化を判定する色情報変化判定手段と、を備える。【選択図】 図１

Description

本発明は、撮像装置及びその制御方法に関し、詳しくは、動画撮影時に撮像装置の外部からの閃光等による撮影画像におよぼされる影響の低減に関するものである。

ＣＭＯＳセンサを用いた撮像装置においては、２次元状に電荷蓄積素子が配列された撮像素子に各ライン毎に異なるタイミングで電荷蓄積を開始させるとともに、所定の電荷蓄積時間の経過後に各ライン毎に画像信号を読み出すローリングシャッタ方式が採用されている。

前述のローリングシャッタ方式は、各ライン毎に画像信号を読み出す時間が異なるという特徴があるため、フラッシュやストロボのような非常に発光時間の短い照明光があると、画面上下で半分だけ明るく、半分だけ暗いというような現象が発生する。この現象をフラッシュバンドと呼んでいる。

フラッシュバンドの検出に関して、特許文献１に記載の発明によれば画面のライン方向の輝度を算出し、フレーム間の輝度差が所定の閾値以上高い領域が帯状に存在した場合にフラッシュバンドと判定し補正を行う方法が開示されている。

特許文献１は、画像フレームの画面下部の輝度平均レベルを算出し、フレーム間を比較してフラッシュバンド検出を行うことを可能としている。

特開２０１１−０６６５６７号公報

しかしながら、上記従来例では、画像フレームの画面下部の輝度平均レベルを算出し、前フレームと現在フレームとのフレーム間の輝度差のみで、フラッシュバンドと判断しているため、撮影画角内の画面下に輝度の高い被写体が入ってきたような被写体状況によってはフラッシュバンドと誤判定をする問題があった。

従って、本出願に係る目的は、撮影画角内の画面下に輝度が高い被写体が入ってきたような被写体状況において、高輝度被写体が外部閃光と誤判定するフラッシュバンド検出の誤検出を低減することにある。

上記目的を達成するため、本出願に係る発明は、
ローリングシャッター方式で読み出しを行う撮像手段と、
ライン方向の輝度を算出する輝度算出手段と、
前記輝度算出手段によって算出されたライン方向の輝度に基づいて、フレーム間の輝度が所定の閾値以上高い領域が帯状に存在するか否かを判定するフレーム間輝度差判定手段と、
ホワイトバランスにおける白基準ブロックを検出する白基準検出手段と、
前記白基準検出手段の輝度変化を判定する輝度変化判定手段と、
前記白基準検出手段の色情報の変化を判定する色情報変化判定手段と、を備え、
前記フレーム間輝度差判定手段によって帯状に輝度レベルの高い領域があると判定された場合に、前記白基準検出手段によって輝度レベルの高い領域内に白基準ブロックの有無を検出し、
前記白基準検出手段の検出結果に基づき、白基準ブロックの輝度変化と色情報変化とから、外部からの照射光が閃光であると判断することを特徴とする。

以上説明したように、本出願に係る発明によれば、撮影画角内の画面下に輝度の高い被写体が入ってきた場合であっても、高輝度被写体が外部からの閃光と誤判定せず、フラッシュバンド検出の誤検出を低減する効果がある。

本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。 本発明の閃光検出処理部の構成を示すブロック図である。 フラッシュバンドの検出方法を説明する図である。 本発明のフラッシュバンド検出の検出エリアを説明する図である。 撮像素子のＲＧＢの露光量に対する飽和レベルを示す図である。 色相と彩度の変化を示す図である。 本発明のフラッシュバンド検出の動作を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

＜実施形態＞
図１は、本発明の実施形態に係る撮像装置の構成を示すブロック図である。

図１において、１０は画像を撮影する撮像装置、１１は前記撮像装置に備える撮影レンズ、撮像素子およびアナログ／デジタル変換器を含む撮像部、１２は前記撮像部１１からの出力に所定の信号処理を施し、カメラ信号として出力するカメラ信号処理部、１３は前記撮像装置にて撮影中に、被写体に向けて照射される閃光を、前記撮像部１１からの出力から検出する閃光検出処理部、１４は前記撮像装置１０本体を制御するマイクロコンピュータ（以下、マイコン）である。

次に、閃光検出処理部１３の構成について図２を用いて説明する。

図２において、１３１は前記撮像部１１から入力される画像信号からライン方向の輝度を算出する輝度算出部、１３２は前記輝度算出部１３１によって算出されたライン方向の輝度に基づいて、フレーム間の輝度が所定の閾値以上高い領域が帯状に存在するか否かを判定するフレーム間輝度差判定部、１３３は前記フレーム間輝度差判定部１３２の判定結果によって、フレームに帯状の高輝度領域があった場合に、その領域内にホワイトバランスにおける白基準ブロックの有無を判定する白基準ブロック判定部、１３４は前記白基準ブロック判定部の判定結果から前記白基準ブロック内の輝度変化を判定する輝度変化判定部、１３５は前記白基準ブロック判定部の判定結果から前記白基準ブロック内の色情報変化を判定する色情報変化判定部、１３６は前記輝度変化判定部１３４の出力と、前記色情報変化判定部１３５の出力を論理演算した結果を閃光検出信号として出力するアンド回路である。

次に、前述の２つの構成例においての動作を説明する。

撮像部１１は撮影レンズ、撮像素子、アナログ／デジタル変換器（以下、Ａ／Ｄ変換器）を有し、撮影レンズによって結像された被写体像を撮像素子によって光電変換し、Ａ／Ｄ変換器によってアナログ信号からデジタル信号へ変換され、電気信号としてカメラ信号処理部１２へ出力する。カメラ信号処理部１２は、撮像部１１からの出力にガンマ補正、ホワイトバランス処理等所定の信号処理を施した信号を出力する。カメラ信号処理部１２での所定の信号処理のためのパラメータ等は不図示のメモリに格納されており、マイコン１４によって呼び出され、適正に信号処理がなされるようになっている。また、カメラ信号処理部１２からの出力は、後段の記録部へ出力し、記録媒体に記録する。また、撮影時のモニターのための表示部へも出力される。

次に、閃光検出処理部１３の動作について説明する。

輝度算出部１３１は、撮像部１１から入力される画像信号からライン方向の輝度を算出し、算出結果をフレーム間輝度差判定部１３２に出力する。フレーム間輝度差判定部１３２は、輝度算出部１３１によって算出されたライン方向の輝度に基づいて、フレーム間に所定の閾値以上の高輝度領域が帯状に存在するか否かを判定し、その判定結果を白基準ブロック判定部１３３へ出力する。白基準ブロック判定部１３３は、フレーム間輝度差判定部１３２の判定結果に基づき、帯状の高輝度領域が存在する場合は、その領域内にホワイトバランスにおける白基準ブロックの有無を判定し、その結果を輝度変化判定部１３４と色情報変化判定部１３５に出力する。輝度変化判定部１３４は、白基準ブロック判定部１３３の判定結果に基づき、前述の帯状の高輝度領域内に白基準ブロックが有る場合に、白基準ブロック内の輝度変化を判定し、その結果を出力する。

また、色情報変化判定部１３５は、白基準ブロック判定部１３３の判定結果に基づき、前述の帯状の高輝度領域内に白基準ブロックが有る場合に、白基準ブロック内の色情報の変化を判定し、その結果を出力する。アンド回路１３６は、輝度変化判定部１３４の判定結果と、色情報変化判定部１３５の判定結果の論理積を閃光検出信号として、マイコン１４へ出力する。

マイコン１４は、アンド回路１３６からの外部照射光が閃光であるとの信号処理を受けると、所定のフラッシュバンド補正処理を施すようにカメラ信号処理部１２を制御する。

次にフラッシュバンドの検出について図３を用いて説明する。

図３はフラッシュバンドの検出方法を示しており、図３において、横軸が時間、縦軸が垂直方向ライン数として表している。また、外部閃光の照射タイミングと、外部閃光の照射時の画像信号出力と、フレーム間輝度差検出結果を示したものである。

図３では第２フレームと第３フレームの蓄積期間中に外部閃光が照射されている。外部閃光が照射時の出力画像は第２フレームでは画面下部が帯状に輝度が高くなり、第３フレームでは画面上部が帯状に輝度が高くなっており、第２フレーム、第３フレーム共に、帯状に輝度が高くなるフラッシュバンドが発生している。

フラッシュバンドの検出に関しては、前後フレームのライン方向の輝度平均値を算出し、算出した前後フレームの輝度平均値と対象のフレームの輝度のレベル差を算出し、輝度差が閾値ｔｈを超えたラインが連続した場合はフラッシュバンドが発生したと判定し、検出する。

上記の検出方法では、撮影画角内の画面下部に高輝度被写体が入ってきたような被写体状況では、フラッシュバンドが発生していない場合でもフラッシュバンドが発生したと誤判定してしまう問題がある。

そこで、フラッシュバンド検出の誤判定を低減するために、フレーム間の輝度差レベルが閾値ｔｈを超えた領域にホワイトバランスにおける白基準ブロックの有無を判定し、白基準ブロックが有る場合に、白基準ブロックの輝度と色情報の両方の状態を判定することで、よりフラッシュバンド検出の確度を向上させるのである。

図４は、フレーム間の輝度差レベルによってフラッシュバンド検出が行われる際の出力画像信号である。第１フレーム出力画像から第３フレーム出力画像内には、ホワイトバランスにおける白基準ブロックが各々存在している一例を示したものである。図４において、白基準ブロック４１１、４２１、４３１、白基準ブロック４１２，４２２，４３２、白基準ブロック４１３，４２３，４３３は同じであるが、フレームによる違いを十の位の数字で示している。

第２フレーム出力画像の４２１、４２３、第３フレーム出力画像の４３２が各フレーム間の輝度差が閾値ｔｈ以上に存在する白基準ブロックである。これらの輝度変化と色情報変化を判定した結果が、輝度が高くなり、色情報に変化があるとの判定された場合に、撮影画像に外部からの閃光が照射されたと判定するのである。

白基準ブロックの輝度変化に関して、図５を用いて説明する。図５は、撮像素子のＲＧＢの各素子の露光量に対する飽和レベルを示している。白基準ブロックの輝度変化は、例えば、撮像素子のＲＧＢの各素子の輝度変化によって判定する。図５に示すように、ＲＧＢの各素子の飽和レベルには差があるので、Ｇ素子が飽和していても、Ｂ素子、Ｒ素子の２成分の輝度変化で外部からの閃光の照射の有無を判定することが可能である。全画素が飽和していた場合は、輝度変化があったものと判断し、後述する色情報の判定結果とから、外部からの閃光の照射と判定することとしている。

白基準ブロックの色情報の変化に関して、図６を用いて説明する。図６は、色相と彩度の変化を示している。白基準ブロックの色情報の変化は、例えば、色相の変化の有無を判定すればよく、図６に示すように、外部からの閃光がない場合の色相と彩度が６０１とした場合、閃光が照射された場合は６０２となり、色相がθ変化し、また、光が当たることによって彩度も変化することから外部からの閃光が照射されたと判定することが可能である。本発明では、色情報の変化を色相で判定するとしているが、色温度の変化としてもよい。

次に、閃光検出部１３がフラッシュバンドを検出する動作を図７のフローチャートを用いて説明する。

図７は本発明の実施形態である撮像装置１０の撮影時におけるフラッシュバンド検出を行う処理を示している。処理が開始されるとまず、ステップＳ７０１で輝度レベルを算出するライン数を設定し、ステップＳ７０２へ進む。

次に、ステップＳ７０２では、算出された輝度レベルのフレーム間差を検出し、ステップＳ７０３に進む。

次に、ステップＳ７０３では、検出されたフレーム間の輝度差が所定の閾値以上か否かを判定する。輝度差が所定の閾値以上の場合は（ｙｅｓ）、ステップＳ７０４へ進み、輝度差が所定の閾値以下の場合は（ｎｏ）、ステップＳ７１０へ進む。ステップＳ７１０へ進んだ場合は、ステップＳ７１０で検出ラインを１繰り上げて、ステップＳ７０１へ進み、処理を継続する。ステップＳ７０４へ進んだ場合は、該当ラインに白基準ブロックの有無を判定する。白基準のブロックが有る場合は（ｙｅｓ）、ステップＳ７０５へ進み、白基準ブロックがない場合は（ｎｏ）、ステップＳ７０８へ進む。

ステップＳ７０８へ進んだ場合は、撮影画角内の画面下の輝度変化が外部からの閃光でないものとして、フラッシュバンド検出をＯＦＦにする。フラッシュバンド検出ＯＦＦ信号は、閃光検出部１３からマイコン１４に出力され、マイコン１４からの処理指示に基づいて、カメラ信号処理部１２ではフラッシュバンド補正が施されないこととなる。フラッシュバンド検出をＯＦＦにしたら、ステップＳ７０９へ進む。ステップＳ７０９では、検出ライン数が最大に達したか否かを判定する。最大に達していた場合は（ｙｅｓ）、処理を終了する。検出ライン数が最大未満の場合は（ｎｏ）、ステップＳ７１０に戻り、検出ラインを１繰り上げて、ステップＳ７０１に進み、処理を継続する。

次に、ステップＳ７０４で該当ラインに白基準ブロックがあった場合は（ｙｅｓ）、ステップＳ７０５へ進み、白基準ブロックの輝度と色情報に変化があったか否かを判定する。具体的には、白基準ブロックの輝度が高くなり、色相が変化しているかを判定している。

輝度と色情報に変化があった場合は（ｙｅｓ）、ステップＳ７０６へ進み、フレーム間の輝度差が所定の閾値より大きくなたエリアにある白基準ブロックの輝度が高く、色相が変化しているため、外部からの閃光がストロボの照射光であるとして、フラッシュバンド検出をＯＮにする。フラッシュバンド検出ＯＮ信号は、閃光検出部１３からマイコン１４に出力され、マイコン１４からの処理指示に基づいて、カメラ信号処理部１２でフラッシュバンド補正が施されることとなる。フラッシュバンド検出をＯＮにしたら、ステップＳ７０９へ進む。

次に、ステップＳ７０９へ進んだ場合は、検出ライン数が最大に達したか否かを判定する。最大に達していた場合は（ｙｅｓ）、処理を終了する。検出ライン数が最大未満の場合は（ｎｏ）、ステップＳ７１０に戻り、検出ラインを１繰り上げて、ステップＳ７０１に進み、処理を継続する。

次に、ステップＳ７０５で白基準ブロックの輝度と色情報に変化がなかったと判定された場合は（ｎｏ）、ステップＳ７０７へ進む。ステップＳ７０７では、撮影画角内の画面下の輝度変化が外部からの閃光でないものとして、フラッシュバンド検出をＯＦＦにする。フラッシュバンド検出ＯＦＦ信号は、閃光検出部１３からマイコン１４に出力され、マイコン１４からの処理指示に基づいて、カメラ信号処理部１２ではフラッシュバンド補正が施されないこととなる。

フラッシュバンド検出をＯＦＦにしたら、ステップＳ７０９へ進む。ステップＳ７０９では、検出ライン数が最大に達したか否かを判定する。最大に達していた場合は（ｙｅｓ）、処理を終了する。検出ライン数が最大未満の場合は（ｎｏ）、ステップＳ７１０に戻り、検出ラインを１繰り上げて、ステップＳ７０１に進み、処理を継続する。

以上説明したように、本出願に係る発明によれば、撮影画角内の画面下に輝度の高い被写体が入ってきた場合であっても、高輝度被写体が外部閃光であると誤判定せず、フラッシュバンド検出の誤検出が低減可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

１０‥‥撮像装置
１１‥‥撮像部
１２‥‥映像信号処理部
１３‥‥閃光検出処理部
１４‥‥本体制御処理部（マイコン）
１３１‥‥輝度算出部
１３２‥‥フレーム間輝度差判定部
１３３‥‥白基準ブロック判定部
１３４‥‥輝度変化判定部
１３５‥‥色情報変化判定部
１３６‥‥アンド回路
４１１‥‥白基準ブロック
４１２‥‥白基準ブロック
４１３‥‥白基準ブロック
４２１‥‥白基準ブロック
４２２‥‥白基準ブロック
４２３‥‥白基準ブロック
４３１‥‥白基準ブロック
４３２‥‥白基準ブロック
４３３‥‥白基準ブロック
６０１‥‥色相１
６０２‥‥色相２

Claims (3)

1. ローリングシャッター方式で読み出しを行う撮像手段と、
   ライン方向の輝度を算出する輝度算出手段と、
   前記輝度算出手段によって算出されたライン方向の輝度に基づいて、フレーム間の輝度が所定の閾値以上高い領域が帯状に存在するか否かを判定するフレーム間輝度差判定手段と、
   ホワイトバランスにおける白基準ブロックを検出する白基準検出手段と、
   前記白基準検出手段の輝度変化を判定する輝度変化判定手段と、
   前記白基準検出手段の色情報の変化を判定する色情報変化判定手段と、を備え、
   前記フレーム間輝度差判定手段のによって帯状に輝度レベルの高い領域があると判定された場合に、前記白基準検出手段によって輝度レベルの高い領域内に白基準ブロックの有無を検出し、
   前記白基準検出手段の検出結果に基づき、白基準ブロックの輝度変化と色情報変化とから、外部からの照射光が閃光であると判断することを特徴とする撮像装置。
2. 前記色情報変化判定手段によって判定される色情報は、色相であることを特徴とする請求項１に記載の撮像装置。
3. 前記色情報変化判定手段によって判定される色情報は、色温度であることを特徴とする請求項１に記載の撮像装置。