JP2017063245A - 撮像装置 - Google Patents

Abstract

【課題】車のヘッドライトのような一過性の外乱発生時でも、状況に応じて適切なデイナイトモードを選択することで、不必要なデイナイトモード変更の回数を減らすことができる撮像装置を提供する。【解決手段】撮像手段１０１、露出制御手段１０２、ブロック毎の輝度を算出する輝度算出手段１０７、輝度判定手段１０８、画像データの出力をデイモード（カラー）またはナイトモード（白黒）の何れかに切り替える切り替え手段、撮像手段からの出力に基づいてデイナイト切り替え評価値を算出するデイナイト切り替え評価値算出手段１０３、および、デイナイト切り替え評価値とデイナイト切り替え閾値の比較結果に基づいてデイナイトの切り替えを判定する手段１０４とを有し、切り替え判定手段でナイトモードからデイモードに切り替えると判定された場合で、かつ輝度が所定以上と判定され、かつ動きが検出されているときはナイトモードを維持する。【選択図】図１

Description

本発明は、撮像装置、その制御方法およびプログラムに関し、特に被写体の明るさに応じて自動でデイナイトモードの変更をする機能に関する。

近年の監視カメラにおいて、被写体の明るさに応じて赤外カットフィルター(以下、ＩＲＣＦ)を光路上から挿脱し、カラー画像（デイモード）と白黒画像（ナイトモード）を明るさに応じて自動で切り替えるオートデイナイト機能（以下、ＡＤＮ）が主流になってきている。

光路上からＩＲＣＦを抜くことで撮像素子に受光する光の赤外領域の成分が増加するので、ナイトモード時に最低被写体照度を向上させることが可能となる。また、ＩＲＣＦを光路上から挿抜する機構を設けずに、被写体の明るさに応じて画像処理のカラー白黒出力および最大利得を変更する簡易ＡＤＮという機能も、小型の監視カメラにおいては主流になっている。

しかしながら、夜間の道路などを撮影していると、車のヘッドライト等の高輝度被写体の影響で撮影画像が明るくなりデイモードになった後、車が通り過ぎて撮影画像が暗くなり再度ナイトモードになるということを繰り返してしまう問題がある。一方で、夜間の高輝度被写体としては街灯や室内灯があるが、固定でその場の環境の明るさに影響する光源の場合は、即座にデイモードに切り替わるほうがカラー撮影の期間を長くすることができる。

よって、車のヘッドライトのような移動する高輝度被写体と街灯や室内灯のような固定の高輝度被写体を区別してデイナイトモードの切り替えを判断しなければならない。さらに、デイナイトモードの切り替えの判定時間をユーザーが設定できる撮像装置があるが、シーンによらず固定の時間で設定されてしまうため、一過性の外乱の多いシーンにおいて、ユーザーが余裕をみて安定時間を長めに設定した場合は、即座にデイナイトモードを切り替えていい場合でも必ず安定時間が経過しないと所望のデイナイトモードに切り替わらないといった課題もある。

また、近年では様々な状況に応じて好適にデイナイトの切り替えを行う技術が開示されている。特許文献に記載された撮像装置では、外乱情報を取得してデイナイトの切り替えに用いる露出データに重みづけをする方法が開示されている。

特開２０１４−１２１０２８号公報

夜間、車などを撮影していると、ヘッドライト等の部分的な明るさに引っ張られて、本来はナイトモードで撮影していても、カメラが明るくなったと誤判定してしまい、デイモードになってしまうといった問題がある。また、部分的に明るいものとしては街灯があるが、街灯の場合は固定でその場の環境の明るさに影響するためにデイモードに切り替わって問題がないので、ヘッドライトのような移動光源と街灯のような固定光源を区別して環境光を判断しなければならないといった課題がある。さらに、デイナイトの切り替えの判定時間をユーザーが設定できるが、シーンによらず一定の時間のため、判定時間を短く設定していた場合は切り換えが頻繁に起こってしまう場合がある。

本発明は、車のヘッドライトのような一過性の外乱発生時でも、状況に応じて適切なデイナイトモードを選択することで、安定時間をユーザーが設定することなく不必要なデイナイトモード変更の回数を減らすことができる撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る撮像装置は、
被写体を撮像するための光学素子および撮像素子を含む撮像手段と、
前記撮像手段によって撮像される被写体画像の露出を制御する露出制御手段と、前記被写体画像を複数のブロックに分割して前記ブロック毎の輝度を算出する輝度算出手段と、
前記輝度算出手段で算出された輝度が所定以上かどうかを判定する輝度判定手段と、
前記被写体画像の画像データの出力をデイモード（カラー）またはナイトモード（白黒）の何れかに切り替える切り替え手段と、
前記撮像手段からの出力に基づいてデイナイト切り替え評価値を算出するデイナイト切り替え評価値算出手段と、
前記デイナイト切り替え評価値とデイナイト切り替え閾値の比較結果に基づいて前記切り替え手段による前記被写体画像のデイナイトの切り替えを判定する判定手段と、を有し、
前記切り替え判定手段でナイトモードからデイモードに切り替えると判定された場合で、かつ輝度判定手段で輝度が所定以上と判定され、かつ前記動き検出手段で動きが検出されているときはナイトモードを維持することを特徴とする。

本発明によれば、車のヘッドライトのような一過性の外乱発生時でも、状況に応じて適切なデイナイトモードを選択することで、安定時間をユーザーが設定することなく不必要なデイナイトモード変更の回数を減らすことができる撮像装置の提供を実現できる。

第１の実施例に係るカメラの構成を示す図である。 第１の実施例に係るカメラの撮像部の構成を示す図である。 第１の実施例に係るカメラの処理を示すフローチャートである。 第２の実施例に係るカメラの構成を示す図である。 第２の実施例に係るカメラの処理を示すフローチャートである。 第２の実施例に係る、画角がワイド側のときの撮影画像の例をしめした図である。 第２の実施形例に係る、画角がテレ側のときの撮影画像の例をしめした図である。 第２の実施例に係る画角に応じた、輝度判定および動き判定の閾値の対応例を示したテーブルである。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。以下では、撮像装置としてカメラを用いる場合について説明する。

図１は第１の実施形態に係るカメラの構成を示す図である。

カメラは、外部から光をとり込んで、撮像部１０１で撮像を行う。撮像部１０１の出力からデイナイトモードを切り替ええるための基準光量を評価値として算出するデイナイト切り替え評価値算出部１０４を備える。デイナイト切り替え評価値と予め決められたデイナイト切り替えの閾値とを比較判定するデイナイト切り替え判定部１０５を備える。デイナイト切り替え判定部で判定された結果に基づいて、画像処理部１０６でカラー画像または白黒画像を出力する。画像処理部１０６から出力された画像を出力部１０７で外部に出力する。

また、露出制御部１０３で露出が決定された画像データに対して、複数のブロックに分割して、各ブロック単位で輝度を算出する輝度算出部１０８を備える。ここでの輝度算出はブロック内の平均輝度でもよいし重みづけ平均でもよいし、他のブロックの画像内の位置関係で重みづけをしてもよい。輝度算出部１０８で、各ブロック毎の輝度値が所定以上があるかどうかを判定する輝度判定部１０９を備える。さらに、露出制御１０３で露出が決定された画像データに対して、動きを検出する動き検出部１１０を備える。動き検出部１１０ではフレーム間差分や動きベクトルの検出を行う。

ここで、図２は撮像部１０１の詳細な構成を示した図である。

撮像部１０１は、数枚のレンズ群からなるレンズ２０１、図示しない駆動部を有すると共に駆動部によってレンズ２０１に対して挿抜される赤外光除去フィルタ（Infrared Ray Cut Filter：ＩＲＣＦ）２０２、ＣＣＤ、ＣＭＯＳなどの撮像素子２０３を備える。また、撮像部１０２は、雑音軽減を行う相関二重サンプリング（Correlated Double Sampling：ＣＤＳ）回路２０４を備える。また、撮像部１０２は、カメラの利得制御を自動で行うゲインコントロールアンプ回路（Automatic Gain Control：ＡＧＣ）２０５を備える。また、撮像部１０２は、アナログ信号をデジタル信号へと変換を行うＡ／Ｄ変換２０６を備える。

上述した各構成要素の動作について詳しく説明を行う。まず、撮像部１０１について、図１および図２を用いて詳しく説明を行う。

撮像素子２０３は、撮像光学系としてのレンズ２０１およびＩＲＣＦ２０２を介して結像された被写体像を電気信号に変換する。ＣＤＳ回路２０４は、撮像素子２０３から出力された電気信号に対して相関二重サンプリング処理などを実施する。ＡＧＣアンプ２０５は、ＣＤＳ回路２０４から出力された電気信号に対して増幅処理などを行う。Ａ／Ｄ変換２０６は、ＡＧＣアンプ２０５により増幅処理されたアナログ信号をデジタル信号へと変換する。

カラー画像おまたは白黒画像の切り替えをするために、撮像部１０１より出力された、絞り・シャッタースピード・ゲイン等の撮像条件から、デイナイト切り替え評価値算出部１０４において、デイナイト切り替えのための評価値の算出を行う。画像処理部１０６は、例えば、Digital Signal Processing（ＤＳＰ）などから構成され、デジタル信号に対して色変換、ＷＢ処理、信号処理された画像の階調変換を行うガンマ処理など所定の画像処理を行う。

そして、デイナイト切り替え判定部１０５は、デイナイト切り替え評価値算出部１０４より出力されたデイナイト切り替え評価値と、予め設定されているデイナイト切り替え閾値を比較して、画像処理部１０６でカラー画像出力するか、白黒画像出力するかを判定する。例えば、デイナイト切り替え評価値がデイナイト切り替え閾値以下の場合は、画像は白黒画像で出力し、デイナイト切り替え評価値がデイナイト切り替え閾値以上の場合は、カラー画像で出力する。また、デイナイト切り替え閾値に関しては、ユーザーが任意に設定できるようにしてもよい。

また、図２のようなＩＲＣＦ２０２が備えられており、白黒画像で出力をすると判定した時に、図示されていないＩＲＣＦ駆動部へと信号を出力する。その後、ＩＲＣＦ駆動部において、ＩＲＣＦ２０２を撮像光学系の光路上から抜去することによって、赤外成分をとり込み感度アップを図る。また、ＩＲＣＦ２０２を光路上から抜去せずに、デイナイト切り替え判定部１０５で判定された結果に基づいて画像処理部１０６でカラー画像または白黒画像を出力してもよい。

［実施例１］
次に、図３に示すフローチャートを用いて、本発明の第１の実施例による、カメラの撮影モードをナイトモードからデイモードに切り替える際の動作処理について説明する。

撮影モードがデイモードの場合、画像データはカラーで出力される。一方、撮影モードがナイトモードの場合、画像データは白黒で出力される。ここでは、撮像部１０１、露出制御部１０２、デイナイト切り替え評価値算出部１０３、デイナイト切り替え判定部１０４、画像処理部１０５、輝度算出部１０７、輝度判定部１０８、動き検出部１０９が主に動作することによりフローチャートに示す処理が実現される。

まず、ステップＳ３０１では、露出制御部で決定された露出の目標値に従って撮像部が被写体像の撮像を行い、デイナイト切り替え評価値算出部１０３が露出制御部１０２で決定された露出に基づいてデイナイト切り替え評価値の算出を行う。次に、ステップＳ３０２では、デイナイト切り替え評価値算出部１０３で算出された現在のデイナイト切り替え評価値が予め設定されたデイナイト切り替え閾値以上かどうかを判定する。尚、デイナイト切り替え評価値は撮像部１０１から出力された、撮像条件、すなわち、絞り値、シャッタースピード、ＡＧＣゲインを基にデイナイト切り替え評価値算出部１０３によって算出される。

以下に、デイナイト切り替え評価値の算出方法の一例を示す。
S = iris + shutter + AGCgain
ここで、Sは、切り替ええ評価値を表す。また、iris、shutter、AGCgain、は、それぞれ絞り値、シャッタースピード、AGCゲイン値である。また、それぞれの値については、以下で示される。

デイナイト切り替え評価値Sは、露出の明るさを示す値、すなわちEV値である。EV値は、絞り値（F値）、シャッタースピード（sec）、AGCゲイン値(dB)のそれぞれを対数で表し、加算したものである。また、デイナイト切り替え評価値の算出はデイナイト機能のモードがオートの時は、常に現在の撮影条件から算出される。絞り値およびシャッタースピードおよびAGCゲイン値のそれぞれが制御可能な最大値または最小値になった場合は、画像の輝度を評価値に用いてもよい。現在のデイナイト切り替え評価値とデイナイト切り替え閾値を比較して、デイナイト切り替え評価値がデイナイト切り替え閾値以下であった場合はナイトモードを継続する。デイナイト切り替え評価値がデイナイト切り替え閾値以上の場合は、輝度判定部１０８で、複数のブロックのうち輝度が所定以上のブロックがあるかどうかを判定する（Ｓ３０３）。

ステップＳ３０３で，輝度が所定以上のブロックがない場合は、撮影環境の全体が明るくなったと判断し、デイモードに切り替える。一方で、輝度が所定以上のブロックがある場合は、高輝度被写体があると推定されるので、動きの検出を行い、車のヘッドライト等の移動している高輝度の被写体か、街灯などの固定の高輝度被写体かを判断する（ステップＳ３０５）。

動き検出部１０９で、高輝度被写体が動いていると判定された場合は、一過性の外乱の可能性が高いので、ナイトモードを維持する。一方で、高輝度被写体が動いていないと判断された場合は、光源の影響で明るくなっている可能性が高いので、環境光の変化とみなしデイモードに切り替える（Ｓ３０４）。

［実施例２］
次に、本発明の第２の実施例に関して説明する。図４は、実施例２の実施形態だが、実施例１と同様の構成の部分に関しては、同じ番号を付して説明を省略する。図４の、画角判定部２０１は、撮像部１０１のレンズ２０１の画角情報から画角を算出する。光源判定部２０２は、撮影画像内の光源が可視光か赤外光を判定する。光源判定部２０２は、分光感度が可視光または赤外光に特化したセンサを備えて判定しても良いし、撮影画像の色成分または色温度などから判定しても良い。

次に、図５に示すフローチャートを用いて、本発明の第２の実施例による、カメラの撮影モードをナイトモードからデイモードに切り替える際の動作処理に関して説明する。

まず、ステップＳ４０１では、露出制御部で決定された露出の目標値に従って撮像部が被写体像の撮像を行い、デイナイト切り替え評価値算出部１０３が露出制御部１０２で決定された露出に基づいてデイナイト切り替え評価値の算出を行う。次に、ステップＳ４０２では、デイナイト切り替え評価値算出部１０３で算出された現在のデイナイト切り替え評価値が予め設定されたデイナイト切り替え閾値以上かどうかを判定する。デイナイト切り替え評価値がデイナイト切り替え閾値を下回っている場合はナイトモードを継続し、デイナイト切り替え評価値がデイナイト切り替え閾値を上回っている場合は、ステップＳ４０３に移行する。

ここで、図６は車１０がヘッドライト１１を点灯して道路１２上を走行しているシーンのイメージ図である。図７は図５よりも画角をテレ側にしときのイメージ図である。

図７のような画角がワイドに比べてテレ側のときには、車１０のヘッドライト１１の部分の画像全体に占める割合が大きくなるので、輝度判定部１０７で高輝度であると判定する閾値を高くする（ステップ４０４）。また、図７のような画角がワイドに比べてテレ側のときには、車１０の相対速度がテレ側になるにつれて速くなるので、動き判定部１０９で動きと判定する閾値を低くする（ステップ４０４）。

ここで、輝度判定および動き判定の各ズーム位置または各画角における閾値の変更の例を図８の表に示した。次に、ステップＳ４０５では、露出制御部１０２における露出の単位時間あたりの変化量を算出し、変化量が所定以上の場合は、被写体の急激な光量の変化があった可能性が高く、街灯などの固定の光源が点灯したか、或いは移動する高輝度の被写体が通ったと推定できる。例えば、急激な変化とは１秒間にＥＶ５以上の変化があった場合とし、時間とＥＶ値はシーンに応じて任意に変えてもよいし、画角情報などから補正してもよい。

露出の変化量が小さい場合は、時間をかけて被写体の光量が変化した可能性が高く、日照の変化と共に環境の明るさが変わったと推定できるので、デイモードに変更する（ステップＳ４０６）。

次に、ステップＳ４０７では、輝度算出部１０７で算出された各ブロック毎の輝度値に対して、輝度判定部１０８で高輝度と判定されたブロックが所定以上あるか否かを判定する。このとき、図６のような、テーブルを参照して、現在の画角に応じたブロック数を基準に判定を行う。このとき、高輝度のブロックが所定以上の場合は、外乱の可能性が高いのでステップＳ４０８に移行し、高輝度のブロックが所定以下の場合は外乱の可能性が低いので、デイモードに切り替える。

次に、ステップ４０８では、図８のようなテーブルを参照して、動き判定部１０９で現在の画角に応じた動き判定の閾値を基準にして高輝度被写体が動いているかどうかを判定する。動き検出部１０９で、高輝度被写体が動いていると判定された場合は、一過性の外乱の可能性が高いので、ナイトモードを維持する。一方で、高輝度被写体が動いていないと判断された場合は、ステップ４０９に移行する。次にステップ４０９では、輝度判定部１０８で輝度が所定以上のブロックの数が現在の画角に応じた閾値以上になってから所定時間経過したかどうかを判定する。

一方で、道路１２上に車１０が多く存在していて混雑している状態が継続してしまうと、高輝度被写体の動き検出をし続けることになり、デイモードにしばらく切り替わらない場合がある。それに対応して所定時間経過後に強制的にデイモードにするタイムアウトを設けても良い。

ステップ４１０では、光源判定部２０２で撮影画像内の光源が可視光か赤外光かを判定する。可視成分が多い光源の場合は、デイモードに切り替え後も十分な露出が得られるので、デイモードに切り替える（ステップＳ４０６）。一方で、赤外成分が多い光源の場合はＩＲＣＦが光路上に挿入されてしまうと、感度が下がってしまうのでナイトモードを維持する。また、ＩＲＣＦを挿抜する機構がない場合は赤外成分が多い光源の場合でも、感度が変わらないので、デイモードに切り替えてもよい。さらに、複数の光源がある場合は、波長成分の多い光源を優先し判定してもよい。

上述した処理を行うことで、低照度時に車のヘッドライトなどの一過性の移動する高輝度被写体の影響でデイナイトモードが頻繁に切り替わってしまう問題に対して、切り替えの頻度を抑制することができる。また、ＩＲＣＦの挿抜の機構がある撮像装置に対しては、ＩＲＣＦの挿抜回数も減らすことが可能になるので、耐久性を上げることが可能である。さらに、ユーザーがデイナイト切り替えの判定に用いる安定時間を設定することなく、シーンに応じて自動で切り替えの安定時間を変更することができる。

以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更などが可能である。例えば、上述した実施形態では、撮像装置として説明したカメラには、デジタルスチルカメラやデジタルビデオカメラに適用することができる。

また、第１の実施形態では、撮像部１０１、露出制御部１０２、デイナイト切り替え評価値算出部１０３、デイナイト切り替え判定部１０４、画像処理部１０５、出力部１０６、輝度算出部１０７、輝度判定部１０８、動き検出部１０８などは、ＣＰＵがプログラムを実行することにより実現してもよい。

すなわち、本実施形態に係る撮像装置を構成する各手段および撮像装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えばシステム、装置、方法、プログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には複数の装置からなるシステムに適用してもよい。

なお、本発明は、上述した実施形態の機能を実現するプログラムを装置またはシステムに直接または遠隔から供給してもよい。すなわち、システムまたは装置のコンピュータが供給されたプログラムを読み出して実行することによっても本発明を達成される場合も含まれる。

１０１ 撮像部、１０２ 露出制御部、１０３ デイナイト切り替え評価値算出部、
１０４ デイナイト切り替え判定部、１０５ 画像処理部、１０６ 出力部、
１０７ 輝度算出部、１０８ 輝度判定部、１０９ 動き検出部

Claims (8)

1. 被写体を撮像するための光学素子および撮像素子を含む撮像手段と、
   前記撮像手段によって撮像される被写体画像の露出を制御する露出制御手段と、前記被写体画像を複数のブロックに分割して前記ブロック毎の輝度を算出する輝度算出手段と、
   前記輝度算出手段で算出された輝度が所定以上かどうかを判定する輝度判定手段と、
   前記被写体画像の画像データの出力をデイモード（カラー）またはナイトモード（白黒）の何れかに切り替える切り替え手段と、
   前記撮像手段からの出力に基づいてデイナイト切り替え評価値を算出するデイナイト切り替え評価値算出手段と、
   前記デイナイト切り替え評価値とデイナイト切り替え閾値の比較結果に基づいて前記切り替え手段による前記被写体画像のデイナイトの切り替えを判定する判定手段と、を有し、
   前記切り替え判定手段でナイトモードからデイモードに切り替えると判定された場合で、かつ輝度判定手段で輝度が所定以上と判定され、かつ前記動き検出手段で動きが検出されているときはナイトモードを維持することを特徴とする撮像装置。
2. 前記光学素子を光軸方向に駆動させて、撮影画角を変更する画角変更手段と、
   前記画角変更手段によって変更された画角情報を取得する、画角情報取得手段と、を備え、
   前記画角情報取得手段から取得された画角情報に基づいて、画角がテレ側のときはワイド側に比べて、少なくとも前記輝度判定手段で輝度が所定以上と判定する閾値を上げる、または、画角がテレ側のときはワイド側に比べて前記動き検出手段で動きと判定する閾値を下げることを特徴とする請求項１に記載の撮像装置。
3. 前記露出制御手段で単位時間あたりの露出変化量が所定以下の場合に、ナイトモードにするか否かの判定を行うことを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 撮影画像内の光源または環境光の成分が、可視光成分か赤外光成分かを判定する光源判定手段を備え、
   前記光源判定手段で赤外光成分が多いと判定された場合は、ナイトモードを維持することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
5. 被写体を撮像するための光学素子および撮像素子を含む撮像手段と、
   前記撮像手段によって撮像される被写体画像の露出を制御する露出制御手段と、前記被写体画像を複数のブロックに分割して前記ブロック毎の輝度を算出する輝度算出手段と、
   前記輝度算出手段で算出された輝度が所定以上かどうかを判定する輝度判定手段と、
   前記被写体画像の画像データの出力をデイモード（カラー）またはナイトモード（白黒）の何れかに切り替える切り替え手段と、
   前記撮像手段からの出力に基づいてデイナイト切り替え評価値を算出するデイナイト切り替え評価値算出手段と、
   前記デイナイト切り替え評価値とデイナイト切り替え閾値の比較結果に基づいて前記切り替え手段による前記被写体画像のデイナイトの切り替えを判定する判定手段と、を有し、
   前記切り替え判定手段でナイトモードからデイモードに切り替えると判定された場合で、かつ輝度判定手段で輝度が所定以上と判定され、かつ前記動き検出手段で動きが検出されているときはナイトモードを維持することを特徴とするプログラム。
6. 前記光学素子を光軸方向に駆動させて、撮影画角を変更する画角変更手段と、
   前記画角変更手段によって変更された画角情報を取得する、画角情報取得手段と、を備え、
   前記画角情報取得手段から取得された画角情報に基づいて、画角がテレ側のときはワイド側に比べて、少なくとも前記輝度判定手段で輝度が所定以上と判定する閾値を上げる、または、画角がテレ側のときはワイド側に比べて前記動き検出手段で動きと判定する閾値を下げることを特徴とする請求項５に記載のプログラム。
7. 前記露出制御手段で単位時間あたりの露出変化量が所定以下の場合に、ナイトモードにするかどうかの判定を行うことを特徴とする請求項５又は請求項６に記載のプログラム。
8. 撮影画像内の光源または環境光の成分が、可視光成分か赤外光成分かを判定する光源判定手段を備え、
   前記光源判定手段で赤外光成分が多いと判定された場合は、ナイトモードを維持することを特徴とする請求項５乃至請求項７の何れか一項に記載のプログラム。