JP2022175162A - 監視カメラ - Google Patents

Abstract

【課題】イメージセンサのダイナミックレンジのオーバーフローを抑制しつつ、ある程度の証拠性が担保された画像を撮影できる監視カメラを提供すること。【解決手段】監視カメラは、画像を撮像するイメージセンサと、イメージセンサの撮像面の前に配置され、イメージセンサの撮像面に入射する光を分割領域の単位での液晶層の制御によって減衰させる減光フィルタと、減光フィルタの動作を制御する処理部とを備える。【選択図】図１

Description

本実施形態は、監視カメラに関する。

監視カメラ等のイメージセンサを有する観測機器に太陽光等の強い光が入射すると、イメージセンサの出力信号がダイナミックレンジを超えてオーバーフローしてしまうことが起こり得る。このようなオーバーフローを起こした画素のデータは、実質的に役に立たなくなってしまう。

イメージセンサのダイナミックレンジを拡大するための手法として、ＨＤＲ（High Dynamic Range)処理を用いた手法が知られている。この手法は、露出の異なる複数の画像を撮影し、撮影した画像を合成することによって、ダイナミックレンジが拡大された画像を得る手法である。

特開２０１５－０８８７８４号公報

監視カメラ等の観測機器では、撮影された画像に対する証拠性の担保が重要である。証拠性の担保の観点では、監視カメラ等の観測機器では、撮影された画像に対して可能な限りに加工が施されないことが望ましい。

本実施形態は、イメージセンサのダイナミックレンジのオーバーフローを抑制しつつ、ある程度の証拠性が担保された画像を撮影できる監視カメラを提供する。

一態様の監視カメラは、画像を撮像するイメージセンサと、イメージセンサの撮像面の前に配置され、イメージセンサの撮像面に入射する光を分割領域の単位での液晶層の制御によって減衰させる減光フィルタと、減光フィルタの動作を制御する処理部とを具備する。

本実施形態によれば、イメージセンサのダイナミックレンジのオーバーフローを抑制しつつ、ある程度の証拠性が担保された画像を撮影できる監視カメラを提供できる。

図１は、実施形態に係る監視カメラの一例の構成を示すブロック図である。 図２は、減光フィルタの平面図である。 図３は、図２のＩＩＩ－ＩＩＩ線に沿った減光フィルタの断面図である。 図４Ａは、減光フィルタの分割領域の概念図である。 図４Ｂは、減光フィルタの動作の概念を示す図である。 図５は、監視カメラの動作を示すフローチャートである。 図６Ａは、監視カメラの動作を示す概念図である。 図６Ｂは、監視カメラの動作を示す概念図である。

以下、図面を参照して実施形態を説明する。図１は、実施形態に係る監視カメラの一例の構成を示すブロック図である。監視カメラ１は、カメラユニット２と、プロセッサ３と、メモリ４と、ストレージ５と、通信装置６とを有している。監視カメラ１は、例えば監視対象を観測領域に含むように設置される。監視カメラ１は、例えば同一の観測領域内を定期的にモニタする定点カメラであってよい。監視カメラ１は、図１で示した以外の要素を備えていてもよい。

カメラユニット２は、監視対象の画像を取得するためのユニットである。カメラユニット２は、光学系２１と、イメージセンサ２２と、減光フィルタ２３とを含む。

光学系２１は、観測領域の光をイメージセンサ２２に結像させるための光学系である。光学系２１は、レンズ等を含む。レンズは、単一のレンズによって構成されていてもよく、複数のレンズによって構成されていてもよい。

イメージセンサ２２は、例えば光学系２１の焦点の位置に配置される、ＣＭＯＳ（Complementary Metal Oxide Semiconductor)イメージセンサ等のイメージセンサである。イメージセンサ２２は、光学系２１を介して結像された観測領域内の光に基づいて観測領域内の画像を生成する。このイメージセンサ２２は、２次元に配置された画素を含む撮像面を有する。それぞれの画素は、受光量に応じた電気信号を出力する。

減光フィルタ２３は、光学系２１と、イメージセンサ２２との間にイメージセンサ２２の撮像面と平行に配置され、プロセッサ３の制御の元で、光学系２１を介してイメージセンサ２２に入射する光を減衰させる。実施形態における減光フィルタ２３は、分割領域毎に光の減衰量を制御できるように構成されている。１つの分割領域は、イメージセンサ２２の１つ以上の画素に対応した領域である。減光フィルタ２３の構成については後で説明する。

プロセッサ３は、ＣＰＵ等の処理部である。プロセッサ３は、監視カメラ１の動作を制御する。例えば、プロセッサ３は、イメージセンサ２２の露出を制御する。また、プロセッサ３は、イメージセンサ２２で生成された画像における高輝度部を検出する。また、プロセッサ３は、画像の高輝度部の位置に応じて減光フィルタを制御する。プロセッサ３は、ＣＰＵに限らず、ＭＰＵ等であってもよい。また、プロセッサ３は、ＡＳＩＣ、ＦＰＧＡ等であってもよい。さらに、プロセッサ３は、単一のＣＰＵ等でなく、複数のＣＰＵ等を含んでいてもよい。

メモリ４は、ＲＯＭ及びＲＡＭを含む。ＲＯＭは、プロセッサ３によって実行される監視カメラ１の各種の処理プログラムを記憶している。ＲＡＭは、イメージセンサ２２で生成された画像を一時的に記憶したり、プロセッサ３で処理されたデータを記憶したりするための作業メモリとして動作する。

ストレージ５は、フラッシュメモリ等の記録媒体を含む。ストレージ５には、カメラユニット２で生成された画像のデータが記録される。

通信装置６は、監視カメラ１が外部機器と通信するための通信装置である。外部機器は、例えば監視カメラ１の管理をするサーバであり得る。通信装置６は、任意の方式の無線通信装置であってもよいし、任意の方式の有線通信装置であってもよい。

次に、減光フィルタ２３についてさらに説明する。図２は、減光フィルタ２３の平面図である。また、図３は、図２のＩＩＩ－ＩＩＩ線に沿った減光フィルタ２３の断面図である。ここで、図２において示されているＸ軸は、例えばイメージセンサ２２の撮像面の水平方向に対して平行な方向である。また、図２において示されているＹ軸は、例えばイメージセンサ２２の撮像面の垂直方向に対して平行な方向である。

減光フィルタ２３は、例えば透過型で、かつ、パッシブマトリクス方式の液晶シャッタである。減光フィルタ２３は、互いに対向するように配置された基板１０１及び１０２を有している。基板１０１と基板１０２は、液晶層１０３を挟持している。

基板１０１及び１０２のそれぞれは、透明なガラス基板、透明なプラスチック基板といった透明な基板である。基板１０１及び基板１０２は、イメージセンサ２２の撮像面に対して平行に配置される。光学系２１を通過した光は、基板１０１、液晶層１０３及び基板１０２を介してイメージセンサ２２に入射する。

液晶層１０３は、基板１０１と基板１０２との間に充填された液晶の層である。具体的には、液晶層１０３の液晶材料は、基板１０１と、基板１０２と、シール材１０４とによって囲まれた領域内に封入される。シール材１０４は、例えば、紫外線硬化樹脂、熱硬化樹脂、又は紫外線・熱併用型硬化樹脂であり得る。

液晶層１０３を構成する液晶材料は、基板１０１と基板１０２との間に印加された電圧に応じて液晶分子の配向を変化させる。この液晶分子の配向により、液晶層１０３の光学特性は変化する。実施形態における液晶層１０３のモードは、例えばＴＮ（Twisted Nematic）モードである。具体的には、液晶層１０３には、正の誘電率異方性を有するポジ型（Ｐ型）のネマティック液晶が用いられる。ＴＮモードでは、液晶層１０３内の液晶分子のダイレクタは、電圧が印加されないときに液晶層１０３のかつ厚さ方向に沿って例えば９０°ねじれている。そして、液晶層１０３内の液晶分子のダイレクタは、電圧が印加されたときに液晶層１０３の厚さ方向を向く。液晶層１０３における液晶分子の初期配向は、液晶層１０３を挟むようにして基板１０１と基板１０２のそれぞれに設けられた２つの図示しない配向膜によって制御される。

基板１０１の液晶層１０３側の面には、それぞれがＹ方向に延びる電極１０５が設けられている。電極１０５は、ＩＴＯ（インジウム錫酸化物）等の透明電極によって構成される。電極１０５の一端は、シール材１０４より外側に引き出されて例えばプロセッサ３に電気的に接続されている。ここで、電極１０５の数は、後で説明する分割領域の数に応じて適宜に設定され得る。また、クロストークの抑制のため、電極１０５の間隔は、互いに電気的に分離される程度に空けられていることが望ましい。

基板１０２の液晶層１０３の側の面には、それぞれがＸ方向に延びる電極１０６が設けられている。電極１０６は、電極１０５と同様にＩＴＯ（インジウム錫酸化物）等の透明電極によって構成される。電極１０６の一端は、シール材１０４より外側に引き出されて例えばプロセッサ３に電気的に接続されている。ここで、電極１０６の数は、後で説明する分割領域の数に応じて適宜に設定され得る。また、クロストークの抑制のため、電極１０６の間隔は、互いに電気的に分離される程度に空けられていることが望ましい。

減光フィルタ２３では、１つの電極１０５と１つの電極１０６との交差領域毎に、液晶分子の配向が制御され得る。電極１０５と電極１０６との１つの交差領域は、例えば正方形である。電極１０５と電極１０６との１つの交差領域は、必ずしも正方形でなくてもよく、長方形であってもよい。

偏光板１０７と偏光板１０８とは、基板１０１と基板１０２とを挟むように配置される。偏光板１０７と偏光板１０８とは、光の進行方向に直交する平面内において、互いに直交する透過軸及び吸収軸を有する。偏光板１０７と偏光板１０８は、ランダムな方向の振動面を有する光のうち、透過軸に平行な振動面を有する直線偏光を透過し、吸収軸に平行な振動面を有する直線偏光を吸収する。ここで、実施形態では、偏光板１０７と偏光板１０８とは、互いの吸収軸が直交するように、すなわちクロスニコル状態で配置される。このとき、減光フィルタ２３は、ノーマリーホワイトモードで動作する。したがって、液晶層１０３に電圧が印加されていないときには、減光フィルタ２３に入射した光は減光フィルタ２３を通過する。一方、液晶層１０３に電圧が印加されたときには、減光フィルタ２３に入射した光は減光フィルタ２３で減衰される。

このように、減光フィルタ２３は、例えば電極１０５と電極１０６との交差領域の単位で入射光を減衰させるように構成されている。図４Ａは、減光フィルタ２３の分割領域の概念図である。例えば、図４Ａのそれぞれの分割領域２０１が１つの交差領域と対応している。図４Ａでは、分割領域２０１は、１０行×１２列の１２０個の領域である。このような分割領域は、１２本の電極１０５及び１０本の電極１０６によって形成され得る。ここで、実施形態では、分割領域の位置とイメージセンサ２２の画素の位置との対応関係は、プロセッサ３が識別できるように例えばメモリ４のＲＯＭに予め記憶されている。

図４Ｂは、減光フィルタ２３の動作の概念を示す図である。減光フィルタ２３は、任意の分割領域２０１に入射する光を減衰させることができる。例えば、図４Ｂに示すように、イメージセンサ２２で生成される画像におけるＣ３、Ｃ４、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｅ２、Ｅ３、Ｅ４、Ｅ５、Ｆ３及びＦ４の分割領域２０１と対応する位置において太陽等の高輝度光源２０２が検出されたときに、これらの分割領域における液晶層１０２だけに電圧が印加されることにより、イメージセンサ２２に入射する高輝度光源２０２からの光だけが選択的に減衰され得る。

ここで、入射光の減光の制御対象である分割領域は、必ずしも交差領域と一致していなくてもよい。例えば、１つの分割領域は、複数の交差領域を含んでいてもよい。

また、減光フィルタ２３は、光学系２１の焦点深度外、例えばイメージセンサ２２から５ｍｍ程度だけ間隔を空けて配置されることが望ましい。減光フィルタ２３において減光が実施されている分割領域と実施されていない分割領域との間の境界線のコントラストは高くなり易い。したがって、この境界線は、イメージセンサ２２で生成される画像において視認される可能性がある。これに対し、減光フィルタ２３が光学系２１の焦点深度外に配置されていることで、分割領域の境界線は、イメージセンサ２２で生成される画像においてぼける。したがって、分割領域の境界線がイメージセンサ２２で生成される画像において視認される可能性は低減される。

次に、監視カメラ１の動作を説明する。図５は、監視カメラ１の動作を示すフローチャートである。図５の動作は、例えばプロセッサ３によって制御される。前述したように、減光フィルタ２３の液晶層１０３は、ノーマリーホワイトモードで動作する。したがって、液晶層１０３に電圧が印加されていないときには、減光フィルタ２３は、入射した光を透過させる。

ステップＳ１において、プロセッサ３は、イメージセンサ２２の露出設定をする。例えば、プロセッサ３は、イメージセンサ２２で取得される画像の例えば分割領域毎の輝度の平均値に基づいてイメージセンサの例えば露出時間を設定する。露出設定は、必ずしも分割領域毎の輝度の平均値に基づいて行われなくてもよい。

ステップＳ２において、プロセッサ３は、イメージセンサ２２による撮像を実施する。イメージセンサ２２で生成された画像のデータは、メモリ４の例えばＲＡＭに記憶される。

ステップＳ３において、プロセッサ３は、イメージセンサ２２で生成された画像を取得する。そして、プロセッサ３は、画像における低輝度部の輝度が規定内、すなわち規定値よりも高輝度であるか否かを判定する。ここで、低輝度部の輝度は、監視カメラ１の監視対象が決められているときには、その監視対象の輝度であってもよい。ステップＳ３において、低輝度部の輝度が規定内であると判定されたときには、処理はステップＳ６に移行する。ステップＳ３において、低輝度部の輝度が規定外であると判定されたときには、処理はステップＳ４に移行する。

ステップＳ４において、プロセッサ３は、画像内に高輝度部があるか否かを判定する。高輝度部は、画像内の一定値以上の輝度、例えばイメージセンサ２２のダイナミックレンジの最大輝度を有する部分である。ステップＳ４において、画像内に高輝度部があると判定されたときには、処理はステップＳ５に移行する。ステップＳ４において、画像内に高輝度部がないと判定されたときには、処理はステップＳ６に移行する。

ステップＳ５において、プロセッサ３は、減光フィルタ２３において画像内の高輝度部と対応する分割領域の液晶層１０３に電圧を印加して液晶層１０３を駆動する。その後、処理はステップＳ６に移行する。つまり、画像内で低輝度部が生じるのは画像内の高輝度部からの光が原因であるとして、この高輝度部からの光が減衰される。ここで、ステップＳ５において印加される電圧の大きさは、一定量であってもよいし、可変であってもよい。印加される電圧の大きさが一定量であるとき、減光フィルタ２３は、光を透過する状態と減衰させる状態の２つの状態をとる。一方、印加される電圧の大きさが可変であるときには、減光フィルタ２３は、印加される電圧の大きさに応じて光の減衰量を変化させる。印加される電圧の大きさが可変であるとき、プロセッサ３は、高輝度部の輝度に応じて液晶層１０３に印加する電圧の大きさを決めてもよいし、例えば撮像のたびに少しずつ大きくするように決めてもよい。

ステップＳ６において、プロセッサ３は、メモリ４の例えばＲＡＭに記憶された画像を動画として例えばストレージ５に記録する。その後、処理はステップＳ１に戻る。ステップＳ６で記録された動画は、通信装置６を用いて監視カメラ１の外部機器に送信されてもよい。ここで、処理がステップＳ５を経由してステップＳ１に戻った場合、高輝度部からの光が減衰されている状態でイメージセンサ２２の露出設定がされることになる。

図６Ａ及び図６Ｂは、監視カメラ１の動作を示す概念図である。まず、監視カメラ１は、減光フィルタ２３をオフの状態として撮像を実施する。このとき、カメラユニット２の観測領域内のそのままの画像がイメージセンサ２２において生成される。ここで、図６Ａに示すように、観測領域内に太陽３０２等の高輝度光源が存在していた場合、観測領域内の平均値等に基づいてイメージセンサ２２の露出が設定されていると、高輝度光源の影響によってイメージセンサ２２が露出オーバーの状態になる。このため、監視カメラ１の監視対象である例えば家３０１等は、逆光状態となって画像上で黒く潰れてしまう可能性が生じる。

プロセッサ３は、監視対象である家３０１が規定外の低輝度部であると判定し、かつ、画像内に太陽３０２等の高輝度部があると判定したときに、減光フィルタ２３における高輝度部３０２に対応した分割領域の液晶層１０３を駆動する。これにより、図６Ｂに示すように、太陽３０２等の高輝度光源からイメージセンサ２２に入射する光は、減衰される。これにより、イメージセンサ２２における露出設定の際の高輝度光源からの入射光の影響も抑制される。したがって、監視対象である家３０１等の輝度も適正になる。また、高輝度光源の影響で白飛びしてしまっていた雲３０３等も画像上で視認されるようになる。

以上説明したように実施形態によれば、パッシブマトリクス方式の液晶シャッタによる減光フィルタ２３がイメージセンサ２２の撮像面の前面に配置されている。これにより、イメージセンサ２２に入射する光は、分割領域の単位で減衰され得る。ここで、イメージセンサ２２の画素の位置と分割領域の位置とは対応付けられている。したがって、実施形態では、全領域の単位で減衰が実施される場合に比べて、イメージセンサ２２に入射する監視対象からの光を減衰させずに高輝度光源からの光だけを選択的に減衰させることができ、したがって、高輝度光源からの光を減衰させても監視対象が黒潰れすることはなく、記録画像の品質の低下は抑制される。また、ＨＤＲ処理のような画像処理は伴わないため、ある程度の証拠性も保たれる。さらに、減光フィルタ２３による入射光の減衰がイメージセンサの露出制御と組み合わせられることにより、画像処理を伴うことなく、監視対象の輝度が適正になり得る。

また、減光フィルタ２３には、パッシブマトリクス方式の液晶シャッタが採用されている。光の減衰が電気的に制御されることにより、色ガラスを挿入するときのような機械的な機構は不要である。また、パッシブマトリクス方式では、アクティブマトリクス方式よりも透過率を高くすることができる。さらに、液晶層はノーマリーホワイトモードで駆動される。減光フィルタ２３は通常時には光透過状態で使用されるため、非駆動時に光透過状態であることにより、液晶層がノーマリーブラックモードで駆動されるときに比べて電力消費は低減される。また、液晶には、ＴＮ液晶が用いられる。したがって、減光フィルタは、安価に製造され得る。さらに、ＴＮ液晶ではゲストホスト液晶等のような温度依存性が大きいものとは異なり、温度補償のためのフィードバック回路等は不要である。

［変形例１］
以下、実施形態の変形例を説明する。実施形態では、液晶層１０３には、パッシブマトリクス方式でノーマリーホワイトモードのＴＮ液晶が用いられるとされている。しかしながら、これに限るものではない。液晶層１０３は、アクティブマトリクス方式で駆動されてもよいし、ノーマリーブラックモードで駆動されてもよい。さらには、液晶材料にＴＮ液晶以外のモードの液晶材料が用いられてもよい。

［変形例２］
液晶パネルに用いられる偏光板材料を近赤外領域での偏光効果を持つ材料に変更することで夜間の監視カメラ画像において、近赤外光による監視画像においても同様の効果が得られる。具体的には、夜間、近赤外画像における強輝点となるものは街灯等の照明光が該当する。

また、実施形態では、プロセッサ３は、検出した高輝度部に対応した分割領域について減光フィルタ２３による減光が実施される。減光フィルタ２３による減光が実施される分割領域は、例えば監視カメラ１の管理者によって指定されてもよい。

また、実施形態の技術は、各種の画像処理と組み合わせられてもよい。例えば、減光フィルタがオフ状態で撮像された画像と減光フィルタがオン状態で撮像された画像とが合成されることにより、ダイナミックレンジが拡大されたＨＤＲ画像が生成され得る。

本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１ 監視カメラ、２ カメラユニット、３ プロセッサ、４ メモリ、５ ストレージ、６ 通信装置、２１ 光学系、２２ イメージセンサ、２３ 減光フィルタ、１０１，１０２ 基板、１０３ 液晶層、１０４ シール材、１０５，１０６ 電極、１０７，１０８ 偏光板。

Claims (5)

1. 画像を撮像するイメージセンサと、
   前記イメージセンサの撮像面の前に配置され、前記イメージセンサの前記撮像面に入射する光を分割領域の単位での液晶層の制御によって減衰させる減光フィルタと、
   前記減光フィルタの動作を制御する処理部と、
   を具備する監視カメラ。
2. 前記処理部は、前記画像において検出される高輝度部に対応した前記分割領域における光を減衰させるように前記減光フィルタを制御する、
   請求項１に記載の監視カメラ。
3. 前記減光フィルタは、前記イメージセンサに光を結像させる光学系の焦点深度外となるように前記イメージセンサに対して間隔を空けて配置されている、
   請求項１又は２に記載の監視カメラ。
4. 前記液晶層は、ＴＮモードの液晶層である、
   請求項１乃至３の何れか１項に記載の監視カメラ。
5. 前記液晶層は、ノーマリーホワイトモードの液晶層である、
   請求項１乃至４の何れか１項に記載の監視カメラ。

Images