JP2020509661A - 視程状態の変化にロバストな複合フィルタリング基盤のオートフォーカシング機能を有する監視カメラ及びそれが適用された映像監視システム - Google Patents

Abstract

レンズ部を通過した光の赤外線帯域と可視光線帯域のうち、いずれか１つを遮断し、他の１つを透過させるハードウェアフィルターとＩＳＰによって生成されたカラー映像または白黒映像からレンズ部前方の視程距離を減少させる要素を除去し、ＩＳＰによって生成されたカラー映像または白黒映像をフィルタリングするソフトウェアフィルターを含み、複数のフィルタリングレベルのうち、いずれか１つのフィルタリングレベルによってハードウェアフィルターのフィルタリング帯域とソフトウェアフィルターのフィルタリングの有無を制御し、監視カメラ前方の視程状態に関係なく、常に目標物を識別できる鮮明度の映像を提供し、段階的複合フィルタリングを通じて提供される映像の分析によりオートフォーカシングを行い、常に正確なオートフォーカシング機能を提供する。【選択図】図１

Description

本発明は、特定地域を撮影し、当該地域を監視するための監視カメラ及びそれが適用された映像監視システムに関する。

建物の地下駐車場、高速道路、空港、港、国境線などには、各種事故を予防するか、記録するために、監視カメラを設けて運用している。ところが、霧、黄砂、降雨、降雪などの自然現象は、光を吸収するか散乱させることで、監視カメラによって撮影された映像の画質を落とし、監視を邪魔する要因として作用する。監視カメラによって撮影された映像の画質、特に鮮明度が劣れば、監視カメラによって撮影された映像から侵入者の顔、侵入者の車両のナンバープレートなどを識別することができず、各種事故を予防するか、記録するための監視カメラとしての役割を果たすことができない。霧、黄砂、降雨、降雪などは、正常な視力を有する者が水平方向に、ある目標物を認識することができる最大距離である視程距離を減少させる視程障害要素として、監視カメラによって撮影された映像からかような視程障害要素を除去するための研究が活発に進行しつつある。

霧、黄砂、降雨、降雪のうち、最も頻繁に発生する霧については、映像から霧を除去するための各種アルゴリズムが特許や論文を通じて絶え間なく発表されてきた。例えば、大韓民国登録特許第１０−１４２６２９８号「霧除去率を高めた映像補正装置及び方法」、大韓民国登録特許第１０−１５３４６４６号「映像で霧を除去するための映像処理装置及び方法」などは、デジタルカメラから提供された映像に多様なソフトウェア方式の霧除去アルゴリズムを適用した。しかし、かような従来技術は、監視カメラ前方の視程状態を考慮しないことにより、監視カメラ前方の視程状態が変化すれば、それにより、デジタルカメラから提供された映像の鮮明度も変化するしかなく、ソフトウェアアルゴリズムの鮮明度改善限界によって、監視カメラ前方の視程状態によって、監視カメラで撮影された映像から、ある目標物を識別することができない状況が発生してしまう問題点があった。

監視カメラ前方の視程状態による映像の鮮明度差は、監視カメラのオートフォーカシング（ａｕｔｏ−ｆｏｃｕｓｉｎｇ）に最も多くの影響を与える。オートフォーカシングは、被写体に自動的に合焦させるカメラの機能であって、被写体との距離測定のために超音波や赤外線を放出する能動方式と、被写体から自然に反射した光を利用して合焦させる受動方式とに分類される。能動方式は、夜間や悪天候など視程状態の不良によって映像鮮明度が低い場合にも、良好な合焦が可能であるが、カメラと被写体との間に窓のような障害物がある場合、合焦させることができないという短所を有している。逆に、受動方式は、カメラと被写体との間に窓のような障害物がある場合、良好な合焦が可能であるが、一方、視程状態が不良であって映像鮮明度が低い場合には、被写体分別が困難であって、正確な合焦が不可能であるという短所を有している。

本発明が解決しようとする技術的課題は、監視カメラ前方の視程状態の変化に関係なく、常に目標物を識別するのに十分な鮮明度の映像を提供しつつも、監視カメラ前方の視程状態に関係なく、常に正確なオートフォーカシング機能を提供することができる監視カメラを提供することにある。

本発明が解決しようとする他の技術的課題は、かような監視カメラが適用された映像監視システムを提供することにある。
また、前記のような技術的課題に限定されず、以下の説明からさらなる技術的課題も導出可能である。

本発明の一側面による、視程状態の変化にロバストな複合フィルタリング基盤のオートフォーカシング機能を有する監視カメラは、少なくとも１つのレンズを含むレンズ部と、前記レンズ部前方の現在視程状態によって、前記レンズ部を通過した光の赤外線帯域と可視光線帯域のうち、いずれか１つを遮断し、他の１つを透過させるハードウェアフィルターと、前記ハードウェアフィルターを通過した光を電気的信号に変換するイメージセンサーと、前記イメージセンサーから出力された信号から、前記ハードウェアフィルターから出射された光の帯域によって、カラー映像または白黒映像を生成するＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）と、前記レンズ部前方の現在視程状態によって、前記ＩＳＰにより生成されたカラー映像または白黒映像から前記レンズ部前方の視程距離を減少させる要素を除去することにより、前記ＩＳＰによって生成されたカラー映像または白黒映像をフィルタリングするソフトウェアフィルターと、前記ソフトウェアフィルターのフィルタリングの有無によって、前記ＩＳＰにより生成されたカラー映像の分析を用いて前記レンズ部のオートフォーカシングを行うか、前記ソフトウェアフィルターによってフィルタリングされたカラー映像または黒白映像の分析を用いて前記レンズ部のオートフォーカシングを行うオートフォーカシング部と、前記ハードウェアフィルターのフィルタリング帯域及び前記ソフトウェアフィルターのフィルタリングの有無によって、前記オートフォーカシング部に入力される映像が決定される複数のフィルタリングレベルのうち、前記レンズ部前方の現在視程状態に対応するいずれか１つのフィルタリングレベルによって前記ハードウェアフィルターのフィルタリング帯域と前記ソフトウェアフィルターのフィルタリングの有無を制御する制御部と、を含む。
前記監視カメラは、前記オートフォーカシング部の制御によって、前記レンズ部の少なくとも１つのレンズの位置を移動させるアクチュエータをさらに含み、前記オートフォーカシング部は、前記ＩＳＰによって生成されたカラー映像または黒白映像が、前記ソフトウェアフィルターによってフィルタリングされた場合、前記レンズ部の少なくとも１つのレンズと前記イメージセンサーとの距離が変化されるように、前記アクチュエータの動作を制御しつつ、前記ソフトウェアフィルターによってフィルタリングされたカラー映像または黒白映像の鮮明度変化を分析し、前記ソフトウェアフィルターによってフィルタリングされたカラー映像または黒白映像の鮮明度が最も高い瞬間の前記レンズ部の少なくとも１つのレンズの位置を、前記レンズ部のフォーカシング位置に決定する方式でオートフォーカシングを行うことができる。

前記複数のフィルタリングレベルは、前記ハードウェアフィルターによって前記レンズ部を通過した光の赤外線帯域が遮断された状態で前記ＩＳＰから出力されるカラー映像が直接前記オートフォーカシング部に入力される第１フィルタリングレベル、前記ハードウェアフィルターによって前記レンズ部を通過した光の赤外線帯域が遮断された状態で前記ＩＳＰから出力されるカラー映像が前記ソフトウェアフィルターによってフィルタリングされた後に前記オートフォーカシング部に入力される第２フィルタリングレベル、及び前記ハードウェアフィルターによって前記レンズ部を通過した光の可視光線帯域が遮断された状態で前記ＩＳＰから出力される白黒映像が前記ソフトウェアフィルターによってフィルタリングされた後に前記オートフォーカシング部に入力される第３フィルタリングレベルを含むことができる。

前記第３フィルタリングレベルでは、前記ＩＳＰから出力された白黒映像に前記視程距離を減少させる要素を除去するための所定の映像フィルタリングアルゴリズムが適用される方式で前記ソフトウェアフィルターによってフィルタリングされた白黒映像が前記オートフォーカシング部に入力され、前記複数のフィルタリングレベルは、前記ハードウェアフィルターによって前記レンズ部を通過した光の可視光線帯域が遮断された状態で前記ＩＳＰから出力された白黒映像の各ピクセルの輝度値が反転され、前記反転された輝度値を有する白黒映像に前記所定の映像フィルタリングアルゴリズムと同じ映像フィルタリングアルゴリズムが適用される方式で前記ソフトウェアフィルターによってフィルタリングされた映像が前記オートフォーカシング部に入力される第４フィルタリングレベルをさらに含むことができる。

前記監視カメラは、前記ＩＳＰによって生成されたカラー映像または白黒映像のピクセル値に基づいて前記レンズ部前方の視程距離を測定する視程距離測定部をさらに含み、前記制御部は、前記第１フィルタリングレベル、前記第２フィルタリングレベル、及び前記第３フィルタリングレベルのうち、前記視程距離測定部で測定された視程距離によっていずれか１つのフィルタリングレベルを選択し、前記選択されたフィルタリングレベルによって前記ハードウェアフィルターのフィルタリング帯域と前記ソフトウェアフィルターのフィルタリングの有無を制御することができる。

前記制御部は、前記ハードウェアフィルターが前記レンズ部を通過した光の可視光線帯域を遮断し、赤外線帯域を透過させる間に前記視程距離の測定周期ごとに前記ハードウェアフィルターが一時的に前記レンズ部を通過した光の赤外線帯域を遮断し、可視光線帯域を透過させるように前記ハードウェアフィルターのフィルタリング帯域を制御し、前記視程距離測定部は、前記視程距離の測定周期ごとに前記ハードウェアフィルターによって前記レンズ部を通過した光の赤外線帯域が遮断されて可視光線帯域が透過された状態で、前記ＩＳＰによって生成されたカラー映像のピクセル値に基づいて前記レンズ部前方の視程距離を測定することができる。

前記視程距離測定部は、前記ハードウェアフィルターによって前記レンズ部を通過した光の赤外線帯域が遮断され、可視光線帯域が透過された状態では、前記ＩＳＰによって生成されたカラー映像のピクセル値に基づいて前記レンズ部前方の視程距離を減少させる要素の濃度を算出し、前記算出された濃度に反比例して前記レンズ部前方の視程距離を設定することにより、前記レンズ部前方の視程距離を測定し、前記ハードウェアフィルターによって前記レンズ部を通過した光の可視光線帯域が遮断され、赤外線帯域が透過された状態では、前記ＩＳＰによって生成された白黒映像のピクセル値に基づいて前記レンズ部前方の視程距離を減少させる要素の濃度を算出し、前記算出された濃度に加重値を加算した後、前記加重値が加算された濃度に反比例して前記レンズ部前方の視程距離を設定することにより、前記レンズ部前方の視程距離を測定することができる。

前記監視カメンラは、前記ソフトウェアフィルターのフィルタリングの有無により、前記ＩＳＰによって生成されたカラー映像を圧縮するか、前記ソフトウェアフィルターによって、フィルタリングされたカラー映像または白黒映像を圧縮する圧縮部をさらに含み、前記制御部は、前記ハードウェアフィルターのフィルタリング帯域及び前記ソフトウェアフィルターのフィルタリングの有無によって、前記圧縮部と前記オートフォーカシング部に入力される映像が決定される複数のフィルタリングレベルのうち、前記レンズ部前方の現在視程状態に対応するいずれか１つのフィルタリングレベルによって、前記ハードウェアフィルターのフィルタリング帯域と前記ソフトウェアフィルターのフィルタリングの有無を制御することができる。

本発明の他の側面による映像監視システムは、前記監視カメラを含む少なくとも１つの監視カメラと、前記少なくとも１つの監視カメラからネットワークを介して伝送されたカラー映像または白黒映像をユーザに表示するサーバを含む。

ハードウェアフィルターがレンズ部前方の現在視程状態によって、レンズ部を通過した光の赤外線帯域と可視光線帯域のうち、いずれか１つを遮断し、他の１つを透過させ、ソフトウェアフィルターがレンズ部前方の現在視程状態により、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）によって生成されたカラー映像または白黒映像からレンズ部前方の視程距離を減少させる要素を除去することで、ＩＳＰによって生成されたカラー映像または白黒映像をフィルタリングする複合フィルタリング方式に基づく複数のフィルタリングレベルのうち、レンズ部前方の現在視程状態に対応するいずれか１つのフィルタリングレベルによって、ハードウェアフィルターのフィルタリング帯域とソフトウェアフィルターのフィルタリングの有無が制御されることで、監視カメラ前方の視程状態に関係なく、常に目標物を識別するのに十分な鮮明度の映像を提供することができる。また、かような段階的複合フィルタリングを基盤に常に鮮明に提供される映像の分析を用いて、オートフォーカシングを行うことで、監視カメラ前方の視程状態に関係なく、常に正確なオートフォーカシング機能を提供することができ、結果として、監視カメラ前方の視程状態に影響を受けない高画質の映像を提供することができる。

特に、複数のフィルタリングレベルは、ハードウェア的な光フィルタリングとソフトウェア的な映像フィルタリングとを複合させたフィルタリング方式を採択することで、ハードウェア的な光フィルタリングの限界とソフトウェア的な映像フィルタリングの限界とを互いに補い、その結果、ハードウェア的な光フィルタリングとソフトウェア的な映像フィルタリングのうち、いずれか１つの方式によって、フィルタリングされた映像よりも非常に優秀な鮮明度と非常に正確なオートフォーカシングが適用された映像を提供するだけではなく、映像フィルタリングの負荷が減少して低性能の監視カメラによっても映像がフィルタリングされる。また、本実施例での４段階のフィルタリングレベルは、監視カメラ側で映像圧縮前の原本映像に適用されるために、映像圧縮及び復元過程での映像損失による映像の鮮明度低下が発生せず、視程距離が非常に短い悪天候や夜間状態でも非常に優秀な鮮明度の映像を提供しつつも、非常に正確なオートフォーカシング機能を提供することができる。

本発明の一実施例による監視カメラの構成図である。 図１に図示した監視カメラの段階的フィルタリング方式を示す図面である。 図１に図示した監視カメラの第１フィルタリングレベルのフィルタリングの様子を示す図面である。 図１に図示した監視カメラの第２フィルタリングレベルのフィルタリングの様子を示す図面である。 図１に図示した監視カメラの第３フィルタリングレベル及び第４フィルタリングレベルのフィルタリングの様子を示す図面である。 図１に図示した監視カメラが適用された映像監視システムの構成図である。

以下、添付図面に基づいて本発明の実施例を詳しく説明する。下記実施例は、前方の視程状態に関係なく、常に目標物を識別するのに十分な鮮明度の映像を提供しつつ前方の視程状態に関係なく、常に正確なオートフォーカシング機能を提供するように、視程状態の変化にロバストな複合フィルタリング方式の監視カメラ及びそれが適用された映像監視システムに関わるものであって、以下では、視程状態の変化にロバストな複合フィルタリング方式の監視カメラを「監視カメラ」と略称する。また、「視程（ｖｉｓｉｂｉｌｉｔｙ）」とは、大気の混濁度を示す尺度であり、「視程距離」とは、正常な視力を有する者が水平方向に、ある目標物を認識することができる最大距離を意味し、「映像」という用語は、本発明の実施例が属する技術分野で通用されるところによって、モニタなどに表示された映像、そのような映像を示す二進データなどを包括する意味として使用する。

図１は、本発明の一実施例による監視カメラ１０の構成図である。図１を参照すれば、本実施例による監視カメラ１０は、レンズ部１１、アクチュエータ１１１、ハードウェアフィルター１２、イメージセンサー１３、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１４、ソフトウェアフィルター１５、スイッチ１５１、圧縮部１６、通信部１７、オートフォーカシング部１８、視程距離測定部１９、及び制御部１１０で構成される。本実施例による監視カメラ１０は、前記構成要素以外に、ハウジング、メモリなどをさらに備えてもよいが、本実施例の特徴が不明になることを防止するために、本実施例の特徴と関係ないカメラの一般的な構成要素についての説明は、省略する。前記構成要素の一部は、マイクロプロセッサー、コンピュータプログラムが保存されたメモリなどの組合せによって具現できる。

レンズ部１１は、少なくとも１つのレンズで構成される。一般に、監視カメラは、移動する物体を捕捉すれば、目標物体を拡大して撮影するズームイン機能と全体撮影面積を広げるズームアウト機能を支援し、かようなズームイン／ズームアウト機能を可能にするために、レンズ部１１は、複数個のレンズで構成されることもある。例えば、レンズ部１１は、円筒状鏡筒に内蔵される凸レンズ、凹レンズ、及び凸レンズで構成される。レンズ部１１が１つのレンズで構成された場合、その１つのレンズの位置を移動させることで、レンズ部１１の焦点位置を変更することができる。レンズ部１１が複数個のレンズで構成された場合、それらのうち、いずれか１つまたは複数個のレンズの位置を移動させることで、レンズ部１１の焦点位置を変更することができるが、かようなレンズをフォーカスレンズと称する。レンズ部１１は、本実施例の特徴とは関連性がないので、本実施例の特徴が不明になることを防止するために、これ以上の詳細な説明は、省略する。

アクチュエータ１１１は、オートフォーカシング部１８の制御によって、レンズ部１１の少なくとも１つのレンズの位置を移動させる。レンズ部１１が１つのレンズで構成されるか、レンズ部１１の複数個のレンズのうち、フォーカスレンズが１つのレンズで構成された場合、アクチュエータ１１１は、オートフォーカシング部１８の制御によって、１つのレンズの位置を移動させる。レンズ部１１のフォーカスレンズが複数個のレンズで構成された場合、アクチュエータ１１１は、オートフォーカシング部１８の制御によって、フォーカスレンズに該当する複数個のレンズの位置を移動させる。アクチュエータ１１１は、レンズ部１１の少なくとも１つのレンズの位置を移動させるための動力を提供するモータ、モータの回転運動をレンズの直線運動に変換するための手段などで構成されてもよい。

ハードウェアフィルター１２は、レンズ部１１前方の現在視程状態によって、レンズ部１１を通過した光の赤外線（ｉｎｆｒａｒｅｄ ｒａｙ）帯域と可視光線（ｖｉｓｉｂｌｅ ｒａｙ）帯域のうち、いずれか１つを遮断し、他の１つを透過させる。天気が晴れて視程状態が良好な場合、ハードウェアフィルター１２は、レンズ部１１を通過した光の赤外線帯域を遮断し、可視光線帯域を透過させる。夜間や悪天候によって、視程状態が不良な場合、ハードウェアフィルター１２は、レンズ部１１を通過した光の可視光線帯域を遮断し、赤外線帯域を透過させる。ハードウェアフィルター１２によって、赤外線帯域がフィルタリングされ、可視光線帯域が透過されることにより、ハードウェアフィルター１２から出射される可視光線帯域の光は、カラー映像の生成に使用され、ハードウェアフィルター１２によって、可視光線帯域がフィルタリングされ、赤外線帯域が透過されることにより、ハードウェアフィルター１２から出射される赤外線帯域の光は、白黒映像の生成に使用される。

かようなハードウェアフィルター１２は、光の特定帯域のみを透過させる光学フィルターの一種であり、様々な種類の誘電体（ｄｉｅｌｅｃｔｒｉｃ）を積層することで具現され、「誘電体フィルター」または「誘電体レンズ」とも称される。ハードウェアフィルター１２は、四角平板状からなり、これに入射された光の赤外線帯域を遮断し、可視光線帯域を透過させる赤外線遮断領域と、これに入射された光の可視光線帯域を遮断し、赤外線帯域を透過させる領域で構成される。ハードウェアフィルター１２は、制御部１１０の制御によって移動され、レンズ部１１後方に赤外線遮断領域と可視光線遮断領域のうち、いずれか１つの領域が位置する。ハードウェアフィルター１２は、四角平板状以外に、レンズの形態と類似した２枚の円板が接合された形態など多様な形態に形成されてもよい。

レンズ部１１後方にハードウェアフィルター１２の赤外線遮断領域が位置すれば、ハードウェアフィルター１２は、レンズ部１１を通過した光の赤外線帯域を遮断し、可視光線帯域を透過させる。レンズ部１１後方にハードウェアフィルター１２の可視光線遮断領域が位置すれば、ハードウェアフィルター１２は、レンズ部１１を通過した光の可視光線帯域を遮断し、赤外線帯域を透過させる。かようなハードウェアフィルター１２の移動のための駆動系は、非常に簡単な構造で具現されるので、非常に低廉な費用で経年変化による性能劣化がほとんど発生しない構造であって、レンズ部１１を通過した光の赤外線帯域と可視光線帯域のうち、いずれか１つのみを選択的に透過させることができる。

イメージセンサー１３は、ハードウェアフィルター１２を通過した光を電気的信号に変換する。イメージセンサー１３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサーとＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーに分類される。かようなイメージセンサー１３は、赤外線と可視光線にいずれも反応し、それを電気的信号に変換する。イメージセンサー１３から出力された信号からカラー映像を生成する場合、イメージセンサー１３に照射された赤外線は、カラー映像の画質を落とす要因として作用し、イメージセンサー１３から出力された信号から白黒映像が生成される場合、イメージセンサー１３に照射された可視光線は、白黒映像の画質を落とす要因として作用する。かような理由で、上述したように、ハードウェアフィルター１２は、レンズ部１１前方の視程状態によって、レンズ部１１を通過した光の赤外線帯域と可視光線帯域のうち、いずれか１つを遮断し、他の１つを透過させる。

ＩＳＰ１４は、イメージセンサー１３から出力された信号から、ハードウェアフィルター１２から出射された光の帯域によって、カラー映像または白黒映像を生成する。ハードウェアフィルター１２によって、赤外線帯域がフィルタリングされ、可視光線帯域が透過されることにより、ハードウェアフィルター１２から可視光線帯域の光が出射された場合、ＩＳＰ１４はイメージセンサー１３から出力された信号からカラー映像を生成し、ハードウェアフィルター１２によって、可視光線帯域がフィルタリングされ、赤外線帯域が透過されることにより、ハードウェアフィルター１２から赤外線帯域の光が出射された場合、ＩＳＰ１４は、イメージセンサー１３から出力された信号から白黒映像を生成する。ＩＳＰ１４は、基本的にイメージセンサー１３から出力された信号のベイヤーパターン映像（Ｂａｙｅｒ ｐａｔｔｅｒｎ ｉｍａｇｅ）の各ピクセル値を補間（ｉｎｔｅｒｐｏｌａｔｅ）することで、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）形式のカラー映像または白黒映像を生成する。ＩＳＰ１４は、追加的に、かように生成されたカラー映像または白黒映像のノイズを除去し、逆光を補正し、色相を自然色に近く調整するなどの映像改善処理が可能である。

ソフトウェアフィルター１５は、レンズ部１１前方の現在視程状態によって、ＩＳＰ１４によって生成されたカラー映像または白黒映像からレンズ部１１前方の視程距離を減少させる要素を除去することで、ＩＳＰ１４によって生成されたカラー映像または白黒映像をフィルタリングする。レンズ部１１前方の視程距離を減少させる要素としては、代表的に霧が挙げられ、それ以外にも、黄砂、降雨、降雪、夜間などが挙げられる。空気中に分布した霧粒子は、光の散乱を起こして映像を歪曲させる。以下では、かように距離を減少させる要素を簡略に「視程障害要素」とも称する。さらに詳細に説明すれば、ソフトウェアフィルター１５は、レンズ部１１前方の現在視程状態によって、ＩＳＰ１４によって生成されたカラー映像または白黒映像にレンズ部１１前方の視程距離を減少させる要素を除去するための所定の映像フィルタリングアルゴリズムを適用することで、ＩＳＰ１４によって生成されたカラー映像または白黒映像をフィルタリングする。

レンズ部１１前方の視程距離を減少させる要素を除去するための所定の映像フィルタリングアルゴリズムの例としては、ＤＣＰ（Ｄａｒｋ Ｃｈａｎｎｅｌ Ｐｒｉｏｒ）アルゴリズムを有することができる。ＤＣＰアルゴリズムは、霧のない正常な領域には、必ずＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）全チャネルの最小値が「０」である値が存在するという統計的特性を用いて霧の濃度を予測し、かように予測された霧の濃度によって、映像から霧除去を行うアルゴリズムである。すなわち、ソフトウェアフィルター１５は、レンズ部１１前方の現在視程状態によって、ＩＳＰ１４によって生成されたカラー映像または白黒映像に、かようなＤＣＰアルゴリズムを適用することで、ＩＳＰ１４によって生成されたカラー映像または白黒映像をフィルタリングすることができる。

映像の改善効果をさらに向上させるために、ＤＣＰアルゴリズム以外に他の映像フィルタリングアルゴリズム、例えば、ヒストグラム平滑化（ｈｉｓｔｏｇｒａｍ ｅｑｕａｌｉｚａｔｉｏｎ）アルゴリズムをさらに適用して、映像の鮮明度をさらに向上させることができる。ヒストグラム平滑化アルゴリズムは、映像のピクセルの明度値の頻度を棒グラフの形で示したヒストグラムを平滑化するアルゴリズムであって、映像の輝度分布を再分配して、明暗対比を最大化することで、映像の鮮明度が向上する。すなわち、ソフトウェアフィルター１５は、レンズ部１１前方の現在視程状態によって、ＩＳＰ１４によって生成されたカラー映像または白黒映像にＤＣＰアルゴリズムとヒストグラム平滑化アルゴリズムを適用することで、ＩＳＰ１４によって生成されたカラー映像または白黒映像をフィルタリングすることができる。ＤＣＰアルゴリズムとヒストグラム平滑化アルゴリズムは、本実施例が属する技術分野で通常の知識を有する者に公知された技術なので、本実施例の特徴が不明になることを防止するために、これに係るさらに詳細な説明は、省略する。

大韓民国登録特許第１０−１４２６２９８号「霧除去率を高めた映像補正装置及び方法」、大韓民国登録特許第１０−１５３４６４６号「映像から霧を除去するための映像処理装置及び方法」などの従来技術は、デジタルカメラから提供された映像に多様な霧除去アルゴリズムを適用した。一般的に、監視カメラ１０のようなデジタルカメラは、映像を圧縮してＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）のように映像表示機能を有する装置に伝送する。かような装置は、デジタルカメラによって圧縮された映像データを復元するが、この過程で映像損失が発生する。その結果、いくら優秀な霧除去アルゴリズムを適用するにしても、映像改善には限界があり、損失された映像から、ある程度の画質の映像を得るためには、プロセッサとメモリに非常に大きな負荷を誘発する高容量アルゴリズムが要求される。ＰＣなどに比べて、非常に低い性能のデジタルカメラによっては、高容量アルゴリズムを円滑に実行することができない。

本実施例において、ソフトウェアフィルター１５は、映像データの圧縮前にＩＳＰ１４によって生成されたＬＶＤＳ形式の無損失映像にＤＣＰアルゴリズム、ヒストグラム平滑化アルゴリズムのような映像フィルタリングアルゴリズムを適用することで、映像フィルタリングアルゴリズムが小容量ファイルの場合にも、映像改善の効果が非常に卓越である。ＩＳＰ１４機能を行うマイクロプロセッサーがソフトウェアフィルター１５の機能も共に行えるが、マイクロプロセッサーの性能限界によって、ソフトウェアフィルター１５は、別途のＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）として具現されることが望ましい。後述するように、ソフトウェアフィルター１５は、複数のフィルタリングレベルのうち、レンズ部１１前方の現在視程状態によって選択されたいずれか１つのフィルタリングレベルによって、ＩＳＰ１４によって生成されたＬＶＤＳ形式の無損失映像に常に同じ映像フィルタリングアルゴリズムを適用する。これにより、ソフトウェアフィルター１５は、比較的低い性能のＤＳＰでも具現可能である。

圧縮部１６は、ＩＳＰ１４によって生成されたカラー映像または白黒映像に対するソフトウェアフィルター１５のフィルタリングの有無によって、ＩＳＰ１４によって生成されたカラー映像を圧縮するか、ソフトウェアフィルター１５によって、フィルタリングされたカラー映像または白黒映像を圧縮する。ＩＳＰ１４によって生成されたカラー映像がソフトウェアフィルター１５によってフィルタリングされずに直接圧縮部１６に入力された場合、圧縮部１６は、ＩＳＰ１４によって生成されたカラー映像を圧縮する。ＩＳＰ１４によって生成されたカラー映像または白黒映像がソフトウェアフィルター１５によってフィルタリングされた場合、圧縮部１６は、ソフトウェアフィルター１５によってフィルタリングされたカラー映像または白黒映像を圧縮する。圧縮部１６は、Ｈ．２６４、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｅｃ）など多様なコデックスによって、ソフトウェアフィルター１５によってフィルタリングされたカラー映像または白黒映像を圧縮することができる。

通信部１７は、圧縮部１６によって圧縮された映像をユーザに監視カメラ１０によって撮影された映像を表示する装置、例えば、管制センターのコンピュータに伝送する。かような映像表示装置と監視カメラ１０が遠く離れている場合、インターネット、ＬＡＮのようなネットワークを介して互いに通信する。通信部１７は、圧縮部１６によって圧縮された映像をＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）によってネットワークを介して映像表示装置に伝送することができる。

オートフォーカシング部１８は、ＩＳＰ１４によって生成されたカラー映像または白黒映像に対するソフトウェアフィルター１５のフィルタリングの有無によりＩＳＰ１４によって生成されたカラー映像の分析を用いてレンズ部１１のオートフォーカシングを行うか、ソフトウェアフィルター１５によってフィルタリングされたカラー映像または白黒映像の分析を用いてレンズ部１１のオートフォーカシングを行う。ＩＳＰ１４によって生成されたカラー映像がソフトウェアフィルター１５によってフィルタリングされず、直接オートフォーカシング部１８に入力された場合、オートフォーカシング部１８は、レンズ部１１の少なくとも１つのレンズとイメージセンサー１３との距離が変化されるように、アクチュエータ１１１の動作を制御しつつ、ＩＳＰ１４によって生成されたカラー映像の鮮明度変化を分析し、ＩＳＰ１４によって生成されたカラー映像の鮮明度が最も高い瞬間のレンズ部１１の少なくとも１つのレンズの位置をレンズ部１１のフォーカシング位置に決定する方式でオートフォーカシングを行う。

例えば、オートフォーカシング部１８は、レンズ部１１の少なくとも１つのレンズとイメージセンサー１３との距離が変化されるように、アクチュエータ１１１の動作を制御しつつ、レンズ部１１の少なくとも１つのレンズが単位距離だけ移動する度にＩＳＰ１４によって生成されたカラー映像を入力され、このように入力されたカラー映像に対する離散ウェーブレット変換（ｄｉｓｃｒｅｅｔ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ）を行い、離散ウェーブレット変換の結果値の低周波数成分と高周波数成分のうち、高周波数成分の大きさが最大となる瞬間のレンズ部１１の少なくとも１つのレンズの位置をレンズ部１１のフォーカシング位置に決定する方式でオートフォーカシングを行う。離散ウェーブレット変換の結果値の高周波数成分が大きいほど映像鮮明度が高くなるので、離散ウェーブレット変換の結果値の高周波数成分の大きさが最大となる瞬間のレンズ部１１の少なくとも１つのレンズの位置がレンズ部１１の焦点が最も正確に合わせられた位置となる。

ＩＳＰ１４によって生成されたカラー映像または白黒映像がソフトウェアフィルター１５によってフィルタリングされた場合、オートフォーカシング部１８は、レンズ部１１の少なくとも１つのレンズとイメージセンサー１３との距離が変化されるように、アクチュエータ１１１の動作を制御しつつ、ソフトウェアフィルター１５によってフィルタリングされたカラー映像または白黒映像の鮮明度変化を分析し、ソフトウェアフィルター１５によってフィルタリングされたカラー映像または白黒映像の鮮明度が最も高い瞬間のレンズ部１１の少なくとも１つのレンズの位置をレンズ部１１のフォーカシング位置に決定する方式でオートフォーカシングを行う。

例えば、オートフォーカシング部１８は、レンズ部１１の少なくとも１つのレンズとイメージセンサー１３との距離が変化されるように、アクチュエータ１１１の動作を制御しつつ、レンズ部１１の少なくとも１つのレンズが単位距離だけ移動する度に、ソフトウェアフィルター１５によってフィルタリングされたカラー映像または白黒映像が入力され、このように入力されたカラー映像または白黒映像に対する離散ウェーブレット変換を行い、離散ウェーブレット変換の結果値の低周波数成分と高周波数成分のうち、高周波数成分の大きさが最大となる瞬間のレンズ部１１の少なくとも１つのレンズの位置をレンズ部１１のフォーカシング位置に決定する方式でオートフォーカシングを行う。オートフォーカシング部１８は、前記のような方式以外にも手動方式の一種であるコントラスト検出方式、位相差検出方式など多様な方式を用いてオートフォーカシングを行ってもよい。

視程距離測定部１９は、ＩＳＰ１４によって生成されたカラー映像または白黒映像のピクセル値に基づいてレンズ部１１前方の視程距離を測定する。大気成分を分析して視程距離を自動で算出する装備を用いてレンズ部１１前方の視程距離を測定することもできるが、かような装備は、非常に高価である。かような理由で、一般的に多様な地域に分布されて設けられた監視カメラを地域別にまとめ、各地域ごとに１台ずつ設けられる。その結果、各監視カメラ別に視程距離を正確に測定することができないという問題点がある。かような問題点を解決するために、監視カメラの出力映像に基づいてソフトウェア的に視程距離を測定する技術が登場した。かような従来技術の例としては、大韓民国登録特許第１０−０７１５１４０号「視程測定装置及びその方法」、大韓民国登録特許第１０−１０３２１６０号「カメラを用いた道路視程測定システム及びその方法」などが挙げられる。

従来技術は、デジタルカメラから提供された映像に基づいて視程を測定する。通常、監視カメラ１０のようなデジタルカメラは、映像を圧縮して伝送するからデジタルカメラによって圧縮された映像データを復元するが、この過程で映像損失が発生する。その結果、優秀な視程距離測定アルゴリズムを適用するにしても、損失された映像から算出された視程距離の正確度には限界があった。本実施例において、視程距離測定部１９は、映像データの圧縮前にＩＳＰ１４によって生成されたＬＶＤＳ形式の無損失映像のピクセル値に基づいてレンズ部１１前方の視程距離を測定するので、従来技術と同じアルゴリズムを用いるという前提の下にレンズ部１１前方の視程距離は、従来技術に比べて、さらに正確に測定することができる。視程距離測定部１９は、ソフトウェアフィルター１５と同様に別途のＤＳＰとして具現されることが望ましい。

図２は、図１に図示した監視カメラ１０の段階的フィルタリング方式を示す図面である。図２を参照すれば、レンズ部１１前方の視程状態は、晴れ状態、煙霧状態、濃霧状態、及び夜間状態に区分される。本実施例による監視カメラ１０は、かように区分された４段階の視程状態に対応する４段階のフィルタリングレベルにレンズ部１１前方の現在視程状態によって映像を段階的にフィルタリングすることでレンズ部１１前方の視程状態が変化しても、常に目標物を識別するのに十分な鮮明度の映像を提供することができる。特に、本実施例における４段階のフィルタリングレベルは、ハードウェア的な光フィルタリングとソフトウェア的な映像フィルタリングを複合させたフィルタリング方式を採択することで、ハードウェア的な光フィルタリングの限界とソフトウェア的な映像フィルタリングの限界とを互いに補い、その結果、ハードウェア的な光フィルタリングとソフトウェア的な映像フィルタリングのうち、いずれか１つの方式によって、フィルタリングされた映像よりも非常に優秀な鮮明度の映像を提供することができる。

上述したように、本実施例は、ＩＳＰ１４によって生成されたカラー映像または白黒映像に対するソフトウェアフィルター１５のフィルタリングの有無によってＩＳＰ１４により生成されたカラー映像の分析を用いてレンズ部１１のオートフォーカシングを行うか、ソフトウェアフィルター１５によってフィルタリングされたカラー映像または白黒映像の分析を用いてレンズ部１１のオートフォーカシングを行う。このように本実施例は、上述したような段階的複合フィルタリング方式を基盤に監視カメラ前方の視程状態に関係なく、常に鮮明に提供されるカラー映像または白黒映像の分析を用いてオートフォーカシングを行う。映像の鮮明度が高いほど被写体の分別が容易になってオートフォーカシングの正確度が上昇するので、本実施例は、監視カメラ前方の視程状態に関係なく、常に正確なオートフォーカシング機能を提供することができる。オートフォーカシングの正確度が高いほど映像の画質が向上するので、結果として、監視カメラ前方の視程状態に影響を受けない高画質の映像を提供することができる。

また、本実施例は、上述したような複合フィルタリング方式を基盤に監視カメラ前方の視程状態に関係なく、常に鮮明に提供されるカラー映像または白黒映像の分析を用いて一種の受動方式でオートフォーカシングを行う。すなわち、常に鮮明に提供されるカラー映像または白黒映像の鮮明度変化を分析してカラー映像または白黒映像の鮮明度が最も高い瞬間のレンズ部１１の少なくとも１つのレンズの位置をレンズ部１１のフォーカシング位置に決定する一種の受動方式でオートフォーカシングを行うので、被写体との距離測定のために超音波や赤外線を放出する能動方式の短所を有していない。したがって、本実施例は、監視カメラ前方の視程状態が不良な場合にも焦点をよく合わせるだけではなく、カメラと被写体との間に窓のような障害物がある場合にも、焦点をよく合わせることができる。

上述したような特許文献を含む従来技術のほとんどは、映像内の視程障害要素の除去効果を高めるために、非常に複雑なアルゴリズムを採用しており、監視カメラ１０のようにプロセッサの性能が劣る装置には適用できないという限界があった。本実施例は、監視カメラ１０前方の視程状態によって、段階的に映像フィルタリングの負荷を最小にしつつも、視程障害要素の除去効果を極大化することができるハードウェア的な光フィルタリングとソフトウェア的な映像フィルタリングの最適の組合せに該当する４段階のフィルタリングレベルの複合フィルタリング方式を採択することで、映像フィルタリングの負荷が減少し、低性能の監視カメラによっても、映像がフィルタリングされ得る。例えば、霧など視程障害要素の濃度が高い場合、映像フィルタリングの負荷が増加するが、その際には、白黒映像を生成することにより、映像フィルタリングの負荷が減少する。

また、本実施例における４段階のフィルタリングレベルは、監視カメラ１０側で映像圧縮前の原本映像に適用されるので、映像圧縮及び復元過程における映像損失による映像の鮮明度低下が発生せず、視程距離が非常に短い悪天候や夜間状態でも、非常に優秀な鮮明度の映像を提供することができる。また、視程距離が非常に短い悪天候や夜間状態において映像の鮮明度が向上しただけオートフォーカシングの正確度も向上するので、視程距離が非常に短い悪天候や夜間状態でも非常に正確なオートフォーカシング機能を提供することができる。

制御部１１０は、ハードウェアフィルター１２のフィルタリング帯域及びソフトウェアフィルター１５のフィルタリングの有無によって互いに異なって圧縮部１６とオートフォーカシング１８に入力される映像が決定される複数のフィルタリングレベルのうち、レンズ部１１前方の現在視程状態に対応するいずれか１つのフィルタリングレベルによって、ハードウェアフィルター１２のフィルタリング帯域とソフトウェアフィルター１５のフィルタリングの有無を制御する。上述したように、複数のフィルタリングレベルは、４段階の視程状態に対応する第１フィルタリングレベル、第２フィルタリングレベル、第３フィルタリングレベル、及び第４フィルタリングレベルに区分され、レンズ部１１前方の視程状態の変化に大きく影響を受けず、常に目標物を識別するのに十分な鮮明度の映像を提供するように各フィルタリングレベルごとにハードウェアフィルター１２のフィルタリング帯域及びソフトウェアフィルター１５のフィルタリングの有無のうち、少なくとも１つが異なって選択される。すなわち、制御部１１０は、第１フィルタリングレベル、第２フィルタリングレベル、第３フィルタリングレベル、第４フィルタリングレベルのうち、視程距離測定部１９によって測定された視程距離によっていずれか１つのフィルタリングレベルを選択し、このように選択されたフィルタリングレベルによって、ハードウェアフィルター１２のフィルタリング帯域とソフトウェアフィルター１５のフィルタリングの有無を制御する。

さらに詳細には、制御部１１０は、視程距離測定部１９によって測定された視程距離によってレンズ部１１後方にハードウェアフィルター１２の赤外線遮断領域と可視光線遮断領域のうち、いずれか１つの領域が位置されるように、ハードウェアフィルター１２の移動を制御することで、ハードウェアフィルター１２のフィルタリング帯域を制御することができる。また、制御部１１０は、視程距離測定部１９によって測定された視程距離によってＩＳＰ１４の映像出力端が圧縮部１６の映像入力端とオートフォーカシング部１８の映像入力端に連結されるか、ソフトウェアフィルター１５の映像入力端に連結されるようにスィッチ１５１のスイッチングを制御することで、ソフトウェアフィルター１５のフィルタリングの有無を制御することができる。スィッチ１５１の３つの接点のうち、信号が流入される接点には、ＩＳＰ１４の映像出力端が連結されており、信号が出力される２つの接点のうち、いずれか１つには、圧縮部１６の映像入力端とオートフォーカシング部１８の映像入力端が連結されており、他の１つには、ソフトウェアフィルター１５の映像入力端とが連結されている。かようなスィッチ１５１は、スイッチングトランジスタの組合せで具現され、ソフトウェアフィルター１５に内蔵されてもよく、ＩＳＰ１４とソフトウェアフィルター１５との間に設けられてもよい。

図３は、図１に図示した監視カメラ１０の第１フィルタリングレベルのフィルタリングの様子を示す図面である。本実施例において、「晴れ状態」とは、天気が晴れて霧、黄砂、降雨、降雪などによる映像歪曲がほとんどなく、監視カメラ１０によって撮影された映像から侵入者など目標物の識別が容易である状態を意味し、レンズ部１１前方の視程距離が「ａ」メートル以上である。例えば、「晴れ状態」は、レンズ部１１前方の視程距離が１０００メートル以上であり得る。かような「晴れ状態」では、複数のフィルタリングレベルのうち、第１フィルタリングレベルによってハードウェア的な光フィルタリングとソフトウェア的な映像フィルタリングが行われる。「晴れ状態」では、レンズ部１１を通過した可視光線帯域の光から、何らのフィルタリング過程もなしに目標物を識別するのに十分な鮮明度の映像が生成される。また、ＩＳＰ１４から出力された映像には、霧のような視程障害要素がほとんどないので、ＩＳＰ１４から出力された映像がソフトウェアフィルター１５によってフィルタリングされる場合、むしろ映像が歪曲される恐れがある。

本実施例において、第１フィルタリングレベルは「晴れ状態」から監視カメラ１０によってレンズ部１１を通過した光から鮮明な映像が生成可能なように、ハードウェアフィルター１２によってレンズ部１１を通過した光の赤外線帯域が遮断され、可視光線帯域が透過された状態でＩＳＰ１４から出力されるカラー映像が直接圧縮部１６とオートフォーカシング部１８に入力されるフィルタリング方式を意味する。すなわち、制御部１１０は、視程距離測定部１９によって測定された視程距離が「晴れ状態」に該当する「ａ」メートル以上の区間に属すれば、複数のフィルタリングレベルのうち、「晴れ状態」に適用される第１フィルタリングレベルを選択し、第１フィルタリングレベルによってレンズ部１１後方にハードウェアフィルター１２の赤外線遮断領域が位置するように、ハードウェアフィルター１２の移動を制御すると共に、ＩＳＰ１４の映像出力端が圧縮部１６の映像入力端とオートフォーカシング部１８の映像入力端に連結されるようにスィッチ１５１のスイッチングを制御する。これにより、第１フィルタリングレベルにおいて、ハードウェアフィルター１２は、レンズ部１１を通過した光の赤外線帯域を遮断し、可視光線帯域を透過させ、ソフトウェアフィルター１５は、ＩＳＰ１４から出力されたカラー映像をフィルタリングせず、ＩＳＰ１４から出力されたカラー映像は、そのまま圧縮部１６とオートフォーカシング部１８に出力される。

図４は、図１に図示した監視カメラ１０の第２フィルタリングレベルのフィルタリングの様子を示す図面である。本実施例において、「煙霧状態」とは、レンズ部１１前方に薄霧がかかって視程距離が減少した状態で、霧以外にも黄砂、降雨、降雪などによって薄霧がかかった程度で視程距離が減少した状態を意味し、レンズ部１１前方の視程距離が「ａ」メートル未満であり、「ｂ」メートル以上の状態である。例えば、「煙霧状態」は、レンズ部１１前方の視程距離が１０００メートル未満であり、３００メートル以上の状態である。かような「煙霧状態」では、複数のフィルタリングレベルのうち、第２フィルタリングレベルによってハードウェア的な光フィルタリングとソフトウェア的な映像フィルタリングが行われる。「煙霧状態」では、レンズ部１１を通過した可視光線帯域の光から、何らのフィルタリング過程なしに映像が生成する場合、薄霧など低濃度の視程障害要素が含まれた映像が生成される。その場合、レンズ部１１から出射された可視光線帯域の光から生成されたカラー映像にＤＣＰアルゴリズムのような映像フィルタリングアルゴリズムが適用されれば、目標物を識別するのに十分な鮮明度の映像が生成される。

本実施例において、第２フィルタリングレベルは、「煙霧状態」で監視カメラ１０によってレンズ部１１を通過した光から鮮明な映像が生成されるように、ハードウェアフィルター１２によってレンズ部１１を通過した光の赤外線帯域が遮断され、可視光線帯域が透過された状態でＩＳＰ１４から出力されるカラー映像がソフトウェアフィルター１５によってフィルタリングされた後、圧縮部１６とオートフォーカシング部１８に入力されるフィルタリング方式である。すなわち、制御部１１０は、視程距離測定部１９によって測定された視程距離が「煙霧状態」に該当する「ａ」メートル未満であり、「ｂ」メートル以上である区間に属すれば、複数のフィルタリングレベルのうち、「煙霧状態」に適用される第２フィルタリングレベルを選択し、第２フィルタリングレベルによってレンズ部１１後方にハードウェアフィルター１２の赤外線遮断領域が位置するように、ハードウェアフィルター１２の移動を制御すると共に、ＩＳＰ１４の映像出力端がソフトウェアフィルター１５の映像入力端に連結されるようにスィッチ１５１のスイッチングを制御する。これにより、第２フィルタリングレベルでハードウェアフィルター１２は、レンズ部１１を通過した光の赤外線帯域を遮断し、可視光線帯域を透過させ、ソフトウェアフィルター１５は、ＩＳＰ１４から出力されたカラー映像をフィルタリングして圧縮部１６とオートフォーカシング部１８に出力する。

図５は、図１に図示した監視カメラ１０の第３フィルタリングレベル及び第４フィルタリングレベルのフィルタリングの様子を示す図面である。本実施例において、「濃霧状態」とは、レンズ部１１前方に濃い霧がかかって視程距離が減少した状態で、霧以外にも黄砂、降雨、降雪などによって濃い霧がかかった程度に視程距離が減少した状態を意味し、レンズ部１１前方の視程距離が「ｂ」メートル未満であり、「ｃ」メートル以上の状態である。例えば、「濃霧状態」は、レンズ部１１前方の視程距離が３００メートル未満であり、１０メートル以上であり得る。かような「濃霧状態」では、複数のフィルタリングレベルのうち、第３フィルタリングレベルによってハードウェア的な光フィルタリングとソフトウェア的な映像フィルタリングが行われる。「濃霧状態」では、レンズ部１１を通過した可視光線帯域の光から何らのフィルタリング過程なしに映像が生成される場合、濃い霧など高濃度の視程障害要素が含まれた映像が生成される。視程障害要素の濃度が高い場合、視程障害要素による映像歪曲が非常にひどくて、ＩＳＰ１４から出力されたカラー映像がソフトウェアフィルター１５によってフィルタリングされても、目標物を識別するのに十分な鮮明度の映像を生成することができない。

本実施例において、「夜間状態」とは、夜間に太陽光が消えることにより、レンズ部１１前方が暗くなって視程距離が減少した状態であり、夜間時間帯以外にも、昼間時間帯に悪天候によって夜間に太陽光が消えた程度に視程距離が減少した状態を意味し、レンズ部１１前方の視程距離が「ｃ」メートル未満の状態である。例えば、「夜間状態」は、レンズ部１１前方の視程距離が１０メートル未満の状態である。かような「夜間状態」では、複数のフィルタリングレベルのうち、第４フィルタリングレベルによってハードウェア的な光フィルタリングとソフトウェア的な映像フィルタリングが行われる。「夜間状態」では、レンズ部１１を通過した可視光線帯域の光から何らのフィルタリング過程なしに映像が生成される場合、映像内の物体間の区別が不可能な暗い映像が生成される。かような暗い映像の場合、映像内の物体の輪郭が明確ではなく、ＩＳＰ１４から出力されたカラー映像がソフトウェアフィルター１５によってフィルタリングされても、目標物を識別するのに十分な鮮明度の映像が生成されない。

物体は、その温度によって多様な波長の赤外線を放射し、赤外線は、可視光線に比べて霧など視程障害要素によって散乱されないので、物体から放射された赤外線は、大部分霧など視程障害要素を透過してレンズ部１１に到逹する。かような理由で、「濃霧状態」及び「夜間状態」では、レンズ部１１から出射された可視光線帯域の光から生成されたカラー映像の画質よりは、レンズ部１１から出射された赤外線帯域の光から生成された白黒映像の画質がさらに優秀である。また、レンズ部１１から出射された赤外線帯域の光から生成された白黒映像にＤＣＰアルゴリズムのような映像フィルタリングアルゴリズムが適用される場合、映像の画質がさらに改善される。これにより、本実施例において、第３フィルタリングレベル及び第４フィルタリングレベルは、基本的にハードウェアフィルター１２によって、レンズ部１１を通過した光の可視光線帯域が遮断され、赤外線帯域が透過された状態でＩＳＰ１４から出力された白黒映像がソフトウェアフィルター１５によってフィルタリングされた後、圧縮部１６とオートフォーカシング部１８に入力されるフィルタリング方式である。

「濃霧状態」では、ＩＳＰ１４から出力された白黒映像にＤＣＰアルゴリズムのような映像フィルタリングアルゴリズムが適用されれば、目標物を識別するのに十分な鮮明度の映像が生成されるが、「夜間状態」では、ＩＳＰ１４から出力された白黒映像にかような映像フィルタリングアルゴリズムが適用されても、白黒映像自体の輝度が過度に暗くて、目標物を識別するのに十分な鮮明度の映像が生成されない場合が多い。これにより、本実施例は、「夜間状態」でＩＳＰ１４から出力された白黒映像の輝度を増加させるために、ＩＳＰ１４から出力された白黒映像の各ピクセルの輝度値を反転させる。ソフトウェアフィルター１５は、最大輝度値からＩＳＰ１４から出力された白黒映像の各ピクセルの輝度値を減算し、その減算結果をＩＳＰ１４から出力された白黒映像の各ピクセルの輝度値に設定することで、ＩＳＰ１４から出力された白黒映像の各ピクセルの輝度値を反転させることができる。各ピクセルの輝度値の全体範囲が０〜２５５レベルに表現された場合、最大輝度値は２５５となりうる。

本実施例において、第３フィルタリングレベルは、「濃霧状態」で監視カメラ１０によってレンズ部１１を通過した光から鮮明な映像が生成されるように、ハードウェアフィルター１２によって、レンズ部１１を通過した光の可視光線帯域が遮断され、赤外線帯域が透過された状態でＩＳＰ１４から出力された白黒映像にＤＣＰアルゴリズムのような映像フィルタリングアルゴリズムが適用される方式でソフトウェアフィルター１５によってフィルタリングされた白黒映像が圧縮部１６とオートフォーカシング部１８に入力されるフィルタリング方式である。すなわち、制御部１１０は、視程距離測定部１９によって測定された視程距離が「濃霧状態」に該当する「ｂ」メートル未満であり、「ｃ」メートル以上の区間に属すれば、複数のフィルタリングレベルのうち、「濃霧状態」に適用される第３フィルタリングレベルを選択し、第３フィルタリングレベルによってレンズ部１１後方にハードウェアフィルター１２の可視光線遮断領域が位置するようにハードウェアフィルター１２の移動を制御し、ＩＳＰ１４の映像出力端がソフトウェアフィルター１５の映像入力端に連結されるようにスィッチ１５１のスイッチングを制御し、ＩＳＰ１４から出力された白黒映像が反転されない状態で映像フィルタリングアルゴリズムが適用されるようにソフトウェアフィルター１５の動作を制御する。

本実施例において、第４フィルタリングレベルは、「夜間状態」で監視カメラ１０によってレンズ部１１を通過した光から鮮明な映像が生成されるように、ハードウェアフィルター１２によってレンズ部１１を通過した光の可視光線帯域が遮断され、赤外線帯域が透過された状態でＩＳＰ１４から出力された白黒映像の各ピクセルの輝度値が反転され、このように反転された輝度値を有する白黒映像にＤＣＰアルゴリズムのような映像フィルタリングアルゴリズムが適用される方式でソフトウェアフィルター１５によってフィルタリングされた白黒映像が圧縮部１６とオートフォーカシング部１８に入力されるフィルタリング方式である。映像の全ピクセルに対する映像フィルタリングアルゴリズムの適用が完了した後には、白黒映像の各ピクセルの輝度値が再び反転されて圧縮部１６とオートフォーカシング部１８に入力される。すなわち、制御部１１０は、視程距離測定部１９によって測定された視程距離が「夜間状態」に該当する「ｃ」メートル未満の区間に属すれば、複数のフィルタリングレベルのうち、「夜間状態」に適用される第４フィルタリングレベルを選択し、第４フィルタリングレベルによってレンズ部１１後方にハードウェアフィルター１２の可視光線遮断領域が位置するように、ハードウェアフィルター１２の移動を制御し、ＩＳＰ１４の映像出力端がソフトウェアフィルター１５の映像入力端に連結されるように、スィッチ１５１のスイッチングを制御し、ＩＳＰ１４から出力された白黒映像が反転された状態で映像フィルタリングアルゴリズムが適用されるように、ソフトウェアフィルター１５の動作を制御する。

上述したような制御部１１０の制御によって、第３フィルタリングレベルでハードウェアフィルター１２は、レンズ部１１を通過した光の可視光線帯域を遮断し、赤外線帯域を透過させ、ソフトウェアフィルター１５は、ＩＳＰ１４から出力された白黒映像に映像フィルタリングアルゴリズムを適用する方式でＩＳＰ１４から出力された白黒映像をフィルタリングして圧縮部１６とオートフォーカシング部１８に出力する。また、第４フィルタリングレベルでハードウェアフィルター１２は、レンズ部１１を通過した光の可視光線帯域を遮断し、赤外線帯域を透過させ、ソフトウェアフィルター１５は、ＩＳＰ１４から出力された白黒映像の各ピクセルの輝度値を反転させ、このように反転された輝度値を有する白黒映像に映像フィルタリングアルゴリズムを適用する方式でＩＳＰ１４から出力された白黒映像をフィルタリングして圧縮部１６とオートフォーカシング部１８に出力する。上述したように、ソフトウェアフィルター１５は、各フィルタリングレベルごとに他の映像フィルタリングアルゴリズムを使用せず、第２、３、４フィルタリングレベルで常に同じ映像フィルタリングアルゴリズムを使用するので、一般のコンピュータに比べて、低性能の監視カメラ１０でも映像フィルタリングを円滑に行える。

上述したように、第１、２フィルタリングレベルでは、ハードウェアフィルター１２によって赤外線帯域がフィルタリングされ、可視光線帯域が透過されることにより、ＩＳＰ１４によってカラー映像が生成され、第３、４フィルタリングレベルでは、ハードウェアフィルター１２によって可視光線帯域がフィルタリングされ、赤外線帯域が透過されることにより、ＩＳＰ１４によって白黒映像が生成される。カラー映像が白黒映像から変換される場合は、映像の画質、特に鮮明度が大幅に向上するので、ＩＳＰ１４から出力された白黒映像のピクセル値に基づいて視程距離を測定すれば、レンズ部１１前方の視程状態が同一であるにもかかわらず、カラー映像のピクセル値に基づいて視程距離を測定する場合に比べて、視程距離が大幅に増加するという問題点がある。かような問題は、次のようにハードウェア的な方法とソフトウェア的な方法など２つの方法で解決される。

まず、ハードウェア的な方法を見れば、次のようである。制御部１１０は、ハードウェアフィルター１２がレンズ部１１を通過した光の可視光線帯域を遮断し、赤外線帯域を透過させる間に視程距離測定部１９の視程距離の測定周期ごとにハードウェアフィルター１２が一時的にレンズ部１１を通過した光の赤外線帯域を遮断し、可視光線帯域を透過させるようにハードウェアフィルター１２のフィルタリング帯域を制御することができる。さらに詳細には、制御部１１０は、レンズ部１１後方にハードウェアフィルター１２の可視光線遮断領域が位置している間に視程距離測定部１９の視程距離の測定周期（例えば、１０ｓｅｃ）ごとにレンズ部１１後方にハードウェアフィルター１２の赤外線遮断領域を位置させた後、少しあとで（例えば、１ｍｓ）レンズ部１１後方にハードウェアフィルター１２の可視光線遮断領域が位置するようにハードウェアフィルター１２の移動を制御することができる。

視程距離測定部１９は、視程距離の測定周期ごとにハードウェアフィルター１２によってレンズ部１１を通過した光の赤外線帯域が遮断され、可視光線帯域が透過された状態でＩＳＰ１４によって生成されたカラー映像のピクセル値に基づいてレンズ部１１前方の視程距離を測定することができる。この方法によれば、視程距離測定部１９の視程距離の測定周期ごとにＩＳＰ１４によって常にカラー映像が生成されるので、レンズ部１１前方の視程状態に関係なく、常に視程距離が正確に測定されるこという長所がある。但し、視程距離測定部１９によって視程距離が測定される区間には、白黒映像を生成することができないので、その区間の間に直前の白黒映像を保持する場合、映像停止現象などが発生してしまうという短所がある。また、ハードウェアフィルター１２の移動が頻繁なので、ハードウェアフィルター１２の移動に関わる駆動系の寿命が短くなるという短所がある。

次いで、ソフトウェア的な方法をよく見れば、次の通りである。
視程距離測定部１９は、ハードウェアフィルター１２によってレンズ部１１を通過した光の赤外線帯域が遮断され、可視光線帯域が透過された状態では、ＩＳＰ１４によって生成されたカラー映像のピクセル値に基づいてレンズ部１１前方の視程距離を減少させる要素の濃度を算出し、かように算出された濃度に反比例して、レンズ部１１前方の視程距離を設定することで、レンズ部１１前方の視程距離を測定することができる。例えば、視程距離測定部１９は、レンズ部１１前方の視程距離の基準値からレンズ部１１前方の視程距離を減少させる要素の濃度を減算し、その減算結果をレンズ部１１前方の視程距離に設定することができる。レンズ部１１前方の視程距離の基準値が過度に小さければ、レンズ部１１前方の視程が良好であるにもかかわらず、視程が不良であると測定され、レンズ部１１前方の視程距離の基準値が過度に大きければ、レンズ部１１前方の視程が不良であるにもかかわらず、視程が良好であると測定される。レンズ部１１前方の視程距離の基準値は、レンズ部１１の性能などに比べて変化可能な値に数回の試験を通じて、レンズ部１１前方の視程距離が正確に判別される値に設定されることが望ましい。

視程距離測定部１９は、ハードウェアフィルター１２によってレンズ部１１を通過した光の可視光線帯域が遮断され、赤外線帯域が透過された状態では、ＩＳＰ１４によって生成された白黒映像のピクセル値に基づいてレンズ部１１前方の視程距離を減少させる要素の濃度を算出し、このように算出された濃度に加重値を加算した後で加重値が加算された濃度に反比例して、レンズ部１１前方の視程距離を設定することで、レンズ部１１前方の視程距離を測定することができる。ここで、加重値は、レンズ部１１前方の視程状態が同じ条件でのＩＳＰ１４によって生成されたカラー映像と白黒映像との鮮明度差を意味する。例えば、視程距離測定部１９は、レンズ部１１前方の視程距離の基準値からレンズ部１１前方の視程距離を減少させる要素の濃度と加重値の和を減算し、その減算結果をレンズ部１１前方の視程距離に設定することができる。

さらに詳細には、視程距離測定部１９は、ＩＳＰ１４によって生成されたカラー映像または白黒映像のピクセル値の輝度変化度、及びＩＳＰ１４によって生成されたカラー映像または白黒映像内の物体の輪郭を示す画素の個数のうち、少なくとも１つからレンズ部１１前方の視程距離を減少させる要素の濃度を算出することができる。天気が晴れて視程状態が良好な場合には、視程状態が不良な場合に比べて、映像のピクセル値の輝度が急変し、映像内の物体の輪郭（ｅｄｇｅ）が鮮明になり、物体の輪郭を示す画素の個数が増加する。例えば、天気が晴れて視程状態が良好な場合には、空と地面との輝度差が克明に示され、空と地面との境界を示す画素の個数が増加する。逆に、夜間や悪天候によって視程状態が不良な場合には、視程状態が良好な場合に比べて、映像のピクセル値の輝度が徐々に変わり、映像内の物体の輪郭がぼけて、物体の輪郭を示す画素数が減少する。例えば、レンズ部１１前方の霧濃度が濃いほど映像のピクセル値の輝度差が減少し、物体の輪郭を示す画素の個数も減少する。

図６は、図１に図示した監視カメラ１０が適用された映像監視システムの構成図である。図６を参照すれば、本実施例による映像監視システムは、図１に示した監視カメラ１０を含む複数個の監視カメラ１０、複数個のハブ２０、及びサーバ３０で構成される。複数個の監視カメラ１０は、監視地域のあちこちに散発的に設けられ、上述したような実施例によって、これにより、撮影された映像をネットワークを介してサーバ３０に伝送する。監視地域が非常に狭い場合であれば、一台の監視カメラ１０だけ設ければよい。複数個のハブ２０は、複数個の監視カメラ１０をネットワークに接続させ、サーバ３０をネットワークに接続させることで、複数個の監視カメラ１０とサーバ３０とのネットワーク通信を可能にする。

サーバ３０は、管制センターに設けられて複数個の監視カメラ１０からネットワークを介して伝送されたカラー映像または白黒映像を受信し、かように受信されたカラー映像または白黒映像をユーザに表示する。サーバ３０は、監視カメラ１０のレンズ部１１前方の現在視程状態によって監視カメラ１０から伝送されたカラー映像または白黒映像からレンズ部１１前方の視程距離を減少させる要素を除去することで、監視カメラ１０から伝送されたカラー映像または白黒映像をフィルタリングすることができる。サーバ３０のハードウェア的な性能は、監視カメラ１０のハードウェア性能に比べて非常に優秀であるので、サーバ３０では、高容量の映像フィルタリングアルゴリズムが円滑に実行される。例えば、監視カメラ１０によって夜間または悪天候状況で撮影された白黒映像は、第４フィルタリングレベルによってフィルタリングされても、その鮮明度が不足することがあるので、サーバ３０は、監視カメラ１０から伝送された白黒映像に、監視カメラ１０によって実行される映像フィルタリングアルゴリズムよりも高性能の映像フィルタリングアルゴリズムを適用することで、目標物を識別するのに十分な鮮明度の白黒映像をユーザに提供することができる。

以上、本発明について望ましい実施例を中心に説明した。本発明が属する技術分野で通常の知識を有する者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されることを理解できるであろう。したがって、開示した実施例は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての相違点は、本発明に含まれるものと解釈されねばならない。

１０ 監視カメラ
１１ レンズ部
１２ ハードウェアフィルター
１３ イメージセンサー
１４ ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
１５ ソフトウェアフィルター
１６ 圧縮部
１７ 通信部
１８ オートフォーカシング部
１９ 視程距離測定部
２０ ハブ
３０ サーバ
１１０ 制御部
１１１ アクチュエータ
１５１ スイッチ

Claims (9)

1. 視程状態の変化にロバストな複合フィルタリング基盤のオートフォーカシング機能を有する監視カメラにおいて、
   少なくとも１つのレンズを含むレンズ部と、
   前記レンズ部前方の現在視程状態によって、前記レンズ部を通過した光の赤外線帯域と可視光線帯域のうち、いずれか１つを遮断し、他の１つを透過させるハードウェアフィルターと、
   前記ハードウェアフィルターを通過した光を電気的信号に変換するイメージセンサーと、
   前記イメージセンサーから出力された信号から前記ハードウェアフィルターから出射された光の帯域によって、カラー映像または白黒映像を生成するＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）と、
   前記レンズ部前方の現在視程状態によって、前記ＩＳＰによって生成されたカラー映像または白黒映像から前記レンズ部前方の視程距離を減少させる要素を除去することにより、前記ＩＳＰによって生成されたカラー映像または白黒映像をフィルタリングするソフトウェアフィルターと、
   前記ソフトウェアフィルターのフィルタリングの有無によって、前記ＩＳＰによって生成されたカラー映像の分析を用いて前記レンズ部のオートフォーカシングを行うか、前記ソフトウェアフィルターによってフィルタリングされたカラー映像または白黒映像の分析を用いて前記レンズ部のオートフォーカシングを行うオートフォーカシング部と、
   前記ハードウェアフィルターのフィルタリング帯域及び前記ソフトウェアフィルターのフィルタリングの有無によって、前記オートフォーカシング部に入力される映像が決定される複数のフィルタリングレベルのうち、前記レンズ部前方の現在視程状態に対応するいずれか１つのフィルタリングレベルによって、前記ハードウェアフィルターのフィルタリング帯域と前記ソフトウェアフィルターのフィルタリングの有無を制御する制御部と、を含むことを特徴とする監視カメラ。
2. 前記オートフォーカシング部の制御によって前記レンズ部の少なくとも１つのレンズの位置を移動させるアクチュエータをさらに含み、
   前記オートフォーカシング部は、前記ＩＳＰによって生成されたカラー映像または白黒映像が、前記ソフトウェアフィルターによってフィルタリングされた場合、前記レンズ部の少なくとも１つのレンズと前記イメージセンサーとの距離が変化されるように前記アクチュエータの動作を制御しつつ、前記ソフトウェアフィルターによってフィルタリングされたカラー映像または白黒映像の鮮明度変化を分析し、前記ソフトウェアフィルターによってフィルタリングされたカラー映像または白黒映像の鮮明度が最も高い瞬間の前記レンズ部の少なくとも１つのレンズの位置を前記レンズ部のフォーカシング位置に決定する方式でオートフォーカシングを行うことを特徴とする請求項１に記載の監視カメラ。
3. 前記複数のフィルタリングレベルは、前記ハードウェアフィルターによって、前記レンズ部を通過した光の赤外線帯域が遮断された状態で、前記ＩＳＰから出力されるカラー映像が直接前記オートフォーカシング部に入力される第１フィルタリングレベル、前記ハードウェアフィルターによって、前記レンズ部を通過した光の赤外線帯域が遮断された状態で、前記ＩＳＰから出力されるカラー映像が前記ソフトウェアフィルターによってフィルタリングされた後、前記オートフォーカシング部に入力される第２フィルタリングレベル、及び前記ハードウェアフィルターによって、前記レンズ部を通過した光の可視光線帯域が遮断された状態で、前記ＩＳＰから出力される白黒映像が前記ソフトウェアフィルターによってフィルタリングされた後、前記オートフォーカシング部に入力される第３フィルタリングレベルを含むことを特徴とする請求項１に記載の監視カメラ。
4. 前記第３フィルタリングレベルでは、前記ＩＳＰから出力された白黒映像に前記視程距離を減少させる要素を除去するための所定の映像フィルタリングアルゴリズムが適用される方式で前記ソフトウェアフィルターによってフィルタリングされた白黒映像が前記オートフォーカシング部に入力され、
   前記複数のフィルタリングレベルは、前記ハードウェアフィルターによって前記レンズ部を通過した光の可視光線帯域が遮断された状態で前記ＩＳＰから出力された白黒映像の各ピクセルの輝度値が反転され、前記反転された輝度値を有する白黒映像に前記所定の映像フィルタリングアルゴリズムと同じ映像フィルタリングアルゴリズムが適用される方式で前記ソフトウェアフィルターによってフィルタリングされた映像が前記オートフォーカシング部に入力される第４フィルタリングレベルをさらに含むことを特徴とする請求項３に記載の監視カメラ。
5. 前記ＩＳＰによって生成されたカラー映像または白黒映像のピクセル値に基づいて前記レンズ部前方の視程距離を測定する視程距離測定部をさらに含み、
   前記制御部は、前記第１フィルタリングレベル、前記第２フィルタリングレベル、及び前記第３フィルタリングレベルのうち、前記視程距離測定部で測定された視程距離によっていずれか１つのフィルタリングレベルを選択し、前記選択されたフィルタリングレベルによって、前記ハードウェアフィルターのフィルタリング帯域と前記ソフトウェアフィルターのフィルタリングの有無を制御することを特徴とする請求項３に記載の監視カメラ。
6. 前記制御部は、前記ハードウェアフィルターが前記レンズ部を通過した光の可視光線帯域を遮断し、赤外線帯域を透過させる間に前記視程距離の測定周期ごとに前記ハードウェアフィルターが一時的に前記レンズ部を通過した光の赤外線帯域を遮断し、可視光線帯域を透過させるように、前記ハードウェアフィルターのフィルタリング帯域を制御し、
   前記視程距離測定部は、前記視程距離の測定周期ごとに前記ハードウェアフィルターによって、前記レンズ部を通過した光の赤外線帯域が遮断され、可視光線帯域が透過された状態で、前記ＩＳＰによって生成されたカラー映像のピクセル値に基づいて前記レンズ部前方の視程距離を測定することを特徴とする請求項５に記載の監視カメラ。
7. 前記視程距離測定部は、
   前記ハードウェアフィルターによって、前記レンズ部を通過した光の赤外線帯域が遮断され、可視光線帯域が透過された状態では、前記ＩＳＰによって生成されたカラー映像のピクセル値に基づいて前記レンズ部前方の視程距離を減少させる要素の濃度を算出し、前記算出された濃度に反比例して前記レンズ部前方の視程距離を設定することにより、前記レンズ部前方の視程距離を測定し、
   前記ハードウェアフィルターによって前記レンズ部を通過した光の可視光線帯域が遮断され、赤外線帯域が透過された状態では、前記ＩＳＰによって生成された白黒映像のピクセル値に基づいて前記レンズ部前方の視程距離を減少させる要素の濃度を算出し、前記算出された濃度に加重値を加算した後、前記加重値が加算された濃度に反比例して前記レンズ部前方の視程距離を設定することにより、前記レンズ部前方の視程距離を測定することを特徴とする請求項５に記載の監視カメラ。
8. 前記ソフトウェアフィルターのフィルタリングの有無によって前記ＩＳＰによって生成されたカラー映像を圧縮するか、前記ソフトウェアフィルターによってフィルタリングされたカラー映像または白黒映像を圧縮する圧縮部をさらに含み、
   前記制御部は、前記ハードウェアフィルターのフィルタリング帯域及び前記ソフトウェアフィルターのフィルタリングの有無によって前記圧縮部と前記オートフォーカシング部に入力される映像が決定される複数のフィルタリングレベルのうち、前記レンズ部前方の現在視程状態に対応するいずれか１つのフィルタリングレベルによって前記ハードウェアフィルターのフィルタリング帯域及び前記ソフトウェアフィルターのフィルタリングの有無を制御することを特徴とする請求項１に記載の監視カメラ。
9. 請求項１に記載の監視カメラを含む少なくとも１つの監視カメラと、
   前記少なくとも１つの監視カメラからネットワークを介して伝送されたカラー映像または白黒映像をユーザに表示するサーバを含むことを特徴とする映像監視システム。

Images