JP2012080524A

JP2012080524A - 監視システム

Info

Publication number: JP2012080524A
Application number: JP2011179446A
Authority: JP
Inventors: Michiteru Shibahara; 道輝柴原; Kazuhiko Nakamura; 和彦中村
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2010-09-09
Filing date: 2011-08-19
Publication date: 2012-04-19
Also published as: WO2012032916A1; CN203301595U

Abstract

【課題】空気中に直径１０００ｎｍ程度の粒子がある長距離の線状または列状の監視対象領域において、物体の特定可能な映像を撮像することを目的とする。
【解決手段】漏えい同軸ケーブルまたは接地面と伝送線との組合わせまたはツイストペア伝送線または平面伝送路または誘電体伝送路または導波管等の漏えい伝送路を鉄道線路にそって敷設した監視システムにおいて、前記漏えい伝送路にＤＣ３６Ｖ以下の直流電源と同期情報とを重畳し、該電源と同期情報に基づきＬＥＤを個別位相のパルスで駆動する回路と水蒸気を透過する波長のＬＥＤを所定間隔で前記線路にそって複数配置し、前記漏えい伝送路の同期情報に同期してＣＣＤカメラの電子シャッタ位相を可変し、撮影する。
【選択図】図２Ｂ

Description

本発明は、物体の監視システムに関するものである。

空気中に霧でも土埃でも直径１０００ｎｍの粒子があると、可視光の短波長が乱反射され、遠距離の被写体の黒が持ち上がりコントラストが減少する。空気中の酸素は約６８０ｎｍの赤を少し吸収し減衰し短波長可視光に比較して１／２に減衰する。約７６０ｎｍの近赤外光を吸収し短波長可視光に比較して１／１０に減衰する。標高が低い地表や海上では、太陽光が水蒸気等に吸収されて減衰し、約７００ｎｍの赤は少し吸収減衰する。さらに約８２０ｎｍと約９００ｎｍから約１０００ｎｍまでと約１１２０ｎｍから約１１６０ｎｍまでと約１３００ｎｍから約１５００ｎｍまでの近赤外光を吸収減衰する。特に、約９７０ｎｍ付近と、約１１３０ｎｍ付近の近赤外光の大気中の透過率は、可視光に比較して１／２０以下と小さい。したがって、水蒸気がある霞は近赤外光を吸収し、遠距離の被写体の近赤外光がカメラに届かない（非特許文献１参照）。
そこで従来から、目視用には、ナトリウムランプ５９０ｎｍ等の６００ｎｍ付近の黄橙色の照明を用い、撮像装置においては、霞や霧などが発生した大気中で撮像する場合のもや等の乱反射の除去方法として、可視光短時間パルスＬＥＤ（ Light Emitting Diode ）を目標物体に照射し、電子シャッタ露光により、所定距離以外の乱反射光を除去して、所定距離の目標物体の反射光のみ撮影することが提案されている（特許文献１参照）。
４つ以上の全地球測位システム（Global Positioning System：GPS)衛星や準天頂衛星（Quasi-Zenith Satellites：ＱＺＳ）の電波を受信すれば、ｃｍ単で各受信点の位置が計測でき、上記衛星に搭載された原子時計の精度で、時間の同期をとることができる。

また、デジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積ＤＳＰ（Digital Signal Processor）だけでなく、安価な汎用のＦＰＧＡ（Field Programmable Gate Array）でも容易に実現できるようになった。
さらに、ＣＣＤ（Charge Coupled Device）から出力された信号から雑音を除去するＣＤＳ（Correlated Double Sampling）、暗電流補正と利得可変増幅回路（Automatic Gain Control、以下、ＡＧＣと称する）、及び、デジタル映像信号Ｖｉに変換するＡＤＣ（Analog Digital Converter）を内蔵したＡＦＥ（Analog Front End）が普及してきた。ＡＦＥのＡＤＣの階調は、従来１０ビットだったが、１２ビットや１４ビットが一般化した。その上さらに、フレームメモリを内蔵したＤＮＲ（Digital Noise Reduction）専用ＩＣ（Integrated Circuit）も低価格で発売された。

さらに、電子増倍型ＣＣＤ撮像素子（例えば、Electron Multiplying-ＣＣＤ：ＥＭ−ＣＣＤ）は、電子冷却部と組み合わせて感度を高くできる。このため、該撮像素子を用いた撮像装置（電子増倍型ＣＣＤ撮像装置）では、可視光と近赤外光による撮影によって、夜間や暗い場所において、照明なしの準動画の取得が可能となり、特に監視用途で使用している。
また、ＣＣＤ撮像素子等のオンチップレンズ表面からフォトダイオードまでの厚みを薄くして、可視光に対して高感度にした撮像素子も市販されている。ＣＭＯＳ撮像素子等のオンチップレンズ表面からフォトダイオードまで光ガイドを内蔵して、短波長の光に対して高感度にした撮像素子も市販されている。ＣＭＯＳ撮像素子等の裏面照射として、オンチップレンズ表面からフォトダイオードまでの厚みを薄くして、短波長の光に対して高感度にした撮像素子も市販されている。さらに深いフォトダイオードまたは近赤外光を反射する微細構造を有し近赤外光を高感度とするフォトダイオードを備える撮像素子も市販されている。高速グローバル電子シャッタのＣＭＯＳやＣＣＤ撮像素子も市販されている（非特許文献２から非特許文献４参照）。さらに、電子増倍型ＣＭＯＳ撮像素子も開発されている。InGaAs等を用い、１７００ｎｍまでの近赤外光に感度を有するＣＣＤ撮像素子も市販されている（非特許文献５参照）。
上述の従来技術では、空気中に霧でも土埃でも直径１０００ｎｍ程度の粒子があると、可視光の短波長が乱反射され、遠距離の被写体の黒が持ち上がりコントラストが減少し、撮影が困難である。さらに、街灯もない山間部において、曇りの夜間で太陽光も月光も星の光もない線路では、ＥＭ−ＣＣＤや新しい撮像素子といえども撮影が困難である。また、遠赤外線カメラの熱画像では、可視光映像との相関が低い上に変調度が低く、侵入物体の検出はできても、個人の特定等の侵入物体の特定は困難である。

特開２００９−９４９７４号公報特開２００３−２５９３８５号公報

土田聡、「可視・近赤外域における大気補正」、資源・環境リモートセンシング実用シリーズ２：地球観測データの処理、p.124-139，2002 光ガイド内蔵撮像素子日経エレクトロニクス 2010.07.12P15 シリコンの高感度近赤外検出素子浜松ホトニクス http://jp.hamamatsu.com/hamamatsu/press/2010/common/pdf/2010_01_13.pdf ＴＩ製品カタログ、TC246CYM-B0 680 x 500 PIXELIMPACTRONTM PRIMARY COLOR CCD IMAGE SENSOR 、SOCS089 MAY 2005 900−1700nmInGaAsCCD http://www.xenics.com/documents/20090714_LR_Xeva-1.7-640_scientific_A4.pdf

本発明は、上記の問題に鑑み、空気中に直径１０００ｎｍ程度の粒子がある監視対象領域において、侵入物体の特定可能な映像を撮像することを、目的とする。

本発明は、上記課題を解決するため、少なくとも可視光または近赤外線を透過するレンズと少なくとも可視光または近赤外線に感度を有する撮像素子を有し、少なくとも被写体の可視光または近赤外光の撮像の映像信号の有効コントラストが所期値より低下した場合は、同期情報の伝送により、空気中の気体分子を透過する黄橙色ＬＥＤまたは赤色ＬＥＤまたは近赤外ＬＥＤを狭オン比で時間差同期発光し、上記撮像素子で上記伝送された同期情報に同期したグローバル電子シャッタを行って撮像した映像を出力することを特徴とする監視システムである。
また、上記監視システムにおいて、画素遅延映像信号７ヶ以上から生成する水平輪郭補正と走査線遅延７ヶ以上から生成する垂直輪郭補正とを有し、少なくとも被写体の可視光及び近赤外光の撮像の映像信号の（ハイライトレベルが低下または黒レベルが上昇等の）有効コントラストが所期値より低下した場合は、黒レベルを低下させることと、画素遅延映像信号７ヶ以上から生成する水平輪郭補正の強調周波数とを下げることと走査線遅延７ヶ以上から生成する垂直輪郭補正の強調走査線本数増やすことと、を特徴とする監視システムである。
また、上記監視システムにおいて、前記撮像素子は、前記ＬＥＤの発光波長帯域通過光学フィルタを入射光路に挿入したＣＣＤ撮像素子であることを特徴とする監視システムである。
さらに、上記監視システムにおいて、上記同期情報は鉄道線路または道路または送電線敷地または風力発電の風車の列等の長距離の線状または列状の監視対象領域の近傍に敷設された漏えい同軸ケーブルまたは接地面と伝送線との組合わせまたはツイストペア伝送線または平面伝送路または誘電体伝送路または導波管等の漏えい伝送路から上記監視対象領域の近傍に放射された電波と、上記監視対象領域の近傍に設置された指向性送信アンテナから上記監視対象領域の近傍に放射された電波と、上記監視対象領域の近傍に敷設された光ケーブルと、ＧＰＳや準天頂衛星等の高精度位置検出機能と高精度同期機能を含む電波の少なくとも一つにより伝送されることを特徴とする監視システムである。
さらに、上記監視システムにおいて、近赤外ＬＥＤの電源は、上記監視対象領域の近傍に敷設された漏えい同軸ケーブル等の漏えい伝送路の重畳電源と、電源線付き光ケーブルの電源線と、線路に敷設された架線と、上記監視対象領域の近傍に敷設された電灯線と、太陽光発電や太陽熱発電や風力発電や通過物体の振動の振動発電を充電した電源の少なくとも一方により供給されることを特徴とする監視システムである。

また、漏えい同軸ケーブル等の漏えい伝送路を上記監視対象領域にそって敷設した監視システムにおいて、前記漏えい同軸ケーブル等の漏えい伝送路に（ＤＣ３６Ｖ以下の直流）電源と同期情報とを重畳し、該電源と同期情報に基づきＬＥＤを個別位相のパルスで駆動する回路とＬＥＤとを所定間隔で前記線路にそって複数有し、前記漏えい同軸ケーブル等の漏えい伝送路の同期情報に同期してグローバル電子シャッタ位相を可変する固体撮像素子を有する固体撮像装置を備え、（前記個別位相のパルスで駆動されたＬＥＤで照明された侵入者撮影する様に、）前記漏えい同軸ケーブル等の漏えい伝送路の同期情報に同期してグローバル電子シャッタ位相を可変することを特徴とする監視システムである。
さらに、上記監視システムにおいて、上記ＬＥＤは酸素吸収波長と水蒸気吸収波長以外の黄橙色の波長（約６００ｎｍ）または赤の波長（約６６０ｎｍ）または近赤外光の波長で酸素と水蒸気とを透過する波長（約７４０ｎｍ、約７８０ｎｍ、約８６０ｎｍ、約１０４０ｎｍ、約１２００−約１２５０ｎｍ、約１５５０−約１６５０ｎｍ）の少なくともいずれかのＬＥＤであり、上記固体撮像素子は上記ＬＥＤの発光波長のみを透過する光学ＢＰＦまたは上記ＬＥＤの発光波長以上の波長を透過する光学ＬＰＦの一方と、厚みが赤端波長約７００ｎｍの５倍（約３．５μｍ）以下のオンチップレンズ表面からフォトダイオードまでの構造と光ガイドと赤端波長約７００ｎｍの８倍（約５．６μm）以上深いフォトダイオードとフォトダイオード下の近赤外光を反射する微細構造と電子増倍電極との少なくとも一方を有するＳｉ撮像素子であるかInGaAs撮像素子であり、上記固体撮像装置は上記ＬＥＤの発光波長のみを撮像する光学フィルタ機能を有する撮像装置であることを特徴とする監視システムである。

本発明によれば、空気中に直径１０００ｎｍ程度の粒子がある監視対象領域において、侵入物体の特定可能な映像を撮像することが可能となる。

本発明の１実施例の線路の監視システムの構成を示すブロック図（ＥＭ−ＣＣＤ）本発明の１実施例の線路の監視システムの構成を示すブロック図（ＦＩＴ−ＣＣＤ）本発明の１実施例の線路の監視システムの構成を示すブロック図（ＩＴ−ＣＣＤ）本発明の１実施例の線路の監視システムの動作を示すタイミングチャート（ＦＩＴ−ＣＣＤまたはＥＭ−ＣＣＤ）本発明の１実施例の線路の監視システムの動作を示すタイミングチャート（ＩＴ−ＣＣＤ）本発明の１実施例の線路の監視システムの動作を示すフローチャート従来の監視システムの霞補正の構成を示すブロック図従来の監視システムの霞補正の電子シャッタの動作を示すタイミングチャート本発明の１実施例の映像信号処理部の構成を示すブロック図本発明の１実施例の多画素輪郭補正と相関平均部の構成を示すブロック図本発明の１実施例の多画素輪郭補正と相関平均の動作を示す模式図本発明の１実施例の黒レベル補正部の動作を示す模式図本発明の１実施例の黒レベル補正部の動作を示す模式図

以下、本発明による撮像装置の１実施例について、本発明の１実施例の線路の監視システムの構成を示すブロック図の図１と、本発明の１実施例の線路の監視システムの漏えい同軸ケーブルの同期情報と、ＬＥＤ発光と、電子シャッタの動作を示すタイミングチャートの図２Ａ（ＦＩＴ−ＣＣＤまたはＥＭ−ＣＣＤ）と図２Ｂ（ＩＴ−ＣＣＤ）と、本発明の１実施例の線路の監視システムの動作を示すフローチャートの図２Ｃとを用いて説明する。
本発明の１実施例の線路の監視システムの構成を示すブロック図の図１Ａと従来の監視システムの霞補正の構成を示すブロック図の図３との相違は、漏えい同軸ケーブルまたは接地面と伝送線との組合わせまたはツイストペア伝送線または平面伝送路または誘電体伝送路または導波管等の漏えい伝送路の同期情報を基準に、被写体側で複数の位相で複数のＬＥＤが駆動されて空気中の気体分子を透過する黄橙色（約６００ｎｍ）または赤色（約６６０ｎｍ）または近赤外（約７４０ｎｍ、約７８０ｎｍ、約８６０ｎｍ、約１０４０ｎｍ、約１２００−約１２５０ｎｍ、約１５５０−約１６５０ｎｍ）で発光している事と、漏えい同軸ケーブルの同期情報を基準に、撮像素子駆動位相が出力映像信号から進相していることである。

本発明の１実施例の線路の監視システムの構成を示すブロック図の図１Ａ、図１Ｂ、図１Ｃにおいて、１はレンズ、２はＥＭ−ＣＣＤ、３はＦＩＴ−ＣＣＤ、４はメモリ付映像信号処理部、５はＣＰＵ、６はＯＤ駆動部、７は撮像部の垂直転送駆動部、８は蓄積部の垂直転送駆動部、９はＴＧ、１０はＣＭＧ駆動部、１１はＣＤＳとＡＧＣとＡ／Ｄ含むＡＦＥ、１２はＬＥＤ、１３はＬＥＤ駆動部、１４は漏えい同軸ケーブル等の漏えい伝送路、１５はＩＴ−ＣＣＤである。１６は温度センサ、１７は冷却部、１８は冷却駆動部である。３９はＬＥＤの発光波長帯域通過光学フィルタを入射光路に挿入したり入射光路から外したりする挿脱光学フィルタである。３９の挿脱光学フィルタは、霧の朝の直射日光等、空気中に霧でも土埃でも直径１０００ｎｍ程度の粒子があり非常に強い外部光が存在する場合に必要となる。
３のＦＩＴ−ＣＣＤまたは１５のＩＴ−ＣＣＤと、６のＯＤ駆動部と７の撮像部の垂直転送駆動部と８の蓄積部の垂直転送駆動部と９のＴＧと１０のＣＭＧ駆動部と１１のＣＤＳとＡＧＣとＡ／Ｄ含むＡＦＥとは、グローバル電子シャッタ位相を可変する高感度の固体撮像素子、例えばグローバル電子シャッタ機能を有するＣＭＯＳ撮像素子に統合されても構わない。２のＥＭ−ＣＣＤはグローバル電子シャッタ機能と電子増倍機能とを有するＣＭＯＳ撮像素子に統合されても構わない。いずれにせよ撮像素子は、非特許文献２から非特許文献５等の可視光または近赤外線に高感度な撮像素子が好ましい。
また、２１と２２と２３はアンテナ、２４は同期情報電波、２５は架線、２６は光ファイバー、２７は電灯線である。図１Ａと図１Ｂと図１Ｃとの各要素の組み合わせは、図示に限らず、どの組み合わせでも良い。

本発明の１実施例の線路の監視システムの動作を示すタイミングチャートの図２Ａ（ＦＩＴ−ＣＣＤまたはＥＭ−ＣＣＤ）と図２Ｂ（ＩＴ−ＣＣＤ）と、従来の監視システムの霞補正の電子シャッタの動作を示すタイミングチャートの図４との相違は、ＬＥＤ発光が被写体側で、鉄道線路にそって敷設した漏えい同軸ケーブルの同期位相に対応して、鉄道線路の位置に対応した複数の位相で複数のＬＥＤが発光しているので、ＣＣＤ駆動位相が出力映像信号から進相していることである。
本発明の１実施例の線路の監視システムの動作を示すタイミングチャートの図２Ａ（ＦＩＴ−ＣＣＤまたはＥＭ−ＣＣＤ）の最下部の様に、減衰太陽光による被写体信号電荷よりも、ＬＥＤと減衰太陽光とによる被写体信号電荷が大きく、昼でも夜でも霧が発生しても、被写体を撮影できる。
本発明の１実施例の線路の監視システムの動作を示すタイミングチャートの図２Ｂ（ＩＴ−ＣＣＤ）の下部の様に、前画面の減衰太陽光による被写体信号電荷は、現画面の減衰太陽光による被写体信号電荷とほぼ同一であるから、現画面のＬＥＤと減衰太陽光による被写体信号電荷の映像信号から、前画面の減衰太陽光による被写体信号電荷の映像信号を減算した結果は、ＬＥＤによる被写体信号電荷となる。
従って、動きの速くない被写体であれば、昼でも夜でも霧が発生しても、被写体を撮影できる。

つまり、本発明は、漏えい同軸ケーブルを線路にそって敷設した（新幹線）線路の監視システムにおいて、前記漏えい同軸ケーブルに（ＤＣ３６Ｖ以下の直流）電源と同期情報とを重畳し、該電源と同期情報に基づきＬＥＤを個別位相のパルスで駆動する回路とＬＥＤとを所定間隔で前記線路にそって複数有し、漏えい同軸ケーブルの同期情報に同期してグローバル電子シャッタ位相を可変する固体撮像装置を有し、（前記個別位相のパルスで駆動されたＬＥＤで照明された侵入者撮影する様に、）前記漏えい同軸ケーブルの同期情報に同期してグローバル電子シャッタ位相を可変することを特徴とする線路の監視システムである。
昼でも夜でも霧が発生しても、鉄道線路または道路または送電線敷地または風力発電の風車の列のいずれかにそって敷設した漏えい同軸ケーブルの同期位相に対応して、鉄道線路等の位置に対応した複数の位相で複数のＬＥＤが発光しているので、グローバル電子シャッタ位相に対応した位置の鉄道線路等の被写体が撮影できる。

本発明の１実施例のフローチャートの図２Ｃと、本発明の１実施例の映像信号処理部の構成を示すブロック図の図５と、本発明の１実施例の多画素輪郭補正と相関平均部の構成を示すブロック図の図６と、本発明の１実施例の多画素輪郭補正と相関平均の動作を示す模式図の図７と、本発明の１実施例の黒レベル補正部の動作を示す模式図の図８Ａと図８Ｂと、を用いて、実施例２を説明する。

図２Ｃは、本発明の１実施例のフローチャートであり、４１の開始のあと、４２の「撮像映像信号の暗部は第一の所定値以上であるか」の判定で、Ｎｏなら４４の現状で撮像し、４７の終了に行く。４２の判定で、Ｙｅｓなら４２の「撮像映像信号のハイライトは第二の所定値以上であるか」の判定で、Ｙｅｓなら４６の出力映像信号VideoOutの黒レベルを下げ、４８の多画素輪郭補正の水平垂直周波数を下げ多画素輪郭補正量を増やし、４７の終了に行く。４２の判定でＮｏなら、４５の漏えい同軸同期のLED波長の帯域通過光学フィルタ挿入し漏えい同軸同期の電子シャッタ動作を行い、４６の出力映像信号VideoOutの黒レベルを下げ、４８の多画素輪郭補正の水平垂直周波数を下げ多画素輪郭補正量を増やし、４７の終了に行く。

図５は本発明の１実施例の映像信号処理部の構成を示すブロック図であり、本発明の１実施例の固体撮像装置を用いた監視システムのブロック図の図１Ｂと図１Ｃの映像信号処理部４Ａに対応する。図１Ａの映像信号処理部４に図５の４Ａを用いても構わない。図６は本発明の１実施例の多画素輪郭補正と相関平均部の構成を示すブロック図であり、図５の３１に対応する。図７は本発明の１実施例の多画素輪郭補正と相関平均の動作を示す模式図であり、図８Ａは本発明の１実施例の黒レベル補正部の動作を示す模式図であり、図８Ｂは本発明の１実施例の黒レベル補正部の動作を示す模式図である。

本発明の１実施例の映像信号処理部４と、従来の固体撮像装置を用いた監視システムのブロック図の図７との相違は、８の湿度計の有無と、１０の光学フィルタの通過波長と、全画素暗電流ばらつき補正と相関平均と多画素輪郭補正と黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強含む映像信号処理部の４である。つまり詳細は後で述べるが、全画素暗電流ばらつき補正と相関平均とによる雑音低減と、多画素輪郭補正と黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強とが、映像信号処理部の４の中において１４ｂｉｔで処理されていることである。

図３は、固体撮像装置のＣＣＤを用いた撮像部３と全画素暗電流ばらつき補正と相関平均と多画素輪郭補正と黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強含む映像信号処理部４の一例であり、撮像部３と映像信号処理部４の全機能含むCMOS撮像素子を用いても良い。図３の撮像部３において、６はＣＰＵで１２は垂直転送駆動部で、２２は冷却部、２３は冷却駆動部、２４は温度センサである。図３の全画素暗電流ばらつき補正と相関平均と多画素輪郭補正と黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強含む映像信号処理部４において、２５はＯＢ検出含むコントラスト検出部、２６は全画素基準暗電流画面メモリ、２７は乗算器、２８は減算器、２９は周辺画素と前画面周辺画素との相関平均含む多画素輪郭補正部、であり、３０は黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強部含む映像信号処理部である。

図１Ａの入射光Linを光学フィルタを通過し図３のＣＣＤ１１で電気信号に変換し、アナログフロントエンド（ＡＦＥ）１３で１４ｂｉｔ程度の撮像装置内部映像信号Viとする。図３の温度センサ２４でＣＣＤ１１の温度を検出し、暗電流の変化量を算出する。ＣＣＤ１１がＥＭ−ＣＣＤでは温度と電荷増倍の積で暗電流の変化量が定まるので、詳細は後述するがＯＢ検出含むコントラスト検出部の２５で、Ｖ−ＯＢのＨ−ＯＢ平均値から暗電流の変化量とを算出する。全画素基準暗電流画面メモリの２６に記憶された全画素でばらついた基準暗電流に乗算器の２７で暗電流の変化量をかけ全画素でばらついた暗電流を算出し、減算器２８で映像信号Viから減算し、全画素の暗電流ばらつきを補正する。詳細は後述するが、周辺画素と前画面周辺画素との相関平均含む多画素輪郭補正部の２９で相関平均と多画素輪郭補正を行い、黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強部含む映像信号処理部の３０で、黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かでコントラストを増強し、ガンマ補正とニー補正して８ｂｉｔ程度の出力映像信号Voとする。

以下、本発明の１実施例の映像信号の黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強補正の動作を、本発明の１実施例の固体撮像装置の入射光の輝度分布と内部映像信号Ｖｉの輝度分布と出力映像信号Ｖｏの輝度分布対応を示す図の図４Ａと図４Ｂとを用いて、説明する。

入射光の暗部が少し上がっても、映像信号の黒レベルを下げてガンマ補正を増強すると、出力映像信号Voのコントラストを確保できる。入射光の暗部が定格の２５％（出力信号の５０〜６０％）付近まで上がると、映像信号の黒レベルを下げてガンマ補正を増強しないほうが出力のコントラスト確保できる。入射光の暗部が定格の３０％（出力信号の５５〜６５％）付近まで上がると、映像信号の黒レベルを下げて暗部のガンマ補正を低減し暗部を圧縮し制限する暗部補正のほうが出力のコントラスト確保できる。映像信号の黒レベルを下げて暗部のガンマ補正を低減し暗部を圧縮し制限する映像信号処理は、画面全体に均一に行うより、画面各部で行うか画素単位で行う方が効果が高い。
また、暗部レベルを一定にした映像信号を用いてアイリス制御出力を生成すれば、アイリスが絞られず、ハイライトレベルの低下が少なく、定格の約８５％（出力信号の８５〜９５％）まで回復する。

図４Ａと図４Ｂとに本発明の１実施例の撮像装置の画面の所定の部分のコントラスト増強の、入射光の輝度分布と内部映像信号Ｖｉの輝度分布と出力映像信号Ｖｏの輝度分布対応を示す。図４Ａでは、映像信号の黒レベルを定格の−５０％付近まで大きく下げて暗部のガンマ補正を低減し、映像信号の暗部レベルを出力信号の約５５％から約１５％まで下げる。また、利得を上げるか絞りを開くか電子シャッタを遅くして、入射光の暗部が上がったことと、映像信号の黒レベルを下げたことによるハイライトの低下を、定格の約６０％、出力信号の約８０％から、定格の約７０％、出力信号の約８５％まで回復させる。輝度出力信号の振幅が約７０％１０５階調約6.8bitになる。さらに輪郭強調を強くする。

図２Ｂに、本発明の他の１実施例の撮像装置の入射光の輝度分布と出力映像信号Ｖｏの輝度分布と対応を示す。図２Ｂでは、入力映像信号の暗部レベル上昇を検出して、映像信号の黒レベルを定格の−100%付近まで大きく下げ暗部圧縮と暗部制限を実施し、暗部のガンマ補正を低減し、暗部の輪郭強調を強くして、出力映像信号の暗部レベルを一定（図２Ｂでは約５％）にする。映像信号の暗部レベルを一定にした映像信号を用いてアイリス制御出力を生成し、出力信号のハイライトを回復する。さらに、入力映像信号のハイライトレベル低下を検出して、ハイライト圧縮を弱め、ハイライト色伸張を強くし、ハイライトの輪郭強調を強くして、出力映像信号のハイライトレベルを一定（図４では約９５％）にする。コントラストが確保されている映像信号では暗部とハイライトの輪郭強調を弱くする。

以下、本発明の１実施例の霞や霧や細かい土埃で、変調度が低域から低下することを補正する例を、本発明の１実施例の映像信号処理部の構成を示すブロック図の図５と、本発明の１実施例の多画素輪郭補正と相関平均部の構成を示すブロック図の図６と、本発明の１実施例の多画素輪郭補正と相関平均の動作を示す模式図の図７と、を用いて説明する。
図５において、２８はＯＢ検出部、２９は全画素基準暗電流フレームメモリ、３０は黒レベル検出含む映像信号処理部、３１は画素遅延6ケ以上とラインメモリ6以上とフレームメモリ含む周辺画素と前画面周辺画素との相関適応平均と多画素輪郭補正部である。
図６において、３２〜３８は画素遅延６ヶ部、５９は映像レベル判定部、４１と４２は輪郭信号生成部、４４は相関平均部、５０〜５８は加算器、５３は正負と増幅度を可変する掛け算器、６１は小振幅大振幅の圧縮制限部、５５は輪郭補正部、５６はスイッチ、６０は減算器、Ｍ１〜Ｍ６はラインメモリ部、Ｍ７は画面メモリ、Ｎ０〜Ｎ６は負の掛け算器、Ｐ１は正の掛け算器である。

図７において、補正前信号は、画面内遅延部の３１において、Ｍ１〜Ｍ６のラインメモリ部で走査線（Ｈ）期間遅延し０Ｈから６Ｈの合計７Ｈの信号となる。３Ｈ信号は、さらに３８の画素遅延６ヶ部で画素時間つまりＣＣＤクロック時間し合計７組の遅延信号となる。合計７Ｈの信号と合計７組の遅延信号とは、４１と４２との輪郭信号生成部に入り、垂直輪郭信号と水平輪郭信号とになり、加算器５１で加算され、小振幅大振幅圧縮制限部６１で小振幅と大振幅とを圧縮制限され、３Ｈ３画素遅延信号を入力した映像レベル判定部４０の制御を受ける正負掛算器５３で輪郭補正信号となり、３Ｈ３画素遅延信号または相関平均加算の３Ｈ３画素遅延信号に加算されて、補正後信号となる。
その結果、本発明の１実施例の多画素輪郭補正と相関平均の動作を示す模式図の図７の(a)低周波数から低い変調度の補正前信号のように低周波数から変調度が低下していても、(b)輪郭補正７画素成分と、(c)輪郭補正５画素成分と、(d)輪郭補正３画素成分とを合成し、(e)本発明補正後信号のように、輪郭が補正できる。つまり、低周波数から変調度が低下していても、輪郭が再現できる。

また、合計７Ｈの信号は３２から３８の画素遅延６ヶ部で画素時間つまりＣＣＤクロック時間遅延し各Ｈで合計７組で総計４９ヶの遅延信号となる。さらに、補正前信号は、画面メモリのＭ７で、垂直走査（Ｖ）期間遅延され、画面内遅延部の４３において画面内遅延部の３１と同様に、走査線（Ｈ）期間遅延し０Ｈから６Ｈの合計７Ｈの信号となり、画素時間つまりＣＣＤクロック時間遅延し各Ｈで合計７組で総計４９ヶの遅延信号となる。
画面内遅延部の３１からの４９ヶの遅延信号と画面内遅延部の４３からの４９ヶの遅延信号との総計９８ヶの遅延信号は相関平均部４４で３Ｈ３画素遅延信号との相関を算出され、９８ヶの遅延信号の内相関の高い信号を重点加算平均する。その結果、雑音が低減する。
さらに、本発明の１実施例の多画素輪郭補正と相関平均の動作を示す模式図の図７の(a)低周波数から低い変調度の補正前信号のように、白キズと呼ばれる暗電流が異常に大きい画素や黒キズと呼ばれる暗電流が異常に小さい画素が有っても、左右の画素は白キズや黒キズとなることはほとんど無いので、相関の高い左右の画素の信号を重点加算平均すると、(d)輪郭補正３画素成分の点線丸の白キズや黒キズの相関平均が無い場合の輪郭補正成分はなくなり、(d)輪郭補正３画素成分と(e)本発明補正後信号との黒丸のようになり、白キズや黒キズの影響がほとんど無くなる。
被写体の可視光及び近赤外光の撮像の映像信号の暗部レベルが所定レベルを上回る場合は、多画素輪郭補正の垂直輪郭補正の強調中心となる走査線本数を多くすることと、多画素輪郭補正の水平輪郭補正の強調中心となる周波数を低くすることと、多画素輪郭補正を強くすることと、相関平均を強くすることと、黒レベルを低下することと、暗部のガンマ補正を弱くすることと、暗部を圧縮制限することと、の少なくとも一方を行う。

コントラスト増強後のVoのＳ／Ｎ確保のため、ＡＦＥの１２と全画素暗電流ばらつき補正と相関平均と多画素輪郭補正と黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強含む映像信号処理部４とは、ＡＦＥの１３の増幅を増加しなくても、図２の映像信号処理のダイナミックレンジ確保とに最低でも８ｂｉｔ＋２ｂｉｔで１０ｂｉｔ以上は必要であり、１２ｂｉｔ以上が好ましい。ＡＦＥの１３の増幅を４ｂｉｔ（１６倍）増加する際は、Ｓ／Ｎ確保のため、ＡＦＥは１０ｂｉｔ＋４ｂｉｔで１４ｂｉｔ以上は必要である。図１Ｂ，図１Ｃの撮像部３Ａ、３Ｂ、３Ｃ、３Ｄも同様である。

つまり、鉄道線路または道路または送電線敷地または風力発電の風車の列のいずれかにそって敷設した漏えい同軸ケーブルの同期位相に対応して、鉄道線路等の位置に対応した複数の位相で複数のＬＥＤが発光しているので、グローバル電子シャッタ位相に対応した位置の鉄道線路等の被写体が撮影する実施例１に、映像信号の黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強補正の実施例２を組み合わせることにより、より濃い霧またはより長距離の霧の中の被写体の特定可能な映像を撮像することができ、侵入者検知の監視が容易になる。

上記の実施例１では、可視光に近い近赤外光の空気中の（水蒸気と酸素との）分子を透過する波長の可視光または近赤外光の約６００ｎｍ、約６６０ｎｍ、約７４０ｎｍ，約７８０ｎｍ，約８６０ｎｍ，約１０４０ｎｍ，約１２００−１２５０ｎｍ，約１５５０−１６５０ｎｍと狭帯域の帯域通過となり、入射光のエネルギーが減衰する。従って、下記の実効感度向上策のいずれか一つがが必要となる。
解放絞りの大きいレンズを用い入射光を増加させる。解放絞りの大きいレンズは大型で高価となる。
前述の非特許文献３の様に、約５．６μm以上深いフォトダイオードのＳｉ撮像素子を用いて（約＋４．５ｄＢの）高感度とする。または、前述の非特許文献２の様に、フォトダイオード下に近赤外光を反射する微細構造を形成し近赤外光を閉じ込めて吸収率を増やすＳｉ撮像素子を用いて（約＋９ｄＢの）高感度とする。微細構造を形成したＳｉ撮像素子でも約４００−１２００ｎｍの高感度撮像も可能である。さらに、前述の非特許文献４の様に、電荷増倍電極の撮像素子を用いて（＋４０ｄＢ以上の）高感度とする。微細加工の進歩で撮像素子の改良が進んでいる。いずれにせよ、暗電流が目立つので、撮像素子を冷却するか、暗電流のばらつきを画素単位で補正するかが必要になる。

撮像素子の暗電流は温度の指数関数に比例する。具体的にはSi撮像素子の暗電流は、６℃温度上昇で２倍になる。従って、撮像素子の温度を温度センサで検出し、検出した温度から記憶しておいた非増倍時の撮像面の全画素の基準暗電流の測定時の撮像素子温度を減算した値で２のべき乗を算出し、記憶しておいた非増倍時の撮像面の全画素の基準暗電流とＡＦＥの１１の増幅度とを掛け算すれば、現在の非増倍時の撮像面の全画素の暗電流の補正値を算出できる。

また、ＥＭ−ＣＣＤの２では温度と電荷増倍の積で暗電流の変化量が定まる。そこで、ＣＣＤ撮像素子の垂直方向の光学的黒画素（ Vertical-Optical Black：Ｖ−ＯＢ）ライン内のＨ−ＯＢを加算平均した値、またはＶ−ＯＢライン内のＨ−ＯＢの最小値を、Ｖ−ＯＢライン内のＨ−ＯＢの暗電流の代表値とする。Ｖ−ＯＢライン内のＨ−ＯＢには、垂直スミア成分も水平スミア成分もない。従って、映像信号処理部で、現在のＶ−ＯＢライン内のＨ−ＯＢの代表値を検出して、検出した現在のＶ−ＯＢライン内のＨ−ＯＢの代表値を記憶しておいた非増倍時のＶ−ＯＢライン内のＨ−ＯＢの基準代表値で除算し、記憶しておいた非増倍時の撮像面の全画素の基準暗電流を掛け算すれば、現在の撮像面の全画素の暗電流の補正値を算出できる。算出した現在の撮像面の全画素の暗電流の補正値を映像信号から減算すれば、撮像面の全画素の暗電流のばらつきを補正でき、Ｓ／Ｎが向上し、実効的に感度が向上する。
または、ＡＦＥの１１の増幅を増加し複数ラインメモリとフィールドメモリとを用い周辺画素と前画面画素との適応型平均により雑音低減し実効的な（約１２ｄＢの）高感度とする。ＡＦＥの１１の増幅を４ｂｉｔ（１６倍）増加する際は、Ｓ／Ｎ確保のため、ＡＦＥは８ｂｉｔ＋４ｂｉｔで１２ｂｉｔ以上は必要であり、１４ｂｉｔ以上が好ましい。全画素暗電流ばらつき補正と相関平均と多画素輪郭補正と黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強含む映像信号処理部４ともＡＦＥと同一ｂｉｔ以上が好ましい。

前述の非特許文献２の短波長光が減衰せずにフォトダイオードに届く裏面照射構造を少なくともフォトダイオードがInGaAs製の撮像素子に適用すれば、約４００−１７００ｎｍの高感度撮像も可能である。短波長光がほとんど減衰せずにフォトダイオードに届く光ガイド内蔵構造を少なくともフォトダイオードがInGaAs製の撮像素子に適用すれば、約６００−１７００ｎｍの高感度撮像も可能である。短波長光の透過率の良い光ガイドで、光ガイド内蔵構造を少なくともフォトダイオードがInGaAs製の撮像素子に適用すれば、約４００−１７００ｎｍの高感度撮像も可能である。フォトダイオードがInGaAs製の方が約９００−１７００ｎｍの高感度撮像が容易であり、フォトダイオード以外はＳｉ製の方が微細加工が容易である。

アッベ数９５以上と分散のほとんどないガラスを用いた非球面レンズで、反射防止コーティングを広帯域波長向けとし、焦点距離を可変した際の焦点面の変動はカムで機械補正するか電動で補正するズームレンズ相当のバリフォーカルレンズを製作すれば、空気とレンズの境界で光が反射する面が少なくなり、収差も少なく、約４００−１７００ｎｍのコントラストの高い結像も可能である。

つまり、本発明は、漏えい同軸ケーブルに電源と同期情報とを重畳し、ＬＥＤは酸素と水蒸気を透過する波長（約６００ｎｍ、約６６０ｎｍ、約７４０ｎｍ、約７８０ｎｍ、約８６０ｎｍ）のみの狭帯域の帯域通過となり、入射光のエネルギーが減衰する。そこで、Ｓｉ撮像素子を用い上記の実効感度向上策で高感度に撮像し、暗電流が目立つので撮像素子を冷却するか暗電流のばらつきを画素単位で補正する。そして、霧の中でも、監視したい線路位置以外の霧の入射光の信号電荷は電子シャッタで掃き捨てることにより、監視したい線路位置の上記ＬＥＤの発光の被写体撮像信号のみを出力する。

あるいは、本発明は、漏えい同軸ケーブルに電源と同期情報とを重畳し、ＬＥＤの近赤外の発光波長（約１０４０ｎｍ、約１２００−約１２５０ｎｍ、約１５５０−約１６５０ｎｍ）のみの狭帯域の帯域通過となり、入射光のエネルギーが減衰する。そこで、InGaAs撮像素子を用い上記の実効感度向上策で高感度に撮像し、暗電流が目立つので撮像素子を冷却するか暗電流のばらつきを画素単位で補正する。そして、霧の中でも、監視したい線路位置以外の霧の入射光の信号電荷は電子シャッタで掃き捨てることにより、監視したい線路位置の上記ＬＥＤの発光の被写体撮像信号のみを出力する。

つまり、鉄道線路または道路または送電線敷地または風力発電の風車の列のいずれかにそって敷設した漏えい同軸ケーブルの同期位相に対応して、鉄道線路等の位置に対応した複数の位相で複数のＬＥＤが発光しているので、グローバル電子シャッタ位相に対応した位置の鉄道線路等の被写体が撮影する実施例１に、上記の実効感度向上策の実施例３を組み合わせることにより、上記の複数の位相で発光するＬＥＤの発光強度を削減することができ、電源供給の自由度が増加する。
さらに、実施例１と実施例３とに映像信号の黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強補正の実施例２を組み合わせることにより、より濃い霧またはより長距離の霧の中の被写体の特定可能な映像を撮像することができ、侵入者検知の監視が容易になるだけでなく、上記の複数の位相で発光するＬＥＤの発光強度をさらに削減することができる。
具体的には、実施例１と実施例３の組み合わせまたは実施例１と実施例２と実施例３の組み合わせにより、漏えい同軸ケーブルに電源重畳したり、電車の架線や送電線や電源線付き光ケーブルから電源を供給したりすることなく、太陽光発電や太陽熱発電や風力発電や列車または自動車等の通過物体の振動の振動発電を充電しておくだけで、上記の複数の位相で発光するＬＥＤを駆動することが可能となる。

さらに、４つ以上のGPS衛星や準天頂衛星（以下GPS衛星等）の電波を受信すれば、ｃｍ単で各受信点の位置が計測でき、上記衛星に搭載された原子時計の精度で、時間の同期をとることができる。そのため、GPS衛星等の電波受信による高精度位置検出機能と高精度同期機能とを有するGPS衛星等の電波部を各照明が備え、受信パルス点灯位相制御機能を有する照明駆動部も各照明が備えれば、位置に対応した複数の位相で複数の照明が発光しているので、グローバル電子シャッタ位相に対応した位置の被写体を撮影できる。その結果、見通し範囲内の任意点の物体の監視に適用することができる。

さらに、各照明を、ナトリウムランプ５９０ｎｍ等の監視撮影画面周期と同期したパルス点灯や、６００ｎｍ付近の黄橙色のLED照明の撮影画面周期と同期したパルス点灯とすれば、各照明は目視確認用と監視撮影との共用となる。
または、各照明を近赤外のパルス点灯とすれば目視しにくい監視に適用することができる。具体的には、各照明の近赤外波長が８５０ｎｍ程度なら目視しにくく、９００ｎｍ程度なら目視ほとんど困難で、９５０ｎｍ程度以上なら目視できない。

つまり本発明は、鉄道線路または道路または送電線敷地または風力発電の風車の列等の長距離の線状または列状の監視対象領域に存在する物体の監視に適用することができる。
さらに、ＧＰＳや準天頂衛星等の高精度位置検出機能と高精度同期機能とパルス点灯位相制御機能とを各照明が有すれば、見通し範囲内の任意点の物体の監視に適用することができる。
また、目視確認用の黄橙色照明のパルス点灯での監視、または目視確認されないように近赤外のパルス点灯での監視に適用することができる。

１：レンズ、２：ＥＭ−ＣＣＤ、３：ＦＩＴ−ＣＣＤ、
４：全画素暗電流ばらつき補正と相関平均と多画素輪郭補正とコントラスト増強含む映像信号処理部、
５：ＣＰＵ、６：ＯＤ駆動部、７：撮像部の垂直転送駆動部、８：蓄積部の垂直転送駆動部、
９，１９：ＴＧ、１０：ＣＭＧ駆動部、１１：ＣＤＳとＡＧＣとＡ／Ｄ含むＡＦＥ、
１２：ＬＥＤ、１３：ＬＥＤ駆動部、１４：漏えい同軸ケーブル等の漏えい伝送路、
１５：ＩＴ−ＣＣＤ、１６：温度センサ、１７：冷却部、１８：冷却駆動部、
２０：メモリ付映像信号処理部、
２１，２２，２３：アンテナ、２４：同期情報電波、２５：架線、２６：光ファイバー、
２７：電灯線、２８：ＯＢ検出部、２９：全画素基準暗電流フレームメモリ、
３０：黒レベル検出含む映像信号処理部、
３１：画素遅延6ケ以上とラインメモリ6以上とフレームメモリ含む周辺画素と前画面周辺画素との相関適応平均と多画素輪郭補正部、
３２〜３８：画素遅延６ヶ部、３９：挿脱光学フィルタ、
Ｍ１〜Ｍ６：ラインメモリ部、Ｎ０〜Ｎ６：負の掛け算器、Ｐ１：正の掛け算器、
５０〜５８：加算器、５９：映像レベル判定器、６０：減算器、
６１：小振幅大振幅の圧縮制限器、

Claims

少なくとも可視光または近赤外線を透過するレンズと少なくとも可視光または近赤外線に感度を有する撮像素子を有し、少なくとも被写体の可視光または近赤外光の撮像の映像信号の有効コントラストが所期値より低下した場合は、同期情報の伝送により、空気中の気体分子を透過する黄橙色ＬＥＤまたは赤色ＬＥＤまたは近赤外ＬＥＤを狭オン比で時間差同期発光し、上記撮像素子で上記伝送された同期情報に同期したグローバル電子シャッタを行って撮像した映像を出力することを特徴とする監視システム。
請求項１の監視システムにおいて、画素遅延映像信号７ヶ以上から生成する水平輪郭補正と走査線遅延７ヶ以上から生成する垂直輪郭補正とを有し、少なくとも被写体の可視光及び近赤外光の撮像の映像信号の有効コントラストが所期値より低下した場合は、黒レベルを低下させることと、画素遅延映像信号７ヶ以上から生成する水平輪郭補正の強調周波数とを下げることと走査線遅延７ヶ以上から生成する垂直輪郭補正の強調中心となる走査線本数を多くすることと、を特徴とする監視システム。
請求項１または請求項２のいずれか一つの監視システムにおいて、前記撮像素子は、前記ＬＥＤの発光波長帯域通過光学フィルタを入射光路に挿入したＣＣＤ撮像素子であることを特徴とする監視システム。
請求項１から請求項３のいずれか一つの監視システムにおいて、上記同期情報は鉄道線路または道路または送電線敷地または風力発電の風車の列等の長距離の線状または列状の監視対象領域の近傍に敷設された漏えい同軸ケーブルまたは接地面と伝送線との組合わせまたはツイストペア伝送線または平面伝送路または誘電体伝送路または導波管等の漏えい伝送路から上記監視対象領域の近傍に放射された電波と、上記監視対象領域の近傍に設置された指向性送信アンテナから上記監視対象領域の近傍に放射された電波と、上記監視対象領域の近傍に敷設された光ケーブルと、ＧＰＳや準天頂衛星等の高精度位置検出機能と高精度同期機能を含む電波の少なくとも一つにより伝送されることを特徴とする監視システム。