JP2009100256A - 物体検知装置 - Google Patents

Abstract

【課題】侵入物体の検知における誤報を無くす。
【解決手段】侵入物体を検出するための画像および信号取得装置として、感度波長の異なる複数の入力装置を用い、それらの少なくとも２つ以上の情報を協調処理する検知システムにおいて、一つの入力装置からの入力を処理して得られる物体検出位置若しくは物体サイズに基づき、他の入力装置からの入力を処理すべき領域範囲を限定する。そして１つ以上の処理結果に基づいて、侵入物体の有無を判断する。
【選択図】図６

Description

本発明は、可視光カメラ、近赤外カメラ、遠赤外線カメラ、ミリ波カメラなどの撮像装置やミリ波センサ、レーザーセンサ等を用いて侵入物体を自動検出する物体検知装置に関する。

従来の物体検知装置では、可視光カメラの画像を処理して検知するか、または近赤外カメラや遠赤外線カメラやミリ波カメラの映像を処理して検知するか、またはミリ波センサやレーザーセンサで検知して物体の有無や位置を判断するかを、用途に応じて選択的に採用していた。

また、本発明に関連する技術として、ほぼ同じ画各で可視光カメラと赤外線カメラとにより撮影された映像に基づいて、物体を検出するものが知られる（例えば、特許文献１乃至５を参照。）。
特開平３−１８２１８５号公報 特開２００７−４５３３６号公報 特開２００２−１５７５９９号公報 特開平１０−２５５０１９号公報 特開昭６２−２０４３８１号公報

しかし、従来の物体検知装置は、それに用いる各種の撮像装置やセンサがそれぞれ異なる感度波長領域を有し、対象物体、環境条件、日照条件などにより検知性能が異なるので、誤報要因を有していた。
すなわち、各種の撮像装置等は、検知性能においてそれぞれ弱点を有する。そのため、それらの撮像装置等を単独で使用したシステムは、例えば、交差点の歩行者検知、駅ホームからの転落者の検知、線路・踏切内の障害物検知等の、複雑な条件の下で安定した検知性能が要求される用途には、そのまま採用することができなかった。

本発明は、上記事情に鑑みなされたもので、複数の撮像装置等からの検知信号を協調処理して、精度を高めた物体検知装置を実現し、高い検知性能を必要とする市場・分野への適用を可能とすることを目的とする。

本発明は、利用する感度波長領域の異なるセンサをそれらの特徴を活かし、それらの画像処理結果や位置情報判断結果を協調処理することによって、高い検知性能を実現する。
例えば、物体を検知すべき環境条件としては、朝／昼／夕／夜、晴れ／曇り／降雨／降雪／濃霧などの日照変化や四季変化など、全ての環境変化での高い検知性能が要求されるため、これらの環境条件でも物体をセンシング並びに画像化できるイメージング装置を複数併設する。

図６は、監視システムに利用可能な主要なイメージング手段である、可視光カメラ、遠赤外線カメラ、ミリ波カメラのそれぞれの感度波長領域を示す図である。
可視光カメラの波長領域は、目視と同じ画像は得られるが、画像処理に対しては太陽光による外来ノイズを含むことになる。遠赤外カメラ領域に関しては、太陽光の遠赤外反射と発熱物体の遠赤外を画像化するが、非発熱体などは画像化できない。ミリ波カメラに関しては、物体が発する微量のミリ波信号を可視化するが、信号が微弱であって物体の全体像を明確に画像化できない。それらを整理すると以下の表のようになる。

このように、それぞれ長所と短所を有するので、これらの特徴を判断して、それぞれの短所をその他のセンシング装置の画像処理、信号処理結果で補完する形の協調処理によって、高度な検知性能を有する物体検知システムを実現するのである。

本発明の物体検知装置は、より具体的には、感度波長が互いに異なる第１及び第２の電磁波検出手段を用い、それら検出情報を協調処理して、物体を検知する物体検知装置であって、第１の電磁波検出手段は、監視対象を２次元イメージとして撮像するものであり第１の電磁波検出手段が撮像した前記２次元イメージの内、第２の電磁波検出手段の検出情報に基づいて定めた領域範囲内で、画像処理を行って物体を検出する。
更に、前記第１の電磁波検出手段は可視光カメラであり、前記第１の電磁波検出手段は遠赤外カメラであり、前記可視光カメラと前記遠赤外カメラは、実質的に同じ監視対象を撮像するように併設され、前記可視光カメラと前記遠赤外カメラで撮像された２次元イメージの夫々について、背景画像の作成及び更新と、前記背景画像と前記２次元イメージとの差分処理と、二値化処理と、ラベリング処理とを行って物体を認識し、前記領域範囲は、前記遠赤外カメラの２次元イメージに基づいて認識された物体の位置に基づいて定め、前記可視光カメラの２次元イメージに基づいて、前記領域範囲内で物体の認識を再度試行し、物体が検出されたときに検知対象であると判断することを特徴とする。

本発明によれば、木の影の揺らぎ等の外乱ノイズや環境変化に影響されにくい遠赤外画像で確実に侵入者を検知し、その侵入者の周辺に設定した領域範囲で、可視光画像から物体検知するようにしたので、侵入物体の見逃しを防ぎつつ誤報を排除し、高い検知性能を実現することができる。

以下、図面を参照してこの発明の実施形態の一例を説明する。

図１は、実施例１の物体検知システムの構成図である。
本例の物体検知システムは、遠赤外レンズ１と、遠赤外カメラ２と、画像処理装置３１、３２と、ビデオモニタ１３、１４と、可視光レンズ１７と、可視光カメラ１８とを備える。
遠赤外レンズ１は、例えばゲルマニウム、シリコン、非晶質カルコゲナイド等などの半導体を研磨したレンズであり、５μｍ以上の波長域に透過性を有する。遠赤外レンズ１は、撮像対象に向けられると共に、遠赤外カメラ２に結合され、撮像対象からの入射光を遠赤外カメラ２の撮像面に結像させる。
遠赤外カメラ２は、例えばボロメータを２次元配列した撮像素子と、シェーディング補正等を行う画像信号プロセッサを備え、撮像対象の遠赤外線像（熱画像）を画像処理装置３１に出力する。

画像処理装置３１は、画像入力Ｉ／Ｆ４と、画像メモリ５と、ＣＰＵ６と、ビデオ出力Ｉ／Ｆ７と、領域判定部８と、ワークメモリ９と、プログラムメモリ１０と、外部Ｉ／Ｆ１１と、上記画像入力Ｉ／Ｆ４から外部Ｉ／Ｆ１１を互いに接続させるデータバス１２とを備える。
画像入力Ｉ／Ｆ４は、遠赤外カメラ２から入力された熱画像を、輝度値が０から２５５までの２５６階調の画像として、画像メモリ５の入力画像用メモリ５１に格納する。遠赤外カメラ２がアナログ出力タイプであれば、画像入力Ｉ／Ｆ４は、熱画像のＡ／Ｄ変換も行う。
画像メモリ５は、入力画像を記録する入力画像メモリ５１、物体検出に使用する背景画像を格納する背景画像メモリ５２、画像メモリ間の演算を行うためのワーク画像メモリ５３、５４、画像間演算の結果を記録する出力画像メモリ５５、二値化画像を格納する二値画像メモリ５６を備え、それぞれ画像処理に必要な容量を有する。

プログラムメモリ１０は、ＣＰＵ６に画像処理などの動作をさせるプログラムを格納する。
ワークメモリ９は、検出された物体の位置座標、行動履歴など、ＣＰＵ６の画像処理で得られたデータの保持及び解析に用いられる。
領域範囲処理部８は、侵入物を検出した結果を受けて、画像メモリ５での位置座標と侵入者の大きさとに基づいて、人が運搬するであろう物体の存在が推定される領域範囲を算出して領域範囲情報を出力する。
ビデオ出力Ｉ／Ｆ７では、画像処理の処理状況をビデオモニタ１３に出力する。
外部Ｉ／Ｆ１１では、侵入者を検出した場合に領域範囲情報１５を出力し、画像処理装置３２から領域範囲情報１５を入力し、またアラーム出力１６を出力する。

一方、目視画像についても、公知の可視光レンズ１７、可視光カメラ１８で撮影されて、画像処理装置３２に入力される。
可視光レンズ１７は、遠赤外レンズ１と併設されて、遠赤外レンズ１と同様の監視対象を同様の画角で撮影する。

画像処理装置３２は、領域範囲処理部８を備えない点を除き、画像処理装置３１とほぼ同一の構成を備え、それらの構成については便宜的に同一の符号を付してある。また画像処理装置３１と３２は、それぞれの外部Ｉ／Ｆ１１を介して互いに接続され、領域範囲情報を交換できるようになっている。

なお、画像処理装置３２のプログラムメモリ１０は、ＣＰＵ６が、画像処理装置３１から得た領域範囲情報１５をその画像メモリ上に展開し、その範囲のみの物体検出処理を行うように動作させるプログラムを記憶している。後述するように、その範囲以外の検出処理を行わないことで、明るさによる外乱ノイズを受けるその他の範囲を処理せずに、確実な範囲での物体検出を実現する。

図２は、本例の物体検知システムの監視環境と、遠赤外カメラ２、可視光カメラ１８の設置状態を示す図である。
監視領域の環境では、太陽２０４により、木２０５には木の影２０６ができる。また、木２０５が風で揺れた場合に、木の影２０６は、揺れ２０７を含むことになる。この中で侵入者２０８を見つけ出し、その侵入者２０８が持つ不審物２０９を見つけるために、遠赤外カメラ装置２０２と可視光カメラ装置２０３を併設して、それらの画像特徴を協調処理する。

以下、撮影された画像や処理画像を参照しながら、画像特徴の協調処理の概要を説明する。
図３は、遠赤外カメラ２により撮影した熱画像とその処理画像、図４は、可視光カメラ１８により撮影した目視画像とその処理画像である。
図３（ａ）に示されるように、遠赤外レンズ１、遠赤外カメラ２は、被写体の温度に応じた熱画像を捉えることができるので、そのカメラで画像処理用の熱画像３０１を得る。熱画像３０１では、侵入者２０８のように周囲と温度の異なる物体（発熱体等）のみ画像化することができる。太陽光のスペクトルは可視光領域に比べ遠赤外線領域にほとんど成分を持たないので、金属面等からの強力な反射を除けば、通常の太陽光の照り返しや、その逆である影の揺らぎ２０７は除去できる。しかし、非発熱体である不審物２０９は、周囲とほぼ同じ温度なのでコントラストが低下し、その像はほとんど捉えられない。

一方図４（ａ）に示されるように、光学レンズ１７、可視光カメラ１８では、目視画像４０１が得られる。従って、侵入者２０８、不審物２０９に加えて、外乱ノイズである木の影の揺れ２０７を含む木の影２０６が画像として捉えられる。そこで、可視光カメラに不審物２０９を検知させるための、熱画像に基づく侵入者２０８の検出結果（侵入物位置座標）を、目視画像に基づく不審物２０９の検出に利用する。

図３（ｂ）は、熱画像３０１を二値化して得られる二値画像３０２であり、画像処理装置３１の二値画像メモリ５６に格納される。画像レベルが低い影の揺らぎ２０７や不審物２０９の情報は失われ、侵入者２０８の像３１１しか残らない。不審物２０９は、侵入者に搬入されるため、侵入者の周辺に存在している。
図３（ｃ）は、二値画像３０２に領域範囲３１２を重ね合わせて示した画像である。領域範囲３１２は、侵入者の二値画像メモリ５６上での大きさと座標に基づいて、侵入者の周囲に設定する。その領域範囲３１２の座標と侵入者の座標を、可視光カメラの処理ルーチンへ領域範囲情報として送信する。

図４（ｂ）は、異なる時刻に撮影した２つの目視画像４０１の差分を二値化して得られる二値画像４０２であり、動きのある侵入者の像４１２、不審物の像４１２以外に木の影の揺れ４１３も画像化されてしまう。
図４（ｃ）は、二値画像４０２に、遠赤外の画像処理ルーチンから受信してメモリ上に展開される領域範囲情報１４を、模式的に重ね合わせて示した画像（範囲被設定画像４２１）である。領域範囲情報１４の受信によって、領域範囲３１２に対応する領域範囲４１４が設定される。領域範囲４２２は、侵入者と不審物があるであろう領域を意味しているので、その中だけ物体認識すればよい。例えば、領域範囲４２２を画像処理装置３２の二値画像メモリ５６上でのアドレスに変換し、そのアドレス以外の画素値を０にするマスキングを行っても良く、あるいは物体認識まではマスキングせずに行って、領域範囲４２２の外で検知された物体を無視するようにしてもよい。

図４（ｄ）は、範囲被設定画像４２１と二値画像３０２の差分である最終二値画像４３１であり、結果画像メモリ５５に格納される。領域範囲４２２の中で、範囲被設定画像４２１と遠赤外処理ルーチンから送られる侵入者だけの二値画像とが比較され、不審物の二値化像４３２のみが得られることになる。
なお、図３に示したような熱画像は、背景の地表（路面）の温度が人体の体温よりも低いとき（例えば２０°）には、明瞭に得ることができるが、温度差がほとんど無くなってしまうと使用できない。その際は、例外的に目視画像のみから物体認識を行い、適宜特開平７−２９０１５号公報のような公知の技術を用いるなどして木の陰等にマスキングを施したり、人物のみを検出するアルゴリズムを用いるなどして領域範囲を設定したりしてもよい。通常、そのような温度になる気象条件は晴天の日中などに限られており、霧や雨などは考慮しなくて良く、限定された環境で信頼性を確保することは容易である。

次に、本例の物体検知システムの動作を具体的に説明する。
図５は、本例の物体検知システムの動作フローチャートである。画像処理装置３１のＣＰＵ６が主体となって５０１から５１１の処理をし、画像処理装置３１のＣＰＵ６が主体となって、５２１から５３６の処理をする。遠赤外カメラ映像も可視光カメラ映像も、背景画像作成処理（５０１、５２１）から物体有無判定処理（５０８、５２８）までは、ほぼ同様に処理される。
まず、画像処理装置３１、３２に共通の処理を説明する。

背景画像処理５０１、５２１は、最初に１度行われる処理であって、カメラで撮影された画像を画像入力Ｉ／Ｆ４から取り込んで、入力画像メモリ５１に格納するとともに、背景画像メモリ５２の初期化（０値の書込み）を行う。
背景画像更新処理５０２、５２２は、既に入力画像メモリ５１に格納されている入力画像と、既に背景画像メモリ５２の背景画像とを平均するなどして新たな背景画像を作成し、背景画像メモリ５２に格納しなおす。これにより、時間とともに変化する背景に合わせて、背景画像が補正される。

画像入力処理５０３、５２３は、カメラで撮影された画像を画像入力Ｉ／Ｆ４から取り込んで、入力画像メモリ５１に上書きする。なお、各カメラの画像は同時刻のものを比較するのが望ましいので、（遠赤外カメラ１の応答性も考慮して）実質的に同時刻の画像を取り込めるように画像入力Ｉ／Ｆ４を制御する。画像入力処理５２３では、画像をメモリに上書きする際に適宜、自動利得制御や、黒レベル／白レベル補正をし、雷などによる照度の変化の影響を受けないようしても良い。
差分処理５０４、５２４は、ワーク画像メモリ５３等を用いて、背景画像メモリ５２の背景画像と、入力画像メモリ５１の入力画像との差を演算し、適宜メディアンフィルタ等のフィルタ処理をしたのち、絶対値化する。

二値化処理５０５、５２５は、差分処理５０３、５２３で得られた差分画像を、所定の閾値で二値化した二値画像を、二値画像メモリ５６に格納する。二値画像では、各画素は輝度の有無に応じ１か０の値を取る。
ラベリング処理５０６、５２６は、二値画像メモリ５６の二値画像から、値が１の画素の塊を検出し、それぞれの塊に番号付けを行う。塊とは、値が１の画素が、縦、横（、斜め）で隣接するように集まった画素の塊である。

物体認識処理５０７、５２７は、ラベリングされた塊のうち、所定の大きさ（高さ、幅）を有するものを、物体として認識する。
物体認識処理５０８、５２８は、物体認識処理５０７、５２７で検知された物体が１つ以上あるか判断し、ある場合には、次の物体座標算出処理５０９、５２９に進み、無い場合には、背景画像更新処理５０２、５２２に分岐し、同様の処理を繰り返すように制御する。

物体座標算出処理５０９、５２９以降が、本例の特徴的な部分である。
まず、遠赤外の画像処理装置３１の処理を説明する。
物体座標算出処理５０９では、物体認識処理５０７で検知された物体を侵入者とみなして、侵入者の位置と大きさを算出する。侵入者の位置は、例えば、物体として認識された塊の上端と下端の中央を縦位置、及び右端と左端の中央を横位置とし、大きさは、当該塊の下端と上端の差（、及び右端と左端の差）とする。

領域範囲算出処理５１０では、物体座標算出処理５０９で得られた侵入者の位置と大きさとから、侵入者が運搬する物体の位置を推定してそこを領域範囲として算出する。例えば、侵入者の位置を中心とし、侵入者の大きさに所定の定数を掛けた値を半径とする円を、領域範囲とする。
領域情報送信処理５１１では、領域範囲算出処理５１０で算出した領域範囲を、外部Ｉ／Ｆ１１から、可視光を処理する画像処理装置３２のルーチンへ送信する。また、当該領域範囲内の二値画像、若しくは物体座標算出処理５０９で算出した物体の位置に対応する画像メモリ上での座標情報も合わせて送信する。

次に、可視光の画像処理装置３２に特有の処理を説明する。
領域情報受信処理５３１では、領域情報送信処理５１１で送信された領域範囲情報を受け付ける。
領域有無判断処理５３２では、領域情報受信処理５３１で受信できた領域範囲情報があるか判断し、ある場合には、次の領域内判断処理５３３に進み、無い場合には、背景画像更新処理５２２に分岐し、これまでの処理を繰り返すように制御する。

領域内判断処理５３３では、受け取った領域範囲情報の示す領域範囲内において、二値画像メモリ５６の二値画像と、受け取った領域範囲内の二値画像（若しくは受け取ったメモリ座標情報を参照して画像処理装置３１にアクセスして取得した二値画像）との差分を取って（あるいはマスク処理を行って）、結果画像メモリ５５に格納する。
領域内物体認識処理５３４では、結果画像メモリ５５の差分画像に残った物体について、その物体の大きさなどをメモリの座標と数などから判断して、目的の検知対象（不審物）であることを判断する。また、その結果をアラーム出力処理４１６に渡す。

アラーム出力処理５３５では、領域内物体認識処理５３４の結果に基づき、外部Ｉ／Ｆ１１からアラームを出力する。

ここで、背景画像更新処理５０２、５２２について説明を補足する。背景画像更新処理では、入力画像の各ピクセル値に重み（忘却係数）ｗを乗じた値と、背景画像の各ピクセル値に重み１−ｗを乗じた値とを加算して、新たな背景画像のピクセル値とする。ｗは０〜１の値をとり、１の場合は１フレーム前の画像を背景画像とするフレーム差分法となり、１未満であれば背景差分法になる。背景差分法の場合、ｗは、平均化の時定数が、種々の侵入物が画各を通り過ぎる時間より十分大きくなるように設定するのが一般的である。このように非常に長い時間に亘って平均化すれば、絶えず侵入物が出入りしているような映像からでも、侵入物が写っていない背景画像を作成することができる。
なお、全ピクセルを更新する方法の他、二値化処理５０５、５２５の二値画像や、物体認識された画素の塊で、入力画像をマスクし、物体が写っていない部分のピクセルのみを更新するようにしても良く、更に、物体が写っている部分のピクセルも所定の時間に一度、必ず更新されるようにしても良い。
本例の背景画像更新処理５０２は、主に動きのある物体を差分処理で検知する目的で行われるのに対し、背景画像更新処理５２２は、主に、遠赤外レンズ１、遠赤外カメラ２自身からの放射成分（ハウジング成分）を差分処理でキャンセルするためのものである。

また、可視光の画像処理装置３２に特有の処理について補足する。不審物を侵入者と別に検出する必要が無い場合、領域内判断処理５３３は不要である。領域内判断処理５３３を行わなくても、領域内物体認識処理５３４では、領域範囲内において、可視光カメラで捉えた動きのある物体（侵入者や侵入者が携行する不審物）のみが検出されることになり、動きの無い発熱体が除去される分、遠赤外カメラのみの検出より精度は向上する。
なお、本例において、物体認識処理５０８の前に、熱画像から周辺温度（地面の温度）を算出し、周辺温度が所定の範囲内のときのみ物体認識処理５０８に進み、範囲外のときは、検出不能を示す信号を画像処理装置３２に送信し、その信号を受けた画像処理装置３２では、画像処理装置３１から受信した領域情報が無くても、領域範囲やマスク領域を独自に設定して領域内判断処理５３３に相当する処理を続けるようにしても良い。

本例の物体検知システムは、先の実施例１に、置き去り検出を追加したものである。すなわち、領域範囲内で一度検出された物体が、その後領域範囲外で検出されたとき、その物体は置き去られたと判断する。
本例の構成は、特に言及しないものは実施例１と同様とする。

ラベリング処理５２６’は、４近傍（８近傍）法、ブロックライン法などのアルゴリズムで、画素の塊に検出順に０、１、２、…と検出ラベルを付けるとともに、画素の塊の位置（例えば中央値）と、検出ラベルと、グループラベル（後述する）と、動きベクトルと（、塊の大きさと）を塊毎に対応付けて記憶しているテーブルを更新する。ただしテーブルは、今回と前回の２回分のラベリング結果を格納しているが、今回値の更新時点では、グループラベルと、動きベクトルは未算出である。次に前回の塊の位置と動きベクトルとから今回の塊の位置を推定し、その位置に近い塊を今回の結果から探し、見つかったものには前回と同じグループラベルを付すとともに、今回の動きベクトルを算出してテーブルを更新する。これは全ての塊から探す必要は無く、前回の検出ラベル値に近い検出ラベルを今回付された塊から探せばよい。次に前回の塊と近いものが無かった今回の残りの塊について、位置の間隔が所定範囲内で動きベクトルが似ているもの同士をグループ化し、新たなグループラベルを付す。また、既にグループラベルが付された塊についても、グループの正当性を検証し、適宜再グループ化する。その際、再グループ化の前後での、各塊の大きさの和の連続性を考慮しても良い。
このようにグループ化すれば、一度物体の候補として検出された塊には、一貫したグループラベルが付されることになる。

領域内物体認識処理５３４’は、実施例１の動作の他、不審物が領域範囲内で検出された際に、その不審物のグループ番号（もしくはラベル）を、領域範囲情報、不審物検出時刻と対応付けて前回検出結果として記憶する。また前回および所定時間経過したあるいは別の侵入者の前回検出結果を消去する。領域範囲の前回検出結果からの変化量が所定値を超えたときに、前回検出結果とは別の侵入者であると判断する。
また、前回検出結果に記憶されている不審物と同じグループ番号の物体が、現在の領域範囲の外にないか捜索し、もし見つかったときはその結果を置き去りアラームとしてアラーム出力処理４１６に渡す。

なお、本例では不審物に一貫性のあるラベルを付すようにしたが、不審物が領域範囲内で見つかったときの不審物画像をテンプレートとするテンプレートマッチングにより不審物を追跡し、領域範囲外に出たことを検出するようにしても良い。

以上説明した実施例１及び２では、可視光と遠赤外の２つのイメージング手段を用いるようにしたが、一方は、領域範囲の設定さえできればよいことは明らかで、各画素が実質的に同時に撮像できるようなイメージング手段でなくても、単指向の遠赤外線センサを機械的にスキャンするものでもよく、予め定める所定の数箇所のみでセンサ感知し、領域範囲をセンサに応じて選択的に設定するものでよい。
また感度波長が更に異なる第３の電磁波検出手段（イメージング手段もしくはセンサ手段）を設け、それらの２以上の検出手段を協調処理して得た複数の検出結果に基づいて、例えばＡＮＤ判断、ＯＲ判断、あるいは重み付き判断を行うようにしても良い。

本例の物体検知システムは、先の実施例１の遠赤外レンズ１、遠赤外カメラ２、画像処理装置３１に代えて、スキャン光学系１０１、レーザ測距装置１０２、画像処理装置１３１を備えたものである。スキャン光学系１０１は、レーザ測距装置１０２のビームをスキャンするものであり、レーザ測距装置１０２は、レーザパルスのラウンドトリップ時間から距離を測定するものであり、これらを連動させて、距離に対応する輝度値を有する２次元イメージを得る。画像処理装置１３１は、画像処理装置３１と同じ処理を行えばよい。距離画像は太陽光の影の揺れの影響を受けないので、実施例１と同様の効果が得られる。

以上の実施例の説明では、人間に運び入れられる物を不審物としてを想定したが、本発明はそれに限るものではなく、例えば車両の積載物についても適用することができる。 その場合も、遠赤外カメラの弱点として、例えば雨天時に走行するトラックは、エンジン車軸などの発熱部分は明瞭に画像化できるが、荷台部分は雨に濡れるため、周囲の温度とほぼ同じ温度になって映像化できず、荷台に対して適切に範囲領域を設定できないことが起こりうる。その場合には、エンジン、車軸の位置の判定結果から、荷台がありそうな部分を、今度は可視光カメラで画像処理して、トラック全体のイメージを画像処理で判断する。この結果からトラックの荷台の積載物の大きさを判断することもできる。

本発明の一実施例の物体検知システムの構成図 本発明の一実施例の物体検知システムの監視環境と、遠赤外カメラ、可視光カメラの設置状態を示す図 本発明の一実施例の遠赤外カメラにより撮影した熱画像とその処理画像 本発明の一実施例の可視光カメラにより撮影した目視画像とその処理画像 本発明の一実施例の物体検知システムの動作フローチャート 監視システムに利用可能な主要なイメージング手段の感度波長領域を示す図

符号の説明

１…遠赤外レンズ、
２…遠赤外カメラ、
３１、３２…画像処理装置、
４…画像入力Ｉ／Ｆ、
５…画像メモリ、
５１…入力画像用メモリ、 ５２…背景画像用メモリ、
５３、５４…ワーク画像メモリ、５５…結果画像メモリ、
５６二値画像メモリ、
６…ＣＰＵ、
７…ビデオ出力Ｉ／Ｆ、
８…領域判定部、
９…ワークメモリ
１０…プログラムメモリ、
１１…外部Ｉ／Ｆ、
１２…データバス、
１３、１４…ビデオモニタ
１５…領域範囲情報、
１６…アラーム出力、
１７…可視光レンズ、
１８…可視光カメラ。

Claims (5)

1. 感度波長が互いに異なる第１及び第２の電磁波検出手段を用い、それら検出情報を協調処理して、物体を検知する物体検知装置であって、
   第１の電磁波検出手段は、監視対象を２次元イメージとして撮像するものであり、
   第１の電磁波検出手段が撮像した前記２次元イメージの内、第２の電磁波検出手段の検出情報に基づいて定めた領域範囲内で、画像処理を行って物体を検出することを特徴とした物体検知装置。
2. 前記第１及び第２の電磁波検出手段は、可視光カメラ、遠赤外カメラ、ミリ波カメラ、レーザーセンサのいずれかであることを特徴とする請求項１記載の物体検知装置。
3. 前記第１の電磁波検出手段は可視光カメラであり、前記第１の電磁波検出手段は遠赤外カメラであり、前記可視光カメラと前記遠赤外カメラは、実質的に同じ監視対象を撮像するように併設され、
   前記可視光カメラと前記遠赤外カメラで撮像された２次元イメージの夫々について、背景画像の作成及び更新と、前記背景画像と前記２次元イメージとの差分処理と、二値化処理と、ラベリング処理とを行って物体を認識し、
   前記領域範囲は、前記遠赤外カメラの２次元イメージに基づいて認識された物体の位置に基づいて定め、
   前記可視光カメラの２次元イメージに基づいて、前記領域範囲内で物体の認識を再度試行し、物体が検出されたときに検知対象であると判断することを特徴とする請求項３記載の物体検知装置。
4. 前記領域範囲内で物体の認識は、前記領域範囲内において、前記可視光カメラの２次元イメージに基づく二値画像を、遠赤外カメラの２次元イメージに基づいて認識された物体の画像でマスクして得られる二値画像の中から、遠赤外カメラが撮像しなかった物体を検知対象として判断する処理であることを特徴とする請求項３記載の物体検知装置。
5. 前記領域範囲内で物体が検知対象として判断された後で、当該物体が現在の領域範囲の外で検出されたときに、置き去りであると判断することを特徴とする請求項３記載の物体検知装置。

Images