JP2004212129A

JP2004212129A - 環境状況把握装置

Info

Publication number: JP2004212129A
Application number: JP2002380109A
Authority: JP
Inventors: Koichiro Nagata; 宏一郎永田; Kiyohide Sekimoto; 清英関本; Minoru Uehara; 実上原
Original assignee: IHI Corp
Current assignee: IHI Corp
Priority date: 2002-12-27
Filing date: 2002-12-27
Publication date: 2004-07-29
Anticipated expiration: 2022-12-27
Also published as: JP4287647B2

Abstract

【課題】所定の監視領域内における移動物体等に関する情報を、その空間位置情報と共に容易に得ることのできる環境状況把握装置を提供する。
【解決手段】所定の監視領域を走査するレーザレーダと、このレーザレーダにより検出される距離情報を可視化したレーザレーダ画像を作成するレーダ画像作成手段と、前記レーザレーダの近傍に設けられて該レーザレーダの監視領域を撮像する監視カメラと、前記監視カメラにより撮像されたカメラ画像の座標と前記レーザレーダ画像の座標とを対応付ける画像マッチング手段とを備える。そしてカメラ画像の各部に距離情報を付与し、またレーザレーダ画像から求められる物体情報を補助情報として監視画像（カメラ画像）に重ねて表示することで、その状況把握の容易化を図る。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、所定の監視領域における移動物体や監視領域の状況変化を把握するに好適な環境状況把握装置に関する。
【０００２】
【関連する背景技術】
所定の監視領域における侵入物を監視する場合、或いはその状況を把握する場合、従来一般的には監視カメラが用いられる。しかしながら監視カメラを用いて得られるカメラ画像は、一般に天候（気象）の影響を受け易く、また夜間における監視が困難である。
【０００３】
一方、最近ではレーザレーダを用いて所定の監視領域における侵入物等を監視することが提唱されている（例えば特許文献１,２を参照）。このレーザレーダを用いた監視システムによれば、天候（気象）等の影響を受けることなく物体検出を行い得る。
【０００４】
【特許文献１】
特開平１１−２２７６０８号公報
【特許文献２】
特開平１１−３５２２４５号公報
【０００５】
【発明が解決しようとする課題】
しかしながら上述したレーザレーダを用いた監視システムにおいては、監視領域に侵入した移動物体等の空間座標（監視点からの距離と方位）を精度良く検出し得るものの、一般にその物体が何であるかを把握することが困難である。この点、前述した監視カメラによる画像であれば、カメラ画像そのものが人間の視覚感性に即したものであるので、その画像情報から個々の物体が何であるかを容易に判別することができる。しかしカメラ画像からは、例えばステレオ視カメラ等を用いない限り検出対象物までの距離情報を得ることはできない。
【０００６】
本発明はこのような事情を考慮してなされたもので、その目的は、所定の監視領域内における移動物体等に関する情報を、その空間位置情報と共に容易に得ることのできる環境状況把握装置を提供することにある。
【０００７】
【課題を解決するための手段】
上述した目的を達成するべく本発明の請求項１に係る環境状況把握装置は、所定の監視領域を走査するレーザレーダと、このレーザレーダにより検出される距離情報を可視化したレーダ画像を作成するレーダ画像作成手段と、前記レーザレーダの近傍に設けられて該レーザレーダの監視領域を撮像する監視カメラとを備え、
特に前記監視カメラにより撮像されたカメラ画像の座標と前記レーダ画像の座標とを対応付ける画像マッチング手段とを備えたことを特徴としている。
【０００８】
好ましくは前記レーダ画像作成手段は、請求項２に記載するように検出された距離情報を濃淡変換または色調変換して３次元情報を可視化したレーダ画像を作成するように構成される。また請求項３に記載するように前記画像マッチング手段は、前記カメラ画像およびレーダ画像間において相互に対応付けられた複数の特徴点の位置座標に基づいて前記カメラ画像の座標系と前記レーダ画像の座標系とを重ね合わせるように構成される。
【０００９】
このように構成された環境状況把握装置によれば、カメラ画像とレーダ画像とを相互に対応付けることができるので、例えばカメラ画像から監視対象領域における個々の物体を容易に判別しながら、その物体の空間座標（監視点からの距離と方位）をレーダ画像から容易に、しかも精度良く求めることが可能となる。また逆に天候等の影響を受けてカメラ画像が不鮮明である場合でも、レーダ画像によってその不鮮明さを補うことが可能となるので、監視対象領域の的確な状況把握を行うことが可能となる。
【００１０】
また本発明の請求項４に係る環境状況把握装置は、請求項１に記載の環境状況監視装置において、
更に前記レーザレーダ画像から物体の面および／または移動物体を認識する物体認識手段と、認識した物体の面および／または移動物体を特定する補助情報を前記カメラ画像上に重ねて表示する補助情報表示手段とを備えることを特徴とする。
【００１１】
このように構成された環境状況把握装置によれば、レーザレーダ画像から物体の面および／または移動物体を特定する補助情報、例えば輪郭線や識別マークをカメラ画像上に重ねて表示することで、監視対象領域における不変的な固定構造物を明確に明示したり、上記監視対象領域における注目すべき物体をその他の物体と容易に識別表示することが可能となる。この結果、天候等に左右されることなく監視対象領域における種々の状況を的確に把握することが可能となる。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態に係る環境状況把握装置について説明する。
図１はこの実施形態に係る環境状況把握装置の概略構成を示すものであって、１０は所定の監視対象領域を走査するレーザレーダ、また２０は上記レーザレーダ１０の近傍に設けられて上記監視対象領域を撮像する監視カメラ（例えばＴＶカメラ）である。これらのレーザレーダ１０と監視カメラ２０は、１つの筐体３０に一体に収容されてセンサユニットを構成し、建屋の壁面や電柱等の所定高さの監視点に設置されてその監視対象領域である地表面を俯瞰するように設けられる。即ち、レーザレーダ１０と監視カメラ２０は、実質的に同一と看做し得る監視点から、同じ監視対象領域をそれぞれ視野するように設けられている。
【００１３】
ちなみにレーザレーダ１０は、例えば多面体ミラー１１を一定速度で回転駆動する主走査モータ１２と、この主走査モータ１２に対してその回転軸を直交させて設けられて上記多面体ミラー１１の回転軸を所定の角度範囲内で傾動させることで該多面体ミラー１１の回転面を所定速度で揺動させる副走査モータ１３とを備える。そしてレーザ光源１４から発せられたレーザパルス光をハーフミラー１５を介して前記多面体ミラー１１に照射することで、上記レーザパルス光を該多面体ミラー１１の回転と傾きとに応じて所定の監視領域に照射し、またレーザパルス光の監視領域からの反射光を前記多面体ミラー１１から集光レンズ１６を介して受光器１７により受光検知するように構成される。
【００１４】
即ち、このレーザレーダ１０は、多面体ミラー１１の回転とその揺動とによってレーザパルス光の照射方向を主走査方向（ｘ方向）に高速に走査しながら、その走査面を副走査方向（ｙ方向）に走査し、これによって図２に例示するように所定の監視対象領域の全域を走査している。そして監視対象領域に存在する種々の物体による反射光を上記レーザパルス光の照射に同期して受光し、その受光タイミング（レーザパルス光の照射タイミングからその反射光の受光タイミングまでの経過時間）から物体（反射点）までの距離情報を求めるように構成されている。
【００１５】
このようなレーザレーダ１０を用いて検出される距離情報を可視化したレーダ画像を作成するレーダ画像作成手段４０は、例えばパーソナルコンピュータからなる監視装置本体５０が備える機能の一部として実現される。具体的にはこのレーダ画像作成手段４０は、例えば図３に示すように前記レーザ光源１４を駆動するレーザパルス走査回路４１からの同期信号を受けて前記レーザパルス光の物体による反射光の受光タイミングを計測する反射光検出部４２と、この計測時間を距離情報に変換する距離情報変換部４３、およびこの距離情報を濃淡情報に変換する濃淡変換部４４とを備える。尚、前記計測時間を直接的に濃淡情報に変換することも勿論可能である。またこの実施形態においては距離情報を、例えば遠距離ほど濃度が濃くなる濃淡情報に変換する例について示すが、距離に応じて色が段階的に変化する色調変換を施すようにしても良い。
【００１６】
レーザレーダ画像は、上述したようにして求められる濃淡情報（距離情報）を前記レーザパルス走査回路４１から求められる主走査角度および副走査角度の情報に従って所定の画像メモリ４５上に順次マッピングしていくことにより作成される。即ち、レーザパルス光の走査方向を示す主走査角度および副走査角度によって特定される座標（画像メモリ４５のアドレス）に、そのときに求められた濃淡情報（距離情報）を書き込むことで、画像メモリ４５上にレーザパルス光の反射点を前述した監視対象領域において３次元的に特定するレーザレーダ画像を作成するものとなっている。
【００１７】
さてこの発明に係る環境状況把握装置が特徴とするところは、上述した如くして求められる監視対象領域のレーザレーダ画像Ａの座標と、前述した監視カメラ２０を用いて撮像された上記監視対象領域のカメラ画像Ｂの座標とを相互に対応付ける画像マッチング手段６０を備えている点にある。この画像マッチング手段６０も前述した監視装置本体５０が備える機能の一部として実現される。そしてこの画像マッチング手段６０は、レーザレーダ１０と監視カメラ２０とを一体に備えたセンサユニット３０を、前述した電柱等に所定の監視対象領域を視野するように設置したとき、その初期設定処理として起動される。
【００１８】
具体的には画像マッチング手段６０は、前記監視装置本体５０に設けられモニタ（ディスプレイ）７０にレーザレーダ画像Ａおよびカメラ画像Ｂをそれぞれ表示し、これらの各画像Ａ,Ｂにおける前記監視対象領域での互いに対応する代表的な特徴点が複数点に亘ってそれぞれ指定されたとき、これらの指定された特徴点の位置座標に従って前記レーザレーダ画像Ａの座標系とカメラ画像Ｂの座標系とを互いに対応付ける処理を実行する。
【００１９】
即ち、図４にその処理概念を示すようにレーザレーダ画像Ａにおいて明確に識別可能な複数の物体の位置を示す座標をその代表的な特徴点ａ１,ａ２,ａ３,…として指定し、またカメラ画像Ｂにおける上記各物体の位置を示す座標を上記各特徴点ａ１,ａ２,ａ３,…にそれぞれ対応する特徴点ｂ１,ｂ２,ｂ３,…として指定する。これらの特徴点ａ１,ａ２,ａ３,…（ｂ１,ｂ２,ｂ３,…）については、例えばオペレータの経験や画像認知感覚に基づいて、各画像Ａ,Ｂにおいて明らかに同一と認められる物体や着目点を、監視点から近距離にあるものおよび監視点から遠距離にあるものとして選択的に指定するようにすれば良い。そしてこれらの指定された特徴点ａ１,ａ２,ａ３,…（ｂ１,ｂ２,ｂ３,…）の各座標が互いに重なり合うように一方の画像（レーザレーダ画像Ａまたはカメラ画像Ｂ）の座標系を変換し、これによってレーザレーダ画像Ａとカメラ画像Ｂとを互いに重ね合わせるようにすれば良い。
【００２０】
より具体的には図５にその処理手順を示すように、先ずレーザレーダ画像Ａにおいて垂直となる対象物の座標、具体的にはレーザレーダ画像Ａにおける水平方向ドット位置と垂直方向ドット位置とを４箇所に亘ってそれぞれ指定する〈ステップＳ１〉。次にカメラ画像Ｂにおいて、上記レーザレーダ画像Ａと同じ対象物の同一部位を示す４箇所の座標（水平方向ドット位置と垂直方向ドット位置）をそれぞれ指定する〈ステップＳ２〉。そしてこれらの指定された複数の座標から各画像Ａ,Ｂのゲイン（空間傾き比較値）をそれぞれ求める〈ステップＳ３〉。
【００２１】
次いでレーザレーダ画像Ａにおける対象物の特定部位の座標と、カメラ画像Ｂにおける同じ対象物の同じ部位の座標とが一致するように、上記座標間のずれを示す水平方向ドット差および垂直方向ドット差とにより示されるオフセットを入力する〈ステップＳ４〉。そして前記ゲインとオフセットとに基づき、例えば
[レーザレーダ画面座標]＝[カメラ画面座標]／[ゲイン]−[オフセット]
として、レーザレーダ画像Ａの座標系をカメラ画像Ｂの座標系に合わせる〈ステップＳ５〉。
【００２２】
かくしてこのようにしてレーザレーダ画像Ａの座標系とカメラ画像Ｂの座標系とをマッチングさせれば、その後の監視動作時には一般的には撮像対象領域の状況を把握することが容易なカメラ画像Ｂの各部に上記レーザレーダ画像Ａによって示される距離情報をそれぞれ付与することが可能となる。そしてカメラ画像Ｂにおいては一見したところ識別が困難な、例えばその一部が重なり合っている似たような色調の複数の物体であっても、或いは気象条件の影響を受けて複数の物体間の区切りを識別することが困難な場合であっても、上記レーザレーダ画像Ａから求められる距離情報に従って個々の物体をそれぞれ明確に識別することが可能となる。従ってレーザレーダ画像Ａおよびカメラ画像Ｂがそれぞれ有する欠点を互いに補いながら、またレーザレーダ画像Ａおよびカメラ画像Ｂがそれぞれ有する利点をそれぞれ活かしながら所定の監視対象領域における移動物体等の状況を容易に、しかも的確に把握することが可能となる。
【００２３】
ところでこの発明に係る環境状況把握装置は、上述した画像マッチング処理手段６０に加えて、更に前記レーザレーダ画像Ａから前記監視対象領域における固定物体の面や移動物体を認識する物体認識手段８０を備えている。具体的にはこの物体認識手段８０は、図５に示すように監視対象領域における固定物のまとまりの情報からその固定物を構成する面を認識する平面認識処理部８１と、前記監視対象領域において一走査毎に検出座標が変化する情報から移動物体を認識する移動物体検出処理部８２とからなる。
【００２４】
即ち、平面認識処理部８１は、例えばレーザレーダ画像Ａにおいて連続的に連なる空間座標の並びの方向を調べることにより、前記監視対象領域において不変的な道路面や建物等の固定構造物の面を認識する機能を備えている。この平面認識処理部８１にて認識された結果は、例えばその面を特定する輪郭線やポリゴン線図等の補助情報としてレーザレーダ画像Ａまたはカメラ画像Ｂ上に重ねて表示される。また移動物体検出処理部８２は、上述したようにレーザレーダの一走査毎に検出座標が順次変化する物体の情報からその物体が人や車等の移動体であると認識するもので、例えばその移動物体を囲む四角形状のマーカー等を補助情報として前記レーザレーダ画像Ａまたはカメラ画像Ｂ上に重ねて表示する機能を備える。このような補助情報については、オペレータの指示の下で選択的に表示したり、注目すべき移動物体に対してのみ表示するようにしても良い。
【００２５】
かくしてこのような物体認識手段８０と前述した画像マッチング手段６０とを備えて構成される環境状況把握装置によれば、画像マッチング処理した監視画像をモニタ７０に表示して所定の監視対象領域の状況を監視するに際して、例えば図６(ａ)〜(ｄ)にその代表的な表示例を示すように監視対象領域の環境（状況）に応じて、その状況把握に必要な情報を適切に表示しながら監視に供することができる。
【００２６】
即ち、監視画像が前述した如くカメラ画像Ｂの座標とレーザレーダ画像Ａの座標とを対応付けたものであるから、例えば図６(ａ)に示すようにマウス等の座標入力デバイスを用いてポインタＰを移動させ、監視画像上の着目点を指定するだけで当該指定部位の空間位置座標、具体的には監視点からの距離を表示することが可能となる。また移動物が検出された場合には、例えば図６(ｂ)に示すように認識した移動物を囲むようなマーカー（補助情報）Ｍを監視画像に重ねて表示することで、注目すべき移動物を明確に識別表示することが可能となる。
【００２７】
更には或る物体の大きさや形状を認識したいような場合には、例えば図６(ｃ)に示すように、注目する物体の隅部等を示す複数の点を指定すれば、前述した平面認識処理によって当該物体の主要な面の大きさと形状とをそれぞれ把握することが可能となるので、この認識結果から物体の立体的な大きさを容易に推定し、その存在位置を容易に求めることが可能となる。
【００２８】
また前述した平面認識処理によって求められた物体の平面をそれぞれ特定するポリゴン線図（補助情報）を、例えば図６(ｄ)に示すように監視画像に重ねて表示すれば、仮に時間帯や天候条件の影響を受けてカメラ画像Ｂを鮮明に得ることができないような場合であっても、上記ポリゴン線図（補助情報）から監視対象領域の概要を把握することが可能となる。この結果、監視時間帯や天候条件等に左右されることなく監視対象領域の状況を容易に、しかも的確に把握することが可能となる。
【００２９】
尚、本発明は上述した実施形態に限定されるものではない。ここでは屋外における所定の監視対象領域の状況を把握する例について示したが、例えば図６(ａ)に示す監視画像を用いること、各部の測距機能を備えたカメラを実現することができ、船舶監視カメラやロボットアイ、距離計測器等に適用することができる。また図６(ｂ)を示す監視画像を用いることで、屋外等の広範囲な領域に亘る監視システムを構築し、移動物体の検知をトリガとして警報を発したり、その監視画像を記録する等の対策を講じることが可能となる。更には交差点等における交通量把握システムや横断歩行者の把握システム等に応用したり、移動体の追尾システム等に応用することが可能となる。
【００３０】
また図６(ｃ)に示す画像を用いることにより、コンテナクレーンの位置決めやベルトコンベア上を流れる各種荷物の大きさ判定処理等に応用することが可能となる。更には図６(ｄ)に示す画像を用いることで、各種物体の凹凸判定や地形測量等を行うことが可能となる。その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができ、各種の物体認識分野に応用することが可能である。
【００３１】
【発明の効果】
以上説明したように本発明によれば、レーザレーダから求められるレーダ画像の座標と、前記レーザレーダの近傍に設けられた監視カメラにより撮像されるカメラ画像の座標とを対応付けて所定の監視対象領域の監視処理に供するので、気象条件や監視時間帯の影響を受けることなく、常に安定に上記監視対象領域の状況を容易に監視することができる。しかも注目点までの距離情報を得ながら、その状況を的確に監視することができる。
【００３２】
更にはレーザレーダ画像から認識される物体の面に関する情報や移動物体の情報を補助情報として監視画像上に重ねて表示するので、その状況把握をより適切なものとすることができる等、実用上多大なる効果が奏せられる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る環境状況把握装置の概略構成図。
【図２】レーザレーダによる監視対象領域の走査形態を示す図。
【図３】レーザレーダ画像の概略的な作成処理手段を示すブロック図。
【図４】レーザレーダ画像Ａとカメラ画像Ｂとのマッチング処理の概念を示す図。
【図５】画像マッチング処理の具体的な処理手順の一例を示す図。
【図６】図１に示す環境状況把握装置における監視画像の代表的な表示例を示す図。
【符号の説明】
１０レーザレーダ
２０監視カメラ
４０レーザレーダ画像作成手段
５０監視装置本体
６０画像マッチング手段
７０モニタ（ディスプレイ）
８０物体認識手段
８１平面認識処理部
８２移動物体検出処理部
Ａレーザレーダ画像
Ｂカメラ画像

Claims

所定の監視領域を走査するレーザレーダと、
このレーザレーダにより検出される距離情報を可視化したレーダ画像を作成するレーダ画像作成手段と、
前記レーザレーダの近傍に設けられて該レーザレーダの監視領域を撮像する監視カメラと、
この監視カメラにより撮像されたカメラ画像の座標と前記レーダ画像の座標とを対応付ける画像マッチング手段と
を具備したことを特徴とする環境状況把握装置。
前記レーダ画像作成手段は、検出された距離情報を濃淡変換または色調変換して３次元情報を可視化したレーダ画像を作成するものである請求項１に記載の環境状況把握装置。
前記画像マッチング手段は、前記カメラ画像およびレーダ画像間において相互に対応付けられた複数の特徴点の位置座標に基づいて前記カメラ画像の座標系と前記レーダ画像の座標系とを重ね合わせるものである請求項１に記載の環境状況把握装置。
請求項１に記載の環境状況把握装置において、
前記レーザレーダ画像から物体の面および／または移動物体を認識する物体認識手段と、
認識した物体の面および／または移動物体を特定する補助情報を前記カメラ画像上に重ねて表示する補助情報表示手段と
を具備したことを特徴とする環境状況把握装置。