JP2001281334A

JP2001281334A - 対象物検出装置および方法

Info

Publication number: JP2001281334A
Application number: JP2000090053A
Authority: JP
Inventors: Shigeru Yoda; 茂余田; Toshiaki Nakao; 寿朗中尾; Kenji Kanayama; 憲司金山
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2000-03-29
Filing date: 2000-03-29
Publication date: 2001-10-10

Abstract

(57)【要約】【課題】対象物体を高精度かつ短時間に検出すること
ができるようにする。【解決手段】電波レーダは、所定の周期で、路面に対
して、左側から右側に向かって水平方向に走査させなが
らミリ波レーダを出力する。ビデオカメラは、所定の周
期で、路面に対して、下から上に向かって垂直方向に主
走査させながら、および、左側から右側に向かって水平
方向に副走査させながら、画像を撮像する。これによ
り、電波レーダの主走査方向とビデオカメラの副走査方
向とが一致され、効率良く対象物の検出処理が行われ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、対象物検出装置お
よび方法に関し、特に、対象物の位置および大きさを正
確に、かつ、容易に検出することができるようにした対
象物検出装置および方法に関する。

【０００２】

【従来の技術】路上における、車両、歩行者、あるいは
障害物等（以下、対象物と称する）をセンサにて検知す
る方法が、いくつか提案されている。

【０００３】例えば、FMCW（Frequency Modulated Cont
inuous Wave）レーダなどのミリ波レーダを対象物に照
射し、対象物から反射された電波に基づいて、対象物の
位置（距離）を検出したり、ミリ波レーダのビーム幅を
絞り、水平方向にスキャンすることでその対象物の方位
角度を検出したりする方法がある。

【０００４】そして、本出願人は、例えば、特願平１１
−３２３７５６号として、ミリ波レーダを対象物に照射
し、ビデオカメラで撮像される画像情報を併用して、対
象物の水平方向、垂直方向を検出し、３次元情報を得る
ことにより、対象物の位置や方位を検出することを先に
提案している。

【０００５】この提案によれば、ミリ波レーダにより検
出された対象物までの距離、方位角度、および、画像上
の対象物に対応する対象物領域を利用することができ、
対象物の位置（距離と方位角度）および大きさを正確、
かつ、容易に検出することができる。

【０００６】

【発明が解決しようとする課題】しかしながら、この提
案においては、監視画面の左下端に対象物が現れた場
合、ミリ波レーダでは、走査周期の初頭で対象物を検知
することができるのにも拘らず、ビデオカメラでは、右
上かつ水平方向（主走査方向）に走査されるため、対象
物を撮像し、画像情報を得るまでには、１／ｎ秒が経過
する課題があった。ここで、変数ｎとは、ビデオカメラ
の副走査数のことである。

【０００７】従って、高速移動している自動車に搭載さ
れた対象物検出装置の場合、ビデオカメラの走査周期の
間にも大きく画像上の位置がずれる可能性があり、例え
ば、飛来したボールや前走自動車からの落下物などは、
ミリ波レーダによる検知位置と、ビデオカメラによる検
知位置とが一致しなくなり、検出精度が低下する課題が
あった。

【０００８】本発明はこのような状況に鑑みてなされた
ものであり、対象物の距離、方位角度、および大きさの
３次元情報を、高精度かつ容易に検出することができる
ようにするものである。

【０００９】

【課題を解決するための手段】本発明の対象物検出装置
は、路面に対して垂直な方向に第１の走査をし、第１の
走査の位置を、路面に対して平行な方向に移動して第２
の走査をすることで、対象物を含む画像を撮像する撮像
手段と、撮像手段により撮像された画像から対象物を検
出する対象物検出手段と、路面に対して垂直な方向に長
い所定の範囲に電波を出力し、その範囲を路面に対して
平行な方向に走査する電波出力手段と、電波出力手段に
より出力された電波に対応する信号と、電波の対象物か
らの反射波に対応する信号とに基づいて、対象物までの
距離と方位を算出する方位距離算出手段とを備えること
を特徴とする。

【００１０】前記第１の走査とは、主走査であり、前記
第２の走査とは、副走査である。

【００１１】前記撮像手段とは、例えば、図１のビデオ
カメラ１２であり、路面に対して、下から上に向かって
垂直な方向に主走査させながら、および、左側から右側
に向かって水平な方向に副走査させながら、外部の風景
である画像を撮像し、撮像結果により得られた画像デー
タを受信する。

【００１２】対象物検出手段とは、例えば、図３の対象
物認識部３１であり、撮像手段により撮像された画像デ
ータから、対象物の大きさを算出する。

【００１３】電波出力手段とは、例えば、図１の電波レ
ーダ１１であり、路面に対して、右側から左側に向かっ
て水平な方向に走査させながら、垂直な方向に長い所定
の範囲のミリ波レーダを出力し、対象物や道路などの反
射体からの反射波を受信する。

【００１４】前記方位距離算出手段とは、例えば、図３
の方位角度算出部２４または対象物認識／方位距離測定
部２７であり、方位角度算出部２４で、電波出力手段に
より出力されたミリ波レーダに対応する信号から方位角
度を算出し、対象物認識／方位距離測定部２７で、算出
された方位角度と対象物からの反射信号とに基づいて、
対象物までの距離を算出する。

【００１５】本発明の対象物検出装置においては、路面
に対して垂直な方向に第１の走査をし、第１の走査の位
置を、路面に対して平行な方向に移動して第２の走査を
することで、対象物を含む画像が撮像され、撮像された
画像から対象物が検出され、路面に対して垂直な方向に
長い所定の範囲に電波が出力され、その範囲が路面に対
して平行な方向に走査され、電波に対応する信号と、電
波の対象物からの反射波に対応する信号とに基づいて、
対象物までの距離と方位が算出される。

【００１６】本発明の対象物検出装置によれば、路面に
対して垂直な方向に第１の走査をし、第１の走査の位置
を、路面に対して平行な方向に移動して第２の走査をす
ることで、対象物を含む画像を撮像し、撮像された画像
から対象物を検出し、路面に対して垂直な方向に長い所
定の範囲に電波を出力し、その範囲を路面に対して平行
な方向に走査し、電波に対応する信号と、電波の対象物
からの反射波に対応する信号とに基づいて、対象物まで
の距離と方位を算出するようにしたので、対象物体を、
高精度に、かつ、短時間に検出することができる。

【００１７】本発明の対象物検出装置には、対象物検出
手段により検出された対象物の大きさ、および、方位距
離算出手段により算出された対象物までの距離と方位に
基づいて、対象物の危険度を判定する判定手段をさらに
設けるようにすることができる。

【００１８】判定手段とは、例えば、図３の障害物判定
部３２であり、対象物検出手段および方位距離算出手段
により算出された対象物の大きさ、距離、および方位角
度に基づいて、対象物の危険度を判定する。対象物の危
険度が高いと判定された場合、車体制御部３３やアラー
ム３４が制御され、対象物を回避させたり、警告音を発
生させたりすることができる。

【００１９】判定手段を設けた場合、対象物の危険度を
判定することができる。

【００２０】これにより、短時間に、その対象物の危険
度を判定し、危険を回避することができる。

【００２１】本発明の対象物検出方法は、路面に対して
垂直な方向に第１の走査をし、第１の走査の位置を、路
面に対して平行な方向に移動して第２の走査をすること
で、対象物を含む画像を撮像する撮像ステップと、撮像
ステップの処理により撮像された画像から対象物を検出
する対象物検出ステップと、路面に対して垂直な方向に
長い所定の範囲に電波を出力し、その範囲を路面に対し
て平行な方向に走査する電波出力ステップと、電波出力
ステップの処理により出力された電波に対応する信号
と、電波の対象物からの反射波に対応する信号とに基づ
いて、対象物までの距離と方位を算出する方位距離算出
ステップとを含むことを特徴とする。

【００２２】撮像ステップとは、例えば、図５のステッ
プＳ１２であり、対象物検出ステップとは、例えば、図
５のステップＳ１３であり、電波出力ステップとは、例
えば、図５のステップＳ４であり、方位距離算出ステッ
プとは、例えば、図５のステップＳ７である。

【００２３】本発明の対象物検出方法においては、路面
に対して垂直な方向に第１の走査をし、第１の走査の位
置を、路面に対して平行な方向に移動して第２の走査を
することで、対象物を含む画像が撮像され、撮像された
画像から対象物が検出され、路面に対して垂直な方向に
長い所定の範囲に電波が出力され、その範囲が路面に対
して平行な方向に走査され、電波に対応する信号と、電
波の対象物からの反射波に対応する信号とに基づいて、
対象物までの距離と方位が算出される。

【００２４】本発明の対象物検出方法によれば、路面に
対して垂直な方向に第１の走査をし、第１の走査の位置
を、路面に対して平行な方向に移動して第２の走査をす
ることで、対象物を含む画像を撮像し、撮像された画像
から対象物を検出し、路面に対して垂直な方向に長い所
定の範囲に電波を出力し、その範囲を路面に対して平行
な方向に走査し、電波に対応する信号と、電波の対象物
からの反射波に対応する信号とに基づいて、対象物まで
の距離と方位を算出するようにしたので、対象物体を、
高精度に、かつ、短時間に検出することができる。

【００２５】

【発明の実施の形態】図１は、本発明を適用した対象物
検出装置１の一実施の形態の構成を示している。対象物
検出装置１は、自動車Ａの前方を監視できる位置に設置
され、内蔵する電波レーダ１１およびビデオカメラ１２
が、対象物Ｂの位置および大きさを検出する。なお、以
下において、電波レーダ１１は、FMCWの原理に従って動
作するものとして説明する。

【００２６】まず、対象物検出装置１の構成を説明する
前に、本発明の原理について、図２を参照して説明す
る。

【００２７】対象物検出装置１に内蔵される電波レーダ
１１は、所定の周期で、路面に対して、左側から右側に
向かって水平方向に走査（スキャン）しながらミリ波レ
ーダを出力し、対象物Ｂや道路などの反射体からの反射
波（以下、反射信号）を受信する。すなわち、電波レー
ダ１１により、視野面Ｗ１の照射面RD１，RD２・・・，
RDｎが順次、水平方向（図中、矢印に示される方向）に
走査され、反射信号が受信される。

【００２８】また、対象物検出装置１に内蔵されるビデ
オカメラ１２は、所定の周期で、路面に対して、下から
上に向かって垂直方向に主走査させながら、および、左
側から右側に向かって水平方向に副走査させながら、外
部の風景を撮像し、その撮像結果により得られた画像デ
ータを受信する。すなわち、ビデオカメラ１２により、
視野面Ｗ２の走査線Ｌ１，Ｌ２・・・，Ｌｎが順次、垂
直方向（図中、矢印に示される方向）に走査され、画像
データが受信される。

【００２９】従って、本発明では、ビデオカメラ１２を
左方向へ９０度転倒させて設置し、ビデオカメラ１２の
副走査方向と電波レーダ１１の走査方向を一致させるこ
とことにより、対象物Ｂの検出処理を精度良く行うよう
にするものである。なお、電波レーダ１１の水平走査方
向ビーム幅とビデオカメラ１２の水平走査方向画素幅
が、同じになるように制御されている。

【００３０】図３は、対象物検出装置１の構成例を示す
ブロック図である。ステップ信号発生部２１は、ステッ
プ信号（同期信号）を発生し、方位角度制御部２３に出
力する。リセット信号発生部２２は、所定のタイミング
でリセット信号を発生し、方位角度制御部２３に出力す
る。

【００３１】方位角度制御部２３は、ステップ信号発生
部２１およびリセット信号発生部２２からのステップ信
号およびリセット信号に基づいて、電波レーダ１１が、
所定の方位角度のミリ波レーダを出力できるように制御
する。また、方位角度制御部２３は、ステップ信号およ
びリセット信号に基づいて、ビデオカメラ１２が、所定
の周期で外部の風景を撮像できるように、垂直同期信号
および水平同期信号を生成し、制御する。

【００３２】さらに、方位角度制御部２３は、ステップ
信号発生部２１およびリセット信号発生部２２からのス
テップ信号およびリセット信号を方位角度算出部２４に
出力する。方位角度算出部２４は、方位角度制御部２３
からのステップ信号およびリセット信号に基づいて、リ
セット後のステップ信号数をカウントして、電波レーダ
１１が出力するミリ波レーダの方位角度を算出し、対象
物認識／方位距離測定部２７および対象物認識部３１
に、それぞれ供給する。

【００３３】電波レーダ１１は、方位角度制御部２３の
制御に基づいて、ミリ波レーダを、所定の方位角度で、
路面に対して左側から右側に向かって水平方向に走査さ
せながら出力し、対象物Ｂや道路などの反射体からの反
射信号を受信し、信号処理部２５に入力する。信号処理
部２５は、電波レーダ１１から出力されるミリ波および
その反射信号に対して、所定の信号処理を施し、メモリ
２６に記憶した後、それを対象物認識／方位距離測定部
２７に供給する。

【００３４】対象物認識／方位距離測定部２７は、方位
角度算出部２４より供給されたミリ波レーダの方位角
度、および信号処理部２５より供給された反射信号に基
づいて、対象物Ｂや道路などの反射体までの距離を測定
するとともに、反射信号の強度を測定し、画像対象領域
設定部２８と障害物判定部３２に、それぞれ供給する。
画像対象領域制御部２８は、対象物認識／方位距離測定
部２７より供給された対象物Ｂを含む反射体までの距離
および反射信号の強度に基づいて、画像解析を行う画像
対象領域（画像解析領域）を設定し、対象物認識部３１
に供給する（その具体例は、後述する）。

【００３５】ビデオカメラ１２は、方位角度制御部２３
から供給される垂直同期信号に基づいて、下から上に垂
直走査（主走査）し、方位角度制御部２３から供給され
る水平同期信号に基づいて、左側から右側に向かって水
平走査（副走査）する。これにより、ビデオカメラ１２
は、外部の風景（自動車Ａの前方に見える風景）を撮像
し、その撮像結果により得られた画像データを、画像処
理部２９に出力する。なお、ビデオカメラ１２は、MOS
（金属酸化膜半導体）型撮像デバイスに代表される順次
走査方式によるものである。

【００３６】画像処理部２９は、ビデオカメラ１２より
供給された画像データに対して、所定の画像処理を施
し、その処理結果をメモリ３０に記憶した後、対象物認
識部３１に供給する。対象物認識部３１は、画像処理部
２９より供給される画像処理結果から、画像対象領域設
定部２８より供給される画像対象領域内であるのか否か
を判定し、判定の結果、画像対象領域である場合、その
画像処理結果と、方位角度算出部２４より供給される対
象物Ｂの方位角度から、対象物Ｂの大きさを認識（算
出）し、障害物判定部３２に供給する。

【００３７】障害物判定部３２は、自車（いまの場合、
自動車Ａ）の走行速度から限界距離（障害物を回避する
ために必要な最低限の距離）を算出する。また、障害物
判定部３２は、対象物認識／方位距離測定部２７より供
給される反射体の距離と反射信号の強度、および、対象
物認識部３１より供給される対象物Ｂの大きさから、障
害物の危険度を判定し、その判定結果に基づいて、車体
制御部３３を制御するとともに、ユーザに対して障害物
があることを通知させるようにアラーム３４を制御す
る。

【００３８】車体制御部３３は、障害物判定部３２の制
御に基づいて、車体（いまの場合、自動車Ａ）が対象物
Ｂを回避できるように制御する。アラーム３４は、障害
物判定部３２の制御に基づいて、ユーザに対して障害物
があることを知らせる警告音を発生する。

【００３９】次に、図４のタイムチャートを参照して、
対象物検出装置１の動作について説明する。

【００４０】ステップ信号発生部２１は、矩形波のステ
ップ信号（図４（ｂ））を発生し、方位角度制御部２３
に出力する。リセット信号発生部２２は、所定のタイミ
ングでリセット信号（図４（ａ））を発生し、方位角度
制御部２に出力する。方位角度制御部２３は、ステップ
信号発生部２１およびリセット信号発生部２２からのス
テップ信号およびリセット信号に基づいて、電波レーダ
１１が、所定の方位角のミリ波レーダを出力できるよう
に制御する。

【００４１】すなわち、図４（ｃ）のタイムチャートに
示されるように、方位角度制御部２３は、リセット信号
発生部２２より入力されたリセット信号Ｐ_a1に基づい
て、電波レーダ１１を左側最大角度−θに設定する。そ
して、方位角制御部２３は、ステップ信号発生部２１よ
り入力されるステップ信号Ｐ_b2，Ｐ_b3・・・に基づい
て、電波レーダ１１を角度Δθずつ右側に転回させる。
リセット信号発生部２２は、電波レーダ１１が右側最大
角度＋θに達した後、リセット信号Ｐ_a2を発生、出力す
る。

【００４２】方位角度制御部２３はまた、ステップ信号
Ｐ_bi（ｉ＝１，２，３・・・）およびリセットＰ_ai信号
に基づいて、ビデオカメラ１２が、所定の周期で外部の
風景を撮像できるように、垂直同期信号および水平同期
信号を生成し、制御する。すなわち、方位角度制御部２
３は、ステップ信号発生部２１より入力されるステップ
信号Ｐ_b1，Ｐ_b2・・・に基づいて、ビデオカメラ１１に
垂直同期信号Ｐ_d1，Ｐ _d2・・・Ｐ_dn（図４（ｄ））を出
力するとともに、リセット信号発生部２２より入力され
るリセット信号Ｐ_a1，Ｐ_a2・・・に基づいて、ビデオカ
メラ１１に水平同期信号Ｐ_e1，Ｐ_e2・・・（図４
（ｆ））を出力する。

【００４３】方位角度制御部２３はさらに、ステップ信
号Ｐ_biおよびリセット信号Ｐ_aiを方位角度算出部２４に
出力する。方位角度算出部２４は、リセット信号Ｐ_a1の
直後からステップ信号Ｐ_b1乃至Ｐ_bnの数をカウントし
て、電波レーダ１１が出力するミリ波レーダの方位角度
を算出し、対象物認識／方位距離測定部２７および対象
物認識部３１に、それぞれ供給する。

【００４４】電波レーダ１１は、方位角度制御部２３の
制御に基づいて、左側最大角度−θから、Δθずつ右側
に転回しながら、ミリ波レーダを出力する（図４
（ｃ））。これにより、対象物Ｂや道路などの反射体か
らの反射信号が受信され、信号処理部２５に入力され
る。信号処理部２５は、入力された反射信号に対して、
所定の信号処理を施し、メモリ２６に記憶した後、それ
を対象物認識／方位距離算出部２７に供給する。

【００４５】対象物認識／方位距離算出部２７は、方位
角度算出部２４より供給されたミリ波レーダの方位角
度、および信号処理部２５から供給された反射信号に基
づいて、対象物Ｂを含む反射体までの距離を測定すると
ともに、反射信号の強度を測定し、それを画像対象領域
設定部２８と障害物判定部３２に、それぞれ供給する。
画像対象領域制御部２８は、対象物認識／方位距離算出
部２７より供給された対象物Ｂを含む反射体までの距離
および反射信号の強度に基づいて、画像解析を行う画像
対象領域を設定し、対象物認識部３１に供給する。

【００４６】ビデオカメラ１２は、方位角度制御部２３
の制御に基づいて、垂直同期信号Ｐ _d1，Ｐ_d2・・・,Ｐ
_dn（図４（ｄ））のタイミングおよび信号幅で、上下に
垂直走査し（図４（ｅ））、水平同期信号Ｐ_e1，Ｐ_e2・
・・（図４（ｆ））のタイミングで左側から右側に向か
って水平走査する（図４（ｇ））。

【００４７】すなわち、図４（ｈ）に示されるように、
電波レーダ１１が照射面RD１を走査するとき、ビデオカ
メラ１２は走査線Ｌ１を走査し、電波レーダ１１が照射
面RD２を走査するとき、ビデオカメラ１２は走査線Ｌ２
を走査し、そして、電波レーダ１１が照射面RDｎを走査
するとき、ビデオカメラ１２は走査線Ｌｎを走査する。
従って、電波レーダ１１とビデオカメラ１２の走査方向
が一致される。

【００４８】ビデオカメラ１２で撮像された画像データ
は、画像処理部２９に出力され、所定の画像処理が施さ
れ、対象物認識部３１に供給される。対象物認識部３１
は、画像処理部２９より供給された画像処理結果から、
画像対象領域内である場合、その画像処理結果と対象物
Ｂの方位角度に基づいて、対象物Ｂの大きさを検出し、
障害物判定部３２に供給する。障害物判定部３２は、対
象物Ｂの距離と反射信号の強度および大きさから、障害
物の危険度を判定し、その判定結果に基づいて、車体制
御部３３が対象物Ｂを回避できるように、また、アラー
ム３４が警告音を発生することができるように、それぞ
れ制御する。

【００４９】次に、図５のフローチャートを参照して、
対象物検出処理について説明する。

【００５０】ステップＳ１において、方位角度制御部２
３は、リセット信号発生部２２よりリセット信号が入力
されるまで待機し、リセット信号が入力されると、ステ
ップＳ２に進み、入力されたリセット信号（図４
（ａ））に基づいて、電波レーダ１１からミリ波レーダ
が出力されるように制御する。これにより、電波レーダ
１１のスキャンが開始される。

【００５１】ステップＳ２において、対象物検出装置１
に内蔵される速度検出センサは、自車（いまの場合、自
動車Ａ）の走行速度を検知し、図示せぬメモリに記憶す
る。ステップＳ３において、方位角度算出部２４は、リ
セット直後のステップ信号の数をカウントして、電波レ
ーダ１１が出力するミリ波レーダの方位角度を算出し、
設定する。

【００５２】ステップＳ４において、電波レーダ１１
は、図６に示すように、走査中心に対して、所定の角度
（いまの場合、−θ乃至＋θ）の視野範囲内で走査角度
を変化させて、ミリ波を出力し、対象物Ｂを含む反射体
からの反射信号を受信する。信号処理部２５は、電波レ
ーダ１１で受信された反射信号に所定の信号処理を施
し、対象物認識／方位距離算出部２７に供給する。

【００５３】ステップＳ５において、画像対象領域設定
部２８は、ステップＳ４の処理で受信された反射信号か
ら、画像解析領域の設定が可能であるのか否か、すなわ
ち、障害物が存在する可能性が高いのか否かを判定し、
画像解析領域の設定が可能ではない（障害物が存在する
可能性が低い）と判定した場合、ステップＳ１８に進
み、画像解析領域の設定が可能である（障害物が存在す
る可能性が高い）と判定した場合、ステップＳ６に進
む。

【００５４】ステップＳ６において、画像対象領域設定
部２８は、ステップＳ５の処理の判定結果から、画像解
析の対象領域を設定する。ここで設定される対象領域
は、後述する画像解析処理を行うのか否かの判定処理
（ステップＳ１０）に用いられる。

【００５５】ステップＳ６の処理の後、ステップＳ７に
進み、対象物認識／方位距離測定部２７は、ステップＳ
３の処理で設定されたミリ波レーダの方位角度、および
信号処理部２５より供給された反射信号に基づいて、次
式（１）に従って、対象物Ｂまでの距離Ｒを算出する。
ここで、Ｃは、光速を表し、Δｆは、電波レーダ１１が
出力する変調波の周波数変調幅を表し、ｆ_mは、電波レ
ーダ１１が出力する三角波の周波数を表し、ｆ_rは、ビ
ート信号の周波数の電波レーダ１１と対象物Ｂとの間の
距離に対応する成分（距離周波数）を表している。Ｒ＝（Ｃ・ｆ_r）／（４・Δｆ・ｆ_m）・・・（１）

【００５６】このように、対象物検出装置１から対象物
Ｂまでの距離Ｒは、電波レーダが出力する発射波と反射
波のビート成分から求められる。

【００５７】なお、このビート波は、DSP（Digital Sig
nal Processor）等による高速フーリエ変換処理を利用
して、時間軸から周波数軸に変換され、図７に示すよう
な、ビート成分の周波数スペクトラムが求められる。そ
して、対象物認識／方位距離測定部２７は、周波数スペ
クトラムの中から最も強度（振幅値）の大きい成分が、
本来のビート成分のスペクトラムであるとして、これを
検出し、検出されたｆ _rを上記式（１）に代入し、距離
Ｒを算出する。

【００５８】図５に戻って、ステップＳ８において、障
害物判定部３２は、ステップＳ２の処理で読み込まれた
自車速度から、限界距離（障害物を回避するために必要
な最低限の距離）を算出する。そして、障害物判定部３
２は、ステップＳ７の処理で算出された対象物Ｂまでの
距離Ｒと、算出された限界距離とを比較し、限界距離内
に障害物（いまの場合、対象物Ｂ）が存在するのか否
か、すなわち、障害物の危険度が高いのか否かを判定
し、限界距離内に障害物が存在すると判定した場合、ス
テップＳ９に進み、アラーム３４を制御し、警告音を発
生させる。

【００５９】ステップＳ８において、限界距離内に障害
物が存在しないと判定された場合、ステップＳ１０に進
み、ビデオカメラ１２は、方位角度制御部２３の制御に
基づいて、自動車Ａの前方に見える風景のスキャンを開
始する。すなわち、ビデオカメラ１２は、下から上に向
かって垂直走査することにより、外部の風景をスキャン
する。

【００６０】ステップＳ１１において、対象領域設定部
２８は、ステップＳ６の処理で設定された画像解析の対
象領域であるのか否かを判定し、画像解析の対象領域で
はないと判定された場合、ビデオカメラ１２のスキャン
を継続させる。そして、対象領域であると判定される
と、ステップＳ１２に進み、対象物認識部３１は、ビデ
オカメラ１２でスキャンされ、画像処理部２９で所定の
処理が施された画像データを読み込む。すなわち、図８
に示すように、下から上に向かって走査中（スキャン
中）のラインにおいて、下からｄ画素分までは、対象物
が存在しないので、その部分は認識処理から除外され
る。

【００６１】ステップＳ１３において、対象物認識部３
１は、ステップＳ１２の処理で読み込まれた画像データ
に対して、認識アルゴリズムに従って、障害物の情報
（大きさなど）を解析し、その処理結果を障害物判定部
３２に供給する。ステップＳ１４において、障害物判定
部３２は、ステップＳ１３の処理で解析された障害物の
情報に基づいて、障害物があるのか否かを判定し、障害
物があると判定した場合、ステップＳ１５に進み、アラ
ーム３４を制御し、警告音を発生させる。

【００６２】ステップＳ１４において、障害物はないと
判定された場合、ステップＳ１６に進み、方位角度制御
部２３は、１フレーム分（１行分）のスキャンが終了し
たのか否かを判定し、１フレーム分のスキャンが終了し
ていないと判定した場合、ステップＳ１２に戻り、上述
した処理を繰り返す。そして、ステップＳ１６におい
て、１フレーム分のスキャンが終了したと判定される
と、ステップＳ１７に進み、方位角度制御部２３は、全
てのフレームのスキャンが終了したのか否かを判定し、
全てのフレームのスキャンが終了していないと判定した
場合、ステップＳ１８に進む。

【００６３】ステップＳ１８において、方位角度制御部
２３は、ステップ信号発生部２１よりステップ信号（図
４（ｂ））が入力されるまで待機し、ステップ信号が入
力されると、ステップＳ３に戻り、上述した処理を繰り
返す。ステップ１７において、全てのフレームのスキャ
ンが終了したと判定された場合、ステップＳ１に戻り、
上述した処理を繰り返す。

【００６４】以上のように、ビデオカメラ１２を左方向
へ９０度転倒させて設置することにより、電波レーダ１
１と同じ方向に走査することができ、精度良く、対象物
体を検出することができる。また、電波レーダ１１の反
射信号から、画像解析の対象領域を設定することによ
り、対象物認識部３１での認識処理を効率良く行うこと
ができる。

【００６５】また、以上においては、電波レーダ１１の
反射信号の強度と、対象物体までの距離から危険度を判
定するようにしたが、例えば、距離は遠くても対象物体
が大きい場合、あるいは、対象物体が真正面にある場合
には、危険度を高くし、距離は近くても対象物体が小さ
い場合、あるいは、対象物体が斜め前方にある場合に
は、危険度を低くするような、重み付けをすることも可
能である。

【００６６】さらに、以上においては、ビデオカメラ１
２の撮像方式をMOS型デバイスに代表される順次走査方
式を用いるようにして説明したが、本発明はこれに限ら
ず、CCD（Charge Coupled Device）を用いて、撮像する
ことも可能である。

【００６７】次に、図９および図１０を参照して、CCD
を用いたビデオカメラ１２の撮像動作の原理について説
明する。

【００６８】ビデオカメラ１２は、電波レーダ１１が出
力するミリ波レーダによりフォトダイオード５１−１−
１乃至５１−１−ｎが感光され、それぞれに蓄積された
電荷を、順次、CCD５２−１乃至５１−ｎに転送し、画
像処理部２９に出力する。また、電波レーダ１１が出力
するミリ波レーダによりフォトダイオード５１−２−１
乃至５１−２−ｎが感光され、それぞれに蓄積された電
荷が、順次、CCD５２−１乃至５１−ｎに転送され、画
像処理部２９に出力される。同様に、電波レーダ１１が
出力するミリ波レーダによりフォトダイオード５１−ｎ
−１乃至５１−ｎ−ｎが感光され、それぞれに蓄積され
た電荷が、順次、CCD５２−１乃至５１−ｎに転送さ
れ、画像処理部２９に出力される。

【００６９】例えば、電波レーダ１１により出力された
ミリ波レーダが照射面RD２を通過し、フォトダイオード
５１−２−１乃至５１−２−ｎに照射されると、図１０
（ａ）に示されるように、フォトダイオード５１−２−
１乃至５１−２−４が感光され、そこに電荷（信号）が
蓄積される。以下、簡単のため、フォトダイオード５１
は縦４個×横４個で構成されているものとする。

【００７０】フォトダイオード５１−２−１乃至５１−
２−４に蓄積された信号は、図１０（ｂ）に示されるよ
うに、CCD６１−２−１乃至６２−２−４にそれぞれ転
送され、CCD６１−２−１乃至６１−２−４に蓄積され
た信号は、図１０（ｃ）に示されるように、CCD６１−
３−１乃至６１−３−４にそれぞれ転送され、CCD６１
−３−１乃至６１−３−４に蓄積された信号は、図１０
（ｄ）に示されるように、CCD６１−４−１乃至６１−
４−４にそれぞれ転送され、CCD６１−４−１乃至６２
−４−４に蓄積された信号は、図１０（ｅ）に示される
ように、CCD５２−１乃至５２−４にそれぞれ転送され
る。

【００７１】さらに、CCD５２−１，５２−２に蓄積さ
れた信号は、図１０（ｆ）に示されるように、CCD５２
−３，５２−４にそれぞれ転送され、CCD５２−３，５
２−４に蓄積された信号は、画像処理部２９にそれぞれ
出力される。そして、CCD５２−３，５２−４に蓄積さ
れた信号は、図１０（ｇ）に示されるように、画像処理
部２９にそれぞれ出力され、１フレームのスキャンが終
了される。

【００７２】このように、CCDを用いた場合、電波レー
ダが照射するミリ波レーダに対応する画素領域のみを画
像処理部２９に出力するため、高速に画像データを取り
込むことができる。

【００７３】

【発明の効果】本発明の対象物検出装置および方法によ
れば、ビデオカメラの副走査方向と、電波レーダの走査
方向とを一致させるようにしたので、対象物体を、高精
度に、かつ、短時間に検出することができる。

【図面の簡単な説明】

【図１】本発明を適用した対象物検出装置の利用例を示
す図である。

【図２】本発明の原理を説明する図である。

【図３】対象物検出装置の詳細な構成を示すブロック図
である。

【図４】本発明の動作を説明するタイムチャートであ
る。

【図５】対象物検出処理を説明するフローチャートであ
る。

【図６】電波レーダ１１の走査状態を説明する図であ
る。

【図７】ビート信号の強度とビート周波数の関係を示す
図である。

【図８】画像解析の対象領域を説明する図である。

【図９】CCDを用いたビデオカメラの撮像動作の原理を
説明する図である。

【図１０】CCDを用いたしでオカメラの撮像動作の詳細
な原理を説明する図である。

【符号の説明】

１対象物検出装置１１電波レーダ１２ビデオカメラ２１ステップ信号発生部２２リセット信号発生部２３方位角度制御部２４方位角度算出部２８画像対象領域設定部３１対象物認識部３２障害物判定部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０１Ｓ 13/34 Ｇ０１Ｓ 13/34 Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ (72)発明者金山憲司京都府京都市右京区花園土堂町10番地オムロン株式会社内Ｆターム(参考） 2F065 AA04 BB05 DD00 DD06 FF01 FF26 FF63 JJ03 JJ26 MM22 QQ24 SS09 UU02 UU06 5H180 AA01 AA21 CC04 CC12 CC14 LL01 LL07 5J070 AB17 AB24 AE01 AF03 AH25 AK22 BD08

Claims

【特許請求の範囲】

【請求項１】路面上の対象物を検出する対象物検出装
置において、路面に対して垂直な方向に第１の走査をし、前記第１の
走査の位置を、前記路面に対して平行な方向に移動して
第２の走査をすることで、前記対象物を含む画像を撮像
する撮像手段と、前記撮像手段により撮像された前記画像から前記対象物
を検出する対象物検出手段と、前記路面に対して垂直な方向に長い所定の範囲に電波を
出力し、その範囲を前記路面に対して平行な方向に走査
する電波出力手段と、前記電波出力手段により出力された前記電波に対応する
信号と、前記電波の前記対象物からの反射波に対応する
信号とに基づいて、前記対象物までの距離と方位を算出
する方位距離算出手段とを備えることを特徴とする対象
物検出装置。
【請求項２】前記対象物検出手段により検出された前
記対象物の大きさ、および、前記方位距離算出手段によ
り検出された前記対象物までの距離と方位に基づいて、
前記対象物の危険度を判定する判定手段をさらに備える
ことを特徴とする請求項１に記載の対象物検出装置。
【請求項３】路面上の対象物を検出する対象物検出装
置の対象物検出方法において、路面に対して垂直な方向に第１の走査をし、前記第１の
走査の位置を、前記路面に対して平行な方向に移動して
第２の走査をすることで、前記対象物を含む画像を撮像
する撮像ステップと、前記撮像ステップの処理により撮像された前記画像から
前記対象物を検出する対象物検出ステップと、前記路面に対して垂直な方向に長い所定の範囲に電波を
出力し、その範囲を前記路面に対して平行な方向に走査
する電波出力ステップと、前記電波出力ステップの処理により出力された前記電波
に対応する信号と、前記電波の前記対象物からの反射波
に対応する信号とに基づいて、前記対象物までの距離と
方位を算出する方位距離算出ステップとを含むことを特
徴とする対象物検出方法。