JP2001091246A

JP2001091246A - 障害物検出装置

Info

Publication number: JP2001091246A
Application number: JP26912699A
Authority: JP
Inventors: Hideo Kawamura; 秀男川村; Hiroyasu Miyahara; 景泰宮原
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-09-22
Filing date: 1999-09-22
Publication date: 2001-04-06
Anticipated expiration: 2019-09-22
Also published as: JP3833424B2

Abstract

(57)【要約】【課題】障害物発報を自動的に解除することができる
障害物検出装置を得る。【解決手段】動体検出手段２が画像入力手段１より入
力された入力画像から検出した動体を動体追跡手段３で
追跡し、その動体の停止を物体停止判定手段４で判定
し、停止した動体を障害物と判断して発報すると共に、
その動体の停止した位置を出力し、その位置の画像情報
を障害物情報格納手段５に保持し、障害物存在判定手段
６でその位置における障害物の存在を判定して、障害物
なしと判定された場合には発報解除手段７によって、自
動的に障害物発報を解除する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、路面上の落下物
等の障害物を検出して車両の運転者に警告等を発する障
害物検出装置に関するものである。

【０００２】

【従来の技術】図２３は、例えば特開平４−３５５８９
９号公報に開示された、従来の障害物検出装置の構成を
示す構成図である。図において、１１００は路面を撮像
するカメラであり、２０００はこのカメラ１１００から
入力された入力画像を蓄積する入力画像蓄積手段であ
る。２００１はカメラ１１００からの入力画像と、入力
画像蓄積手段２０００が保持する１フレーム前の画像と
の間で、指定された画像演算を行う画像間演算手段であ
る。２はこの画像間演算手段２００１の演算結果から移
動している物体（動体）を抽出し、その面積、重心等を
求める動体検出手段である。また、図２４はその動体予
測領域を説明するための説明図である。図において、２
００２は代表点位置であり、２００３は動体予測領域で
ある。

【０００３】次に動作について説明する。ここで、図２
５は従来の障害物検出装置の動作を説明するためのフロ
ーチャートである。まず、ステップＳＴ２０００で入力
画像蓄積手段２０００は、道路を撮像するカメラ１１０
０からの入力画像をデジタル画像として保存する。次に
ステップＳＴ２００１で画像間演算手段２００１は、入
力画像蓄積手段２０００に保存されている１フレーム前
の画像と、カメラ１１００からの入力画像との間でＥＸ
−ＯＲ（排他的論理和）の演算を行い、それを差分画像
として出力する。次にステップＳＴ２００２において、
動体検出手段２は画像間演算手段２００１が出力した差
分画像から、ラベリング処理によって１フレーム前の画
像と入力画像間の差分領域を抽出し、その差分領域が所
定範囲内の面積であるものを障害物候補領域とする。

【０００４】障害物候補領域の発見時（１回目）には、
処理はステップＳＴ２００３からステップＳＴ２００４
へ進み、代表点位置２００２が抽出される。この代表点
位置２００２には当該障害物候補領域の重心等を用い
る。次にステップＳＴ２００６で当該障害物候補領域の
移動範囲を予測する。移動範囲は図２４に示した当該障
害物候補領域の代表点位置２００２から一定以内離れた
動体予測領域２００３とする。

【０００５】一方、障害物候補領域の追跡時（２回目以
降）には、処理はステップＳＴ２００３よりステップＳ
Ｔ２００５へ進み、上記と同様にして代表点位置２００
２を抽出する。更にステップＳＴ２００７において、当
該障害物候補領域が予測範囲内に存在するか否かの判定
を行い、存在する場合にはその障害物候補領域を障害物
と判定してステップＳＴ２００８で警報を発する。また
予測範囲外である場合はステップＳＴ２００９へ進んで
障害物候補領域の移動範囲を予測し、さらに障害物候補
領域の追跡を行う。

【０００６】

【発明が解決しようとする課題】従来の障害物検出装置
は以上のように構成されているので、動体が停止した場
合にそれを障害物とみなして警報を発しているが、障害
物が一度静止した後に撤去されても自動的に障害物が撤
去されたか否かを判別することができず、また障害物を
遮蔽して移動する車両等の動体がある場合には、障害物
が存在するにもかかわらず、仮に障害物の再移動で発報
を解除しようとした場合でも、障害物発報を自動的に解
除することができないため、人手による障害物発報の解
除が必要となって、装置運用コストが高くなるなどの課
題があった。

【０００７】この発明は上記のような課題を解決するた
めになされたもので、障害物発報解除を自動的に行うこ
とのできる障害物検出装置を得ることを目的とする。

【０００８】

【課題を解決するための手段】この発明に係る障害物検
出装置は、動体検出手段が画像入力手段より入力された
入力画像から検出した移動している物体（動体）を動体
追跡手段で追跡し、その移動している物体（動体）の停
止を物体停止判定手段で判定して発報すると共に停止物
体の位置を出力し、その位置の画像情報を障害物情報格
納手段に保持し、障害物存在判定手段にてその位置にお
ける障害物の存在を判定して、障害物なしと判定された
場合には発報解除手段によって、自動的に障害物発報を
解除するようにしたものである。

【０００９】この発明に係る障害物検出装置は、障害物
情報格納手段に保持する障害物画像情報の更新を、入力
画像の障害物領域の画像情報に基づいて行うようにした
ものである。

【００１０】この発明に係る障害物検出装置は、障害物
が他の物体によって遮蔽されたことが遮蔽判定手段で検
出されると、障害物情報格納手段に保持する障害物画像
情報の更新を停止するようにしたものである。

【００１１】この発明に係る障害物検出装置は、エッジ
画像生成手段によって作成されたエッジ画像のエッジ分
布に基づいて、停止物体の存在を判定するようにしたも
のである。

【００１２】この発明に係る障害物検出装置は、障害物
存在の判定を、障害物情報格納手段に保存された障害物
位置の情報と、移動している物体（動体）の写っていな
い路面画像を蓄積する路面画像蓄積手段に蓄積された、
当該障害物の路面画像の情報との相違度に基づいて行う
ようにしたものである。

【００１３】この発明に係る障害物検出装置は、障害物
存在の判定を、距離計測手段が物体とカメラとの距離よ
り求めた当該障害物の位置の距離分布に基づいて行うよ
うにしたものである。

【００１４】この発明に係る障害物検出装置は、車両判
定手段で車両と判定された移動している物体（動体）に
ついて、それが障害物の回避動作を行ったか否かを、物
体回避動作判定手段によって一定時間における位置、速
度、進行方向から判定し、回避動作を行ったと判定され
た場合に、発報解除手段による障害物発報の自動解除を
行うようにしたものである。

【００１５】この発明に係る障害物検出装置は、障害物
の位置と大きさから危険度算出手段にて算出された障害
物の危険度に基づいて、障害物の存在を表示する警告表
示装置の表示を変更するようにしたものである。

【００１６】この発明に係る障害物検出装置は、危険度
算出手段が、物体回避動作判定手段の出力する車両の回
避動作の大きさに基づいて危険度の計算を行うようにし
たものである。

【００１７】この発明に係る障害物検出装置は、危険度
算出手段が、障害物の位置と大きさ、および物体回避動
作判定手段の出力する車両の回避動作の大きさに基づい
て、危険度の計算を行うようにしたものである。

【００１８】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。実施の形態１．図１はこの発明の実施の形態１による障
害物検出装置の構成を示す構成図である。図において、
１は図示しないカメラからの画像を入力する画像入力手
段であり、この実施の形態１では画素値を０〜２５５と
する。２はこの画像入力手段１にて入力された画像から
移動している物体（動体）を検出する動体検出手段であ
り、これは図２３に同一符号を付して示した従来のそれ
と同等のものである。３はこの動体検出手段２の検出し
た移動している物体（動体）の追跡を行って、当該動体
の位置、速度、移動方向を出力する動体追跡手段であ
る。４はこの動体追跡手段３の動体追跡結果から移動し
ている物体（動体）が停止したか否かを判断し、停止物
体を障害物と判定して発報すると共に、当該停止物体の
位置を出力する物体停止判定手段である。５はこの物体
停止判定手段４より出力される、障害物と判定された物
体領域における物体の位置、大きさおよび画像情報を蓄
積する障害物情報格納手段である。６はこの障害物情報
格納手段５に保存された情報を用いて、当該障害物領域
に障害物が存在するか否かを判定する障害物存在判定手
段である。７はこの障害物存在判定手段６にて障害物が
消失したと判定された場合に、物体停止判定手段４によ
る障害物発報を自動的に解除する発報解除手段である。

【００１９】図２は図１に示した動体検出手段２の機能
を説明するための図である。図において、１０は時刻ｔ
−１における撮像画像、１１は時刻ｔにおける撮像画像
であり、１２は時刻ｔ−１と時刻ｔにおける撮像画像の
差分２値画像である。各撮像画像中の、１３は道路であ
り、１４は時刻ｔ−１における移動する物体（動体）、
１５は移動する物体（動体）１４の移動方向を示す矢印
である。１６は時刻ｔにおける移動する物体（動体）で
あり、１７は検出された移動領域である。

【００２０】図３は図１に示した動体追跡手段３の動作
を説明するための図である。図において、２０は道路で
あり、２１は検出された動体の重心位置である。２２は
時刻ｔ−１における動体の重心位置Ｘｔ−１、２３は時
刻ｔにおける動体の重心位置Ｘｔである。

【００２１】次に動作について説明する。ここで、図４
および図５はこの実施の形態１の動作を説明するための
フローチャートである。なお、これら図４および図５に
示す処理は並行して動作するものであり、図４は動体検
出と障害物検出の処理を、図５は障害物が存在するか否
かの判定の処理をそれぞれ示している。まず、図４のフ
ローチャートを用いて画像入力手段１、動体検出手段
２、動体追跡手段３、物体停止判定手段４、障害物情報
格納手段５の動作を説明する。

【００２２】ステップＳＴ１００において、路上を撮像
している図示しないカメラから出力される、時刻ｔにお
ける撮像画像１１を画像入力手段１によりデジタル画像
として入力する。この画像入力手段１から入力された画
像は動体検出手段２に送られて移動している物体（動
体）が存在する領域の検出が行われる。この動体存在領
域の検出は、例えば文献「画像の処理と認識」（昭晃
堂、安居院猛、長尾智晴共著、ＰＰ．１６２−１
６３）に開示されている周知のフレーム間差分法によっ
て行われる。すなわち、まずステップＳＴ１０１におい
て、前回撮像した時刻ｔ−１における撮像画像１０と時
刻ｔにおける撮像画像１１との間で差分絶対値演算を行
い、所定のしきい値で２値化した差分２値画像１２を出
力する。次にステップＳＴ１０２において、上記差分２
値画像１２から動体領域を抽出する。なお、この動体領
域の抽出は、例えば文献「コンピュータ画像処理入門」
（総研出版、田村秀行監修、ＰＰ．７５−７６）に
開示されている周知のラベリング処理により、差分２値
画像１２から連結した画素を１つの領域として抽出する
ことで行える。

【００２３】次に動体追跡手段３はステップＳＴ１０３
において、上記抽出された動体領域の代表点の位置（物
体重心位置）２３を時刻ｔにおける動体位置として保存
し、ステップＳＴ１０４で時刻ｔ−１において検出され
た動体位置（物体重心位置）２２との間で対応づけを行
って、動体の追跡を行う。ここで、上記代表点は領域重
心等を用いる。また、対応づけは例えば、時刻ｔにおけ
る動体領域の代表点の位置２３に最も距離が近く、かつ
距離が所定範囲内の時刻ｔ−１の動体位置２２の領域を
求め、対応した動体領域を同一動体として保存する。次
にステップＳＴ１０５において、この対応づけられた動
体代表点間の距離から、移動している物体（動体）の速
度および移動方向を求める。この速度および移動方向
は、例えば次式により求める。速度＝Ｄ（Ｏｔ，Ｏｔ−１）／Ｔ移動方向＝ｔａｎ^-1（｜Ｏｔ．ｘ−Ｏｔ−１．ｘ｜／｜
Ｏｔ．ｙ−Ｏｔ−１．ｙ｜）ただし、上式における、Ｄ（ａ，ｂ）は２点ａ，ｂ間の
ユークリッド距離、Ｔは時刻ｔと時刻ｔ−１の時間間
隔、Ｏｔは時刻ｔにおける物体位置、Ｏｔ．ｘは物体の
Ｘ座標、Ｏｔ．ｙは物体のＹ座標である。

【００２４】その後、物体停止判定手段４はステップＳ
Ｔ１０６において、物体の速度が所定範囲内か否かの判
定を行う。すなわち、上記対応づけられた領域間の距離
が所定値より小さいか、対応づける移動している物体
（動体）がない場合には当該動体が停止したと判断して
ステップＳＴ１０７へ進み、それ以外は停止していない
と判断してステップＳＴ１００へ処理を戻す。ステップ
ＳＴ１０７では障害物存在判定手段６が、その停止物体
を障害物として発報すると共に、障害物情報格納手段５
がその障害物とされた領域の画像情報、および物体の位
置・大きさ等を保存する。なお、上記一連の動作は一定
間隔、例えばビデオレート（３０ｍｓ）毎に実行され
る。

【００２５】次に図５のフローチャートを用いて、障害
物存在判定手段６と発報解除手段７の動作を説明する。
この図５のフローチャートに示す動作は、障害物があり
とされている時に障害物存在判定手段６によって、所定
の時間間隔で実行されるものである。障害物存在判定手
段６は障害物を発見した時の画像情報と対応する入力画
像とを比較することで、障害物が存在するか否かを判定
する。すなわち、障害物存在判定手段６はステップＳＴ
１５０でまず、何番目の障害物を処理しているか示す変
数ｉを１に初期化する。次にステップＳＴ１５１におい
て、障害物情報格納手段５からｉ番目の障害物の位置・
大きさ・画像情報を取り出した後、変数ｉをインクリメ
ントする。次にステップＳＴ１５２に進み、当該障害物
位置に対応する入力画像から画像特徴を抽出する。な
お、この実施の形態１においては、この画像特徴とし
て、例えば輝度値が用いられる。次にステップＳＴ１５
３で、上記障害物情報格納手段５から取り出されたｉ番
目の障害物の画像情報と、それに対応する入力画像の画
像情報との差分値Ｄを求める。この差分値Ｄは、例えば
次式によって求められる。

【００２６】

【数１】

【００２７】ただし、上式における、Ｉｎ（ｘ，ｙ）は
入力画像における座標ｘ，ｙの輝度値、Ｏｂｓ（ｘ，
ｙ）は障害物情報格納手段５に保存した画像における座
標ｘ，ｙの輝度値、Ｘ，Ｙは障害物座標、ｗ，ｈは障害
物の幅および高さである。

【００２８】次にステップＳＴ１５４において、上記差
分値Ｄと予め定められたしきい値ｔｈとの比較を行う。
その結果、差分値Ｄが所定のしきい値ｔｈより大きい場
合には、当該領域から障害物が消失したと判定してステ
ップＳＴ１５５へ進み、当該しきい値ｔｈ以下の場合に
は障害物が存在するものと判定して、そのままステップ
ＳＴ１５６へ進む。ステップＳＴ１５５では障害物情報
格納手段５から当該領域の障害物候補の情報を削除す
る。次にステップＳＴ１５６において、全障害物候補に
ついての処理が終了したか否かを判定する。全障害物候
補についての処理が終了している場合にはステップＳＴ
１５７へ進み、終了していない場合にはステップＳＴ１
５１へ戻って上記処理を繰り返す。ステップＳＴ１５７
では障害物情報格納手段５に障害物発報すべき障害物情
報がなくなったか否かを判定する。その結果、当該障害
物情報がなくなったと判定された場合にはステップＳＴ
１５８へ進み、発報解除手段７がこのステップＳＴ１５
８において障害物発報を自動的に解除した後、この一連
の処理を終了する。一方、ステップＳＴ１５７で当該障
害物情報がまだ存在すると判定された場合には、障害物
発報の解除を行わずにそのままこの一連の処理を終了す
る。

【００２９】なお、上記実施の形態１においては、動体
検出をフレーム間差分法によって行うものを示したが、
前述の文献「画像の処理と認識」（昭晃堂、安居院
猛，長尾智晴共著、ＰＰ．１６１−１６２）に開示
されている、周知の背景差分法を用いて行うようにして
もよい。

【００３０】以上のように、この実施の形態１によれ
ば、障害物存在判定手段６によって障害物を監視してい
るため、障害物が撤去されたり、障害物を遮って移動す
る物体があるような場合でも、障害物が消失したことを
確実に判定することができ、人手によらず自動的に障害
物発報を解除できるため、装置運用コストを低減するこ
とができるという効果が得られる。

【００３１】実施の形態２．なお、上記実施の形態１で
は、障害物を発見した時の画像情報と対応する入力画像
とを比較することによって障害物が存在するか否かを判
定するものについて説明したが、障害物情報格納手段５
の画像情報を入力画像に応じて更新するようにしてもよ
い。この実施の形態２はそのような障害物検出装置に関
するものであり、その構成は図１に示した実施の形態１
の場合と同様であるため、その図示と説明は省略する。

【００３２】次に動作について説明する。ここで、図６
はこの実施の形態２における障害物存在判定手段６の動
作を説明するためのフローチャートである。以下、この
図６に示すフローチャートに従って、障害物存在判定手
段６の動作について説明する。ステップＳＴ２００〜ス
テップＳＴ２０３においては、図５のフローチャートに
示した実施の形態１におけるステップＳＴ１５０〜ステ
ップＳＴ１５３と同様に、変数ｉの初期化、ｉ番目の障
害物候補の選択、入力画像の障害物候補領域内における
画像特徴の抽出、登録時の画像特徴との差分値Ｄの算出
が行われる。

【００３３】次にステップＳＴ２０４において、算出さ
れた差分値Ｄと予め定められたしきい値ｔｈ１とを比較
する。その結果、当該差分値Ｄが所定のしきい値ｔｈ１
より大きい場合には、障害物が消失したと判定してステ
ップＳＴ２０５へ進み、所定のしきい値ｔｈ１以下の場
合には、障害物が存在すると判定してステップＳＴ２０
９へ進む。ステップＳＴ２０５〜ステップＳＴ２０８に
おいては、図５のフローチャートに示した実施の形態１
におけるステップＳＴ１５５〜ステップＳＴ１５８と同
様に、その領域の障害物候補の情報の、障害物情報格納
手段５からの削除、全障害物候補について上記処理が実
行終了したかの判定、障害物候補の情報の有無の判定、
障害物発報の解除が行われる。

【００３４】一方、ステップＳＴ２０９においては、そ
の差分値Ｄと予め定められたしきい値ｔｈ２との比較が
行われる。このしきい値ｔｈ２は日照変動による輝度変
動を判定するためのものであり、比較の結果、差分値Ｄ
が所定のしきい値ｔｈ２よりも大きい場合には日照変動
が生じたものとみなしてステップＳＴ２１０に進み、し
きい値ｔｈ２以下の場合には日照変動が生じていないも
のとみなして直接ステップＳＴ２０６に進む。ステップ
ＳＴ２１０では当該障害物の画像情報を更新し、更新後
の画像情報を障害物情報格納手段５に格納した後、ステ
ップＳＴ２０６に進む。なお、上記画像情報の更新は、
例えば次式を用いて行われる。Ｏｂｓ（ｘ，ｙ）’＝Ｏｂｓ（ｘ，ｙ）＋｛Ｉｎ（ｘ，
ｙ）−Ｏｂｓ（ｘ，ｙ）｝・Δｄただし、上式における、Ｉｎ（ｘ，ｙ）は入力画像にお
ける座標ｘ，ｙの輝度値、Ｏｂｓ（ｘ，ｙ）は障害物情
報格納手段５に保存した画像における座標ｘ，ｙの輝度
値、Ｏｂｓ（ｘ，ｙ）’は更新後の障害物画像情報、Δ
ｄは予め定めた所定値である。

【００３５】以上のように、この実施の形態２によれ
ば、障害物存在判定手段６は入力画像に応じて障害物情
報格納手段５の画像情報を更新しているため、日照変動
などによる輝度変動の影響を極力抑えることができ、精
度よく人手によらず自動的に障害物発報を解除すること
ができるという効果が得られる。

【００３６】実施の形態３．また、上記実施の形態２で
は、障害物情報格納手段５の画像情報を入力画像に応じ
て更新するようにしたものについて説明したが、障害物
を遮蔽する物体が存在する場合には更新を行わないよう
にすることも可能である。この実施の形態３はそのよう
な障害物検出装置に関するものであり、その構成を図７
に示す。図において、１は画像入力手段、２は動体検出
手段、３は動体追跡手段、４は物体停止判定手段、５は
障害物情報格納手段、７は発報解除手段であり、図１に
同一符号を付して示した実施の形態２のそれらと同一の
ものである。１０００は障害物が他の物体に遮蔽された
か否かを判定する遮蔽判定手段である。６は障害物情報
格納手段５に保持された情報を用いて当該障害物領域に
障害物が存在するか否かを判定する、図１に同一符号を
付して示した実施の形態２のそれに相当する障害物存在
判定手段であるが、上記遮蔽判定手段１０００において
障害物が他の物体で遮蔽されていることが検出された場
合には、障害物情報格納手段５が保持している当該位置
の画像情報の更新を行わない点で、実施の形態２におけ
るそれとは異なっている。

【００３７】次に動作について説明する。ここで、図８
は遮蔽判定手段１０００の動作を説明するためのフロー
チャートである。以下、この実施の形態３における遮蔽
判定手段１０００の動作を図８のフローチャートに基づ
いて説明する。まず、ステップＳＴ３００において、障
害物情報格納手段５から登録されている障害物領域を１
つ選択し、動体追跡手段３の検出した動体領域と領域が
重なるか否かについて判定する。なお、この領域の重な
りの判定法としては、例えば画像間差分２値画像の障害
物領域に対応する各画素値に固定値２５５を加算し、２
５６以上の輝度値となる領域が存在する場合には領域が
重なると判定する。次にステップＳＴ３０１において、
この領域の重なりの判定結果をもとに遮蔽があるか否か
を判定し、当該領域の障害物を遮蔽する物体が存在する
場合にはステップＳＴ３０２へ進み、遮蔽する物体が存
在しない場合にはステップＳＴ３０３へ進む。ステップ
ＳＴ３０２では障害物存在判定手段６に対して、障害物
情報格納手段５への障害物画像情報の更新停止を指令
し、ステップＳＴ３０３では障害物存在判定手段６に対
して、障害物情報格納手段５への障害物画像情報の更新
を指令する。

【００３８】障害物存在判定手段６はこの遮蔽判定手段
１０００から障害物画像情報の更新指令があった場合に
は、実施の形態２の場合と同一の動作を行って、障害物
情報格納手段５に保持されている障害物画像情報を更新
し、障害物画像情報更新停止指令があった場合には、障
害物情報格納手段５に保持されている障害物画像情報の
更新は行わない。

【００３９】以上のように、この実施の形態３によれ
ば、他の物体に障害物が遮られた場合には、障害物存在
判定手段６は入力画像に応じて画像情報を更新しないよ
うしているため、他の物体が障害物を長時間にわたって
遮った後、遮蔽物体が移動したような場合でも、障害物
が存在するか否かの確認を確実に行うことができるとい
う効果が得られる。

【００４０】実施の形態４．なお、上記各実施の形態で
は、障害物情報格納手段５に保持される画像情報を輝度
値とした場合について説明したが、入力画像のエッジ強
度値とするようにしてもよい。この実施の形態４はその
ような障害物検出装置に関するものであり、その構成を
図９に示す。図において、１は画像入力手段、２は動体
検出手段、３は動体追跡手段、４は物体停止判定手段、
６は障害物存在判定手段、７は発報解除手段であり、図
１に同一符号を付して示した実施の形態１のそれらと同
一のものである。１００１は画像入力手段１からの入力
画像からそのエッジ画像を生成するエッジ画像生成手段
である。５は物体停止判定手段４が動体が停止し障害物
と判定した障害物の位置および大きさと、エッジ画像生
成手段１００１が出力する障害物領域に対応するエッジ
画像を格納する点で、図１に同一符号を付して示した実
施の形態１のそれとは異なる障害物情報格納手段であ
る。

【００４１】次に動作について説明する。ここで、図１
０および図１１はこの実施の形態４の動作を説明するた
めのフローチャートである。なお、これら図１０および
図１１に示す処理は並行して動作するものであり、図１
０は動体検出と障害物検出の処理を、図１１は障害物が
存在するか否かの判定の処理をそれぞれ示している。ま
ず、図１０のフローチャートを用いてエッジ画像生成手
段１００１の動作を中心に、画像入力手段１、動体検出
手段２、動体追跡手段３、物体停止判定手段４、障害物
情報格納手段５の動作を説明する。

【００４２】画像入力手段１、動体検出手段２、動体追
跡手段３、および物体停止判定手段４は、図４のフロー
チャートに示した実施の形態１におけるステップＳＴ１
００〜ステップＳＴ１０６と同様に、ステップＳＴ４０
０〜ステップＳＴ４０６において、画像の入力、画像間
の差分絶対値の演算、動体領域の抽出、動体位置の保
存、動体間の対応づけ、動体の速度と移動方向の算出、
動体の速度判定の処理を行う。次にステップＳＴ４０７
において、エッジ画像生成手段１００１が入力画像を微
分してエッジ画像を生成する。なお、この微分法として
は、例えば水平方向（走査線方向）に隣接する各画素の
画素値の差分絶対値を、その点における微分値とする方
法を用いる。次にステップＳＴ４０８に進み、障害物情
報格納手段５が当該領域を障害物としてこの領域のエッ
ジ画像、および物体の位置・大きさ等を保存すると共
に、停止物体を障害物として発報する。

【００４３】次に図１１のフローチャートを用いて、障
害物存在判定手段６と発報解除手段７の動作を説明す
る。この図１１のフローチャートに示す動作は、障害物
がありとされている時に所定時間間隔で実行されるもの
である。障害物存在判定手段６はステップＳＴ４５０に
おいて、何番目の障害物を処理しているか示す変数ｉを
１に初期化し、ステップＳＴ４５１でｉ番目の障害物の
位置・大きさ・画像情報を障害物情報格納手段５から取
り出した後、変数ｉをインクリメントする。次に、ステ
ップＳＴ４５２において、当該障害物位置に対応する入
力画像から画像特徴（この実施の形態４では、エッジ画
像生成手段１００１で得たエッジ画像のエッジ強度値）
を抽出する。次にステップＳＴ４５３において、障害物
情報格納手段５から取り出したｉ番目のエッジ画像と、
入力画像からエッジ画像生成手段１００１で生成したエ
ッジ画像とのエッジ強度値の差分値Ｄ１を求める。この
差分値Ｄ１は、例えば次式を用いて求める。

【００４４】

【数２】

【００４５】ただし、上式における、Ｉｎ（ｘ，ｙ）は
入力画像における座標ｘ，ｙのエッジ強度値、Ｏｂｓ
（ｘ，ｙ）は障害物情報格納手段５に保存した画像にお
ける座標ｘ，ｙのエッジ強度値、Ｘ，Ｙは障害物座標、
ｗ，ｈは障害物の幅および高さである。

【００４６】次にステップＳＴ４５４において、上記差
分値Ｄ１と予め定めたしきい値ｔｈとの比較を行う。そ
の結果、差分値Ｄ１が所定のしきい値ｔｈより大きい場
合には、当該領域から障害物が消失したものと判定して
ステップＳＴ４５５へ進み、しきい値ｔｈ以下の場合に
は障害物が存在するものと判定して、直接ステップＳＴ
４５６に進む。ステップＳＴ４５５では障害物情報格納
手段５から当該領域の障害物情報を削除してステップＳ
Ｔ４５６に進む。ステップＳＴ４５６では全障害物候補
についての実行が終了したか否かを判定し、全障害物候
補について上記処理の実行が完了した場合にはステップ
ＳＴ４５７へ進み、終了していない場合にはステップＳ
Ｔ４５１へ戻って上記処理を繰り返す。ステップＳＴ４
５７では障害物情報格納手段５に障害物候補がまだある
か否かの判定を行い、障害物候補がない場合にはステッ
プＳＴ４５８に進む。ステップＳＴ４５８では発報解除
手段７が障害物発報を解除した後、この一連の処理を終
了する。一方、障害物があると判定された場合には、障
害物発報を継続したままこの一連の処理を終了する。

【００４７】なお、上記説明では画像情報をエッジ強度
値としたものを示したが、障害物情報格納手段５と入力
画像をそのエッジ方向で比較したものを用いてもよい。
また上記説明では、微分法として水平微分を用いたが、
前述の文献「画像の処理と認識」（昭晃堂、安居院
猛、長尾智晴共著、ＰＰ．３５−３７）に開示され
ている、公知のソーベルフィルターを用いてもよい。さ
らに、多値のエッジ強度を２値化して、その２値画像で
差分を取るようにしてもよい。

【００４８】以上のように、この実施の形態４によれ
ば、障害物存在判定手段６は障害物領域のエッジ強度に
基づいて存在するか否かを判定するようにしたため、日
照変動等によって障害物領域の輝度値が変化した場合で
も、精度よく障害物が存在するか否かを判定することが
できるという効果が得られる。

【００４９】実施の形態５．図１２はこの発明の実施の
形態５による障害物検出装置の構成を示す構成図であ
る。図において、１は画像入力手段、２は動体検出手
段、３は動体追跡手段、４は物体停止判定手段、５は障
害物情報格納手段、７は発報解除手段であり、これらは
図１に同一符号を付して示した実施の形態１におけるそ
れらと同一のものである。また、１００２は画像入力手
段１にて入力された入力画像から、動体が写っていない
路面画像を蓄積する路面画像蓄積手段である。６は当該
障害物領域に障害物が存在するか否かの判定を、障害物
情報格納手段５に保存された情報と路面画像蓄積手段１
００２に格納された該領域の画像情報を用いて行ってい
る点で、図１に同一符号を付して示した実施の形態１の
それとは異なった障害物存在判定手段である。

【００５０】次に動作について説明する。ここで、図１
３は路面画像蓄積手段１００２の動作を説明するための
フローチャートであり、図１４は障害物存在判定手段６
と発報解除手段７の動作を説明するためのフローチャー
トである。まず、画像入力手段１、動体検出手段２、路
面画像蓄積手段１００２、動体追跡手段３、物体停止判
定手段４、障害物情報格納手段５の動作を、図１３のフ
ローチャートを用いて説明する。

【００５１】この図１３のフローチャートにおけるステ
ップＳＴ５００〜ステップＳＴ５０３では、図４に示し
た実施の形態１におけるフローチャートのステップＳＴ
１００〜ステップＳＴ１０３と同一の、画像の入力、画
像間の差分絶対値の演算、動体領域の抽出、動体位置の
保存の処理が実行される。ステップＳＴ５０３で動体追
跡手段３により動体位置が保存されると、次にステップ
ＳＴ５０４において、路面画像蓄積手段１００２は画像
入力手段１で入力した画像から、動体検出手段２で検出
した動体領域および障害物領域を除いた画像である路面
部分の画像を更新し蓄積する。なお、この路面画像の更
新は次式を用いて行われる。Ｒ（ｘ，ｙ）’＝｛Ｉｎ（ｘ，ｙ）＋Ｒ（ｘ，ｙ）｝／
２ただし、上式における、Ｒ（ｘ，ｙ）’は更新後の座標
（ｘ，ｙ）における路面画像輝度値、Ｉｎ（ｘ，ｙ）は
動体領域を除いた座標（ｘ，ｙ）の入力画像の輝度値、
Ｒ（ｘ，ｙ）は現在の路面画像輝度値である。

【００５２】路面画像の更新、蓄積が終了すると処理は
ステップＳＴ５０５に進む。このステップＳＴ５０５〜
ステップＳＴ５０８においては、図４に示した実施の形
態１のフローチャートにおけるステップＳＴ１０４〜ス
テップＳＴ１０７と同様に、動体間の対応づけ、動体の
速度と移動方向の算出、動体の速度判定、画像情報の保
存と発報の処理が実行される。

【００５３】次に、図１４のフローチャートを用いて障
害物存在判定手段６と、発報解除手段７の動作を説明す
る。この図１４のフローチャートに示す動作は、障害物
がありとされている時に障害物存在判定手段６によっ
て、所定の時間間隔で実行されるものである。障害物存
在判定手段６はステップＳＴ５５０においてまず、何番
目の障害物を処理しているか示す変数ｉを１に初期化
し、ステップＳＴ５５１、ステップＳＴ５５２でｉ番目
の障害物を選択して、その位置・大きさ・画像情報を障
害物情報格納手段５から取り出し、その路面画像の情報
を路面画像蓄積手段１００２から取り出す。次にステッ
プＳＴ５５３において、このｉ番目の障害物に対応する
入力画像の画像情報と路面画像の画像情報の差分値Ｄ２
を求める。なお、この差分値Ｄ２は、例えば次式を用い
て求める。

【００５４】

【数３】

【００５５】ただし、上式における、Ｉｎ（ｘ，ｙ）は
入力画像における座標ｘ，ｙの輝度値、Ｏｂｓ（ｘ，
ｙ）は障害物情報格納手段５に保存した画像における座
標ｘ，ｙの輝度値、Ｒ（ｘ，ｙ）は路面画像蓄積手段１
００２に保存した画像における座標ｘ，ｙの輝度値、
Ｘ，Ｙは障害物座標、ｗ，ｈは障害物の幅・高さであ
る。

【００５６】次にステップＳＴ５５４において、この差
分値Ｄ２を所定のしきい値ｔｈ（例えば０）と比較す
る。比較の結果、差分値Ｄ２が０より大きい場合には、
入力画像が路面画像に類似していることから、当該領域
より障害物が消失したとものと判定してステップＳＴ５
５５へ進む。ステップＳＴ５５５では障害物情報格納手
段５から当該領域の障害物候補の情報を削除し、その後
ステップＳＴ５５６に進む。一方、差分値Ｄ２が負値の
場合には、入力画像が障害物画像と類似していることか
ら、障害物が存在すると判定して直接ステップＳＴ５５
６へ進む。ステップＳＴ５５６では全障害物候補につい
て処理が終了したか否かを判定し、全障害物について上
記処理の実行を終了した場合にはステップＳＴ５５７へ
進み、終了していない場合にはステップＳＴ５５１へ戻
って上記処理を繰り返す。ステップＳＴ５５７では障害
情報格納手段５に障害物発報すべき障害物情報がなくな
ったか否かの判定を行う。当該障害物情報がなくなった
と判定された場合には、ステップＳＴ５５８において発
報解除手段７が障害物発報を解除した後、この一連の処
理を終了する。一方、当該障害物情報がまだ存在すると
判定された場合には、障害物発報の解除を行わずにその
ままこの一連の処理を終了する。

【００５７】なお、上記説明では、障害物領域と入力画
像および路面画像との輝度値の差分値Ｄ２を求めて障害
物が存在するか判定するものを示したが、実施の形態４
におけるエッジ画像生成手段１００１を用いて生成した
エッジ画像より、そのエッジ強度の差分値を求めて判定
するようにしてもよい。また、次式に示すエッジ強度の
比率（エッジ比率）Ｄ２’を求め、このエッジ比率Ｄ
２’が１に近い時に障害物が消失したと判定するように
してもよい。

【００５８】

【数４】

【００５９】ただし、上式における、Ｉｎ’（ｘ，ｙ）
は入力画像における座標ｘ，ｙのエッジ強度値、Ｒ’
（ｘ，ｙ）は路面画像蓄積手段１００２に保存した画像
からエッジ抽出した画像における座標ｘ，ｙのエッジ強
度値、Ｘ，Ｙは障害物座標、ｗ，ｈは障害物の幅・高さ
である。

【００６０】以上のように、この実施の形態５によれ
ば、障害物存在判定手段６により障害物を監視している
ため、障害物が撤去されたり、障害物を遮って移動する
ような物体がある場合にも障害物が消失したことを判定
でき、人手によらず自動的に障害物発報を解除できると
いう効果が得られる。

【００６１】実施の形態６．図１５はこの発明の実施の
形態６による障害物検出装置の構成を示す構成図であ
る。図において、１は画像入力手段、２は動体検出手
段、３は動体追跡手段、４は物体停止判定手段、５は障
害物情報格納手段、７は発報解除手段であり、これらは
図１に同一符号を付して示した実施の形態１におけるそ
れらと同一のものである。また、１００３は図示しない
カメラから障害物が存在する位置までの距離を計測し
て、障害物位置の距離分布を求める距離計測手段であ
る。６は当該障害物領域に障害物が存在するか否かの判
定を、この距離計測手段１００３にて得られた距離分布
を用いて行っている点で、図１に同一符号を付して示し
た実施の形態１のそれとは異なった障害物存在判定手段
である。

【００６２】また、図１６は上記距離計測手段１００３
の動作を説明するための説明図である。図において３０
はカメラからの距離が計測される物体であり、３１は障
害物領域に投影されたスリット光である。

【００６３】次に動作について説明する。ここで、図１
７はこの実施の形態６の動作を説明するためのフローチ
ャートであり、以下、この図１７のフローチャートを用
いて距離計測手段１００３と、障害物存在判定手段６
と、発報解除手段７の動作を説明する。障害物存在判定
手段６は上記各実施の形態の場合と同様に、障害物があ
ると判定されている時にある時間間隔で実行される。ま
ず、ステップＳＴ６００において、障害物存在判定手段
６より距離計測手段１００３に障害物領域の座標を出力
して当該障害物領域にスリット光３１を照射させる。

【００６４】次にステップＳＴ６０１において、距離計
測手段１００３は、例えば文献「画像処理工学」（電機
大出版局、村上伸一著、ＰＰ．１０５）に開示され
ている周知の繰り返しパターン投影法を用いて、カメラ
から障害物までの距離情報を求める。物体（障害物）が
存在する場合にスリット光３１を照射すると、そのスリ
ット光３１が物体３０の表面に投影されるため、物体３
０が存在する点で折れ曲がることになる。距離計測手段
１００３は当該障害物領域の入力画像より、このスリッ
ト光３１を追跡して、折れ曲がりがあるか否かを判定す
る。この追跡方法には、例えば文献「コンピュータ画像
処理入門」（総研出版、田村秀行監修、ＰＰ．８３
−８５）に開示されている周知の境界線追跡法を用い
る。距離計測手段１００３はこのようにして、繰り返し
パターン投影法により距離情報を計測し、境界線追跡法
にて折れ曲がりの有無を判定することで、障害物位置の
距離分布を得ている。

【００６５】障害物存在判定手段６はこのようにして得
られた障害物位置の距離分布に従って障害物存在判定を
行う。すなわち、次にステップＳＴ６０２において、輪
郭追跡時に所定以上の偏移がある場合には、障害物とな
る物体が存在すると判定して物体存在フラグを１とし、
それ以外の場合には当該物体存在フラグを０とする。次
にステップＳＴ６０３において、障害物存在判定手段６
は障害物となる物体が存在しなければ、障害物情報格納
手段５から当該領域の障害物情報を削除し、発報解除手
段７は障害物発報を解除する。

【００６６】以上のように、この実施の形態６によれ
ば、障害物領域のみにおいて距離分布を検出することで
障害物の存在判定を行うようにしたので、より高い精度
で障害物の存在判定を行うことができ、また距離計測範
囲が障害物位置のみに限定されているため、高速に処理
することができるなどの効果が得られる。

【００６７】実施の形態７．図１８はこの発明の実施の
形態７による障害物検出装置の構成を示す構成図であ
る。図において、１は図示しないカメラからの画像（画
素値を０〜２５５）を入力する画像入力手段、２は入力
画像から動体を検出する動体検出手段、３は当該動体を
追跡し、動体の位置、速度、移動方向を出力する動体追
跡手段、４はこの動体追跡手段３の動体追跡結果から動
体が停止したか否かを判断し、停止した物体を障害物と
判定する物体停止判定手段であり、５は障害物と判定さ
れた物体領域の物体位置、大きさ、および画像情報を蓄
積する障害物情報格納手段である。１００４は動体追跡
手段３の動体追跡結果から動体が車両であるか否かを判
定する車両判定手段であり、１００５はこの車両判定手
段１００４で車両と判定された動体について、車両が障
害物を回避する動作を行ったか否かを、動体追跡手段３
が出力する移動量と移動方向に基づいて判定する物体回
避動作判定手段である。６は障害物情報格納手段５に保
存された情報とこの物体回避動作判定手段１００５の回
避動作の大きさを用いて、当該障害物領域に障害物が存
在するか否かを判定する障害物存在判定手段であり、７
はこの障害物存在判定手段６にて障害物が消失したと判
定した場合に障害物発報を自動的に解除する発報解除手
段である。

【００６８】次に動作について説明する。ここで、図１
９および図２０はこの実施の形態７の動作を説明するた
めのフローチャートである。なお、これら図１９および
図２０に示す処理は並行して動作するものであり、図１
９は動体検出と障害物検出の処理を、図２０は障害物が
存在するか否かの判定の処理をそれぞれ示している。ま
ず、図１９のフローチャートを用いて画像入力手段１、
動体検出手段２、動体追跡手段３、物体停止判定手段
４、車両判定手段１００４、物体回避動作判定手段１０
０５、障害物情報格納手段５の動作を説明する。

【００６９】この図１９のフローチャートにおけるステ
ップＳＴ７００〜ステップＳＴ７０５では、図４のフロ
ーチャートに示した実施の形態１におけるステップＳＴ
１００〜ステップＳＴ１０５と同様に、画像の入力、画
像間の差分絶対値の演算、動体領域の抽出、動体位置の
保存、動体間の対応づけ、動体の速度と移動方向の算出
の処理が行われる。次にステップＳＴ７０６において、
車両判定手段１００４は動体追跡手段３の動体追跡結果
を用いて動体が車両か否かを判定し、車両とされた場合
には動体追跡結果を物体回避動作判定手段１００５に出
力する。なお、上記車両判定手段１００４では、例えば
動体面積が所定範囲内であり、かつ移動量が所定範囲内
であるものを車両とする。物体回避動作判定手段１００
５はステップＳＴ７０７において、動体追跡手段３から
の動体追跡結果を用いて回避動作量を求め、その回避動
作量が所定のしきい値より大きい場合に回避動作ありと
判定する。なお、この回避動作量は、動体追跡手段３に
よりＸｔ，Ｘｔ−１，…，Ｘｔ−（ｎ−１）のｎ点で追
跡されているものとすると、次式によって求めることか
できる。

【００７０】

【数５】

【００７１】ただし、上式における，θｉは点Ｘｉ−１
と点Ｘｉとを結ぶ直線と、点Ｘｉと点Ｘｉ＋１とを結ぶ
直線のなす角度、ａｉは点Ｘｉ−１と点Ｘｉの間の距離
と、点Ｘｉと点Ｘｉ＋１の間の距離の差分（移動量変
化）である。

【００７２】このステップＳＴ７０７による回避動作量
の算出が終了すると、処理はステップＳＴ７０８に進
む。一方、ステップＳＴ７０６で動体が車両でないと判
定された場合には直接このステップＳＴ７０８に進む。
ステップＳＴ７０８では、物体の速度が所定範囲内か否
かの判定を行う。すなわち、上記対応づけられた領域間
の距離が所定値より小さいか、対応づける動体がない場
合には当該動体が停止したと判断してステップＳＴ７０
９へ進み、それ以外は停止していないと判断してステッ
プＳＴ７００へ処理を戻す。ステップＳＴ７０９では障
害物存在判定手段６がその停止物体を障害物として発報
すると共に、障害物情報格納手段５がその障害物とされ
た領域の画像情報、および物体の位置、大きさ等を保存
する。

【００７３】次に、図２０のフローチャートを用いて障
害物存在判定手段６と、発報解除手段７の動作を説明す
る。この図２０のフローチャートに示す動作は、障害物
がありとされている時に所定の時間間隔で実行するもの
である。まずステップＳＴ７５０において、障害物存在
判定手段６がある障害物の近傍領域で回避動作量を所定
のしきい値ｔｈと比較する。その結果、回避動作量がこ
のしきい値ｔｈより小さい場合、障害物がなくなったと
判断してステップＳＴ７５１に進んで、障害物情報格納
手段５から当該領域の障害物候補の情報を削除する。次
にステップＳＴ７５２において、発報解除手段７による
障害物発報の自動解除を行い、一連の処理を終了する。
なお、ステップＳＴ７５０にて回避動作量がしきい値以
上であると判定された場合には、発報解除手段７による
障害物発報の解除を行わずに、そのまま一連の処理を終
了する。

【００７４】以上のように、この実施の形態７によれ
ば、障害物存在判定手段６は車両の回避動作によって障
害物が存在するか否かを判定しているため、時刻経過に
伴って障害物が背景と同程度の輝度になる場合にも、障
害物が消失したことを判定することができ、人手によら
ず自動的に障害物発報の解除が可能になるという効果が
得られる。

【００７５】実施の形態８．図２１はこの発明の実施の
形態８による障害物検出装置の構成を示す構成図であ
る。図において、１はカメラからの画像を入力する画像
入力手段、２は入力画像から動体を検出する動体検出手
段、３は当該動体を追跡し、動体の位置、速度、移動方
向を出力する動体追跡手段、４はこの動体追跡手段３の
動体追跡結果から動体が停止したか否かを判断し、停止
した物体を障害物と判定する物体停止判定手段であり、
５は障害物と判定された物体領域の物体位置、大きさ、
および画像情報を蓄積する障害物情報格納手段、６は障
害物情報格納手段５に保存された情報を用いて当該障害
物領域に障害物が存在するか否かを判定する障害物存在
判定手段、７はこの障害物存在判定手段６にて障害物が
消失したと判定した場合に障害物発報を自動解除する発
報解除手段である。また、１００６は障害物の位置と大
きさより障害物の危険度を算出する危険度算出手段であ
り、１００７はこの危険度算出手段１００６が出力する
危険度に応じて警告を表示する警告表示装置である。

【００７６】次に動作について説明する。なお、ここで
は危険度算出手段１００６と警告表示装置１００７につ
いてのみその動作を説明し、他の部分の動作については
上記各実施の形態の場合と同様であるため、その説明は
省略する。ここで、危険度算出手段１００６において、
障害物情報格納手段５に格納された障害物の位置と大き
さの情報から危険度１を求める場合、次式が用いられ
る。危険度１＝Ｓ・｜ｘ − 車線中央ｘ｜ただし、上式における、Ｓは障害物の大きさ、ｘは障害
物のｘ座標、車線中央ｘは車線中央のＸ座標である。な
お、この車線中央の位置は予め設定した値が用いられ
る。

【００７７】上式によって得られた危険度１は警告表示
装置１００７に送られ、警告表示装置１００７はその危
険度１に応じた警告文を表示する。例えば、表示する警
告文を、危険度が所定のしきい値以上の場合には“危険
！障害物あり”とし、所定のしきい値より小さい場合に
は“障害物あり！徐行せよ”とする。

【００７８】なお、上記説明では、危険度１に応じて警
告文の内容を変更して表示するようにしたものを示した
が、さらに、警告表示装置１００７の表示色を危険度１
に応じて変更するようにしてもよい。例えば、危険度１
が所定のしきい値以上の場合には、警告文の表示色を赤
色として“危険！障害物あり”と表示し、所定のしきい
値より小さい場合には、表示色を黄色として“障害物あ
り！徐行せよ”などと表示する。

【００７９】以上のように、この実施の形態８によれ
ば、危険度算出手段１００６は障害物の位置および大き
さに応じた警告文を警告表示装置１００７に表示するよ
うにしたので、運転者に適切な行動を指示することがで
き、事故を抑制することが可能になるという効果が得ら
れる。

【００８０】実施の形態９．なお、上記実施の形態８で
は、危険度算出手段が障害物の位置と大きさに基づいて
危険度の算出を行うものについて説明したが、物体回避
動作判定手段で得られる車両の回避動作の大きさに基づ
いて危険度を算出するようにしてもよい。図２２はその
ようなこの発明の実施の形態９による障害物検出装置の
構成を示す構成図である。

【００８１】図において、１はカメラからの画像を入力
する画像入力手段、２は入力画像から動体を検出する動
体検出手段、３は動体を追跡し、動体の位置、速度、移
動方向を出力する動体追跡手段であり、４は動体追跡手
段３の動体追跡結果から動体が停止したか否かの判断を
行い、停止した物体を障害物と判定する物体停止判定手
段である。１００４は動体追跡手段３の動体追跡結果か
ら動体が車両であるか否かを判定する車両判定手段であ
り、１００５は動体追跡手段３から得られる動体追跡結
果より回避動作量を算出する物体回避動作判定手段であ
る。５は障害物とされた物体領域の物体位置、大きさ、
および画像情報を蓄積する障害物情報格納手段、６はこ
の障害物情報格納手段５に保存された情報を用いて、当
該障害物領域に障害物が存在するか否かを判定する障害
物存在判定手段であり、７はこの障害物存在判定手段６
にて障害物が消失したと判定された場合に障害物発報を
自動解除する発報解除手段である。１００６は物体回避
動作判定手段１００５の出力する車両の回避動作の大き
さに基づいて危険度の計算を行う危険度算出手段であ
り、１００７はこの危険度算出手段１００６が出力する
危険度に応じた警告を表示する警告表示装置である。

【００８２】次に動作について説明する。なお、ここで
は危険度算出手段１００６についてのみ、その動作を説
明し、他の部分についてはその説明を省略する。この危
険度算出定手段１００６は、物体回避動作判定手段１０
０５の出力する車両の回避動作量より、次式を用いて危
険度２を求める。危険度２＝α・回避動作量＋β ただし、上式における、回避動作量は実施の形態７で記
述した物体回避動作判定手段１００５で得られる値、
α，βは予め設定した定数である。

【００８３】この危険度算出手段１００６で算出された
危険度２は警告表示装置１００７に送られ、警告表示装
置１００７はその危険度２に応じた警告文の表示を行
う。なお、警告文の表示形態は実施の形態８で説明した
ものと同様である。

【００８４】以上のように、この実施の形態９によれ
ば、危険度算出手段１００６は物体回避動作判定手段１
００５が出力する車両の回避動作の大きさに応じて警告
文を表示するようにしたので、運転者に適切な行動を指
示することができ、事故を抑制することができるという
効果が得られる。

【００８５】実施の形態１０．また、上記実施の形態９
では、危険度算出手段が回避動作判定手段で得られる車
両の回避動作の大きさのみに基づいて危険度を算出する
ようにした場合について説明したが、この車両の回避動
作の大きさと、障害物の位置および大きさに基づいて危
険度３の算出を行うようにしてもよい。なお、そのよう
なこの発明の実施の形態１０による障害物検出装置も、
実施の形態９の場合と同様に、図２２に示す構成となっ
ているため、それについての説明は省略する。

【００８６】次に動作について説明する。なお、ここで
は危険度算出手段１００６についてのみを説明し、他の
部分の動作についてはその説明を省略する。この危険度
算出手段１００６は、物体回避動作判定手段１００５の
出力する車両の回避動作量と、物体停止判定手段４から
の障害物の位置と大きさより、次式を用いて危険度３を
求める。危険度３＝ａ・（Ｓ・｜ｘ−車線中央ｘ｜）＋
ｂ・（α・回避動作量＋β）ただし、上式における、Ｓ
は障害物の大きさ、ｘは障害物の位置（ｘ座標）、車線
中央ｘは車線中央のＸ座標であり、回避動作量は物体回
避動作判定手段１００５で得られる値、α，β，ａ，ｂ
は予め設定した定数である。なお、この車線中央の位置
は予め設定した値が用いられる。

【００８７】この危険度算出手段１００６で算出された
危険度３は警告表示装置１００７に送られ、警告表示装
置１００７はその危険度３に応じた警告文の表示を行
う。なお、警告文の表示形態は実施の形態８の場合と同
様である。

【００８８】以上のように、この実施の形態１０によれ
ば、危険度算出手段１００６は障害物情報格納手段５に
格納された障害物の位置、大きさ、および物体回避動作
判定手段１００５が出力する車両の回避動作の大きさに
応じて警告文を表示するようにしたので、運転者により
適切な行動を指示することができ、事故を抑制すること
ができるという効果が得られる。

【００８９】

【発明の効果】以上のように、この発明によれば、障害
物存在判定手段でその位置における障害物の存在を判定
して、障害物なしと判定された場合には発報解除手段に
て、障害物発報を解除するように構成したので、障害物
が撤去されたり、障害物を遮って移動する物体があるよ
うな場合でも、人手によらず障害物発報を自動的に解除
可能な障害物検出装置が得られる効果がある。

【００９０】この発明によれば、障害物情報格納手段に
保持する障害物画像情報を、入力画像の障害物領域の画
像情報に基づいて更新するように構成したので、輝度変
動の影響を極力抑えることが可能となり、障害物発報を
精度よく自動的に解除できるという効果がある。

【００９１】この発明によれば、他の物体で障害物が遮
蔽されたことが検出されると、障害物情報格納手段の保
持する障害物画像情報の更新を停止するように構成した
ので、障害物を長時間にわたって遮っていた遮蔽物体が
移動したような場合でも、障害物の存在の確認を確実に
行うことが可能になるという効果がある。

【００９２】この発明によれば、停止物体の存在を、エ
ッジ画像のエッジ分布に基づいて判定するように構成し
たので、障害物領域の輝度値が変化した場合でも、障害
物の存在を精度よく判定することが可能になるという効
果がある。

【００９３】この発明によれば、当該障害物位置の情報
と路面画像の情報との相違度に基づいて、障害物存在の
判定を行うように構成したので、障害物が撤去された
り、障害物を遮って移動する物体があるような場合で
も、人手によらず障害物発報を自動的に解除可能な障害
物検出装置が得られる効果がある。

【００９４】この発明によれば、距離計測手段にて計測
された当該障害物の位置の距離分布に基づいて、障害物
存在の判定を行うように構成したので、障害物の存在判
定を高精度で行うことができ、その処理も高速化できる
などの効果がある。

【００９５】この発明によれば、車両と判定された動体
が障害物の回避動作を行ったか否かを判定し、回避動作
が行われない場合には障害物発報を解除するように構成
したので、時刻経過に伴って障害物が背景と同程度の輝
度になる場合でも障害物の消失を判定することができ、
障害物発報が自動的に解除可能になるという効果があ
る。

【００９６】この発明によれば、障害物の位置と大きさ
より算出された障害物の危険度に基づいて、警告文の表
示を変更するように構成したので、運転者に適切な行動
を指示することができ、事故の抑制が可能になるという
効果がある。

【００９７】この発明によれば、危険度の計算を車両の
回避動作の大きさに基づいて行うように構成したので、
車両の回避動作の大きさに応じて運転者に適切な行動を
指示することができ、事故の抑制が可能になるという効
果がある。

【００９８】この発明によれば、危険度の計算を、障害
物の位置、大きさ、および車両の回避動作の大きさに基
づいて行うように構成したので、運転者により適切な行
動を指示することができ、事故の抑制が可能になるとい
う効果がある。

【図面の簡単な説明】

【図１】この発明の実施の形態１、および実施の形態
２による障害物検出装置の構成を示す構成図である。

【図２】実施の形態１における動体検出手段を説明す
るための説明図である。

【図３】実施の形態１における動体追跡手段を説明す
るための説明図である。

【図４】実施の形態１における動体と障害物の検出動
作を示すフローチャートである。

【図５】実施の形態１における障害物の存在判定動作
を示すフローチャートである。

【図６】実施の形態２における障害物の存在判定動作
を示すフローチャートである。

【図７】この発明の実施の形態３による障害物検出装
置の構成を示す構成図である。

【図８】実施の形態３における障害物の遮蔽判定動作
を示すフローチャートである。

【図９】この発明の実施の形態４による障害物検出装
置の構成を示す構成図である。

【図１０】実施の形態４における動体と障害物の検出
動作を示すフローチャートである。

【図１１】実施の形態４における障害物の存在判定動
作を示すフローチャートである。

【図１２】この発明の実施の形態５による障害物検出
装置の構成を示す構成図である。

【図１３】実施の形態５における動体と障害物の検出
動作を示すフローチャートである。

【図１４】実施の形態５における障害物の存在判定動
作を示すフローチャートである。

【図１５】この発明の実施の形態６による障害物検出
装置の構成を示す構成図である。

【図１６】実施の形態６における距離計測動作を説明
するための説明図である。

【図１７】実施の形態６の動作を示すフローチャート
である。

【図１８】この発明の実施の形態７による障害物検出
装置の構成を示す構成図である。

【図１９】実施の形態７における動体と障害物の検出
動作を示すフローチャートである。

【図２０】実施の形態７における障害物の存在判定動
作を示すフローチャートである。

【図２１】この発明の実施の形態８による障害物検出
装置の構成を示す構成図である。

【図２２】この発明の実施の形態９、および実施の形
態１０による障害物検出装置の構成を示す構成図であ
る。

【図２３】従来の障害物検出装置の構成を示す構成図
である。

【図２４】従来の障害物検出装置における動体予測領
域を説明するための説明図である。

【図２５】従来の障害物検出装置の動作を示すフロー
チャートである。

【符号の説明】１画像入力手段、２動体検出手段、３動体追跡手
段、４物体停止判定手段、５障害物情報格納手段、
６障害物存在判定手段、７発報解除手段、１０時
刻ｔ−１における撮像画像、１１時刻ｔにおける撮像
画像、１２差分２値画像、１３道路、１４時刻ｔ
−１における移動する物体（動体）、１５移動方向を
示す矢印、１６時刻ｔにおける移動する物体（動
体）、１７移動領域、２０道路、２１動体の重心位
置、２２時刻ｔ−１における物体の重心位置、２３
時刻ｔにおける物体の重心位置、３０物体、３１ス
リット光、１０００遮蔽判定手段、１１０１エッジ
画像生成手段、１００２路面画像蓄積手段、１００３
距離計測手段、１００４車両判定手段、１００５物
体回避動作判定手段、１００６危険度算出手段、１０
０７警告表示装置。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０８Ｂ 25/00 ５１０Ｇ０８Ｇ 1/16 Ｃ５Ｈ３０１Ｈ０４Ｎ 7/18 Ｄ５Ｌ０９６Ｇ０８Ｇ 1/16 Ｇ０５Ｄ 1/02 ＫＨ０４Ｎ 7/18 Ｓ // Ｇ０５Ｄ 1/02 Ｂ６０Ｒ 21/00 ６２４Ｃ６２６ＥＧ０６Ｆ 15/70 ４１０Ｆターム(参考） 2F065 AA02 AA12 AA17 BB15 CC40 FF25 FF42 GG09 HH02 JJ03 JJ26 MM06 QQ06 QQ13 QQ21 QQ24 QQ32 2F112 AC02 CA05 CA12 FA08 FA31 5C054 FC01 FC13 FC14 FC15 GB12 GD03 HA30 5C087 AA02 DD03 DD13 EE05 EE07 GG02 GG07 GG19 GG23 GG36 5H180 AA01 CC04 CC24 LL01 LL08 5H301 AA01 BB20 CC03 CC06 DD07 DD16 EE02 EE08 FF06 FF11 GG01 LL01 LL11 LL14 LL15 5L096 BA02 BA04 CA02 DA03 FA06 FA60 HA04 HA05

Claims

【特許請求の範囲】

【請求項１】カメラからの画像を入力する画像入力手
段と、前記画像入力手段にて入力された画像から移動している
物体を検出する動体検出手段と、前記動体検出手段の検出した前記物体を追跡する動体追
跡手段と、前記動体追跡手段の動体追跡結果から前記物体が停止し
たか否かを判定して発報すると共に、停止した前記物体
の位置を出力する物体停止判定手段と、前記物体停止判定手段より出力された位置の画像情報を
保持する障害物情報格納手段と、前記物体停止判定手段より出力された位置に障害物が存
在するか否かを判定する障害物存在判定手段と、前記障害物存在判定手段が障害物なしと判定した時に、
前記物体停止判定手段による障害物の発報を自動解除す
る発報解除手段とを備えた障害物検出装置。
【請求項２】障害物情報格納手段を、入力画像の障害
物領域の画像情報により、保持する障害物画像情報の更
新を行うものとしたことを特徴とする請求項１記載の障
害物検出装置。
【請求項３】障害物が他の物体に遮蔽された状態を検
出する遮蔽判定手段を備え、障害物情報格納手段を、前記遮蔽判定手段にて障害物が
他の物体に遮蔽されたことが検出されると、保持する障
害物画像情報の更新を停止するものとしたことを特徴と
する請求項２記載の障害物検出装置。
【請求項４】入力画像の障害物領域のエッジ画像を作
成するエッジ画像生成手段を備え、障害物存在判定手段を、前記エッジ画像生成手段の作成
したエッジ画像のエッジ分布により、停止物体が存在す
るか否かを判定するものとしたことを特徴とする請求項
１から請求項３のうちのいずれか１項記載の障害物検出
装置。
【請求項５】移動している物体の写っていない路面画
像を蓄積する路面画像蓄積手段を備え、障害物存在判定手段を、障害物情報格納手段に保存され
た当該障害物位置の情報と、前記路面画像蓄積手段に蓄
積された当該障害物の路面画像の画像情報との相違度に
より、障害物の存在判定を行うものとしたことを特徴と
する請求項１から請求項３のうちのいずれか１項記載の
障害物検出装置。
【請求項６】物体とカメラの間の距離よりその距離分
布を求める距離計測手段を備え、障害物存在判定手段を、前記距離計測手段によって求め
られた当該障害物位置の距離分布により障害物存在判定
を行うものとしたことを特徴とする請求項１記載の障害
物検出装置。
【請求項７】動体追跡手段の動体追跡結果から移動し
ている物体が車両であるか否かを判定する車両判定手段
と、前記車両判定手段で判定された車両の一定時間内での位
置、速度、進行方向から、当該車両が障害物を回避する
回避動作を行ったか否かを判定する物体回避動作判定手
段とを備え、発報解除手段を、前記物体回避動作判定手段において回
避動作を行ったと判定された場合に障害物発報を自動的
に解除するものとしたことを特徴とする請求項１から請
求項６のうちのいずれか１項記載の障害物検出装置。
【請求項８】障害物の位置および大きさから障害物の
危険度を算出する危険度算出手段と、前記障害物の存在を表示する警告表示装置とを備え、前記危険度算出手段にて算出された危険度に基づいて、
前記警告表示装置の表示を変更することを特徴とする請
求項１から請求項６のうちのいずれか１項記載の障害物
検出装置。
【請求項９】物体回避動作判定手段を、車両が回避動
作を行ったと判定した場合にその回避動作の大きさを出
力するものとし、前記物体回避動作判定手段の出力する車両の回避動作の
大きさに基づいて障害物の危険度を算出する危険度算出
手段と、前記危険度算出手段にて算出された危険度に応じて障害
物存在の表示を変更する警告表示装置とを備えたことを
特徴とする請求項７記載の障害物検出装置。
【請求項１０】物体回避動作判定手段を、車両が回避
動作を行ったと判定した場合にその回避動作の大きさを
出力するものとし、障害物の位置および大きさと、前記物体回避動作判定手
段の出力する車両の回避動作の大きさに基づいて、障害
物の危険度を算出する危険度算出手段と、前記危険度算出手段にて算出された危険度に応じて障害
物存在の表示を変更する警告表示装置とを備えたことを
特徴とする請求項７記載の障害物検出装置。