JP2004341979A

JP2004341979A - 障害物検出装置および障害物検出方法

Info

Publication number: JP2004341979A
Application number: JP2003139988A
Authority: JP
Inventors: Kiyoshi Akutagawa; 清芥川
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2003-05-19
Filing date: 2003-05-19
Publication date: 2004-12-02
Anticipated expiration: 2023-05-19
Also published as: JP4100250B2

Abstract

【課題】従来の車両周辺の障害物検出においては、周辺画像から得られる詳細なエッジ情報等を取得する事により障害物の検出を行っていたため、対象物が低解像度で撮影された場合やエッジ情報を有しない場合はエッジ構成による障害物の特定ができず、障害物の検出ができない場合が発生していた。
【解決手段】本発明においては、画像情報入力部１００から所定時間経過毎に入力される画像上に、比較領域設定部２００によって比較領域を設定する。その後、障害物検出部３００において、各比較領域の特徴量を計測し、道路前方の変化を時間経過毎の特徴量の差分値を算出することから検知し、これによって障害物の有無を判定する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は車載カメラによって撮像した画像から、車両周辺に移動してきた障害物を検出する障害物検出装置に関する。
【０００２】
【従来の技術】
近年、自車両に搭載したカメラで撮像した自車両周辺の画像から、周辺車両を検出し、その位置関係をドライバーに提示するシステムや、車間距離により警報するシステム等が開発されている。撮像した自車両周辺画像から周辺車両を検出する従来の手法としては、例えば特許文献１に示した技術がある。この方法は、前方車両の後部を撮影した画像の画像データにもとづき、水平エッジ線分および垂直エッジ線分を抽出し、それらの各エッジ線分の中から一定の基準条件を満たすものを抽出し、車両判断に用いる評価値を算出する。この評価値と基準値を比較し車両の各部を表す線分であるか否かを判定し車両を検出する。
【０００３】
【特許文献１】
特開２０００−１１３２０１号公開公報
【０００４】
【発明が解決しようとする課題】
上記従来手法においては、車両検出時に、車両画像を構成するエッジ成分の特徴を使用している。このため、対象車両の種類や車両の走行環境が異なると、前方車両の検出を正確に出来なくなる場合や、画角や距離等の関係で、エッジ構造が特定されず前方車両の検出がされない場合がある、という問題がある。本発明は従来技術のように、車両の詳細な構造情報を用いた画像処理を要することから発生する移動物体の誤検出等を解消することのできる障害物検出装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
車両に搭載され、車両周囲の画像情報を入力する手段と
前記撮像部で求めた画像情報より各地点の特徴量を計測する手段と
自車両の速度を検出する手段と
上記画像情報を入力する手段において取得された画像情報を用いて路面上の計測領域を設定する手段と
設定された上記計測領域内であって、移動障害物がない場合には一定の時間差をおいて特徴量の変化が同様となる各地点について、時間経過ごとに上記特徴量の変化が同様であるか否かを検知する手段と
上記特徴量の変化を検知する手段により移動障害物の有無を判断する手段と
を備えたことを特徴とする。
【０００６】
【発明の効果】
本発明によれば、移動障害物の検出において対象のエッジ構成の詳細な情報を必要としないので、対象との位置関係によりエッジ構成が異なる場合や対象の種類が異なる場合、さらに、画角と距離の関係で対象が低解像度で撮影され、エッジ構造が特定されない場合でも、移動障害物を検出することができる。
【０００７】
【発明の実施の形態】
以下、本発明で走行中の車両が前方の障害物の存在を検出する実施形態について図面を参照しながら説明する。
【０００８】
図１から６は第一の実施の形態を示し、図１は本発明による障害物検出装置の構成を示すブロック図である。本実施形態における障害物検出装置は、画像情報入力部１００と、比較領域設定部２００と、障害物検出部３００と、障害物位置表示部４００から構成される。
【０００９】
画像情報入力部１００は、車両周辺情報となる車両前方の画像を一定時間経過毎に入力する車載カメラであり、比較領域設定部２００は、画像情報入力部１００から一定時間経過毎に入力される画像上に、ブロック分割した比較領域を設定する。
【００１０】
ここで比較領域設定部２００は、計測範囲設定部２０１、計測範囲分割部２０２、白線検出部２１０、車速取得部２１１から構成される。白線検出部２１０は画像情報入力部１００が入力した画像から白線モデルとのマッチングなどにより道路上の白線を検出し、車速取得部２１１は、車輪速センサなどを用いて自車両の速度を取得する。計測範囲設定部２０１は、画像情報入力部１００が入力した画像上に、特徴量を計測する領域の外縁を計測範囲として設定する。具体的には、まず図３に示すように車両進行方向をｙ軸、当該ｙ軸に垂直な方向をｘ軸と規定し（以下同様とする。）、白線検出部２１０が検出した白線情報に基づいてｘ軸の外縁を、車速取得部が取得した車速情報に基づいてｙ軸の外縁を設定する。計測範囲分割部２０２は、計測範囲内を分割する。このとき、ｘ軸方向については白線検出部２１０が検出した白線情報に基づいて、また、ｙ軸方向については車速取得部２１１が取得した車速情報に基づいてブロック状に分割する。このように分割された各ブロックが比較領域であり、特徴量比較時の一単位となる。
【００１１】
障害物検出部３００は、比較領域設定部２００によって設定された比較領域の特徴量を画像入力毎に比較し、画像毎に特徴量の差分値を検知することにより障害物の発生を検出する。障害物検出部３００は、特徴量計測部３０１、差分値算出部３０２、障害物検知部３０３から構成される。
【００１２】
特徴量計測部３０１は、分割された各比較領域における特徴量を計測する。また、特徴量計測部３０１には図示しないメモリ部を有しており、一定時間ごとに計測する特徴量の値を比較領域毎に記憶する機能をも有する。差分値算出部３０２は、入力時間が異なり実空間で同じ地点を表す比較領域毎の特徴量差分値を算出する。障害物検知部３０３は算出された差分値が所定の閾値を超えているか否かを判断し、超えている場合には障害物が有るものとして障害物の存在を検知する。ここで、閾値は、ある比較領域において異なる物が現れた時に、障害物の出現が認識可能な値を設定する。また、このように検知された障害物の位置を図示しないメモリ部に記憶する。
【００１３】
障害物位置表示部４００は、障害物検出部３００から取得した障害物検出位置を車載のモニターに表示する。
【００１４】
続いて本実施形態における障害物検出装置の動作について説明する。
【００１５】
まず画像情報入力部１００によって走行している車両前方画像が一定時間毎に入力され、入力された画像は比較領域設定部２００によってブロック分割される。以下、図３を用いて比較領域の分割の過程について具体的に説明する。図３（ａ）は画像情報入力部１００が入力した画像に比較領域、及びその比較領域を設定したイメージを示し、図３（ｂ）は、（ａ）を真上から見たイメージを示す。
【００１６】
最初に白線検出部２１０によって入力画像から白線位置を検出する。取得した白線の位置情報を用いて図３（ｂ）と同じ上方から見て白線と平行な仮想線を作成する事により、比較領域のｘ軸方向の外縁を設定し、次いでｘ軸方向の分割を行う仮想線を設定する。図３の例では比較領域の外縁を白線の外側に設定し、ｘ軸方向をｍ個に分割した例を示している。
【００１７】
また、車速取得部２１１によって車速情報を取得する。取得した車速から得られる比較領域のブロック間の距離ｄを基に車両進行方向に水平に計測範囲の仮想線を作成する事により外縁を設定し、次いで、このｙ軸方向の分割を行う仮想線を設定する。１ブロック間の距離ｄについては、入力された画像の時間間隔をｔ、車速取得部が取得する車速をｖとした場合、ｄ＝ｖ × ｔの関係式で求める。ｙ軸方向の外縁の、実空間での距離はｎｄ（ｎは任意の整数）と定められる。実際には比較領域は画像上に設定することから、自車両から遠方に進むに従い、１ブロックに相当する領域は小さくなる。よって、計測範囲の外縁は、画像上でブロック毎に特徴量の計測を行った際に、障害物の存在が検出可能な範囲内の値に設定することとなる。このように設定されたｎの値に基づいて、計測範囲内の分割を行う。
【００１８】
ｙ軸方向について、このようにブロック分割することにより、障害物を検出するＴ時に入力された画像に設定した比較領域は、ｔ時間前の入力画像に設定された比較領域からｙ軸方向に１ブロック分移動した領域となるので、直前（ｔ時前）に取得した画像との特徴量の比較が容易となり、より正確な障害物検出をすることが可能となる。図３の例ではｙ軸方向をｎ個に分割した例を示している。
【００１９】
比較領域は、画像取得毎に取得した入力画像の路面上に設定されるのでカーブ路においても、図４に示すようにｘ軸方向は真上からみて白線と平行に、また、ｙ軸方向の１ブロックあたりの大きさはｄ＝ｖ × ｔを保ったブロック分割がなされることになり、カーブ路においても本発明は適用可能となる。
【００２０】
次に、図２に示すフローチャートを用いて、障害物検出部３００における障害物検出処理について説明する。
【００２１】
特徴量計測部３０１で、前記比較領域設定部２００において図３に示すようなｍ× ｎブロックに設定された各比較領域の特徴量を計測し（ＳＴ１００）、差分値算出部３０２で、各比較領域における、ｔ時前に取得された特徴量と現在の特徴量との差分値を算出する（ＳＴ１０３）。この後、障害物検知部３０３において障害物の有無を検知する（ＳＴ１０４）。具体的には、算出した当該差分値が、障害物有無を検知する閾値（Ｒ）より大きいか否かによって障害物の有無の判断を行う。
【００２２】
差分値が所定の閾値より小さい場合は比較領域には障害物無しと判断し、ｙ軸方向の次の領域の障害物検出を行う（ＳＴ１０６，ＳＴ１０７）。差分値が閾値より大きい場合は障害物有りと判断してその位置を記憶（ＳＴ１２０）後、当該ｙ軸の障害物検出を終了し、次のｘ軸の障害物検出処理を行う（ＳＴ１０８，ＳＴ１０９）。
【００２３】
上述したフローについて図５を用いて具体的に説明する。図５は障害物の存在を判断する現在の時間をＴとおき、図５（ａ）は現在の時間Ｔよりもｔ時間前のＴ−ｔ時に設定された比較領域を示し、（ｂ）は現在の時間Ｔに設定された比較領域を示す。
【００２４】
まず、各比較領域における特徴量の比較方法について説明する。検出処理の順序としては、最初に図５（ｂ）に図示したｍ×ｎブロックにおける特徴量の計測を行う（ＳＴ１００）。ここで特徴量としては、各ブロックの平均画素値、平均エッジ強度値、画素値の分散値などが挙げられる。次いで、ブロックＴ（１，１）の特徴量ＷＴ（１，１）と、特徴量計測部３０１の中のメモリ部に記憶されているＴ−ｔ時におけるブロックＴ−ｔ（１，２）での特徴量ＷＴ−ｔ（１，２）を比較する（ＳＴ１０３）。ブロックＴ（１，１）の比較により算出された差分値が所定の閾値以下の場合には続いてＷＴ−ｔ（１，２）の特徴量の比較が行われ、順次ｙ軸方向に比較を行い、ｘ＝１のブロックにおける比較が終了したら、ｘを一ブロックづつ右に移行して比較を行う。
【００２５】
前述したようにＴ時に取得した画像に設定される比較領域は、Ｔ−ｔ時に取得した画像に設定した比較領域に対して、ｙ方向に１ブロック分移動した状態となっている。よって、図５中、ブロックＴ（ｘ，ｙ）とｔ時間前に取得した画像中のブロックＴ−ｔ（ｘ，ｙ＋１）、は実空間上において同位置を示している。ここで、差分値を算出する方法としては、特徴量そのものの値を単独に比較する方法の他、平均画素値、平均エッジ強度値、画素値の分散値等の複数の特徴量をベクトルの各要素として、ベクトルの大きさの差分値を算出する方法であってもよい。
【００２６】
次に障害物をＴ（ｘ、ｙ）座標にて検出した場合について説明する。
【００２７】
現在の時間ＴにおけるブロックＴ（ｘ、ｙ）での特徴量ＷＴ（ｘ、ｙ）は、Ｔ−ｔ時におけるブロックＴ（ｘ、ｙ＋１）での特徴量ＷＴ−ｔ（ｘ、ｙ＋１）と比較される。Ｔ−ｔ時には存在しなかった障害物３が、現在の時間Ｔ時で存在するようになった場合、各々の特徴量の差分値に所定値以上の値が算出されることになる。この場合には、現在の時間Ｔにおいて、ブロックＴ（ｘ、ｙ）に障害物が存在するようになった、と判断する。その後、ｙ軸方向についてはこれ以上比較を行うことなく、ｘ軸方向の次のブロック列Ｔ（ｘ＋１、１）からＴ（ｘ＋１、ｍ）について比較を行う。図５（ｂ）に示す様に、ｘ軸方向に平行な面を有する障害物であれば、ブロックＴ（ｘ＋１、ｙ）において更に障害物が検出される。このようにブロック毎に障害物検出を行う事により、障害物３の輪郭を把握することができる。
【００２８】
障害物を検出したブロックより先は、当該障害物により視界が遮られるため検出できないが、自車両にとっては、接触等の可能性がある最近の車両位置が重要であり、その位置が検出されるだけでも十分価値がある。よって、本実施形態では、あるブロックで障害物が検出された場合は、そのｘ軸方向位置での検出を終了し、次のｘ軸方向位置での障害物検出を行っている。
【００２９】
全ての比較領域についての障害物検出が終了したら、障害物位置表示部４００によって、図６に示すように検出された障害物３の位置を障害物エリア９のように表示する（ＳＴ１２１）。
【００３０】
このように本実施例では、障害物の検出において従来のようにエッジ構成の詳細な情報を必要とせずに、自車両周辺の特徴量を計測し、時間経過毎の特徴量の変化から障害物の有無を判定する。従って、対象物が低解像度で撮影された場合や対象物がエッジ情報を有しないこと等を理由にエッジ構成が特定できなくなることはなく、自車両周辺の障害物を正確に判定できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る障害物検出装置のブロック図である。
【図２】図１に示した障害物検出装置の動作の一例を示すフローチャートである。
【図３】直線道路における特徴量の計測範囲の設定例を示す図である。
【図４】カーブ状道路における特徴量の計測範囲の設定例を示す図である。
【図５】特徴量計測範囲での比較対象ブロックの位置および処理方向を示す図である。
【図６】検出された障害物の表示例を示す図である。
【符号の説明】
１・・・・自車両位置、２・・・・特徴量計測範囲、３・・・・進入車両（障害物）、４・・・・矢印１（ｘ軸方向の移動）、５・・・・矢印２（ｙ軸方向の移動）、６・・・・矢印３（比較対象ブロック）、７・・・・自車位置表示、８・・・・白線表示、９・・・・障害物領域、１００・・・・画像情報入力部、２００・・・・比較領域設定部、２０１・・・・計測範囲設定部、２０２・・・・領域分割部、２１０・・・・白線検出部、２１１・・・・車速取得部、
３００・・・・障害物検出部、３０１・・・・特徴量計測部、３０２・・・・差分値算出部、３０３・・・・障害物検知部、４００・・・・障害物位置表示部

Claims

車両に搭載され、所定時間間隔毎に車両周囲の画像情報を入力する画像情報入力手段と、
前記画像情報入力手段が入力した画像情報の特徴量を計測する特徴量計測手段と、
異なる時間に入力された画像情報から前記特徴量計測手段が計測した複数の特徴量であって実空間で同じ領域を示す特徴量間の差分値を算出する差分値算出手段と、
前記差分値に基づいて障害物の存在の有無を検知する障害物検知手段と、
を備えることを特徴とする障害物検出装置
車両に搭載され、所定時間間隔毎に車両周囲の画像情報を入力する画像情報入力手段と、
前記画像情報入力手段において取得された前記画像情報を用いて、前記画像情報上に計測範囲を設定する計測範囲設定手段と、
前記計測範囲設定手段が設定した前記計測範囲内の画像情報の特徴量を計測する特徴量計測手段と、
異なる時間に入力された画像情報から前記特徴量計測手段が計測した複数の特徴量であって実空間で同じ前記計測範囲の特徴量間の差分値を算出する差分値算出手段と、
前記差分値に基づいて障害物の存在の有無を検知する障害物検知手段と、
を備えることを特徴とする障害物検出装置
前記計測範囲設定手段は、
前記画像情報から路面に描かれた白線情報を検出する白線情報検出手段を有しており、
前記白線情報検出手段により検出された白線の位置と平行に前記計測範囲を設定することを特徴とする請求項２に記載する障害物検出装置
前記白線情報検出手段にて検出した白線の位置と平行に前記計測範囲を分割する計測範囲分割手段を有することを特徴とする請求項２、３に記載する障害物検出装置
前記計測範囲設定手段は、
車両の走行速度情報を取得する車速取得手段を有しており、
前記車速取得手段により取得した走行速度情報に基づいて前記計測範囲を設定することを特徴とする請求項２に記載する障害物検出装置
前記計測範囲分割手段は、前記車速取得手段にて取得した走行速度情報に基づいて計測範囲を分割する計測範囲分割手段を有することを特徴とする請求項２、５に記載の障害物検出装置。
前記特徴量は、前記画像情報から得られる平均画素値、平均エッジ強度値、画素値の分散値の少なくとも一つを有することを特徴とする請求項１から６の何れかに記載の障害物検出装置
前記差分値算出部は、複数種類の前記特徴量を成分とするベクトルを用いて、前記ベクトルの大きさの差分値を算出することを特徴とする請求項１から７の何れかに記載の障害物検出装置
車両に搭載され、所定時間間隔毎に車両周囲の画像情報を入力する画像情報入力ステップと、
前記画像情報入力手段が入力した画像情報の特徴量を計測する特徴量計測ステップと、
異なる時間に入力された画像情報から前記特徴量計測手段が計測した複数の特徴量であって実空間で同じ領域を示す特徴量間の差分値を算出する差分値算出ステップと、
前記差分値に基づいて障害物の存在の有無を検知する障害物検知ステップと、を備えることを特徴とする障害物検出方法