JP2004098827A - 障害物検知装置及びプログラム - Google Patents
障害物検知装置及びプログラム Download PDFInfo
- Publication number
- JP2004098827A JP2004098827A JP2002262898A JP2002262898A JP2004098827A JP 2004098827 A JP2004098827 A JP 2004098827A JP 2002262898 A JP2002262898 A JP 2002262898A JP 2002262898 A JP2002262898 A JP 2002262898A JP 2004098827 A JP2004098827 A JP 2004098827A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- detection device
- area
- signal
- dimensional signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】突発的な雑音による誤検出を低減できる障害物検知装置等を提供する。
【解決手段】撮像した画像から1次元信号を取得して、取得した1次元信号を過去Nフレーム分保持する。そして保持した1次元信号に基づき障害物を検知する。例えば、予測障害物候補領域算出手段は、単フレーム障害物候補領域算出手段で得た現時点(T)での障害物候補領域信号NowCarSR(X)を、今まで保持していた時点(T−1)までで予測した障害物候補領域信号ExpectCarSR(X, T−1)と統合することで時点(T) までで予測した障害物候補領域信号ExpectCarSR(X, T)を求める。予測情報付加障害物候補領域算出手段は、単フレーム障害物候補領域算出手段で得た障害物候補領域信号NowCarSRと予測障害物候補領域算出手段で予測した障害物候補領域信号ExpectCarSRとを取り出し、これら2つの信号を統合・モデル化して、障害物候補領域モデルOutCarSRModelを出力する。
【選択図】図8
【解決手段】撮像した画像から1次元信号を取得して、取得した1次元信号を過去Nフレーム分保持する。そして保持した1次元信号に基づき障害物を検知する。例えば、予測障害物候補領域算出手段は、単フレーム障害物候補領域算出手段で得た現時点(T)での障害物候補領域信号NowCarSR(X)を、今まで保持していた時点(T−1)までで予測した障害物候補領域信号ExpectCarSR(X, T−1)と統合することで時点(T) までで予測した障害物候補領域信号ExpectCarSR(X, T)を求める。予測情報付加障害物候補領域算出手段は、単フレーム障害物候補領域算出手段で得た障害物候補領域信号NowCarSRと予測障害物候補領域算出手段で予測した障害物候補領域信号ExpectCarSRとを取り出し、これら2つの信号を統合・モデル化して、障害物候補領域モデルOutCarSRModelを出力する。
【選択図】図8
Description
【0001】
【発明の属する技術分野】
障害物検知装置等に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】
従来、自車両から所定領域を監視して障害物を検出する障害物検知装置として、例えば前方領域監視に関しては特開平6−107096号公報(特許文献1)に記載された「車両用前方監視方法」が、後側方領域監視に関しては特開平9−1563437号公報(特許文献2)に記載された「警報装置」や特開2000−285245号公報(特許文献3)に記載された「移動体の衝突防止装置、衝突防止方法、および記録媒体」が知られている。
【0003】
これら監視装置では、自車両に設置したビデオカメラで前方あるいは後側方を撮影した画像を用いる。そして、この画像中から処理対象領域を抽出し、前記領域に限定して障害物検出処理をすることでリアルタイム性を実現しようとしている。
【0004】
例えば、特開平6−107096号公報に記載された「車両用前方監視方法」では自車両走行車線上およびその周辺に存在し消失点から発生する直線上に設定した微小領域において、消失点から湧き出す動きであるオプティカルフローを持つ微小領域に注目して先行他車両を検出している。
【0005】
また特開2000−285245号公報に記載された「移動体の衝突防止装置、衝突防止方法、および記録媒体」では隣接車線上およびその周辺に存在し消失点(FOE)から発生する直線上に設定した微小領域において、消失点から湧き出す動きであるオプティカルフローを持つ微小領域に注目して後側方より接近する他車両を検出している。また、前記オプティカルフローをパラメータ空間へ投票し、領域併合することで他車両をオブジェクトとして認識している。
【0006】
また、特開平9−240397号公報に記載された「後側方車両の報知装置」では連続するフレーム中の線領域を時系列に並べた時空間画像に対してHough変換を適用して後側方より接近する他車両を検出している。
しかしながら、上記手法での処理対象は2次元領域、つまり画像であり、この2次元領域に対してオプティカルフロー算出処理、領域併合やHough変換などの画像処理手法を適用することで障害物である接近他車両を検出しているため、たとえ処理範囲を限定したとしても2次元領域を対象とした画像処理手法を適用していることに変わりはなく、演算負荷が大きい。更に、2次元領域である前記処理対象範囲の画素値を演算の際にメモリに保持しなければならないため、使用するメモリ容量も必然的に大きくなってしまう。したがって、例えば車両の衝突防止のような高いリアルタイム性が要求され、かつ、車載が可能なコストの装置などには、こうした方法はまだまだ不向きであるという問題がある。
【0007】
さらに、上記文献に記載の発明では、ある時間のみでの障害物検出結果および中間生成情報を用いて障害物の検出を行っているため、突発的な雑音に弱いという問題点がある。
そして、こうした問題は車両の検出以外の種々の障害物の検出の場合にも発生している。
【0008】
そこで本発明は、このような従来技術が抱える状況に鑑みてなされたもので、2次元画像から障害物を検出するときの演算量および使用するメモリ容量を減らすことができ、これにより、処理のリアルタイム化および実現装置の低コスト化を図るとともに、比較的低い演算能力・少ないメモリ容量であっても障害物を確実に検出することができ、突発的な雑音による誤検出を低減することのできる障害物検知装置等を提供することを目的とする。
【0009】
【特許文献1】
特開平6−107096号公報
【特許文献2】
特開平9−1563437号公報
【特許文献3】
特開2000−285245号公報
【0010】
【課題を解決するための手段及び発明の効果】
上述した問題点を解決するためになされた請求項1に記載の障害物検知装置によれば、1次元信号に基づく複数のフレームに渡る障害物検知用信号の変化の連続性を加味して現在のフレームの障害物検知用信号の補正し、補正された障害物検知用信号に基づき障害物の判定を行う。したがって、障害物の検知の処理対象を2次元領域を示す信号(画像)を用いて障害物を判定するのではなく、1次元信号に基づいて判定することで、処理に必要なメモリ量と演算量を削減することができる。例えば従来のような画像を保持するための大容量のフレームメモリが不要となる。また障害物検知装置を構成する回路規模、マイコン等に必要な性能やプログラムの規模等を小さくすることが可能となり、撮像した画像から障害物の有無を判定する従来の障害物検知装置に比べコストを削減できる。また、1次元信号に基づく複数のフレームに渡る障害物検知用信号の変化の連続性を加味して現在のフレームの障害物検知用信号の補正し、補正された障害物検知用信号に基づき障害物の判定を行うので、1次元信号に基づく単一フレームの障害物検知用信号から障害物を判定する構成に比べ、突発的な雑音に対してロバストにすることができ、障害物をより確実に検出することができる。特に、3フレーム以上の障害物検知用信号の時間方向でのつながり情報を用いて現在のオブジェクトを予測するようにすれば、突発的な誤検出を低減することができる。
【0011】
上述した問題点を解決するためになされた請求項2に記載の障害物検知装置によれば、撮像した画像から1次元信号を取得して、取得した1次元信号を過去Nフレーム分(N>1)保持する。例えば現時点Tから過去時点(T−N)まで1次元信号を保持する。そして、保持した1次元信号に基づき障害物を検知する。障害物の検知は、例えば、保持された1次元信号に基づいて障害物の有無を判別することで行う。また請求項2に記載の障害物検知装置は、複数のフレームに渡る1次元信号に基づき障害物を検知する。そのため、単一フレームの1次元信号から障害物を検知する構成に比べ、突発的な雑音に対してロバストにすることができ、障害物をより確実に検出することができる。特に、3フレーム以上の1次元信号の時間方向でのつながり情報を用いて現在のオブジェクトを予測するようにすれば、突発的な誤検出を低減することができる。また例えば障害物検出結果や障害物検出結果を得るための中間生成情報(信号)を、時間方向に追跡する手段を追加し、例えば障害物検出結果および中間生成情報を時間方向について平滑化することで突発的な雑音にロバストに障害物を検出することができる。なお、1次元信号のフレームは、撮像手段の撮像されたフレームそのものでとしてもよいし、撮像手段によって撮像されたフレームの一部としてもよい。例えば撮像手段によって撮像された1フレームおきに、1次元信号のフレームとして取り込むようにしてもよい。
【0012】
また、画像中からの1次元信号の取得は、例えば、画像中で注目する画素を決定しておき、その注目する画素の信号を画像信号から抽出して行うとよい。注目する画素は、例えば予め障害物が画像中を横切ると想定される位置に対応する画素とするとよく、例えば、画像(2次元領域)中に引いたラインに対応する画素などとすることができる。
【0013】
1次元信号格納手段は、例えばリングバッファで構成するとよい。つまり最古の1次元信号が格納されているバッファに最新の1次元信号を上書していく。こうすることでリングバッファを構成するバッファの数だけ過去の1次元信号を常に保持することができ、保持された1次元信号に基づいて障害物の有無を判別することができる。
【0014】
撮像された画像から1次元信号を生成する構成としては、請求項3に示すように、撮像した画像を1次元信号として抽出する方法を設定し、この設定した抽出方法に従って画像から1次元信号を抽出するようにするとよい。このように抽出方法を設定可能とすることで、抽出方法を障害物の特性に応じて変更したり、状況に応じて変更したりすることが容易にできる。
【0015】
また、請求項4に示すように、撮像した画像を1次元信号として抽出する方法を設定し、設定した抽出方法に従って画像から1次元信号を抽出し、抽出した1次元信号における障害物に対応する信号を強調するように変換するとよい。例えば、1次元信号変換手段で変換した1次元信号において障害物がない状態の信号値である背景領域に対応する信号をマスクしたり、背景領域と障害物との変化点に相当する部分の信号(例えば信号のエッジ)を検出し、その部分の信号を強調する(例えば信号のエッジを強調する)ようにする。
【0016】
そして、画像からの1次元信号の抽出方法としては、種々の方法を採ることができ、例えば画像中の予め定めた所定の座標の画素の信号を所定の演算によって1次元信号に並べる方法などがある。どの座標の画素を用いるか、またどのように1次元信号を抽出するかは、例えば画像中で障害物の検出を行いたい位置や、障害物の想定される挙動等から決定すればよい。例えば、障害物が画像内を横切る可能性が高い場合などには、その横切る可能性の高いライン状の領域の信号から1次元信号を抽出するとよく、例えば、画像(2次元領域)中に引いたライン(直線)に対応する画素の信号などを抽出するとよい。
【0017】
このようにライン状の領域に対応する画素から1次元信号を取得する場合には、請求項5に示すようにするとよい。すなわち、障害物が存在すると疑われるライン状の領域であるラインを設定し、そのライン上の画素の信号に基づいて1次元信号を生成する。このようにすれば、設定したライン内の障害物の有無を判定することができる。
【0018】
障害物存在ライン設定手段が設定する領域は、例えば、障害物が後側方車両の場合には、画像中の隣接車線中心線とするとよい。また、例えば、障害物が前方車両の場合には、障害物が存在すると疑われる領域を、画像中の走行車線中心線とするとよい。障害物存在ライン設定手段は、例えば注目ラインの画素座標を格納したものとして、1次元信号抽出手段は、格納された画素座標に基づいて画像から1次元信号を抽出してもよい。
【0019】
障害物存在ライン1次元信号化方法設定手段は、こうしたライン上の画素に基づいて1次元信号を抽出する方法を設定する。すなわち、障害物存在ライン1次元信号方法設定手段は、ライン状の領域をどのようにして1次元信号として抽出するかを定めている。1次元信号を抽出する方法としては、例えば、”1走査につき、1画素だけ前記ラインから取得することで1次元信号を生成する。”などとすることができる。そしてこうした1次元信号を抽出する方法の設定に基づいて1次元信号抽出手段は、1次元信号を抽出することができる。このようにすれば、設定したライン内の障害物の有無を判定することができる。なおラインの画素は、必ずしもつながっている必要はなく、飛び飛びに(間引いて)設定してもよい。
【0020】
例えば、撮像手段からの画像がNTSC信号である場合において、各1走査で1画素を取得するとすれば、障害物存在ライン設定手段は、例えば1次元配列(Array[Scan Line Number] = X Pixel Position)を備えることができる。また、障害物存在ライン1次元信号化方法設定手段は、1走査に付き1画素の信号を出力するのであれば、”何もせずスルー”と設定すればよい。このようにすれば、そのまま画素の信号(値)を1次元信号として出力できる。一方、1走査に付き複数の画素の信号をまとめて1つの信号として出力する場合には、その方法を設定しておく。例えば、2点間のディジタル直線の場合、同じX座標上に複数の画素を、予め設定された方法(例えば、所定の軸への投影)で1次元化する。
【0021】
このラインは例えば請求項6のように撮像手段のパラメータと、撮像対象の特性を示すデータとに基づいて設定することができる。撮像手段のパラメータとしては、例えばカメラ設置位置座標・カメラの光軸方向ベクトル・焦点距離・画角・解像度等の設置状況や特性等を用いることができ、撮像対象の特性を示すデータとしては、例えば検知すべき障害物が道路走行中の車両である場合には、請求項7に示すように、道路構造令といった道路構造に関する法規で規定されるデータを用いることができる。こうした道路構造令データとしては、車線幅などを用いることができる。これらのパラメータ等は既知であるため、これらに基づき、事前に障害物存在領域をラインとして設定して記憶しておくことができる。例えば、撮像された画像に基づいて、自車両から所定の距離だけ離れたライン領域(例えば、隣接車線の中心ライン領域、走行車線の白線から走行車線幅の1/3に相当する距離だけ隣接車線にへ離れた位置に存在するライン領域)を設定すれば、1次元信号に障害物情報が含まれる可能性が高くなる。ライン領域を決定する方法としては、例えば、画像を見て障害物が含まれる可能性が高い領域をライン領域として決めたり、2次元空間に存在する障害物である隣接車両と自車両位置を2次元画面に射影変換してライン領域を決める方法などがある。こうした、カメラパラメータ・道路構造令データ等に基づいて算出された注目ラインの画素座標をROM上に格納するように構成するとよい。なお、障害物存在ラインは、つながっていてもよいし、とびとびに設定されていてもよい。また、ラインは線に限らず所定の幅や領域をもってもよい。
【0022】
そして、例えば車両に関連する障害物を検出する場合には、こうしたラインは、請求項8に記載の自車両速度操舵角検出手段や、請求項9に記載のナビゲーション手段や、請求項10に記載の車線認識手段の状況に応じて、設定方法を変更するとよい。
【0023】
例えば、請求項8に示すようにして、自車両の速度と操舵角に基づいて障害物が存在すると疑われる領域を補正するとよい。このように自車両の走行状態に即した形にラインを補正することで、障害物存在ラインの設定精度を向上させることができ、その結果、障害物の有無判定の精度を向上させることができる。例えば、後側方車両認識において隣接車線中心線を障害物存在ラインとして設定するとき、自車両の速度と操舵角に応じて隣接車線中心線を変形することで、障害物存在ラインは現実の隣接車線形状に近いものとなる。その結果、1次元信号に障害物情報が含まれる可能性がさらに高くなり、障害物の有無の判定をさらに的確に行うことができる。例えば、障害物存在ライン設定手段としてRAMを備え、そのRAMの内容(注目ラインの画素座標値)を自車両速度操舵角検出手段に基づいて更新する。例えば、自車両速度操舵角・自車両速度情報に基づいて適応的に注目ラインを時々刻々と変更するとよい。
【0024】
また例えば請求項9のように自車両の現在位置と現在位置周辺の地図情報とを算出するナビゲーション手段を備え、ナビゲーション手段で算出した自車両の現在位置と現在位置周辺の地図情報と、例えば撮像手段のパラメータおよび道路構造令データとに基づいて障害物が存在すると疑われる領域をラインとして設定するとよい。このようにすれば、さらに障害物存在ラインの設定精度を向上させることができ、障害物の有無判定の精度を向上させることができる。例えば、側方車両認識において隣接車線中心線を障害物存在ラインとして設定するとき、ナビゲーション手段により、正確な隣接車線形状を知ることができるため、隣接車線中心線を正確に設定できる。また、例えば、隣接車線が存在しない場合に障害物存在ラインを設定しないようにすれば、誤認識を防ぐこともできる。例えば、障害物存在ライン設定手段としてRAMを備え、そのRAMの内容(注目ラインの画素座標値)をナビゲーション手段に基づいて更新する。例えば、ナビゲーション情報に基づいて適応的に注目ラインを時々刻々と変更するとよい。
【0025】
また、例えば請求項10に示すように撮像された画像中での車線を認識する車線認識手段を備え、車線認識手段によって検出された車線情報に基づいて障害物が存在すると疑われる領域をラインとして設定するとよい。このようにすれば正確な走行車線形状を車線情報から求めることができるため、障害物存在ラインを正確に設定できる。例えば車線は、走行車線中心線や歩道と車道の境界線に基づいて設定できる。請求項10に示すようにすれば障害物存在ライン形状の設定精度を向上させることができ、障害物の有無の判定精度を向上させることができる。なお、車線認識の方法としては、例えば、大池達也、”モデルベースの認識手法による道路白線認識”、信学技報 PRMU99−211、pp.53−60などが知られている。例えば、障害物存在ライン設定手段としてRAMを備え、そのRAMの内容(注目ラインの画素座標値)を車線認識手段に基づいて更新する。例えば、認識された車線を表す2本の白線の中心線を注目ラインとして時々刻々と設定する。
【0026】
このように、検出された状況に応じて障害物存在ラインを設定することができる。
なお、障害物存在ラインは前述のように所定の領域をもってもよい。このように領域を持つ場合には、1次元信号への変換方法として例えば請求項11に示すように、このライン上の画素を画像を所定の軸へ投影して1次元信号を生成する方法とすることができる。このようにして、ラインが太さ(幅)を持つ場合に、その太さを1にすることができる。所定の軸とは、X軸でもY軸でも良いし、画像辺と任意の角度を成す軸でも良い。投影とは、例えば、複数の画素の値の平均値を求めることを含む。
【0027】
また、請求項12に示すように、ライン上の画素を所定の位置からの距離情報に基づいて並べて1次元信号化してもよい。例えば、射影変換により各画素の実測距離を算出し、算出した実測距離に応じて1次元信号の各点間が均等になるように並べて1次元信号化してもよいし、シティブロック距離に応じて並べて1次元信号化してもよい。
【0028】
また、求めた1次元信号を適宜間引くなどして1次元信号の情報量を減らすようにしてもよい。このようにすれば少ないメモリ量及び処理量で処理を行うことができる。
なお、障害物の検知は、例えば障害物の有無を単に検知するだけでもよいが、さらに請求項13に示すように障害物の位置を検知するようにしてもよい。例えばライン上の位置として検知することができる。
【0029】
また障害物の検知は、複数の1次元信号の各部分(例えば各画素や所定の画素毎)の値から直接行うようにしてもよいが、請求項14に示すように、障害物の特性に基づいて想定される複数のフレーム間の1次元信号の信号状態の連続性を加味して、複数の1次元信号に基づく障害物検知用信号を生成し、生成された障害物検知用信号に基づいて行うとよい。
【0030】
このように複数のフレーム間の信号の連続性を加味して障害物の検出に用いる障害物検知用信号を生成し、障害物の検知を行うことで、突発的なノイズ等による誤検出を低減することができる。例えば、信号の連続性に基づいて障害物検知用信号に含まれる現在のオブジェクトの状態を予測して現在の障害物検知用信号を生成するとよい。また、例えば、各フレーム毎に生成される障害物検知用信号を時間方向に追跡する手段を追加し、現在の障害物検知用信号を過去の障害物検知用信号に基づいて時間方向について平滑化するようにしてもよい。このようにすることで、大局的な信号のつながり情報を加味して信号を補正することができ、突発的な雑音にロバストに障害物を検出することができる。
【0031】
複数のフレーム間の信号の信号状態の連続性としては、例えば、障害物の存在位置の連続性や、障害物の幅の連続性、障害物との相対速度の連続性、障害物の重心の位置の移動の連続性、障害物の先頭の座標値の動きの連続性等がある。こうした複数のフレームの信号の信号状態の連続性を加味して、障害物の検出に用いるための障害物検知用信号を生成することで、ノイズを除去した信号を得て突発的な雑音による誤検出を低減することができ、障害物をより確実に検出することができる。
【0032】
障害物検知用信号は、例えば、請求項15に示すように、1次元信号中の所定の部分毎の障害物との相対速度を表す信号としたり、1次元信号中の所定の部分毎に障害物であるか否かを示す信号としたりすることができる。例えば、相対速度を表す信号を得て障害物を検知する場合には、相対速度が接近を示す値である場合に障害物ありと判定し、相対速度が離遠を示す値や変化なし(零)の場合には、障害物なしと判定する。また、障害物であるか否かを示す信号の場合には、例えば、この信号の値に基づいて請求項13に示すように障害物の位置や領域を検知することができる。また障害物の位置や領域を検知する場合には、相対速度を表す信号と障害物であるか否かを示す信号との双方に基づき、障害物であるか否かを示す信号をより精度の高いものとすることができる。例えば、現在の「障害物であるか否かを示す信号」は、相対速度が接近を示す部分でありかつ障害物であるか否かを示す信号が障害物であることを示す部分についてのみ、障害物であるというようした信号として得る。
【0033】
さらに具体的な障害物の検知のための構成としては、請求項16以降に示すものが挙げられる。
請求項16に示す障害物検知装置は、複数の1次元信号を1次元信号格納手段から取り出し、取り出した複数の1次元信号の相関を基に1次元信号の相対速度場を算出し、算出された相対速度場を用いて障害物を判定して検知する。例えば、複数の1次元信号としては、現時点(T)での1次元信号と、過去時点(T−N)での1次元信号とすることができる。この場合、例えば、現時点(T)での1次元信号の各部と相関の高い過去時点(T−N)での1次元信号の部分を求め、この各部の変位量とフレームレートとに基づいて各部の相対速度を求めることにより1次元信号全体についての相対速度場を得ることができる。そして、相対速度場に基づいて、例えば各部が障害物であるか否かを判定する。障害物であるか否かの判定は、例えば相対速度場の各部の値が接近している値である場合に障害物であると判定し、離遠または相対速度0の場合には障害物でないと判定して行う。このようにすれば、撮像手段側に近づいているオブジェクトを障害物として検知できる。
【0034】
なお、相対速度場は、例えば、相対速度値の集合としてもよいし、単に接近しているか離遠しているかを示す符号を示す値の集合としてもよい。
またさらに障害物の検知は、請求項17に示すように、障害物候補領域を算出し、算出した障害物候補領域と前述した相対速度場とを用いて障害物であるか否かを判定して行ってもよい。このようにすれば、さらに障害物検知の精度を高めることができる。例えば、相対速度場の算出に用いる1次元信号の各部が障害物候補であるか否かを判定して、障害物候補領域を算出する。この判定は、信号における障害物と背景との特徴量の差を利用して行うとよい。例えば障害物が障害物であって1次元信号の各値が輝度値で表されるような場合には、障害物候補領域内の各部の輝度値が道路領域の範囲の輝度値でない値の数をカウントし、この数が所定数以上ある場合にその部分を障害物候補領域とすることができる。
【0035】
そして、請求項16及び請求項17に記載の相対速度場は、請求項18に示す出力対象の相対速度場とするとよい。すなわち、1次元信号格納手段から、現時点での1次元信号と過去時点での1次元信号とを取り出し、この2つの1次元信号の相関を用いて現時点でのフレーム間相対速度場を算出して、現時点以前のフレーム間相対速度場の変化量に基づく値を積算しつづけて求めた予測相対速度場と単フレーム相対速度場とを統合して、現時点での出力対象の相対速度場を算出する。例えば、現時点(T)での1次元信号と過去時点(T−N)での1次元信号とを取り出し、この2つの1次元信号の相関を用いて現時点(T)でのフレーム間相対速度場を算出する。また、現時点(T)より前の結果を積算しつづけて予測した現時点(T)での予測相対速度場を得る。そして、算出した現時点(T)でのフレーム間相対速度場と現時点(T)より前までの情報から予測した予測相対速度場を統合して、現時点(T)での出力する相対速度場を算出する。
【0036】
なお、予測情報付加相対速度場算出手段は、例えば、重みαを掛け合わせた単フレーム相対速度場算出手段で算出した現時点(T)でのフレーム間相対速度場と、重みβを掛け合わせた前記相対速度場算出手段で現時点(T)より前までの情報より予測した予測相対速度場とを足し合わせてしきい値処理することで、現時点(T)で出力する相対速度場を算出してもよい。
【0037】
また、相対速度場算出手段は、単フレーム相対速度場算出手段で算出した現時点(T)での相対速度場に基づいて、前記予測相対速度場算出手段で現時点(T)より前までの情報より予測した予測相対速度場を、現時点(T)までの情報より予測した予測相対速度場に更新し保持するとよい。また、例えば、積算限界を設定したり、量子化レベル変更したりするようにしてもよい。
【0038】
また相対速度場は、請求項19に示すようにして算出してもよい。すなわち、現時点での1次元信号と過去時点での1次元信号とを取り出し、この2つの1次元信号の相関を用いて現時点での相対速度場を算出し、単フレーム相対速度場算出手段で算出した現時点での相対速度場を過去Sフレーム分だけ保持する。そして、算出した現時点での相対速度場と、保持された過去Sフレーム分の相対速度場を統合して、現時点で出力する相対速度場を算出する。この統合は、例えば、過去Sフレーム分の相対速度場の値と現時点での相対速度場の値とを合算したり平均したりして行ってもよいし、例えば合算した結果が所定のしきい値以上の場合に、接近、あるいは、離遠として判定し、その判定結果を相対速度場として出力するようにしてもよい。
【0039】
例えば、現時点(T)での1次元信号と過去時点(T−N)での1次元信号とを取り出し、この2つの1次元信号の相関を用いて現時点(T)での相対速度場を算出し、単フレーム相対速度場算出手段で算出した現時点(T)での相対速度場を過去Sフレーム分だけ保持する。そして、算出した現時点(T)での相対速度場と、保持していた過去Sフレーム分だけの相対速度場を統合して、現時点(T)で出力する相対速度場を算出する。
【0040】
なお、投票情報付加相対速度場算出手段は、例えば、重みαを掛け合わせた前記単フレーム相対速度場算出手段で算出した現時点(T)での相対速度場と、前記単フレーム相対速度モデル格納手段で保持している(T−1)〜(T−S)までの相対速度場に重みβ(i)iを掛け合わせたものを足し合わせてしきい値処理することで、現時点(T)で出力する相対速度場を算出する手段とすることができる。
【0041】
請求項19に記載の障害物検知装置によれば、投票情報付加相対速度場算出手段が、投票相対速度場格納手段で格納されている過去の相対速度場情報を用いて単独フレームのみの相対速度場を時間方向に平滑化することで、突発的な雑音(高周波成分に起因する雑音)を除去できるため、相対速度場の信頼性が向上する。
【0042】
なお、請求項20に示すように障害物判定手段は、請求項20に示すように、障害物候補領域を用いて障害物であるか否かを判定することができる。
一方、請求項17や請求項20に示した障害物候補領域の算出は、請求項21や請求項22に示すようにして行うことができる。
【0043】
請求項21に記載の障害物検知装置によれば、単フレーム障害物候補領域算出手段による現時点より前の算出結果を積算しつづけて、各点が障害物候補物体の一部である現時点での確率を予測し、単フレーム障害物候補領域算出手段によって算出された現時点での算出結果と、予測障害物候補領域算出手段で現時点より前までの算出結果より予測した各点が障害物候補物体の一部である確率とを統合して、現時点での障害物候補物体の存在領域を算出する。例えば、1次元信号格納手段から、現時点(T)での1次元信号の信号変化に基づいて各点が障害物候補物体の一部か否かを算出し、現時点(T)より前の結果を積算しつづけて、各点が障害物候補物体の一部である現時点(T)での確率を予測する。そして、算出した現時点(T)での各点が障害物候補物体か否かの情報と、現時点(T)より前までの情報より予測した各点が障害物候補物体の一部である確率とを統合して、現時点(T)で出力する障害物候補物体の存在領域を算出する。
【0044】
なお、予測障害物候補領域算出手段は、単フレーム障害物候補領域算出手段で算出した現時点(T)での各点が障害物候補物体の一部か否かの情報に基づいて、前記予測障害物候補領域算出手段で現時点(T)より前までの情報より予測した各点が障害物候補物体の一部である確率を、現時点(T)までの情報より予測した各点が障害物候補物体の一部である確率に更新し保持する手段とするとよい。
【0045】
また、予測情報付加障害物候補領域算出手段は、重みαを掛け合わせた単フレーム障害物候補領域算出手段で算出した現時点(T)での各点が障害物候補物体か否かの情報と、重みβを掛け合わせた前記予測情報付加障害物候補領域算出手段で現時点(T)より前までの情報より予測した各点が障害物候補物体の一部である確率とを足し合わせてしきい値処理することで、現時点(T)で出力する障害物候補物体存在領域を算出するようにしてもよい。
【0046】
請求項21に示す障害物検知装置によれば、予測情報付加障害物候補領域算出手段が、予測障害物候補領域算出手段で予測されている過去の障害物候補物体の位置傾向情報を用いて単独フレームのみでの障害物候補物体の位置情報を時間方向に平滑化することで、突発的な雑音(高周波成分に起因する雑音)を除去できるため、障害物候補物体特定の信頼性が向上する。
【0047】
また、請求項22に記載の障害物検知装置は、1次元信号格納手段から、現時点での1次元信号の信号変化に基づいて各点が障害物候補物体の一部か否かを算出し、算出した現時点での各点が障害物候補物体の一部か否かの情報を過去Sフレーム分保持する。そして、算出した現時点での各点が障害物候補物体か否かの情報と、過去Sフレーム分だけの各点が障害物候補物体か否かの情報を統合して、現時点で出力する障害物候補物体の存在領域を算出する。
【0048】
なお、投票情報付加障害物候補領域算出手段は、重みαを掛け合わせた前記単フレーム障害物候補領域算出手段で算出した現時点(T)での各点が障害物候補物体か否かの情報と、前記単フレーム障害物候補領域格納手段で保持している(T−1)〜(T−S)までの各点が障害物候補物体か否かの情報に重みβ(i)iを掛け合わせたものを足し合わせてしきい値処理することで、現時点(T)で出力する障害物候補物体の存在領域を算出するようにしてもよい。
【0049】
請求項22に記載の障害物検知装置によれば、投票情報付加障害物候補領域算出手段が、過去の障害物候補物体の位置傾向情報を用いて単独フレームのみでの障害物候補物体の位置情報を時間方向に平滑化することで、突発的な雑音(高周波成分に起因する雑音)を除去できるため、障害物候補物体特定の信頼性が向上する。
【0050】
そして、障害物の判定は、例えば請求項23〜32に示すようにして行うことができる。
請求項23に記載の障害物検知装置は、前記相対速度場算出手段によって算出された相対速度場に基づいて信号を所定領域に分割し、各領域の速度特徴に基づいて障害物有無および障害物存在領域を判定する。そして、請求項24に記載の障害物検知装置は、算出した障害物存在領域の領域端点を基に障害物の相対位置を算出する。また、請求項25に記載の障害物検知装置は、算出した障害物存在領域に基に障害物の相対速度を算出する。こうして、障害物の存在領域、障害物の相対位置、障害物との相対速度を求めることができる。
【0051】
請求項23に記載の障害物有無判定手段は、具体的には、例えば請求項26に示すように、相対速度場算出手段で算出した相対速度場に基づいて信号を所定領域に分割し、各領域の速度特徴に基づいて障害物存在領域を判定した情報より、信号の各点が障害物の一部か非障害物の一部を判定する単フレーム障害物らしさ算出手段と、現時点より前の単フレーム障害物らしさ算出手段の結果を積算しつづけて、各点が障害物の一部である現時点での確率を予測する予測障害物らしさ算出手段と、単フレーム障害物らしさ算出手段で算出した現時点での各点が障害物の一部か非障害物の一部かの情報と、予測障害物らしさ算出手段で現時点より前までの情報より予測した各点が障害物の一部である確率とを統合して、現時点で出力する障害物有無および障害物存在領域を判定する予測障害物情報付加障害物有無判定手段とを備えることによって判定するとよい。
【0052】
このようにすれば、予測障害物情報付加障害物有無算出手段が、予測障害物らしさ算出手段で予測されている過去の障害物物体の位置傾向情報を用いて単独フレームのみでの障害物物体の位置情報を時間方向に平滑化することで、今まで問題であった突発的な雑音(高周波成分に起因する雑音)を除去できるため、障害物物体特定の信頼性が向上する。
【0053】
また、請求項27に示すようにして判定してもよい。すなわち、相対速度場算出手段で算出した相対速度場に基づいて信号を所定領域に分割し、各領域の速度特徴に基づいて前記領域内部点が障害物の一部か非障害物の一部を判定する単フレーム障害物らしさ算出手段と、単フレーム障害物らしさ算出手段で算出した現時点での各点が障害物の一部か非障害物の一部かの情報を過去Sフレーム分だけ保持する単フレーム障害物らしさ格納手段と、単フレーム障害物らしさ算出手段で算出した現時点での各点が障害物の一部か非障害物の一部かの情報と、前記単フレーム障害物らしさ格納手段で保持していた過去Sフレーム分だけの各点が障害物の一部か非障害物の一部かの情報を統合して、現時点での出力対象の障害物有無および障害物存在領域を判定する投票障害物情報付加障害物有無判定手段とを備えることによって判定する。
【0054】
投票障害物情報付加障害物有無判定手段が、単フレーム障害物らしさ格納手段に格納されている過去の障害物物体の位置傾向情報を用いて単独フレームのみでの障害物物体の位置情報を時間方向に平滑化することで、今まで問題であった突発的な雑音(高周波成分に起因する雑音)を除去できるため、障害物物体特定の信頼性が向上する。
【0055】
障害物の判定は、請求項28〜30のようにして行うことができる。
請求項28に記載の障害物検知装置によれば、障害物候補領域における相対速度場の特徴に基づいて、各障害物候補物体領域が障害物存在領域であるかどうかを判定する。また請求項29に記載の障害物検知装置によれば、障害物候補領域における相対速度場の特徴に基づいて、各障害物候補物体領域が障害物存在領域であるかどうかを算出し、算出した障害物存在領域の領域端点を基に障害物の相対位置を算出する。そして請求項30に記載の障害物検知装置によれば、算出した障害物候補領域における相対速度場の特徴に基づいて、各障害物候補物体領域が障害物存在領域であるかどうかを算出し、障害物存在領域の領域端点を基に障害物の相対位置を算出する。そして、算出した障害物存在領域に基に障害物の相対速度を算出する。
【0056】
請求項31に記載の障害物検知装置は、障害物候補領域算出手段で算出した障害物候補領域における相対速度場の特徴に基づいて各障害物候補物体領域が障害物存在領域であるかどうかを判定し、障害物存在情報より各点が障害物の一部か非障害物の一部を判定する。そして現時点より前の単フレーム障害物らしさ算出手段の結果を積算しつづけて、各点が障害物の一部である現時点での確率を予測する。算出した現時点での各点が障害物の一部か非障害物の一部かの情報と、現時点より前までの情報より予測した各点が障害物の一部である確率とを統合して、現時点で出力する障害物有無および障害物存在領域を判定する。
【0057】
請求項32に記載の障害物検知装置は、障害物候補領域算出手段で算出した障害物候補領域における相対速度場の特徴に基づいて各障害物候補物体領域が障害物存在領域であるかどうかを判定し、障害物存在情報より各点が障害物の一部か非障害物の一部を算出する。そして算出した現時点での各点が障害物の一部か非障害物の一部かの情報を過去S分だけ保持する。そして、算出した現時点での各点が障害物の一部か非障害物の一部かの情報と、保持していた過去Sフレーム分だけの各点が障害物の一部か非障害物の一部かの情報を統合して、現時点で出力する障害物有無および障害物存在領域を判定する。
【0058】
なお、障害物候補領域だけでなく請求項33に示すように、その周辺領域を加味するようにするとよい。
そして、検出した検出結果は例えばディスプレイやランプ等で表示したり、音声等で出力して報知するとよい。すなわち、障害物の有無、障害物との距離、障害物の速度などを報知するとよい。また、請求項34に示すように、検出結果に基づき警告を発するようにしてもよい。例えば障害物が請求項35のような車両の場合、ドライバーの障害物見逃しを低減できるメリットがある。
【0059】
なお、請求項36に示すように、請求項1〜35のいずれかに記載の障害物検知装置における各手段としての機能をコンピュータシステムにて実現する場合、例えば、コンピュータシステム側で起動するプログラムとして備えることができる。このようなプログラムの場合、例えば、フレキシブルディスク、光磁気ディスク、CD−ROM、ハードディスク、ROM、RAM等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータシステムにロードして起動することにより用いることができ、また、ネットワークを介してロードして起動することにより用いることもできる。
【0060】
【発明の実施の形態】
以下、本発明が適用された実施例について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施例に何ら限定されることなく、本発明の技術的範囲に属する限り種々の形態を採りうることは言うまでもない。
【0061】
本実施例の障害物検知装置1は車両に搭載されており、自車両の後側方領域を撮像した画像から、隣接車線を走行し自車両を追い越す車両(以下、後側方車両と呼ぶ)を検知する。
本実施例の障害物検知装置1は、図1に示すように、自車両のドアミラーに搭載され自車両から後側方領域を撮像する撮像手段1000と、撮像手段1000によって撮像された2次元の映像信号から1次元信号を取得する1次元信号取得手段2000と、1次元信号取得手段2000によって取得された1次元信号を格納する1次元信号格納手段3000と、1次元信号格納手段3000に格納された1次元信号に基づき障害物の検知を行う障害物検知手段4000とを備える。
【0062】
1次元信号取得手段2000は、1次元信号抽出方法設定手段2100と、1次元信号抽出手段2200と、1次元信号強調手段2300とを備える。そして、1次元信号抽出方法設定手段2100は、障害物存在ライン設定手段2110と、障害物存在ライン1次元信号化方法設定手段2120を備える。
【0063】
障害物存在ライン設定手段2110は、撮像手段1000によって撮像された画像中のライン領域(自車両から所定の距離だけ離れた部分に相当する領域、例えば、隣接車線の中心ライン領域(図3(a)参照)や、走行車線の白線から走行車線幅の1/3に相当する距離だけ隣接車線へ離れた位置に存在するライン領域など)を、後側方車両が存在すると疑われるラインとして設定する。障害物存在ライン1次元信号化方法設定手段2120は、障害物存在ライン設定手段2110で設定した領域を基に画像を1次元信号に変換する方法を定める。そして、1次元信号抽出手段2200は、1次元信号抽出方法設定手段2100で設定した手法に従って、画像を1次元信号に変換する。そして1次元信号強調手段2300は、1次元信号抽出手段2200で得た1次元信号について道路領域(背景領域)をマスクして車両候補領域(オブジェクト候補領域)を強調した1次元信号に変換する。
【0064】
1次元信号格納手段3000は、1次元信号取得手段2000で得た1次元信号を現在フレームと過去Nフレーム(計N+1フレーム)分だけ保持する。最新の1次元信号は、最古の1次元信号が格納されているバッファに上書きして格納する。
このように1次元信号取得手段2000によって取得した1次元信号を1次元信号格納手段に過去N+1フレーム分保持し、障害物の検知などの後段の処理に利用する。したがって、従来のように、撮像手段1000で撮像した画像の全画素を後段処理に用いる場合に比べ、必要な資源の量を大幅に削減することができる。
【0065】
そして障害物検知手段4000は、相対速度場算出手段4100と、障害物候補領域算出手段4300と、障害物判定手段4400とを備える。
相対速度場算出手段4100は、単フレーム相対速度場算出手段4110、予測相対速度場算出手段4120、予測情報付加相対速度場算出手段4121を備える。単フレーム相対速度場算出手段4110は、1次元信号格納手段3000から現時点(T)での1次元信号と過去時点(T−N)での1次元信号とを取り出し、これら2つの1次元信号の相関を用いて現時点(T)での1次元フロー(相対速度場)を算出する。予測相対速度場算出手段4120は、現時点(T)より前の単フレーム相対速度場算出手段4110の結果を積算しつづけて、現時点(T)での相対速度場を予測する。予測情報付加相対速度場算出手段4121は、単フレーム相対速度場算出手段4110で算出した現時点(T)での相対速度場と予測相対速度場算出手段4120で現時点(T)より前までの情報より予測した相対速度場を統合して、現時点(T)で出力する相対速度場を算出する。
【0066】
一方、障害物候補領域算出手段4300は、単フレーム障害物候補領域算出手段4310と、予測障害物候補領域算出手段4320と、予測情報付加障害物候補領域算出手段4321を備える。
単フレーム障害物候補領域算出手段4310は、1次元信号格納手段3000から現時点(T)での1次元信号の信号変化に基づいて各点(一次元信号の各部)が障害物候補物体の一部か否かを算出する。予測障害物候補領域算出手段4320は、現時点(T)より前の結果を積算しつづけて、各点が障害物候補物体の一部である現時点(T)での確率を予測する。予測情報付加障害物候補領域算出手段4321は、単フレーム障害物候補領域算出手段4310で算出した現時点(T)での各点が障害物候補物体か否かの情報と、前記予測障害物候補領域算出手段4320で現時点(T)より前までの情報より予測した各点が障害物候補物体の一部である確率とを統合して、現時点(T)で出力する障害物候補物体の存在領域を算出する。
【0067】
また、障害物判定手段4400は、障害物判定手段としての車両有無判定手段4440と、障害物相対位置算出手段としての車両相対位置算出手段4420と、障害物相対速度算出手段としての車両相対速度算出手段4430とを備え、車両有無判定手段4440は、単フレーム障害物らしさ算出手段としての単フレーム車両らしさ算出手段4441と、予測障害物らしさ算出手段としての予測車両らしさ算出手段4442と、予測障害物情報付加車両有無判定手段としての予測車両情報付加車両有無判定手段4443とを備える。
【0068】
単フレーム車両らしさ算出手段4441は、前記障害物候補領域算出手段4300で算出した障害物候補物体存在領域(+その周辺領域)内における前記相対速度場算出手段4100で算出した相対速度場の特徴に基づいて各障害物候補物体領域が車両存在領域であるかどうかを判定し、各点が車両の一部か非車両の一部かを判定する。予測車両らしさ算出手段4442は、現時点(T)より前の単フレーム車両らしさ算出手段4441の結果を積算しつづけて、各点が車両の一部である現時点(T)での確率を予測する。予測車両情報付加車両有無判定手段4443は、前記単フレーム車両らしさ算出手段4441で算出した現時点(T)での各点が車両の一部か非車両の一部かの情報と、前記予測車両らしさ算出手段4442で現時点(T)より前までの情報より予測した各点が車両の一部であるかどうかの確からしさとを統合して、現時点(T)で出力する車両有無および車両存在領域を判定する。
【0069】
そして、車両相対位置算出手段4420は、車両有無判定手段4440で算出した車両存在領域の領域端点を基に障害物である車両の相対位置を算出し、車両相対速度算出手段4430は、車両有無判定手段4440で算出した車両存在領域を基に障害物である車両との相対速度を算出する。
【0070】
上述した各手段は、例えば図2に示す装置構成で実現する。すなわち、撮像手段1000はカメラ10によって構成し、1次元信号取得手段2000はバッファ20によって構成し、1次元信号格納手段3000及び障害物検知手段4000はマイコン100によって構成して、これらの間は信号線で接続されている。
【0071】
カメラ10はレンズ等の光学系とCCD等の撮像素子等によって構成されるビデオカメラであり、図3(a)に示すように、自車両の後側方領域を撮像するように設置され、画像信号としてNTSC信号を出力する。バッファ20は、カメラ10からの画像信号を入力して、図3(a)に破線で示すように、画像信号中の障害物を検知したい位置に障害物存在ラインを設定し、この障害物存在ライン上の画素を取得画素としてメモリに取り込むロジックを備える。
【0072】
マイコン100は、CPU101、ROM、RAM(1次元信号格納手段3000として機能するメモリ102,メモリ103)、I/O、周辺回路等を備えており、周辺回路としては、タイマや入出力回路などを備えている。そしてマイコン100は、バッファ20で得られた1次元信号を入力し、ROMに記憶されたプログラムに基づいて1次元信号格納手段3000及び障害物検知手段4000としての処理を行う。
【0073】
以下、こうした障害物検知装置1における障害物検知処理として後側方車両検知アプリケーションによる処理フローをS1)〜S16)に示して、さらに具体的に説明する。なお、以下の説明におけるステップ番号と図中のステップ番号は対応付けて記載している。
【0074】
S1):カメラ10で構成
撮像手段1000で、自車両の後側方領域を撮像した画像信号を得る。
S2):バッファ20で構成
障害物存在ライン設定手段2110は、撮像手段1000で撮像された画像信号に基づいて、自車両から所定の距離だけ離れたライン領域を後側方車両が存在すると疑われるラインをパターンとして設定・保持する。すなわち、例えば図3(a)に示すように、走行車線の白線から走行車線幅の1/2に相当する距離だけ隣接車線へ離れた位置に存在するライン領域をラインとする。次に、障害物存在ライン1次元信号化方法設定手段2120で、撮像手段1000で撮像した画像を1次元信号へ変換する手法を、”1走査につき、1画素だけ前記ラインから取得することで1次元信号を生成する。”(図3(b)参照)として設定する。
【0075】
S3):バッファ20で構成
1次元信号抽出手段2200は、1次元信号抽出方法設定手段2100で設定した方法に従って、画像信号を1次元信号OrgLumに変換する。すなわち、図3(b)に示すように設定された障害物存在ラインの取得画素の輝度値を、図3(c)に例示するような1次元信号OrgLumとして得る。
【0076】
S4):マイコン100中のCPU101を使用
1次元信号強調手段2300は、1次元信号抽出手段2200で抽出した1次元信号OrgLumから、車両候補領域を強調した1次元信号TranLumへ変換する。すなわち、1次元信号抽出手段2200で抽出した1次元信号OrgLum中の道路領域の輝度値は、予め既知であるので、道路領域を示す輝度値の信号域を設定し、その信号域を用いて道路領域の信号をマスクする。具体的な処理を、図4及び以下に示す。
【0077】
S4.1)1次元信号抽出手段2200で抽出した1次元輝度信号OrgLumの輝度値ヒストグラムを作成し、最大頻度を持つ輝度値Lmaxを探す。
S4.2) 最大頻度を持つ信号値Lmaxが道路領域と想定する輝度値範囲内(RoadLower≦L≦RoadUpper)である場合は、道路領域輝度値域の中心輝度値RoadCenterを最大頻度を持つ輝度値Lmaxに更新する。想定する範囲外である場合は、道路領域輝度値域の中心輝度値RoadCenterを更新しない。そして、道路領域輝度値域の中心輝度値RoadCenterを中心とした片幅Roadwidthを持つ輝度値域((RoadCenter − Roadwidth)≦L≦(RoadCenter + Roadwidth))を道路領域の輝度値域と設定する。
【0078】
S4.3)1次元信号抽出手段2200で抽出した1次元輝度信号OrgLumのエッジ情報OrgLumEdgeを求め、エッジ情報OrgLumEdgeを1次元輝度信号OrgLumに加算することで1次元信号AddEdgeLumを算出する。以下に、エッジ情報OrgLumEdgeの算出法を具体的に示す。
【0079】
S4.3.1) まず、1次元輝度信号OrgLumの各点tを中心とした幅(2×Ewidth)を持つ区分(t − Ewidth<s≦t + Ewidth;tは注目点)における最大信号値と最小信号値の絶対値差AbsRng(ただし、前記差がしきい値EdgeThresより小さい場合は0とする)を求める。
【0080】
S4.3.2) 次に、各点tが道路領域輝度値域の中心輝度値RoadCenterよりも小さい場合は、前記絶対値差AbsRngに”−1”を掛ける。それ以外の場合は、何もしない。
こうしたS4.3.1)及びS4.3.2)の処理により、エッジ情報OrgLumEdgeを算出する。
【0081】
S4.4) 上記道路領域の輝度値域((RoadCenter − Roadwidth)≦L≦(RoadCenter + Roadwidth))に基づいたしきい値処理を前記1次元信号AddEdgeLumに施し、道路領域を除去した1次元信号TranLum を得る。
このしきい値処理は次のように行う。道路領域内輝度値 (RoadCenter − Roadwidth)≦AddEdgeLum (t)≦(RoadCenter + Roadwidth)の場合、TranLum (t) = 0とし、道路領域を上回る輝度値 (RoadCenter + Roadwidth) < AddEdgeLum (t)の場合、TranLum (t) = 輝度値AddEdgeLum (t) − 道路領域上限輝度値 (RoadCenter + Roadwidth) とし、道路領域を下回る輝度値AddEdgeLum (t) < (RoadCenter− Roadwidth)の場合、TranLum (t) = 輝度値AddEdgeLum (t) − 道路領域下限輝度値 (RoadCenter − Roadwidth)とする。
【0082】
S5) :マイコン100中の1次元信号格納手段3000(メモリ102)をリングバッファとして使用
1次元信号格納手段3000は、前記1次元信号強調手段2300で変換した1次元信号TranLumを現時点(T)からNフレーム分だけ保持する。つまり、現時点(T)では、現時点(T)から時点(T − N)までの(N+1)の1次元信号TranLumを保持している。(最古の1次元信号が格納されている領域に最新の1次元信号を上書きする)
次に、相対速度場算出手段4100の処理について説明する。
【0083】
S6):マイコン100中のCPU101を使用
単フレーム相対速度場算出手段4110(CPU101)は、1次元信号格納手段3000(メモリ102)から現時点(T)での1次元信号と過去時点(T−N) での1次元信号とを取り出し、これら2つの1次元信号の相関を用いて現時点(T)での相対速度場を算出する。具体的な処理を以下に記す(図5参照)。
【0084】
S6.1) 前記1次元信号格納手段3000より取得した現時点(T)での1次元輝度信号を被比較1次元輝度信号ComparedLumとして、過去時点(T−N) での1次元輝度信号を基準1次元信号YardstickLumとして用意する。 基準1次元輝度信号YardstickLumを、幅(2 × Swidth)を持つ区分S(t − Swidth<s≦t + Swidth;tは区分中心点)に分割する(区分が重複するように分割しても良い)。次に、基準1次元輝度信号YardstickLumについて、区分S毎に被比較1次元輝度信号ComparedLumでの相関計算範囲R (CorrLower≦r≦CorrUpper)を設定する。そして、相関計算範囲R内において、被比較区分中心点iを点単位でずらしながら被比較区分J (i −
Swidth<j≦i + Swidth)を設定する。
【0085】
S6.2) 基準1次元輝度信号YardstickLum中の対象区分をS (t − Swidth<s≦t + Swidth;tは区分中心点)とする。被比較1次元輝度信号 ComparedLum での相関計算範囲R (CorrLower≦r≦CorrUpper)内において、被比較区分中心点iを点単位でずらしながら被比較区分J (i − Swidth<j≦i + Swidth)を設定する。それから、対象区分Sと被比較区分Jとの相関を計算する。このようにすることで相関計算の計算量を減らすことができる。
【0086】
S6.3) 前記相関計算の結果、最も相関が強い被比較区分Jmaxでの区分中心点imaxと対象区分Sでの区分中心点iとの差を取ることで単位時間当たりの移動量、つまり、1次元フローを算出する。以上より、現時点(T)での1次元フロー、すなわち相対速度場信号Now1Dflowを得る。
【0087】
S7):マイコン100中のCPU101を使用
予測相対速度場算出手段4120は、前記単フレーム相対速度場算出手段4110で得た現時点(T)での相対速度場信号Now1Dflow(X, T)を、今まで保持していた時点(T−1)までで予測した相対速度場信号Expect1Dflow(X, T−1)と統合することで時点(T)までで予測した相対速度場信号Expect1Dflow(X, T)を求める。具体的な処理を以下に記す。ただし、Xは信号の位置座標を表す(図6参照)。
【0088】
S7.1) 相対速度場信号Now1Dflow(X)をその符号を基に、自車両に接近する点(+1で表す)・自車両から離遠する点(−1で表す)・接近でも離遠でもない零を示す点の3値表現信号Tre Now1Dflow(X)に変換する。
S7.2) 前記3値表現信号Tre Now1Dflow(X)をその値に応じて、時点(T−1)での相対速度場信号Expect1Dflow(X, T−1)と統合し、時点(T)での相対速度場信号Expect1Dflow (X, T)を求める。ここで、時点(T)での相対速度場信号Expect1Dflow (X, T)は持つものとする。ただし、Expect1Dflow (X, T)は上限値(例えば+10)と下限値(例えば−10)を持つ。
【0089】
TreNow1Dflow(X, T)=1の場合、すなわち、自車両に接近する点の場合にはExpect1Dflow (X, T)=Expect1Dflow(X, T−1)+ Cとし、TreNow1Dflow(X, T)=−1の場合、すなわち自車両から離遠する点の場合にはExpect1Dflow (X, T)=Expect1Dflow(X, T−1)− Cとし、TreNow1Dflow(X, T)=0(零を示す点)の場合にはExpect1Dflow (X, T)=Expect1Dflow(X, T−1)− D(Expect1Dflow(X) > 0)、Expect1Dflow (X, T)=Expect1Dflow(X, T−1)+ D(Expect1Dflow(X) < 0)、Expect1Dflow (X, T)=0(Expect1Dflow(X) = 0)として統合する。
【0090】
そして例えばC=2,D=1とすると、上記の処理によって図6のS7.2)の図に示すように、TreNow1Dflow(T)に応じたExpect1Dflow(X)が求められる。
S8):マイコン100中のCPU101を使用
予測情報付加相対速度場算出手段4121は、前記単フレーム相対速度場算出手段4110で得た相対速度場信号Now1Dflowと前記予測相対速度場算出手段4120で予測した相対速度場信号Expect1Dflowとを取り出し、これら2つの信号を統合して、出力する相対速度場信号Out1Dflowを算出する。この処理は、S7)の処理と同様にして行う。具体的な処理を以下に記す。ただし、Xは信号の位置座標を表す。
【0091】
S8.1) 相対速度場信号Now1Dflow(X)をその符号を基に、自車両に接近する点・自車両から離遠する点・零を示す点の3値表現信号TreNow1Dflow(X)に変換する。(S7.1と同様の処理)
S8.2) 前記3値表現信号TreNow1Dflow(X)をその値に応じて、予測した相対速度場信号Expect1Dflow(X)と統合し、出力する相対速度場信号Out1Dflow(X)を求める。この処理は、S7.2と同様にして行う。
【0092】
つまり、TreNow1Dflow(X)=1の場合、すなわち、自車両に接近する点 の場合にはOut1Dflow(X)=Expect1Dflow(X) + Aとし、TreNow1Dflow(X)=−1の場合、すなわち、自車両から離遠する点の場合には、Out1Dflow(X)=Expect1Dflow(X) − Aとし、TreNow1Dflow(X)=1(零を示す点)の場合には、 Out1Dflow(X)=Expect1Dflow(X) − B(Expect1Dflow(X) > 0)、Out1Dflow(X)=Expect1Dflow(X) + B(Expect1Dflow(X) < 0)、Out1Dflow(X)=0(Expect1Dflow(X) = 0)とする。
【0093】
出力する相対速度場信号Out1Dflow(X)は、各点が自車両に対して接近する方向に動くか、離遠する方向に動くか、そのままとどまるのかを示すだけであり、その速さに関して示すものではない。
なお、A = C、B = Dする場合は、その結果をS7.2)S8.2)の双方で利用するようにすることで、計算を一方の処理で省略することができる。
【0094】
次に、障害物候補領域算出手段4300の処理について説明する。
S9):マイコン100中のCPU101を使用
単フレーム障害物候補領域算出手段4310は、1次元信号格納手段3000から現時点(T)での1次元信号TranLumを取り出し、1次元信号TranLumの信号変化に基づいて各点が車両候補領域の一部か否かを算出する。具体的な処理を以下に記す(図7参照)。
【0095】
S9.1) 1次元信号格納手段3000より取得した現時点(T)での1次元輝度信号TranLumを幅(2 × Swidth)を持つ区分S(t − Swidth<s≦t + Swidth;tは領域中心点)に分割し(区分が重複するように分割しても良い)、区分S中において輝度値TranLum(s) が0(道路領域)を示す点数ZeroPNumを算出する。そして、輝度値TranLum(s) が0を示す点数ZeroPNumが区分の半数Swidth未満の場合は、区分SのラベルLabel(T) を”車両候補”として、そうでない場合は区分S のラベルLabel(T)を”道路”としてラベル付けする。
【0096】
S9.2) ラベル付け結果を示す1次元信号Label を走査し、”車両候補”ラベルに挟まれた”道路”ラベル範囲の大きさがしきい値ThresCarSRより小さい場合、前記”道路”ラベルを”車両候補”ラベルに変更し、グループを形成する。ここで、修正したラベル付け結果を示す1次元信号をNowCarSRとする。
【0097】
以上より、現時点(T)での障害物候補領域信号NowCarSRを得る。
S10):マイコン100中のCPU101を使用
予測障害物候補領域算出手段4320は、単フレーム障害物候補領域算出手段4310で得た現時点(T)での障害物候補領域信号NowCarSR(X)を、今まで保持していた時点(T−1)までで予測した障害物候補領域信号ExpectCarSR(X, T−1)と統合することで時点(T) までで予測した障害物候補領域信号ExpectCarSR(X, T)を求める。具体的な処理を以下に記す(図8参照)。ただし、Xは信号の位置座標を表す。
【0098】
S10.1) 障害物候補領域信号NowCarSR (X)をそのラベルに応じて、時点(T−1)までで予測した障害物候補領域信号ExpectCarSR(X, T−1)と統合し、時点(T) までで予測した障害物候補領域信号ExpectCarSR (X, T)を求める。ただし、ExpectCarSR (X, T)は上限値と下限値を持つ。
【0099】
NowCarSR (X)が”車両候補”の場合にはExpectCarSR(X, T)=ExpectCarSR(X, T−1) + Fとし、NowCarSR (X)が”道路”の場合にはExpectCarSR(X, T)=ExpectCarSR(X, T−1) − Fとして統合する。
S11):マイコン100中のCPU101を使用
予測情報付加障害物候補領域算出手段4321は、単フレーム障害物候補領域算出手段4310で得た障害物候補領域信号NowCarSRと予測障害物候補領域算出手段4320で予測した障害物候補領域信号ExpectCarSRとを取り出し、これら2つの信号を統合・モデル化して、障害物候補領域モデルOutCarSRModelを出力する。具体的な処理を以下に記す。ただし、Xは信号の位置座標を表す。
【0100】
S11.1)前記 S10.1)と同様にして、障害物候補領域信号NowCarSR (X)をそのラベルに応じて、予測した障害物候補領域信号ExpectCarSR (X)と統合し、障害物候補領域信号OutCarSR (X)を求める。
NowCarSRModel(X)が”車両候補”ラベルの場合には、OutCarSR(X)=ExpectCarSR(X) + Eとし、NowCarSRModel(X)が”道路”ラベルの場合には、OutCarSR(X)=ExpectCarSR(X) − Eとして統合する。
【0101】
S11.2) 障害物候補領域信号OutCarSR (X)を走査し、非正数から正数と変化する点を車両候補の始点、正数から非正数へと変化する点を車両候補の終点とし、車両候補領域を始点と終点の領域端点2点で表現したモデルOutCarSRModel (X)に変換して出力する(図8参照)。
【0102】
なお、S10.1) と S11.1)はEとFが違うだけで全て同じである。したがってE= Fである場合は計算を一回する必要がなくなる。
次に、障害物判定手段4400の処理について説明する。
S12) :マイコン100中のCPU101を使用
単フレーム車両らしさ算出手段4441は、相対速度場算出手段4100で得た相対速度場信号Out1Dflow(X)と、障害物候補領域算出手段4300で得た障害物候補領域モデルOutCarSRModel (X)を基に後側方車両の有無を判定する。また、後側方車両が存在する場合は、車両相対位置算出手段4420が自車両から該後側方車両の実測距離を算出し、車両相対速度算出手段4430が自車両に対する実測相対速度を算出する。具体的な処理を以下に記す(図9参照)。
【0103】
S12.1)相対速度場算出手段4100で得た相対速度を活用して障害物候補領域算出手段4300で得た車両候補領域から後側方車両(後側方から自車両に対して接近する車両)を判別する。
まず、障害物候補領域算出手段4300で得た各車両候補領域モデルの始点から幅Bwidth分だけ、終点から幅Ewidth分だけ拡張した領域EnCarSRを設定する。次に、この拡張領域EnCarSR中における相対速度場算出手段4100で得た相対速度場信号Out1Dflow(X)に関して、自車両に接近する向きを示す区分の総数SpeedPlusNumと自車両から離遠する向きを示す区分の総数SpeedMinusNumを算出する。そして、自車両に接近する向きを示す区分の総数SpeedPlusNumが自車両から離遠する向きを示す区分の総数SpeedMinusNum以上の場合は”車両”として、そうでない場合は”非車両”として各車両候補領域を振り分ける。最後に、”車両”と判断された領域の点を”車両”と、それ以外の点を”非車両”とラベル付けした現時点(T)での障害物領域信号NowCarを得る。
【0104】
S13):マイコン100中のCPU101を使用
予測車両らしさ算出手段4442は、単フレーム車両らしさ算出手段4441で得た現時点(T)での障害物領域信号NowCar (X)を、今まで保持していた時点(T−1)までで予測した障害物領域信号ExpectCar (X, T−1)と統合することで時点(T) までで予測した障害物領域信号ExpectCar (X, T)を求める。この処理は、上述したS10)と同様の処理である。具体的な処理を以下に記す。ただし、Xは信号の位置座標を表す。
【0105】
S14.1) 障害物領域信号NowCar (X)をそのラベルに応じて、時点(T−1)での障害物領域信号ExpectCar (X, T−1)と統合し、時点(T)での障害物領域信号ExpectCar(X, T)を求める。ただし、ExpectCar (X, T)は上限値と下限値を持つ。NowCar (X)が”車両”の場合にはOutCar (X)=ExpectCar (X) + Hとし、NowCar (X)が”非車両”の場合にはOutCar (X)=ExpectCar (X) − Hとして統合する。
【0106】
S14):マイコン100中のCPU101を使用
予測車両情報付加車両有無判定手段4443は、単フレーム車両らしさ算出手段4441で得た障害物領域信号NowCarと予測車両らしさ算出手段4442で予測した障害物領域信号ExpectCarとを取り出し、これら2つの信号を統合・モデル化して、障害物候補領域モデルOutCarSRModelを出力する。具体的な処理を以下に記す。ただし、Xは信号の位置座標を表す。
【0107】
S14.1)前記S11.1)の処理と同様に、障害物領域信号NowCar (X)をそのラベルに応じて、予測した障害物領域信号ExpectCar (X)と統合し、障害物領域信号OutCar (X)を求める。
NowCar (X) が”車両”ラベルの場合にはOutCar (X)=ExpectCar (X) + Gとし、NowCar (X) が”非車両”ラベルの場合にはOutCar (X)=ExpectCar (X) − Gとして統合する。
【0108】
S14.2)前記S11.2)の処理と同様に 障害物領域信号OutCar (X)を走査し、非正数から正数と変化する点を車両候補の始点、正数から非正数へと変化する点を車両の終点とし、車両領域を始点と終点の領域端点2点で表現したモデルOutCarModel (X)に変換して出力する。
【0109】
なお、 S13.1) と S14.1)はEとFが違うだけで全て同じである。G= Hである場合は計算を一回する必要がなくなる。また S13), S14)は、S10), S11)と処理内容は同じであり、値が異なるだけである。
S15) 後側方車両が存在する場合、車両相対位置算出手段4420では、車両領域の始点と終点において自車両の近くに位置する点を後側方車両の相対位置とする。この相対位置が地面に位置すると拘束して射影変換することで自車両から後側方車両までの実測距離を算出する。
【0110】
S16) 後側方車両が存在する場合、車両相対速度算出手段4430では、前記車両相対位置算出手段4420で求めた同一の車両を示す相対位置の差を用いて相対速度を算出する。
以上のようにS1〜S16の処理によって、撮像手段1000で撮像した画像から得た1次元信号に基づいて、障害物である後側方車両の有無と、後側方車両までの距離と、後側方車両との相対速度を求めることができる。
【0111】
以上の述べた障害物検知装置1における特徴点として、図6,図8等に示して説明したように、1次元信号に基づいてオブジェクト特徴(相対位置、相対速度など)をオブジェクトが連続的に変化することを活用して補正することによって誤検出を低減する点が挙げられる。
【0112】
実験の結果、図10(a)に示す注目ラインをラインとして設定した場合において、図6、図8に示した補正を行わなわなわず、単フレーム、あるいは、2フレーム間の信号のみに基づいて処理を行うと、図10(b)に示すように、例えば大きな一様輝度領域を持つ物体が存在したり、物体同士の重なり状態が存在したり、ライン上を不安定に横切る物体が存在したり、画像端に位置する物体が存在する場合に、図10(c)のように、後側方車両の誤検出が発生する。図10(c)は、横方向(X軸)がライン上の位置に対応し、縦方向(t軸)が時間に対応し、色が白の部分が障害物(後側方車両)として判定された部分を示し、黒の部分が障害物でないと判定された部分を示している。本来、障害物が存在する部分は、時間の経過に伴って連続的にX軸上を移動するはずであるが、上述した要因による突発的なノイズにより、誤検出が発生していることがわかる。(なお、図10(b)中の番号と図10(c)中の番号は対応付けて記載している。)一方、図6、図8に示した補正を行う場合、すなわち、図11(a)に示すように時間方向にフレーム間の連続性を加味して障害物の検出を行うと、図11(b)のような結果が得られる。このように、検出結果に突発的なノイズが含まれなくなる。
【0113】
この様子をさらに詳細に図12に示す。図12は、相対速度場算出手段、障害物候補領域算出手段、障害物判定手段のそれぞれの手段において、単フレーム間のみを考慮した場合に出力された相対速度場、車両候補領域、後側方車両検出結果と、障害物検知装置1のように複数フレーム間の信号を考慮した場合に出力された相対速度場、車両候補領域、後側方車両検出結果を示したものである。
【0114】
図12に示すように、各手段において求める信号を、フレーム間の連続性を加味して補正・統合することにより、それぞれの信号について突発的なノイズにロバストとなり、後側方車両の検出が的確にできていることが分かる。
[その他]
障害物検知手段4000は、例えば、図13に示すように構成してもよい。すなわち、図1の構成において、予測相対速度場算出手段4120に代えて単フレーム相対速度場格納手段4130を備え、予測情報付加相対速度場算出手段4121に代えて投票情報付加相対速度場算出手段4131を備える。また、予測障害物候補領域算出手段4320に代えて単フレーム障害物候補領域格納手段4330を備え、予測情報付加障害物候補領域算出手段4321に代えて投票情報付加障害物候補領域算出手段4331を備える。そして、予測車両らしさ算出手段4442に代えて予測車両らしさ格納手段4444を備え、予測車両情報付加車両有無判定手段4443に代えて、投票情報付加車両有無判定手段4445を備える。これら各手段は、上記実施例と同様に、図2のマイコン100のCPU101による処理によって実現される。
【0115】
このように構成された障害物検知装置1は、S1)〜S6)については、上記実施例と同様に処理を行い、単フレーム相対速度場算出手段4110による現時点(T)での相対速度場信号Now1Dflow(T)を得る。そしてS7)以降について次のように処理を行う。
【0116】
S7):CPU101を使用
単フレーム相対速度場格納手段4130は、単フレーム相対速度場算出手段4110で得た現時点(T)での相対速度場信号Now1Dflow(X, T)を、今まで保持していた最古時点の相対速度場信号Now1Dflow(X, T−M)の位置に上書きする。格納するメモリはリングバッファ構成をとる。
【0117】
S8):CPU101を使用
投票情報付加相対速度場算出手段4131は、単フレーム相対速度場算出手段4110で得た相対速度場信号Now1Dflow(T, X)と単フレーム相対速度場格納手段4130で保持する過去時点(T−M)までのM個の相対速度場信号Now1Dflow(t, X)[T−M≦t≦T−1]とを取り出し、これらM+1個の1次元信号を投票空間へ投票して、出力する相対速度場信号Out1Dflowを算出する(図14参照)。具体的な処理を以下に記す。ただし、Xは信号の位置座標を表す。
【0118】
S7.1) 相対速度場信号Now1Dflow(t, X)[T−M≦t≦T]をその符号を基に、自車両に接近する点・自車両から離遠する点・零を示す点の3値表現信号TreNow1Dflow(t)[T−M≦t≦T]に変換する。
S7.2) 前記3値表現信号TreNow1Dflow(t, X)[T−M≦t≦T]をその値に応じて投票・しきい値処理し、出力する相対速度場信号Out1Dflow(T, X)を求める。
【0119】
すなわち、TreNow1Dflow(t, X)が自車両に接近する点については、Out1Dflow(T, X)に値” A”を投票(時刻に応じた重み付けも可)し、自車両から離遠する点については、Out1Dflow(T, X)に値”−A”を投票(時刻に応じた重み付けも可)し、零を示す点については何もしないことで、統合する。
【0120】
そして、Out1Dflow(T, X)をしきい値処理する。すなわち、Out1Dflow(T, X)>VotingThresの場合には、Out1Dflow(T, X) = ”自車両に接近する点”とし、Out1Dflow(T, X)≦VotingThresの場合には、Out1Dflow(T, X) = ”自車両に離遠する点”or ”0である点”とする。相対速度場信号Out1Dflow(T, X)は、各点が自車両に対して接近する方向に動くかどうかを示すだけである。
【0121】
次に、障害物候補領域算出手段 について説明する。
S9)については、上記実施例と同様に行い、現時点(T)での障害物候補領域信号NowCarSRを得る。
S10):CPU101を使用
単フレーム障害物候補領域格納手段4330は、前記単フレーム障害物候補領域算出手段4310で得た現時点(T)での障害物候補領域信号NowCarSR(X, T)を、今まで保持していた最古時点の障害物候補領域信号NowCarSR(X, T−M)の位置に上書きする。格納するメモリはリングバッファ構成をとる。
【0122】
S11):CPU101を使用
投票情報付加障害物候補領域算出手段4331は、単フレーム障害物候補領域算出手段4310で得た障害物候補領域信号NowCarSR(T, X)と単フレーム障害物候補領域格納手段4330で保持する過去時点(T−M)までのM個の障害物候補領域信号NowCarSR (t, X)[T−M≦t≦T−1]とを取り出し、これらM+1個の1次元信号を投票空間へ投票・モデル化して、障害物候補領域モデルOutCarSRModelを出力する。具体的な処理を以下に記す(図14参照)。ただし、Xは信号の位置座標を表す。
【0123】
S11.1) 障害物候補領域信号NowCarSR (t, X)[T−M≦t≦T]をそのラベルに応じて投票・しきい値処理し、障害物候補領域信号OutCarSR (T, X)を求める。
投票は次のようにして行う。NowCarSR (t, X)が”車両候補”ラベルの場合には、OutCarSR (T, X)に、”B”を投票し、NowCarSR (t, X)が”道路”ラベルの場合には、何もしない。なお、投票する値は、このように固定の値としてもよいし、時刻に応じた重み付けをした値としてもよい。
【0124】
しきい値処理は、OutCarSR (T, X)>VotingThres2の場合に、OutCarSR (T, X)= ”車両候補”(車両)とし、OutCarSR (T, X)≦VotingThres2の場合にOutCarSR (T, X)= ”道路”(非車両)として行う。
S11.2) 障害物候補領域信号OutCarSR (X)を走査し、非正数から正数と変化する点を車両候補の始点、正数から非正数へと変化する点を車両候補の終点とし、車両候補領域を始点と終点の領域端点2点で表現したモデルOutCarSRModel (X)に変換して出力する。(上記実施例と同じ)
障害物判定手段についても同様に投票を行うようにすることができる。
【0125】
S12)については、上記実施例と同様に行い、ラベル付けした現時点(T)での障害物領域信号NowCarを得る。
S13):CPU101を使用
単フレーム車両らしさ格納手段4444は、前記単フレーム車両らしさ算出手段4441で得た現時点(T)での障害物領域信号NowCar(X, T)を、今まで保持していた最古時点の障害物領域信号NowCar (X, T−M)の位置に上書きする。格納するメモリはリングバッファ構成をとる。
【0126】
S14):CPU101を使用
投票情報付加車両有無判定手段4445は、単フレーム車両らしさ算出手段4441で得た障害物領域信号NowCar(T, X)と単フレーム車両らしさ格納手段4444で保持する過去時点(T−M)までのM個の障害物領域信号NowCar (t, X)[T−M≦t≦T−1]とを取り出し、これらM+1個の1次元信号を投票空間へ投票・モデル化して、障害物領域モデルOutCarModelを出力する。具体的な処理を以下に記す(図14参照)。ただし、Xは信号の位置座標を表す。
【0127】
S13.1) 障害物領域信号NowCar (t, X)[T−M≦t≦T]をそのラベルに投票・しきい値処理し、障害物領域信号OutCar (X)を求める。
NowCar (t, X)が”車両”ラベルの場合には、OutCar (T, X)に、”C”を投票(時刻に応じた重み付けを行ってもよい)し、NowCar (t, X)が” 非車両”ラベルの場合には、何もしないことで、統合する。
【0128】
そして、しきい値処理として、OutCar (T, X)>VotingThres3の場合には、OutCar (T, X)= ”車両”とし、OutCar (T, X)≦VotingThres3の場合には、OutCar (T, X)= ”非車両” とする。
S13.2) 障害物領域信号OutCar (X)を走査し、非正数から正数と変化する点を車両候補の始点、正数から非正数へと変化する点を車両の終点とし、車両領域を始点と終点の領域端点2点で表現したモデルOutCarModel (X)に変換して出力する。(実施例1と同じ)
【図面の簡単な説明】
【図1】実施例の障害物検知装置の構成を示すブロック図である。
【図2】実施例の障害物検知装置の装置構成を示すブロック図である。
【図3】1次元信号取得手段の処理の例を示す説明図である。
【図4】1次元信号強調手段の処理の例を示す説明図である。
【図5】相対速度場算出手段の処理の例を示す説明図である。
【図6】予測相対速度場算出手段等の処理の例を示す説明図である。
【図7】単フレーム障害物候補領域算出手段の処理の例を示す説明図である。
【図8】車両有無判定手段の処理の例を示す説明図である。
【図9】単フレーム車両らしさ算出手段の処理の例を示す説明図である。
【図10】フレーム間の連続性を加味しない場合の信号状態を示す説明図である。
【図11】フレーム間の連続性を加味して信号処理を行った場合の信号状態を示す説明図である。
【図12】フレーム間の連続性を加味しない場合(単フレーム)と連続性を加味する場合(複数フレーム)について各手段によって生成される信号を比較する説明図である。
【図13】別実施例の障害物検知装置の構成を示すブロック図である。
【図14】障害物判定手段の別例を示す説明図である。
【符号の説明】
1…障害物検知装置
10…カメラ 20…バッファ
100…マイコン 101…CPU 102,103…メモリ
1000…撮像手段
2000…1次元信号取得手段
2100…1次元信号抽出方法設定手段
2110…障害物存在ライン設定手段
2120…障害物存在ライン1次元信号化方法設定手段
2200…1次元信号抽出手段
2300…1次元信号強調手段
3000…1次元信号格納手段
4000…障害物検知手段
4100…相対速度場算出手段
4110…単フレーム相対速度場算出手段
4120…予測相対速度場算出手段
4121…予測情報付加相対速度場算出手段
4130…単フレーム相対速度場格納手段
4131…投票情報付加相対速度場算出手段
4300…障害物候補領域算出手段
4310…単フレーム障害物候補領域算出手段
4320…予測障害物候補領域算出手段
4321…予測情報付加障害物候補領域算出手段
4330…単フレーム障害物候補領域格納手段
4331…投票情報付加障害物候補領域算出手段
4400…障害物判定手段
4420…車両相対位置算出手段
4430…車両相対速度算出手段
4440…車両有無判定手段
4441…単フレーム車両らしさ算出手段
4442…予測車両らしさ算出手段
4443…予測車両情報付加車両有無判定手段
4444…予測車両らしさ格納手段
4445…投票情報付加車両有無判定手段
【発明の属する技術分野】
障害物検知装置等に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】
従来、自車両から所定領域を監視して障害物を検出する障害物検知装置として、例えば前方領域監視に関しては特開平6−107096号公報(特許文献1)に記載された「車両用前方監視方法」が、後側方領域監視に関しては特開平9−1563437号公報(特許文献2)に記載された「警報装置」や特開2000−285245号公報(特許文献3)に記載された「移動体の衝突防止装置、衝突防止方法、および記録媒体」が知られている。
【0003】
これら監視装置では、自車両に設置したビデオカメラで前方あるいは後側方を撮影した画像を用いる。そして、この画像中から処理対象領域を抽出し、前記領域に限定して障害物検出処理をすることでリアルタイム性を実現しようとしている。
【0004】
例えば、特開平6−107096号公報に記載された「車両用前方監視方法」では自車両走行車線上およびその周辺に存在し消失点から発生する直線上に設定した微小領域において、消失点から湧き出す動きであるオプティカルフローを持つ微小領域に注目して先行他車両を検出している。
【0005】
また特開2000−285245号公報に記載された「移動体の衝突防止装置、衝突防止方法、および記録媒体」では隣接車線上およびその周辺に存在し消失点(FOE)から発生する直線上に設定した微小領域において、消失点から湧き出す動きであるオプティカルフローを持つ微小領域に注目して後側方より接近する他車両を検出している。また、前記オプティカルフローをパラメータ空間へ投票し、領域併合することで他車両をオブジェクトとして認識している。
【0006】
また、特開平9−240397号公報に記載された「後側方車両の報知装置」では連続するフレーム中の線領域を時系列に並べた時空間画像に対してHough変換を適用して後側方より接近する他車両を検出している。
しかしながら、上記手法での処理対象は2次元領域、つまり画像であり、この2次元領域に対してオプティカルフロー算出処理、領域併合やHough変換などの画像処理手法を適用することで障害物である接近他車両を検出しているため、たとえ処理範囲を限定したとしても2次元領域を対象とした画像処理手法を適用していることに変わりはなく、演算負荷が大きい。更に、2次元領域である前記処理対象範囲の画素値を演算の際にメモリに保持しなければならないため、使用するメモリ容量も必然的に大きくなってしまう。したがって、例えば車両の衝突防止のような高いリアルタイム性が要求され、かつ、車載が可能なコストの装置などには、こうした方法はまだまだ不向きであるという問題がある。
【0007】
さらに、上記文献に記載の発明では、ある時間のみでの障害物検出結果および中間生成情報を用いて障害物の検出を行っているため、突発的な雑音に弱いという問題点がある。
そして、こうした問題は車両の検出以外の種々の障害物の検出の場合にも発生している。
【0008】
そこで本発明は、このような従来技術が抱える状況に鑑みてなされたもので、2次元画像から障害物を検出するときの演算量および使用するメモリ容量を減らすことができ、これにより、処理のリアルタイム化および実現装置の低コスト化を図るとともに、比較的低い演算能力・少ないメモリ容量であっても障害物を確実に検出することができ、突発的な雑音による誤検出を低減することのできる障害物検知装置等を提供することを目的とする。
【0009】
【特許文献1】
特開平6−107096号公報
【特許文献2】
特開平9−1563437号公報
【特許文献3】
特開2000−285245号公報
【0010】
【課題を解決するための手段及び発明の効果】
上述した問題点を解決するためになされた請求項1に記載の障害物検知装置によれば、1次元信号に基づく複数のフレームに渡る障害物検知用信号の変化の連続性を加味して現在のフレームの障害物検知用信号の補正し、補正された障害物検知用信号に基づき障害物の判定を行う。したがって、障害物の検知の処理対象を2次元領域を示す信号(画像)を用いて障害物を判定するのではなく、1次元信号に基づいて判定することで、処理に必要なメモリ量と演算量を削減することができる。例えば従来のような画像を保持するための大容量のフレームメモリが不要となる。また障害物検知装置を構成する回路規模、マイコン等に必要な性能やプログラムの規模等を小さくすることが可能となり、撮像した画像から障害物の有無を判定する従来の障害物検知装置に比べコストを削減できる。また、1次元信号に基づく複数のフレームに渡る障害物検知用信号の変化の連続性を加味して現在のフレームの障害物検知用信号の補正し、補正された障害物検知用信号に基づき障害物の判定を行うので、1次元信号に基づく単一フレームの障害物検知用信号から障害物を判定する構成に比べ、突発的な雑音に対してロバストにすることができ、障害物をより確実に検出することができる。特に、3フレーム以上の障害物検知用信号の時間方向でのつながり情報を用いて現在のオブジェクトを予測するようにすれば、突発的な誤検出を低減することができる。
【0011】
上述した問題点を解決するためになされた請求項2に記載の障害物検知装置によれば、撮像した画像から1次元信号を取得して、取得した1次元信号を過去Nフレーム分(N>1)保持する。例えば現時点Tから過去時点(T−N)まで1次元信号を保持する。そして、保持した1次元信号に基づき障害物を検知する。障害物の検知は、例えば、保持された1次元信号に基づいて障害物の有無を判別することで行う。また請求項2に記載の障害物検知装置は、複数のフレームに渡る1次元信号に基づき障害物を検知する。そのため、単一フレームの1次元信号から障害物を検知する構成に比べ、突発的な雑音に対してロバストにすることができ、障害物をより確実に検出することができる。特に、3フレーム以上の1次元信号の時間方向でのつながり情報を用いて現在のオブジェクトを予測するようにすれば、突発的な誤検出を低減することができる。また例えば障害物検出結果や障害物検出結果を得るための中間生成情報(信号)を、時間方向に追跡する手段を追加し、例えば障害物検出結果および中間生成情報を時間方向について平滑化することで突発的な雑音にロバストに障害物を検出することができる。なお、1次元信号のフレームは、撮像手段の撮像されたフレームそのものでとしてもよいし、撮像手段によって撮像されたフレームの一部としてもよい。例えば撮像手段によって撮像された1フレームおきに、1次元信号のフレームとして取り込むようにしてもよい。
【0012】
また、画像中からの1次元信号の取得は、例えば、画像中で注目する画素を決定しておき、その注目する画素の信号を画像信号から抽出して行うとよい。注目する画素は、例えば予め障害物が画像中を横切ると想定される位置に対応する画素とするとよく、例えば、画像(2次元領域)中に引いたラインに対応する画素などとすることができる。
【0013】
1次元信号格納手段は、例えばリングバッファで構成するとよい。つまり最古の1次元信号が格納されているバッファに最新の1次元信号を上書していく。こうすることでリングバッファを構成するバッファの数だけ過去の1次元信号を常に保持することができ、保持された1次元信号に基づいて障害物の有無を判別することができる。
【0014】
撮像された画像から1次元信号を生成する構成としては、請求項3に示すように、撮像した画像を1次元信号として抽出する方法を設定し、この設定した抽出方法に従って画像から1次元信号を抽出するようにするとよい。このように抽出方法を設定可能とすることで、抽出方法を障害物の特性に応じて変更したり、状況に応じて変更したりすることが容易にできる。
【0015】
また、請求項4に示すように、撮像した画像を1次元信号として抽出する方法を設定し、設定した抽出方法に従って画像から1次元信号を抽出し、抽出した1次元信号における障害物に対応する信号を強調するように変換するとよい。例えば、1次元信号変換手段で変換した1次元信号において障害物がない状態の信号値である背景領域に対応する信号をマスクしたり、背景領域と障害物との変化点に相当する部分の信号(例えば信号のエッジ)を検出し、その部分の信号を強調する(例えば信号のエッジを強調する)ようにする。
【0016】
そして、画像からの1次元信号の抽出方法としては、種々の方法を採ることができ、例えば画像中の予め定めた所定の座標の画素の信号を所定の演算によって1次元信号に並べる方法などがある。どの座標の画素を用いるか、またどのように1次元信号を抽出するかは、例えば画像中で障害物の検出を行いたい位置や、障害物の想定される挙動等から決定すればよい。例えば、障害物が画像内を横切る可能性が高い場合などには、その横切る可能性の高いライン状の領域の信号から1次元信号を抽出するとよく、例えば、画像(2次元領域)中に引いたライン(直線)に対応する画素の信号などを抽出するとよい。
【0017】
このようにライン状の領域に対応する画素から1次元信号を取得する場合には、請求項5に示すようにするとよい。すなわち、障害物が存在すると疑われるライン状の領域であるラインを設定し、そのライン上の画素の信号に基づいて1次元信号を生成する。このようにすれば、設定したライン内の障害物の有無を判定することができる。
【0018】
障害物存在ライン設定手段が設定する領域は、例えば、障害物が後側方車両の場合には、画像中の隣接車線中心線とするとよい。また、例えば、障害物が前方車両の場合には、障害物が存在すると疑われる領域を、画像中の走行車線中心線とするとよい。障害物存在ライン設定手段は、例えば注目ラインの画素座標を格納したものとして、1次元信号抽出手段は、格納された画素座標に基づいて画像から1次元信号を抽出してもよい。
【0019】
障害物存在ライン1次元信号化方法設定手段は、こうしたライン上の画素に基づいて1次元信号を抽出する方法を設定する。すなわち、障害物存在ライン1次元信号方法設定手段は、ライン状の領域をどのようにして1次元信号として抽出するかを定めている。1次元信号を抽出する方法としては、例えば、”1走査につき、1画素だけ前記ラインから取得することで1次元信号を生成する。”などとすることができる。そしてこうした1次元信号を抽出する方法の設定に基づいて1次元信号抽出手段は、1次元信号を抽出することができる。このようにすれば、設定したライン内の障害物の有無を判定することができる。なおラインの画素は、必ずしもつながっている必要はなく、飛び飛びに(間引いて)設定してもよい。
【0020】
例えば、撮像手段からの画像がNTSC信号である場合において、各1走査で1画素を取得するとすれば、障害物存在ライン設定手段は、例えば1次元配列(Array[Scan Line Number] = X Pixel Position)を備えることができる。また、障害物存在ライン1次元信号化方法設定手段は、1走査に付き1画素の信号を出力するのであれば、”何もせずスルー”と設定すればよい。このようにすれば、そのまま画素の信号(値)を1次元信号として出力できる。一方、1走査に付き複数の画素の信号をまとめて1つの信号として出力する場合には、その方法を設定しておく。例えば、2点間のディジタル直線の場合、同じX座標上に複数の画素を、予め設定された方法(例えば、所定の軸への投影)で1次元化する。
【0021】
このラインは例えば請求項6のように撮像手段のパラメータと、撮像対象の特性を示すデータとに基づいて設定することができる。撮像手段のパラメータとしては、例えばカメラ設置位置座標・カメラの光軸方向ベクトル・焦点距離・画角・解像度等の設置状況や特性等を用いることができ、撮像対象の特性を示すデータとしては、例えば検知すべき障害物が道路走行中の車両である場合には、請求項7に示すように、道路構造令といった道路構造に関する法規で規定されるデータを用いることができる。こうした道路構造令データとしては、車線幅などを用いることができる。これらのパラメータ等は既知であるため、これらに基づき、事前に障害物存在領域をラインとして設定して記憶しておくことができる。例えば、撮像された画像に基づいて、自車両から所定の距離だけ離れたライン領域(例えば、隣接車線の中心ライン領域、走行車線の白線から走行車線幅の1/3に相当する距離だけ隣接車線にへ離れた位置に存在するライン領域)を設定すれば、1次元信号に障害物情報が含まれる可能性が高くなる。ライン領域を決定する方法としては、例えば、画像を見て障害物が含まれる可能性が高い領域をライン領域として決めたり、2次元空間に存在する障害物である隣接車両と自車両位置を2次元画面に射影変換してライン領域を決める方法などがある。こうした、カメラパラメータ・道路構造令データ等に基づいて算出された注目ラインの画素座標をROM上に格納するように構成するとよい。なお、障害物存在ラインは、つながっていてもよいし、とびとびに設定されていてもよい。また、ラインは線に限らず所定の幅や領域をもってもよい。
【0022】
そして、例えば車両に関連する障害物を検出する場合には、こうしたラインは、請求項8に記載の自車両速度操舵角検出手段や、請求項9に記載のナビゲーション手段や、請求項10に記載の車線認識手段の状況に応じて、設定方法を変更するとよい。
【0023】
例えば、請求項8に示すようにして、自車両の速度と操舵角に基づいて障害物が存在すると疑われる領域を補正するとよい。このように自車両の走行状態に即した形にラインを補正することで、障害物存在ラインの設定精度を向上させることができ、その結果、障害物の有無判定の精度を向上させることができる。例えば、後側方車両認識において隣接車線中心線を障害物存在ラインとして設定するとき、自車両の速度と操舵角に応じて隣接車線中心線を変形することで、障害物存在ラインは現実の隣接車線形状に近いものとなる。その結果、1次元信号に障害物情報が含まれる可能性がさらに高くなり、障害物の有無の判定をさらに的確に行うことができる。例えば、障害物存在ライン設定手段としてRAMを備え、そのRAMの内容(注目ラインの画素座標値)を自車両速度操舵角検出手段に基づいて更新する。例えば、自車両速度操舵角・自車両速度情報に基づいて適応的に注目ラインを時々刻々と変更するとよい。
【0024】
また例えば請求項9のように自車両の現在位置と現在位置周辺の地図情報とを算出するナビゲーション手段を備え、ナビゲーション手段で算出した自車両の現在位置と現在位置周辺の地図情報と、例えば撮像手段のパラメータおよび道路構造令データとに基づいて障害物が存在すると疑われる領域をラインとして設定するとよい。このようにすれば、さらに障害物存在ラインの設定精度を向上させることができ、障害物の有無判定の精度を向上させることができる。例えば、側方車両認識において隣接車線中心線を障害物存在ラインとして設定するとき、ナビゲーション手段により、正確な隣接車線形状を知ることができるため、隣接車線中心線を正確に設定できる。また、例えば、隣接車線が存在しない場合に障害物存在ラインを設定しないようにすれば、誤認識を防ぐこともできる。例えば、障害物存在ライン設定手段としてRAMを備え、そのRAMの内容(注目ラインの画素座標値)をナビゲーション手段に基づいて更新する。例えば、ナビゲーション情報に基づいて適応的に注目ラインを時々刻々と変更するとよい。
【0025】
また、例えば請求項10に示すように撮像された画像中での車線を認識する車線認識手段を備え、車線認識手段によって検出された車線情報に基づいて障害物が存在すると疑われる領域をラインとして設定するとよい。このようにすれば正確な走行車線形状を車線情報から求めることができるため、障害物存在ラインを正確に設定できる。例えば車線は、走行車線中心線や歩道と車道の境界線に基づいて設定できる。請求項10に示すようにすれば障害物存在ライン形状の設定精度を向上させることができ、障害物の有無の判定精度を向上させることができる。なお、車線認識の方法としては、例えば、大池達也、”モデルベースの認識手法による道路白線認識”、信学技報 PRMU99−211、pp.53−60などが知られている。例えば、障害物存在ライン設定手段としてRAMを備え、そのRAMの内容(注目ラインの画素座標値)を車線認識手段に基づいて更新する。例えば、認識された車線を表す2本の白線の中心線を注目ラインとして時々刻々と設定する。
【0026】
このように、検出された状況に応じて障害物存在ラインを設定することができる。
なお、障害物存在ラインは前述のように所定の領域をもってもよい。このように領域を持つ場合には、1次元信号への変換方法として例えば請求項11に示すように、このライン上の画素を画像を所定の軸へ投影して1次元信号を生成する方法とすることができる。このようにして、ラインが太さ(幅)を持つ場合に、その太さを1にすることができる。所定の軸とは、X軸でもY軸でも良いし、画像辺と任意の角度を成す軸でも良い。投影とは、例えば、複数の画素の値の平均値を求めることを含む。
【0027】
また、請求項12に示すように、ライン上の画素を所定の位置からの距離情報に基づいて並べて1次元信号化してもよい。例えば、射影変換により各画素の実測距離を算出し、算出した実測距離に応じて1次元信号の各点間が均等になるように並べて1次元信号化してもよいし、シティブロック距離に応じて並べて1次元信号化してもよい。
【0028】
また、求めた1次元信号を適宜間引くなどして1次元信号の情報量を減らすようにしてもよい。このようにすれば少ないメモリ量及び処理量で処理を行うことができる。
なお、障害物の検知は、例えば障害物の有無を単に検知するだけでもよいが、さらに請求項13に示すように障害物の位置を検知するようにしてもよい。例えばライン上の位置として検知することができる。
【0029】
また障害物の検知は、複数の1次元信号の各部分(例えば各画素や所定の画素毎)の値から直接行うようにしてもよいが、請求項14に示すように、障害物の特性に基づいて想定される複数のフレーム間の1次元信号の信号状態の連続性を加味して、複数の1次元信号に基づく障害物検知用信号を生成し、生成された障害物検知用信号に基づいて行うとよい。
【0030】
このように複数のフレーム間の信号の連続性を加味して障害物の検出に用いる障害物検知用信号を生成し、障害物の検知を行うことで、突発的なノイズ等による誤検出を低減することができる。例えば、信号の連続性に基づいて障害物検知用信号に含まれる現在のオブジェクトの状態を予測して現在の障害物検知用信号を生成するとよい。また、例えば、各フレーム毎に生成される障害物検知用信号を時間方向に追跡する手段を追加し、現在の障害物検知用信号を過去の障害物検知用信号に基づいて時間方向について平滑化するようにしてもよい。このようにすることで、大局的な信号のつながり情報を加味して信号を補正することができ、突発的な雑音にロバストに障害物を検出することができる。
【0031】
複数のフレーム間の信号の信号状態の連続性としては、例えば、障害物の存在位置の連続性や、障害物の幅の連続性、障害物との相対速度の連続性、障害物の重心の位置の移動の連続性、障害物の先頭の座標値の動きの連続性等がある。こうした複数のフレームの信号の信号状態の連続性を加味して、障害物の検出に用いるための障害物検知用信号を生成することで、ノイズを除去した信号を得て突発的な雑音による誤検出を低減することができ、障害物をより確実に検出することができる。
【0032】
障害物検知用信号は、例えば、請求項15に示すように、1次元信号中の所定の部分毎の障害物との相対速度を表す信号としたり、1次元信号中の所定の部分毎に障害物であるか否かを示す信号としたりすることができる。例えば、相対速度を表す信号を得て障害物を検知する場合には、相対速度が接近を示す値である場合に障害物ありと判定し、相対速度が離遠を示す値や変化なし(零)の場合には、障害物なしと判定する。また、障害物であるか否かを示す信号の場合には、例えば、この信号の値に基づいて請求項13に示すように障害物の位置や領域を検知することができる。また障害物の位置や領域を検知する場合には、相対速度を表す信号と障害物であるか否かを示す信号との双方に基づき、障害物であるか否かを示す信号をより精度の高いものとすることができる。例えば、現在の「障害物であるか否かを示す信号」は、相対速度が接近を示す部分でありかつ障害物であるか否かを示す信号が障害物であることを示す部分についてのみ、障害物であるというようした信号として得る。
【0033】
さらに具体的な障害物の検知のための構成としては、請求項16以降に示すものが挙げられる。
請求項16に示す障害物検知装置は、複数の1次元信号を1次元信号格納手段から取り出し、取り出した複数の1次元信号の相関を基に1次元信号の相対速度場を算出し、算出された相対速度場を用いて障害物を判定して検知する。例えば、複数の1次元信号としては、現時点(T)での1次元信号と、過去時点(T−N)での1次元信号とすることができる。この場合、例えば、現時点(T)での1次元信号の各部と相関の高い過去時点(T−N)での1次元信号の部分を求め、この各部の変位量とフレームレートとに基づいて各部の相対速度を求めることにより1次元信号全体についての相対速度場を得ることができる。そして、相対速度場に基づいて、例えば各部が障害物であるか否かを判定する。障害物であるか否かの判定は、例えば相対速度場の各部の値が接近している値である場合に障害物であると判定し、離遠または相対速度0の場合には障害物でないと判定して行う。このようにすれば、撮像手段側に近づいているオブジェクトを障害物として検知できる。
【0034】
なお、相対速度場は、例えば、相対速度値の集合としてもよいし、単に接近しているか離遠しているかを示す符号を示す値の集合としてもよい。
またさらに障害物の検知は、請求項17に示すように、障害物候補領域を算出し、算出した障害物候補領域と前述した相対速度場とを用いて障害物であるか否かを判定して行ってもよい。このようにすれば、さらに障害物検知の精度を高めることができる。例えば、相対速度場の算出に用いる1次元信号の各部が障害物候補であるか否かを判定して、障害物候補領域を算出する。この判定は、信号における障害物と背景との特徴量の差を利用して行うとよい。例えば障害物が障害物であって1次元信号の各値が輝度値で表されるような場合には、障害物候補領域内の各部の輝度値が道路領域の範囲の輝度値でない値の数をカウントし、この数が所定数以上ある場合にその部分を障害物候補領域とすることができる。
【0035】
そして、請求項16及び請求項17に記載の相対速度場は、請求項18に示す出力対象の相対速度場とするとよい。すなわち、1次元信号格納手段から、現時点での1次元信号と過去時点での1次元信号とを取り出し、この2つの1次元信号の相関を用いて現時点でのフレーム間相対速度場を算出して、現時点以前のフレーム間相対速度場の変化量に基づく値を積算しつづけて求めた予測相対速度場と単フレーム相対速度場とを統合して、現時点での出力対象の相対速度場を算出する。例えば、現時点(T)での1次元信号と過去時点(T−N)での1次元信号とを取り出し、この2つの1次元信号の相関を用いて現時点(T)でのフレーム間相対速度場を算出する。また、現時点(T)より前の結果を積算しつづけて予測した現時点(T)での予測相対速度場を得る。そして、算出した現時点(T)でのフレーム間相対速度場と現時点(T)より前までの情報から予測した予測相対速度場を統合して、現時点(T)での出力する相対速度場を算出する。
【0036】
なお、予測情報付加相対速度場算出手段は、例えば、重みαを掛け合わせた単フレーム相対速度場算出手段で算出した現時点(T)でのフレーム間相対速度場と、重みβを掛け合わせた前記相対速度場算出手段で現時点(T)より前までの情報より予測した予測相対速度場とを足し合わせてしきい値処理することで、現時点(T)で出力する相対速度場を算出してもよい。
【0037】
また、相対速度場算出手段は、単フレーム相対速度場算出手段で算出した現時点(T)での相対速度場に基づいて、前記予測相対速度場算出手段で現時点(T)より前までの情報より予測した予測相対速度場を、現時点(T)までの情報より予測した予測相対速度場に更新し保持するとよい。また、例えば、積算限界を設定したり、量子化レベル変更したりするようにしてもよい。
【0038】
また相対速度場は、請求項19に示すようにして算出してもよい。すなわち、現時点での1次元信号と過去時点での1次元信号とを取り出し、この2つの1次元信号の相関を用いて現時点での相対速度場を算出し、単フレーム相対速度場算出手段で算出した現時点での相対速度場を過去Sフレーム分だけ保持する。そして、算出した現時点での相対速度場と、保持された過去Sフレーム分の相対速度場を統合して、現時点で出力する相対速度場を算出する。この統合は、例えば、過去Sフレーム分の相対速度場の値と現時点での相対速度場の値とを合算したり平均したりして行ってもよいし、例えば合算した結果が所定のしきい値以上の場合に、接近、あるいは、離遠として判定し、その判定結果を相対速度場として出力するようにしてもよい。
【0039】
例えば、現時点(T)での1次元信号と過去時点(T−N)での1次元信号とを取り出し、この2つの1次元信号の相関を用いて現時点(T)での相対速度場を算出し、単フレーム相対速度場算出手段で算出した現時点(T)での相対速度場を過去Sフレーム分だけ保持する。そして、算出した現時点(T)での相対速度場と、保持していた過去Sフレーム分だけの相対速度場を統合して、現時点(T)で出力する相対速度場を算出する。
【0040】
なお、投票情報付加相対速度場算出手段は、例えば、重みαを掛け合わせた前記単フレーム相対速度場算出手段で算出した現時点(T)での相対速度場と、前記単フレーム相対速度モデル格納手段で保持している(T−1)〜(T−S)までの相対速度場に重みβ(i)iを掛け合わせたものを足し合わせてしきい値処理することで、現時点(T)で出力する相対速度場を算出する手段とすることができる。
【0041】
請求項19に記載の障害物検知装置によれば、投票情報付加相対速度場算出手段が、投票相対速度場格納手段で格納されている過去の相対速度場情報を用いて単独フレームのみの相対速度場を時間方向に平滑化することで、突発的な雑音(高周波成分に起因する雑音)を除去できるため、相対速度場の信頼性が向上する。
【0042】
なお、請求項20に示すように障害物判定手段は、請求項20に示すように、障害物候補領域を用いて障害物であるか否かを判定することができる。
一方、請求項17や請求項20に示した障害物候補領域の算出は、請求項21や請求項22に示すようにして行うことができる。
【0043】
請求項21に記載の障害物検知装置によれば、単フレーム障害物候補領域算出手段による現時点より前の算出結果を積算しつづけて、各点が障害物候補物体の一部である現時点での確率を予測し、単フレーム障害物候補領域算出手段によって算出された現時点での算出結果と、予測障害物候補領域算出手段で現時点より前までの算出結果より予測した各点が障害物候補物体の一部である確率とを統合して、現時点での障害物候補物体の存在領域を算出する。例えば、1次元信号格納手段から、現時点(T)での1次元信号の信号変化に基づいて各点が障害物候補物体の一部か否かを算出し、現時点(T)より前の結果を積算しつづけて、各点が障害物候補物体の一部である現時点(T)での確率を予測する。そして、算出した現時点(T)での各点が障害物候補物体か否かの情報と、現時点(T)より前までの情報より予測した各点が障害物候補物体の一部である確率とを統合して、現時点(T)で出力する障害物候補物体の存在領域を算出する。
【0044】
なお、予測障害物候補領域算出手段は、単フレーム障害物候補領域算出手段で算出した現時点(T)での各点が障害物候補物体の一部か否かの情報に基づいて、前記予測障害物候補領域算出手段で現時点(T)より前までの情報より予測した各点が障害物候補物体の一部である確率を、現時点(T)までの情報より予測した各点が障害物候補物体の一部である確率に更新し保持する手段とするとよい。
【0045】
また、予測情報付加障害物候補領域算出手段は、重みαを掛け合わせた単フレーム障害物候補領域算出手段で算出した現時点(T)での各点が障害物候補物体か否かの情報と、重みβを掛け合わせた前記予測情報付加障害物候補領域算出手段で現時点(T)より前までの情報より予測した各点が障害物候補物体の一部である確率とを足し合わせてしきい値処理することで、現時点(T)で出力する障害物候補物体存在領域を算出するようにしてもよい。
【0046】
請求項21に示す障害物検知装置によれば、予測情報付加障害物候補領域算出手段が、予測障害物候補領域算出手段で予測されている過去の障害物候補物体の位置傾向情報を用いて単独フレームのみでの障害物候補物体の位置情報を時間方向に平滑化することで、突発的な雑音(高周波成分に起因する雑音)を除去できるため、障害物候補物体特定の信頼性が向上する。
【0047】
また、請求項22に記載の障害物検知装置は、1次元信号格納手段から、現時点での1次元信号の信号変化に基づいて各点が障害物候補物体の一部か否かを算出し、算出した現時点での各点が障害物候補物体の一部か否かの情報を過去Sフレーム分保持する。そして、算出した現時点での各点が障害物候補物体か否かの情報と、過去Sフレーム分だけの各点が障害物候補物体か否かの情報を統合して、現時点で出力する障害物候補物体の存在領域を算出する。
【0048】
なお、投票情報付加障害物候補領域算出手段は、重みαを掛け合わせた前記単フレーム障害物候補領域算出手段で算出した現時点(T)での各点が障害物候補物体か否かの情報と、前記単フレーム障害物候補領域格納手段で保持している(T−1)〜(T−S)までの各点が障害物候補物体か否かの情報に重みβ(i)iを掛け合わせたものを足し合わせてしきい値処理することで、現時点(T)で出力する障害物候補物体の存在領域を算出するようにしてもよい。
【0049】
請求項22に記載の障害物検知装置によれば、投票情報付加障害物候補領域算出手段が、過去の障害物候補物体の位置傾向情報を用いて単独フレームのみでの障害物候補物体の位置情報を時間方向に平滑化することで、突発的な雑音(高周波成分に起因する雑音)を除去できるため、障害物候補物体特定の信頼性が向上する。
【0050】
そして、障害物の判定は、例えば請求項23〜32に示すようにして行うことができる。
請求項23に記載の障害物検知装置は、前記相対速度場算出手段によって算出された相対速度場に基づいて信号を所定領域に分割し、各領域の速度特徴に基づいて障害物有無および障害物存在領域を判定する。そして、請求項24に記載の障害物検知装置は、算出した障害物存在領域の領域端点を基に障害物の相対位置を算出する。また、請求項25に記載の障害物検知装置は、算出した障害物存在領域に基に障害物の相対速度を算出する。こうして、障害物の存在領域、障害物の相対位置、障害物との相対速度を求めることができる。
【0051】
請求項23に記載の障害物有無判定手段は、具体的には、例えば請求項26に示すように、相対速度場算出手段で算出した相対速度場に基づいて信号を所定領域に分割し、各領域の速度特徴に基づいて障害物存在領域を判定した情報より、信号の各点が障害物の一部か非障害物の一部を判定する単フレーム障害物らしさ算出手段と、現時点より前の単フレーム障害物らしさ算出手段の結果を積算しつづけて、各点が障害物の一部である現時点での確率を予測する予測障害物らしさ算出手段と、単フレーム障害物らしさ算出手段で算出した現時点での各点が障害物の一部か非障害物の一部かの情報と、予測障害物らしさ算出手段で現時点より前までの情報より予測した各点が障害物の一部である確率とを統合して、現時点で出力する障害物有無および障害物存在領域を判定する予測障害物情報付加障害物有無判定手段とを備えることによって判定するとよい。
【0052】
このようにすれば、予測障害物情報付加障害物有無算出手段が、予測障害物らしさ算出手段で予測されている過去の障害物物体の位置傾向情報を用いて単独フレームのみでの障害物物体の位置情報を時間方向に平滑化することで、今まで問題であった突発的な雑音(高周波成分に起因する雑音)を除去できるため、障害物物体特定の信頼性が向上する。
【0053】
また、請求項27に示すようにして判定してもよい。すなわち、相対速度場算出手段で算出した相対速度場に基づいて信号を所定領域に分割し、各領域の速度特徴に基づいて前記領域内部点が障害物の一部か非障害物の一部を判定する単フレーム障害物らしさ算出手段と、単フレーム障害物らしさ算出手段で算出した現時点での各点が障害物の一部か非障害物の一部かの情報を過去Sフレーム分だけ保持する単フレーム障害物らしさ格納手段と、単フレーム障害物らしさ算出手段で算出した現時点での各点が障害物の一部か非障害物の一部かの情報と、前記単フレーム障害物らしさ格納手段で保持していた過去Sフレーム分だけの各点が障害物の一部か非障害物の一部かの情報を統合して、現時点での出力対象の障害物有無および障害物存在領域を判定する投票障害物情報付加障害物有無判定手段とを備えることによって判定する。
【0054】
投票障害物情報付加障害物有無判定手段が、単フレーム障害物らしさ格納手段に格納されている過去の障害物物体の位置傾向情報を用いて単独フレームのみでの障害物物体の位置情報を時間方向に平滑化することで、今まで問題であった突発的な雑音(高周波成分に起因する雑音)を除去できるため、障害物物体特定の信頼性が向上する。
【0055】
障害物の判定は、請求項28〜30のようにして行うことができる。
請求項28に記載の障害物検知装置によれば、障害物候補領域における相対速度場の特徴に基づいて、各障害物候補物体領域が障害物存在領域であるかどうかを判定する。また請求項29に記載の障害物検知装置によれば、障害物候補領域における相対速度場の特徴に基づいて、各障害物候補物体領域が障害物存在領域であるかどうかを算出し、算出した障害物存在領域の領域端点を基に障害物の相対位置を算出する。そして請求項30に記載の障害物検知装置によれば、算出した障害物候補領域における相対速度場の特徴に基づいて、各障害物候補物体領域が障害物存在領域であるかどうかを算出し、障害物存在領域の領域端点を基に障害物の相対位置を算出する。そして、算出した障害物存在領域に基に障害物の相対速度を算出する。
【0056】
請求項31に記載の障害物検知装置は、障害物候補領域算出手段で算出した障害物候補領域における相対速度場の特徴に基づいて各障害物候補物体領域が障害物存在領域であるかどうかを判定し、障害物存在情報より各点が障害物の一部か非障害物の一部を判定する。そして現時点より前の単フレーム障害物らしさ算出手段の結果を積算しつづけて、各点が障害物の一部である現時点での確率を予測する。算出した現時点での各点が障害物の一部か非障害物の一部かの情報と、現時点より前までの情報より予測した各点が障害物の一部である確率とを統合して、現時点で出力する障害物有無および障害物存在領域を判定する。
【0057】
請求項32に記載の障害物検知装置は、障害物候補領域算出手段で算出した障害物候補領域における相対速度場の特徴に基づいて各障害物候補物体領域が障害物存在領域であるかどうかを判定し、障害物存在情報より各点が障害物の一部か非障害物の一部を算出する。そして算出した現時点での各点が障害物の一部か非障害物の一部かの情報を過去S分だけ保持する。そして、算出した現時点での各点が障害物の一部か非障害物の一部かの情報と、保持していた過去Sフレーム分だけの各点が障害物の一部か非障害物の一部かの情報を統合して、現時点で出力する障害物有無および障害物存在領域を判定する。
【0058】
なお、障害物候補領域だけでなく請求項33に示すように、その周辺領域を加味するようにするとよい。
そして、検出した検出結果は例えばディスプレイやランプ等で表示したり、音声等で出力して報知するとよい。すなわち、障害物の有無、障害物との距離、障害物の速度などを報知するとよい。また、請求項34に示すように、検出結果に基づき警告を発するようにしてもよい。例えば障害物が請求項35のような車両の場合、ドライバーの障害物見逃しを低減できるメリットがある。
【0059】
なお、請求項36に示すように、請求項1〜35のいずれかに記載の障害物検知装置における各手段としての機能をコンピュータシステムにて実現する場合、例えば、コンピュータシステム側で起動するプログラムとして備えることができる。このようなプログラムの場合、例えば、フレキシブルディスク、光磁気ディスク、CD−ROM、ハードディスク、ROM、RAM等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータシステムにロードして起動することにより用いることができ、また、ネットワークを介してロードして起動することにより用いることもできる。
【0060】
【発明の実施の形態】
以下、本発明が適用された実施例について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施例に何ら限定されることなく、本発明の技術的範囲に属する限り種々の形態を採りうることは言うまでもない。
【0061】
本実施例の障害物検知装置1は車両に搭載されており、自車両の後側方領域を撮像した画像から、隣接車線を走行し自車両を追い越す車両(以下、後側方車両と呼ぶ)を検知する。
本実施例の障害物検知装置1は、図1に示すように、自車両のドアミラーに搭載され自車両から後側方領域を撮像する撮像手段1000と、撮像手段1000によって撮像された2次元の映像信号から1次元信号を取得する1次元信号取得手段2000と、1次元信号取得手段2000によって取得された1次元信号を格納する1次元信号格納手段3000と、1次元信号格納手段3000に格納された1次元信号に基づき障害物の検知を行う障害物検知手段4000とを備える。
【0062】
1次元信号取得手段2000は、1次元信号抽出方法設定手段2100と、1次元信号抽出手段2200と、1次元信号強調手段2300とを備える。そして、1次元信号抽出方法設定手段2100は、障害物存在ライン設定手段2110と、障害物存在ライン1次元信号化方法設定手段2120を備える。
【0063】
障害物存在ライン設定手段2110は、撮像手段1000によって撮像された画像中のライン領域(自車両から所定の距離だけ離れた部分に相当する領域、例えば、隣接車線の中心ライン領域(図3(a)参照)や、走行車線の白線から走行車線幅の1/3に相当する距離だけ隣接車線へ離れた位置に存在するライン領域など)を、後側方車両が存在すると疑われるラインとして設定する。障害物存在ライン1次元信号化方法設定手段2120は、障害物存在ライン設定手段2110で設定した領域を基に画像を1次元信号に変換する方法を定める。そして、1次元信号抽出手段2200は、1次元信号抽出方法設定手段2100で設定した手法に従って、画像を1次元信号に変換する。そして1次元信号強調手段2300は、1次元信号抽出手段2200で得た1次元信号について道路領域(背景領域)をマスクして車両候補領域(オブジェクト候補領域)を強調した1次元信号に変換する。
【0064】
1次元信号格納手段3000は、1次元信号取得手段2000で得た1次元信号を現在フレームと過去Nフレーム(計N+1フレーム)分だけ保持する。最新の1次元信号は、最古の1次元信号が格納されているバッファに上書きして格納する。
このように1次元信号取得手段2000によって取得した1次元信号を1次元信号格納手段に過去N+1フレーム分保持し、障害物の検知などの後段の処理に利用する。したがって、従来のように、撮像手段1000で撮像した画像の全画素を後段処理に用いる場合に比べ、必要な資源の量を大幅に削減することができる。
【0065】
そして障害物検知手段4000は、相対速度場算出手段4100と、障害物候補領域算出手段4300と、障害物判定手段4400とを備える。
相対速度場算出手段4100は、単フレーム相対速度場算出手段4110、予測相対速度場算出手段4120、予測情報付加相対速度場算出手段4121を備える。単フレーム相対速度場算出手段4110は、1次元信号格納手段3000から現時点(T)での1次元信号と過去時点(T−N)での1次元信号とを取り出し、これら2つの1次元信号の相関を用いて現時点(T)での1次元フロー(相対速度場)を算出する。予測相対速度場算出手段4120は、現時点(T)より前の単フレーム相対速度場算出手段4110の結果を積算しつづけて、現時点(T)での相対速度場を予測する。予測情報付加相対速度場算出手段4121は、単フレーム相対速度場算出手段4110で算出した現時点(T)での相対速度場と予測相対速度場算出手段4120で現時点(T)より前までの情報より予測した相対速度場を統合して、現時点(T)で出力する相対速度場を算出する。
【0066】
一方、障害物候補領域算出手段4300は、単フレーム障害物候補領域算出手段4310と、予測障害物候補領域算出手段4320と、予測情報付加障害物候補領域算出手段4321を備える。
単フレーム障害物候補領域算出手段4310は、1次元信号格納手段3000から現時点(T)での1次元信号の信号変化に基づいて各点(一次元信号の各部)が障害物候補物体の一部か否かを算出する。予測障害物候補領域算出手段4320は、現時点(T)より前の結果を積算しつづけて、各点が障害物候補物体の一部である現時点(T)での確率を予測する。予測情報付加障害物候補領域算出手段4321は、単フレーム障害物候補領域算出手段4310で算出した現時点(T)での各点が障害物候補物体か否かの情報と、前記予測障害物候補領域算出手段4320で現時点(T)より前までの情報より予測した各点が障害物候補物体の一部である確率とを統合して、現時点(T)で出力する障害物候補物体の存在領域を算出する。
【0067】
また、障害物判定手段4400は、障害物判定手段としての車両有無判定手段4440と、障害物相対位置算出手段としての車両相対位置算出手段4420と、障害物相対速度算出手段としての車両相対速度算出手段4430とを備え、車両有無判定手段4440は、単フレーム障害物らしさ算出手段としての単フレーム車両らしさ算出手段4441と、予測障害物らしさ算出手段としての予測車両らしさ算出手段4442と、予測障害物情報付加車両有無判定手段としての予測車両情報付加車両有無判定手段4443とを備える。
【0068】
単フレーム車両らしさ算出手段4441は、前記障害物候補領域算出手段4300で算出した障害物候補物体存在領域(+その周辺領域)内における前記相対速度場算出手段4100で算出した相対速度場の特徴に基づいて各障害物候補物体領域が車両存在領域であるかどうかを判定し、各点が車両の一部か非車両の一部かを判定する。予測車両らしさ算出手段4442は、現時点(T)より前の単フレーム車両らしさ算出手段4441の結果を積算しつづけて、各点が車両の一部である現時点(T)での確率を予測する。予測車両情報付加車両有無判定手段4443は、前記単フレーム車両らしさ算出手段4441で算出した現時点(T)での各点が車両の一部か非車両の一部かの情報と、前記予測車両らしさ算出手段4442で現時点(T)より前までの情報より予測した各点が車両の一部であるかどうかの確からしさとを統合して、現時点(T)で出力する車両有無および車両存在領域を判定する。
【0069】
そして、車両相対位置算出手段4420は、車両有無判定手段4440で算出した車両存在領域の領域端点を基に障害物である車両の相対位置を算出し、車両相対速度算出手段4430は、車両有無判定手段4440で算出した車両存在領域を基に障害物である車両との相対速度を算出する。
【0070】
上述した各手段は、例えば図2に示す装置構成で実現する。すなわち、撮像手段1000はカメラ10によって構成し、1次元信号取得手段2000はバッファ20によって構成し、1次元信号格納手段3000及び障害物検知手段4000はマイコン100によって構成して、これらの間は信号線で接続されている。
【0071】
カメラ10はレンズ等の光学系とCCD等の撮像素子等によって構成されるビデオカメラであり、図3(a)に示すように、自車両の後側方領域を撮像するように設置され、画像信号としてNTSC信号を出力する。バッファ20は、カメラ10からの画像信号を入力して、図3(a)に破線で示すように、画像信号中の障害物を検知したい位置に障害物存在ラインを設定し、この障害物存在ライン上の画素を取得画素としてメモリに取り込むロジックを備える。
【0072】
マイコン100は、CPU101、ROM、RAM(1次元信号格納手段3000として機能するメモリ102,メモリ103)、I/O、周辺回路等を備えており、周辺回路としては、タイマや入出力回路などを備えている。そしてマイコン100は、バッファ20で得られた1次元信号を入力し、ROMに記憶されたプログラムに基づいて1次元信号格納手段3000及び障害物検知手段4000としての処理を行う。
【0073】
以下、こうした障害物検知装置1における障害物検知処理として後側方車両検知アプリケーションによる処理フローをS1)〜S16)に示して、さらに具体的に説明する。なお、以下の説明におけるステップ番号と図中のステップ番号は対応付けて記載している。
【0074】
S1):カメラ10で構成
撮像手段1000で、自車両の後側方領域を撮像した画像信号を得る。
S2):バッファ20で構成
障害物存在ライン設定手段2110は、撮像手段1000で撮像された画像信号に基づいて、自車両から所定の距離だけ離れたライン領域を後側方車両が存在すると疑われるラインをパターンとして設定・保持する。すなわち、例えば図3(a)に示すように、走行車線の白線から走行車線幅の1/2に相当する距離だけ隣接車線へ離れた位置に存在するライン領域をラインとする。次に、障害物存在ライン1次元信号化方法設定手段2120で、撮像手段1000で撮像した画像を1次元信号へ変換する手法を、”1走査につき、1画素だけ前記ラインから取得することで1次元信号を生成する。”(図3(b)参照)として設定する。
【0075】
S3):バッファ20で構成
1次元信号抽出手段2200は、1次元信号抽出方法設定手段2100で設定した方法に従って、画像信号を1次元信号OrgLumに変換する。すなわち、図3(b)に示すように設定された障害物存在ラインの取得画素の輝度値を、図3(c)に例示するような1次元信号OrgLumとして得る。
【0076】
S4):マイコン100中のCPU101を使用
1次元信号強調手段2300は、1次元信号抽出手段2200で抽出した1次元信号OrgLumから、車両候補領域を強調した1次元信号TranLumへ変換する。すなわち、1次元信号抽出手段2200で抽出した1次元信号OrgLum中の道路領域の輝度値は、予め既知であるので、道路領域を示す輝度値の信号域を設定し、その信号域を用いて道路領域の信号をマスクする。具体的な処理を、図4及び以下に示す。
【0077】
S4.1)1次元信号抽出手段2200で抽出した1次元輝度信号OrgLumの輝度値ヒストグラムを作成し、最大頻度を持つ輝度値Lmaxを探す。
S4.2) 最大頻度を持つ信号値Lmaxが道路領域と想定する輝度値範囲内(RoadLower≦L≦RoadUpper)である場合は、道路領域輝度値域の中心輝度値RoadCenterを最大頻度を持つ輝度値Lmaxに更新する。想定する範囲外である場合は、道路領域輝度値域の中心輝度値RoadCenterを更新しない。そして、道路領域輝度値域の中心輝度値RoadCenterを中心とした片幅Roadwidthを持つ輝度値域((RoadCenter − Roadwidth)≦L≦(RoadCenter + Roadwidth))を道路領域の輝度値域と設定する。
【0078】
S4.3)1次元信号抽出手段2200で抽出した1次元輝度信号OrgLumのエッジ情報OrgLumEdgeを求め、エッジ情報OrgLumEdgeを1次元輝度信号OrgLumに加算することで1次元信号AddEdgeLumを算出する。以下に、エッジ情報OrgLumEdgeの算出法を具体的に示す。
【0079】
S4.3.1) まず、1次元輝度信号OrgLumの各点tを中心とした幅(2×Ewidth)を持つ区分(t − Ewidth<s≦t + Ewidth;tは注目点)における最大信号値と最小信号値の絶対値差AbsRng(ただし、前記差がしきい値EdgeThresより小さい場合は0とする)を求める。
【0080】
S4.3.2) 次に、各点tが道路領域輝度値域の中心輝度値RoadCenterよりも小さい場合は、前記絶対値差AbsRngに”−1”を掛ける。それ以外の場合は、何もしない。
こうしたS4.3.1)及びS4.3.2)の処理により、エッジ情報OrgLumEdgeを算出する。
【0081】
S4.4) 上記道路領域の輝度値域((RoadCenter − Roadwidth)≦L≦(RoadCenter + Roadwidth))に基づいたしきい値処理を前記1次元信号AddEdgeLumに施し、道路領域を除去した1次元信号TranLum を得る。
このしきい値処理は次のように行う。道路領域内輝度値 (RoadCenter − Roadwidth)≦AddEdgeLum (t)≦(RoadCenter + Roadwidth)の場合、TranLum (t) = 0とし、道路領域を上回る輝度値 (RoadCenter + Roadwidth) < AddEdgeLum (t)の場合、TranLum (t) = 輝度値AddEdgeLum (t) − 道路領域上限輝度値 (RoadCenter + Roadwidth) とし、道路領域を下回る輝度値AddEdgeLum (t) < (RoadCenter− Roadwidth)の場合、TranLum (t) = 輝度値AddEdgeLum (t) − 道路領域下限輝度値 (RoadCenter − Roadwidth)とする。
【0082】
S5) :マイコン100中の1次元信号格納手段3000(メモリ102)をリングバッファとして使用
1次元信号格納手段3000は、前記1次元信号強調手段2300で変換した1次元信号TranLumを現時点(T)からNフレーム分だけ保持する。つまり、現時点(T)では、現時点(T)から時点(T − N)までの(N+1)の1次元信号TranLumを保持している。(最古の1次元信号が格納されている領域に最新の1次元信号を上書きする)
次に、相対速度場算出手段4100の処理について説明する。
【0083】
S6):マイコン100中のCPU101を使用
単フレーム相対速度場算出手段4110(CPU101)は、1次元信号格納手段3000(メモリ102)から現時点(T)での1次元信号と過去時点(T−N) での1次元信号とを取り出し、これら2つの1次元信号の相関を用いて現時点(T)での相対速度場を算出する。具体的な処理を以下に記す(図5参照)。
【0084】
S6.1) 前記1次元信号格納手段3000より取得した現時点(T)での1次元輝度信号を被比較1次元輝度信号ComparedLumとして、過去時点(T−N) での1次元輝度信号を基準1次元信号YardstickLumとして用意する。 基準1次元輝度信号YardstickLumを、幅(2 × Swidth)を持つ区分S(t − Swidth<s≦t + Swidth;tは区分中心点)に分割する(区分が重複するように分割しても良い)。次に、基準1次元輝度信号YardstickLumについて、区分S毎に被比較1次元輝度信号ComparedLumでの相関計算範囲R (CorrLower≦r≦CorrUpper)を設定する。そして、相関計算範囲R内において、被比較区分中心点iを点単位でずらしながら被比較区分J (i −
Swidth<j≦i + Swidth)を設定する。
【0085】
S6.2) 基準1次元輝度信号YardstickLum中の対象区分をS (t − Swidth<s≦t + Swidth;tは区分中心点)とする。被比較1次元輝度信号 ComparedLum での相関計算範囲R (CorrLower≦r≦CorrUpper)内において、被比較区分中心点iを点単位でずらしながら被比較区分J (i − Swidth<j≦i + Swidth)を設定する。それから、対象区分Sと被比較区分Jとの相関を計算する。このようにすることで相関計算の計算量を減らすことができる。
【0086】
S6.3) 前記相関計算の結果、最も相関が強い被比較区分Jmaxでの区分中心点imaxと対象区分Sでの区分中心点iとの差を取ることで単位時間当たりの移動量、つまり、1次元フローを算出する。以上より、現時点(T)での1次元フロー、すなわち相対速度場信号Now1Dflowを得る。
【0087】
S7):マイコン100中のCPU101を使用
予測相対速度場算出手段4120は、前記単フレーム相対速度場算出手段4110で得た現時点(T)での相対速度場信号Now1Dflow(X, T)を、今まで保持していた時点(T−1)までで予測した相対速度場信号Expect1Dflow(X, T−1)と統合することで時点(T)までで予測した相対速度場信号Expect1Dflow(X, T)を求める。具体的な処理を以下に記す。ただし、Xは信号の位置座標を表す(図6参照)。
【0088】
S7.1) 相対速度場信号Now1Dflow(X)をその符号を基に、自車両に接近する点(+1で表す)・自車両から離遠する点(−1で表す)・接近でも離遠でもない零を示す点の3値表現信号Tre Now1Dflow(X)に変換する。
S7.2) 前記3値表現信号Tre Now1Dflow(X)をその値に応じて、時点(T−1)での相対速度場信号Expect1Dflow(X, T−1)と統合し、時点(T)での相対速度場信号Expect1Dflow (X, T)を求める。ここで、時点(T)での相対速度場信号Expect1Dflow (X, T)は持つものとする。ただし、Expect1Dflow (X, T)は上限値(例えば+10)と下限値(例えば−10)を持つ。
【0089】
TreNow1Dflow(X, T)=1の場合、すなわち、自車両に接近する点の場合にはExpect1Dflow (X, T)=Expect1Dflow(X, T−1)+ Cとし、TreNow1Dflow(X, T)=−1の場合、すなわち自車両から離遠する点の場合にはExpect1Dflow (X, T)=Expect1Dflow(X, T−1)− Cとし、TreNow1Dflow(X, T)=0(零を示す点)の場合にはExpect1Dflow (X, T)=Expect1Dflow(X, T−1)− D(Expect1Dflow(X) > 0)、Expect1Dflow (X, T)=Expect1Dflow(X, T−1)+ D(Expect1Dflow(X) < 0)、Expect1Dflow (X, T)=0(Expect1Dflow(X) = 0)として統合する。
【0090】
そして例えばC=2,D=1とすると、上記の処理によって図6のS7.2)の図に示すように、TreNow1Dflow(T)に応じたExpect1Dflow(X)が求められる。
S8):マイコン100中のCPU101を使用
予測情報付加相対速度場算出手段4121は、前記単フレーム相対速度場算出手段4110で得た相対速度場信号Now1Dflowと前記予測相対速度場算出手段4120で予測した相対速度場信号Expect1Dflowとを取り出し、これら2つの信号を統合して、出力する相対速度場信号Out1Dflowを算出する。この処理は、S7)の処理と同様にして行う。具体的な処理を以下に記す。ただし、Xは信号の位置座標を表す。
【0091】
S8.1) 相対速度場信号Now1Dflow(X)をその符号を基に、自車両に接近する点・自車両から離遠する点・零を示す点の3値表現信号TreNow1Dflow(X)に変換する。(S7.1と同様の処理)
S8.2) 前記3値表現信号TreNow1Dflow(X)をその値に応じて、予測した相対速度場信号Expect1Dflow(X)と統合し、出力する相対速度場信号Out1Dflow(X)を求める。この処理は、S7.2と同様にして行う。
【0092】
つまり、TreNow1Dflow(X)=1の場合、すなわち、自車両に接近する点 の場合にはOut1Dflow(X)=Expect1Dflow(X) + Aとし、TreNow1Dflow(X)=−1の場合、すなわち、自車両から離遠する点の場合には、Out1Dflow(X)=Expect1Dflow(X) − Aとし、TreNow1Dflow(X)=1(零を示す点)の場合には、 Out1Dflow(X)=Expect1Dflow(X) − B(Expect1Dflow(X) > 0)、Out1Dflow(X)=Expect1Dflow(X) + B(Expect1Dflow(X) < 0)、Out1Dflow(X)=0(Expect1Dflow(X) = 0)とする。
【0093】
出力する相対速度場信号Out1Dflow(X)は、各点が自車両に対して接近する方向に動くか、離遠する方向に動くか、そのままとどまるのかを示すだけであり、その速さに関して示すものではない。
なお、A = C、B = Dする場合は、その結果をS7.2)S8.2)の双方で利用するようにすることで、計算を一方の処理で省略することができる。
【0094】
次に、障害物候補領域算出手段4300の処理について説明する。
S9):マイコン100中のCPU101を使用
単フレーム障害物候補領域算出手段4310は、1次元信号格納手段3000から現時点(T)での1次元信号TranLumを取り出し、1次元信号TranLumの信号変化に基づいて各点が車両候補領域の一部か否かを算出する。具体的な処理を以下に記す(図7参照)。
【0095】
S9.1) 1次元信号格納手段3000より取得した現時点(T)での1次元輝度信号TranLumを幅(2 × Swidth)を持つ区分S(t − Swidth<s≦t + Swidth;tは領域中心点)に分割し(区分が重複するように分割しても良い)、区分S中において輝度値TranLum(s) が0(道路領域)を示す点数ZeroPNumを算出する。そして、輝度値TranLum(s) が0を示す点数ZeroPNumが区分の半数Swidth未満の場合は、区分SのラベルLabel(T) を”車両候補”として、そうでない場合は区分S のラベルLabel(T)を”道路”としてラベル付けする。
【0096】
S9.2) ラベル付け結果を示す1次元信号Label を走査し、”車両候補”ラベルに挟まれた”道路”ラベル範囲の大きさがしきい値ThresCarSRより小さい場合、前記”道路”ラベルを”車両候補”ラベルに変更し、グループを形成する。ここで、修正したラベル付け結果を示す1次元信号をNowCarSRとする。
【0097】
以上より、現時点(T)での障害物候補領域信号NowCarSRを得る。
S10):マイコン100中のCPU101を使用
予測障害物候補領域算出手段4320は、単フレーム障害物候補領域算出手段4310で得た現時点(T)での障害物候補領域信号NowCarSR(X)を、今まで保持していた時点(T−1)までで予測した障害物候補領域信号ExpectCarSR(X, T−1)と統合することで時点(T) までで予測した障害物候補領域信号ExpectCarSR(X, T)を求める。具体的な処理を以下に記す(図8参照)。ただし、Xは信号の位置座標を表す。
【0098】
S10.1) 障害物候補領域信号NowCarSR (X)をそのラベルに応じて、時点(T−1)までで予測した障害物候補領域信号ExpectCarSR(X, T−1)と統合し、時点(T) までで予測した障害物候補領域信号ExpectCarSR (X, T)を求める。ただし、ExpectCarSR (X, T)は上限値と下限値を持つ。
【0099】
NowCarSR (X)が”車両候補”の場合にはExpectCarSR(X, T)=ExpectCarSR(X, T−1) + Fとし、NowCarSR (X)が”道路”の場合にはExpectCarSR(X, T)=ExpectCarSR(X, T−1) − Fとして統合する。
S11):マイコン100中のCPU101を使用
予測情報付加障害物候補領域算出手段4321は、単フレーム障害物候補領域算出手段4310で得た障害物候補領域信号NowCarSRと予測障害物候補領域算出手段4320で予測した障害物候補領域信号ExpectCarSRとを取り出し、これら2つの信号を統合・モデル化して、障害物候補領域モデルOutCarSRModelを出力する。具体的な処理を以下に記す。ただし、Xは信号の位置座標を表す。
【0100】
S11.1)前記 S10.1)と同様にして、障害物候補領域信号NowCarSR (X)をそのラベルに応じて、予測した障害物候補領域信号ExpectCarSR (X)と統合し、障害物候補領域信号OutCarSR (X)を求める。
NowCarSRModel(X)が”車両候補”ラベルの場合には、OutCarSR(X)=ExpectCarSR(X) + Eとし、NowCarSRModel(X)が”道路”ラベルの場合には、OutCarSR(X)=ExpectCarSR(X) − Eとして統合する。
【0101】
S11.2) 障害物候補領域信号OutCarSR (X)を走査し、非正数から正数と変化する点を車両候補の始点、正数から非正数へと変化する点を車両候補の終点とし、車両候補領域を始点と終点の領域端点2点で表現したモデルOutCarSRModel (X)に変換して出力する(図8参照)。
【0102】
なお、S10.1) と S11.1)はEとFが違うだけで全て同じである。したがってE= Fである場合は計算を一回する必要がなくなる。
次に、障害物判定手段4400の処理について説明する。
S12) :マイコン100中のCPU101を使用
単フレーム車両らしさ算出手段4441は、相対速度場算出手段4100で得た相対速度場信号Out1Dflow(X)と、障害物候補領域算出手段4300で得た障害物候補領域モデルOutCarSRModel (X)を基に後側方車両の有無を判定する。また、後側方車両が存在する場合は、車両相対位置算出手段4420が自車両から該後側方車両の実測距離を算出し、車両相対速度算出手段4430が自車両に対する実測相対速度を算出する。具体的な処理を以下に記す(図9参照)。
【0103】
S12.1)相対速度場算出手段4100で得た相対速度を活用して障害物候補領域算出手段4300で得た車両候補領域から後側方車両(後側方から自車両に対して接近する車両)を判別する。
まず、障害物候補領域算出手段4300で得た各車両候補領域モデルの始点から幅Bwidth分だけ、終点から幅Ewidth分だけ拡張した領域EnCarSRを設定する。次に、この拡張領域EnCarSR中における相対速度場算出手段4100で得た相対速度場信号Out1Dflow(X)に関して、自車両に接近する向きを示す区分の総数SpeedPlusNumと自車両から離遠する向きを示す区分の総数SpeedMinusNumを算出する。そして、自車両に接近する向きを示す区分の総数SpeedPlusNumが自車両から離遠する向きを示す区分の総数SpeedMinusNum以上の場合は”車両”として、そうでない場合は”非車両”として各車両候補領域を振り分ける。最後に、”車両”と判断された領域の点を”車両”と、それ以外の点を”非車両”とラベル付けした現時点(T)での障害物領域信号NowCarを得る。
【0104】
S13):マイコン100中のCPU101を使用
予測車両らしさ算出手段4442は、単フレーム車両らしさ算出手段4441で得た現時点(T)での障害物領域信号NowCar (X)を、今まで保持していた時点(T−1)までで予測した障害物領域信号ExpectCar (X, T−1)と統合することで時点(T) までで予測した障害物領域信号ExpectCar (X, T)を求める。この処理は、上述したS10)と同様の処理である。具体的な処理を以下に記す。ただし、Xは信号の位置座標を表す。
【0105】
S14.1) 障害物領域信号NowCar (X)をそのラベルに応じて、時点(T−1)での障害物領域信号ExpectCar (X, T−1)と統合し、時点(T)での障害物領域信号ExpectCar(X, T)を求める。ただし、ExpectCar (X, T)は上限値と下限値を持つ。NowCar (X)が”車両”の場合にはOutCar (X)=ExpectCar (X) + Hとし、NowCar (X)が”非車両”の場合にはOutCar (X)=ExpectCar (X) − Hとして統合する。
【0106】
S14):マイコン100中のCPU101を使用
予測車両情報付加車両有無判定手段4443は、単フレーム車両らしさ算出手段4441で得た障害物領域信号NowCarと予測車両らしさ算出手段4442で予測した障害物領域信号ExpectCarとを取り出し、これら2つの信号を統合・モデル化して、障害物候補領域モデルOutCarSRModelを出力する。具体的な処理を以下に記す。ただし、Xは信号の位置座標を表す。
【0107】
S14.1)前記S11.1)の処理と同様に、障害物領域信号NowCar (X)をそのラベルに応じて、予測した障害物領域信号ExpectCar (X)と統合し、障害物領域信号OutCar (X)を求める。
NowCar (X) が”車両”ラベルの場合にはOutCar (X)=ExpectCar (X) + Gとし、NowCar (X) が”非車両”ラベルの場合にはOutCar (X)=ExpectCar (X) − Gとして統合する。
【0108】
S14.2)前記S11.2)の処理と同様に 障害物領域信号OutCar (X)を走査し、非正数から正数と変化する点を車両候補の始点、正数から非正数へと変化する点を車両の終点とし、車両領域を始点と終点の領域端点2点で表現したモデルOutCarModel (X)に変換して出力する。
【0109】
なお、 S13.1) と S14.1)はEとFが違うだけで全て同じである。G= Hである場合は計算を一回する必要がなくなる。また S13), S14)は、S10), S11)と処理内容は同じであり、値が異なるだけである。
S15) 後側方車両が存在する場合、車両相対位置算出手段4420では、車両領域の始点と終点において自車両の近くに位置する点を後側方車両の相対位置とする。この相対位置が地面に位置すると拘束して射影変換することで自車両から後側方車両までの実測距離を算出する。
【0110】
S16) 後側方車両が存在する場合、車両相対速度算出手段4430では、前記車両相対位置算出手段4420で求めた同一の車両を示す相対位置の差を用いて相対速度を算出する。
以上のようにS1〜S16の処理によって、撮像手段1000で撮像した画像から得た1次元信号に基づいて、障害物である後側方車両の有無と、後側方車両までの距離と、後側方車両との相対速度を求めることができる。
【0111】
以上の述べた障害物検知装置1における特徴点として、図6,図8等に示して説明したように、1次元信号に基づいてオブジェクト特徴(相対位置、相対速度など)をオブジェクトが連続的に変化することを活用して補正することによって誤検出を低減する点が挙げられる。
【0112】
実験の結果、図10(a)に示す注目ラインをラインとして設定した場合において、図6、図8に示した補正を行わなわなわず、単フレーム、あるいは、2フレーム間の信号のみに基づいて処理を行うと、図10(b)に示すように、例えば大きな一様輝度領域を持つ物体が存在したり、物体同士の重なり状態が存在したり、ライン上を不安定に横切る物体が存在したり、画像端に位置する物体が存在する場合に、図10(c)のように、後側方車両の誤検出が発生する。図10(c)は、横方向(X軸)がライン上の位置に対応し、縦方向(t軸)が時間に対応し、色が白の部分が障害物(後側方車両)として判定された部分を示し、黒の部分が障害物でないと判定された部分を示している。本来、障害物が存在する部分は、時間の経過に伴って連続的にX軸上を移動するはずであるが、上述した要因による突発的なノイズにより、誤検出が発生していることがわかる。(なお、図10(b)中の番号と図10(c)中の番号は対応付けて記載している。)一方、図6、図8に示した補正を行う場合、すなわち、図11(a)に示すように時間方向にフレーム間の連続性を加味して障害物の検出を行うと、図11(b)のような結果が得られる。このように、検出結果に突発的なノイズが含まれなくなる。
【0113】
この様子をさらに詳細に図12に示す。図12は、相対速度場算出手段、障害物候補領域算出手段、障害物判定手段のそれぞれの手段において、単フレーム間のみを考慮した場合に出力された相対速度場、車両候補領域、後側方車両検出結果と、障害物検知装置1のように複数フレーム間の信号を考慮した場合に出力された相対速度場、車両候補領域、後側方車両検出結果を示したものである。
【0114】
図12に示すように、各手段において求める信号を、フレーム間の連続性を加味して補正・統合することにより、それぞれの信号について突発的なノイズにロバストとなり、後側方車両の検出が的確にできていることが分かる。
[その他]
障害物検知手段4000は、例えば、図13に示すように構成してもよい。すなわち、図1の構成において、予測相対速度場算出手段4120に代えて単フレーム相対速度場格納手段4130を備え、予測情報付加相対速度場算出手段4121に代えて投票情報付加相対速度場算出手段4131を備える。また、予測障害物候補領域算出手段4320に代えて単フレーム障害物候補領域格納手段4330を備え、予測情報付加障害物候補領域算出手段4321に代えて投票情報付加障害物候補領域算出手段4331を備える。そして、予測車両らしさ算出手段4442に代えて予測車両らしさ格納手段4444を備え、予測車両情報付加車両有無判定手段4443に代えて、投票情報付加車両有無判定手段4445を備える。これら各手段は、上記実施例と同様に、図2のマイコン100のCPU101による処理によって実現される。
【0115】
このように構成された障害物検知装置1は、S1)〜S6)については、上記実施例と同様に処理を行い、単フレーム相対速度場算出手段4110による現時点(T)での相対速度場信号Now1Dflow(T)を得る。そしてS7)以降について次のように処理を行う。
【0116】
S7):CPU101を使用
単フレーム相対速度場格納手段4130は、単フレーム相対速度場算出手段4110で得た現時点(T)での相対速度場信号Now1Dflow(X, T)を、今まで保持していた最古時点の相対速度場信号Now1Dflow(X, T−M)の位置に上書きする。格納するメモリはリングバッファ構成をとる。
【0117】
S8):CPU101を使用
投票情報付加相対速度場算出手段4131は、単フレーム相対速度場算出手段4110で得た相対速度場信号Now1Dflow(T, X)と単フレーム相対速度場格納手段4130で保持する過去時点(T−M)までのM個の相対速度場信号Now1Dflow(t, X)[T−M≦t≦T−1]とを取り出し、これらM+1個の1次元信号を投票空間へ投票して、出力する相対速度場信号Out1Dflowを算出する(図14参照)。具体的な処理を以下に記す。ただし、Xは信号の位置座標を表す。
【0118】
S7.1) 相対速度場信号Now1Dflow(t, X)[T−M≦t≦T]をその符号を基に、自車両に接近する点・自車両から離遠する点・零を示す点の3値表現信号TreNow1Dflow(t)[T−M≦t≦T]に変換する。
S7.2) 前記3値表現信号TreNow1Dflow(t, X)[T−M≦t≦T]をその値に応じて投票・しきい値処理し、出力する相対速度場信号Out1Dflow(T, X)を求める。
【0119】
すなわち、TreNow1Dflow(t, X)が自車両に接近する点については、Out1Dflow(T, X)に値” A”を投票(時刻に応じた重み付けも可)し、自車両から離遠する点については、Out1Dflow(T, X)に値”−A”を投票(時刻に応じた重み付けも可)し、零を示す点については何もしないことで、統合する。
【0120】
そして、Out1Dflow(T, X)をしきい値処理する。すなわち、Out1Dflow(T, X)>VotingThresの場合には、Out1Dflow(T, X) = ”自車両に接近する点”とし、Out1Dflow(T, X)≦VotingThresの場合には、Out1Dflow(T, X) = ”自車両に離遠する点”or ”0である点”とする。相対速度場信号Out1Dflow(T, X)は、各点が自車両に対して接近する方向に動くかどうかを示すだけである。
【0121】
次に、障害物候補領域算出手段 について説明する。
S9)については、上記実施例と同様に行い、現時点(T)での障害物候補領域信号NowCarSRを得る。
S10):CPU101を使用
単フレーム障害物候補領域格納手段4330は、前記単フレーム障害物候補領域算出手段4310で得た現時点(T)での障害物候補領域信号NowCarSR(X, T)を、今まで保持していた最古時点の障害物候補領域信号NowCarSR(X, T−M)の位置に上書きする。格納するメモリはリングバッファ構成をとる。
【0122】
S11):CPU101を使用
投票情報付加障害物候補領域算出手段4331は、単フレーム障害物候補領域算出手段4310で得た障害物候補領域信号NowCarSR(T, X)と単フレーム障害物候補領域格納手段4330で保持する過去時点(T−M)までのM個の障害物候補領域信号NowCarSR (t, X)[T−M≦t≦T−1]とを取り出し、これらM+1個の1次元信号を投票空間へ投票・モデル化して、障害物候補領域モデルOutCarSRModelを出力する。具体的な処理を以下に記す(図14参照)。ただし、Xは信号の位置座標を表す。
【0123】
S11.1) 障害物候補領域信号NowCarSR (t, X)[T−M≦t≦T]をそのラベルに応じて投票・しきい値処理し、障害物候補領域信号OutCarSR (T, X)を求める。
投票は次のようにして行う。NowCarSR (t, X)が”車両候補”ラベルの場合には、OutCarSR (T, X)に、”B”を投票し、NowCarSR (t, X)が”道路”ラベルの場合には、何もしない。なお、投票する値は、このように固定の値としてもよいし、時刻に応じた重み付けをした値としてもよい。
【0124】
しきい値処理は、OutCarSR (T, X)>VotingThres2の場合に、OutCarSR (T, X)= ”車両候補”(車両)とし、OutCarSR (T, X)≦VotingThres2の場合にOutCarSR (T, X)= ”道路”(非車両)として行う。
S11.2) 障害物候補領域信号OutCarSR (X)を走査し、非正数から正数と変化する点を車両候補の始点、正数から非正数へと変化する点を車両候補の終点とし、車両候補領域を始点と終点の領域端点2点で表現したモデルOutCarSRModel (X)に変換して出力する。(上記実施例と同じ)
障害物判定手段についても同様に投票を行うようにすることができる。
【0125】
S12)については、上記実施例と同様に行い、ラベル付けした現時点(T)での障害物領域信号NowCarを得る。
S13):CPU101を使用
単フレーム車両らしさ格納手段4444は、前記単フレーム車両らしさ算出手段4441で得た現時点(T)での障害物領域信号NowCar(X, T)を、今まで保持していた最古時点の障害物領域信号NowCar (X, T−M)の位置に上書きする。格納するメモリはリングバッファ構成をとる。
【0126】
S14):CPU101を使用
投票情報付加車両有無判定手段4445は、単フレーム車両らしさ算出手段4441で得た障害物領域信号NowCar(T, X)と単フレーム車両らしさ格納手段4444で保持する過去時点(T−M)までのM個の障害物領域信号NowCar (t, X)[T−M≦t≦T−1]とを取り出し、これらM+1個の1次元信号を投票空間へ投票・モデル化して、障害物領域モデルOutCarModelを出力する。具体的な処理を以下に記す(図14参照)。ただし、Xは信号の位置座標を表す。
【0127】
S13.1) 障害物領域信号NowCar (t, X)[T−M≦t≦T]をそのラベルに投票・しきい値処理し、障害物領域信号OutCar (X)を求める。
NowCar (t, X)が”車両”ラベルの場合には、OutCar (T, X)に、”C”を投票(時刻に応じた重み付けを行ってもよい)し、NowCar (t, X)が” 非車両”ラベルの場合には、何もしないことで、統合する。
【0128】
そして、しきい値処理として、OutCar (T, X)>VotingThres3の場合には、OutCar (T, X)= ”車両”とし、OutCar (T, X)≦VotingThres3の場合には、OutCar (T, X)= ”非車両” とする。
S13.2) 障害物領域信号OutCar (X)を走査し、非正数から正数と変化する点を車両候補の始点、正数から非正数へと変化する点を車両の終点とし、車両領域を始点と終点の領域端点2点で表現したモデルOutCarModel (X)に変換して出力する。(実施例1と同じ)
【図面の簡単な説明】
【図1】実施例の障害物検知装置の構成を示すブロック図である。
【図2】実施例の障害物検知装置の装置構成を示すブロック図である。
【図3】1次元信号取得手段の処理の例を示す説明図である。
【図4】1次元信号強調手段の処理の例を示す説明図である。
【図5】相対速度場算出手段の処理の例を示す説明図である。
【図6】予測相対速度場算出手段等の処理の例を示す説明図である。
【図7】単フレーム障害物候補領域算出手段の処理の例を示す説明図である。
【図8】車両有無判定手段の処理の例を示す説明図である。
【図9】単フレーム車両らしさ算出手段の処理の例を示す説明図である。
【図10】フレーム間の連続性を加味しない場合の信号状態を示す説明図である。
【図11】フレーム間の連続性を加味して信号処理を行った場合の信号状態を示す説明図である。
【図12】フレーム間の連続性を加味しない場合(単フレーム)と連続性を加味する場合(複数フレーム)について各手段によって生成される信号を比較する説明図である。
【図13】別実施例の障害物検知装置の構成を示すブロック図である。
【図14】障害物判定手段の別例を示す説明図である。
【符号の説明】
1…障害物検知装置
10…カメラ 20…バッファ
100…マイコン 101…CPU 102,103…メモリ
1000…撮像手段
2000…1次元信号取得手段
2100…1次元信号抽出方法設定手段
2110…障害物存在ライン設定手段
2120…障害物存在ライン1次元信号化方法設定手段
2200…1次元信号抽出手段
2300…1次元信号強調手段
3000…1次元信号格納手段
4000…障害物検知手段
4100…相対速度場算出手段
4110…単フレーム相対速度場算出手段
4120…予測相対速度場算出手段
4121…予測情報付加相対速度場算出手段
4130…単フレーム相対速度場格納手段
4131…投票情報付加相対速度場算出手段
4300…障害物候補領域算出手段
4310…単フレーム障害物候補領域算出手段
4320…予測障害物候補領域算出手段
4321…予測情報付加障害物候補領域算出手段
4330…単フレーム障害物候補領域格納手段
4331…投票情報付加障害物候補領域算出手段
4400…障害物判定手段
4420…車両相対位置算出手段
4430…車両相対速度算出手段
4440…車両有無判定手段
4441…単フレーム車両らしさ算出手段
4442…予測車両らしさ算出手段
4443…予測車両情報付加車両有無判定手段
4444…予測車両らしさ格納手段
4445…投票情報付加車両有無判定手段
Claims (36)
- 所定領域を撮像する撮像手段と、
前記撮像手段によって撮像された画像中から1次元信号を取得する1次元信号取得手段と、
前記1次元信号取得手段によって取得された1次元信号に基づく過去のNフレーム分(N>1)の障害物検知用信号の変化の連続性を加味して現在のフレームの障害物検知用信号の補正を行う補正手段と、
前記補正手段によって補正された障害物検知用信号に基づき障害物の判定を行う障害物判定手段を備えること
を特徴とする障害物検知装置。 - 所定領域を撮像する撮像手段と、
前記撮像手段によって撮像された画像中から1次元信号を取得する1次元信号取得手段と、
前記1次元信号取得手段によって取得された1次元信号を過去Nフレーム分(N>1)保持する1次元信号格納手段と、
前記1次元信号格納手段によって保持されている複数の1次元信号に基づき障害物の検知を行う障害物検知手段とを備えること
を特徴とする障害物検知装置。 - 請求項2に記載の障害物検知装置において、
前記1次元信号取得手段は、
前記撮像手段で撮像した画像を1次元信号として抽出する方法を設定する1次元信号抽出方法設定手段と、
前記1次元信号抽出方法設定手段によって設定された抽出方法に従って前記画像から1次元信号を抽出する1次元信号抽出手段とを備えること
を特徴とする障害物検知装置。 - 請求項3に記載の障害物検知装置において、
前記1次元信号取得手段は、前記1次元信号抽出手段によって抽出された1次元信号における障害物に対応する信号を強調した1次元信号に変換する1次元信号強調手段を備えること
を特徴とする障害物検知装置。 - 請求項3または4に記載の障害物検知装置において、
前記1次元信号抽出方法設定手段は、
障害物が存在すると疑われる領域をラインとして設定する障害物存在ライン設定手段と、
前記障害物存在ライン設定手段によって設定されたライン上の画素に基づいて1次元信号を抽出する方法を設定する障害物存在ライン1次元信号化方法設定手段とを備えること
を特徴とする障害物検知装置。 - 請求項5に記載の障害物検知装置において、
前記障害物存在ライン設定手段は、前記撮像手段のパラメータおよび前記撮像手段による撮像対象の特性を示すデータに基づいて前記ラインを設定すること
を特徴とする障害物検知装置。 - 請求項5に記載の障害物検知装置において、
前記障害物存在ライン設定手段は、
前記撮像手段のパラメータおよび道路構造令データに基づいて障害物が存在すると疑われる領域を前記ラインとして設定すること
を特徴とする障害物検知装置。 - 請求項5〜7のいずれかに記載の障害物検知装置において、
自車両の速度および操舵角を検出する自車両速度操舵角検出手段を備え、
前記障害物存在ライン設定手段は、前記障害物が存在すると疑われる領域を、前記自車両速度操舵角検出手段で検出した自車両の速度および操舵角に応じて補正し、前記ラインとして設定すること
を特徴とする障害物検知装置。 - 請求項5〜8のいずれかに記載の障害物検知装置において、
自車両の現在位置と現在位置周辺の地図情報とを算出するナビゲーション手段を備え、
前記障害物存在ライン設定手段は、前記ナビゲーション手段で算出した自車両の現在位置と現在位置周辺の地図情報に基づいて前記障害物が存在すると疑われる領域を前記ラインとして設定すること
を特徴とする障害物検知装置。 - 請求項5〜9のいずれかに記載の障害物検知装置において、
前記撮像手段によって撮像された画像中での車線を認識する車線認識手段を備え、
前記障害物存在ライン設定手段は、前記車線認識手段によって検出された車線情報に基づいて前記障害物が存在すると疑われる領域を前記ラインとして設定すること
を特徴とする障害物検知装置。 - 請求項5〜10のいずれかに記載の障害物検知装置において、
前記障害物存在ライン1次元信号化方法設定手段は、前記障害物存在ライン設定手段で設定したライン上の画素を所定の軸へ投影することで前記1次元信号を生成する手法を前記変換方法として設定すること
を特徴とする障害物検知装置。 - 請求項5〜11のいずれかに記載の障害物検知装置において、
前記障害物存在ライン1次元信号化方法設定手段は、前記障害物存在ライン設定手段で設定したライン上の画素を所定の位置からの距離情報に基づいて並べることで前記1次元信号を生成する手法を前記変換方法として設定すること
を特徴とする障害物検知装置。 - 請求項2〜12のいずれかに記載の障害物検知装置において、
前記障害物検知手段は、前記障害物の検知を、前記1次元信号中の障害物の位置または障害物の領域を検出することで行うこと
を特徴とする障害物検知装置。 - 請求項2〜13のいずれかに記載の障害物検知装置において、
前記障害物検知手段は、前記障害物の特性に基づいて想定される複数のフレーム間の1次元信号の信号状態の連続性を加味して、前記障害物の検出に用いるための前記複数の1次元信号に基づく障害物検知用信号を生成し、生成された障害物検知用信号に基づいて障害物の検知を行うこと
を特徴とする障害物検知装置。 - 請求項14に記載の障害物検知装置において、
前記障害物検知用信号は、前記1次元信号中の所定の部分毎の障害物との相対速度を表す信号、前記1次元信号中の所定の部分毎に障害物であるか否かを示す信号であること
を特徴とする障害物検知装置。 - 請求項2〜15のいずれかに記載の障害物検知装置において、
前記障害物検知手段は、
前記1次元信号格納手段から、複数の1次元信号を取り出し、取り出した複数の1次元信号の相関を基に1次元信号の相対速度場を算出する相対速度場算出手段と、
前記相対速度場算出手段によって算出された相対速度場を用いて障害物を判定する障害物判定手段とを備えること
を特徴とする障害物検知装置。 - 請求項16に記載の障害物検知装置において、
前記障害物検知手段は、
前記1次元信号格納手段に格納された複数の1次元信号の信号変化に基づいて前記1次元信号中で障害物候補物体が存在する領域と想定される障害物候補領域を算出する障害物候補領域算出手段を備え、
前記障害物判定手段は、前記障害物候補領域算出手段によって算出された障害物候補領域と、前記相対速度場算出手段で算出した相対速度場とを用いて障害物であるか否かを判定すること
を特徴とする障害物検知装置。 - 請求項16または17に記載の障害物検知装置において、
前記相対速度場算出手段は、
前記1次元信号格納手段から、現時点での1次元信号と過去時点での1次元信号とを取り出し、この2つの1次元信号の相関を用いて現時点でのフレーム間相対速度場を算出する単フレーム相対速度場算出手段と、
現時点以前の前記フレーム間相対速度場の変化量に基づく値を積算しつづけて現時点での予測相対速度場を求める予測相対速度場算出手段と、
前記単フレーム相対速度場と前記予測相対速度場を統合して、現時点での出力対象の相対速度場を算出する予測情報付加相対速度場算出手段とを備えること
を特徴とする障害物検知装置。 - 請求項16または17に記載の障害物検知装置において、
前記相対速度場算出手段は、
前記1次元信号格納手段から、現時点での1次元信号と過去時点での1次元信号とを取り出し、この2つの1次元信号の相関を用いて現時点でのフレーム間相対速度場を算出する単フレーム相対速度場算出手段と、
前記単フレーム相対速度場算出手段によって算出された現時点でのフレーム間相対速度場を過去Sフレーム分保持する単フレーム相対速度場格納手段と、
前記単フレーム相対速度場算出手段で算出した現時点でのフレーム間相対速度場と、前記単フレーム相対速度場格納手段に保持された過去Sフレーム分の相対速度場を統合して、現時点での出力対象の相対速度場を算出する投票情報付加相対速度場算出手段とを備えること
を特徴とする障害物検知装置。 - 請求項2〜14のいずれかに記載の障害物検知装置において、
前記障害物検知手段は、
前記1次元信号格納手段に格納された複数の1次元信号の信号変化に基づいて前記1次元信号中で障害物候補物体が存在する領域と想定される障害物候補領域を算出する障害物候補領域算出手段を備え、
前記障害物判定手段は、前記障害物候補領域算出手段によって算出された障害物候補領域を用いて障害物であるか否かを判定すること
を特徴とする障害物検知装置。 - 請求項17または20に記載の障害物検知装置において、
障害物候補領域算出手段は、
前記1次元信号格納手段から取り出した現時点での1次元信号の信号変化に基づいて、当該1次元信号の各点が障害物候補物体の一部か否かを算出する単フレーム障害物候補領域算出手段と、
前記単フレーム障害物候補領域算出手段による現時点より前の算出結果を積算しつづけて、各点が障害物候補物体の一部である現時点での確率を予測する予測障害物候補領域算出手段と、
前記単フレーム障害物候補領域算出手段によって算出された現時点での算出結果と、前記予測障害物候補領域算出手段で現時点より前までの算出結果より予測した各点が障害物候補物体の一部である確率とを統合して、現時点での障害物候補物体の存在領域を算出する予測情報付加障害物候補領域算出手段とを備えること
を特徴とする障害物検知装置。 - 請求項17または20に記載の障害物検知装置において、
前記障害物候補領域算出手段は、
前記1次元信号格納手段から取り出した現時点での1次元信号の信号変化に基づいて各点が障害物候補物体の一部か否かを算出する単フレーム障害物候補領域算出手段と、
前記単フレーム障害物候補領域算出手段によって算出された現時点での各点が障害物候補物体の一部か否かの情報を過去Sフレーム分保持する単フレーム障害物候補領域格納手段と、
前記単フレーム障害物候補領域算出手段によって算出された現時点での各点が障害物候補物体か否かの情報と、前記単フレーム障害物候補領域格納手段で保持していた過去Sフレーム分の各点が障害物候補物体か否かの情報を統合して、現時点で出力する障害物候補物体の存在領域を算出する投票情報付加障害物候補領域算出手段とを備えること
を特徴とする障害物検知装置。 - 請求項16に記載の障害物検知装置において、
前記障害物判定手段は、前記相対速度場算出手段によって算出された相対速度場に基づいて信号を所定領域に分割し、各領域の速度特徴に基づいて障害物有無および障害物存在領域を判定する障害物有無判定手段を備えること
を特徴とする障害物検知装置。 - 請求項23に記載の障害物検知装置において、
前記障害物判定手段は、
前記障害物有無判定手段で算出した障害物存在領域の領域端点を基に障害物の相対位置を算出する障害物相対位置算出手段とを備えること
を特徴とする障害物検知装置。 - 請求項23または24に記載の障害物検知装置において、
前記障害物判定手段は、前記障害物有無判定手段で算出した障害物存在領域を基に障害物の相対速度を算出する障害物相対速度算出手段とを備えること
を特徴とする障害物検知装置。 - 請求項23〜25のいずれかに記載の障害物検知装置において、
前記障害物有無判定手段は、
前記相対速度場算出手段で算出した相対速度場に基づいて信号を所定領域に分割し、各領域の速度特徴に基づいて障害物存在領域を判定した情報より、各点が障害物の一部か非障害物の一部かを判定する単フレーム障害物らしさ算出手段と、現時点より前の単フレーム障害物らしさ算出手段の結果を積算しつづけて、各点が障害物の一部である現時点での確率を予測する予測障害物らしさ算出手段と、
前記単フレーム障害物らしさ算出手段で算出した現時点での各点が障害物の一部か非障害物の一部かの情報と、前記予測障害物らしさ算出手段で現時点より前までの情報より予測した各点が障害物の一部である確率とを統合して、現時点での出力対象の障害物有無および障害物存在領域を判定する予測障害物情報付加障害物有無判定手段とを備えること
を特徴とする障害物検知装置。 - 請求項23〜25のいずれかに記載の障害物検知装置において、
前記障害物有無判定手段は、
前記相対速度場算出手段で算出した相対速度場に基づいて信号を所定領域に分割し、各領域の速度特徴に基づいて前記領域内部点が障害物の一部か非障害物の一部を判定する単フレーム障害物らしさ算出手段と、
前記単フレーム障害物らしさ算出手段で算出した現時点での各点が障害物の一部か非障害物の一部かの情報を過去Sフレーム分だけ保持する単フレーム障害物らしさ格納手段と、
前記単フレーム障害物らしさ算出手段で算出した現時点での各点が障害物の一部か非障害物の一部かの情報と、前記単フレーム障害物らしさ格納手段で保持していた過去Sフレーム分だけの各点が障害物の一部か非障害物の一部かの情報を統合して、現時点での出力対象の障害物有無および障害物存在領域を判定する投票障害物情報付加障害物有無判定手段とを備えること
を特徴とする障害物検知装置。 - 請求項17に記載の障害物検知装置において、
前記障害物判定手段は、
前記障害物候補領域算出手段によって算出された障害物候補領域における前記相対速度場算出手段によって算出された相対速度場の特徴に基づいて、前記障害物候補物体領域が障害物存在領域であるかどうかを判定する障害物有無判定手段を備えること
を特徴とする障害物検知装置。 - 請求項28に記載の障害物検知装置において、
前記障害物判定手段は、
前記障害物有無判定手段で算出した障害物存在領域の領域端点を基に障害物の相対位置を算出する障害物相対位置算出手段とを備えること
を特徴とする障害物検知装置。 - 請求項29に記載の障害物検知装置において、
前記障害物判定手段は、
前記障害物有無判定手段で算出した障害物存在領域に基に障害物の相対速度を算出する障害物相対速度算出手段とを備えること
を特徴とする障害物検知装置。 - 請求項28〜30のいずれかに記載の障害物検知装置において、
前記障害物有無判定手段は、
前記障害物候補領域算出手段によって算出された障害物候補領域における前記相対速度場算出手段によって算出された相対速度場の特徴に基づいて各障害物候補物体領域が障害物存在領域であるかどうかを判定し、前記障害物存在領域より各点が障害物の一部か非障害物の一部を判定する単フレーム障害物らしさ算出手段と、
現時点より前の単フレーム障害物らしさ算出手段の結果を積算しつづけて、各点が障害物の一部である現時点での確率を予測する予測障害物らしさ算出手段と、
前記単フレーム障害物らしさ算出手段で算出した現時点での各点が障害物の一部か非障害物の一部かの情報と、前記予測障害物らしさ算出手段で現時点より前までの情報より予測した各点が障害物の一部である確率とを統合して、現時点で出力する障害物有無および障害物存在領域を判定する予測障害物情報付加障害物有無判定手段とを備えること
を特徴とする障害物検知装置。 - 請求項28〜30のいずれかに記載の障害物検知装置において、
前記障害物候補領域算出手段で算出した障害物候補領域における前記相対速度場算出手段によって算出された相対速度場の特徴に基づいて各障害物候補物体領域が障害物存在領域であるかどうかを判定し、前記障害物存在領域より各点が障害物の一部か非障害物の一部を判定する単フレーム障害物らしさ算出手段と、
前記単フレーム障害物らしさ算出手段で算出した現時点での各点が障害物の一部か非障害物の一部かの情報を過去S分だけ保持する単フレーム障害物らしさ格納手段と、
前記単フレーム障害物らしさ算出手段で算出した現時点での各点が障害物の一部か非障害物の一部かの情報と、前記単フレーム障害物らしさ格納手段で保持していた過去Sフレーム分だけの各点が障害物の一部か非障害物の一部かの情報を統合して、現時点で出力する障害物有無および障害物存在領域を判定する投票障害物情報付加障害物有無判定手段とを備えること
を特徴とする障害物検知装置。 - 請求項28〜32のいずれかに記載の障害物装置において、
前記障害物候補領域に代えて、当該障害物候補領域に、その周辺領域を加えた領域を用いること
を特徴とする障害物検知装置。 - 請求項1〜33のいずれかに記載の障害物検知装置において、
障害物の状態に応じて適切な警告を発する告知手段を備えること
を特徴とする障害物検知装置。 - 請求項1〜34のいずれかに記載の障害物検知装置において、
前記撮像手段は自車両に設置されており、
前記障害物は他の車両であること
を特徴とする障害物検知装置。 - 請求項1〜35のいずれかに記載の障害物検知装置における機能をコンピュータに実現させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002262898A JP2004098827A (ja) | 2002-09-09 | 2002-09-09 | 障害物検知装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002262898A JP2004098827A (ja) | 2002-09-09 | 2002-09-09 | 障害物検知装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004098827A true JP2004098827A (ja) | 2004-04-02 |
Family
ID=32262815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002262898A Pending JP2004098827A (ja) | 2002-09-09 | 2002-09-09 | 障害物検知装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004098827A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008299787A (ja) * | 2007-06-04 | 2008-12-11 | Mitsubishi Electric Corp | 車両検知装置 |
JP2009199222A (ja) * | 2008-02-20 | 2009-09-03 | Hitachi Kokusai Electric Inc | ナビゲーション装置、受信装置、及び移動体情報提供装置 |
JP2012150765A (ja) * | 2011-01-21 | 2012-08-09 | Fujitsu Ten Ltd | 並走物体検知装置 |
KR101606337B1 (ko) | 2013-06-24 | 2016-03-24 | 구글 인코포레이티드 | 자율 차량을 위한 이미지 처리를 보조하기 위한 환경 정보의 사용 |
KR101645717B1 (ko) * | 2015-01-28 | 2016-08-12 | (주)한양정보통신 | 첨단 운전자 보조 시스템의 적응적 보정 장치 및 방법 |
KR101875517B1 (ko) * | 2016-12-16 | 2018-07-09 | (주)넥스트칩 | 영상 처리 방법 및 장치 |
-
2002
- 2002-09-09 JP JP2002262898A patent/JP2004098827A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008299787A (ja) * | 2007-06-04 | 2008-12-11 | Mitsubishi Electric Corp | 車両検知装置 |
JP2009199222A (ja) * | 2008-02-20 | 2009-09-03 | Hitachi Kokusai Electric Inc | ナビゲーション装置、受信装置、及び移動体情報提供装置 |
JP2012150765A (ja) * | 2011-01-21 | 2012-08-09 | Fujitsu Ten Ltd | 並走物体検知装置 |
KR101606337B1 (ko) | 2013-06-24 | 2016-03-24 | 구글 인코포레이티드 | 자율 차량을 위한 이미지 처리를 보조하기 위한 환경 정보의 사용 |
KR101645717B1 (ko) * | 2015-01-28 | 2016-08-12 | (주)한양정보통신 | 첨단 운전자 보조 시스템의 적응적 보정 장치 및 방법 |
KR101875517B1 (ko) * | 2016-12-16 | 2018-07-09 | (주)넥스트칩 | 영상 처리 방법 및 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101647370B1 (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
US9836657B2 (en) | System and method for periodic lane marker identification and tracking | |
Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
US8005266B2 (en) | Vehicle surroundings monitoring apparatus | |
JP6266238B2 (ja) | 接近物検出システム、及び車両 | |
US8175331B2 (en) | Vehicle surroundings monitoring apparatus, method, and program | |
EP1574992B1 (en) | Method and device for tracking moving objects in images | |
JP4733756B2 (ja) | 車両周辺監視装置 | |
CN107273788B (zh) | 在车辆中执行车道检测的成像系统与车辆成像系统 | |
US20130286205A1 (en) | Approaching object detection device and method for detecting approaching objects | |
JP3849505B2 (ja) | 障害物監視装置及びプログラム | |
Aytekin et al. | Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information | |
US20140002656A1 (en) | Lane departure warning system and lane departure warning method | |
JP2002197444A (ja) | 車両の走行路認識装置 | |
JP2008168811A (ja) | 車線認識装置、車両、車線認識方法、及び車線認識プログラム | |
JP2013008070A (ja) | 標識認識装置及び標識認識方法 | |
JP2010218226A (ja) | 計測マップ生成装置及び走行環境確認装置 | |
CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
CN109070882B (zh) | 利用摄像头影像的行驶信息提供方法及装置 | |
JP4801934B2 (ja) | 移動物体検出装置 | |
CN112381132A (zh) | 一种基于多个摄像头融合的目标物跟踪方法和系统 | |
KR101406316B1 (ko) | 차선 인식 장치 및 그 방법 | |
KR20180047149A (ko) | 충돌 위험 경고 장치 및 방법 | |
WO2010007718A1 (ja) | 車両周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040915 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070918 |