JP2006185434A - 車両周辺監視装置 - Google Patents
車両周辺監視装置 Download PDFInfo
- Publication number
- JP2006185434A JP2006185434A JP2005346017A JP2005346017A JP2006185434A JP 2006185434 A JP2006185434 A JP 2006185434A JP 2005346017 A JP2005346017 A JP 2005346017A JP 2005346017 A JP2005346017 A JP 2005346017A JP 2006185434 A JP2006185434 A JP 2006185434A
- Authority
- JP
- Japan
- Prior art keywords
- image
- horizontal edge
- width
- vehicle
- pedestrian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Automotive Seat Belt Assembly (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Steering Controls (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
【解決手段】少なくとも2値化対象物OBの下端部を含む所定の対象領域(マスク)OA内にて検出した水平エッジの幅方向での含有率RATEが所定閾値RATE_TH(例えば、80%等)よりも大きい場合には、2値化対象物が、2値化対象物の下端部に、例えば人体の肩部の横幅よりも過剰に大きな横幅を有する構造物を備える人工構造物であると判定し、含有率RATEが所定閾値RATE_TH以下である場合には、2値化対象物が、2値化対象物の下端部に、例えば人体の肩部の横幅よりも過剰に長い横幅を有する構造物を備える人工構造物以外であると判定する。
【選択図】図7
Description
この表示処理装置では、赤外線画像を2値化処理して明部が集中している領域(2値化対象物)を探索し、2値化対象物の縦横比や充足率、更には実面積と赤外線画像上の重心位置とにより算出した距離に基づき、2値化対象物が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部領域の赤外線カメラからの距離と、成人の平均身長とから、赤外線画像上の歩行者の身長を算出すると共に、歩行者の身体を包含する身体領域を設定し、頭部領域および身体領域を他の領域と区分して表示することにより、歩行者に対する運転者の視覚補助を行うようになっている。
本発明は上記事情に鑑みてなされたもので、赤外線画像上において歩行者と人工構造物とを的確に区別して抽出することが可能な車両周辺監視装置を提供することを目的としている。
さらに、請求項2に記載の本発明の車両周辺監視装置によれば、歩行者の認識精度を向上させることができる。
さらに、請求項3に記載の本発明の車両周辺監視装置によれば、人工構造物に対して不必要な警報を出力してしまうことを防止することができる。
本実施の形態による車両周辺監視装置は、例えば図1に示すように、車両周辺監視装置を制御するCPU(中央演算装置)を備えた画像処理ユニット1と、遠赤外線を検出可能な2つの赤外線カメラ2R,2Lと、自車両のヨーレートを検出するヨーレートセンサ3と、自車両の走行速度(車速)を検出する車速センサ4と、運転者によるブレーキ操作の有無を検出するブレーキセンサ5と、スピーカ6と、表示装置7とを備えて構成され、例えば、画像処理ユニット1は2つの赤外線カメラ2R,2Lの撮影により得られる自車両周辺の赤外線画像と、各センサ3,4,5により検出される自車両の走行状態に係る検出信号とから、自車両の進行方向前方の歩行者や動物等の移動体を検出し、検出した移動体と自車両との接触が発生する可能性があると判断したときに、スピーカ6または表示装置7を介して警報を出力するようになっている。
なお、表示装置7は、例えば自車両の各種走行状態量を表示する計器類と一体化された表示装置やナビゲーション装置の表示装置、さらにフロントウィンドウにおいて運転者の前方視界を妨げない位置に各種情報を表示するHUD(Head Up Display)7a等を備えて構成されている。
また、HUD7aは、自車両10のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
以下に、画像処理ユニット1における歩行者等の対象物検出および警報出力の動作について説明する。
まず、図3に示すステップS1において、画像処理ユニット1は、赤外線カメラ2R,2Lの出力信号である赤外線画像を取得する。
次に、ステップS2においては、取得した赤外線画像をA/D変換する。
次に、ステップS3においては、中間階調情報を含むグレースケール画像を取得して、画像メモリに格納する。なお、ここでは赤外線カメラ2Rにより右画像が得られ、赤外線カメラ2Lにより左画像が得られる。また、右画像と左画像とでは、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(つまり、視差)により自車両10から対象物までの距離を算出することができる。
なお、以下のステップS4〜ステップS9の処理は、2値化処理により得た基準画像(例えば、右画像)について実行する。
次に、ステップS5においては、赤外線画像に2値化処理を実行して得た画像データをランレングスデータに変換する。ランレングスデータでは、2値化処理により白となった領域を画素レベルでラインとして表示し、各ラインはy方向に1画素の幅を有し、x方向に適宜の画素数の長さを有するように設定されている
次に、ステップS7においては、対象物のラベリングに応じて対象物を抽出する。ここでは、ランレングスデータにおける各ラインのうち、同等のx方向座標を含むライン同士がy方向で隣接する場合に、隣接するラインが単一の対象物を構成しているとみなす。
次に、ステップS8においては、抽出した対象物の重心Gと、面積Sと、外接四角形の縦横比ASPECTとを算出する。
また、ラベルAの対象物の重心Gの座標(xc、yc)は、各ランレングスデータの長さ(run[i]−1)と、各ランレングスデータの座標x[i]またはy[i]とを乗算して得た値(つまり、(run[i]−1)×x[i]または(run[i]−1)×y[i])を同一対象物において積算して得た値を、面積Sで除算することにより算出する。
さらに、縦横比ASPECTは、ラベルAの対象物の外接四角形の縦方向の長さDyと横方向の長さDxとの比Dy/Dxとして算出する。
なお、ランレングスデータは画素数(座標数)(=run[i])で示されているので、実際の長さは「−1」する必要がある(=run[i]−1)。また、重心Gの座標は、外接四角形の重心座標で代用してもよい。
まず、ステップS9においては、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う。この時刻間追跡は、アナログ量としての時刻tをサンプリング周期で離散化した時刻をkとし、例えば時刻kで対象物A、Bを抽出した場合、時刻(k+1)で抽出した対象物C、Dと対象物A、Bとの同一性判定を行う。そして、対象物A、Bと対象物C、Dとが同一であると判定された場合には、対象物C、Dのラベルをそれぞれ対象物A、Bのラベルに変更する。そして、認識された各対象物の位置座標(例えば、重心等)を、時系列位置データとして適宜のメモリに格納する。
先ず、ステップS11においては、基準画像(例えば、右画像)を2値化処理して得た画像データ上で追跡される複数の対象物のうちから1つの対象物を選択し、例えば選択した対象物を外接四角形で囲む領域全体を探索画像R1として基準画像(例えば、右画像)から抽出する。
ここで、実空間座標(X,Y,Z)は、例えば図2に示すように、自車両10の前部における赤外線カメラ2R,2Lの取り付け位置の中点の位置を原点Oとして設定され、画像データ上の座標は、画像データの中心を原点として水平方向をx方向、垂直方向をy方向として設定されている。また、座標(xc,yc)は、基準画像(例えば、右画像)上の座標(x,y)を、赤外線カメラ2Rの取付位置と、実空間の原点Oとの相対位置関係に基づいて、実空間の原点Oと画像データの中心とを一致させて得た仮想的な画像上の座標に変換して得た座標である。
このステップS16においては、最新の位置座標P(0)=(X(0),Y(0),Z(0))と、(N−1)サンプル前(つまり、所定時間ΔT前)の位置座標P(N−1)=(X(N−1),Y(N−1),Z(N−1))とを、近似直線LMV上の位置に補正し、補正後の位置座標Pv(0)=(Xv(0),Yv(0),Zv(0))およびPv(N−1)=(Xv(N−1),Yv(N−1),Zv(N−1))を算出する。
これにより、位置座標Pv(N−1)からPv(0)に向かうベクトルとして、相対移動ベクトルが得られる。
このように所定時間ΔTのモニタ期間内の複数(例えば、N個)の実空間位置データから対象物の自車両10に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して自車両10と対象物との接触発生の可能性を精度良く予測することが可能となる。
この判定結果が「NO」の場合には、ステップS1へ戻り、上述したステップS1〜ステップS17の処理を繰り返す。
一方、この判定結果が「YES」の場合には、ステップS18に進む。
そして、ステップS18においては、例えばブレーキセンサ5の出力BRに基づく自車両10の運転者がブレーキ操作を行っているか否か等に応じた警報出力判定処理において、警報出力が必要か否かを判定する。
ステップS18の判定結果が「NO」の場合、例えば自車両10の運転者がブレーキ操作を行っている場合に発生する加速度Gs(減速方向を正とする)が所定閾値GTHよりも大きいとき場合には、運転者のブレーキ操作により接触発生が回避されると判断して、判定して、ステップS1へ戻り、上述したステップS1〜ステップS18の処理を繰り返す。
一方、ステップS18の判定結果が「YES」の場合、例えば自車両10の運転者がブレーキ操作を行っている場合に発生する加速度Gs(減速方向を正とする)が所定閾値GTH以下である場合、あるいは、自車両10の運転者がブレーキ操作を行っていない場合には、 一方、ステップS18の判定結果が「YES」の場合には、接触発生の可能性が高いと判断して、ステップS19に進む。
なお、所定閾値GTHは、ブレーキ操作中の加速度Gsが維持された場合に、対象物と自車両10との間の距離が所定の距離Zv(0)以下で自車両10が停止する状態に対応する値である。
次に、ステップS20においては、表示装置7に対して、例えば赤外線カメラ2Rにより得られる画像データを出力し、相対的に接近する対象物を強調映像として表示する。
この警報判定処理は、例えば図4に示すように、衝突判定処理と、接近判定領域内か否かの判定処理と、進入衝突判定処理と、人工構造物判定処理と、歩行者判定処理とにより、自車両10と検出した対象物との接触発生の可能性を判定する処理である。なお、以下においては、例えば図5に示すように、自車両10の進行方向(例えば、Z方向)に対してほぼ直交する方向において速度Vpで移動する対象物20が存在する場合を参照して説明する。
この判定結果が「NO」の場合には、後述するステップS37に進む。
一方、この判定結果が「YES」の場合には、ステップS32に進む。
なお、余裕時間Tsは、接触発生の可能性を、予測される接触発生時刻よりも所定時間Tsだけ以前のタイミングで判定するための時間であって、例えば2〜5秒程度に設定される。また、所定地上高Hは、例えば自車両10の車高の2倍程度の値に設定される。
この判定結果が「YES」の場合には、後述するステップS34に進む。
一方、この判定結果が「NO」の場合には、ステップS33に進む。
この判定結果が「YES」の場合には、後述するステップS36に進む。
一方、この判定結果が「NO」の場合には、後述するステップS37に進む。
この判定結果が「NO」の場合には、ステップS35に進む。
一方、この判定結果が「YES」の場合には、ステップS37に進む。
そして、ステップS35においては、対象物が歩行者である可能性があるか否かを判定する歩行者判定処理を行う。
ステップS35の判定結果が「YES」の場合には、ステップS36に進む。
一方、ステップS35の判定結果が「NO」の場合には、後述するステップS37に進む。
一方、ステップS37においては、上述したステップS31において所定の余裕時間Ts以内に自車両10と対象物とが接触する可能性がない場合(ステップS31のNO)、あるいは、ステップS33において対象物が接近判定領域内へ進入して自車両10と接触する可能性がない場合(ステップS33のNO)、あるいは、ステップS34において対象物が人工構造物であると判定された場合(ステップS34のYES)、あるいはステップS34において人工構造物ではないと判定された対象物がさらに歩行者ではないと判定された場合(ステップS35のNO)には、検出した対象物と自車両10との接触発生の可能性がないと判断して、対象物は警報の対象ではないと判定し、一連の処理を終了する。
例えば2値化対象物OBの外接四角形QBの左上頂点QLの座標(xb,yb)と、外接四角形の幅Wbと、外接四角形の高さHbとに対して、マスクOAの幅dxPを所定値M_W、例えば実空間の所定幅MASK_W(例えば、100cm等)を画像上に展開した値であって、所定値M_W=焦点距離f×所定高さMASK_W/対象物距離zとし、マスクOAの高さdyPを所定値(例えば、3等)とすれば、マスクOAの左上頂点ALの座標(xP,yP)は、(xP=xb+Wb/2−dxP,yP=yb+Hb−1)となる。
この判定結果が「YES」の場合には、水平エッジが存在すると設定する。
一方、この判定結果が「NO」の場合には、水平エッジが存在しないと設定する。
そして、マスクOA内に設定した各垂直ラインJ(Jは整数であって、J=0,…,dxP−1)毎に、エッジが存在すると判定された画素数の積算値(エッジ検出画素数)SE(J)を算出する。
そして、各垂直ラインJに関するエッジ検出画素数SE(J)の積算値(エッジ検出総数)S(=SE(0)+,…,+SE(dxP−1))を算出し、さらに、このエッジ検出総数SのマスクOA内の幅方向に対する含有率RATE(=100×S/dxP)を算出する。
そして、マスクOA内の幅方向での水平エッジの含有率RATEが所定閾値RATE_TH(例えば、80%等)よりも大きい(RATE>RATE_TH)か否かを判定する。
一方、この判定結果が「NO」の場合には、2値化対象物が、2値化対象物の下端部に、例えば人体の肩部の横幅よりも過剰に長い横幅を有する構造物を備える人工構造物以外であって、例えば歩行者等であると判定して、一連の処理を終了する。
2R,2L 赤外線カメラ
3 ヨーレートセンサ
4 車速センサ
5 ブレーキセンサ
6 スピーカ
7 表示装置
10 自車両
ステップS19 警報出力手段
ステップS34 探索領域設定手段、水平エッジ検出手段、水平エッジ幅算出手段、対象物種別判定手段
ステップS35 歩行者認識手段
Claims (3)
- 赤外線撮像手段の撮像により得られた画像に基づき自車両の外界に存在する物体を対象物として抽出する車両周辺監視装置であって、
前記画像のグレースケール画像を2値化処理して得た画像データから2値化対象物を抽出する2値化対象物抽出手段と、
前記グレースケール画像上に、前記2値化対象物抽出手段により抽出された前記2値化対象物の下端部を含む探索領域を設定する探索領域設定手段と、
前記探索領域設定手段により設定された前記探索領域において水平エッジを検出する水平エッジ検出手段と、
前記水平エッジ検出手段により検出された前記水平エッジの幅あるいは該幅に係る状態量を算出する水平エッジ幅算出手段と、
前記水平エッジ幅算出手段により算出された前記水平エッジの幅あるいは該幅に係る状態量に基づき前記対象物の種別を判定する対象物種別判定手段と
を備えることを特徴とする車両周辺監視装置。 - 前記画像に基づき自車両の外界に存在する歩行者を認識する歩行者認識手段を備え、
該歩行者認識手段は、前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して歩行者認識処理を実行することを特徴とする請求項1に記載の車両周辺監視装置。 - 前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して警報を出力する警報出力手段を備えることを特徴とする請求項1または請求項2に記載の車両周辺監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005346017A JP4425852B2 (ja) | 2004-11-30 | 2005-11-30 | 車両周辺監視装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004347337 | 2004-11-30 | ||
JP2005346017A JP4425852B2 (ja) | 2004-11-30 | 2005-11-30 | 車両周辺監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006185434A true JP2006185434A (ja) | 2006-07-13 |
JP4425852B2 JP4425852B2 (ja) | 2010-03-03 |
Family
ID=36738465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005346017A Expired - Fee Related JP4425852B2 (ja) | 2004-11-30 | 2005-11-30 | 車両周辺監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4425852B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008052332A (ja) * | 2006-08-22 | 2008-03-06 | Nec System Technologies Ltd | 情報端末装置、自動実行方法、及びプログラム |
JP2008068675A (ja) * | 2006-09-12 | 2008-03-27 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2009163506A (ja) * | 2008-01-07 | 2009-07-23 | Honda Motor Co Ltd | 車両周辺監視装置、車両、車両周辺監視用プログラム |
JP2009193241A (ja) * | 2008-02-13 | 2009-08-27 | Honda Motor Co Ltd | 車両周辺監視装置、車両、車両周辺監視プログラム |
WO2010047054A1 (ja) | 2008-10-20 | 2010-04-29 | 本田技研工業株式会社 | 車両の周辺監視装置 |
WO2011155152A1 (ja) * | 2010-06-07 | 2011-12-15 | 本田技研工業株式会社 | 車両の周辺監視装置 |
-
2005
- 2005-11-30 JP JP2005346017A patent/JP4425852B2/ja not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008052332A (ja) * | 2006-08-22 | 2008-03-06 | Nec System Technologies Ltd | 情報端末装置、自動実行方法、及びプログラム |
JP2008068675A (ja) * | 2006-09-12 | 2008-03-27 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2009163506A (ja) * | 2008-01-07 | 2009-07-23 | Honda Motor Co Ltd | 車両周辺監視装置、車両、車両周辺監視用プログラム |
JP2009193241A (ja) * | 2008-02-13 | 2009-08-27 | Honda Motor Co Ltd | 車両周辺監視装置、車両、車両周辺監視プログラム |
JP4590654B2 (ja) * | 2008-02-13 | 2010-12-01 | 本田技研工業株式会社 | 車両周辺監視装置、車両、車両周辺監視プログラム |
WO2010047054A1 (ja) | 2008-10-20 | 2010-04-29 | 本田技研工業株式会社 | 車両の周辺監視装置 |
US8648912B2 (en) | 2008-10-20 | 2014-02-11 | Honda Motor Co., Ltd. | Vehicle periphery monitoring apparatus |
WO2011155152A1 (ja) * | 2010-06-07 | 2011-12-15 | 本田技研工業株式会社 | 車両の周辺監視装置 |
US9030560B2 (en) | 2010-06-07 | 2015-05-12 | Honda Motor Co., Ltd. | Apparatus for monitoring surroundings of a vehicle |
Also Published As
Publication number | Publication date |
---|---|
JP4425852B2 (ja) | 2010-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4410292B1 (ja) | 車両の周辺監視装置 | |
JP3934119B2 (ja) | 車両周辺監視装置 | |
US7969466B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4426535B2 (ja) | 車両の周辺監視装置 | |
US7561719B2 (en) | Vehicle surroundings monitoring apparatus | |
US7388476B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4528283B2 (ja) | 車両周辺監視装置 | |
JP2005352974A (ja) | 車両周辺監視装置 | |
JP2003216937A (ja) | ナイトビジョンシステム | |
JP4425852B2 (ja) | 車両周辺監視装置 | |
US20060126897A1 (en) | Vehicle surroundings monitoring apparatus | |
US7526104B2 (en) | Vehicle surroundings monitoring apparatus | |
US7515737B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4298699B2 (ja) | 車両周辺監視装置 | |
JP5291524B2 (ja) | 車両周辺監視装置 | |
JP3898157B2 (ja) | 赤外線画像認識装置 | |
JP4283266B2 (ja) | 車両周辺監視装置 | |
JP4358183B2 (ja) | 車両周辺監視装置 | |
JP4943403B2 (ja) | 車両の周辺監視装置 | |
JP4372746B2 (ja) | 車両周辺監視装置 | |
US7545955B2 (en) | Vehicle surroundings monitoring apparatus | |
JP2004348645A (ja) | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 | |
JP4472623B2 (ja) | 車両周辺監視装置 | |
JP2003309843A (ja) | 障害物警報装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091209 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121218 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131218 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |