JP2018206305A - 車外環境認識装置および車外環境認識方法 - Google Patents

車外環境認識装置および車外環境認識方法 Download PDF

Info

Publication number
JP2018206305A
JP2018206305A JP2017114441A JP2017114441A JP2018206305A JP 2018206305 A JP2018206305 A JP 2018206305A JP 2017114441 A JP2017114441 A JP 2017114441A JP 2017114441 A JP2017114441 A JP 2017114441A JP 2018206305 A JP2018206305 A JP 2018206305A
Authority
JP
Japan
Prior art keywords
wall surface
vehicle
host vehicle
left end
auxiliary line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017114441A
Other languages
English (en)
Other versions
JP6564423B2 (ja
Inventor
野村 直樹
Naoki Nomura
直樹 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2017114441A priority Critical patent/JP6564423B2/ja
Priority to US15/967,085 priority patent/US10922835B2/en
Priority to CN201810460140.5A priority patent/CN109017775B/zh
Publication of JP2018206305A publication Critical patent/JP2018206305A/ja
Application granted granted Critical
Publication of JP6564423B2 publication Critical patent/JP6564423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】先行車両などの対象物の姿勢に依らず、その対象物との衝突回避判断に用いる情報を適切に設定する。
【解決手段】壁面設定部は、自車両1の前方左端A、自車両1の前方右端B、対象物2の左端C、対象物2の右端Dおよび対象物2の最近端EのXZ平面における座標を特定する。壁面設定部は、前方左端Aと右端Dとを結ぶ補助線LADおよび前方右端Bと左端Cとを結ぶ補助線LBCを算出する。壁面設定部は、最近端Eを含み、自車両1の進行方向に垂直な平面SEを算出する。壁面設定部は、補助線LADと平面SEとの交点PRおよび補助線LBCと平面SEとの交点PLの座標を特定する。壁面設定部は、交点PRが右端WRとなり、交点PLが左端WLとなる壁面Wを設定する。
【選択図】図6

Description

本発明は、車外環境に応じて車両の衝突回避制御を行う車外環境認識装置および車外環境認識方法に関する。
自車両の前方に位置する先行車両等の対象物を検出し、対象物との衝突を回避するように自車両を制御する(衝突回避制御)技術が知られている(例えば、特許文献1)。
特許第5113656号公報
衝突回避制御の一例として、対象物である先行車両の後面(例えば、左右のテールランプ間)に壁面を設定し、設定した壁面との衝突を回避できるか否かの判断(衝突回避判断)を行い、衝突を回避できない旨の衝突回避判断結果に応じて緊急ブレーキを作動して対象物との衝突を回避することが挙げられる。この態様は、先行車両が自車両と同じ進行方向に向いて存在している場合には、先行車両との衝突を適切に回避することができる。
しかし、先行車両の進行方向が自車両の進行方向に対して斜め前方に傾いている場合、自車両からは、先行車両の後面だけでなく、先行車両の側面も視認されることとなる。この場合、設定された壁面との衝突を回避できると判断されても、例えば、自車両が設定された壁面の横を通り過ぎて先行車両の側面に衝突するという具合に、実際には、自車両が先行車両に衝突するおそれがある。
このような事態を防止する一例として、先行車両における自車両から視認された範囲の全体(先行車両における自車両から見た時の左右両端間)に壁面を設定することが考えられる。この態様は、自車両に対して傾いて存在する先行車両の側面に自車両が衝突するのを回避することができる。しかし、この態様では、自車両が先行車両の側面の脇を通り過ぎようとした場合、設定された壁面との衝突を回避できないと判断されて、緊急ブレーキが作動するおそれがある。すなわち、この態様では、実際には、自車両が先行車両に衝突する可能性が非常に低いにもかかわらず、過度に緊急ブレーキが作動することとなる。
このように、先行車両などの対象物の姿勢およびその対象物との衝突回避判断に用いる情報である壁面の設定の仕方によって、衝突回避判断結果と、実際の衝突の有無とに乖離が生じる。
そこで、本発明は、先行車両などの対象物の姿勢に依らず、その対象物との衝突回避判断に用いる情報を適切に設定することができる車外環境認識装置および車外環境認識方法を提供することを目的とする。
上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、自車両の前方の検出領域における対象物を特定する対象物特定部と、対象物における自車両に対する自車両の進行方向の相対距離が最も短い最近端に位置し、自車両が走行態様によっては回避不可能な壁面を設定する壁面設定部として機能する。
また、壁面は、最近端を含み、自車両の進行方向に垂直な面であり、自車両の前方左端と対象物の右端とを結ぶ第1補助線との交点を右端とし、自車両の前方右端と対象物の左端とを結ぶ第2補助線との交点を左端とする面であってもよい。
また、壁面設定部は、車外環境を撮像する撮像装置によって生成された輝度画像と、輝度画像から生成され、視差情報が対応付けられた距離画像とを用いて、対象物の右端、対象物の左端および最近端の座標を特定してもよい。
また、本発明の車外環境認識方法は、自車両の前方の検出領域における対象物を特定する対象物特定工程と、対象物における自車両に対する自車両の進行方向の相対距離が最も短い最近端に位置し、自車両が走行態様によっては回避不可能な壁面を設定する壁面設定工程とを有する。
また、壁面は、最近端を含み、自車両の進行方向に垂直な面であり、自車両の前方左端と対象物の右端とを結ぶ第1補助線との交点を右端とし、自車両の前方右端と対象物の左端とを結ぶ第2補助線との交点を左端とする面であってもよい。
また、壁面設定工程は、自車両の前方左端と対象物の右端とを結ぶ第1補助線を算出する第1補助線算出工程と、自車両の前方右端と対象物の左端とを結ぶ第2補助線を算出する第2補助線算出工程と、最近端を含み、自車両の進行方向に垂直な平面を算出する平面算出工程と、第1補助線と平面との第1交点および第2補助線と平面との第2交点を算出する交点算出工程と、第1交点を右端とし、第2交点を左端とする面を壁面として決定する壁面決定工程と、を有してもよい。
また、壁面設定工程は、車外環境を撮像する撮像装置によって生成された輝度画像と、輝度画像から生成され、視差情報が対応付けられた距離画像とを用いて、対象物の右端、対象物の左端および最近端の座標を特定する座標特定工程を有してもよい。
本発明によれば、先行車両などの対象物の姿勢に依らず、その対象物との衝突回避判断に用いる情報を適切に設定することができる。
車外環境認識システムの接続関係を示したブロック図である。 輝度画像と距離画像を説明するための説明図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 車外環境認識処理の流れを示すフローチャートである。 壁設定処理の流れを示すフローチャートである。 壁設定処理を説明するための自車両および対象物の上面視図である。 対象物のバリエーションが変わった場合の概略図である。 対象物のバリエーションが変わった場合の概略図である。 対象物のバリエーションが変わった場合の概略図である。 対象物のバリエーションが変わった場合の概略図である。 車外環境認識装置の効果を説明するための説明図である。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
(車外環境認識システム100)
図1は、車外環境認識システム100の接続関係を示したブロック図である。車外環境認識システム100は、撮像装置110と、車外環境認識装置120と、車両制御装置(ECU:Engine Control Unit)130とを含んで構成される。
撮像装置110は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子を含んで構成され、自車両1の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像(カラー画像やモノクロ画像)を生成することができる。また、撮像装置110は、自車両1の進行方向側において2つの撮像装置110それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置110は、自車両1の前方の検出領域に存在する対象物を撮像した輝度画像を、例えば1/60秒のフレーム毎(60fps)に連続して生成する。ここで、撮像装置110によって認識する対象物は、自転車、歩行者、車両、信号機、道路(進行路)、道路標識、ガードレール、建物といった独立して存在する物のみならず、自転車の車輪等、その一部として特定できる物も含む。
また、車外環境認識装置120は、2つの撮像装置110それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック(例えば、水平4画素×垂直4画素の配列)に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度(Y)を比較することが考えられる。例えば、輝度の差分をとるSAD(Sum of Absolute Difference)、差分を2乗して用いるSSD(Sum of Squared intensity Difference)や、各画素の輝度から平均値を引いた分散値の類似度をとるNCC(Normalized Cross Correlation)等の手法がある。車外環境認識装置120は、このようなブロック単位の視差導出処理を検出領域(例えば、600画素×200画素)に映し出されている全てのブロックについて行う。ここでは、ブロックを4画素×4画素としているが、ブロック内の画素数は任意に設定することができる。
ただし、車外環境認識装置120では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位(例えば、ブロック単位)で独立して導出されることとなる。ここでは、このようにして導出された視差情報を対応付けた画像を、上述した輝度画像と区別して距離画像という。
図2は、輝度画像126と距離画像128を説明するための説明図である。例えば、2つの撮像装置110を通じ、検出領域124について図2(a)のような輝度画像126が生成されたとする。ただし、ここでは、理解を容易にするため、2つの輝度画像126の一方のみを模式的に示している。車外環境認識装置120は、このような輝度画像126からブロック毎の視差を求め、図2(b)のような距離画像128を形成する。距離画像128における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
また、車外環境認識装置120は、輝度画像126に基づく輝度値(カラー値)、および、距離画像128に基づいて算出された、自車両1との相対距離を含む実空間における三次元の位置情報を用い、カラー値が等しく三次元の位置情報が近いブロック同士を対象物としてグループ化して、自車両1前方の検出領域における対象物がいずれの種類の対象物(例えば、先行車両)に対応するかを特定する。なお、上記相対距離は、距離画像128におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置110に対する相対距離を導出する方法である。
また、車外環境認識装置120は、特定した対象物の所定の位置に所定の幅の壁面を設定し、設定した壁面との衝突回避判断を行い、衝突を回避できない旨の衝突回避判断結果に応じて壁面との衝突を回避するための制御(具体的には、制動制御)を行い、対象物との衝突を回避する。ここで、設定する壁面は、自車両1が走行態様によっては回避不可能な面である。走行態様は、自車両1が制動(ブレーキ)によって停止する態様を除くすべての走行の状態(例えば、直進や旋回)を含む。すなわち、壁面との衝突回避判断は、制動を行わずに当該壁面を回避できるか否かの判断である。
車両制御装置130は、図1に示すステアリングホイール132、アクセルペダル134、ブレーキペダル136を通じて運転手の操作入力を受け付け、操舵機構142、駆動機構144、制動機構146に伝達することで自車両1を制御する。また、車両制御装置130は、設定された壁面との衝突を回避するために、車外環境認識装置120の指示の下、制動機構146を制御して緊急ブレーキをかける(AEB(Automatic Emergency Braking))。
(車外環境認識装置120)
図3は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図3に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含んで構成される。
I/F部150は、撮像装置110、および、車両制御装置130との双方向の情報交換を行うためのインターフェースである。データ保持部152は、RAM、フラッシュメモリ、HDD等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。
中央制御部154は、中央処理装置(CPU)、プログラム等が格納されたROM、ワークエリアとしてのRAM等を含む半導体集積回路で構成され、システムバス156を通じて、I/F部150、データ保持部152等を制御する。また、本実施形態において、中央制御部154は、対象物特定部160、壁面設定部162、衝突判定部164、AEB制御部166として機能する。以下、本実施形態に特徴的な衝突を回避するための車外環境認識処理について、当該中央制御部154の各機能部の動作も踏まえて詳述する。
(車外環境認識処理)
図4は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、対象物特定部160が、検出領域における対象物を特定する対象物特定処理(対象物特定工程)(S200)を行い、壁面設定部162が、対象物の所定の位置に所定の幅の壁面を設定する壁面設定処理(壁面設定工程)(S202)を行い、衝突判定部164が、自車両1が制動を行わずに壁面を避けることができるか否かを判定する衝突判定処理(S204)を行う。自車両1が制動を行わずに壁面を避けることができると判定されれば(S204におけるYES)、当該車外環境認識処理が終了し、自車両1が制動を行わなければ壁面を避けることができないと判定されれば(S204におけるNO)、AEB制御部166が、車両制御装置130に緊急ブレーキをかけさせるAEB処理(S206)を行う。
(対象物特定処理S200)
対象物特定部は、上述のように、輝度画像126および距離画像128を取得し、輝度画像126および距離画像128を用いて検出領域における対象物(例えば、自車両1が衝突する可能性のある先行車両、人、自転車、家などの建物など)を特定する。
(壁面設定処理S202)
図5は、壁面設定処理S202の流れを示すフローチャートである。図6は、壁面設定処理S202を説明するための自車両1および対象物2の上面視図である。図6において、対象物2は先行車両であり、先行車両は、自車両1に対して右斜め前方に向いた姿勢で存在している。ここで、先行車両が存在しているとは、先行車両が停止している場合および先行車両が走行している場合のいずれも含まれる。なお、自車両1を基準として水平方向(車幅方向)をX方向とし、鉛直方向をY方向とし、奥行き方向(進行方向)をZ方向とする。
壁面設定部162は、まず、自車両1の前方左端A、自車両1の前方右端B、対象物2の左端C、対象物2の右端Dおよび対象物2の最近端EのXZ平面における座標を特定する(座標特定工程)(S300)。自車両1の前方左端Aおよび前方右端Bの座標は、予め記憶された自車両1の車幅から特定される。
対象物2の左端Cおよび右端Dは、対象物2における自車両1から視認された左端および右端(輝度画像126および距離画像128での左端および右端)であり、対象物2の絶対的な端部ではなく、自車両1から見た相対的な端部である。対象物2の左端Cについては、輝度画像126から当該左端Cの位置が特定され、距離画像128における当該左端Cに対応するブロックの視差情報から当該左端Cの自車両1に対するZ方向の相対距離が特定される。また、距離画像128における当該左端Cに対応するブロックの水平位置から当該左端Cの自車両1に対するX方向の相対距離が特定される。これにより、当該左端Cの実空間における座標が特定される。同様に、対象物2の右端Dについては、輝度画像126から当該右端Dの位置が特定され、距離画像128における当該右端Dに対応するブロックの視差情報から当該右端Dの自車両1に対するZ方向の相対距離が特定される。また、距離画像128における当該右端Dに対応するブロックの水平位置から当該右端Dの自車両1に対するX方向の相対距離が特定される。これにより、当該右端Dの実空間における座標が特定される。
対象物2の最近端Eは、対象物2において、自車両1に対するZ方向の相対距離が最も短い部分である。距離画像128における自車両1の車幅の範囲内の領域において、対象物2のブロックのうち、視差情報から算出した自車両1に対するZ方向の相対距離が最も短いブロックが対象物2の最近端Eとして特定される。特定されたブロックの視差情報から当該最近端Eの自車両1に対するZ方向の相対距離が特定される。特定されたブロックの水平位置から当該最近端Eの自車両1に対するX方向の相対距離が特定される。これにより、当該最近端Eの実空間における座標が特定される。
次に、壁面設定部162は、自車両1の前方左端Aの座標と、対象物2の右端Dの座標とから、自車両1の前方左端Aと対象物2の右端Dとを結ぶ補助線LAD(第1補助線)を算出する(第1補助線算出工程)(S302)。この補助線LADは、自車両1が対象物2を避けるには自車両1がどれだけ右に動けばよいか(右に旋回すればよいか)を表す。
次に、壁面設定部162は、自車両1の前方右端Bの座標と、対象物2の左端Cの座標とから、自車両1の前方右端Bと対象物2の左端Cとを結ぶ補助線LBC(第2補助線)を算出する(第2補助線算出工程)(S304)。この補助線LBCは、自車両1が対象物2を避けるには自車両1がどれだけ左に動けばよいか(左に旋回すればよいか)を表す。
次に、壁面設定部162は、最近端Eの座標から、最近端Eを含み、自車両1の進行方向(Z方向)に垂直な平面SEを算出する(平面算出工程)(S306)。
次に、壁面設定部162は、補助線LADと平面SEとから、補助線LADと平面SEとが交わる交点PR(第1交点)の座標を特定し、補助線LBCと平面SEとから、補助線LBCと平面SEとが交わる交点PL(第2交点)の座標を特定する(交点算出工程)(S308)。
次に、壁面設定部162は、交点PRと交点PLとの間に壁面Wを設定する(壁面決定工程)(S310)。具体的には、壁面設定部162は、進行方向に垂直な姿勢で最近端Eの位置に配置され、交点PRと交点PLとの距離DRLを壁幅とする壁面Wを設定する。つまり、交点PRが壁面Wの右端WRとなり、交点PLが壁面Wの左端WLとなる。なお、壁面Wの理解を容易にするために、図6では壁面Wをクロスハッチングした領域で表示しているため、壁面WにZ方向の厚みがあるようにも見える。しかし、実際には、壁面Wは、平面であり、Z方向の厚みがないものとして取り扱う。
次に、壁面設定部162は、すべての対象物2について壁面Wの設定が完了したか否かを判断する(S312)。その結果、すべての対象物2について壁面Wの設定が完了していれば(S312におけるYES)、壁面設定部162は、壁面設定処理S202を終了する。一方、すべての対象物2について壁面Wの設定が完了していなければ(S312におけるNO)、壁面設定部162は、まだ壁面Wの設定を行っていない対象物2を対象として壁面設定処理S202を繰り返す(S300)。
このようにして、壁面設定部162は、検出領域124内のすべての対象物2について、所定の位置(具体的には、最近端Eの位置)および幅(具体的には、距離DRL)の壁面Wを設定する。
(衝突判定処理S204)
衝突判定部164は、壁面設定処理S202で設定したすべての壁面Wについて、自車両1がそれらの壁面Wを、制動を行わずに避けることができるか否かを判定する。具体的には、まず、衝突判定部164は、自車両1が制動を行わずに壁面Wの右端WRよりも右側を壁面Wに接触せずに通り過ぎることができるか否かを判定する。次に、衝突判定部164は、自車両1が制動を行わずに壁面Wの左端WLよりも左側を壁面Wに接触せずに通り過ぎることができるか否かを判定する。つまり、自車両1がこの後に右または左に旋回して壁面Wを避けることができるか否かが判定される。そして、衝突判定部164は、右端WRよりも右側を通り過ぎることができないと判定され、かつ、左端WLよりも左側を通りすぎることができないと判定された場合、制動を行わなければ壁面Wを避けることができないと判定する。右端WRよりも右側を通り過ぎることができるか否かの判定および左端WLよりも左側を通り過ぎることができるか否かの判定の具体的な計算については、既存の衝突判定技術を用いることができる。
(AEB処理S206)
制動を行わなければ壁面Wを避けることができない旨の判定がされると、AEB制御部166は、AEB作動指示を示す信号を車両制御装置130に送信する。車両制御装置130は、AEB作動指示を示す信号を受信すると、制動機構146を制御して緊急ブレーキをかける。これにより、自車両1は、壁面Wに衝突する前に停止し、壁面W(すなわち、対象物2)との衝突が回避される。
(対象物のバリエーション)
図7〜図10は、対象物2のバリエーションが変わった場合の概略図である。図7は、対象物2が歩行者である場合を示している。図8は、対象物2が自転車である場合を示している。図9は、図6に比べ、対象物2が自車両1に対して遠方にある場合を示している。図10は、対象物2が、右手前から左斜め前方に延在する建物(例えば、家の壁など)である場合を示している。壁面設定部162は、図7〜図10のように対象物2のバリエーションが変わったとしても、図6の対象物2が先行車両である場合と同様の設定方法によって壁面Wを設定する。
例えば、図10の場合、壁面設定部162は、対象物2の自車両1に対してZ方向の相対距離が最も近い最近端Eの位置に、自車両1に対して右側にシフトしたような壁面Wを設定する。この場合、自車両1は、壁面Wの右端WRよりも右側を通って壁面Wを避けることに比べ、壁面Wの左端WLよりも左側を通った方が壁面Wを避け易い。このため、壁面Wの左端WLよりも左側を通って壁面Wを避けることができるうちは、緊急ブレーキが作動しない。
また、車外環境認識装置120は、時々刻々、車外環境認識処理を繰り返し行う。これにより、対象物2に設定する壁面Wの位置および幅が、時々刻々と変化し、その都度、衝突判定がなされ、緊急ブレーキを作動するか否かが決定される。例えば、図10の状態から自車両1が左に旋回した場合、自車両1の進行方向に対する対象物2の延在方向の傾斜角が小さくなり、壁面Wは、自車両1に対してさらに右側にシフトする。そして、自車両1が左に旋回を続け、対象物2との衝突を回避した場合、この間には緊急ブレーキは作動されない。
(効果)
図11は、車外環境認識装置120の効果を説明するための説明図である。図11(a)〜図11(c)は、本実施形態に対する比較例を示し、図11(d)は、本実施形態を示す。図11において、対象物2は先行車両であり、先行車両は、自車両1に対して右斜め前方に向いた姿勢で存在している。
図11(a)の例では、最近端Eの位置に、対象物2の左端Cと対象物2の右端Dとの距離DCDを壁幅とする壁面Wαが設定されている。自車両1が対象物2である先行車両の右脇を通り過ぎようとした場合、その右脇部分に壁面Wαがあるため、自車両1がその右脇部分に近づくと、壁面Wαを避けることができないと判定されて、緊急ブレーキが作動することとなる。このため、この例では、自車両1が対象物2の脇を安全に通り過ぎることができるにもかかわらず、過度に緊急ブレーキを作動させてしまう。
図11(b)の例では、最近端Eの位置に、最近端Eのブロックの幅を壁幅とする壁面Wβが設定されている。対象物2である先行車両が右斜め前方に傾いた姿勢で存在しているため、最近端Eは先行車両の後面の一部分であり、壁面Wβの幅は、本実施形態の壁面Wに比べ、狭い。これにより、自車両1が壁面Wβを避けることができない旨の判定は、自車両1が壁面Wβにかなり近づかないとされない。このため、この例では、緊急ブレーキの作動がなかなかされず、対象物2との衝突を回避するのが遅れたり、衝突を回避することができないおそれがある。
図11(c)の例では、対象物2の左端Cの位置に、対象物2を進行方向に垂直な面で切断したときの切断面の幅を壁幅とする壁面Wγが設定されている。対象物2である先行車両が右斜め前方に傾いた姿勢で存在するため、壁面Wγは、最近端Eよりも前方の位置(すなわち、最近端Eよりも自車両1から離れた位置)にある。このため、この例では、自車両1が壁面Wγを避ける前に最近端Eに接触したり、自車両1が緊急ブレーキによって停止する前に最近端Eに接触するおそれがある。
これらの比較例(図11(a)〜図11(c))に対し、本実施形態(図11(d))では、最近端Eの位置に配置され、交点PRを右端WRとし、交点PLを左端WLとする壁面Wが設定される。右端WRは、補助線LAD上にあるため、自車両1は、壁面Wの右端WRよりも右側を通り過ぎることができれば、対象物2の右端Dに接触せずに対象物2の右側を通り過ぎることができる。同様に、左端WLは、補助線LBC上にあるため、自車両1は、壁面Wの左端WLよりも左側を通り過ぎることができれば、対象物2の左端Cに接触せずに対象物2の左側を通り過ぎることができる。
また、本実施形態では、衝突判定処理S204において、制動を行わなければ壁面Wを避けることができないと判定されると、AEB処理S206によって緊急ブレーキが作動する。壁面Wは、対象物2の最近端Eの位置にあるため、自車両1は、緊急ブレーキによって壁面Wに到達する前に停止することで、対象物2に接触する前に停止することができる。
また、本実施形態では、補助線LAD上に壁面Wの右端WRがあるため、自車両1は、壁面Wの右端WRよりも右側を通り過ぎることができる場合、対象物2の右側を通り過ぎることができ、壁面Wの右端WRよりも右側を通り過ぎることができない場合、対象物2の右側を通り過ぎることができない。同様に、補助線LBC上に壁面Wの左端WLがあるため、自車両1は、壁面Wの左端WLよりも左側を通り過ぎることができる場合、対象物2の左側を通り過ぎることができ、壁面Wの左端WLよりも左側を通り過ぎることができない場合、対象物2の左側を通り過ぎることができない。このため、本実施形態では、自車両1が対象物2の横を安全に通り過ぎることができる状態(衝突の可能性が非常に低い状態)にもかかわらず、過度に緊急ブレーキが作動することはない。
したがって、本実施形態の車外環境認識装置120は、先行車両などの対象物の姿勢に依らず、その対象物との衝突回避判断に用いる情報(すなわち、壁面W)を適切に設定することができる。その結果、衝突判断結果と実際の衝突の有無とに乖離が生じるのを低減することができ、緊急ブレーキを適切に作動させることができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
上記実施形態において、壁面設定部162は、対象物2の左端C、右端Dおよび最近端Eの座標を、距離画像128を用いて特定していた。しかし、対象物2の左端C、右端Dおよび最近端Eの座標を特定する具体的な態様は、これに限らない。例えば、壁面設定部162は、対象物2の左端C、右端Dおよび最近端Eの座標を、レーダを用いて特定してもよい。
上記実施形態において、壁面設定部162は、補助線LAD、補助線LBCおよび平面SEの順に求め、交点PRおよび交点PLを求めていた。しかし、交点PRおよび交点PLを算出できればよいため、補助線LAD、補助線LBCおよび平面SEの算出順はこれに限らない。
また、コンピュータを車外環境認識装置120として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ROM、CD、DVD、BD等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理される必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
本発明は、車外環境に応じて車両の衝突回避制御を行う車外環境認識装置および車外環境認識方法に利用できる。
1 自車両
2 対象物
A 前方左端
B 前方右端
C 左端
D 右端
E 最近端
LAD、LBC 補助線
SE 平面
PR、PL 交点
W 壁面
WR 右端
WL 左端

Claims (7)

  1. コンピュータが、
    自車両の前方の検出領域における対象物を特定する対象物特定部と、
    前記対象物における前記自車両に対する前記自車両の進行方向の相対距離が最も短い最近端に位置し、前記自車両が走行態様によっては回避不可能な壁面を設定する壁面設定部
    として機能する車外環境認識装置。
  2. 前記壁面は、前記最近端を含み、前記自車両の進行方向に垂直な面であり、前記自車両の前方左端と前記対象物の右端とを結ぶ第1補助線との交点を右端とし、前記自車両の前方右端と前記対象物の左端とを結ぶ第2補助線との交点を左端とする面である請求項1に記載の車外環境認識装置。
  3. 前記壁面設定部は、車外環境を撮像する撮像装置によって生成された輝度画像と、前記輝度画像から生成され、視差情報が対応付けられた距離画像とを用いて、前記対象物の右端、前記対象物の左端および前記最近端の座標を特定する請求項2に記載の車外環境認識装置。
  4. 自車両の前方の検出領域における対象物を特定する対象物特定工程と、
    前記対象物における前記自車両に対する前記自車両の進行方向の相対距離が最も短い最近端に位置し、前記自車両が走行態様によっては回避不可能な壁面を設定する壁面設定工程と
    を有する車外環境認識方法。
  5. 前記壁面は、前記最近端を含み、前記自車両の進行方向に垂直な面であり、前記自車両の前方左端と前記対象物の右端とを結ぶ第1補助線との交点を右端とし、前記自車両の前方右端と前記対象物の左端とを結ぶ第2補助線との交点を左端とする面である請求項4に記載の車外環境認識方法。
  6. 前記壁面設定工程は、
    前記自車両の前方左端と前記対象物の右端とを結ぶ第1補助線を算出する第1補助線算出工程と、
    前記自車両の前方右端と前記対象物の左端とを結ぶ第2補助線を算出する第2補助線算出工程と、
    前記最近端を含み、前記自車両の進行方向に垂直な平面を算出する平面算出工程と、
    前記第1補助線と前記平面との第1交点および前記第2補助線と前記平面との第2交点を算出する交点算出工程と、
    前記第1交点を右端とし、前記第2交点を左端とする面を壁面として決定する壁面決定工程と、
    を有する請求項4に記載の車外環境認識方法。
  7. 前記壁面設定工程は、車外環境を撮像する撮像装置によって生成された輝度画像と、前記輝度画像から生成され、視差情報が対応付けられた距離画像とを用いて、前記対象物の右端、前記対象物の左端および前記最近端の座標を特定する座標特定工程を有する請求項5または6に記載の車外環境認識方法。
JP2017114441A 2017-06-09 2017-06-09 車外環境認識装置および車外環境認識方法 Active JP6564423B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017114441A JP6564423B2 (ja) 2017-06-09 2017-06-09 車外環境認識装置および車外環境認識方法
US15/967,085 US10922835B2 (en) 2017-06-09 2018-04-30 Vehicle exterior environment recognition apparatus and vehicle exterior environment recognition method
CN201810460140.5A CN109017775B (zh) 2017-06-09 2018-05-15 车外环境识别装置及车外环境识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017114441A JP6564423B2 (ja) 2017-06-09 2017-06-09 車外環境認識装置および車外環境認識方法

Publications (2)

Publication Number Publication Date
JP2018206305A true JP2018206305A (ja) 2018-12-27
JP6564423B2 JP6564423B2 (ja) 2019-08-21

Family

ID=64562406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017114441A Active JP6564423B2 (ja) 2017-06-09 2017-06-09 車外環境認識装置および車外環境認識方法

Country Status (3)

Country Link
US (1) US10922835B2 (ja)
JP (1) JP6564423B2 (ja)
CN (1) CN109017775B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7521862B2 (ja) 2020-10-02 2024-07-24 株式会社Subaru 運転支援装置
US12065142B2 (en) 2021-03-25 2024-08-20 Subaru Corporation Vehicle traveling control apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018115334B3 (de) * 2018-06-26 2019-05-09 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Kalibrieren einer elektromagnetische Strahlung abstrahlenden Vorrichtung mittels einer Sensoreinheit

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265451A (ja) * 2007-07-17 2007-10-11 Matsushita Electric Works Ltd 車両用障害物検知装置
JP2013109457A (ja) * 2011-11-18 2013-06-06 Fuji Heavy Ind Ltd 車外環境認識装置および車外環境認識方法
JP2017033152A (ja) * 2015-07-30 2017-02-09 富士重工業株式会社 車両の運転支援装置
US20170057499A1 (en) * 2015-09-01 2017-03-02 Mando Corporation Driving assistance apparatus and driving assistance method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8381982B2 (en) * 2005-12-03 2013-02-26 Sky-Trax, Inc. Method and apparatus for managing and controlling manned and automated utility vehicles
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
JP4400634B2 (ja) * 2007-02-28 2010-01-20 トヨタ自動車株式会社 衝突予測装置
JP4706711B2 (ja) * 2008-03-25 2011-06-22 パナソニック電工株式会社 駐車空間監視装置
JP5113656B2 (ja) 2008-07-18 2013-01-09 本田技研工業株式会社 車両の走行安全装置
KR101079391B1 (ko) * 2010-02-18 2011-11-02 김지현 차량에서의 벽 투과 레이더를 이용한 충돌 방지 시스템 및 방법
JP5276140B2 (ja) * 2011-05-19 2013-08-28 富士重工業株式会社 環境認識装置および環境認識方法
JP2016536703A (ja) * 2013-09-05 2016-11-24 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 後方レーダセンサからのデータに基づく高度車線逸脱警告
US10007998B2 (en) * 2015-03-20 2018-06-26 Ricoh Company, Ltd. Image processor, apparatus, and control system for correction of stereo images
JP6396838B2 (ja) * 2015-03-31 2018-09-26 株式会社デンソー 車両制御装置、及び車両制御方法
JP6747176B2 (ja) * 2016-08-25 2020-08-26 株式会社リコー 画像処理装置、撮影装置、プログラム、機器制御システム及び機器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265451A (ja) * 2007-07-17 2007-10-11 Matsushita Electric Works Ltd 車両用障害物検知装置
JP2013109457A (ja) * 2011-11-18 2013-06-06 Fuji Heavy Ind Ltd 車外環境認識装置および車外環境認識方法
JP2017033152A (ja) * 2015-07-30 2017-02-09 富士重工業株式会社 車両の運転支援装置
US20170057499A1 (en) * 2015-09-01 2017-03-02 Mando Corporation Driving assistance apparatus and driving assistance method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7521862B2 (ja) 2020-10-02 2024-07-24 株式会社Subaru 運転支援装置
US12065142B2 (en) 2021-03-25 2024-08-20 Subaru Corporation Vehicle traveling control apparatus

Also Published As

Publication number Publication date
CN109017775A (zh) 2018-12-18
JP6564423B2 (ja) 2019-08-21
CN109017775B (zh) 2022-10-18
US20180357782A1 (en) 2018-12-13
US10922835B2 (en) 2021-02-16

Similar Documents

Publication Publication Date Title
JP6078116B2 (ja) 車両の運転支援装置
JP6222785B2 (ja) 操舵支援装置
JP5849040B2 (ja) 車両の運転支援制御装置
JP6564424B2 (ja) 車両制御装置
JP5886809B2 (ja) 車外環境認識装置
JP5906224B2 (ja) 車外環境認識装置
JP6174644B2 (ja) 画像処理装置
JP6564423B2 (ja) 車外環境認識装置および車外環境認識方法
WO2013035828A1 (ja) 車両の旋回を予測する装置及び方法
US20150039202A1 (en) Vehicle exterior environment recognition device
JPH1069598A (ja) 車両の衝突防止装置
JP2007204044A (ja) 車両用運転操作補助装置
JP6970540B2 (ja) 車外環境認識装置および車外環境認識方法
JP4661602B2 (ja) 後方車両解析装置及び衝突予測装置
JP2019001298A (ja) 衝突判定装置
CN109308442B (zh) 车外环境识别装置
JP4768499B2 (ja) 車載周辺他車検出装置
JP7522616B2 (ja) 車外環境認識装置
JP2018206314A (ja) 車両制御装置
JP6402673B2 (ja) 運転支援装置
JP6378594B2 (ja) 車外環境認識装置
JP7049188B2 (ja) 車両制御装置、車両制御方法およびプログラム
CN112606839A (zh) 车外环境识别装置
JP2004110346A (ja) 車両用運転操作補助装置、車両用運転操作補助方法、およびその方法を適用した車両
JP5890816B2 (ja) フィルタリング装置および環境認識システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190726

R150 Certificate of patent or registration of utility model

Ref document number: 6564423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250