JP2019067115A - 路面検出装置 - Google Patents
路面検出装置 Download PDFInfo
- Publication number
- JP2019067115A JP2019067115A JP2017191566A JP2017191566A JP2019067115A JP 2019067115 A JP2019067115 A JP 2019067115A JP 2017191566 A JP2017191566 A JP 2017191566A JP 2017191566 A JP2017191566 A JP 2017191566A JP 2019067115 A JP2019067115 A JP 2019067115A
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- information
- parallax
- gradient
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 9
- 238000012887 quadratic function Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 33
- 239000000284 extract Substances 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 25
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 4
- 230000000994 depressogenic effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/076—Slope angle of the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
車両に搭載されており、
ステレオカメラを用いて車両前方の領域を撮像する撮像手段(11、ステップ602)と、
前記撮像手段(11)によって撮像された撮像画像に基づいて当該撮像画像を構成する各画素の視差を含む視差情報を算出する視差情報算出手段(ステップ604)と、
前記視差情報に基づいて前記撮像画像の前記画素のうち路面に対応している画素を抽出し、前記抽出した画素が有する情報に基いて3次元座標軸において路面を表す情報を路面情報として取得する路面情報取得手段(ステップ608)と、
前記路面の勾配を二次関数で近似した路面勾配式(y=a・z2+b・z+c)を前記路面を表す情報に基いて算出する路面勾配式算出手段(ステップ610)と、
前記路面勾配式の二次の項の係数の絶対値(|a|)が所定の係数閾値(Cth)より大きいか否かを判定する勾配変化判定手段(ステップ612)と、
前記勾配変化判定手段により前記絶対値(|a|)が前記係数閾値(Cth)より大きいと判定された場合(ステップ612:Yes)、前記路面を表す情報を無効化する無効化手段(ステップ614)と、
を備える。
次に、実施装置の作動の詳細について説明する。なお、視差画像の生成方法及び路面視差点の推定方法は周知であるため、これらについては簡単な説明に留める。詳細については、特開2016−206776号公報(米国特許出願公開第2016305785号明細書)を参照されたい。
実施装置のECU10は、自車両の図示しないエンジンスイッチ(イグニッション・キー・スイッチ)がオン状態へと変更されてからオフ状態へと変更されるまでの期間(以下、「エンジンオン期間」とも称する。)、所定時間(演算周期)が経過する毎に、カメラセンサ11から出力された左画像信号及び右画像信号に基づいて視差画像を生成する。視差画像の生成には、例えば、Semi-Global Matchingの手法が用いられ得る。視差画像を構成する各画素(視差点)には、当該画素の視差を含む視差情報が対応付けられている。
ECU10は、エンジンオン期間中、所定時間が経過する毎に、視差画像中の各視差点が路面視差点であるか、路面視差点以外の視差点であるかを推定する。以下、推定方法の一例を簡単に説明する。図2Aは視差投票マップ20の平面図を示し、図2Bは視差投票マップ20の斜視図を示す。視差投票マップ20は、そのRAMに予め設けられている。図2A及び図2Bに示すように、視差投票マップ20は、横方向の辺が視差画像の横方向(車幅方向)の位置に対応し、縦方向の辺が視差画像の縦方向の位置に対応し、奥行き方向の辺が視差の大きさに対応するように配列された複数の直方体形状のブロック22を備える。
ECU10は、エンジンオン期間中、所定時間が経過する毎に、路面視差点に基づいて路面を表す情報を路面情報として取得する。具体的には、ECU10は、視差画像中の路面視差点の座標(u,v)を以下の式(1)乃至式(3)に則って3次元座標(z,x,y)に変換する。ここで、z、x、yは、それぞれ奥行き方向(車両前後軸方向)の成分、横方向(車幅方向)の成分、高さ方向の成分を表す。なお、この高さ方向は、視差画像及び視差投票マップ20の縦方向に対応する。加えて、式中のBはカメラセンサ11の左カメラと右カメラとの距離(光軸間距離)を表し、fは両カメラの焦点距離を表し、dは視差点に対応付けられた視差情報に含まれる視差を表す。この3次元座標の点群が路面を表す情報に相当する。即ち、ECU10は、視差画像中の路面視差点を3次元座標に変換することにより、路面を表す情報を取得する。ECU10は、変換された路面視差点の3次元座標をそのRAMに格納する。
z=B・f/d…(1)
x=u・f/z…(2)
y=v・f/z…(3)
ECU10は、エンジンオン期間中、所定時間が経過する毎に、路面を表す情報に基づいて、自車両前方に存在する路面の勾配を二次関数で近似した路面勾配式を算出する。具体的には、ECU10は、図4に示すように、自車両の位置を基準としたときの路面視差点の奥行き方向(z方向)の距離と高さ方向(y方向)の距離との関係を規定したグラフを作成する。このグラフは、横軸がz方向を表し、縦軸がy方向を表しており、視差投票マップ20内の全ての路面視差点の座標のz成分及びy成分をプロットすることにより作成される。
路面勾配式(y=a・z2+b・z+c)の二次の項(最高次数の項)の係数aには、路面の勾配変化が反映される。路面が自車両の現在位置に対して上方に盛り上がっている場合、その勾配変化が大きくなるほど(勾配が急に変化するほど)係数aは大きくなる。一方、路面が自車両の現在位置に対して下方に落ち窪んでいる場合、その勾配変化が大きくなるほど(勾配が急に変化するほど)係数aは小さくなる(即ち、係数aが負の値となって、係数aの絶対値が大きくなる。)。路面の勾配が上方又は下方にあまりに急に変化する場合、当該路面は自車両の走行路面として適切とは言えない。そこで、ECU10は、路面勾配式を利用して、エンジンオン期間中、所定時間が経過する毎に、自車両前方に存在する路面の勾配変化が走行路面として適切であるか否かを判定する勾配変化判定を行う。
ECU10は、エンジンオン期間中、所定時間が経過する毎に、勾配変化判定の判定結果に基づいて、路面情報を無効化するか否かを決定する。具体的には、ECU10は、ある演算タイミングにおいて勾配変化判定により路面の勾配変化が走行路面として適切ではないと判定した場合、路面情報には「実際に路面である可能性が低い領域を示す情報」が含まれていると判定し、当該路面情報を無効化する。この場合、ECU10は、「当該演算タイミングにおいて路面は検出されていない(当該路面情報は無効である)」という最終的な検出結果を衝突回避制御装置13に出力する。一方、ECU10は、ある演算タイミングにおいて勾配変化判定により路面の勾配変化が走行路面として適切であると判定した場合、路面情報には「実際に路面である可能性が低い領域を示す情報」が含まれていない判定し、当該路面情報を無効化しない。この場合、ECU10は、この路面情報を当該演算タイミングにおいて検出された路面情報であると見なし、当該路面情報を最終的な検出結果として衝突回避制御装置13に出力する。ECU10は、路面情報の最終的な検出結果をそのRAMに格納する。
次に、ECU10の実際の作動について説明する。ECU10のCPUは、エンジンオン期間中、図6にフローチャートにより示したルーチンを所定時間(演算周期)が経過する毎に実行するようになっている。
ステップ602:CPUは、カメラセンサ11から左画像信号及び右画像信号を受信する。即ち、左画像及び右画像を含む撮像画像を取得する。
ステップ604:CPUは、撮像画像から視差画像を生成する。
ステップ606:CPUは、視差画像中の各視差点が路面視差点であるか、路面視差点以外の視差点であるかを推定する。
ステップ608:CPUは、路面視差点に基づいて路面情報を取得する。
ステップ610:CPUは、路面情報に基づいて路面勾配式を算出する。
ステップ616:CPUは、「当該演算タイミングにおいて路面は検出されていない(当該路面情報は無効である)」という最終的な検出結果を衝突回避制御装置13に出力する。この結果、衝突回避制御装置13は、衝突回避制御として自動操舵制御を選択せず、警報制御及び自動制動制御の少なくとも一方を実行する。
Claims (1)
- 車両に搭載された路面検出装置であって、
ステレオカメラを用いて車両前方の領域を撮像する撮像手段と、
前記撮像手段によって撮像された撮像画像に基づいて当該撮像画像を構成する各画素の視差を含む視差情報を算出する視差情報算出手段と、
前記視差情報に基づいて前記撮像画像の前記画素のうち路面に対応している画素を抽出し、前記抽出した画素が有する情報に基いて3次元座標軸において路面を表す情報を路面情報として取得する路面情報取得手段と、
前記路面の勾配を二次関数で近似した路面勾配式を前記路面を表す情報に基いて算出する路面勾配式算出手段と、
前記路面勾配式の二次の項の係数の絶対値が所定の係数閾値より大きいか否かを判定する勾配変化判定手段と、
前記勾配変化判定手段により前記絶対値が前記係数閾値より大きいと判定された場合、前記路面を表す情報を無効化する無効化手段と、
を備えた、
路面検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017191566A JP6849569B2 (ja) | 2017-09-29 | 2017-09-29 | 路面検出装置 |
US16/144,556 US10953885B2 (en) | 2017-09-29 | 2018-09-27 | Road surface detecting apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017191566A JP6849569B2 (ja) | 2017-09-29 | 2017-09-29 | 路面検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019067115A true JP2019067115A (ja) | 2019-04-25 |
JP6849569B2 JP6849569B2 (ja) | 2021-03-24 |
Family
ID=65895919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017191566A Active JP6849569B2 (ja) | 2017-09-29 | 2017-09-29 | 路面検出装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10953885B2 (ja) |
JP (1) | JP6849569B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020203287A1 (ja) | 2019-03-29 | 2020-10-08 | 三井化学東セロ株式会社 | 電子装置の製造方法および粘着性フィルム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11059480B2 (en) * | 2019-04-26 | 2021-07-13 | Caterpillar Inc. | Collision avoidance system with elevation compensation |
CN115205809B (zh) * | 2022-09-15 | 2023-03-24 | 北京中科慧眼科技有限公司 | 路面凹凸度检测方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003312412A (ja) * | 2002-04-23 | 2003-11-06 | Toyota Motor Corp | 駐車支援装置および自動操舵装置 |
JP2015075800A (ja) * | 2013-10-07 | 2015-04-20 | 日立オートモティブシステムズ株式会社 | 物体検出装置及びそれを用いた車両 |
JP2016206776A (ja) * | 2015-04-17 | 2016-12-08 | トヨタ自動車株式会社 | 路面検出装置 |
JP2016205887A (ja) * | 2015-04-17 | 2016-12-08 | トヨタ自動車株式会社 | 路面勾配検出装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5441549B2 (ja) * | 2009-07-29 | 2014-03-12 | 日立オートモティブシステムズ株式会社 | 道路形状認識装置 |
JP5752618B2 (ja) | 2012-02-10 | 2015-07-22 | トヨタ自動車株式会社 | ステレオ視差算出装置 |
JP6110256B2 (ja) * | 2013-08-21 | 2017-04-05 | 株式会社日本自動車部品総合研究所 | 対象物推定装置および対象物推定方法 |
MX357830B (es) * | 2014-08-04 | 2018-07-26 | Nissan Motor | Aparato de cálculo de la posición propia y método de cálculo de la posición propia. |
JP2017199178A (ja) * | 2016-04-27 | 2017-11-02 | Kyb株式会社 | 路面状態検出装置 |
JP6712775B2 (ja) * | 2016-08-12 | 2020-06-24 | パナソニックIpマネジメント株式会社 | 路面推定装置、車両制御装置、路面推定方法、およびプログラム |
-
2017
- 2017-09-29 JP JP2017191566A patent/JP6849569B2/ja active Active
-
2018
- 2018-09-27 US US16/144,556 patent/US10953885B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003312412A (ja) * | 2002-04-23 | 2003-11-06 | Toyota Motor Corp | 駐車支援装置および自動操舵装置 |
JP2015075800A (ja) * | 2013-10-07 | 2015-04-20 | 日立オートモティブシステムズ株式会社 | 物体検出装置及びそれを用いた車両 |
JP2016206776A (ja) * | 2015-04-17 | 2016-12-08 | トヨタ自動車株式会社 | 路面検出装置 |
JP2016205887A (ja) * | 2015-04-17 | 2016-12-08 | トヨタ自動車株式会社 | 路面勾配検出装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020203287A1 (ja) | 2019-03-29 | 2020-10-08 | 三井化学東セロ株式会社 | 電子装置の製造方法および粘着性フィルム |
Also Published As
Publication number | Publication date |
---|---|
US20190100215A1 (en) | 2019-04-04 |
US10953885B2 (en) | 2021-03-23 |
JP6849569B2 (ja) | 2021-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10345443B2 (en) | Vehicle cruise control apparatus and vehicle cruise control method | |
JP6936098B2 (ja) | 対象物推定装置 | |
JPWO2017158958A1 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
WO2016117603A1 (ja) | 車両の走行制御装置及び走行制御方法 | |
JP2010003254A (ja) | 画像処理装置 | |
JP6363518B2 (ja) | 区画線認識装置 | |
JP6769477B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP2019067116A (ja) | 立体物接地判定装置 | |
JP6547785B2 (ja) | 物標検出装置 | |
US8160300B2 (en) | Pedestrian detecting apparatus | |
JP6816401B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6722084B2 (ja) | 物体検出装置 | |
JP6815963B2 (ja) | 車両用外界認識装置 | |
JP4948996B2 (ja) | 車両の運転支援装置 | |
JP6849569B2 (ja) | 路面検出装置 | |
JP7071154B2 (ja) | 道路境界検出装置 | |
JP2020148470A (ja) | 路面検出装置 | |
JP6609292B2 (ja) | 車外環境認識装置 | |
US10857998B2 (en) | Vehicle control device operating safety device based on object position | |
EP3287948B1 (en) | Image processing apparatus, moving body apparatus control system, image processing method, and program | |
JP5717416B2 (ja) | 運転支援制御装置 | |
JP4703963B2 (ja) | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 | |
JP6259239B2 (ja) | 車両用白線認識装置 | |
EP3540643A1 (en) | Image processing apparatus and image processing method | |
JP6259238B2 (ja) | 車両用白線認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210304 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6849569 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |