JP2013196401A - 道路環境認識装置 - Google Patents
道路環境認識装置 Download PDFInfo
- Publication number
- JP2013196401A JP2013196401A JP2012062998A JP2012062998A JP2013196401A JP 2013196401 A JP2013196401 A JP 2013196401A JP 2012062998 A JP2012062998 A JP 2012062998A JP 2012062998 A JP2012062998 A JP 2012062998A JP 2013196401 A JP2013196401 A JP 2013196401A
- Authority
- JP
- Japan
- Prior art keywords
- road environment
- environment recognition
- recognition device
- road
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims 2
- 238000000034 method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】複数の撮像部から取得した画像情報に基づいて視差情報を算出する視差算出部104と、画像情報を奥行き方向に所定の領域毎に分割する処理領域分割部106と、画像情報又は視差情報に基づいて道路環境を認識する道路環境認識部107と、道路環境に基づいて処理領域分割部で分割された処理領域毎に、進行路を推定する進行路推定部108と、進行路の信頼度を求める最終評価部109と、を有する構成とする。
【選択図】 図1
Description
図1は、本発明に係る道路環境認識装置の実施例を示す図である。
本実施例では、2つの撮像部101,102を用いて視差画像を取得するステレオカメラを用いる。2つの撮像部101,102によって取得された2つの濃淡画像は画像メモリ103に格納される。格納された濃淡画像は、視差算出部104にて撮像部101と撮像部102の位置の違いから生じる視差を算出する処理を行う。算出された視差は、算出済み視差格納部105に格納される。画像メモリ103に保存された濃淡画像を、処理領域分割部106で画面の領域(区分)毎に分割する。分割された領域毎に、環境認識部107で白線、路面高さなどの道路環境を認識する。道路環境が認識されると、分割された領域毎に、進行路推定部108にて進行路推定を行う。推定された進行路に対して、最終評価部109にて全体の評価を行い、最終出力を行う。
ステレオカメラでは、2つの撮像部101,102で同一計測点を撮像した際に、2つの撮像画像に生じる視差(見え方の違い)を用いて、三角測量の原理で計測点までの距離を求めることができる。例えば、撮像部101,102のレンズ1012,1022から計測点までの距離をZ[mm]、撮像部101,102間の距離をb[mm]、レンズ1012,1022の焦点距離をf[mm]、視差をδ[mm]とすると、計測点までの距離Z[mm]は下記の式(1)で求めることができる。
図3は、図1の道路環境認識装置の道路推定処理の流れを示すフローチャートで、以下、各ステップについて説明する。
ステップS12では、進行可能性方向を設定する。進行可能性方向とは、取得した舵角、ヨーレートといった自車挙動情報から推定した進行方向と、今回処理区間の1つ手前の処理結果により推定された進行方向の組み合わせによる。組み合わせ方法は両者の単純平均としても良いし、1つ手前の処理結果に基づいて推定された進行方向の信頼度に応じた加重平均としても良い。
ステップS14では、ステップS13で探索した白線の点数化を行う。白線の位置や角度、鮮明さといった要素により、白線の信頼度を判定し、それを点数化する。
100−(A×|W/2−x(m)|)×(B×θ)×(C×b) …(2)
と、評価する。A、B、Cは加重係数とする。
(イ)白線が左右とも検出されている場合は、その左右白線間
(ロ)白線が片方しか検出されていない場合は、検出されている側の白線を一端とした標準車線幅
(ハ)白線が左右とも検出されていない場合は、自車進行方向線を中央とした標準車線幅
とすることを基本とし、適宜その端位置をずらしても良い。
l/d×cosθ …(3)
という式で表すことができる。
以下ステップS24、ステップS25は、最終評価部109の処理を記す。
ステップS24では、これまでの処理で算出した進行路全体の整形を行う。
信頼度評価は、例えば、検出した各区間の進行路をスプライン処理にて滑らかに連結し、最終的な進行路とする。または、各区間の進行路をそれぞれの信頼度で加重平均したものを用いて回帰線を引き、この回帰線を最終的な進行路とする。回帰線の形状は直線、数次曲線、円弧など、その形状は問わない。または、この他の統計的処理を用いても良いし、元々の各区間の進行路相互が滑らかに接続されている場合などには処理を行わなくても良い。
信頼度はそれまでに算出した各区間の信頼度の合計によっても良いし、最終的な進行路と元々検出した各区間の進行路との変位の大きさによっても良いし、その組み合わせでも良い。または、自車近傍の区間の方が、信頼度が高い場合は、区間毎に信頼度を算出しても良い。このようにすることで、信頼度が高い区分の検出結果を有効に活用することができる。
103 画像メモリ
104 視差算出部
105 算出済み視差格納部
106 処理領域分割部
107 環境認識部
108 進行路推定部
109 最終評価部
Claims (12)
- 複数の撮像部から取得した画像情報に基づいて視差情報を算出する視差算出部と、
前記画像情報を奥行き方向に所定の領域毎に分割する処理領域分割部と、
前記画像情報又は前記視差情報に基づいて道路環境を認識する道路環境認識部と、
前記道路環境に基づいて前記処理領域分割部で分割された前記領域毎に、進行路を推定する進行路推定部と、
前記進行路の信頼度を求める評価部と、を有する道路環境認識装置。 - 請求項1記載の道路環境認識装置において、
検出した自車挙動情報から推定した自車の進行方向と、過去の処理結果により推定した自車の進行方向と、に基づいて自車の進行可能性方向を推定する道路環境認識装置。 - 請求項1記載の道路環境認識装置において、
前記処理領域分割部は、前記画像情報の検出対象空間を奥行き方向の距離ごとに区分する道路環境認識装置。 - 請求項2記載の道路環境認識装置において、
前記道路環境認識部は、前記進行可能性方向の中から車線区分線の探索を行う道路環境認識装置。 - 請求項4記載の道路環境認識装置において、
前記道路環境認識部は、前記車線区分線の信頼度を判定し、前記信頼度から点数化する道路環境認識装置。 - 請求項5記載の道路環境認識装置において、
前記視差情報に対して、前記進行可能性方向に存在する視差データを抽出し、抽出された視差データの集合から頻度分布を生成する道路環境認識装置。 - 請求項6記載の道路環境認識装置において、
前記道路環境認識部は、前記頻度分布により、前記道路環境である路面高さを推定し(S17)、推定された路面高さと前記車線区分線の整合性評価を行う道路環境認識装置。 - 請求項6記載の道路環境認識装置において、
前記道路環境認識部は、前記進行可能性方向に沿って存在する轍、車輪痕、又は舗装の皹の視覚情報を抽出する道路環境認識装置。 - 請求項6記載の道路環境認識装置において、
前記進行路推定部は、前記処理領域分割部で分割された処理領域毎に、前記視覚情報の評価点数と角度を求め、前記評価点数と前記角度に基づいて進行路を推定する道路環境認識装置。 - 請求項9記載の道路環境認識装置において、
前記進行路と前記車線区分線の総合評価を行い、前記進行路の信頼度を求める道路環境認識装置。 - 請求項9記載の道路環境認識装置において、
現在の処理領域に対して、更に自車より遠方に進行路が存在するか否かの判定を行う道路環境認識装置。 - 請求項10記載の道路環境認識装置において、
検出した処理領域毎の前記進行路をスプライン処理にて滑らかに連結し、最終的な最終進行路を生成する道路環境認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012062998A JP5746996B2 (ja) | 2012-03-21 | 2012-03-21 | 道路環境認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012062998A JP5746996B2 (ja) | 2012-03-21 | 2012-03-21 | 道路環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013196401A true JP2013196401A (ja) | 2013-09-30 |
JP5746996B2 JP5746996B2 (ja) | 2015-07-08 |
Family
ID=49395251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012062998A Active JP5746996B2 (ja) | 2012-03-21 | 2012-03-21 | 道路環境認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5746996B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015219178A (ja) * | 2014-05-20 | 2015-12-07 | 国立大学法人電気通信大学 | 区画線検出システム |
JP2018088151A (ja) * | 2016-11-29 | 2018-06-07 | 株式会社Soken | 境界線推定装置 |
JP2020507829A (ja) * | 2017-01-26 | 2020-03-12 | モービルアイ ビジョン テクノロジーズ リミテッド | 整合画像及びlidar情報に基づいた車両ナビゲーション |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09319872A (ja) * | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | 道路白線検出装置と曲率半径計算装置とナビゲーション装置 |
JP2006018688A (ja) * | 2004-07-02 | 2006-01-19 | Toyota Motor Corp | 道路環境認識方法及び道路環境認識装置 |
JP2007265038A (ja) * | 2006-03-28 | 2007-10-11 | Pasuko:Kk | 道路画像解析装置及び道路画像解析方法 |
JP2009139325A (ja) * | 2007-12-10 | 2009-06-25 | Mazda Motor Corp | 車両用走行路面検出装置 |
JP2010225126A (ja) * | 2009-03-25 | 2010-10-07 | Ihi Corp | 移動経路計画装置、移動体制御装置及び移動体 |
JP2011128844A (ja) * | 2009-12-17 | 2011-06-30 | Fuji Heavy Ind Ltd | 路面形状認識装置 |
-
2012
- 2012-03-21 JP JP2012062998A patent/JP5746996B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09319872A (ja) * | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | 道路白線検出装置と曲率半径計算装置とナビゲーション装置 |
JP2006018688A (ja) * | 2004-07-02 | 2006-01-19 | Toyota Motor Corp | 道路環境認識方法及び道路環境認識装置 |
JP2007265038A (ja) * | 2006-03-28 | 2007-10-11 | Pasuko:Kk | 道路画像解析装置及び道路画像解析方法 |
JP2009139325A (ja) * | 2007-12-10 | 2009-06-25 | Mazda Motor Corp | 車両用走行路面検出装置 |
JP2010225126A (ja) * | 2009-03-25 | 2010-10-07 | Ihi Corp | 移動経路計画装置、移動体制御装置及び移動体 |
JP2011128844A (ja) * | 2009-12-17 | 2011-06-30 | Fuji Heavy Ind Ltd | 路面形状認識装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015219178A (ja) * | 2014-05-20 | 2015-12-07 | 国立大学法人電気通信大学 | 区画線検出システム |
JP2018088151A (ja) * | 2016-11-29 | 2018-06-07 | 株式会社Soken | 境界線推定装置 |
JP2020507829A (ja) * | 2017-01-26 | 2020-03-12 | モービルアイ ビジョン テクノロジーズ リミテッド | 整合画像及びlidar情報に基づいた車両ナビゲーション |
JP7157054B2 (ja) | 2017-01-26 | 2022-10-19 | モービルアイ ビジョン テクノロジーズ リミテッド | 整合画像及びlidar情報に基づいた車両ナビゲーション |
JP2022185089A (ja) * | 2017-01-26 | 2022-12-13 | モービルアイ ビジョン テクノロジーズ リミテッド | 整合画像及びlidar情報に基づいた車両ナビゲーション |
US11953599B2 (en) | 2017-01-26 | 2024-04-09 | Mobileye Vision Technologies Ltd. | Vehicle navigation based on aligned image and LIDAR information |
JP7509501B2 (ja) | 2017-01-26 | 2024-07-02 | モービルアイ ビジョン テクノロジーズ リミテッド | 整合画像及びlidar情報に基づいた車両ナビゲーション |
Also Published As
Publication number | Publication date |
---|---|
JP5746996B2 (ja) | 2015-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109017780B (zh) | 一种车辆智能驾驶控制方法 | |
US9846812B2 (en) | Image recognition system for a vehicle and corresponding method | |
CN103164851B (zh) | 道路分割物检测方法和装置 | |
US9569673B2 (en) | Method and device for detecting a position of a vehicle on a lane | |
US9460352B2 (en) | Lane boundary line recognition device | |
Labayrade et al. | In-vehicle obstacles detection and characterization by stereovision | |
US20130335569A1 (en) | Vehicle with improved traffic-object position detection | |
CN103679120B (zh) | 不平道路的检测方法和系统 | |
EP2928178B1 (en) | On-board control device | |
JP2021510227A (ja) | 衝突前アラートを提供するためのマルチスペクトルシステム | |
Liu et al. | Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions | |
WO2018116841A1 (ja) | 物体検出装置 | |
CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
KR101035761B1 (ko) | 차선 인식을 위한 영상 처리 방법 및 시스템 | |
KR101448506B1 (ko) | 선행차량의 거동을 이용한 주행 차로의 곡률 측정 방법 및 장치 | |
JP4940177B2 (ja) | 交通流計測装置 | |
JP2015069289A (ja) | 車線認識装置 | |
JP4937844B2 (ja) | 歩行者検出装置 | |
WO2019065970A1 (ja) | 車両用外界認識装置 | |
Petrovai et al. | A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices | |
JP4939137B2 (ja) | 車線認識装置 | |
JP2016173711A (ja) | 走行区画線認識装置 | |
JP4956099B2 (ja) | 壁検出装置 | |
JP5746996B2 (ja) | 道路環境認識装置 | |
JP6115429B2 (ja) | 自車位置認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150414 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5746996 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |