JP2020534600A - 車線認識方法および装置、運転支援システムならびに車両 - Google Patents
車線認識方法および装置、運転支援システムならびに車両 Download PDFInfo
- Publication number
- JP2020534600A JP2020534600A JP2020514970A JP2020514970A JP2020534600A JP 2020534600 A JP2020534600 A JP 2020534600A JP 2020514970 A JP2020514970 A JP 2020514970A JP 2020514970 A JP2020514970 A JP 2020514970A JP 2020534600 A JP2020534600 A JP 2020534600A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- feature points
- image
- lane
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 33
- 238000003708 edge detection Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005352 clarification Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
2 カメラ装置
3 制御装置
4 運転支援システム
5 車両
11 インタフェース
12 演算装置
51 右側走行区画線
52 中央走行区画線
53 ガードレール
54 車両
F 車道
M1、M2 車道境界線
P1〜P15 特徴点
B1〜B3 切り出し画像
Ta1〜Ta4車道境界線の画像
Tb1〜Tb4車道境界線ではない物体の画像
Claims (15)
- 車線(F)認識方法において:
車両(5)のカメラ装置(2)を用いて車両周辺のカメラ画像(K)を撮影するステップ(S1)と;
前記撮影カメラ画像(K)内の特徴点(P1〜P15)を算出するステップ(S2)であって、前記特徴点(P1〜P15)は車道境界線(M1、M2)の可能性がある領域に対応する、ステップ(S2)と;
各特徴点(P1〜P15)の周囲に関して前記撮影カメラ画像(K)の切り出し画像を生成するステップ(S3)と;
前記特徴点(P1〜P15)を分類するニューラルネットワークを用いて前記切り出し画像を分析するステップ(S4)と;
前記分類された特徴点(P1〜P15)を考慮して前記車両周辺の車線を算出するステップ(S5)と、を備える、方法。 - 前記特徴点(P1〜P15)はエッジ検出用アルゴリズムを用いて算出される、請求項1に記載の方法。
- エッジ検出はソーベルフィルタの使用を含む、請求項2に記載の方法。
- 前記車道境界線(M1、M2)の可能性は走行区画線(51、52)を含む、請求項1〜3のいずれか1項に記載の方法。
- 前記ニューラルネットワークは畳み込みニューラルネットワークである、請求項1〜4のいずれか1項に記載の方法。
- 前記ニューラルネットワークはデータベースの所定の訓練データを用いて学習する、請求項1〜5のいずれか1項に記載の方法。
- 前記訓練データは車道境界線(M1、M2)の画像と、車道境界線(M1、M2)を示さない構造体の画像とを含む、請求項6に記載の方法。
- 前記画像は少なくとも一部が異なる輝度および/または時刻および/または天候条件において生成される、請求項7に記載の方法。
- 車道境界線に対応するとして分類された隣り合う特徴点(P1〜P15)の補間により車道境界線(M1、M2)の延在状態が算出されるのであって、前記車道境界線(M1、M2)の前記延在状態に基づいて前記車両(5)が走行可能な前記車線(F)が決定される、請求項1〜8のいずれか1項に記載の方法。
- 車線(F)認識装置(1)において:
車両(5)のカメラ装置(2)を用いて撮影される、前記車両(5)の車両周辺のカメラ画像(K)を受信するインタフェース(11)と;
演算装置(12)と、を備え、前記演算装置(12)は:
‐前記インタフェース(11)を用いて受信される前記カメラ画像(K)内の特徴点(P1〜P15)を算出するように構成されるのであって、前記特徴点(P1〜P15)は車道境界線(M1、M2)の可能性がある領域に対応し、
‐各特徴点(P1〜P15)の周囲に関して前記撮影カメラ画像(K)の切り出し画像を生成するように構成され、
‐前記特徴点(P1〜P15)を分類するニューラルネットワークを用いて前記切り出し画像を分析するように構成され、
‐前記分類された特徴点(P1〜P15)を考慮して前記車両周辺の車線(F)を算出するように構成される、装置(1)。 - 前記演算装置(12)は前記特徴点(P1〜P15)をエッジ検出用アルゴリズムを用いて算出する、請求項10に記載の装置(1)。
- 前記演算装置(12)はエッジ検出用にソーベルフィルタを用いる、請求項10または11に記載の装置(1)。
- 前記演算装置は、車道境界線(M1、M2)に対応するとして分類された隣り合う特徴点(P1〜P15)の補間により車道境界線(M1、M2)の延在状態が算出され、前記車道境界線(M1、M2)の前記延在状態に基づいて前記車両(5)が走行可能な前記車線(F)が決定されるように構成される、請求項10〜12のいずれか1項に記載の装置(1)。
- 車両(5)用運転支援システム(4)において、
前記車両(5)の車両周辺のカメラ画像(K)を撮影するように構成されるカメラ装置(2)と;
前記カメラ装置(2)により撮影された前記カメラ画像(K)に基づいて車線(F)を認識する、請求項10〜13のいずれか1項に記載の装置(1)と、を備える、運転支援システム(4)。 - 請求項14に記載の運転支援システム(4)を備える、車両(5)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017216802.1A DE102017216802A1 (de) | 2017-09-22 | 2017-09-22 | Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug |
DE102017216802.1 | 2017-09-22 | ||
PCT/DE2018/200078 WO2019057252A1 (de) | 2017-09-22 | 2018-08-31 | Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020534600A true JP2020534600A (ja) | 2020-11-26 |
JPWO2019057252A5 JPWO2019057252A5 (ja) | 2022-09-13 |
JP7548813B2 JP7548813B2 (ja) | 2024-09-10 |
Family
ID=63637607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020514970A Active JP7548813B2 (ja) | 2017-09-22 | 2018-08-31 | 車線を認識するための方法及び装置並びに運転支援システム及び車両 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11417117B2 (ja) |
JP (1) | JP7548813B2 (ja) |
CN (1) | CN111066024B (ja) |
DE (2) | DE102017216802A1 (ja) |
WO (1) | WO2019057252A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3933755A4 (en) * | 2019-03-01 | 2022-03-16 | NEC Corporation | CONTROL METHOD, LEARNING DEVICE, DISCRIMINATION DEVICE AND PROGRAM |
CN112164228A (zh) * | 2020-09-15 | 2021-01-01 | 深圳市点创科技有限公司 | 驾驶电动车未佩戴头盔行为检测方法、电子设备、存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08202877A (ja) * | 1995-01-31 | 1996-08-09 | Toyota Motor Corp | 画像認識装置 |
JP2007003298A (ja) * | 2005-06-22 | 2007-01-11 | Toyota Motor Corp | 道路モデル生成装置 |
US20090268948A1 (en) * | 2008-04-24 | 2009-10-29 | Gm Global Technology Operations, Inc. | Pixel-based texture-rich clear path detection |
CN104967885A (zh) * | 2015-03-27 | 2015-10-07 | 哈尔滨工业大学深圳研究生院 | 一种基于视频内容感知的广告推荐方法及系统 |
JP2015191372A (ja) * | 2014-03-27 | 2015-11-02 | トヨタ自動車株式会社 | 走路境界区画線検出装置 |
CN105046235A (zh) * | 2015-08-03 | 2015-11-11 | 百度在线网络技术(北京)有限公司 | 车道线的识别建模方法和装置、识别方法和装置 |
JP2015203992A (ja) * | 2014-04-14 | 2015-11-16 | 本田技研工業株式会社 | レーンマーク認識装置 |
CN105260699A (zh) * | 2015-09-10 | 2016-01-20 | 百度在线网络技术(北京)有限公司 | 一种车道线数据的处理方法及装置 |
US20170015317A1 (en) * | 2015-07-13 | 2017-01-19 | Cruise Automation, Inc. | Method for image-based vehicle localization |
CN107145904A (zh) * | 2017-04-28 | 2017-09-08 | 北京小米移动软件有限公司 | 图像类别的确定方法、装置及存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19926559A1 (de) | 1999-06-11 | 2000-12-21 | Daimler Chrysler Ag | Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung |
DE10127034A1 (de) * | 2001-06-02 | 2002-12-05 | Opel Adam Ag | Verfahren und Vorrichtung zur Ermittlung eines Spurverlaufs einer Fahrbahn |
US8670592B2 (en) * | 2008-04-24 | 2014-03-11 | GM Global Technology Operations LLC | Clear path detection using segmentation-based method |
US8773535B2 (en) * | 2010-12-08 | 2014-07-08 | GM Global Technology Operations LLC | Adaptation for clear path detection using reliable local model updating |
EP2549408A1 (de) * | 2011-07-20 | 2013-01-23 | Delphi Technologies, Inc. | Verfahren zur Detektion und Klassifikation von Objekten |
DE102011111856B4 (de) * | 2011-08-27 | 2019-01-10 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Detektion mindestens einer Fahrspur in einem Fahrzeugumfeld |
DE102011122310A1 (de) | 2011-12-23 | 2015-06-18 | Daimler Ag | Verfahren und Vorrichtung zur Erkennung von Fahrspurmarkierungen |
CN104036253A (zh) * | 2014-06-20 | 2014-09-10 | 智慧城市系统服务(中国)有限公司 | 一种车道线追踪方法及系统 |
DE102015209467A1 (de) | 2015-05-22 | 2016-11-24 | Continental Teves Ag & Co. Ohg | Verfahren zur Schätzung von Fahrstreifen |
US10124730B2 (en) | 2016-03-17 | 2018-11-13 | Ford Global Technologies, Llc | Vehicle lane boundary position |
US10545029B2 (en) * | 2016-12-30 | 2020-01-28 | DeepMap Inc. | Lane network construction using high definition maps for autonomous vehicles |
CN107092862A (zh) * | 2017-03-16 | 2017-08-25 | 浙江零跑科技有限公司 | 一种基于卷积神经网络的车道边缘检测方法 |
US10401866B2 (en) * | 2017-05-03 | 2019-09-03 | GM Global Technology Operations LLC | Methods and systems for lidar point cloud anomalies |
US10634317B2 (en) * | 2017-08-03 | 2020-04-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Dynamic control of vehicle lamps during maneuvers |
-
2017
- 2017-09-22 DE DE102017216802.1A patent/DE102017216802A1/de not_active Withdrawn
-
2018
- 2018-08-31 DE DE112018003499.2T patent/DE112018003499A5/de active Pending
- 2018-08-31 US US16/643,973 patent/US11417117B2/en active Active
- 2018-08-31 JP JP2020514970A patent/JP7548813B2/ja active Active
- 2018-08-31 CN CN201880054786.1A patent/CN111066024B/zh active Active
- 2018-08-31 WO PCT/DE2018/200078 patent/WO2019057252A1/de active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08202877A (ja) * | 1995-01-31 | 1996-08-09 | Toyota Motor Corp | 画像認識装置 |
JP2007003298A (ja) * | 2005-06-22 | 2007-01-11 | Toyota Motor Corp | 道路モデル生成装置 |
US20090268948A1 (en) * | 2008-04-24 | 2009-10-29 | Gm Global Technology Operations, Inc. | Pixel-based texture-rich clear path detection |
JP2015191372A (ja) * | 2014-03-27 | 2015-11-02 | トヨタ自動車株式会社 | 走路境界区画線検出装置 |
JP2015203992A (ja) * | 2014-04-14 | 2015-11-16 | 本田技研工業株式会社 | レーンマーク認識装置 |
CN104967885A (zh) * | 2015-03-27 | 2015-10-07 | 哈尔滨工业大学深圳研究生院 | 一种基于视频内容感知的广告推荐方法及系统 |
US20170015317A1 (en) * | 2015-07-13 | 2017-01-19 | Cruise Automation, Inc. | Method for image-based vehicle localization |
CN105046235A (zh) * | 2015-08-03 | 2015-11-11 | 百度在线网络技术(北京)有限公司 | 车道线的识别建模方法和装置、识别方法和装置 |
CN105260699A (zh) * | 2015-09-10 | 2016-01-20 | 百度在线网络技术(北京)有限公司 | 一种车道线数据的处理方法及装置 |
CN107145904A (zh) * | 2017-04-28 | 2017-09-08 | 北京小米移动软件有限公司 | 图像类别的确定方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
DE112018003499A5 (de) | 2020-04-30 |
CN111066024A (zh) | 2020-04-24 |
DE102017216802A1 (de) | 2019-03-28 |
US11417117B2 (en) | 2022-08-16 |
US20200410256A1 (en) | 2020-12-31 |
JP7548813B2 (ja) | 2024-09-10 |
CN111066024B (zh) | 2024-07-19 |
WO2019057252A1 (de) | 2019-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11318928B2 (en) | Vehicular automated parking system | |
US8670592B2 (en) | Clear path detection using segmentation-based method | |
US10147002B2 (en) | Method and apparatus for determining a road condition | |
JP5679461B2 (ja) | 有効車線区分線を確定する方法及び装置 | |
EP1930863B1 (en) | Detecting and recognizing traffic signs | |
US8634593B2 (en) | Pixel-based texture-less clear path detection | |
US10552706B2 (en) | Attachable matter detection apparatus and attachable matter detection method | |
US8452053B2 (en) | Pixel-based texture-rich clear path detection | |
US8751154B2 (en) | Enhanced clear path detection in the presence of traffic infrastructure indicator | |
JP4321821B2 (ja) | 画像認識装置及び画像認識方法 | |
CN114375467B (zh) | 用于检测紧急车辆的系统和方法 | |
US20100098295A1 (en) | Clear path detection through road modeling | |
CN109476309A (zh) | 高级驾驶辅助系统中的动态传感器范围 | |
JP2006208223A (ja) | 車両位置認識装置及び車両位置認識方法 | |
CN104185588A (zh) | 用于确定道路宽度的车载成像系统及方法 | |
US20140152432A1 (en) | Method for Detecting a Traffic Lane by Means of a Camera | |
JP5355209B2 (ja) | ナビゲーション装置、自車の走行車線の判定方法および判定プログラム | |
JP7548813B2 (ja) | 車線を認識するための方法及び装置並びに運転支援システム及び車両 | |
EP4113377A1 (en) | Use of dbscan for lane detection | |
US20240029389A1 (en) | Method and device for sensing the environment of a vehicle driving with at least semi-automation | |
Beresnev et al. | Automated Driving System based on Roadway and Traffic Conditions Monitoring. | |
JPWO2019057252A5 (ja) | ||
KR101608359B1 (ko) | 그림자 영상 영역 처리 장치 및 그 방법 | |
Berriel | Vision-Based Ego-Lane Analysis System: dataset and algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200707 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220629 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20220901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221130 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230331 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230828 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230906 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20231102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7548813 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |