JP2022016359A - 道路ミラー検出システム及び方法 - Google Patents
道路ミラー検出システム及び方法 Download PDFInfo
- Publication number
- JP2022016359A JP2022016359A JP2021112734A JP2021112734A JP2022016359A JP 2022016359 A JP2022016359 A JP 2022016359A JP 2021112734 A JP2021112734 A JP 2021112734A JP 2021112734 A JP2021112734 A JP 2021112734A JP 2022016359 A JP2022016359 A JP 2022016359A
- Authority
- JP
- Japan
- Prior art keywords
- image
- road
- act
- region
- road scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
110 画像取得部
120 消失点決定部
122 消失点幾何学的計算部
124 消失点レーンマーク決定部
126 光学的フローライン領域識別部
128 光学的フローライン収束決定部
130 光学的フローライン決定部
140 光学的フローライン分析部
142 画像リサイザ
150 道路ミラー画像決定部
152 光学的フローライン密度決定部
160 道路シーン
162 中心
164 1次消失点
166 レーンマーク
168 地平線
170 上部
172 下部
174 第1の領域
176 光学的フローライン
178 第2の領域
180 光学的フローライン
182 第3の領域
184 光学的フローライン
186 第4の領域
188 光学的フローライン
190 道路車両
200 道路ミラー検出方法
202 ステップ
204 ステップ
206 ステップ
208 ステップ
210 消失点決定ステップ
212 消失点決定ステップ
214 消失点決定ステップ
216 消失点決定ステップ
218 ステップ
220 ステップ
222 ステップ
224 ステップ
226 ステップ
228 ステップ
230 ステップ
232 ステップ
234 ステップ
236 ステップ
238 ステップ
240 ステップ
242 ステップ
244 ステップ
246 ステップ
248 ステップ
250 ステップ
252 ステップ
254 ステップ
256 ステップ
258 ステップ
Claims (25)
- 道路ミラー検出方法(200)であって、
道路シーンの画像を得る行為と、
前記道路シーンの前記画像内の光学的フローラインを決定する行為と、
前記道路シーンの前記画像内の前記光学的フローラインを分析する行為と、
前記道路シーンの前記画像内の前記光学的フローラインの前記分析に基づいて、前記道路シーンの前記画像が道路ミラーの画像を含むか否かを決定する行為と
を含む道路ミラー検出方法(200)。 - 前記光学的フローラインを決定する前記行為は、
光学的フローラインの第1のセットを含む、前記道路シーンの前記画像内の第1の領域を識別する行為と、
光学的フローラインの第2のセットを含む、前記道路シーンの前記画像内の第2の領域を識別する行為と
を含む、請求項1に記載の道路ミラー検出方法(200)。 - 前記道路シーンの前記画像内の前記第2の領域を識別する前記行為は、前記道路シーンの前記画像内の前記第1の領域内に少なくとも部分的にある、前記道路シーンの前記画像内の前記第2の領域を識別する行為を含む、請求項2に記載の道路ミラー検出方法(200)。
- 前記光学的フローラインを決定する前記行為は、前記道路シーンの前記画像内の前記第1の領域が、前記第2の領域よりも前記道路シーンの前記画像の大きい割合を占めるか否かを決定する行為を更に含む、請求項2又は3に記載の道路ミラー検出方法(200)。
- 前記光学的フローラインを分析する前記行為は、
前記光学的フローラインの第1のセットが実質的に点に収束するか否かを決定する行為と、
前記光学的フローラインの第2のセットが実質的に前記点に収束しないか否かを決定する行為と
を含む、請求項2~4のいずれか一項に記載の道路ミラー検出方法(200)。 - 前記光学的フローラインを分析する前記行為は、前記道路シーンの前記画像内の前記第2の領域を所定のピクセル数にリサイズする行為を更に含む、請求項2~5のいずれか一項に記載の道路ミラー検出方法(200)。
- 前記道路シーンの前記画像が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する行為を含む、請求項2~6のいずれか一項に記載の道路ミラー検出方法(200)。
- 前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記第2の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む、請求項7に記載の道路ミラー検出方法(200)。
- 前記道路シーンの前記画像内に含まれる消失点を決定する行為を更に含む、請求項1に記載の道路ミラー検出方法(200)。
- 前記消失点を決定する前記行為は、前記消失点の位置を幾何学的に計算する行為を含む、請求項9に記載の道路ミラー検出方法(200)。
- 前記消失点の前記位置を幾何学的に計算する前記行為は、前記道路シーンの前記画像の中心(162)を決定する行為を含む、請求項10に記載の道路ミラー検出方法(200)。
- 前記消失点を決定する前記行為は、前記道路シーンの前記画像内の道路上のレーンマーク(166)を検出する行為を含む、請求項9~11のいずれか一項に記載の道路ミラー検出方法(200)。
- 前記消失点を決定する前記行為は、光学的フローラインの第3のセットを含む、前記道路シーンの前記画像内の第3の領域を識別する行為を含み、前記道路シーンの前記画像の前記第3の領域は、前記消失点の下方に前記道路シーンの前記画像の下部(172)を含む、請求項9~12のいずれか一項に記載の道路ミラー検出方法(200)。
- 前記消失点を決定する前記行為は、前記光学的フローラインの第3のセットが実質的に前記消失点に収束するか否かを決定する行為を更に含む、請求項13に記載の道路ミラー検出方法(200)。
- 前記光学的フローラインを決定する前記行為は、光学的フローラインの第4のセットを含む、前記道路シーンの前記画像内の第4の領域を識別する行為を含み、前記道路シーンの前記画像の前記第4の領域は、前記消失点の上方に前記道路シーンの前記画像の上部(170)を含む、請求項9~14のいずれか一項に記載の道路ミラー検出方法(200)。
- 前記光学的フローラインを決定する前記行為は、
前記道路シーンの前記画像内の前記第4の領域に含まれる、前記道路シーンの前記画像内の第1の領域を識別する行為であって、前記道路シーンの前記画像内の前記第1の領域は、光学的フローラインの第1のセットを含む、行為と、
前記道路シーンの前記画像内の前記第4の領域に含まれる、前記道路シーンの前記画像内の第2の領域を識別する行為であって、前記道路シーンの前記画像内の前記第2の領域は、光学的フローラインの第2のセットを含む、行為と
を更に含む、請求項15に記載の道路ミラー検出方法(200)。 - 前記道路シーンの前記画像内の前記第2の領域を識別する前記行為は、前記道路シーンの前記画像内の前記第1の領域内に少なくとも部分的にある、前記道路シーンの前記画像内の前記第2の領域を識別する行為を含む、請求項16に記載の道路ミラー検出方法(200)。
- 前記光学的フローラインを決定する前記行為は、前記道路シーンの前記画像内の前記第1の領域が、前記第2の領域よりも前記道路シーンの前記画像の大きい割合を占めるか否かを決定する行為を更に含む、請求項16又は17に記載の道路ミラー検出方法(200)。
- 前記光学的フローラインを分析する前記行為は、
前記光学的フローラインの第1のセットが実質的に前記消失点に収束するか否かを決定する行為と、
前記光学的フローラインの第2のセットが実質的に前記消失点に収束しないか否かを決定する行為と
を含む、請求項16~18のいずれか一項に記載の道路ミラー検出方法(200)。 - 前記光学的フローラインを分析する前記行為は、前記道路シーンの前記画像内の前記第2の領域を所定のピクセル数にリサイズする行為を更に含む、請求項16~19のいずれか一項に記載の道路ミラー検出方法(200)。
- 前記道路シーンの前記画像が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する行為を含む、請求項16~20のいずれか一項に記載の道路ミラー検出方法(200)。
- 前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記第2の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む、請求項21に記載の道路ミラー検出方法(200)。
- 道路ミラー検出方法(200)であって、
道路シーンの画像を得る行為と、
前記道路シーンの前記画像に含まれる消失点を決定する行為であって、
前記消失点の位置を幾何学的に計算する行為であって、前記道路シーンの前記画像の中心(162)を決定する行為を含む行為と、
前記道路シーンの前記画像内の道路上のレーンマーク(166)を検出する行為と、
光学的フローラインの第3のセットを含む、前記道路シーンの前記画像内の第3の領域を識別する行為であって、前記道路シーンの前記画像の前記第3の領域は、前記消失点の下方に前記道路シーンの前記画像の下部(172)を含む、行為と、
前記光学的フローラインの第3のセットが実質的に前記消失点に収束するか否かを決定する行為と
を含む行為と、
前記道路シーンの前記画像内の光学的フローラインを決定する行為であって、
光学的フローラインの第4のセットを含む、前記道路シーンの前記画像内の第4の領域を識別する行為であって、前記道路シーンの前記画像の前記第4の領域は、前記消失点の上方に前記道路シーンの前記画像の上部(170)を含む、行為と、
前記道路シーンの前記画像内の前記第4の領域に含まれる、前記道路シーンの前記画像内の第1の領域を識別する行為であって、前記道路シーンの前記画像内の前記第1の領域は、光学的フローラインの第1のセットを含む、行為と、
前記道路シーンの前記画像内の前記第4の領域に含まれる、前記道路シーンの前記画像内の第2の領域を識別する行為であって、前記道路シーンの前記画像内の前記第2の領域は、光学的フローラインの第2のセットを含み、
前記道路シーンの前記画像内の前記第2の領域を識別する前記行為は、前記道路シーンの前記画像内の前記第1の領域内に少なくとも部分的にある、前記道路シーンの前記画像内の前記第2の領域を識別する行為を含む、行為と、
前記道路シーンの前記画像内の前記第1の領域が、前記第2の領域よりも前記道路シーンの前記画像の大きい割合を占めるか否かを決定する行為と
を更に含む行為と、
前記道路シーンの前記画像内の前記光学的フローラインを分析する行為であって、
前記光学的フローラインの第1のセットが実質的に前記消失点に収束するか否かを決定する行為と、
前記光学的フローラインの第2のセットが実質的に前記消失点に収束しないか否かを決定する行為と、
前記道路シーンの前記画像内の前記第2の領域を所定のピクセル数にリサイズする行為と
を含む行為と、
前記道路シーンの前記画像内の前記光学的フローラインの前記分析に基づいて、前記道路シーンの前記画像が道路ミラーの画像を含むか否かを決定する行為と
を含み、
前記道路シーンの前記画像が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する行為を含み、
前記道路シーンの前記画像内の前記第2の領域が前記道路ミラーの前記画像を含むか否かを決定する前記行為は、前記第2の領域内の光学的フローラインの密度が閾値を超えるか否かを決定する行為を含む、道路ミラー検出方法(200)。 - 道路ミラー検出システム(100)であって、
道路シーンの画像を得るように構成された画像取得部(110)と、
前記道路シーンの前記画像内の光学的フローラインを決定するように構成された光学的フローライン決定部(130)と、
前記道路シーンの前記画像内の前記光学的フローラインを分析するように構成された光学的フローライン分析部(140)と、
前記道路シーンの前記画像内の前記光学的フローラインの前記分析に基づいて、前記道路シーンの前記画像が道路ミラーの画像を含むか否かを決定するように構成された道路ミラー画像決定部(150)と
を含む道路ミラー検出システム(100)。 - 請求項24に記載の道路ミラー検出システム(100)を含む道路車両(190)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB2010474.1 | 2020-07-08 | ||
GB2010474.1A GB2598082A (en) | 2020-07-08 | 2020-07-08 | Road mirror detection system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022016359A true JP2022016359A (ja) | 2022-01-21 |
JP7128941B2 JP7128941B2 (ja) | 2022-08-31 |
Family
ID=72050347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021112734A Active JP7128941B2 (ja) | 2020-07-08 | 2021-07-07 | 道路ミラー検出システム及び方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7128941B2 (ja) |
GB (1) | GB2598082A (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008066953A (ja) * | 2006-09-06 | 2008-03-21 | Sanyo Electric Co Ltd | 画像監視装置 |
WO2009005025A1 (ja) * | 2007-07-03 | 2009-01-08 | Konica Minolta Holdings, Inc. | 移動物体検出装置 |
JP2010218361A (ja) * | 2009-03-18 | 2010-09-30 | Zenrin Co Ltd | 交通標識認識装置、交通標識認識方法、および、コンピュータプログラム |
JP2016110373A (ja) * | 2014-12-05 | 2016-06-20 | 株式会社デンソー | カーブミラー検出装置 |
JP2019050462A (ja) * | 2017-09-08 | 2019-03-28 | トヨタ自動車株式会社 | 映り込み判定装置及び撮影装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1033693B1 (en) * | 1999-03-01 | 2004-04-21 | Yazaki Corporation | Rear and side view monitor with camera for a vehicle |
JP3911983B2 (ja) * | 2000-09-28 | 2007-05-09 | 日産自動車株式会社 | 後方監視装置 |
JP2014106901A (ja) * | 2012-11-29 | 2014-06-09 | Aisin Seiki Co Ltd | 距離算出装置、衝突検出システム、距離算出方法、衝突検出方法、及びプログラム |
IT201600094858A1 (it) * | 2016-09-21 | 2018-03-21 | St Microelectronics Srl | Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo |
JP6944328B2 (ja) * | 2017-09-29 | 2021-10-06 | 株式会社デンソー | 車両の周辺監視装置と周辺監視方法 |
JP7135665B2 (ja) * | 2018-09-26 | 2022-09-13 | トヨタ自動車株式会社 | 車両制御システム、車両の制御方法及びコンピュータプログラム |
-
2020
- 2020-07-08 GB GB2010474.1A patent/GB2598082A/en active Pending
-
2021
- 2021-07-07 JP JP2021112734A patent/JP7128941B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008066953A (ja) * | 2006-09-06 | 2008-03-21 | Sanyo Electric Co Ltd | 画像監視装置 |
WO2009005025A1 (ja) * | 2007-07-03 | 2009-01-08 | Konica Minolta Holdings, Inc. | 移動物体検出装置 |
JP2010218361A (ja) * | 2009-03-18 | 2010-09-30 | Zenrin Co Ltd | 交通標識認識装置、交通標識認識方法、および、コンピュータプログラム |
JP2016110373A (ja) * | 2014-12-05 | 2016-06-20 | 株式会社デンソー | カーブミラー検出装置 |
JP2019050462A (ja) * | 2017-09-08 | 2019-03-28 | トヨタ自動車株式会社 | 映り込み判定装置及び撮影装置 |
Also Published As
Publication number | Publication date |
---|---|
GB202010474D0 (en) | 2020-08-19 |
GB2598082A (en) | 2022-02-23 |
JP7128941B2 (ja) | 2022-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11367217B2 (en) | Image processing method and apparatus, and related device | |
CN109271944B (zh) | 障碍物检测方法、装置、电子设备、车辆及存储介质 | |
KR102545105B1 (ko) | 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량 | |
US9123242B2 (en) | Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program | |
US11670087B2 (en) | Training data generating method for image processing, image processing method, and devices thereof | |
JP5407898B2 (ja) | 対象物検出装置及びプログラム | |
KR102029850B1 (ko) | 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법 | |
JP6450294B2 (ja) | 物体検出装置、物体検出方法、及びプログラム | |
CN110334678A (zh) | 一种基于视觉融合的行人检测方法 | |
CN106203272B (zh) | 确定可移动对象的移动的方法和装置 | |
KR20110001427A (ko) | 관심영역 추출에 의한 차선 고속검출 방법 | |
WO2020154990A1 (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
CN108416306B (zh) | 连续型障碍物检测方法、装置、设备和存储介质 | |
EP2743861A2 (en) | Method and device for detecting continuous object in disparity direction based on disparity map | |
WO2013116598A1 (en) | Low-cost lane marker detection | |
Petrovai et al. | A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices | |
Sebsadji et al. | Robust road marking extraction in urban environments using stereo images | |
JP2009245042A (ja) | 交通流計測装置及びプログラム | |
CN108629225B (zh) | 一种基于多幅子图与图像显著性分析的车辆检测方法 | |
KR101236223B1 (ko) | 차선 검출 방법 | |
JP5521217B2 (ja) | 障害物検出装置、及び障害物検出方法 | |
JP2019218022A (ja) | 線路検出装置 | |
KR20160125803A (ko) | 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법 | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
JP2016162130A (ja) | 横断歩道検出装置、横断歩道検出方法及び横断歩道検出用コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220727 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7128941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S631 | Written request for registration of reclamation of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313631 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |