JP2018132897A - 車載環境認識装置 - Google Patents
車載環境認識装置 Download PDFInfo
- Publication number
- JP2018132897A JP2018132897A JP2017025301A JP2017025301A JP2018132897A JP 2018132897 A JP2018132897 A JP 2018132897A JP 2017025301 A JP2017025301 A JP 2017025301A JP 2017025301 A JP2017025301 A JP 2017025301A JP 2018132897 A JP2018132897 A JP 2018132897A
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- parallax
- matching
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 claims abstract description 80
- 238000005259 measurement Methods 0.000 claims abstract description 69
- 238000004364 calculation method Methods 0.000 claims abstract description 39
- 238000004458 analytical method Methods 0.000 claims description 136
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000006866 deterioration Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 47
- 238000000034 method Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 27
- 238000001514 detection method Methods 0.000 description 26
- 230000008859 change Effects 0.000 description 19
- 238000000605 extraction Methods 0.000 description 18
- 239000000725 suspension Substances 0.000 description 13
- 239000007787 solid Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004141 dimensional analysis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000010426 asphalt Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 102220637010 Actin-like protein 7A_S10T_mutation Human genes 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 102200048773 rs2224391 Human genes 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/759—Region-based matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
<図1 車載環境認識装置 概要>
図1に第1の実施形態による車載環境認識装置の構成図を示す。左右に平行に並べられたカメラを、ステレオカメラとして利用し、車載周囲環境を認識する。ステレオカメラ100では、左右のカメラから撮像された左右の画像を取得する。左右の画像を利用して視差画像生成部200にて、ステレオマッチングを実施、視差画像を生成する。ステレオカメラでは、左右画像に映る同一物体の同一箇所を特定することで、三角測量の原理に基づいた3次元計測を実施する。
ウィンドウ内特徴量解析部300は、ステレオマッチングウィンドウ内のテクスチャ量やテクスチャの偏りについて解析する。本実施形態では、FPGAのハードウェア処理にてこれらの解析を実施している。このため、ステレオマッチングのタイミングとは別途、右画像に対して、画像の横方向に輝度変化のある横エッジ抽出と、画像上の縦方向に輝度変化のある縦エッジ抽出をエッジ抽出部310が実施する。
図3の凹凸補正部400について、説明する。
最後に、図4に示す警報制御部500について説明する。警報制御部500は、上記路面形状解析結果と、立体物検知結果に応じて、ドライバーに危険や注意を促す警報、制御、不快な運転を抑制するための速度制御やサスペンションの制御を実施する。路面形状の解析において、速度抑制用のBUMPや、段差などがあり、現状の自車挙動のまま突入すると衝撃が大きいと判断された場合には、速度抑制のための緩いブレーキもしくはサスペンションの硬さの制御、もしくはサスペンションの長さの制御、いずれかを実施することで、自車両に生じる衝撃を軽減することが可能となる。
S01:まず、ステレオカメラ100は、左右画像を撮像する。
第2の実施形態では、全体処理がフルソフトウェア処理(CPUによる処理)だった場合について記す。もちろん、この第2の実施形態の一部の機能のみがハードウェア処理になっても良い。ただし、ソフトウェア処理が得意とするように途中の計算結果の値に応じて後処理の手法を変更するなど、ソフトウェア処理の方が効率的と考えるソフトウェア構造となる。
特徴強度解析部もしくは信頼度計算の結果を利用して、それらの出力が変化する領域を抽出し、この領域にのみ特徴量の偏り解析を実施することで処理負荷を大幅に軽減することを特徴とする車載環境認識装置。
テクスチャに偏りがあると判定された場合には、誤差の大きな計測点は3次元形状を解析するには悪影響と考えて、測量点を削除してから3次元形状を解析する
ことを特徴とする車載環境認識装置。
上記(1)〜(9)によれば、車両に設置されたステレオカメラを利用して、ステレオマッチングを実施し、視差画像から路面の3次元形状を計測する際に、ステレオマッチングのために利用するマッチングウィンドウ内のテクスチャの偏りによって生じる3次元計測距離の誤差が発生することをマッチングウィンドウ内のテクスチャ解析により特定し、その計測点を無効、もしくは誤差のある計測点を補正、もしくは高精度化する。これにより物体の高さ情報など大きさ情報を、物体と背景のテクスチャの偏りによる影響を抑制し、高精度に3次元形状を計測することを可能とする。
200…視差画像生成部
300…ウィンドウ内特徴量解析部
310…エッジ抽出部
320…ウィンドウ設定部
330…特徴強度解析部
340…特徴偏り解析部
350…信頼度計算部
360…補正領域抽出部
400…凹凸補正部
410…距離算出部
420…視差重心補正部
430…局所マッチング部
440…無効視差追加部
450…路面形状解析部
460…立体物検知部
500…警報制御部
510…警報部
520…速度制御部
530…サスペンション制御部
1100…ステレオカメラ
1200…ソフト視差画像生成部
1300…ウィンドウ内特徴量解析部
1310…エッジ抽出部
1320…ウィンドウ設定部
1340…特徴偏り解析部
1400…補正部
1420…視差重心補正部
1430…局所マッチング部
1440…無効視差判定部
1500…視差、距離計測部
1510…信頼度計算部
1520…視差画像生成部
1530…3次元形状計測部
1600…3次元解析検知部
1650…路面形状解析部
1660…立体物検知部
1700…警報制御部
Claims (8)
- 1対の第1画像及び第2画像を撮像する撮像部と、
前記第2画像の領域とそれに最も類似する前記第1画像の領域の間の視差に基づいて、前記第2画像の領域の着目画素の奥行きを示す距離を算出する距離算出部と、
前記第2画像の領域が、画像特徴の占有率が第1閾値未満である第1領域と前記画像特徴の占有率が第1閾値以上である第2領域に分割できる場合、前記第2画像の領域を前記第1領域と前記第2領域に分割して前記第1領域と前記第2領域ごとに視差を算出する、又は前記第2画像の領域の着目画素の位置を補正する補正部と、
を備えることを特徴とする車載環境認識装置。 - 請求項1に記載の車載環境認識装置であって、
前記画像特徴は、
エッジである
ことを特徴とする車載環境認識装置。 - 請求項1に記載の車載環境認識装置であって、
前記第2画像の領域が、画像特徴の占有率が第1閾値未満である第1領域と前記画像特徴の占有率が第1閾値以上である第2領域に分割できる場合、
前記領域の視差を無効とする無効視差追加部を備える
ことを特徴とする車載環境認識装置。 - 請求項1に記載の車載環境認識装置であって、
前記第2画像の領域のエッジの量を、前記第2画像の縦方向又は横方向に投影したヒストグラムを用いて、前記第2画像の領域が、前記第1領域と前記第2領域に分割できるか否かを判定する特徴偏り解析部を備える
ことを特徴とする車載環境認識装置。 - 請求項4に記載の車載環境認識装置であって、
前記特徴偏り解析部は、
前記第2画像の領域の前記エッジの強度の絶対値の平均が第2閾値以上であり、且つ前記第2画像の領域の前記エッジの量が第3閾値以上である場合、前記第2画像の領域が、前記第1領域と前記第2領域に分割できるか否かを判定し、
前記第2画像の領域の前記エッジの強度の絶対値の平均が第2閾値未満である、又は前記第2画像の領域の前記エッジの量が第3閾値未満である場合、前記第2画像の領域が、前記第1領域と前記第2領域に分割できるか否かを判定しない
ことを特徴とする車載環境認識装置。 - 請求項1に記載の車載環境認識装置であって、
前記補正部は、
前記第2画像の領域のエッジの平均位置を算出し、前記第2画像の領域の前記着目画素の位置を前記平均位置に補正する視差重心補正部を含む
ことを特徴とする車載環境認識装置。 - 上記、請求項1に記載のステレオカメラにおいて、
マッチングウィンドウ内のテクスチャに偏りがあると判定された場合に、上記マッチングウィンドウを複数個のより小さなマッチングウィンドウに分割して、再度、ステレオマッチングを実施することでより誤差の少ない3次元計測を実施することを特徴とする車載環境認識装置。 - 1対の第1画像及び第2画像を撮像する撮像部と、
前記第2画像の領域が、画像特徴の占有率が第1閾値未満である第1領域と前記画像特徴の占有率が第1閾値以上である第2領域に分割できる場合、前記第2画像の領域を前記第1領域と前記第2領域に分割して前記第1領域と前記第2領域ごとに視差を算出する、又は前記第2画像の領域の着目画素の位置を補正し、前記第2画像の領域が、前記第1領域と前記第2領域に分割できない場合、前記第2画像の領域とそれに最も類似する前記第1画像の領域の間の視差に基づいて、距離を算出するプロセッサと、
を備える車載環境認識装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017025301A JP6846230B2 (ja) | 2017-02-14 | 2017-02-14 | 車載制御装置及び車載環境認識装置 |
EP18754956.3A EP3584763A4 (en) | 2017-02-14 | 2018-02-05 | VEHICLE MOUNTED ENVIRONMENTAL DETECTING DEVICE |
PCT/JP2018/003738 WO2018150921A1 (ja) | 2017-02-14 | 2018-02-05 | 車載環境認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017025301A JP6846230B2 (ja) | 2017-02-14 | 2017-02-14 | 車載制御装置及び車載環境認識装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018132897A true JP2018132897A (ja) | 2018-08-23 |
JP2018132897A5 JP2018132897A5 (ja) | 2020-08-06 |
JP6846230B2 JP6846230B2 (ja) | 2021-03-24 |
Family
ID=63169286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017025301A Active JP6846230B2 (ja) | 2017-02-14 | 2017-02-14 | 車載制御装置及び車載環境認識装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3584763A4 (ja) |
JP (1) | JP6846230B2 (ja) |
WO (1) | WO2018150921A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020040515A (ja) * | 2018-09-11 | 2020-03-19 | 本田技研工業株式会社 | 車両走行制御装置 |
WO2021245972A1 (ja) * | 2020-06-05 | 2021-12-09 | 日立Astemo株式会社 | 演算装置、視差算出方法 |
WO2022190314A1 (ja) * | 2021-03-11 | 2022-09-15 | 日本電気株式会社 | 画像解析装置、画像解析方法及びプログラムが格納されたコンピュータ可読媒体 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111681255B (zh) * | 2020-08-17 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 一种对象识别方法和相关装置 |
CN117214908B (zh) * | 2023-10-10 | 2024-05-10 | 深圳市宇讯通光电有限公司 | 一种基于智能裁缆机械的定位控制方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07167649A (ja) * | 1993-12-14 | 1995-07-04 | Mitsubishi Electric Corp | 距離測定装置 |
WO2004038660A1 (ja) * | 2002-10-22 | 2004-05-06 | Toyota Jidosha Kabushiki Kaisha | 画像処理方法および画像処理装置 |
JP2009237652A (ja) * | 2008-03-26 | 2009-10-15 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001351200A (ja) | 2000-06-09 | 2001-12-21 | Nissan Motor Co Ltd | 車載用物体検知装置 |
KR101579100B1 (ko) * | 2014-06-10 | 2015-12-22 | 엘지전자 주식회사 | 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량 |
-
2017
- 2017-02-14 JP JP2017025301A patent/JP6846230B2/ja active Active
-
2018
- 2018-02-05 WO PCT/JP2018/003738 patent/WO2018150921A1/ja unknown
- 2018-02-05 EP EP18754956.3A patent/EP3584763A4/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07167649A (ja) * | 1993-12-14 | 1995-07-04 | Mitsubishi Electric Corp | 距離測定装置 |
WO2004038660A1 (ja) * | 2002-10-22 | 2004-05-06 | Toyota Jidosha Kabushiki Kaisha | 画像処理方法および画像処理装置 |
JP2009237652A (ja) * | 2008-03-26 | 2009-10-15 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020040515A (ja) * | 2018-09-11 | 2020-03-19 | 本田技研工業株式会社 | 車両走行制御装置 |
WO2021245972A1 (ja) * | 2020-06-05 | 2021-12-09 | 日立Astemo株式会社 | 演算装置、視差算出方法 |
JP7521939B2 (ja) | 2020-06-05 | 2024-07-24 | 日立Astemo株式会社 | 演算装置、視差算出方法 |
WO2022190314A1 (ja) * | 2021-03-11 | 2022-09-15 | 日本電気株式会社 | 画像解析装置、画像解析方法及びプログラムが格納されたコンピュータ可読媒体 |
Also Published As
Publication number | Publication date |
---|---|
EP3584763A4 (en) | 2020-12-16 |
EP3584763A1 (en) | 2019-12-25 |
JP6846230B2 (ja) | 2021-03-24 |
WO2018150921A1 (ja) | 2018-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018150921A1 (ja) | 車載環境認識装置 | |
US8204278B2 (en) | Image recognition method | |
US10339396B2 (en) | Vehicle accessibility determination device | |
JP5267596B2 (ja) | 移動体検出装置 | |
JP5754470B2 (ja) | 路面形状推定装置 | |
JP2016148962A (ja) | 物体検知装置 | |
CN107491065B (zh) | 利用障碍物的地面边界信息检测物体的侧面的方法和装置 | |
JP6021689B2 (ja) | 車両諸元計測処理装置、車両諸元計測方法及びプログラム | |
JP2017162116A (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP2013140515A (ja) | 立体物検出装置及びプログラム | |
JP7050763B2 (ja) | カメラ画像からのオブジェクトの検出 | |
CN108629225B (zh) | 一种基于多幅子图与图像显著性分析的车辆检测方法 | |
US10380743B2 (en) | Object identifying apparatus | |
US11889047B2 (en) | Image processing device and image processing method | |
JP6361313B2 (ja) | 車両検出方法及び装置 | |
JP6451858B2 (ja) | 段差検出装置及び段差検出方法 | |
JP6069938B2 (ja) | 飛び出し検出装置 | |
US10789727B2 (en) | Information processing apparatus and non-transitory recording medium storing thereon a computer program | |
JP5786793B2 (ja) | 車両検出装置 | |
WO2017022079A1 (ja) | 段差検出装置及び段差検出方法 | |
CN112513573B (zh) | 立体摄像机装置 | |
JP5798078B2 (ja) | 車両用外界認識装置とそれを用いた車両システム | |
JP7058128B2 (ja) | 情報処理装置およびプログラム | |
JP2004362334A (ja) | 移動体領域検出装置 | |
JP4743277B2 (ja) | 画像データ認識方法、画像処理装置および画像データ認識プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200623 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6846230 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |