JP2018017506A - 視差演算システム、移動体及びプログラム - Google Patents
視差演算システム、移動体及びプログラム Download PDFInfo
- Publication number
- JP2018017506A JP2018017506A JP2016145170A JP2016145170A JP2018017506A JP 2018017506 A JP2018017506 A JP 2018017506A JP 2016145170 A JP2016145170 A JP 2016145170A JP 2016145170 A JP2016145170 A JP 2016145170A JP 2018017506 A JP2018017506 A JP 2018017506A
- Authority
- JP
- Japan
- Prior art keywords
- cost
- pixel region
- unit
- parallax
- comparison image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 167
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 abstract description 2
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000000052 comparative effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000000758 substrate Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
基準画像内の基準画素領域の位置に対応する実空間のオブジェクトまでの距離を示す距離情報を取得する取得手段と、
前記基準画素領域と比較画像内の各画素領域との非類似度を算出する算出手段と、
算出された前記非類似度を合成することで得た合成結果に基づいて、前記基準画素領域に対応する前記比較画像内の対応画素領域を抽出し、前記基準画素領域における視差を演算する演算手段と、を有し、
前記算出手段は、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域との前記非類似度が、前記比較画像内の他の画素領域との前記非類似度よりも低くなるように、前記基準画素領域と前記比較画像内の各画素領域との前記非類似度を算出することを特徴とする。
<1.視差演算システムの外観構成及び取り付け例>
はじめに、一実施形態に係る視差演算システムの外観構成及び取り付け例について説明する。図1は、視差演算システムの外観構成及び取り付け例を示す図である。
次に、視差演算システム100のハードウェア構成について説明する。図2は、視差演算システムのハードウェア構成の一例を示す図である。
次に、基準画像内の処理対象の画素領域である、「基準画素領域」と、比較画像内の画素領域とについて説明する。
ここで、視差演算システム100が備える各3次元センサ(ステレオカメラ部110、レーザレーダ測距部120)の距離情報の特性に基づいて、各3次元センサの距離分解能及び空間分解能について簡単に説明する。
(1)距離計算処理部の機能構成
図6は、距離計算処理部の機能構成を示す図である。なお、図6では、距離計算処理部の機能構成のうち、視差演算に関する処理を実現するための機能構成についてのみ示し、その他の機能構成(例えば、同期制御信号を送信するための機能等)については省略してある。
図7は、コスト算出部の機能構成の詳細を示す図である。図7に示すように、コスト算出部610は、基準画像取得部701、比較画像取得部702、コストC計算部703、コストC調整部704を有する。また、コスト算出部610は、距離情報取得部711、コストCl計算部712、重み付け加算部720を有する。
図9は、合成コスト算出部の機能構成の詳細を示す図である。図9に示すように、合成コスト算出部620は、経路コスト計算部901と、合成コストS計算部902とを有する。
視差演算部630は、合成コストS計算部902より通知された、基準画素領域pにおける合成コストS(p,d)を取得する。図11は、基準画素領域pにおける合成コストSの算出結果を示す図である。視差演算部630は、所定範囲(0〜D)において、合成コストS(p,d)が最小となるシフト量dminを算出することで、比較画像310より対応画素領域を抽出する。これにより、視差演算部630では、抽出した対応画素領域と基準画素領域との視差の演算結果として、シフト量dminを取得する。
次に、視差画像生成部600による視差画像生成処理の流れについて説明する。図12は、視差画像生成部による視差画像生成処理の流れを示すフローチャートである。なお、図12に示すフローチャートは、1の基準画素領域pについての視差を演算する処理を示したものであり、視差画像の生成にあたっては、視差画像生成部600が各基準画素領域について図12に示すフローチャートを実行するものとする。
以上の説明から明らかなように、本実施形態における視差演算システム100は、
・基準画素領域pの位置に対応する実空間のオブジェクトまでの距離を、レーザレーダ測距部120が測定し、距離情報Zlを取得する。
・取得した距離情報Zlに対応するシフト量dlに基づいて、コストClを算出する。
・基準画素領域pのコストCを信頼度に基づいて調整した調整後のコストC'と、距離情報Zlに基づいて算出したコストClとを重み係数wdを用いて重み付け加算し、重み付けコストを算出する。
・算出した重み付けコストを合成することで合成コストSを算出する。
・算出した合成コストSに基づいて、基準画素領域に対応する比較画像内の対応画素領域を抽出し、基準画素領域pにおける視差を演算する。
上記実施形態では、画素領域についてコストCを算出する場合について説明したが、コストCの算出は、1画素ごとに行うように構成してもよい。この場合、コスト算出部610では、基準画像320から基準画素を抽出し、比較画像310の各画素との間でコストCを算出することになる。つまり、上記実施形態に記載の"画素領域"には、1または複数の画素が含まれるものとする。
110 :ステレオカメラ部
111、112 :単眼カメラ部
120 :レーザレーダ測距部
250 :距離計算処理部
310 :比較画像
311 :画素領域
320 :基準画像
600 :視差画像生成部
610 :コスト算出部
620 :合成コスト算出部
630 :視差演算部
701 :基準画像取得部
702 :比較画像取得部
703 :コストC計算部
704 :コストC調整部
711 :距離情報取得部
712 :コストCl計算部
720 :重み付け加算部
901 :経路コスト計算部
902 :合成コストS計算部
Claims (6)
- 基準画像内の基準画素領域の位置に対応する実空間のオブジェクトまでの距離を示す距離情報を取得する取得手段と、
前記基準画素領域と比較画像内の各画素領域との非類似度を算出する算出手段と、
算出された前記非類似度を合成することで得た合成結果に基づいて、前記基準画素領域に対応する前記比較画像内の対応画素領域を抽出し、前記基準画素領域における視差を演算する演算手段と、を有し、
前記算出手段は、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域との前記非類似度が、前記比較画像内の他の画素領域との前記非類似度よりも低くなるように、前記基準画素領域と前記比較画像内の各画素領域との前記非類似度を算出することを特徴とする視差演算システム。 - 前記算出手段は、前記基準画素領域の画素値と、前記比較画像内の各画素領域の画素値との差分に基づいて算出される第1のコストと、前記基準画素領域の画素値と、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域の画素値との差分に基づいて算出される第2のコストとを、重み付け加算することで、前記非類似度を算出し、
前記比較画像内の他の画素領域との前記非類似度を算出する場合に、前記第1のコストを優先して前記重み付け加算を行い、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域との前記非類似度を算出する場合に、前記第2のコストを優先して前記重み付け加算を行うことを特徴とする請求項1に記載の視差演算システム。 - 前記算出手段は、前記重み付け加算に用いる重み係数を、前記距離情報、または、前記距離情報を取得した際の周囲環境に応じて変更することを特徴とする請求項2に記載の視差演算システム。
- 前記基準画像を撮影する第1の撮像装置と、
前記比較画像を撮影する第2の撮像装置と、
前記オブジェクトまでの距離を測定するレーザレーダ装置と
を更に有することを特徴とする請求項1乃至3のいずれか1項に記載の視差演算システム。 - 請求項1乃至4のいずれか1項に記載の視差演算システムを有する移動体。
- コンピュータに、
基準画像内の基準画素領域の位置に対応する実空間のオブジェクトまでの距離を示す距離情報を取得する取得工程と、
前記基準画素領域と比較画像内の各画素領域との非類似度を算出する算出工程と、
算出された前記非類似度を合成することで得た合成結果に基づいて、前記基準画素領域に対応する前記比較画像内の対応画素領域を抽出し、前記基準画素領域における視差を演算する演算工程と、を実行させ、
前記算出工程は、前記距離情報に基づいて導出される位置にある前記比較画像内の画素領域との前記非類似度が、前記比較画像内の他の画素領域との前記非類似度よりも低くなるように、前記基準画素領域と前記比較画像内の各画素領域との前記非類似度を算出することを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016145170A JP6776692B2 (ja) | 2016-07-25 | 2016-07-25 | 視差演算システム、移動体及びプログラム |
EP17182204.2A EP3276576B1 (en) | 2016-07-25 | 2017-07-19 | Disparity estimation by fusion of range data and stereo data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016145170A JP6776692B2 (ja) | 2016-07-25 | 2016-07-25 | 視差演算システム、移動体及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018017506A true JP2018017506A (ja) | 2018-02-01 |
JP6776692B2 JP6776692B2 (ja) | 2020-10-28 |
Family
ID=59676941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016145170A Expired - Fee Related JP6776692B2 (ja) | 2016-07-25 | 2016-07-25 | 視差演算システム、移動体及びプログラム |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP3276576B1 (ja) |
JP (1) | JP6776692B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019158616A (ja) * | 2018-03-13 | 2019-09-19 | 株式会社リコー | 測距システム、測距方法、車載装置、車両 |
JP2020003236A (ja) * | 2018-06-25 | 2020-01-09 | 株式会社リコー | 測距装置、移動体、測距方法、測距システム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7238422B2 (ja) | 2019-01-22 | 2023-03-14 | 株式会社リコー | 測距方法、測距装置、車載装置、移動体、測距システム |
CN111260597B (zh) * | 2020-01-10 | 2021-12-03 | 大连理工大学 | 一种多波段立体相机的视差图像融合方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130222550A1 (en) * | 2012-02-29 | 2013-08-29 | Samsung Electronics Co., Ltd. | Synthesis system of time-of-flight camera and stereo camera for reliable wide range depth acquisition and method therefor |
JP2015143679A (ja) * | 2013-12-26 | 2015-08-06 | 株式会社リコー | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
-
2016
- 2016-07-25 JP JP2016145170A patent/JP6776692B2/ja not_active Expired - Fee Related
-
2017
- 2017-07-19 EP EP17182204.2A patent/EP3276576B1/en not_active Not-in-force
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130222550A1 (en) * | 2012-02-29 | 2013-08-29 | Samsung Electronics Co., Ltd. | Synthesis system of time-of-flight camera and stereo camera for reliable wide range depth acquisition and method therefor |
JP2015143679A (ja) * | 2013-12-26 | 2015-08-06 | 株式会社リコー | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019158616A (ja) * | 2018-03-13 | 2019-09-19 | 株式会社リコー | 測距システム、測距方法、車載装置、車両 |
JP7119444B2 (ja) | 2018-03-13 | 2022-08-17 | 株式会社リコー | 測距システム、測距方法、車載装置、車両 |
JP2020003236A (ja) * | 2018-06-25 | 2020-01-09 | 株式会社リコー | 測距装置、移動体、測距方法、測距システム |
US11391840B2 (en) | 2018-06-25 | 2022-07-19 | Ricoh Company, Ltd. | Distance-measuring apparatus, mobile object, distance-measuring method, and distance measuring system |
Also Published As
Publication number | Publication date |
---|---|
EP3276576B1 (en) | 2019-06-26 |
EP3276576A1 (en) | 2018-01-31 |
JP6776692B2 (ja) | 2020-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6969425B2 (ja) | 光測距装置 | |
KR101891907B1 (ko) | 거리 측정 장치 및 시차 연산 시스템 | |
KR100753885B1 (ko) | 촬상 장치 | |
TWI624170B (zh) | 影像掃描系統及其方法 | |
JP6772639B2 (ja) | 視差演算システム、移動体及びプログラム | |
JP6753107B2 (ja) | 距離測定装置、距離測定方法及びプログラム | |
US20140168424A1 (en) | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene | |
JP6776692B2 (ja) | 視差演算システム、移動体及びプログラム | |
CN110325879A (zh) | 用于压缩三维深度感测的系统和方法 | |
JP2020003236A (ja) | 測距装置、移動体、測距方法、測距システム | |
JPWO2014207983A1 (ja) | 距離測定装置および固体撮像素子 | |
CN110868582B (zh) | 具有校正功能的图像获取系统 | |
CN109791204A (zh) | 用于确定到对象的距离的系统 | |
JP2018063222A (ja) | 距離測定装置、距離測定方法及びプログラム | |
CN109470201B (zh) | 用于运行手持式激光测距仪的方法和手持式激光测距仪 | |
US20220364849A1 (en) | Multi-sensor depth mapping | |
WO2021014799A1 (ja) | 信号処理装置、信号処理方法 | |
JP2014219250A (ja) | 測距装置及びプログラム | |
EP3255455A1 (en) | Single pulse lidar correction to stereo imaging | |
WO2022195954A1 (ja) | センシングシステム | |
JP6379646B2 (ja) | 情報処理装置、測定方法及びプログラム | |
KR102196286B1 (ko) | 3차원 형상 계측 시스템 및 계측 시간 설정 방법 | |
JP2015224965A (ja) | レーザレーダ装置 | |
JP2005127959A (ja) | 移動体認識装置、移動体認識方法、及び、移動体認識アレイの製造方法 | |
JP7140091B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200921 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6776692 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |