JP2015114269A - 対応点探索方法および距離測定装置 - Google Patents
対応点探索方法および距離測定装置 Download PDFInfo
- Publication number
- JP2015114269A JP2015114269A JP2013258192A JP2013258192A JP2015114269A JP 2015114269 A JP2015114269 A JP 2015114269A JP 2013258192 A JP2013258192 A JP 2013258192A JP 2013258192 A JP2013258192 A JP 2013258192A JP 2015114269 A JP2015114269 A JP 2015114269A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- cost
- minimum
- parallax
- corresponding point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
そこで、このような問題点を鑑み、複数の画像間の対応点を探索する対応点探索方法において、より精度よく対応点の探索ができるようにすることを本発明の目的とする。
[本実施形態の構成]
本発明が適用された距離検出装置1は、複数の撮像画像の視差を検出することによって撮像画像中の各点(物標)までの距離を検出する装置である。特に、本実施形態の距離検出装置1では、動的計画法であるビタビアルゴリズムを複数の方向に適用することで複数の撮像画像を構成する画素間の対応関係(視差)を高精度に求めることができるよう配慮されている。
このように構成された距離検出装置1において、処理部10(CPU11)は、図2以下に示す距離演算処理を実施する。距離演算処理は、撮像画像中の各点までの距離を演算する処理である。距離演算処理は、例えば距離検出装置1の電源が投入されると開始され、その後、一定周期毎に繰り返し実施される。
[手順1−1]
まず、基準画像の画素については、基準画像の左上の画素から右方向に順に選択し、右端まで選択し終わると、1段下の左端の画素を選択し、再び右方向に順に選択する処理を繰り返す。この際、比較画像については、基準画像の選択中の画素と同じ高さ(鉛直方向の位置)にある比較画像の画素を、左から右に向かう方向(右方向)に左端から右端まで順次選択する。すなわち、図4(b)に示すように、基準画像および比較画像についてそれぞれ水平方向(X方向)について選択する画素の座標を遷移させる。
そして、節点のコストD(p,up)と、視差コストS(up,uq)とについてビタビアルゴリズムを適用する。
上記[手順1−1]〜[手順1−2]と同様の方法を、右から左に向かう方向(左方向)に適用することによって、ビタビアルゴリズムのコストを得る。この演算によって得られるこれらのデータを左方向のコストとする。
上記の手順にて求めた右方向のコストと左方向のコストとを対応する節点同士で加算し、得られたデータを左右方向のコストExとしてメモリ12に記録させる。
[手順2−1]
まず、図6(b)に示すように、各節点について、Y方向(画像の鉛直方向)からみた仮想的な平面を準備する。そしてこの平面に対応する画素を選択する。すなわち、基準画像の画素については、基準画像の左上の画素から下方向に順に選択し、下端まで選択し終わると、1段右側の上端の画素を選択し、再び下方向に順に選択する処理を繰り返す。この際、比較画像については、基準画像のうちの選択中の画素と同じ左右位置(水平方向の位置)にある比較画像の画素を、上から下に向かう方向(下方向)に上端から下端まで順次選択する。
[手順2−2]
そして、計算済みの節点のコストD(p,up)と、視差コストS(up,uq)とについてビタビアルゴリズムを適用する。
上記[手順2−1]〜[手順2−2]と同様の方法を、下から上に向かう方向(上方向)に適用することによって、ビタビアルゴリズムのコストを得る。この演算によって得られるこれらのデータを上方向のコストとする。
上記の手順にて求めた下方向のコストと上方向のコストとを対応する節点同士で加算し、得られたデータを上下方向のコストEyとしてメモリ12に記録させる。
[手順3−1]
まず、図7(b)に示すように、各節点について、XY方向(画像の左下から45度斜め右上方向)からみた仮想的な平面を準備する。そしてこの平面に対応する画素を選択する。すなわち、基準画像の画素については、基準画像の左上の画素を選択し、45度右上の画素を順に選択する。
[手順3−2]
そして、計算済みの節点のコストD(p,up)と、視差コストS(up,uq)とについてビタビアルゴリズムを適用する。
上記[手順3−1]〜[手順3−2]と同様の方法を、右上から左斜め下に向かう方向に適用することによって、ビタビアルゴリズムのコストを得る。この演算によって得られるこれらのデータを右斜め下方向のコストとする。
上記の手順にて求めた右斜め下方向のコストと右斜め上方向のコストとを対応する節点同士で加算し、得られたデータを右斜め方向のコストEx−yとしてメモリ12に記録させる。
続いて、S250の処理では、コストEx+yを下記の手順を実施することで求める。この際には、[手順3−1]〜[手順3−4]と同様に、左斜め方向のコストEx+yを求め、メモリ12に記録させる。
上記距離検出装置1において処理部10は、複数の画像のうちの基準画像中のある画素を表す基準画素における画素情報(輝度、明暗、分散)と、基準画像を除く他の画像(比較画像)中の画素を表す比較画素における画素情報と、の差異に基づく画素コストを、基準画素および比較画素を変更しつつ、基準画素毎に演算する(S210)。そして、基準画素を変更する際において基準画素と比較画素との座標差である視差の変化量に対するコストを表す視差コストを、基準画素毎に演算し、各基準画素に対して、画素コストと視差コストとの和を表す合計コストが最小値となる際の比較画素との組み合わせを演算する(S220〜S260)。この際、基準画素および比較画素を複数の方向に沿って順に変更したときにおける合計コストが最小となるときの最小コストを演算し、方向毎に演算された最小コストを互いに加算した値を最小値とする。さらに、各基準画素に対応する比較画素を、各基準画素に対応する対応点として設定する(S270)。
上記距離検出装置1において処理部10は、基準画素および比較画素を第1方向に沿って順に変更したときにおける最小コストを演算し、基準画素および比較画素を、第1方向とは異なる1または複数の方向を表す第2方向に沿って順に変更したときにおける最小コストを方向毎に演算する。そして、各最小コストを加算した値を前記最小値とする。
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
上記実施形態の処理部10が実施する処理において、S130の処理は本発明でいう対応点探索方法および画素対応手段に相当し、本実施形態のS140の処理は本発明でいう測定手段に相当する。また、本実施形態のS210の処理は本発明でいう画素コスト演算工程に相当し、本実施形態のS220〜S260の処理は本発明でいう最小コスト画素演算工程に相当する。
Claims (6)
- 複数の画像を画像処理する画像処理装置にて実行され、複数の画像間の対応点を探索する対応点探索方法(S130)であって、
前記複数の画像のうちの基準画像中のある画素を表す基準画素における画素情報と、前記基準画像を除く他の画像中の画素を表す比較画素における画素情報と、の差異に基づく画素コストを、前記基準画素および前記比較画素を変更しつつ、前記基準画素毎に演算する画素コスト演算工程(S210)と、
前記基準画素を変更する際において前記基準画素と前記比較画素との座標差である視差の変化量に対するコストを表す視差コストを、前記基準画素毎に演算し、前記各基準画素に対して、前記画素コストと前記視差コストとの和を表す合計コストが最小値となる際の比較画素との組み合わせを演算する最小コスト画素演算工程(S220〜S260)と、
前記各基準画素に対応する比較画素を、前記各基準画素に対応する対応点として設定する対応点設定工程(S270)と、
を実施し、
前記最小コスト画素演算工程では、
前記基準画素および前記比較画素を複数の方向に沿って順に変更したときにおける合計コストが最小となるときの最小コストを演算し、方向毎に演算された最小コストを互いに加算した値を前記最小値とすること
を特徴とする対応点探索方法。 - 請求項1に記載の対応点探索方法において、
前記最小コスト画素演算工程では、
前記基準画素および前記比較画素を複数の方向に沿って前記比較画像の一方の端部から他方の端部まで順に変更したときにおける最小コストを前記方向毎に演算し、方向毎に演算された最小コストを加算した値を前記最小値とすること
を特徴とする対応点探索方法。 - 請求項1または請求項2に記載の対応点探索方法において、
前記最小コスト画素演算工程では、
前記基準画素および前記比較画素を第1方向に沿って順に変更したときにおける最小コストを演算する第1コスト演算工程(S220)と、
前記基準画素および前記比較画素を、前記第1方向とは異なる1または複数の方向を表す第2方向に沿って順に変更したときにおける最小コストを方向毎に演算する第2コスト演算工程(S230〜S250)と、
前記各最小コストを加算した値を前記最小値とするコスト加算工程(S260)と、
を実施することを特徴とする対応点探索方法。 - 請求項3に記載の対応点探索方法において、
前記最小コスト画素演算工程では、
動的計画法によって各方向の最小コストを演算し、
前記第2コスト演算工程で得られた最小コストを用いて前記第1視差演算工程で演算された最小コストの補正を行うこと
を特徴とする対応点探索方法。 - 請求項1〜請求項4の何れか1項に記載の対応点探索方法において、
前記最小コスト画素演算工程では、最小コストE(p,u)を下記式を用いて演算すること
を特徴とする対応点探索方法。
ただし、E(p,u)は、ピクセル位置p、ピクセル位置p−1との視差uの際の最小コスト、s(u,v)は、ピクセル位置p−1からピクセル位置pになるときに、視差がvからuに変化する際のコスト、D(p,u)は、ピクセル位置p、視差uのときの、基準画像の画素位置と視差との関係によって特定される位置でのコストを表す。 - 視差を有する複数の撮像画像を用いて撮像画像中の物標までの距離を測定する距離測定装置(1)であって、
前記複数の撮像画像における各画素間の位置関係を対応付ける画素対応手段(S130)と、
前記各画素間の位置関係に基づいて物標までの距離を測定する測定手段(S140)と、
を備え、
前記画素対応手段は、請求項1〜請求項5の何れか1項に記載の対応点探索方法を用いて前記複数の撮像画像における各画素間の位置関係を対応付けること
を特徴とする距離測定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013258192A JP6321365B2 (ja) | 2013-12-13 | 2013-12-13 | 対応点探索方法および距離測定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013258192A JP6321365B2 (ja) | 2013-12-13 | 2013-12-13 | 対応点探索方法および距離測定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015114269A true JP2015114269A (ja) | 2015-06-22 |
| JP6321365B2 JP6321365B2 (ja) | 2018-05-09 |
Family
ID=53528183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013258192A Active JP6321365B2 (ja) | 2013-12-13 | 2013-12-13 | 対応点探索方法および距離測定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6321365B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017045124A (ja) * | 2015-08-24 | 2017-03-02 | 株式会社日本自動車部品総合研究所 | 視差検出装置 |
| JP2017084259A (ja) * | 2015-10-30 | 2017-05-18 | 株式会社日本自動車部品総合研究所 | 対応点探索方法、および距離測定装置 |
| US10043106B2 (en) | 2015-06-04 | 2018-08-07 | Denso Corporation | Corresponding point searching method and distance detection device |
| JP2018159590A (ja) * | 2017-03-22 | 2018-10-11 | 株式会社Soken | 視差演算装置 |
| JP2019211219A (ja) * | 2018-05-31 | 2019-12-12 | 株式会社Soken | 測距装置、測距システムおよび測距方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03291766A (ja) * | 1990-04-10 | 1991-12-20 | Oki Electric Ind Co Ltd | ステレオ画像対応付け装置 |
| JP2002541568A (ja) * | 1999-03-31 | 2002-12-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | シーンの第1の画像から第2の画像への画素ブロックの移動量を検出する方法 |
| JP2003085566A (ja) * | 2001-09-10 | 2003-03-20 | Nippon Hoso Kyokai <Nhk> | 対応点探索方法及びこれを用いたマッチング装置 |
| JP2005165928A (ja) * | 2003-12-05 | 2005-06-23 | Glory Ltd | 画像の対応点探索方法、対応点探索装置および対応点探索プログラム |
| JP2006090896A (ja) * | 2004-09-24 | 2006-04-06 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
| JP2012181142A (ja) * | 2011-03-02 | 2012-09-20 | National Institute Of Advanced Industrial & Technology | ステレオ画像処理装置及びステレオ画像処理方法 |
| US20130307937A1 (en) * | 2012-05-15 | 2013-11-21 | Dong Hoon Kim | Method, circuit and system for stabilizing digital image |
-
2013
- 2013-12-13 JP JP2013258192A patent/JP6321365B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03291766A (ja) * | 1990-04-10 | 1991-12-20 | Oki Electric Ind Co Ltd | ステレオ画像対応付け装置 |
| JP2002541568A (ja) * | 1999-03-31 | 2002-12-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | シーンの第1の画像から第2の画像への画素ブロックの移動量を検出する方法 |
| JP2003085566A (ja) * | 2001-09-10 | 2003-03-20 | Nippon Hoso Kyokai <Nhk> | 対応点探索方法及びこれを用いたマッチング装置 |
| JP2005165928A (ja) * | 2003-12-05 | 2005-06-23 | Glory Ltd | 画像の対応点探索方法、対応点探索装置および対応点探索プログラム |
| JP2006090896A (ja) * | 2004-09-24 | 2006-04-06 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
| JP2012181142A (ja) * | 2011-03-02 | 2012-09-20 | National Institute Of Advanced Industrial & Technology | ステレオ画像処理装置及びステレオ画像処理方法 |
| US20130307937A1 (en) * | 2012-05-15 | 2013-11-21 | Dong Hoon Kim | Method, circuit and system for stabilizing digital image |
Non-Patent Citations (3)
| Title |
|---|
| JAE CHUL KIM, ET AL.: ""A Dense Stereo Matching Using Two-Pass Dynamic Programming with Generalized Ground Control Points"", PROCEEDINGS OF THE 2005 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, JPN6017037574, 20 June 2005 (2005-06-20), ISSN: 0003652607 * |
| 三田誠一: ""車両の走行環境認識技術とその応用"", 第4回ZMPフォーラム, JPN6017037578, 26 July 2012 (2012-07-26), ISSN: 0003652608 * |
| 福嶋慶繁、外3名: ""Multi−Pass Dynamic Programmingによる光線空間補間"", 電子情報通信学会論文誌, vol. 90, no. 7, JPN6017037572, 1 July 2007 (2007-07-01), pages 1721 - 1725, ISSN: 0003652606 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10043106B2 (en) | 2015-06-04 | 2018-08-07 | Denso Corporation | Corresponding point searching method and distance detection device |
| JP2017045124A (ja) * | 2015-08-24 | 2017-03-02 | 株式会社日本自動車部品総合研究所 | 視差検出装置 |
| JP2017084259A (ja) * | 2015-10-30 | 2017-05-18 | 株式会社日本自動車部品総合研究所 | 対応点探索方法、および距離測定装置 |
| JP2018159590A (ja) * | 2017-03-22 | 2018-10-11 | 株式会社Soken | 視差演算装置 |
| JP2019211219A (ja) * | 2018-05-31 | 2019-12-12 | 株式会社Soken | 測距装置、測距システムおよび測距方法 |
| JP7152880B2 (ja) | 2018-05-31 | 2022-10-13 | 株式会社Soken | 測距装置、測距システムおよび測距方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6321365B2 (ja) | 2018-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6321365B2 (ja) | 対応点探索方法および距離測定装置 | |
| JP6377970B2 (ja) | 視差画像生成装置及び視差画像生成方法 | |
| JP5949314B2 (ja) | 視差マップ生成装置および視差マップ生成装置用のプログラム | |
| JP6561512B2 (ja) | 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム | |
| JP6358160B2 (ja) | 走行路面検出装置及び走行路面検出方法 | |
| JP6187671B2 (ja) | 自己位置算出装置及び自己位置算出方法 | |
| US20170316612A1 (en) | Authoring device and authoring method | |
| JP6306735B2 (ja) | ステレオカメラ装置及びステレオカメラ装置を備える車両 | |
| WO2017158964A1 (ja) | 画像処理装置、移動体機器制御システム、画像処理用プログラム及び画像処理方法 | |
| JP2020118586A (ja) | 移動体 | |
| WO2017033422A1 (ja) | 画像処理装置および画像処理方法 | |
| JP6423314B2 (ja) | 対応点探索方法および距離測定装置 | |
| JP6212021B2 (ja) | 距離検出装置 | |
| JP5318168B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
| KR101804157B1 (ko) | 개선된 sgm 기반한 시차 맵 생성 방법 | |
| US20150222879A1 (en) | Stereoscopic image processing device, stereoscopic image processing method, and program | |
| JP2009276073A (ja) | 平面推定方法、曲面推定方法、および平面推定装置 | |
| JP2020173584A (ja) | 物体検出装置 | |
| JP2017045124A (ja) | 視差検出装置 | |
| JP6571492B2 (ja) | 対応点探索方法、および距離測定装置 | |
| US20170294021A1 (en) | Depth refinement method and system of sparse depth image in multi-aperture camera | |
| JP6550013B2 (ja) | 視差検出装置 | |
| CN115683084B (zh) | 信息处理设备、系统及控制方法和记录介质 | |
| EP3647716A1 (en) | Imaging device | |
| JP2016081108A (ja) | 物体検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180313 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180405 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6321365 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |