JP2018205325A - 視差演算システム、情報処理装置、情報処理方法及びプログラム - Google Patents
視差演算システム、情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2018205325A JP2018205325A JP2018158016A JP2018158016A JP2018205325A JP 2018205325 A JP2018205325 A JP 2018205325A JP 2018158016 A JP2018158016 A JP 2018158016A JP 2018158016 A JP2018158016 A JP 2018158016A JP 2018205325 A JP2018205325 A JP 2018205325A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- distance
- search range
- distance information
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置であって、
前記複数の撮像部の撮影方向に向けて電磁波を出射した場合の反射波に基づいて算出された、該撮影方向のオブジェクトまでの距離を示す距離情報を取得する取得手段と、
前記取得手段により取得された前記距離情報と、予め定められた距離を示す距離情報との対比結果に応じて、前記視差演算における視差探索範囲を変更する変更手段とを有することを特徴とする。
<1.視差演算システムの全体構成>
はじめに、本実施形態に係る視差演算システムの全体構成について説明する。図1は、本実施形態に係る視差演算システム100の全体構成を示す図である。図1に示すように、視差演算システム100は、レーザレーダ測距部110と、ステレオ撮像部120と、情報処理装置130とを備える。
次に、視差演算システム100を車載用に適用した場合のレーザレーダ測距部110及び撮像部121、122の配置例について説明する。図2は、視差演算システム100を車載用に適用した場合のレーザレーダ測距部110及び撮像部121、122の配置例を示す図である。
次に、情報処理装置130のハードウェア構成について説明する。上述したように、情報処理装置130は、ステレオ撮像部120より送信された撮影画像について視差演算を行い、視差画像を生成する。そして、情報処理装置130が生成した視差画像は、例えば、撮影画像内においてオブジェクト画像として描画された各オブジェクトまでの距離を算出するために用いられる。
一般的に、ステレオ測距技術では、左右に配置された2台の単眼の撮像部より送信される1対の撮影画像について相関(類似度)を求めることで同一点を抽出し、抽出した同一点に対する視差を演算することで、三角測量の要領で当該同一点までの距離を算出する。
次に、上記ステレオ測距技術を実現するための視差演算を行う情報処理装置の構成について説明する。図3は、上記ステレオ測距技術を実現するための視差演算を行う情報処理装置130の構成を示す図である。
次に、視差画像生成部310の機能構成について説明する。図4は、視差画像生成部310の機能構成を示す図である。
次に、撮影画像内においてオブジェクト画像として描画されたオブジェクトまでの距離と、該オブジェクト画像を構成する所定の画素の撮影画像間における視差との関係について説明する。
このように、撮影画像に含まれるオブジェクト画像を構成する各画素の視差は、当該オブジェクト画像として撮影画像内に描画されたオブジェクトの、撮像部121、122からの距離に応じて変化する。
次に、視差演算部420に設定される視差探索範囲を選択する視差探索範囲選択部402の機能について説明する。
次に、視差演算システム100における視差演算処理の流れについて説明する。図9は、視差演算システム100における視差演算処理の流れを示すフローチャートである。
次に、情報処理装置130によるステレオ画像処理(ステップS903)の詳細な流れについて図10及び図11を参照しながら説明する。図10は、情報処理装置130によるステレオ画像処理(ステップS903)の詳細な流れを示すフローチャートである。また、図11は、撮影画像間の各画素について同一点を抽出するために算出した、各シフト位置における類似度と、視差探索範囲との関係を示す図である。なお、図11に示す縦軸は、類似度が高いほど小さい値となり、類似度が低いほど大きい値になるように規格化されているものとする。
以上の説明から明らかなように、本実施形態に係る視差演算システム100では、
・ステレオ撮像部の撮影方向である車両の進行方向前方に向けて、レーザレーダ測距部110がレーザ光を出射し、当該レーザ光が照射されたオブジェクトまでの距離を示す距離情報を算出する構成とした。
・レーザ光の投受光により算出された距離情報が、基準距離と異なっていた場合に、予め設定された基準視差探索範囲とは幅の異なる視差探索範囲を選択する構成とした。
上記第1の実施形態では、基準距離及び基準視差探索範囲を規定し、取得された距離情報と当該基準距離との対比結果に応じた幅を有する視差探索範囲を選択する構成としたが、本発明はこれに限定されない。
上記第1及び第2の実施形態では、視差探索範囲の幅を変更するにあたり、視差探索の開始点を固定し、視差探索範囲の終了点を変更する構成としたが、本発明はこれに限定されない。
上記第1乃至第3の実施形態では、視差演算システム100を車載用に適用した場合について説明したが、本発明はこれに限定されない。例えば、FA(Factory Automation)用に適用し、生産工場内において搬送される生産物等をピッキングする際の、ピッキング対象までの距離を算出するのに用いるようにしてもよい。以下、本実施形態の詳細について説明する。
はじめに、本実施形態に係る視差演算システム100をFA用に適用した場合の、レーザレーダ測距部110及び撮像部121、122の配置例について説明する。図14は、視差演算システム100をFA用に適用した場合の、レーザレーダ測距部110及び撮像部121、122の配置例を示す図である。
次に、撮影画像内においてオブジェクト画像として描画されたオブジェクト(生産物1400)の配置と、視差との関係、ならびに視差探索範囲の設定方法について説明する。図15は、撮像部121により撮影された撮影画像(参照画像)1510と撮像部122により撮影された撮影画像(基準画像)1520とを示す図である。
1)距離情報取得部401において取得された距離情報Zと、基線長(撮像部121、122の光軸間距離)Bと、撮像部121、122のカメラレンズの焦点距離fとを用いて、式1により視差(同一点のシフト量)を算出する。
2)視差探索範囲の幅を、隣接する生産物間の距離よりも短い固定値に設定する。
3)上記2)で設定した幅を有し、上記1)で算出したシフト量により特定されるシフト位置の画素を含むように視差探索範囲の開始点、終了点を決定する。
以上の説明から明らかなように、本実施形態に係る視差演算システム100では、
・レーザ光の投受光により取得された距離情報に基づいて、撮影画像間の視差を逆算することで、視差探索すべきシフト位置を算出する構成とした。
・幅が固定された視差探索範囲に、算出したシフト位置の画素が含まれるように、視差探索範囲の開始点及び終了点を決定する構成とした。
上記各実施形態では、視差演算の詳細な手法について特に言及しなかったが、視差演算の手法は、任意の方法を用いることができる。
110 :レーザレーダ測距部
120 :ステレオ撮像部
121、122 :撮像部
130 :情報処理装置
310 :視差画像生成部
401 :距離情報取得部
402 :視差探索範囲選択部
403 :撮影画像取得部
404 :撮影画像補正部
405 :視差演算部
Claims (9)
- 複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置であって、
前記複数の撮像部の撮影方向に向けて電磁波を出射した場合の反射波に基づいて算出された、該撮影方向のオブジェクトまでの距離を示す距離情報を取得する取得手段と、
前記取得手段により取得された前記距離情報と、予め定められた距離を示す距離情報との対比結果に応じて、前記視差演算における視差探索範囲を変更する変更手段と
を有することを特徴とする情報処理装置。 - 前記変更手段は、
前記オブジェクトまでの距離が、前記予め定められた距離よりも長い場合には、前記視差演算における視差探索範囲を、予め定められた距離に対応して設定された視差探索範囲よりも狭くし、
前記オブジェクトまでの距離が、前記予め定められた距離よりも短い場合には、前記視差演算における視差探索範囲を、予め定められた距離に対応して設定された視差探索範囲よりも広くすることを特徴とする請求項1に記載の情報処理装置。 - 前記変更手段は、
前記視差演算における視差探索範囲の幅を、前記取得手段により取得された距離情報に応じた幅に変更することを特徴とする請求項1に記載の情報処理装置。 - 前記変更手段は、
前記視差探索範囲の開始点及び終了点のうちのいずれか一方または両方を変更することで、前記視差探索範囲を変更することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。 - 前記変更手段は、
前記取得手段により取得された前記オブジェクトまでの距離と、前記複数の撮像部の光軸間距離とに基づいて算出される前記撮影画像の視差に対応する位置の画素が、前記視差探索範囲に含まれるように、前記視差探索範囲の開始点及び終了点を変更することを特徴とする請求項1に記載の情報処理装置。 - 前記変更手段は、
前記視差探索範囲の幅を、前記取得手段により取得された距離情報に応じた幅よりも狭い固定値として、前記視差探索範囲の開始点及び終了点を変更することを特徴とする請求項5に記載の情報処理装置。 - 複数の撮像部と、電磁波測距部と、該複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置と、を有する視差演算システムであって、
前記複数の撮像部の撮影方向に向けて前記電磁波測距部が電磁波を出射した場合の反射波に基づいて算出された、該撮影方向のオブジェクトまでの距離を示す距離情報を取得する取得手段と、
前記取得手段により取得された前記距離情報と、予め定められた距離を示す距離情報との対比結果に応じて、前記視差演算における視差探索範囲を変更する変更手段と
を有することを特徴とする視差演算システム。 - 複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置における情報処理方法であって、
前記複数の撮像部の撮影方向に向けて電磁波を出射した場合の反射波に基づいて算出された、該撮影方向のオブジェクトまでの距離を示す距離情報を取得する取得工程と、
前記取得工程において取得された前記距離情報と、予め定められた距離を示す距離情報との対比結果に応じて、前記視差演算における視差探索範囲を変更する変更工程と
を有することを特徴とする情報処理方法。 - 複数の撮像部により撮影された撮影画像に基づいて視差演算を行う情報処理装置のコンピュータに、
前記複数の撮像部の撮影方向に向けて電磁波を出射した場合の反射波に基づいて算出された、該撮影方向のオブジェクトまでの距離を示す距離情報を取得する取得工程と、
前記取得工程において取得された前記距離情報と、予め定められた距離を示す距離情報との対比結果に応じて、前記視差演算における視差探索範囲を変更する変更工程と
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018158016A JP2018205325A (ja) | 2018-08-27 | 2018-08-27 | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018158016A JP2018205325A (ja) | 2018-08-27 | 2018-08-27 | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014032439A Division JP2015158394A (ja) | 2014-02-24 | 2014-02-24 | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020075435A Division JP7243671B2 (ja) | 2020-04-21 | 2020-04-21 | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018205325A true JP2018205325A (ja) | 2018-12-27 |
JP2018205325A5 JP2018205325A5 (ja) | 2019-04-25 |
Family
ID=64957651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018158016A Pending JP2018205325A (ja) | 2018-08-27 | 2018-08-27 | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018205325A (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006323693A (ja) * | 2005-05-19 | 2006-11-30 | Olympus Corp | 処理装置、画像処理方法および画像処理プログラム |
JP2009047495A (ja) * | 2007-08-17 | 2009-03-05 | Fujifilm Corp | 立体撮像装置および立体撮像装置の制御方法並びにプログラム |
JP2010048553A (ja) * | 2006-12-19 | 2010-03-04 | Panasonic Corp | 複眼測距装置の検査方法およびそれに用いるチャート |
JP2011013064A (ja) * | 2009-07-01 | 2011-01-20 | Nikon Corp | 位置検出装置 |
JP2011013706A (ja) * | 2009-06-30 | 2011-01-20 | Hitachi Ltd | ステレオ画像処理装置およびステレオ画像処理方法 |
-
2018
- 2018-08-27 JP JP2018158016A patent/JP2018205325A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006323693A (ja) * | 2005-05-19 | 2006-11-30 | Olympus Corp | 処理装置、画像処理方法および画像処理プログラム |
JP2010048553A (ja) * | 2006-12-19 | 2010-03-04 | Panasonic Corp | 複眼測距装置の検査方法およびそれに用いるチャート |
JP2009047495A (ja) * | 2007-08-17 | 2009-03-05 | Fujifilm Corp | 立体撮像装置および立体撮像装置の制御方法並びにプログラム |
JP2011013706A (ja) * | 2009-06-30 | 2011-01-20 | Hitachi Ltd | ステレオ画像処理装置およびステレオ画像処理方法 |
JP2011013064A (ja) * | 2009-07-01 | 2011-01-20 | Nikon Corp | 位置検出装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7471809B2 (en) | Method, apparatus, and program for processing stereo image | |
US7720277B2 (en) | Three-dimensional-information reconstructing apparatus, method and program | |
JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
KR101815407B1 (ko) | 시차 연산 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체 | |
JP6668594B2 (ja) | 視差演算システム、情報処理装置、情報処理方法及びプログラム | |
JP2012181142A (ja) | ステレオ画像処理装置及びステレオ画像処理方法 | |
JP2011013064A (ja) | 位置検出装置 | |
US9704218B2 (en) | Image processing device and method, and program | |
JP4941565B2 (ja) | 対応点探索装置および対応点探索方法 | |
US10904512B2 (en) | Combined stereoscopic and phase detection depth mapping in a dual aperture camera | |
JP2015158394A (ja) | 視差演算システム、情報処理装置、情報処理方法及びプログラム | |
CN113610741A (zh) | 基于激光线扫的点云处理方法及装置 | |
JP6411188B2 (ja) | ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法 | |
JP2008090583A (ja) | 情報処理システム、プログラムおよび情報処理方法 | |
TWI528783B (zh) | 產生深度影像之方法及其系統及電腦程式產品 | |
Wang et al. | Real-time dense 3d mapping of underwater environments | |
JP2001194126A (ja) | 三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体 | |
JP6494402B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP2009092551A (ja) | 障害物計測方法、障害物計測装置及び障害物計測システム | |
CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及系统 | |
JP7243671B2 (ja) | 視差演算システム、情報処理装置、情報処理方法及びプログラム | |
JP2018205325A (ja) | 視差演算システム、情報処理装置、情報処理方法及びプログラム | |
US20230316460A1 (en) | Binocular image quick processing method and apparatus and corresponding storage medium | |
JP2014238558A (ja) | 撮像装置及び視差検出方法 | |
JP2007179236A (ja) | 画像生成装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190912 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200121 |