JP2011058812A - 視差算出方法、および視差算出装置 - Google Patents
視差算出方法、および視差算出装置 Download PDFInfo
- Publication number
- JP2011058812A JP2011058812A JP2009205466A JP2009205466A JP2011058812A JP 2011058812 A JP2011058812 A JP 2011058812A JP 2009205466 A JP2009205466 A JP 2009205466A JP 2009205466 A JP2009205466 A JP 2009205466A JP 2011058812 A JP2011058812 A JP 2011058812A
- Authority
- JP
- Japan
- Prior art keywords
- point
- evaluation value
- value distribution
- reference point
- corresponding point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
【解決手段】ステレオカメラを用いたステレオマッチングにおいて、基準点に対するSADなどの評価値分布において複数の対応点候補が存在した場合、対応点が複数存在すると判定された基準点の評価値分布と、その基準点の周辺領域に存在する別の各基準点の評価値分布とを重畳して、評価値マップを生成する。これにより、対応点が複数存在すると判定された基準点の周辺の実空間における、物体の形状を表現していることになり、評価値マップ上の最も直線の強い線分を抽出することで、一直線上に連続する柵などの正しい距離を算出することが可能となる。
【選択図】図1
Description
図1は、本発明の実施の形態1における視差算出装置100のブロック図である。図1に示す視差算出装置100は、視差算出部101と、ステレオ画像データ取得部102と、視差データ出力部103と、を含む構成である。
実施の形態1では、基準点(xb1、yb1)の周辺領域をXb軸上の横方向に設けて、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出することについて説明したが、図11に示すように、基準点(xb1、yb1)のYb軸上の縦方向に位置する一、または複数の基準点の極小値分布を重畳してから、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出するとしてもよい。
実施の形態1では、基準点(xb1、yb1)の周辺領域をXb軸上の横方向の任意の範囲に設けて、周辺領域に存在する各基準点に係る極小値分布に基づいて評価値マップを算出することについて説明したが、基準点(xb1、yb1)の周辺領域の横方向の幅を所定の幅としても良い。
101 視差算出部
102 ステレオ画像データ取得部
103 視差データ出力部
104 ステレオマッチング部
105 対応点候補数判定部
106 極小値分布算出部
107 評価値マップ算出部
108 対応点判定部
1201 視差算出部
1202 ステレオ画像データ取得部
1203 ステレオマッチング部
1204 対応点候補複数存在判定部
1205 評価値最小対応点算出
1206 制御態様データ取得部
1207 制御態様対応点算出部
1208 視差データ出力部
Claims (7)
- 第一の撮像系と第二の撮像系を有し、対象物を、前記第一の撮像系を用いて撮像した基準画像のデータと、前記対象物を、前記第二の撮像系を用いて撮像した参照画像のデータと、を取得するステレオ画像データ取得部と、
前記基準画像が有する基準点と、前記参照画像が有する複数の探索点との、画像輝度の相違度を示す評価値分布を算出するステレオマッチング部と、
前記評価値分布に含まれる探索点から、前記評価値が極小となる探索点を検出し、前記検出した探索点の数量が複数である場合に、前記検出された複数の探索点を対応点候補として出力する対応点候補数判定部と、
前記評価値分布に前記対応点候補が含まれる場合、前記対応点候補の座標分布を示す極小値分布であり、第一の基準点に対応する第一の極小値分布と、前記第一の基準点を含む前記基準画像の周辺領域に存在し、一または複数の第二の基準点に対応する第二の極小値分布と、を算出する極小値分布算出部と、
前記第一の極小値分布と前記第二の極小値分布とに基づいて、前記第一の基準点及び第二の基準点と前記複数の対応点候補との座標変動値の関係を示す評価値マップを算出する評価値マップ算出部と、
前記評価値マップにおいて、前記座標変動値が最小である前記対応点候補を、対応点として判定する対応点判定部と、
前記対応点の前記参照画像における座標点と、前記第一の基準点の前記参照画像における座標点との差分である視差値を出力する視差データ出力部と、
を備えた視差算出装置。 - 前記周辺領域の範囲は、前記第一の基準点の前記極小値分布に含まれる評価値が極小となる探索点の数、および間隔に基づいて定まる範囲である請求項1記載の視差算出装置。
- 前記対応点判定部が、前記第一の基準点に係る前記対応点候補の数量と、前記第二の基準点に係る前記対応点候補の数量とが異なる場合に、前記第一の基準点、および前記第二の基準点に係る前記極小値分布の何れかにのみ含まれる前記対応点候補を除いて、前記対応点を判定する請求項1記載の視差算出装置。
- 前記対応点判定部が、前記評価値マップに対してハフ変換を行うことにより、前記座標変動値が最小である前記対応点候補を、対応点として抽出する請求項1記載の視差算出装置。
- 前記第一の撮像系は第一のレンズを有し、
前記第二の撮像系は第二のレンズを有し、
前記周辺領域は、前記第一のレンズと前記第二のレンズとの配列方向に任意の幅を有する領域である場合において、
前記評価値マップ算出部は、前記第一の評価値分布と、前記第二の評価値分布と、前記周辺領域に存在する基準点に対して、前記第一のレンズと前記第二のレンズとの配列方向に対して垂直方向に存在する第三の基準点に対応する極小値分布とに基づいて、前記評価値マップを算出する請求項1記載の視差算出装置。 - 前記周辺領域の範囲は、前記第一の基準点に対応する評価値分布と、前記第二の基準点に対応する評価値分布と、の前記複数の探索点に対応する画像輝度の相違度の差分和に基づいて定める範囲である請求項1に記載の視差算出装置。
- 対象物を、第一の撮像系を用いて撮像した基準画像のデータと、前記対象物を、第二の撮像系を用いて撮像した参照画像のデータと、を取得し、
前記基準画像が有する基準点と、前記参照画像が有する複数の探索点との、画像輝度の相違度を示す評価値分布を算出し、
前記評価値分布に含まれる探索点から、前記評価値が極小となる探索点を検出し、前記検出した探索点の数量が複数である場合に、前記検出された複数の探索点を対応点候補として出力し、
前記評価値分布に前記対応点候補が含まれる場合、前記対応点候補の座標分布を示す極小値分布であり、第一の基準点に対応する第一の極小値分布と、前記第一の基準点を含む前記基準画像の周辺領域に存在する、一または複数の第二の基準点に対応する第二の極小値分布と、を算出し、
前記第一の極小値分布と前記第二の極小値分布とに基づいて、前記第一の基準点及び第二の基準点と前記複数の対応点候補との座標変動値の関係を示す評価値マップを算出し、
前記評価値マップにおいて、前記座標変動値が最小である前記対応点候補を、対応点として判定し、
前記対応点の前記参照画像における座標点と、前記第一の基準点の前記参照画像における座標点との差分である視差値を出力する視差算出方法。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009205466A JP5404263B2 (ja) | 2009-09-07 | 2009-09-07 | 視差算出方法、および視差算出装置 |
CN2010800031211A CN102203552B (zh) | 2009-09-07 | 2010-09-02 | 视差计算方法和视差计算装置 |
EP13175943.3A EP2650639B1 (en) | 2009-09-07 | 2010-09-02 | Disparity calculation apparatus |
US13/125,108 US8743183B2 (en) | 2009-09-07 | 2010-09-02 | Parallax calculation method and parallax calculation device |
EP14162784.4A EP2752641A1 (en) | 2009-09-07 | 2010-09-02 | Disparity calculation apparatus |
PCT/JP2010/005416 WO2011027564A1 (ja) | 2009-09-07 | 2010-09-02 | 視差算出方法、および視差算出装置 |
CN2013101493105A CN103278133A (zh) | 2009-09-07 | 2010-09-02 | 视差计算方法和视差计算装置 |
EP10813515.3A EP2476996B1 (en) | 2009-09-07 | 2010-09-02 | Parallax calculation method and parallax calculation device |
US14/249,721 US9338434B2 (en) | 2009-09-07 | 2014-04-10 | Parallax calculation method and parallax calculation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009205466A JP5404263B2 (ja) | 2009-09-07 | 2009-09-07 | 視差算出方法、および視差算出装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013080311A Division JP5579297B2 (ja) | 2013-04-08 | 2013-04-08 | 視差算出方法、および視差算出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011058812A true JP2011058812A (ja) | 2011-03-24 |
JP5404263B2 JP5404263B2 (ja) | 2014-01-29 |
Family
ID=43649119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009205466A Expired - Fee Related JP5404263B2 (ja) | 2009-09-07 | 2009-09-07 | 視差算出方法、および視差算出装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8743183B2 (ja) |
EP (3) | EP2752641A1 (ja) |
JP (1) | JP5404263B2 (ja) |
CN (2) | CN102203552B (ja) |
WO (1) | WO2011027564A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8782803B2 (en) | 2010-04-14 | 2014-07-15 | Legitmix, Inc. | System and method of encrypting a derivative work using a cipher created from its source |
JP5654956B2 (ja) * | 2011-07-14 | 2015-01-14 | 日本放送協会 | 視差画像生成装置および視差画像生成プログラム |
JP2013109010A (ja) * | 2011-11-17 | 2013-06-06 | Canon Inc | 立体映像撮影システム |
KR101877570B1 (ko) * | 2012-04-04 | 2018-07-11 | 현대자동차주식회사 | Av 영상 기반의 주차위치 설정 장치 및 그 방법 |
EP2669846B1 (en) * | 2012-06-01 | 2017-11-01 | Ricoh Company, Ltd. | Target recognition system and target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program |
TWI502544B (zh) * | 2013-03-07 | 2015-10-01 | Acer Inc | 立體影像的視差估算方法 |
JP6346869B2 (ja) * | 2015-03-31 | 2018-06-20 | 公益財団法人鉄道総合技術研究所 | ステレオ画像処理方法およびその装置 |
US9977998B2 (en) | 2015-04-27 | 2018-05-22 | Sony Corporation | Method and system for processing one or more multi-channel images |
EP3139346B1 (en) * | 2015-09-01 | 2019-01-16 | Veoneer Sweden AB | Vision system for a motor vehicle and method of controlling a vision system |
JP6668763B2 (ja) * | 2016-01-13 | 2020-03-18 | セイコーエプソン株式会社 | 画像認識装置、画像認識方法および画像認識ユニット |
CN107025660B (zh) * | 2016-02-01 | 2020-07-10 | 北京三星通信技术研究有限公司 | 一种确定双目动态视觉传感器图像视差的方法和装置 |
US10582179B2 (en) * | 2016-02-01 | 2020-03-03 | Samsung Electronics Co., Ltd. | Method and apparatus for processing binocular disparity image |
JP6668922B2 (ja) * | 2016-04-27 | 2020-03-18 | 株式会社リコー | 情報処理装置、撮像装置、移動体制御システム、情報処理方法およびプログラム |
US10796425B1 (en) * | 2016-09-06 | 2020-10-06 | Amazon Technologies, Inc. | Imagery-based member deformation gauge |
JP6986683B2 (ja) * | 2018-01-05 | 2021-12-22 | パナソニックIpマネジメント株式会社 | 視差値算出装置、視差値算出方法及びプログラム |
CN109255387A (zh) * | 2018-09-20 | 2019-01-22 | 珠海市君天电子科技有限公司 | 一种图像匹配方法、装置、电子设备及存储介质 |
JP6823839B2 (ja) * | 2019-06-17 | 2021-02-03 | 大日本印刷株式会社 | 判定装置、判定装置の制御方法、判定システム、判定システムの制御方法、及び、プログラム |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0581410A (ja) * | 1991-09-19 | 1993-04-02 | Fujitsu Ltd | 対応点探索方式 |
JPH05141919A (ja) * | 1991-11-01 | 1993-06-08 | Aisin Seiki Co Ltd | 左,右カメラの撮像画像の対応点検索方法 |
JPH05215547A (ja) * | 1992-02-06 | 1993-08-24 | Nippon Telegr & Teleph Corp <Ntt> | ステレオ画像間対応点決定方法 |
JPH07152914A (ja) * | 1993-11-26 | 1995-06-16 | Fuji Heavy Ind Ltd | 車輌用距離検出装置 |
JPH10124683A (ja) * | 1996-09-05 | 1998-05-15 | Daimler Benz Ag | 立体画像−物体検出方法 |
JP2000348175A (ja) * | 1999-06-08 | 2000-12-15 | Sony Corp | 対応点検出装置及び方法 |
JP2001351200A (ja) * | 2000-06-09 | 2001-12-21 | Nissan Motor Co Ltd | 車載用物体検知装置 |
JP2003296736A (ja) * | 2002-03-29 | 2003-10-17 | Toshiba Corp | 障害物検知装置及びその方法 |
JP2007085773A (ja) * | 2005-09-20 | 2007-04-05 | Toyota Motor Corp | 車両用画像処理装置 |
JP2008507454A (ja) * | 2004-07-26 | 2008-03-13 | オートモーティブ システムズ ラボラトリー インコーポレーテッド | 道路使用弱者保護システム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1141670C (zh) * | 2001-07-27 | 2004-03-10 | 南开大学 | 用二维编码对运动物体进行三维跟踪测量的方法 |
JP3977776B2 (ja) * | 2003-03-13 | 2007-09-19 | 株式会社東芝 | ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置 |
US8108119B2 (en) * | 2006-04-21 | 2012-01-31 | Sri International | Apparatus and method for object detection and tracking and roadway awareness using stereo cameras |
KR20080076628A (ko) * | 2007-02-16 | 2008-08-20 | 삼성전자주식회사 | 영상의 입체감 향상을 위한 입체영상 표시장치 및 그 방법 |
CN101321299B (zh) * | 2007-06-04 | 2011-06-01 | 华为技术有限公司 | 视差生成方法、生成单元以及三维视频生成方法及装置 |
JP5050926B2 (ja) | 2008-02-28 | 2012-10-17 | セイコーエプソン株式会社 | 画像出力方法、画像出力装置および画像出力プログラム |
CN100586199C (zh) * | 2008-03-30 | 2010-01-27 | 深圳华为通信技术有限公司 | 视差获取方法和装置 |
-
2009
- 2009-09-07 JP JP2009205466A patent/JP5404263B2/ja not_active Expired - Fee Related
-
2010
- 2010-09-02 CN CN2010800031211A patent/CN102203552B/zh not_active Expired - Fee Related
- 2010-09-02 CN CN2013101493105A patent/CN103278133A/zh active Pending
- 2010-09-02 EP EP14162784.4A patent/EP2752641A1/en not_active Withdrawn
- 2010-09-02 US US13/125,108 patent/US8743183B2/en not_active Expired - Fee Related
- 2010-09-02 EP EP10813515.3A patent/EP2476996B1/en not_active Not-in-force
- 2010-09-02 WO PCT/JP2010/005416 patent/WO2011027564A1/ja active Application Filing
- 2010-09-02 EP EP13175943.3A patent/EP2650639B1/en not_active Not-in-force
-
2014
- 2014-04-10 US US14/249,721 patent/US9338434B2/en not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0581410A (ja) * | 1991-09-19 | 1993-04-02 | Fujitsu Ltd | 対応点探索方式 |
JPH05141919A (ja) * | 1991-11-01 | 1993-06-08 | Aisin Seiki Co Ltd | 左,右カメラの撮像画像の対応点検索方法 |
JPH05215547A (ja) * | 1992-02-06 | 1993-08-24 | Nippon Telegr & Teleph Corp <Ntt> | ステレオ画像間対応点決定方法 |
JPH07152914A (ja) * | 1993-11-26 | 1995-06-16 | Fuji Heavy Ind Ltd | 車輌用距離検出装置 |
JPH10124683A (ja) * | 1996-09-05 | 1998-05-15 | Daimler Benz Ag | 立体画像−物体検出方法 |
JP2000348175A (ja) * | 1999-06-08 | 2000-12-15 | Sony Corp | 対応点検出装置及び方法 |
JP2001351200A (ja) * | 2000-06-09 | 2001-12-21 | Nissan Motor Co Ltd | 車載用物体検知装置 |
JP2003296736A (ja) * | 2002-03-29 | 2003-10-17 | Toshiba Corp | 障害物検知装置及びその方法 |
JP2008507454A (ja) * | 2004-07-26 | 2008-03-13 | オートモーティブ システムズ ラボラトリー インコーポレーテッド | 道路使用弱者保護システム |
JP2007085773A (ja) * | 2005-09-20 | 2007-04-05 | Toyota Motor Corp | 車両用画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5404263B2 (ja) | 2014-01-29 |
US9338434B2 (en) | 2016-05-10 |
EP2650639A1 (en) | 2013-10-16 |
US20140218485A1 (en) | 2014-08-07 |
EP2476996A1 (en) | 2012-07-18 |
EP2476996B1 (en) | 2014-03-12 |
CN102203552B (zh) | 2013-06-05 |
EP2752641A1 (en) | 2014-07-09 |
CN103278133A (zh) | 2013-09-04 |
US8743183B2 (en) | 2014-06-03 |
CN102203552A (zh) | 2011-09-28 |
EP2476996A4 (en) | 2013-02-20 |
US20110199462A1 (en) | 2011-08-18 |
WO2011027564A1 (ja) | 2011-03-10 |
EP2650639B1 (en) | 2014-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5404263B2 (ja) | 視差算出方法、および視差算出装置 | |
US8867790B2 (en) | Object detection device, object detection method, and program | |
JP4363295B2 (ja) | ステレオ画像による平面推定方法 | |
JP4556798B2 (ja) | 画像処理装置 | |
JP5752618B2 (ja) | ステレオ視差算出装置 | |
US20200068186A1 (en) | Stereo camera | |
JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
EP2887313B1 (en) | Image processing apparatus, system, image processing method, and computer-readable recording medium | |
JP6307037B2 (ja) | 障害物検知方法およびその装置 | |
TWI504858B (zh) | A vehicle specification measuring and processing device, a vehicle specification measuring method, and a recording medium | |
JP5548212B2 (ja) | 横断歩道標示検出方法および横断歩道標示検出装置 | |
JPH11351862A (ja) | 前方車両検出方法及び装置 | |
JP2012159469A (ja) | 車両用画像認識装置 | |
JP2023029441A (ja) | 計測装置、計測システムおよび車両 | |
JP2009092551A (ja) | 障害物計測方法、障害物計測装置及び障害物計測システム | |
JP5981284B2 (ja) | 対象物検出装置、及び対象物検出方法 | |
CN114830180A (zh) | 摄像机自动检查系统 | |
JP5579297B2 (ja) | 視差算出方法、および視差算出装置 | |
WO2020095549A1 (ja) | 撮像装置 | |
JP2010224926A (ja) | 停止線検出装置 | |
JP4552409B2 (ja) | 画像処理装置 | |
JP5822866B2 (ja) | 画像処理装置 | |
JP7066580B2 (ja) | 画像処理装置 | |
JP2008097444A (ja) | 画像処理装置 | |
JP2004177295A (ja) | 距離情報選択方法及び距離情報選択装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131029 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5404263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |