JP2013224920A - 距離計測装置及び車両 - Google Patents
距離計測装置及び車両 Download PDFInfo
- Publication number
- JP2013224920A JP2013224920A JP2013003413A JP2013003413A JP2013224920A JP 2013224920 A JP2013224920 A JP 2013224920A JP 2013003413 A JP2013003413 A JP 2013003413A JP 2013003413 A JP2013003413 A JP 2013003413A JP 2013224920 A JP2013224920 A JP 2013224920A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- correction amount
- distance measuring
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 claims abstract description 80
- 238000004364 calculation method Methods 0.000 claims abstract description 47
- 238000003702 image correction Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 abstract description 69
- 238000000034 method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000010191 image analysis Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Abstract
【解決手段】異なる視点から複数の画像を撮影するステレオカメラと、ステレオカメラにより撮影された複数の画像に基づいて、被写体の視差を計算する視差計算部と、を備える。視差計算部は、ステレオカメラにより撮影した撮影画像に基づいて、画面内の画素位置に応じた横方向の画像ずれ量に基づいた視差補正量を推定する視差補正量算出処理部23と、視差補正量算出処理部23により推定された視差補正量に基づいて、視差情報を補正する視差補正処理部24と、を備える。
【選択図】図2
Description
図10は、ステレオカメラを利用した距離計測の原理説明図である。
ステレオカメラは、例えば2台のカメラを平行に配置して構成される。図10には、焦点距離f、光学中心O0、撮像面S0の第1のカメラ100aが紙面上方を光軸方向として配置され、かつ、同じ焦点距離fを持つ第2のカメラ100bが、第1のカメラ100aの右側に距離Bだけ離れて平行に配置されている。
第1のカメラ100aの光学中心O0から光軸方向に距離dだけ離れた位置にある被写体Aの像は、直線A−O0と撮像面S0の交点であるP0に像を結ぶ。
ここで、第2のカメラ100bの光学中心O1を通り、直線A−O0と平行な直線と、撮像面S1との交点をP0’とし、P0’とP1の距離をpとする。P0’は、第1のカメラ100a上の像P0と同じ位置であり、距離pは、同じ被写体の像の二台のカメラで撮影した画像上での位置のずれ量を表し、これを視差と呼ぶ。
三角形A−O0−O1と、三角形O1−P0’−P1は相似なので、
d=B×f/p ・・・(1)
となり、基線長Bと焦点距離fが既知ならば、視差pから距離dを求めることができる。
この原理が成立するためには、第1のカメラ100aと第2のカメラ100bは図10に示すように正確に配置されていなければならない。
しかしながら、2台のカメラを組み付ける際の公差を無くして厳密に平行配置することは非常に困難であるため、信号処理により補正する技術が各種提案されている。
また特許文献2には、結像レンズ系の歪曲収差など、アフィン変換だけでは対応しきれない、非線形なずれを補正するため、テーブルを利用する技術が開示されている。テーブルの内容は、既知の位置にセットしたテストチャートを撮影したデータを元に決定する。
特許文献3には、振動や温度変化などにより、実際の利用中に生じる初期状態からのずれに対応するための技術が開示されている。実際の利用中は、製造時のように既知のテストチャートを撮影することが困難なため、路面の白線の平行性だけを利用してずれ量を計測するようにしている。
従来のキャリブレーション技術は、キャリブレーションを実行するタイミングと、画像変形の自由度の2種類に大別することができる。
さらにキャリブレーションを実行するタイミングは、製造時と利用時に分けることができる。例えば製造時におけるキャリブレーションでは、レンズの光学的な歪みや組み立て時のずれなどをカメラ製造時に計測して補正する。一方、利用時におけるキャリブレーションでは、温度変化や振動などによる経時変化の影響によるずれを利用中に計測して補正する。
また画像変形の自由度は、アフィン変換、非線形テーブル変換、平行移動(一定のオフセット)などがある。
これはステレオカメラを構成する2台のカメラが例えば組み立て時の公差等が無く理想的な平行状態で設置されている場合は、一方のカメラで撮影された左画像と他方のカメラで撮影された右画像の対応点は、必ず水平方向の視差を有するため、対応点間の位置差の垂直成分が存在すれば、その対応点間の位置差から縦方向の画像ずれが生じていることを容易に推定することができる。これに対して、横方向の視差については、その真値が被写体までの距離によるため、横方向のずれ量は検知が難しく容易に推定することができなかった。
ステレオカメラにおいて発生する横ずれには、例えば、縦軸まわりの回転による横ずれと、歪曲特性の変化による横ずれがある。
縦軸まわりの回転による横ずれは、カメラの視線方向を上下左右に微小に変化させると、撮影画像の反対方向(下上右左)に移動する。しかし、このときの画像の移動は厳密には平行移動ではない。例えば、図11(a)に示すようにカメラ100が左方向に傾いた場合に、カメラに正対した長方形がどのように変形するかを図11(b)に示す。
図11(b)では特に強調して示してあるが、図11(a)に示すようにカメラ100が左方向に傾いた場合はカメラ100の撮影画像は長方形110から台形120に変形する。この場合、画面全体で画像は右方向にずれるが、画面左側は縮小され、より中央に近づくため、画面中心付近のB点に比べ、左端のA点は大きく右に動き、逆に画面右側は拡大され、より中央から離れるために、右端のC点もやはり大きく右に動く。その結果、画像の右方向へのずれ量は、図12に示すように、画面全体で均一ではない。
従来は、ずれの角度が微小であれば、図11(b)に示した台形120は長方形110に非常に近いため、近似的に平行移動とみなしていたが、より正確な視差検出のためには、単純な平行移動ではなく、画素位置に応じたずれ量が存在するものとして補正しなければならない。
このように従来の距離計測装置におけるキャリブレーション技術では、距離計測装置が実際に稼働している状態において、横方向の画像ずれを計測して補正することはできないという問題点があった。
本発明は、上記したような点を鑑みてなされたものであり、一様でない横方向の画像ずれ量を正確に計測して補正することができる距離計測装置を提供することを目的とする。
<第1実施形態>
図1は、本発明の第1実施形態に係る距離計測装置のハードウェア全体の構成を示したブロック図である。
図1に示す本実施形態の距離計測装置1は、左カメラ11aと右カメラ11bとを平行に配したステレオカメラ(画像撮像手段)11と視差計算部(視差算出手段)20とにより構成される。
左カメラ11a、右カメラ11bは、異なる視点からそれぞれ画像を撮影する。
視差計算部20は、左カメラ11a、右カメラ11bにより撮影された画像が入力され、視差画像データを出力する。
視差計算部20は、バス接続されたCPU(Central Processing Unit)、DRAM(Dynamic Random Access Memory)メモリ、不揮発性フラッシュメモリなどを備えた一般的な電子計算機により構成される。視差計算機能は、フラッシュメモリに記録され、CPU、DRAMなどを利用して実行されるソフトウェアプログラムの形態で実装される。
なお、本実施形態では、ステレオカメラ11が二台のカメラ11a、11bを備えている場合を例に挙げて説明したが、これはあくまでも一例であり、三台以上のカメラを用いて構成しても良いことは言うまでもない。
カメラ制御部21は、左カメラ11aと右カメラ11bとを制御し、画像データの入力を行う。また、2台のカメラ同期、カメラ初期化、露光制御などを実行する。ここでは説明しないが、必要に応じ、光学系による歪曲、画像回転など、一般的にステレオ距離計測に有効とされる視差オフセット以外の画像補正処理を、入力直後に施すことが望ましい。また、カメラ制御部21は、左右2台のカメラで同時に撮影した2枚の画像を次々に出力する。
ここでは、右カメラ11bで撮影した撮影画像を基準画像、左カメラ11aで撮影した撮影画像を参照画像と呼ぶ。
視差画像生成処理部22は、カメラ制御部21から入力される基準画像と参照画像の2枚の画像データから、画素ごとに視差を算出して補正前視差画像を生成する。なお、視差画像生成処理部22の詳細については後述する。
視差補正処理部(補正手段)24は、視差画像の各画素の視差値から、視差補正量算出処理部23から入力した補正量のうち、画素位置に対応する補正量を減算することにより、視差画像データを補正する。つまり、入力される視差画像中の、画素位置(i,j)の視差値をd(i,j)、X座標=iの視差補正量をoff(i)とすると、O(i,j)=d(i,j)−off(i)を補正視差値として出力する。
ステップS1では、ステレオ画像を入力する。すなわち、平行配置された2台のカメラで同時に撮影された画像を入力する。続くステップS2は、特徴点を抽出する。
ステップS3では、対応点の探索を行う。すなわち、まず基準となる右カメラ11bにおいて撮影された基準画像から濃淡変化の激しい特徴点を複数抽出する。次に反対の左カメラ11aにおいて撮影された参照画像から、基準画像上の各特徴点近傍領域(ブロック)と同じ被写体の写った対応点の位置を探索する。対応点探索には、SAD(Sum of Absolute Difference)やPOC(位相限定相関)など周知の技術を利用することができる。
ステップS4では、視差を算出する。すなわち、対応点探索処理で算出した左右画像上の対応点位置の差分を取り、視差を算出する。
ステップS5では、視差画像を出力する。すなわち、算出された視差量を画素値とする視差画像データ(視差情報)を出力する。
以上の処理を定期的に繰返し実行することで、常にカメラ前方の視差画像を出力し続ける。
領域視差補正量算出処理部23aは、領域ごとの視差オフセット算出処理として、2回のステレオ撮影間での同じ被写体(特徴点)の視差データ対の集合に基づき、視差オフセットを算出する。但し、1枚目の基準画像上での特徴点の位置が、図4の3つの領域(第1領域E1、第2領域E2、第3領域E3)のいずれに属するかによって、視差データ対を3つの集合に分類する。つまり、図4のように、第1領域E1と第2領域E2の境界のX座標値をXth1、第2領域E2、第3領域E3の境界をXth2、特徴点の座標値を(X、Y)とすると、
X<Xth1となる特徴点は集合1に、
X>Xth2となる特徴点は集合3に、
それ以外は集合2と判定する。
それぞれの集合に対して独立に統計処理を実行して、領域ごとに3つの視差オフセット量を推定する。
ここで、いずれかの領域に属する特徴点数が、予め決められた閾値よりも少なければ、その領域の視差オフセット推定は行わず、前フレームまでの推定結果をそのまま採用する。
第1領域E1、第2領域E2、第3領域E3の中心のX座標をそれぞれX1、X2、X3と呼ぶ。
上記の第1領域E1〜第3領域E3ごとの視差オフセット算出ステップの結果を、X座標=X1、X2、X3の3点での補正量とみなし、これらの線形補間によって、すべてのX座標での補正量を算出する。つまり、X<X2の範囲の補正量を、X1とX2での視差オフセットの線形補間で求め、またX2<Xの範囲の補正量をX2とX3での視差オフセットの線形補間で求める。このように求めた1画素ごと画像幅分の(X座標、補正量)のテーブルを、視差補正処理部24へ出力する。
横軸がX座標、縦軸が視差補正量を表す。図中、白丸が3領域ごとの視差オフセット(=視差補正量)を、実線Aが、線形補間によって得られる全X座標での補正量を表す。
また図5では、図12に示した理想的な補正量を破線Bで、従来のような一定の視差オフセットを利用する場合を一点鎖線Cで示してある。図5から本実施形態による補正量(実線A)のほうが、従来の一定値(一点鎖線C)より理想量(破線B)に近い場合が多くなることがわかる。
第1実施形態では、領域分割として図4に示す横方向3分割を採用したが、これはあくまでも一例であり、カメラの経時変化の特性に応じて設定すればよい。例えば、分割数の増減や縦横2次元分割も可能であり、領域間に隙間やオーバーラップなどを設けることも可能ある。
また、第1実施形態では、視差補正量算出処理部23の一例として、複数の領域ごとに視差補正量の算出を行う領域視差補正量算出処理部23aを例に挙げて説明したが、これはあくまでも一例であり、視差補正量算出処理部23は他の構成でもよい。
また第1実施形態は、視差補正量算出処理を2フレームごとに実行するようにしているが、信頼性評価をして信頼性の低いフレームの情報を棄却したり、フレーム蓄積を行い、より精度や安定性を向上させることもできる。
このように、第1実施形態の距離計測装置1では、2台のカメラ11a、11bを使用して、二つの地点(時刻)から撮影した2枚の視差画像間での、同じ被写体(特徴点)に関する二つの視差データの対を多数収集する。そして、領域視差補正量算出処理部23aにおいて、その視差データ対の集合を統計処理することで視差オフセットを計測する。
特徴点は元々画面上の特定の位置を占めているので、第1実施形態では視差データ対を、特徴点の位置に応じて分類することにより、画像領域ごとの視差オフセットを検出するようにしている。
正確には、この方法で推定できるのは、図11、図12に示したような撮影画像のずれ量そのものではなく、2枚の撮影画像間の視差の変化量である。視差は被写体距離に応じて変わるため、これは2枚の画像の同位置のずれ量の差分とも一致はしない。しかし、ずれ量の変化が図12のように画素位置に対してゆるやかに変化し、また、対象とする視差がその変化率に対して小さい場合(例えば、画面幅の1/20以下の視差を扱う場合)、視差オフセットは2枚の画像のずれ量の差分とみなすことができる。
さらに、微小な画像ずれは視差が小さいほど大きな影響を及ぼす。例えば、0.5画素のずれは、100画素の視差に対しては0.5%の誤差にしかあたらないが、1画素の視差に対しては50%の誤差となる。
これにより、一様でない横方向の画像ずれを、利用中に例えばテストチャートなどの既知の被写体を用いることなく補正することができるので、より正確な視差画像を生成することができる。
因みに、従来の特許文献1のような路面の白線に基づく方法では、路面の白線が写る画像領域全体での平均的な視差オフセット量しか計測しかできない。そして自動車の前方に向け設置されたカメラに路面の白線が写る位置は、いつも画面下半分あたりで変化しないため、領域ごとのオフセット計測を行うことができない。これに対して、本実施形態では、特徴点ベースの統計処理による視差オフセット計測方法を利用することで、領域ごとのオフセット計測が実現できるものである。
次に本発明の第2実施形態について説明する。
第1実施形態では視差データを補正したが、第2実施形態では視差画像生成に利用する参照画像を補正する。この場合は、歪曲や組み立て誤差などを補正するための画像補正処理が存在するならば、その段階に補正処理を組み込むことにより、視差画像の補正という後処理が不要になる。
なお、第2実施形態の全体構成及びハードウェア構成は、図1に示した第1実施形態と同様であるため、説明は省略する。以下、ソフトウェア処理内容の第1実施形態との差異部分を重点的に説明する。
図6に示すカメラ制御部21は、第1実施形態と同様に2台のカメラを制御し、基準画像、参照画像を出力する。
基準画像補正処理部31は、カメラ製造時に計測したずれや歪曲特性に応じて画像を変形補正する。
一般に画像の変形処理とは、出力画像のすべての画素位置について、対応する入力画像上の画素位置を算出する画素位置生成テーブル(座標生成処理部)41と、算出された画素位置に対応する入力画像上の画素値を算出する画素補間部42とから構成される。なお、画素値は必ずしも整数値とは限らない。
第2実施形態では、全画素分のXY座標を予めテーブルとして記録しておき、それを参照することで入力画像上の画素位置を生成する。テーブルは、カメラ製造時に既知の位置に設置したテストチャートを撮影し、特徴点間を補間して生成し、カメラ内部に記録しておく。なお、第2実施形態ではテーブルを利用するが、多項式演算などによる座標変換など、テーブル以外の方法で画素位置を生成することもできる。
画像補正量算出処理部32は、上記視差補正量算出処理部23と同様であり、図4に示したように画像領域を分割して、それぞれの領域ごとに視差オフセットを求め、それらを補間して全画素分の補正量を出力する。但し、第2実施形態では画像補正量算出処理部32が出力する補正量を画像補正に利用する。
参照画像補正処理部(画像補正手段)33は、基準画像補正処理部31と同様に画像を変形して補正する。但し、基準画像はカメラ製造時に計測したずれ特性に基づいて補正したが、参照画像の補正では、予め計測、記録された特性に加え、画像補正量算出処理部32で算出された利用時に発生したずれも補正する。
参照画像補正処理部33は、画素位置生成テーブル41、画素補間部42、画素位置補正処理部43とを備えている。なお、図7と同一ブロックには同一符号を付して説明は省略する。
画素位置生成テーブル41のテーブル内容は、上記同様、カメラ製造時に計測して記録しておく。
画素位置補正処理部43は、画像補正量算出処理部32から入力するX座標ごとの画像補正量を使い、テーブルに記録された画素位置データを補正する。
具体的には、テーブルから読み出した座標(X、Y)のX座標に対して、X座標に対応する補正量off(i)を加算して出力する。これにより、視差が大きすぎる場合、すなわち、基準画像と比べ右側にくる場合は、参照画像を左側に移動するよう変形されるので、後で算出される視差を小さくすることができる。なお、X座標が整数でない場合は、例えば四捨五入で整数化すれば良い。
なお、第2実施形態では、参照画像の補正だけに画像補正量算出処理部32の結果を反映したが、逆に基準画像側の補正に反映したり、補正量を基準画像と参照画像に分配することもできる。つまり、参照画像補正処理部33だけでなく、基準画像補正処理部31、或いは参照画像補正処理部33と基準画像補正処理部31の両方を画像補正手段として機能させるようにしてもよい。
これにより、一様でない横方向の画像ずれを、稼動中に例えばテストチャートなどの既知の被写体を用いることなく補正することができるようになる。
また第2実施形態では、参照画像補正処理部33において、画像補正量算出処理部32から補正量に基づいて参照画像を補正する。そして、視差画像生成処理部22において補正した参照画像と基準画像間の対応点を探索し、対応点間の座標の差分である視差データを算出するようにしているので、単純な演算によって、画素位置に応じた画素横ずれを補正することができるという利点がある。
図10は、本実施形態の距離計測装置1が適用される画像処理システムと、その画像処理システムが搭載された車両の模式図である。
図10に示す画像処理システムは、車両前方の画像を取得するための撮像ユニット51と、取得した画像に基づいて車両50の前方に存在する他の車両までの距離を算出する等の処理を行う画像解析ユニット52を有している。撮像ユニット51は、車両50が走行する前方の画像を撮像できるように、座席のルームミラー位置等に設置されている。撮像ユニット51で撮像された車両前方の画像は、画像信号化されて画像解析ユニット52に入力される。画像解析ユニット52は、撮像ユニット51から出力された画像信号を解析する。
撮像ユニット51として、上記実施形態のステレオカメラ11を適用できる。
また、画像解析ユニット52の一部の機能として、上記実施形態の視差計算部20を適用することが出来る。
車両走行制御ユニット53は、画像解析ユニット52で計算された距離に基づいてハンドルやブレーキの制御も行うことが出来る。
Claims (5)
- 異なる視点から複数の画像を撮影する画像撮影手段と、
前記画像撮影手段により撮影された複数の画像に基づいて、被写体の視差を計算する視差算出手段と、を備え、
前記視差算出手段は、前記画像撮影手段により撮影した撮影画像に基づいて、画面内の画素位置に応じた横方向の画像ずれ量に基づいた視差補正量を推定する推定手段と、
前記推定手段により推定された前記視差補正量に基づいて、視差情報を補正する補正手段と、を備えることを特徴とする距離計測装置。 - 前記推定手段は、画面内に複数の領域を設定し、該複数の領域ごとに前記視差補正量を推定することを特徴とする請求項1に記載の距離計測装置。
- 前記視差算出手段は、
複数の画像間の対応点を探索し、対応点間の座標の差分を計算する対応点位置差算出手段と、
前記対応点位置差算出手段により算出された対応点位置差を、前記視差補正量に基づいて補正する視差補正手段と、
を備えることを特徴とする請求項1又は2に記載の距離計測装置。 - 前記視差算出手段は、
入力される複数の画像の少なくとも一つを前記視差補正量に基づいて補正する画像補正手段と、
補正された画像間の対応点を探索し、対応点間の座標の差分を計算する対応点位置差算出手段と、を備えることを特徴とする請求項1又は2に記載の距離計測装置。 - 請求項1乃至4の何れか一項に記載の距離計測装置を備えたことを特徴とする車両。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013003413A JP6167525B2 (ja) | 2012-03-21 | 2013-01-11 | 距離計測装置及び車両 |
US13/798,321 US9338438B2 (en) | 2012-03-21 | 2013-03-13 | Calibrating range-finding system using parallax from two different viewpoints and vehicle mounting the range-finding system |
EP20130159738 EP2642448A1 (en) | 2012-03-21 | 2013-03-18 | Range-finding system |
US15/093,911 US20160227188A1 (en) | 2012-03-21 | 2016-04-08 | Calibrating range-finding system using parallax from two different viewpoints and vehicle mounting the range-finding system |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012063705 | 2012-03-21 | ||
JP2012063705 | 2012-03-21 | ||
JP2013003413A JP6167525B2 (ja) | 2012-03-21 | 2013-01-11 | 距離計測装置及び車両 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017124035A Division JP6443502B2 (ja) | 2012-03-21 | 2017-06-26 | 画像処理装置、撮影装置、制御システム、移動体、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013224920A true JP2013224920A (ja) | 2013-10-31 |
JP6167525B2 JP6167525B2 (ja) | 2017-07-26 |
Family
ID=48087361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013003413A Active JP6167525B2 (ja) | 2012-03-21 | 2013-01-11 | 距離計測装置及び車両 |
Country Status (3)
Country | Link |
---|---|
US (2) | US9338438B2 (ja) |
EP (1) | EP2642448A1 (ja) |
JP (1) | JP6167525B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015088289A1 (ko) * | 2013-12-12 | 2015-06-18 | 엘지전자 주식회사 | 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량 |
JP2015135317A (ja) * | 2013-12-19 | 2015-07-27 | 株式会社リコー | 画像処理装置、システム、画像処理方法およびプログラム |
JP2015169583A (ja) * | 2014-03-07 | 2015-09-28 | 株式会社リコー | 校正方法、校正装置及びプログラム |
JP2018017568A (ja) * | 2016-07-27 | 2018-02-01 | キヤノン株式会社 | 距離測定装置、撮像装置、および距離測定方法 |
JP2018084503A (ja) * | 2016-11-24 | 2018-05-31 | 株式会社デンソー | 距離測定装置 |
WO2019058729A1 (ja) * | 2017-09-20 | 2019-03-28 | 日立オートモティブシステムズ株式会社 | ステレオカメラ |
WO2019082460A1 (ja) * | 2017-10-23 | 2019-05-02 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2020138072A1 (ja) * | 2018-12-26 | 2020-07-02 | Whill株式会社 | ステレオカメラおよび電動モビリティ |
JP2020165968A (ja) * | 2020-03-19 | 2020-10-08 | 株式会社リコー | 校正方法、校正装置及びプログラム |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5076002B1 (ja) * | 2011-04-27 | 2012-11-21 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
EP2677733A3 (en) * | 2012-06-18 | 2015-12-09 | Sony Mobile Communications AB | Array camera imaging system and method |
KR20140039820A (ko) * | 2012-09-25 | 2014-04-02 | 엘지이노텍 주식회사 | 디스플레이 룸미러 시스템 |
JP5957359B2 (ja) * | 2012-10-19 | 2016-07-27 | 日立オートモティブシステムズ株式会社 | ステレオ画像処理装置及びステレオ画像処理方法 |
JP6476831B2 (ja) * | 2013-12-26 | 2019-03-06 | 株式会社リコー | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
JP6447055B2 (ja) | 2014-01-28 | 2019-01-09 | 株式会社リコー | 校正方法、校正装置、計測用具及びプログラム |
JP2015149547A (ja) * | 2014-02-05 | 2015-08-20 | ソニー株式会社 | 画像処理方法、画像処理装置、及び電子機器 |
US10186034B2 (en) | 2015-01-20 | 2019-01-22 | Ricoh Company, Ltd. | Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium |
JP6327370B2 (ja) | 2015-02-13 | 2018-05-30 | 株式会社リコー | 計測用具、校正方法、校正装置及びプログラム |
US10007998B2 (en) | 2015-03-20 | 2018-06-26 | Ricoh Company, Ltd. | Image processor, apparatus, and control system for correction of stereo images |
US20160373726A1 (en) * | 2015-06-18 | 2016-12-22 | Redrover Co., Ltd. | Method for automatic optical-axis alignment of camera rig for capturing stereographic image |
US10552966B2 (en) | 2016-03-07 | 2020-02-04 | Intel Corporation | Quantification of parallax motion |
JP6747176B2 (ja) | 2016-08-25 | 2020-08-26 | 株式会社リコー | 画像処理装置、撮影装置、プログラム、機器制御システム及び機器 |
WO2018230095A1 (ja) * | 2017-06-15 | 2018-12-20 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
JP6920159B2 (ja) * | 2017-09-29 | 2021-08-18 | 株式会社デンソー | 車両の周辺監視装置と周辺監視方法 |
US10832438B2 (en) * | 2018-12-19 | 2020-11-10 | Murat Gozu | Object distancing system for a vehicle |
US11849100B2 (en) * | 2021-05-31 | 2023-12-19 | Canon Kabushiki Kaisha | Information processing apparatus, control method, and non-transitory computer readable medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10103949A (ja) * | 1996-09-26 | 1998-04-24 | Fuji Electric Co Ltd | 距離検出値の補正方法 |
JP3261115B2 (ja) * | 1999-09-22 | 2002-02-25 | 富士重工業株式会社 | ステレオ画像処理装置 |
JP2009008539A (ja) * | 2007-06-28 | 2009-01-15 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6407817B1 (en) * | 1993-12-20 | 2002-06-18 | Minolta Co., Ltd. | Measuring system with improved method of reading image data of an object |
JPH09127393A (ja) * | 1995-10-27 | 1997-05-16 | Nikon Corp | カメラ |
JP3792832B2 (ja) | 1997-05-07 | 2006-07-05 | 富士重工業株式会社 | ステレオカメラの調整装置 |
US6269175B1 (en) * | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
JP4573977B2 (ja) | 1999-09-22 | 2010-11-04 | 富士重工業株式会社 | 監視システムの距離補正装置、および監視システムの消失点補正装置 |
CN100584039C (zh) * | 2002-10-23 | 2010-01-20 | 皇家飞利浦电子股份有限公司 | 3d数字视频信号的后处理方法 |
US7388598B2 (en) * | 2003-02-14 | 2008-06-17 | Image Ensemble, Inc. | 3D camera system and method |
US7219853B2 (en) * | 2004-06-21 | 2007-05-22 | Raytheon Company | Systems and methods for tracking targets with aimpoint offset |
US7911516B2 (en) * | 2004-09-27 | 2011-03-22 | Panasonic Corporation | Camera module and electronic apparatus provided with it |
US7956871B2 (en) * | 2005-04-28 | 2011-06-07 | Samsung Electronics Co., Ltd. | Color disparity correction in image sensors methods and circuits |
US7684612B2 (en) * | 2006-03-28 | 2010-03-23 | Pitney Bowes Software Inc. | Method and apparatus for storing 3D information with raster imagery |
IL191615A (en) * | 2007-10-23 | 2015-05-31 | Israel Aerospace Ind Ltd | A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points |
WO2009098864A1 (ja) * | 2008-02-05 | 2009-08-13 | Panasonic Corporation | 測距装置及び測距方法 |
US8970677B2 (en) * | 2008-02-19 | 2015-03-03 | Bae Systems Information And Electronic Systems Integration Inc. | Focus actuated vergence |
US8212912B2 (en) | 2008-04-10 | 2012-07-03 | Panasonic Corporation | Imaging device, imaging system, and imaging method |
JP5028337B2 (ja) * | 2008-05-30 | 2012-09-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
US20100128971A1 (en) * | 2008-11-25 | 2010-05-27 | Nec System Technologies, Ltd. | Image processing apparatus, image processing method and computer-readable recording medium |
JP4737573B2 (ja) * | 2009-02-05 | 2011-08-03 | 富士フイルム株式会社 | 3次元画像出力装置及び方法 |
JP5278819B2 (ja) | 2009-05-11 | 2013-09-04 | 株式会社リコー | ステレオカメラ装置及びそれを用いた車外監視装置 |
US20120224027A1 (en) * | 2009-08-20 | 2012-09-06 | Yousuke Takada | Stereo image encoding method, stereo image encoding device, and stereo image encoding program |
JP5068391B2 (ja) * | 2009-10-30 | 2012-11-07 | 富士フイルム株式会社 | 画像処理装置 |
JP5417138B2 (ja) * | 2009-12-07 | 2014-02-12 | 株式会社東芝 | カメラモジュール |
JP5572437B2 (ja) * | 2010-03-29 | 2014-08-13 | 富士フイルム株式会社 | 3次元医用画像に基づいて立体視用画像を生成する装置および方法、並びにプログラム |
EP2389004B1 (en) * | 2010-05-20 | 2013-07-24 | Sony Computer Entertainment Europe Ltd. | 3D camera and imaging method |
JP2012042669A (ja) * | 2010-08-18 | 2012-03-01 | Sony Corp | 顕微鏡制御装置及び光学的歪み補正方法 |
JP5440461B2 (ja) | 2010-09-13 | 2014-03-12 | 株式会社リコー | 校正装置、距離計測システム、校正方法および校正プログラム |
WO2012073490A1 (ja) * | 2010-11-30 | 2012-06-07 | パナソニック株式会社 | オブジェクト検出装置、画像分割装置、集積回路 |
JP5002702B2 (ja) * | 2010-12-03 | 2012-08-15 | 株式会社東芝 | 視差画像生成装置、立体映像表示装置及び視差画像生成方法 |
KR101752690B1 (ko) * | 2010-12-15 | 2017-07-03 | 한국전자통신연구원 | 변이 맵 보정 장치 및 방법 |
US8581995B2 (en) * | 2011-01-25 | 2013-11-12 | Aptina Imaging Corporation | Method and apparatus for parallax correction in fused array imaging systems |
JP2012204852A (ja) * | 2011-03-23 | 2012-10-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP5769572B2 (ja) * | 2011-03-30 | 2015-08-26 | 株式会社Screenホールディングス | 基板検査装置および基板検査方法 |
KR101777875B1 (ko) * | 2011-04-28 | 2017-09-13 | 엘지디스플레이 주식회사 | 입체 영상 표시장치와 그 입체 영상 조절 방법 |
KR101742120B1 (ko) * | 2011-06-10 | 2017-05-31 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US20130004071A1 (en) * | 2011-07-01 | 2013-01-03 | Chang Yuh-Lin E | Image signal processor architecture optimized for low-power, processing flexibility, and user experience |
US9363498B2 (en) * | 2011-11-11 | 2016-06-07 | Texas Instruments Incorporated | Method, system and computer program product for adjusting a convergence plane of a stereoscopic image |
US8767913B2 (en) * | 2011-12-06 | 2014-07-01 | Shimadzu Corporation | X-ray radiography device |
US20130154907A1 (en) * | 2011-12-19 | 2013-06-20 | Grapac Japan Co., Inc. | Image display device and image display method |
-
2013
- 2013-01-11 JP JP2013003413A patent/JP6167525B2/ja active Active
- 2013-03-13 US US13/798,321 patent/US9338438B2/en active Active
- 2013-03-18 EP EP20130159738 patent/EP2642448A1/en not_active Ceased
-
2016
- 2016-04-08 US US15/093,911 patent/US20160227188A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10103949A (ja) * | 1996-09-26 | 1998-04-24 | Fuji Electric Co Ltd | 距離検出値の補正方法 |
JP3261115B2 (ja) * | 1999-09-22 | 2002-02-25 | 富士重工業株式会社 | ステレオ画像処理装置 |
JP2009008539A (ja) * | 2007-06-28 | 2009-01-15 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015088289A1 (ko) * | 2013-12-12 | 2015-06-18 | 엘지전자 주식회사 | 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량 |
US10005473B2 (en) | 2013-12-12 | 2018-06-26 | Lg Electronics Inc. | Stereo camera, vehicle driving auxiliary device having same, and vehicle |
JP2015135317A (ja) * | 2013-12-19 | 2015-07-27 | 株式会社リコー | 画像処理装置、システム、画像処理方法およびプログラム |
JP2015169583A (ja) * | 2014-03-07 | 2015-09-28 | 株式会社リコー | 校正方法、校正装置及びプログラム |
JP2018017568A (ja) * | 2016-07-27 | 2018-02-01 | キヤノン株式会社 | 距離測定装置、撮像装置、および距離測定方法 |
JP2018084503A (ja) * | 2016-11-24 | 2018-05-31 | 株式会社デンソー | 距離測定装置 |
WO2019058729A1 (ja) * | 2017-09-20 | 2019-03-28 | 日立オートモティブシステムズ株式会社 | ステレオカメラ |
US11346663B2 (en) | 2017-09-20 | 2022-05-31 | Hitachi Astemo, Ltd. | Stereo camera |
WO2019082460A1 (ja) * | 2017-10-23 | 2019-05-02 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN111183331A (zh) * | 2017-10-23 | 2020-05-19 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
US11240484B2 (en) | 2017-10-23 | 2022-02-01 | Sony Corporation | Information processing apparatus and information processing method for stereo imaging based on corrected parameters |
WO2020138072A1 (ja) * | 2018-12-26 | 2020-07-02 | Whill株式会社 | ステレオカメラおよび電動モビリティ |
JP2020106275A (ja) * | 2018-12-26 | 2020-07-09 | Whill株式会社 | ステレオカメラおよび電動モビリティ |
JP2020165968A (ja) * | 2020-03-19 | 2020-10-08 | 株式会社リコー | 校正方法、校正装置及びプログラム |
JP6996582B2 (ja) | 2020-03-19 | 2022-01-17 | 株式会社リコー | 校正方法、校正装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20130250065A1 (en) | 2013-09-26 |
EP2642448A1 (en) | 2013-09-25 |
US20160227188A1 (en) | 2016-08-04 |
JP6167525B2 (ja) | 2017-07-26 |
US9338438B2 (en) | 2016-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6167525B2 (ja) | 距離計測装置及び車両 | |
JP5468426B2 (ja) | ステレオカメラ装置 | |
JP6035774B2 (ja) | 画像処理装置、画像処理方法、及び車両 | |
JP6599685B2 (ja) | 画像処理装置および誤差判定方法 | |
JP2008039491A (ja) | ステレオ画像処理装置 | |
JP6306735B2 (ja) | ステレオカメラ装置及びステレオカメラ装置を備える車両 | |
JP6592991B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP2014174088A (ja) | 検査用具、ステレオカメラ検査装置及び検査方法 | |
JP6040782B2 (ja) | 画像処理装置及びプログラム | |
JP6543935B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6443502B2 (ja) | 画像処理装置、撮影装置、制御システム、移動体、及びプログラム | |
JP2009092551A (ja) | 障害物計測方法、障害物計測装置及び障害物計測システム | |
JP7303064B2 (ja) | 画像処理装置、および、画像処理方法 | |
EP4235574A1 (en) | Measuring device, moving device, measuring method, and storage medium | |
JP2018088217A (ja) | 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム | |
JP2014138331A (ja) | 撮影装置及びプログラム | |
JP6747176B2 (ja) | 画像処理装置、撮影装置、プログラム、機器制御システム及び機器 | |
JP6459487B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2018146495A (ja) | 物体検出装置、物体検出方法、物体検出プログラム、撮像装置、及び、機器制御システム | |
JP6311238B2 (ja) | 撮像装置、撮像システムおよび車両 | |
KR102479253B1 (ko) | 차량용 카메라 영상 기반 공차 보정 방법 | |
JP5580062B2 (ja) | 障害物検知警報装置 | |
JP2020201587A (ja) | 撮像装置、車両及びプログラム | |
CN113424021B (zh) | 图像处理装置 | |
JP2019158759A (ja) | 撮像装置、車両、及び撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170612 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6167525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |