JP2017062150A - ステレオカメラの校正装置、及びステレオカメラの校正方法 - Google Patents
ステレオカメラの校正装置、及びステレオカメラの校正方法 Download PDFInfo
- Publication number
- JP2017062150A JP2017062150A JP2015186753A JP2015186753A JP2017062150A JP 2017062150 A JP2017062150 A JP 2017062150A JP 2015186753 A JP2015186753 A JP 2015186753A JP 2015186753 A JP2015186753 A JP 2015186753A JP 2017062150 A JP2017062150 A JP 2017062150A
- Authority
- JP
- Japan
- Prior art keywords
- stereo camera
- cameras
- target
- pair
- targets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】狭いスペースであっても、ターゲットボードを利用したステレオカメラの校正を適切に行うことができるステレオカメラの校正装置及び校正方法を提供する。
【解決手段】視差に基づき対象物までの距離を測定するステレオカメラの校正装置は、所定の基線長Bにて離間して配置された一対のカメラ4、6を備えるステレオカメラ3と、一対のカメラ4、6の配置方向と平行に配置され、基線長Bと同じ距離だけ離間した2つのターゲット8a、8bを少なくとも含むターゲットボード8と、ターゲットボード8がステレオカメラ3に対して無限遠の位置に存在するものと仮定して、一対のカメラ4、6の各々によって撮影されたターゲットボード8の撮影画像に含まれる2つのターゲット8a、8bが同一のターゲットであるものとして扱い、一対のカメラ4、6の視差ずれを補正する演算装置と、を有する。
【選択図】図7
【解決手段】視差に基づき対象物までの距離を測定するステレオカメラの校正装置は、所定の基線長Bにて離間して配置された一対のカメラ4、6を備えるステレオカメラ3と、一対のカメラ4、6の配置方向と平行に配置され、基線長Bと同じ距離だけ離間した2つのターゲット8a、8bを少なくとも含むターゲットボード8と、ターゲットボード8がステレオカメラ3に対して無限遠の位置に存在するものと仮定して、一対のカメラ4、6の各々によって撮影されたターゲットボード8の撮影画像に含まれる2つのターゲット8a、8bが同一のターゲットであるものとして扱い、一対のカメラ4、6の視差ずれを補正する演算装置と、を有する。
【選択図】図7
Description
本発明は、ステレオカメラの校正装置及び校正方法に係わり、特に、視差に基づき対象物までの距離を測定するステレオカメラの校正装置及び校正方法に関する。
従来から、一対のカメラの視差に基づき対象物までの距離を測定するステレオカメラが知られている。近年では、そのようなステレオカメラを車両に搭載して、自車両前方の対象物までの距離を測定して種々の制御が行われている(例えば特許文献1参照)。
特に、特許文献1には、フロントガラス面に独立して取り付けられた一対のカメラで撮影された一対の画像の位置を、一対のカメラの間のガラス面に取り付けられた歪みセンサにより検出されたガラスの歪みに応じて補正する、ステレオカメラの校正方法が開示されている。この技術では、工場ラインでのフロントガラス組付時に発生する応力、乗員の重量バランスで発生する車体の歪み、経年変化で発生する車体の歪みなどに起因するフロントガラスの歪みによって、一対のカメラの光軸にずれが生じ、測距精度が低下してしまうことを抑制しようとしている。
しかしながら、特許文献1に記載されたステレオカメラの校正方法では、ステレオカメラとは別に、歪みセンサを車両に取り付ける必要があったため、コストが高くなってしまっていた。このような歪みセンサを用いずに、フロントガラスの歪みに応じた補正をステレオカメラに行う方法として、例えば車両の工場などにおいて、ターゲットボードを利用してステレオカメラを予め補正する方法が知られている。この方法は、ステレオカメラとターゲットボードとの距離を様々に変えて一対のカメラでターゲットボードを撮影し、一対のカメラのそれぞれの撮影画像に含まれるターゲットボード上のターゲットの位置に基づき、一対のカメラの視差ずれ(或るターゲットに対して一対のカメラにおいて生じる視差の理論値と、一対のカメラによる当該ターゲットの撮影画像より求められた実際の視差とのずれであり、ターゲットから一対のカメラの一方又は両方までの光軸ずれに対応するものである。以下同様とする。)を補正するものである。
ここで、車両に搭載するステレオカメラは、車両から比較的離れた場所(例えば20〜40m程度先)に位置する対象物の距離を測定するように使用されることが想定されるため、そのようなステレオカメラの視差ずれを適切に補正するためには、基本的には、ターゲットボードをステレオカメラから離れた場所に配置する必要がある。しかしながら、車両の工場などのスペース上の制限から、ターゲットボードをステレオカメラから離せる距離には限度があるため、上述したような補正方法をそのまま適用するのは困難であると言える。
本発明は、上述した従来技術の問題点を解決するためになされたものであり、狭いスペースであっても、ターゲットボードを利用したステレオカメラの校正を適切に行うことができるステレオカメラの校正装置及び校正方法を提供することを目的とする。
上記の目的を達成するために、本発明は、視差に基づき対象物までの距離を測定するステレオカメラの校正装置であって、所定の基線長にて離間して配置された一対のカメラを備えるステレオカメラと、ステレオカメラの一対のカメラの配置方向と平行に配置され、基線長と同じ距離だけ離間した2つのターゲットを少なくとも含むターゲットボードと、ターゲットボードがステレオカメラに対して無限遠の位置に存在するものと仮定して、ステレオカメラの一対のカメラの各々によって撮影されたターゲットボードの撮影画像に含まれる2つのターゲットが同一のターゲットであるものとして扱い、一対のカメラの視差ずれを補正する補正手段と、を有することを特徴とする。
このように構成された本発明では、ステレオカメラの一対のカメラの基線長と同じ距離だけ離間した2つのターゲットを少なくとも含むターゲットボードを用いて、このターゲットボードがステレオカメラに対して無限遠の位置に存在するものと仮定して、一対のカメラの各々から得られた撮影画像に含まれる2つのターゲットが同一のターゲットであるものとして扱い、一対のカメラの視差ずれを補正する。これにより、ターゲットボードをステレオカメラに近い位置に配置した状態で、ステレオカメラから離れた位置での視差ずれの補正を適切に行うことができる。したがって、例えば車両の工場などの狭いスペースであっても、ステレオカメラの校正を適切に行うことが可能となる。
本発明において、好ましくは、補正手段は、一対のカメラの一方から得られた撮影画像に含まれる2つのターゲットの一方のターゲットの画像上の位置と、一対のカメラの他方から得られた撮影画像に含まれる2つのターゲットの他方のターゲットの画像上の位置とのずれに基づき、一対のカメラの視差ずれを補正する。
このように構成された本発明によれば、ステレオカメラから離れた位置での一対のカメラにおける視差ずれの補正を適切に行うことができる。
このように構成された本発明によれば、ステレオカメラから離れた位置での一対のカメラにおける視差ずれの補正を適切に行うことができる。
本発明において、好ましくは、ターゲットボードは、互いに基線長と同じ距離だけ離間したターゲットの組を複数含み、補正手段は、ステレオカメラの一対のカメラの各々によって撮影されたターゲットボードの撮影画像に含まれる複数のターゲットの組のそれぞれに基づき、一対のカメラの視差ずれを補正する。
このように構成された本発明によれば、ステレオカメラから離れた位置での一対のカメラにおける視差ずれの補正を、種々の横方向位置について適切に行うことができる。
このように構成された本発明によれば、ステレオカメラから離れた位置での一対のカメラにおける視差ずれの補正を、種々の横方向位置について適切に行うことができる。
本発明において、好ましくは、ステレオカメラには、それぞれで基線長が異なる複数の一対のカメラが適用され、ターゲットボードは、複数のターゲットを含み、この複数のターゲットは、隣接するターゲットの間隔が、複数の一対のカメラにおける複数の基線長の最大公約数に設定されている。
このように構成された本発明によれば、異なる基線長を有する複数のステレオカメラに対する視差ずれの補正を、ターゲットボードを交換することなく、1つのターゲットボードのみを用いて効率的に行うことができる。
このように構成された本発明によれば、異なる基線長を有する複数のステレオカメラに対する視差ずれの補正を、ターゲットボードを交換することなく、1つのターゲットボードのみを用いて効率的に行うことができる。
本発明において、好ましくは、ステレオカメラは、車両に適用され、この車両のフロントガラスの内側に配置される。
このように構成された本発明によれば、上記のようにしてステレオカメラから離れた位置での視差ずれ補正を行っておくことにより、フロントガラスの歪みに起因する、ステレオカメラから離れた位置で生じる測距のずれを適切に抑制することが可能となる。
このように構成された本発明によれば、上記のようにしてステレオカメラから離れた位置での視差ずれ補正を行っておくことにより、フロントガラスの歪みに起因する、ステレオカメラから離れた位置で生じる測距のずれを適切に抑制することが可能となる。
別の観点では、本発明は、所定の基線長にて離間して配置された一対のカメラを備えるステレオカメラと、この一対のカメラの配置方向と平行に配置され、基線長と同じ距離だけ離間した2つのターゲットを少なくとも含むターゲットボードとを有するステレオカメラの校正装置によって実行される、ステレオカメラの校正方法であって、ターゲットボードがステレオカメラに対して無限遠の位置に存在するものと仮定して、ステレオカメラの一対のカメラの各々によって撮影されたターゲットボードの撮影画像に含まれる2つのターゲットが同一のターゲットであるものとして扱い、一対のカメラの視差ずれを補正する補正工程を有する、ことを特徴とする。
このように構成された本発明によっても、ターゲットボードをステレオカメラに近い位置に配置した状態で、ステレオカメラから離れた位置での視差ずれの補正を適切に行うことができ、例えば車両の工場などの狭いスペースであっても、ステレオカメラの校正を適切に行うことが可能となる。
このように構成された本発明によっても、ターゲットボードをステレオカメラに近い位置に配置した状態で、ステレオカメラから離れた位置での視差ずれの補正を適切に行うことができ、例えば車両の工場などの狭いスペースであっても、ステレオカメラの校正を適切に行うことが可能となる。
本発明のステレオカメラの校正装置及び校正方法によれば、狭いスペースであっても、ターゲットボードを利用したステレオカメラの校正を適切に行うことができる。
以下、添付図面を参照して、本発明の実施形態によるステレオカメラの校正装置及び校正方法について説明する。
[装置構成]
図1及び図2を参照して、本発明の実施形態によるステレオカメラの校正装置の構成について説明する。図1は、本発明の実施形態によるステレオカメラの校正装置の全体構成を概略的に示す斜視図であり、図2は、本発明の実施形態によるステレオカメラの校正装置の電気的構成を示すブロック図である。
図1及び図2を参照して、本発明の実施形態によるステレオカメラの校正装置の構成について説明する。図1は、本発明の実施形態によるステレオカメラの校正装置の全体構成を概略的に示す斜視図であり、図2は、本発明の実施形態によるステレオカメラの校正装置の電気的構成を示すブロック図である。
図1では、符号1は、車両を示し、符号2は、車両1のフロントガラスを示し、符号3は、車両1に搭載され、フロントガラス2の内側に配置されたステレオカメラを示し、符号4、6は、それぞれ、ステレオカメラ3が備える第1カメラ及び第2カメラ(同一仕様にて構成された一対のカメラ)を示し、符号8は、車両1の前方において、第1及び第2カメラ4、6の配置方向(基本的には車幅方向に一致する)と平行に配置され、車両1側の表面に所定のターゲット(不図示)が印刷されたターゲットボードを示している。
また、図2では、符号10は、ステレオカメラ3の第1及び第2カメラ4、6による撮影画像の画像データが入力され、これらの画像データに対して種々の処理を行う演算装置を示している。この演算装置10は、CPU(Central Processing Unit)や種々のメモリなどを備えている。演算装置10は、ステレオカメラ3に適用されるマイクロコンピュータであってもよいし、車両1内のECU(Electronic Control Unit)であってもよい。なお、演算装置10は、本発明における「補正手段」に相当する。
本実施形態によるステレオカメラの校正装置は、第1及び第2カメラ4、6を含むステレオカメラ3、ターゲットボード8、及び演算装置10によって構成される。この本実施形態によるステレオカメラの校正装置では、基本的には、ターゲットボード8を車両1内のステレオカメラ3から所定の距離だけ離間させた状態で、ステレオカメラ3の第1及び第2カメラ4、6がターゲットボード8を撮影し、そして、演算装置10が、第1及び第2カメラ4、6による撮影画像に含まれるターゲットボード8上のターゲットの画像上の位置に基づき、第1カメラ4と第2カメラ6との視差ずれの補正(以下では単に「視差ずれ補正」とも呼ぶ。)を行う。
[視差ずれ補正の基本概念]
次に、本発明の実施形態による視差ずれ補正を説明する前に、図3及び図4を参照して、一般的に行われている視差ずれ補正の概要について説明する。図3は、一般的な視差ずれ補正を行っている様子を上方から見た概略図であり、図4は、一般的なステレオカメラによる測距法である三角法についての説明図である。なお、図3では、説明を分かり易くするために、ターゲットボード8を平面図にて表している。
次に、本発明の実施形態による視差ずれ補正を説明する前に、図3及び図4を参照して、一般的に行われている視差ずれ補正の概要について説明する。図3は、一般的な視差ずれ補正を行っている様子を上方から見た概略図であり、図4は、一般的なステレオカメラによる測距法である三角法についての説明図である。なお、図3では、説明を分かり易くするために、ターゲットボード8を平面図にて表している。
図3に示すように、一般的な視差ずれ補正では、車両1の工場などにおいて、まず、車両1内のステレオカメラ3から所定の距離Zだけ離間させてターゲットボード8を配置する。詳しくは、ステレオカメラ3の第1及び第2カメラ4、6の各々の焦点f1、f2から距離Zだけ離間させ、且つ、これらの焦点f1、f2を繋いだ直線と前面が平行になるように、ターゲットボード8を配置する。なお、図3に示すように、第1カメラ4の焦点f1と第2カメラ6の焦点f2との距離は「B」であり、この距離Bは第1カメラ4と第2カメラ6との基線長に相当する。この後、第1及び第2カメラ4、6によって、ターゲットボード8のターゲット81(図3では、説明を簡単にするために、ターゲット81として上下方向に延びる一本のラインを示している)を撮影する。そして、第1及び第2カメラ4、6から得られた撮影画像に含まれるターゲット81の画像上の位置に基づき、第1カメラ4と第2カメラ6との視差ずれ(視差誤差)を補正する。
次に、図4を参照して、一般的なステレオカメラによる測距法である三角法を説明し、その後に、上記した視差ずれ補正の具体的な内容について説明する。図4において、符号S1は、第1カメラ4の撮像面を示し、符号S2は、第2カメラ6の撮像面を示している。原則、第1カメラ4においては、ターゲットボード8上のターゲット81からの光は、焦点f1を通過して撮像面S1上の点P1に入射し、第2カメラ6においては、ターゲット81からの光は、焦点f2を通過して撮像面S2上の点P2に入射する。このようにして第1カメラ4の撮像面S1と第2カメラ6の撮像面S2のそれぞれに形成された点P1と点P2との位置のずれ(当然ながら、このような撮像面S1、S2上での位置のずれは、第1及び第2カメラ4、6による撮影画像上での位置のずれとして現れる)が、ターゲット81に対する第1及び第2カメラ4、6の視差に相当する。この視差は、以下の手順にて求められる。
図4中の矢印A1に示すように、焦点f2と点P2とを繋いだ直線を平行移動させて、撮像面S2上の点P2を対応する撮像面S1上の位置へと移動させる。そうすると、点P2に対応する撮像面S1上の位置が点P2’となる。第1カメラ4の撮像面S1上の点P1、P2’の横方向(車幅方向に相当する。以下同様とする。)における位置座標をそれぞれ「x1」、「x2」とすると、これらを減算した「x1−x2」が上記した視差となる。ここで、点P2’と点P1と焦点f1とを繋ぐと三角形Tr1が得られ、また、ターゲット81に対応する点と焦点f1と焦点f2と繋ぐと三角形Tr2が得られるが、これらの三角形Tr1と三角形Tr2とは相似形となる。このように三角形Tr1と三角形Tr2とが相似形であることを利用すると、撮像面S1、S2と焦点f1、f2との距離(焦点距離)fと、焦点f1、f2とターゲット81との距離Zと、焦点f1と焦点f2との距離(基線長)Bとから、視差は「x1−x2=B×f/Z」より求められる。なお、一般的な測距法では、この式を変形した「Z=B×f/(x1−x2)」を用いて、事前に分かっている焦点距離f及び基線長Bと、第1及び第2カメラ4、6の撮影画像から求められた視差(x1−x2)とから、対象物までの距離Zが測定(測距)される。
このようにして、ターゲット81までの距離Z、焦点距離f及び基線長Bを、「x1−x2=B×f/Z」に代入することで、理論上の視差(x1−x2)が求められる(ここでいう「理論上」とは視差ずれが無い場合を意味するものとする。以下同様とする。)。一方で、ターゲット81を第1及び第2カメラ4、6で実際に撮影すると、第1及び第2カメラ4、6から得られた2つの撮影画像上でのターゲット81の位置のずれより視差が求められる。こうして求められた視差が理論上の視差とずれている場合には、視差ずれ(視差誤差)が生じていると言える。ターゲット81から第1及び第2カメラ4、6の一方又は両方までの光軸がずれている場合に、ターゲット81からの光が撮像面S1上の点P1及び/又は撮像面S2上の点P2に入射しなくなり、このような視差ずれが生じる。そのような場合に、上記した演算装置10が、視差ずれを補正する処理を行う。例えば、演算装置10は、視差ずれに対応する画素分だけずらした撮影画像上の位置に基づいて、第1及び第2カメラ4、6の視差を求めて、この視差から対象物までの距離を求めるような処理を行う。
[測距ずれ]
次に、図5を参照して、車両1に搭載したステレオカメラ3を用いた場合に生じる測距のずれ(誤差)の傾向について説明する。図5は、車両1に搭載したステレオカメラ3において生じた測距のずれの実験結果を示している。
次に、図5を参照して、車両1に搭載したステレオカメラ3を用いた場合に生じる測距のずれ(誤差)の傾向について説明する。図5は、車両1に搭載したステレオカメラ3において生じた測距のずれの実験結果を示している。
図5は、縦軸に、ステレオカメラ3とターゲットボード8との距離(つまりステレオカメラ3に対するターゲットボード8の前後方向位置)を示しており、横軸に、ステレオカメラ3に対するターゲットボード8上のターゲット81の横方向位置を示している(ステレオカメラ3に対してターゲットボード8を配置する横方向位置を適宜ずらしたものとする)。また、図5において、三角(△)は、実際のターゲット81の位置を示しており、丸(○)は、ステレオカメラ3による撮影画像から得られた視差に基づき測定されたターゲット81の位置を示している。図5より、ステレオカメラ3とターゲットボード8との距離が大きくなると、具体的にはステレオカメラ3とターゲットボード8との距離が20m以上になると、ステレオカメラ3により測定されたターゲット81の位置(特に前後方向位置)が、実際のターゲット81の位置から大きくずれていることがわかる。つまり、測距のずれが生じていることがわかる。例えば、2〜3m程度の測距のずれが生じている。
次に、図6を参照して、図5に示したような測距のずれが生じた理由について説明する。図6は、図4と同様の図であり、図4と同一の符号を付した要素は同様の意味を有するものとする。図6中の矢印A2に示すように、上記した測距のずれは、車両1のフロントガラス2の歪みにより、ターゲット81からの光がフロントガラス2において屈折し、例えば、ターゲット81からの光が入射すべき第1カメラ4の撮像面S1上の位置(つまり点P1)に適切に入射しなかったために生じたものと考えられる。つまり、図6に示す例では、ターゲット81から第1カメラ4までの光軸がずれて、第1カメラ4と第2カメラ6との視差ずれが生じたことで、測距のずれが生じたものと考えられる。このようなフロントガラス2の歪みは、フロントガラス2を製造するときに生じる縦筋に相当する。ここで、図5を再度参照すると、ステレオカメラ3とターゲットボード8との距離が20m、25m及び30mである場合に、同じような傾向の測距のずれが生じていることが見て取れるが、これは、フロントガラス2の縦筋に対応する歪みによる影響が現れたものであると考えられる。
[本実施形態による視差ずれ補正]
本実施形態では、図5に示したような測距のずれを抑制するように視差ずれ補正を行う。この場合、例えば20m以上といった比較的遠い位置についての測距のずれを抑制するためには、原則、車両1から離れた位置にターゲットボード8を配置して視差ずれ補正を行う必要がある。しかしながら、「発明が解決しようとする課題」で述べたように、視差ずれ補正は車両1の工場などで行うこととなるが、工場などではスペース上の制限があるため、車両1から例えば20m以上といった比較的離れた位置にターゲットボード8を配置するのが困難となる。そこで、本実施形態では、車両1に近い位置にターゲットボード8を配置した状態で、車両1から離れた位置において生じる視差ずれを補正するようにした。
本実施形態では、図5に示したような測距のずれを抑制するように視差ずれ補正を行う。この場合、例えば20m以上といった比較的遠い位置についての測距のずれを抑制するためには、原則、車両1から離れた位置にターゲットボード8を配置して視差ずれ補正を行う必要がある。しかしながら、「発明が解決しようとする課題」で述べたように、視差ずれ補正は車両1の工場などで行うこととなるが、工場などではスペース上の制限があるため、車両1から例えば20m以上といった比較的離れた位置にターゲットボード8を配置するのが困難となる。そこで、本実施形態では、車両1に近い位置にターゲットボード8を配置した状態で、車両1から離れた位置において生じる視差ずれを補正するようにした。
図7及び図8を参照して、本実施形態による視差ずれ補正について具体的に説明する。図7は、本実施形態による視差ずれ補正を行っている様子を上方から見た概略図であり、図8は、本実施形態による視差ずれ補正を具体的に説明するための図である。なお、図7では、説明を分かり易くするために、ターゲットボード8を平面図にて表している。
図7に示すように、本実施形態では、ステレオカメラ3の第1及び第2カメラ4、6の基線長Bと同じ距離Bだけ離間した2つのターゲット8a、8b(図7では、説明を簡単にするために、ターゲット8a、8bとして上下方向に延びるラインを示している)を含むターゲットボード8を用い、このターゲットボード8をステレオカメラ3から比較的近い位置(例えば5m程度先)に配置する。そして、本実施形態では、ターゲットボード8がステレオカメラ3に対して無限遠の位置に存在するものと仮定して、ステレオカメラ3の第1及び第2カメラ4、6の各々によって撮影された撮影画像に含まれる2つのターゲット8a、8bが同一のターゲットであるものとして扱い、第1及び第2カメラ4、6の視差ずれを補正する。
図8を参照して、本実施形態による視差ずれ補正について具体的に説明する。図8に示すように、ターゲットボード8上のターゲット8aからの光は、ステレオカメラ3の第1カメラ4の撮像面S1上の点P11に入射し、ターゲットボード8上のターゲット8bからの光は、ステレオカメラ3の第2カメラ6の撮像面S2上の点P21に入射する。また、ターゲット8aからの光は、第2カメラ6の撮像面S2上の点P22にも入射し、ターゲット8bからの光は、第1カメラ4の撮像面S1上の点P12にも入射するが、以下で述べる理由から、これらの点P12、P22は視差ずれ補正において特に考慮しないものとする。
2つのターゲット8a、8bを第1及び第2カメラ4、6の基線長Bと同じ距離Bだけ離間させているので、ターゲットボード8をステレオカメラ3から無限遠の位置に配置した場合には、ターゲット8bからの光は、ターゲット8aからの光と同様の光路を通過することで、第1カメラ4の撮像面S1上の点P11に入射することとなり、ターゲット8aからの光は、ターゲット8bからの光と同様の光路を通過することで、第2カメラ6の撮像面S2上の点P21に入射することとなる。したがって、ターゲットボード8をステレオカメラ3から無限遠の位置に配置した場合には、ステレオカメラ3にとってはこれら2つのターゲット8a、8bを同一のターゲットとみなせるのである。
そのため、本実施形態では、ターゲットボード8がステレオカメラ3に対して無限遠の位置に存在するものと仮定して、ターゲット8aからの光により第1カメラ4の撮像面S1上に形成された点P11と、ターゲット8bからの光により第2カメラ6の撮像面S2上に形成された点P21とが、ターゲットボード8上の同じターゲットによって形成されたものとみなす。そして、本実施形態では、第1カメラ4の撮像面S1上の点P11の位置と、第2カメラ6の撮像面S2上の点P21の位置とのずれに基づき、ステレオカメラ3から無限遠の位置での第1及び第2カメラ4、6における視差ずれを求めるようにする。ターゲットボード8がステレオカメラ3に対して無限遠の位置に存在する場合には、理論上は、同一のターゲットからの光は第1カメラ4の撮像面S1と第2カメラ6の撮像面S2との同じ位置に入射するはずであるが、実際に得られた撮像面S1上の点P11と撮像面S2上の点P21との間に位置ずれがある場合には、第1及び第2カメラ4、6において視差ずれが生じていると言える。
より具体的には、本実施形態では、上記した演算装置10が、第1及び第2カメラ4、6の撮影画像を解析して、第1カメラ4の撮像面S1上の点P11に対応する位置座標x11(横方向における位置座標)と、第2カメラ6の撮像面S2上の点P21に対応する位置座標x21(横方向における位置座標)を求め、これらの位置座標x11、x21のずれから、ステレオカメラ3から無限遠の位置での第1及び第2カメラ4、6における視差ずれを求める。そして、演算装置10は、このような視差ずれが生じている場合に、当該視差ずれを補正するための処理を行う。例えば、演算装置10は、20m以上の測距を行うときに、上記のように求めた視差ずれに対応する画素分だけずらした撮影画像上の位置に基づいて、第1及び第2カメラ4、6の視差を求めて、この視差から対象物までの距離を求めるような処理を行う。
[ターゲットボードの好適な例]
次に、図9及び図10を参照して、本発明の実施形態によるターゲットボードの好適な例について説明する。
次に、図9及び図10を参照して、本発明の実施形態によるターゲットボードの好適な例について説明する。
図9は、本発明の実施形態における第1の例によるターゲットボード8Xの平面図である。図9に示すように、第1の例によるターゲットボード8Xは、横方向に間隔dだけ離間した複数のターゲット8a〜8jを有する。このターゲット8a〜8jの間隔dは、上記したステレオカメラ3の第1及び第2カメラ4、6の基線長Bに一致する。このようなターゲットボード8Xを適用した場合、演算装置10は、ターゲット8a〜8jにおいて複数の隣接するターゲットの組(例えば、ターゲット8aとターゲット8bの組や、ターゲット8aとターゲット8cの組や、ターゲット8bとターゲット8dの組など)を用いて、[本実施形態による視差ずれ補正]のセクションで述べた方法と同様の手順にて、第1及び第2カメラ4、6の撮影画像に含まれる複数の隣接するターゲットの組のそれぞれの位置のずれから視差ずれを求めて、視差ずれ補正を行う。これにより、ステレオカメラ3から離れた位置での第1及び第2カメラ4、6における視差ずれ補正を、種々の横方向位置について適切に行うことができる。
ところで、ステレオカメラ3は、搭載される車両1が異なると、異なる基線長Bが適用される傾向にある。例えば、8cmや、12cmや、16cmといった基線長Bが適用される。そのような種々の車両1に適用される、異なる基線長Bを有するステレオカメラ3について、効率的に視差ずれ補正を行うためには、上記したターゲットボード8Xのターゲット8a〜8jの間隔dに、複数の基線長Bにおける最大公約数を適用するのがよい。例えば、8cmと、12cmと、16cmの基線長Bのステレオカメラ3が適用される場合には、ターゲットボード8Xのターゲット8a〜8jの間隔dを4cmに設定するのがよい。この例では、8cmの基線長Bのステレオカメラ3については、ターゲット8a〜8jのうちで2つの分の間隔dだけ離間したターゲットの組を適用し、12cmの基線長Bのステレオカメラ3については、ターゲット8a〜8jのうちで3つ分の間隔dだけ離間したターゲットの組を適用し、16cmの基線長Bのステレオカメラ3については、ターゲット8a〜8jのうちで4つ分の間隔dだけ離間したターゲットの組を適用すればよい。このようにすることで、異なる8基線長Bを有する複数のステレオカメラ3に対する視差ずれ補正を、ターゲットボード8Xを交換することなく、1つのターゲットボード8Xのみを用いて効率的に行うことができる。
次に、図10は、本発明の実施形態における第2の例によるターゲットボード8Yの平面図である。図10に示すように、第2の例によるターゲットボード8Yは、表面に格子模様が形成されている(いわゆるチェッカーボードに相当する)。このようなターゲットボード8Yを用いた場合、格子模様の交点をターゲットとして適用すればよい。そして、格子模様の交点の横方向の間隔に、上述したような、第1及び第2カメラ4、6の基線長Bや、異なるステレオカメラ3における複数の基線長Bの最大公約数を適用すればよい。また、格子模様が形成されたターゲットボード8Yでは、ラインとしてのターゲットと異なり、横方向だけでなく縦方向にもターゲットが並んでいるため、横方向及び縦方向(上下方向)の両方についてステレオカメラ3の視差ずれ補正を行うことが可能となる。
なお、上記したようなターゲットボード8、8X、8Y以外にも、マーカー(点)をターゲットとして有するターゲットボードや、色や明暗の違いでターゲットが表されたターゲットボードや、グラデーションを用いてターゲットが表されたターゲットボードなど、種々のターゲットボードを適用可能である。
[本実施形態による作用効果]
次に、上記した本発明の実施形態によるステレオカメラの校正装置及び校正方法の作用効果について説明する。
次に、上記した本発明の実施形態によるステレオカメラの校正装置及び校正方法の作用効果について説明する。
本実施形態では、ステレオカメラ3の第1及び第2カメラ4、6の基線長Bと同じ距離だけ離間したターゲット8a、8bを少なくとも含むターゲットボード8を用いて、このターゲットボード8がステレオカメラ3に対して無限遠の位置に存在するものと仮定して、第1及び第2カメラ4、6の各々から得られた撮影画像に含まれる2つのターゲット8a、8bが同一のターゲットであるものとして扱い、第1及び第2カメラ4、6の視差ずれを補正する。より具体的には、本実施形態では、第1カメラ4から得られた撮影画像に含まれるターゲット8a(ターゲット8a、8bのうちで第1カメラ4に近い方のターゲットである)の画像上の位置と、第2カメラ6から得られた撮影画像に含まれるターゲット8b(ターゲット8a、8bのうちで第2カメラ6に近い方のターゲットである)の画像上の位置とのずれに基づき、第1及び第2カメラ4、6の視差ずれを補正する。
このような本実施形態によれば、ターゲットボード8をステレオカメラ3に近い位置に配置した状態で、ステレオカメラ3から離れた位置での視差ずれ補正を適切に行うことができる。よって、車両1の工場などの狭いスペースであっても、ステレオカメラ3の校正を適切に行うことができる。こうしてステレオカメラ3から離れた位置での視差ずれ補正を行っておくことにより、フロントガラス2の歪み(フロントガラス2の製造時に生じた縦筋など)に起因する、ステレオカメラ3から離れた位置で生じる測距のずれ(図5参照)を適切に抑制することが可能となる。
1 車両
2 フロントガラス
3 ステレオカメラ
4 第1カメラ
6 第2カメラ
8、8X、8Y ターゲットボード
8a、8b、81 ターゲット
10 演算装置
B 基線長
f1、f2 焦点
S1、S2 撮像面
2 フロントガラス
3 ステレオカメラ
4 第1カメラ
6 第2カメラ
8、8X、8Y ターゲットボード
8a、8b、81 ターゲット
10 演算装置
B 基線長
f1、f2 焦点
S1、S2 撮像面
Claims (6)
- 視差に基づき対象物までの距離を測定するステレオカメラの校正装置であって、
所定の基線長にて離間して配置された一対のカメラを備えるステレオカメラと、
上記ステレオカメラの一対のカメラの配置方向と平行に配置され、上記基線長と同じ距離だけ離間した2つのターゲットを少なくとも含むターゲットボードと、
上記ターゲットボードが上記ステレオカメラに対して無限遠の位置に存在するものと仮定して、上記ステレオカメラの一対のカメラの各々によって撮影された上記ターゲットボードの撮影画像に含まれる上記2つのターゲットが同一のターゲットであるものとして扱い、上記一対のカメラの視差ずれを補正する補正手段と、
を有することを特徴とするステレオカメラの校正装置。 - 上記補正手段は、上記一対のカメラの一方から得られた撮影画像に含まれる上記2つのターゲットの一方のターゲットの画像上の位置と、上記一対のカメラの他方から得られた撮影画像に含まれる上記2つのターゲットの他方のターゲットの画像上の位置とのずれに基づき、上記一対のカメラの視差ずれを補正する、請求項1に記載のステレオカメラの校正装置。
- 上記ターゲットボードは、互いに上記基線長と同じ距離だけ離間したターゲットの組を複数含み、
上記補正手段は、上記ステレオカメラの一対のカメラの各々によって撮影された上記ターゲットボードの撮影画像に含まれる複数のターゲットの組のそれぞれに基づき、上記一対のカメラの視差ずれを補正する、請求項1又は2に記載のステレオカメラの校正装置。 - 上記ステレオカメラには、それぞれで基線長が異なる複数の一対のカメラが適用され、
上記ターゲットボードは、複数のターゲットを含み、この複数のターゲットは、隣接するターゲットの間隔が、上記複数の一対のカメラにおける複数の基線長の最大公約数に設定されている、請求項1乃至3のいずれか一項に記載のステレオカメラの校正装置。 - 上記ステレオカメラは、車両に適用され、この車両のフロントガラスの内側に配置される、請求項1乃至4のいずれか一項に記載のステレオカメラの校正装置。
- 所定の基線長にて離間して配置された一対のカメラを備えるステレオカメラと、この一対のカメラの配置方向と平行に配置され、上記基線長と同じ距離だけ離間した2つのターゲットを少なくとも含むターゲットボードとを有するステレオカメラの校正装置によって実行される、ステレオカメラの校正方法であって、
上記ターゲットボードが上記ステレオカメラに対して無限遠の位置に存在するものと仮定して、上記ステレオカメラの一対のカメラの各々によって撮影された上記ターゲットボードの撮影画像に含まれる上記2つのターゲットが同一のターゲットであるものとして扱い、上記一対のカメラの視差ずれを補正する補正工程を有する、ことを特徴とするステレオカメラの校正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015186753A JP2017062150A (ja) | 2015-09-24 | 2015-09-24 | ステレオカメラの校正装置、及びステレオカメラの校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015186753A JP2017062150A (ja) | 2015-09-24 | 2015-09-24 | ステレオカメラの校正装置、及びステレオカメラの校正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017062150A true JP2017062150A (ja) | 2017-03-30 |
Family
ID=58429534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015186753A Pending JP2017062150A (ja) | 2015-09-24 | 2015-09-24 | ステレオカメラの校正装置、及びステレオカメラの校正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017062150A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200118073A (ko) * | 2019-03-09 | 2020-10-14 | 코어포토닉스 리미티드 | 동적 입체 캘리브레이션을 위한 시스템 및 방법 |
WO2023127362A1 (ja) * | 2021-12-27 | 2023-07-06 | 日立Astemo株式会社 | カメラの校正方法およびステレオカメラ装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001091245A (ja) * | 1999-09-22 | 2001-04-06 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
JP2011149931A (ja) * | 2009-12-21 | 2011-08-04 | Ricoh Co Ltd | 距離画像取得装置 |
-
2015
- 2015-09-24 JP JP2015186753A patent/JP2017062150A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001091245A (ja) * | 1999-09-22 | 2001-04-06 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
JP2011149931A (ja) * | 2009-12-21 | 2011-08-04 | Ricoh Co Ltd | 距離画像取得装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200118073A (ko) * | 2019-03-09 | 2020-10-14 | 코어포토닉스 리미티드 | 동적 입체 캘리브레이션을 위한 시스템 및 방법 |
KR102268094B1 (ko) | 2019-03-09 | 2021-06-22 | 코어포토닉스 리미티드 | 동적 입체 캘리브레이션을 위한 시스템 및 방법 |
KR20210077792A (ko) * | 2019-03-09 | 2021-06-25 | 코어포토닉스 리미티드 | 동적 입체 캘리브레이션을 위한 시스템 및 방법 |
KR102494006B1 (ko) | 2019-03-09 | 2023-01-30 | 코어포토닉스 리미티드 | 동적 입체 캘리브레이션을 위한 시스템 및 방법 |
WO2023127362A1 (ja) * | 2021-12-27 | 2023-07-06 | 日立Astemo株式会社 | カメラの校正方法およびステレオカメラ装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101787304B1 (ko) | 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품 | |
US10972716B2 (en) | Calibration method and measurement tool | |
US20110211046A1 (en) | Multi-camera system and a method for calibrating the same | |
US10209091B2 (en) | Measurement tool, calibration method, calibration apparatus, and computer-readable recording medium | |
KR20200084552A (ko) | 차량용 카메라 및 라이다 센서의 캘리브레이션 장치 및 방법 | |
JP6602982B2 (ja) | 車載カメラ、車載カメラの調整方法、車載カメラシステム | |
JP6209648B1 (ja) | ステレオカメラの設置パラメータ校正方法 | |
CN103947199A (zh) | 图像处理装置、立体图像显示设备、图像处理方法和图像处理程序 | |
JP2012189324A (ja) | ステレオカメラ | |
CN112489136B (zh) | 标定方法、位置确定方法、装置、电子设备及存储介质 | |
JP2015163866A (ja) | ステレオカメラ校正方法、視差算出装置及びステレオカメラ | |
US10220783B2 (en) | Vehicle-mounted stereo camera device and method for correcting the same | |
JP6755709B2 (ja) | 溶接装置及び溶接方法 | |
JP2008304248A (ja) | 車載用ステレオカメラの校正方法、車載用距離画像生成装置及びプログラム | |
JP2017062150A (ja) | ステレオカメラの校正装置、及びステレオカメラの校正方法 | |
JP2013129264A (ja) | 車載カメラのキャリブレーション方法及び車載カメラのキャリブレーション装置 | |
JP2019132855A (ja) | ステレオカメラ校正方法、視差算出装置及びステレオカメラ | |
JP5711104B2 (ja) | 画像表示装置、方法、プログラム、及び画像処理装置 | |
JP2012147281A (ja) | 画像処理装置 | |
JP6202356B2 (ja) | 画像処理装置及び方法、並びに撮像装置 | |
KR20120119968A (ko) | 필름의 패턴의 사행 제어 장치 | |
EP3564747B1 (en) | Imaging device and imaging method | |
JP2011130290A (ja) | カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置 | |
JP6895403B2 (ja) | 画像処理装置、運転支援システム、及び画像処理方法 | |
WO2017042995A1 (ja) | 車載用ステレオカメラ装置、およびその補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180129 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180827 |