JP2019090755A - 校正方法および校正装置 - Google Patents
校正方法および校正装置 Download PDFInfo
- Publication number
- JP2019090755A JP2019090755A JP2017221109A JP2017221109A JP2019090755A JP 2019090755 A JP2019090755 A JP 2019090755A JP 2017221109 A JP2017221109 A JP 2017221109A JP 2017221109 A JP2017221109 A JP 2017221109A JP 2019090755 A JP2019090755 A JP 2019090755A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- lens
- images
- adjustment device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Analysis (AREA)
Abstract
【課題】大きな空間を必要とせず、ステレオカメラの光軸方向のずれを校正する。【解決手段】カメラ支持体13により固定されたステレオカメラ10の第1カメラ11および第2カメラ12の光軸方向11c、12cのずれを校正する。まず、カメラ支持体13の基準面を所定の校正用基準面に対して位置決めする。次に、第1光学調整装置25および第2光学調整装置26を操作して、互いに異なる複数の仮想的な位置に位置する第1ターゲット23および第2ターゲット24を撮像して複数の第1画像および第2画像を取得する。次に、第1光軸11cの方向のずれを示す第1パラメータθ1、φ1、および、第2光軸12cの方向のずれを示す第2パラメータθ2、φ2を算出する。【選択図】図1
Description
本発明は、ステレオカメラ装置の光軸方向のずれを校正する校正方法および校正装置に関するものである。
ステレオカメラは、車両等に搭載され周辺の障害物の認識および距離の判定等に使用されている。ステレオカメラは、平行等位に配置された2台のカメラを有し、それぞれのカメラにより撮像された画像から、視差によるずれをピクセル単位またはサブピクセル単位で検出して距離を判別する。このため、ステレオカメラでは、画像の歪み、カメラの位置ずれ、カメラの光軸方向のずれ等によって、測定精度が大きく影響を受ける。
とくに、ステレオカメラを構成するカメラの光軸方向は、個々のカメラを単体の状態で光軸調整を行っても、2台のカメラを支持するカメラ支持体に組み込んでステレオカメラを組み立てたとき、カメラ支持体の加工精度および取付け精度の誤差によりずれを生じうる。このため、ステレオカメラとして組立てられた後の2台のカメラの画像から、カメラの位置および方向のずれを校正するステレオカメラの校正方法が提案されている(例えば、特許文献1参照)。
この校正方法によれば、消失点の視差である消失点視差を算出することによって、ステレオカメラを構成する2台のカメラの相対的な光軸方向のずれを校正している。消失点は、観察者から見て無限遠に位置する点である。消失点視差は、互いに異なる複数の距離に所定のチャートを配置し、2台のカメラにより、それぞれのチャートを撮像した画像から算出する。
しかしながら、従来技術による校正方法では、カメラの光軸方向のずれを校正するためには、遠距離および近距離を含む複数の距離にチャートを配置することが必要となる。さらに、校正の精度を高めるためには、測定する複数の距離を長くとることが必要になる。このため、校正を行う装置が大きくなるとともに、大きな物理空間が必要となる。
したがって、これらの点に着目してなされた本開示の目的は、大きな空間を必要とせず、ステレオカメラの光軸方向のずれを校正することができる校正方法および校正装置を提供することにある。
本開示の校正方法は、カメラ支持体により固定された第1カメラおよび第2カメラを含むステレオカメラの光軸方向のずれを校正する校正方法であって、以下の手順が実行される。まず、第1カメラが第1光学調整装置を介して第1対象を撮像可能であり、第2カメラが第2光学調整装置を介して第2対象を撮像可能であるように、カメラ支持体の基準面が所定の校正用基準面に対して位置決めされる。第1光学調整装置および第2光学調整装置は、基準方向に平行な光軸を有するものである。次に、第1光学調整装置が操作され、第1カメラの側から観察される第1対象の仮想的な位置が基準方向に変化され、互いに異なる複数の仮想的な位置に位置する第1対象が第1カメラで撮像され、複数の第1画像が取得される。さらに、取得された複数の第1画像に基づいて、基準方向に対する第1カメラの第1光軸の方向のずれを示す第1パラメータが算出される。また、第2光学調整装置が操作され、第2カメラの側から観察される第2対象の仮想的な位置が基準方向に変化され、互いに異なる複数の仮想的な位置に位置する第2対象が第2カメラで撮像され、複数の第2画像が取得される。次に、取得された複数の第2画像に基づいて、基準方向に対する第2カメラの第2光軸の方向のずれを示す第2パラメータが算出される。
本開示の校正装置は、カメラ支持体により固定された第1カメラおよび第2カメラを含むステレオカメラの光軸方向のずれを校正する校正装置である。校正装置は、保持部と、第1対象と、第1光学調整装置と、第2対象と、第2光学調整装置と、コントローラとを含む。保持部は、カメラ支持体の基準面を所定の校正用基準面に対して位置決めするように、ステレオカメラを保持する。第1対象は、第1カメラにより撮像される。第1光学調整装置は、保持部によりステレオカメラが保持されたときの第1カメラの位置と第1対象との間に配置され、基準方向に平行な光軸を有し、第1カメラの側から観察される第1対象の仮想的な位置を基準方向に変化させる。第2対象は、第2カメラにより撮像される。第2光学調整装置は、保持部によりステレオカメラが保持されたときの第2カメラの位置と第2対象との間に配置され、基準方向に平行な光軸を有し、第2カメラの側から観察される第2対象の仮想的な位置を基準方向に変化させる。コントローラは、ステレオカメラが保持された状態で、第1光学調整装置を操作して、互いに異なる複数の仮想的な位置に位置する第1対象を第1カメラで撮像して複数の第1画像を取得する。また、コントローラは、ステレオカメラが保持された状態で、第2光学調整装置を操作して、互いに異なる複数の仮想的な位置に位置する第2対象を第2カメラで撮像して複数の第2画像を取得する。
本開示の実施形態によれば、大きな空間を必要とせず、ステレオカメラの光軸方向のずれを校正することができる校正方法および校正装置を提供することができる。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。
本開示において、カメラおよびステレオカメラによって撮像された画像と、望ましい画像との間の関係を決定することを「校正」とよぶ。校正の結果は、例えば、校正パラメータとして得られる。校正パラメータは、例えば、水平、垂直方向へのカメラのずれ、光軸のずれ角度、および/または、カメラの光軸回りの回転角として得られる。また、本開示において、カメラから出力された画像データを、校正の結果に基づいて正すことを「補正」とよぶ。
本開示の一実施形態に係る校正装置20の構成を図1および図2を用いて説明する。校正装置20は、ステレオカメラ10の有する複数のカメラ(第1カメラ11および第2カメラ12)の光軸方向のずれを校正するものである。校正装置20について説明する前に、校正の対象であるステレオカメラ10について説明する。
(ステレオカメラ)
一般に、「ステレオカメラ」とは、互いに視差を有し、互いに協働する複数のカメラである。ステレオカメラは、少なくとも2つ以上のカメラを含む。ステレオカメラでは、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラには、複数のカメラを協働させて対象を同時に撮像することができるものが含まれる。撮像の「同時」は、完全な同じ時刻に限られない。例えば、(1)複数のカメラが同時刻に撮像すること、(2)複数のカメラが同じ信号に基づいて撮像すること、および(3)複数のカメラが各々の内部時計において同時刻に撮像することは、本開示における「同時」に撮影するに含まれる。撮像の時間基準には、撮像の開始時刻、撮像の終了時刻、撮像した画像データの送信時刻、および画像データを相手機器が受信した時刻が含まれる。
一般に、「ステレオカメラ」とは、互いに視差を有し、互いに協働する複数のカメラである。ステレオカメラは、少なくとも2つ以上のカメラを含む。ステレオカメラでは、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラには、複数のカメラを協働させて対象を同時に撮像することができるものが含まれる。撮像の「同時」は、完全な同じ時刻に限られない。例えば、(1)複数のカメラが同時刻に撮像すること、(2)複数のカメラが同じ信号に基づいて撮像すること、および(3)複数のカメラが各々の内部時計において同時刻に撮像することは、本開示における「同時」に撮影するに含まれる。撮像の時間基準には、撮像の開始時刻、撮像の終了時刻、撮像した画像データの送信時刻、および画像データを相手機器が受信した時刻が含まれる。
複数の実施形態の1つにおいて、ステレオカメラ10は、例えば、車両等に搭載されて車両の前方または後方の物体までの距離検出に用いられる。ステレオカメラ10は、本開示の校正方法を実行した後、車両のウインドシールドを介して車両の外部を撮像するように設置されてよい。複数の実施形態において、ステレオカメラ10は、本開示の校正方法を実行した後、車両のフロントバンパー、リアバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール、およびボンネットのいずれかに固定されてよい。
一実施形態に係る図1および図2のステレオカメラ10は、第1カメラ11および第2カメラ12の2台のカメラを有する。ステレオカメラ10の有するカメラは、2台に限られず3台以上とすることもできる。第1カメラ11および第2カメラ12の光軸は、同じ対象物を撮像可能な方向を向いている。第1カメラ11および第2カメラ12は、撮像した画像に少なくとも同じ対象物が含まれるように、光軸および位置が定められる。第1カメラ11および第2カメラ12の光軸は、互いに略平行になるように向けられる。この平行は、厳密な平行に限られず、組み立てのずれ、取付けのずれ、およびこれらの経時によるずれを許容する。
ステレオカメラ10は、さらに、カメラ支持体13を有する。第1カメラ11および第2カメラ12は、カメラ支持体13によって、互いの光軸を略平行な向きに向けて固定される。ステレオカメラ10は、第1カメラ11、第2カメラ12およびカメラ支持体13をそれぞれ製造した後、カメラ支持体13に対して第1カメラ11および第2カメラ12を組みつけることにより組立てることができる。カメラ支持体13の第1カメラ11および第2カメラ12を組みつける受容部は、不可避な製造誤差を含みうる。カメラ支持体13の製造誤差および組み立て時の誤差が、第1カメラ11および第2カメラ12の光軸方向のずれをもたらすことがある。カメラの組立てによる光軸方向のずれは、後述するように校正装置20によって校正される。
カメラの被写体となる物体側の方向を前方とするとき、第1カメラ11は、前方に向けたときに第2カメラ12の右側に位置する。第2カメラ12は、前方に向けたときに第1カメラ11の左側に位置する。第1カメラ11と第2カメラ12との位置の違いにより、各カメラで撮像した2つの画像において、互いに対応する被写体の位置は異なる。第1カメラ11から出力される右側画像と、第2カメラ12から出力される左側画像とは、異なる視点から撮像した画像となる。
カメラ支持体13は、ステレオカメラ10の筺体とよぶことができる。カメラ支持体13は、剛性の高い金属または樹脂等の素材により構成されうる。カメラ支持体13は、校正装置20に対して位置決めする時の基準面となる支持面14を含む。図1の例では、第1カメラ11および第2カメラ12からみて物体側の面が支持面14となっている。支持面14は、平坦な面とすることができる。
図2に示すように、複数の実施形態の1つにかかるステレオカメラ10は、第1カメラ11および第2カメラ12の他に、画像処理部15を備える。画像処理部15は、カメラ支持体13内に設けられてよく、カメラ支持体13の外部に設けられてもよい。画像処理部15は、第1補正部16、第2補正部17およびステレオ演算処理部18を含む。第1補正部16および第2補正部17は、ステレオ演算処理部18と同じ画像処理部15に含まれなくともよい。他の実施形態では、第1補正部16および第2補正部17は、それぞれ、第1カメラ11および第2カメラ12に含まれてよい。
画像処理部15は、1つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、DSP(Digital Signal Processor)および特定用途向けIC(ASIC;Application Specific Integrated Circuit)が含まれてよい。プロセッサには、プログラマブルロジックデバイス(PLD;Programmable Logic Device)が含まれてよい。PLDには、FPGA(Field-Programmable Gate Array)が含まれてよい。画像処理部15は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってよい。第1補正部16、第2補正部17およびステレオ演算処理部18の処理は、同一のプロセッサで行ってよい。第1補正部16、第2補正部17およびステレオ演算処理部18の処理は、それぞれ異なるプロセッサでおこなってよい。
第1カメラ11は第1カメラレンズ11aおよび第1撮像素子11bを備える。第2カメラ12は、第2カメラレンズ12aおよび第2撮像素子12bを備える。第1カメラレンズ11aと第2カメラレンズ12a、および、第1撮像素子11bと第2撮像素子12bは、それぞれ同一または類似に構成される。したがって、以下において第1カメラレンズ11aと第1撮像素子11bとについて説明し、第2カメラレンズ12aと第2撮像素子12bの説明は省略する。
第1カメラレンズ11aは、第1撮像素子11bの受光面に像を結像するためのレンズである。第1カメラレンズ11aは正の屈折力を有する。第1カメラレンズ11aは、一つのレンズにより構成されてよい。第1カメラレンズ11aは、複数のレンズにより構成されてよい。
第1撮像素子11bは、CCDイメージセンサ(Charge-Coupled Device Image Sensor)、およびCMOSイメージセンサ(Complementary MOS Image Sensor)等の撮像素子を含む。第1撮像素子11bは、第1カメラレンズ11aが受光面に結像した像を電気信号に変換して、画像処理部15へ出力する。
第1カメラ11により撮像される画像の中心位置に対応する軸を第1光軸11cとよぶ。第1光軸11cは、校正装置20により校正する前に行うカメラ単体での校正によって画像の切出し位置を調整すること等により変化する。したがって、第1光軸11cは、必ずしも第1カメラレンズ11aの光軸に一致しない。
第1補正部16は、第1撮像素子11bから出力された画像信号に対して、歪み補正、および最大6自由度の補正を行う。歪み補正は、第1カメラレンズ11aの特性に起因する像の幾何学的な歪みの補正を含む。6自由度の補正には、第1カメラレンズ11aの光軸に直交する方向の位置ずれの補正、像倍率の補正、第1光軸11c周りの回転ずれの補正、第1光軸11cの傾きの補正を含む。第1補正部16は、さらに、明度調整、コントラスト調整、ガンマ補正等の任意の処理を行ってよい。第1カメラ11で撮像され、第1補正部16で補正された画像を第1画像とよぶ。
第2補正部17が、第2撮像素子12bから出力された画像信号に対して実行する処理は、第1補正部16が第1撮像素子11bから出力された画像信号に対して行う処理と同様である。第2カメラ12で撮像され、第2補正部17で補正された画像を第2画像とよぶ。
ステレオ演算処理部18は、ステレオカメラ10の使用時に、第1カメラ11により撮像された右側画像、および、第2カメラ12によって撮像された左側画像の視差を算出する。本開示の校正方法を実行するとき、ステレオ演算処理部18は、必ずしも動作しなくておよい。校正装置20は第1補正部16および第2補正部17から、補正された第1画像および第2画像の画像信号を取得する。
ステレオ演算処理部18は、ステレオカメラ10の使用時に、以下の処理を実行することができる。即ち、ステレオ演算処理部18は、右側画像および左側画像の一方の画像を複数の領域に分割する。ステレオ演算処理部18は、分割した複数領域の各々と他方の画像とをマッチングさせる。ステレオ演算処理部18は、右側画像と左側画像とでマッチングした2つの領域の左右方向における座標の違いに基づいて、当該領域の距離を算出する。
複数の実施形態の1つにおいて、ステレオ演算処理部18は、使用時において算出した距離の分布を示す距離画像を生成する。ステレオ演算処理部18は、距離が等しい領域が集まっている部分を検出することにより、当該位置に存在する物体を識別する。ステレオ演算処理部18は、物体を識別した領域の視差から、識別した物体までの距離を識別する。
(校正装置)
複数の実施形態の1つに係る校正装置20について説明する。校正装置20は、図1に示すように支持部材21a−21c(保持部)、光学調整装置支持体22、第1ターゲット23(第1対象)、第2ターゲット24(第2対象)、第1光学調整装置25、第2光学調整装置26、および、制御部30(コントローラ)を含む。光学調整装置支持体22、第1光学調整装置25および第2光学調整装置26を合わせて距離調整部27とよぶ。以下において、図1のようにステレオカメラ10を配置した状態で、鉛直方向下向きをz方向、第1カメラ11および第2カメラ12の配列された方向をx方向、x方向およびz方向に直交する方向をy方向とする。x方向は、理想的に配置された場合の第1カメラ11および第2カメラのエピポーラ線の方向に対応する。また、以下において第1ターゲット23および第2ターゲット24が設けられた共通の面を床面とよぶ。
複数の実施形態の1つに係る校正装置20について説明する。校正装置20は、図1に示すように支持部材21a−21c(保持部)、光学調整装置支持体22、第1ターゲット23(第1対象)、第2ターゲット24(第2対象)、第1光学調整装置25、第2光学調整装置26、および、制御部30(コントローラ)を含む。光学調整装置支持体22、第1光学調整装置25および第2光学調整装置26を合わせて距離調整部27とよぶ。以下において、図1のようにステレオカメラ10を配置した状態で、鉛直方向下向きをz方向、第1カメラ11および第2カメラ12の配列された方向をx方向、x方向およびz方向に直交する方向をy方向とする。x方向は、理想的に配置された場合の第1カメラ11および第2カメラのエピポーラ線の方向に対応する。また、以下において第1ターゲット23および第2ターゲット24が設けられた共通の面を床面とよぶ。
支持部材21a−21cは、ステレオカメラ10の支持面14が載置される。支持部材21a−21cは、床面から鉛直方向に延びる棒状の部材とすることができる。支持部材21a−21cは、金属、樹脂等の剛性の部材により構成される。支持部材21a−21cの上部は、支持面14と点接触する支持点が形成される。支持点を含む平面は、校正用基準面を規定する。支持部材21a−21cに支持面14を載置することにより、ステレオカメラ10の基準面である支持面14が、校正用基準面と一致するように校正用基準面に対して位置決めされる。3つの支持部材21a−21cの3つの支持点で3点支持することによって、支持面14を正確に位置決めすることが可能になる。図1に図示される支持部材21a−21cは、3つであるが、支持部材21a−21cの数は4つ以上であってもよい。
ステレオカメラ10の支持面14を支持する支持部材21a−21cは、校正用基準面を規定できる限り棒状に限られない。支持部材21a−21cは、床面から支持面14を支持する支持点までの距離を所定の距離に固定できるように構成される。
第1ターゲット23は、第1カメラ11に対向して配置される。第2ターゲット24は、第2カメラ12に対向して配置される。第1ターゲット23および第2ターゲット24は、それぞれ、床面上の一点を特定する標識であるである。第1ターゲット23および第2ターゲット24は、図3に示すように十字線で表されるレチクル23a、24aとすることができる。第1ターゲット23および第2ターゲット24は、図4に示すようにドット23b、24bとすることができる。
第1光学調整装置25は、第1カメラ11側から観察される第1ターゲット23の仮想的な位置を、z方向に変化させる光学素子である。第1光学調整装置25は、正の屈折力を有する第1レンズ25aを含む光学系を備える。第1レンズ25aの光軸はz方向を向く。z方向は、校正用基準面と直交してよい。第1レンズ25aの光軸の方向を基準方向ともよぶ。第1レンズ25aの光軸は、第1ターゲット23の中心を通るように正確に位置決めされる。
第2光学調整装置26は、第2カメラ12側から観察される第2ターゲット24の仮想的な位置を、z方向に変化させる光学素子である。第2光学調整装置26は、正の屈折力を有する第2レンズ26aを含む光学系を備える。第2レンズ26aの光軸はz方向、すなわち、基準方向を向く。第2レンズ26aの光軸は、第2ターゲット24の中心を通るように正確に位置決めされる。
第1光学調整装置25および第2光学調整装置26は、一方の側の光軸上の1点から発した光束をコリメートすることができる。第1レンズ25aおよび第2レンズ26aは、コリメートレンズとよぶことができる。第1光学調整装置25および第2光学調整装置26は、コリメーターの機能を有する。
ステレオカメラ10は、第1カメラ11が、第1光学調整装置25を介して第1ターゲット23を撮像可能とし、且つ、第2カメラ12が、第2光学調整装置26を介して第2ターゲット24を撮像可能とするように、位置決めされる。理想的には、第1カメラ11の第1光軸11cおよび第2カメラ12の第2光軸12cが、基準方向であるz方向を向く。しかし、実際には光軸方向のずれにより、第1光軸11cおよび第2光軸12cは、正確にはz方向に向かない。
第1光学調整装置25は、第1レンズ25aをz方向に駆動する第1レンズ駆動部25bを備える。第2光学調整装置26は、第2レンズ26aをz方向に駆動する第2レンズ駆動部26bを備える。第1レンズ駆動部25bおよび第2レンズ駆動部26bは、互いに同期して駆動されてよい。第1レンズ駆動部25bおよび第2レンズ駆動部26bは、個別に駆動されてよい。第1レンズ駆動部25bおよび第2レンズ駆動部26bは、それぞれ、第1レンズ25aおよび第2レンズ26aを正確に位置決め可能である。例えば、第1レンズ駆動部25bおよび第2レンズ駆動部26bは、ステッピングモーターまたはサーボモーターを使用することができる。
図5および図6を用いて、第1レンズ25aを駆動して異なる位置に移動した場合の第1カメラ11から観察される像の変化を説明する。
図5では、第1レンズ25aは第1光学調整装置25の第1ターゲット23側に位置する。この場合、第1レンズ25aによる屈折により、第1カメラ11から観察される第1ターゲット23の仮想的な位置(第1の仮想位置41)は、第1カメラ11から仮想的な距離Dvに位置する。仮想的な位置は、虚像の表示される見かけ上の位置と言い換えることができる。仮想的な距離は見かけ上の距離と言い換えることができる。
図6では、第1レンズ25aは第1光学調整装置25の第1カメラ11側に位置する。この場合、第1レンズ25aによる屈折により、第1カメラ11から観察される第1ターゲット23の仮想的な位置(第2の仮想位置42)は、第1カメラ11から仮想的な距離Dvに位置する。この場合の仮想的な距離Dvは、図5の場合の仮想的な距離Dvよりも長くなる。このように、第1光学調整装置25は、第1レンズ25aを移動させて、第1カメラ11側から観察される第1ターゲット23の仮想的な位置を基準方向に変化させる。
上述の第1光学調整装置25に関する第1ターゲット23の仮想的な位置の変化は、第2光学調整装置26と第2ターゲット24とについても同様にあてはまる。
制御部30は、1つ以上のプロセッサを含み、校正装置20全体と校正装置20に載置されたステレオカメラ10とを制御する。制御部30は、距離調整部27と物理的に別体の制御装置とすることができる。制御部30は、距離調整部27と一体的に構成されてよい。
制御部30は、第1レンズ駆動部25bおよび第2レンズ駆動部26bに電気的に接続される。制御部30は、ステレオカメラ10が支持部材21a−21bにより保持された状態で、ステレオカメラ10に電気的に接続される。制御部30と第1レンズ駆動部25bおよび第2レンズ駆動部26bとの間、ならびに、制御部30とステレオカメラ10との間の接続は、有線接続および無線接続を採用しうる。制御部30は、ステレオカメラ10の信号入出力方式に対応する電気コネクタ、光コネクタまたは電磁コネクタを有してよい。これにより、制御部30は、第1レンズ駆動部25bを操作するとともに、互いに異なる複数の仮想的な位置に位置する第1ターゲット23を第1カメラ11で撮像して、第1補正部16から複数の第1画像を取得する。また、制御部30は、第2レンズ駆動部26bを操作するとともに、互いに異なる複数の仮想的な位置に位置する第2ターゲット24を第2カメラ12で撮像して、第2補正部17から複数の第2画像を取得する。
図2に示すように、制御部30は、レンズ位置制御部31、画像取得部32、補正データ生成部33、メモリ34および補正データ出力部35(出力部)の各機能ブロックを含む。各機能ブロックは、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。各機能ブロックが行える動作を、制御部30は実行できる。制御部30は、各機能ブロックの全ての動作を実行してよい。各機能ブロックが行う動作は、制御部30が行う動作として言い換えてよい。制御部30が各機能ブロックのいずれかを使役して行う処理は、制御部30が自ら実行してよい。
レンズ位置制御部31は、第1光学調整装置25の第1レンズ25aおよび第2光学調整装置26の第2レンズ26aの位置を制御する。レンズ位置制御部31は、第1レンズ25aおよび第2レンズ26aの位置を移動させることにより、第1ターゲット23および第2ターゲット24の仮想的な位置をz方向に変化させることができる。レンズ位置制御部31は、第1レンズ駆動部25bおよび第2レンズ駆動部26bに対して駆動信号を送信することにより、第1レンズ25aおよび第2レンズ26aをそれぞれの光軸25c、26c方向に移動させる。
レンズ位置制御部31は、第1レンズ駆動部25bおよび第2レンズ駆動部26bに対して同一の駆動信号を送信してよい。これにより、レンズ位置制御部31は、第1カメラ11から第1ターゲット23までの仮想的な距離と第2カメラ12から第2ターゲット24までの仮想的な距離とが常に等しくなるようにしてよい。レンズ位置制御部31は、第1レンズ駆動部25bおよび第2レンズ駆動部26bに対して異なる駆動信号を送信してよい。これによって、レンズ位置制御部31は、第1カメラ11から第1ターゲット23までの仮想的な距離と第2カメラ12から第2ターゲット24までの仮想的な距離とを個別に制御してよい。
画像取得部32は、ステレオカメラ10から第1画像および第2画像を取得する。画像取得部32は、レンズ位置制御部31が、第1カメラ11から第1ターゲット23までの仮想的な距離と第2カメラ12から第2ターゲット24までの仮想的な距離を変化させるのに連動して、複数の第1画像および第2画像を取得する。画像取得部32は、ステレオカメラ10の撮像タイミングを制御して、所定のタイミングで撮像した第1画像および第2画像を取得してよい。あるいは、画像取得部32は、順次ステレオカメラ10から送信される第1画像および第2画像から、所定のタイミングで画像を取得してよい。
画像取得部32は、レンズ位置制御部31の制御による第1レンズ25aの移動中に、複数の第1画像を取得し、第2レンズ26aの移動中に、複数の前記第2画像を取得してよい。このようにすることによって、短時間で連続的に複数の第1画像および第2画像を取得することができ、校正処理の効率を上げることができる。
画像取得部32は、レンズ位置制御部31の制御により、それぞれ異なる位置で第1レンズ25aが静止した状態で、複数の第1画像を取得し、それぞれ異なる位置で第2レンズ26aが静止した状態で、複数の第2画像を取得してよい。第1レンズ25aおよび第2レンズ26aを静止させて撮像することにより、位置決めの精度が向上する。これによって、校正の精度が向上する。
補正データ生成部33は、複数の第1画像に撮像された第1ターゲット23の第1画像上の位置を特定する。車載用のステレオカメラでは、固定焦点のカメラが使用されることが多い。第1カメラ11が固定焦点カメラの場合、画像取得部32で取得した第1画像上の第1ターゲット23の像は、ぼけを有する。補正データ生成部33は、第1ターゲット23の像の範囲を決定しその重心位置を判定する等の方法により、第1ターゲット23の第1画像上の座標を決定する。補正データ生成部33は、複数の第2画像に撮像された第2ターゲット24の第2画像上の位置についても、第1画像上の第1ターゲット23の位置と同様に決定することができる。
補正データ生成部33は、複数の第1画像に撮像された第1ターゲット23の位置から、第1カメラ11の第1光軸11cの基準方向であるz方向からのずれ角度(θ1,φ1)を算出する。ずれ角度(θ1,φ1)は、基準方向に対する第1カメラ11の第1光軸11cの方向のずれを示す第1パラメータである。同様に、補正データ生成部33は、複数の第2画像に撮像された第2ターゲット24の位置から、第2カメラ12の第2光軸12cのz方向からのずれ角度(θ2,φ2)を算出する。ずれ角度(θ2,φ2)は、基準方向に対する第2カメラ12の第2光軸12cの方向のずれを示す第2パラメータである。第1パラメータおよび第2パラメータは、校正パラメータである。第1パラメータおよび第2パラメータは、それぞれ2つの角度成分を含みうる。ずれ角度(θ1,φ1)は、球面座標系で表した角度とすることができる。例えば、図7に示すように、θ1は第1光軸11cとz軸方向との成す角度である。また、φ1は第1光軸11cのxy平面への射影がx軸と成す角度である。第2光軸12cのずれ角度を示すθ2およびφ2についても同様である。
さらに、補正データ生成部33は、第1光軸11cのずれ角度(θ1,φ1)に基づいて、第1カメラ11で撮像した画像を補正するために使用される第1補正データを生成する。また、補正データ生成部33は、第2光軸12cのずれ角度(θ2、φ2)に基づいて、第2カメラ12で撮像した画像を補正するために使用される第2補正データを生成する。
第1補正データおよび第2補正データは、第1光軸11cおよび第2光軸12cの角度ずれに加えて、画像の歪み、xy平面内の位置ずれ、像倍率のずれ、光軸周りの回転ずれ等を補正するものである。第1補正データおよび第2補正データの生成には、本開示の校正方法の前段階として、個別の第1カメラ11および第2カメラ12ごとに実行されるカメラ単体の校正処理の結果が反映される。第1補正データおよび第2補正データの生成は、カメラ単体の校正により生成した補正データに対して、さらに補正を加えるパラメータとして生成されてよい。
第1補正データおよび第2補正データは、第1光軸11cおよび第2光軸12cの角度ずれに加えて、画像の歪み、xy平面内の位置ずれ、像倍率のずれ、光軸周りの回転ずれ等を補正するものである。第1補正データおよび第2補正データの生成には、本開示の校正方法の前段階として、個別の第1カメラ11および第2カメラ12ごとに実行されるカメラ単体の校正処理の結果が反映される。第1補正データおよび第2補正データの生成は、カメラ単体の校正により生成した補正データに対して、さらに補正を加えるパラメータとして生成されてよい。
なお、制御部30は第1補正データおよび第2補正データの生成を行わず、第1光軸11cおよび第2光軸12cのずれ角度(θ1,φ1)、(θ2、φ2)のみを算出してよい。その場合、第1補正データおよび第2補正データの生成は、別の装置で行うことができる。
メモリ34は、制御部30で行う処理に必要なデータまたは制御部30で行う処理の結果得られたデータを格納する。メモリ34は補正データ生成部33で生成した第1補正データおよび第2補正データを記憶することができる。メモリ34は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばCD(Compact Disc)、DVD(Digital Versatile Disc)、およびBD(Blu-ray(登録商標) Disc)等を含んでよい。
補正データ出力部35は、補正データ生成部33で生成した第1補正データおよび第2補正データを、それぞれステレオカメラ10の第1補正部16および第2補正部17に適宜送信する。第1補正データおよび第2補正データは、補正データ生成部33で生成された後メモリ34に格納され、その後、ステレオカメラ10へ送信されてよい。補正データ出力部35は、第1補正データおよび第2補正データの一部をステレオカメラ10へ送信してよい。第1補正データおよび第2補正データは、画像上の座標の位置を変換するルックアップテーブル、または、アフィン変換およびディストーション補正を行うためのパラメータとすることができる。
(校正手順)
次に、図8のフローチャートを参照して、本開示の複数の実施形態の1つに係る校正方法に基づく校正の手順を説明する。
次に、図8のフローチャートを参照して、本開示の複数の実施形態の1つに係る校正方法に基づく校正の手順を説明する。
まず、ステレオカメラ10の光軸方向のずれを校正する前段の処理として、カメラ支持体13に固定される前の第1カメラ11および第2カメラ12に対して、カメラ単体での校正処理が行われる(ステップS101)。以下に、この処理を単体校正処理とよぶ。単体校正処理は、単体のカメラに対して、レンズの幾何学的形状、レンズ位置のずれ、レンズの光軸まわりのカメラの回転、レンズの傾き等に起因する画像の歪み、変形、傾き等を校正する。単体校正処理は、図9のフローチャートを用いて説明される。このような、単体のカメラの校正方法は公知なので、簡単にのみ説明する。
単体校正処理では、まず、カメラ単体を校正用チャートに対して、所定の距離および所定の方向に正確に位置決めする(ステップS201)。ここで、カメラ単体は、第1カメラ11および第2カメラ12を含む。校正用チャートは、例えば図10に示すように、水平および垂直方向に一定間隔で直線が配列された格子状のチャートである。このとき、カメラ単体は、単体校正処理用の演算装置に接続することができる。
次に、カメラ単体は、校正用チャートを撮像し、撮像した画像を演算装置に出力する(ステップS202)。演算装置は、撮像した画像から格子点の座標を抽出する。抽出された格子点は、特徴点ともよぶことができる。演算装置は、歪み、傾き、位置ずれ等の影響が無い場合の格子点の座標のデータを理想座標として保持する。演算装置は、カメラ単体から出力された画像の格子点の座標と、理想座標とを比較して、補正データを生成・格納する(ステップS203)。
補正データは、単体カメラから取得される画像を、画像上の座標ごとに理想的な画像の座標に変換する、ルックアップテーブルの形式とすることができる。また、補正データは、歪みの補正量、カメラの位置ずれ、光軸の傾き、光軸回りの回転等を表すパラメータであってよい。後者の場合、カメラ単体が出力した画像は、座標変換により歪み補正をした後、アフィン変換等を用いて画像の回転、移動、拡大・縮小等を行うことにより補正される。
ステップS101において、単体として校正された第1カメラ11および第2カメラ12は、図8に示すように、カメラ支持体13に結合され固定されステレオカメラ10となる(ステップS102)。また、ステップS203で生成された第1カメラ11および第2カメラ12の補正データは、メモリ34に格納される。したがって、第1カメラ11および第2カメラ12が、エピポーラ線の方向に相対的なずれがなく、互いの光軸が平行になるように正確にカメラ支持体13に固定されれば、第1カメラ11および第2カメラ12をさらに補正する必要はない。
しかし、実際には、第1カメラ11および第2カメラ12をカメラ支持体13に対して固定する際には、カメラ支持体13の製造誤差、および、取付け誤差等により、第1光軸11cおよび第2光軸12cの方向に僅かなずれが生じることが不可避である。このため、光軸方向のずれを校正することが必要となる。以下のステップS103〜ステップS109は、光軸方向のずれを校正するものである。
光軸方向のずれを校正するため、ステレオカメラ10は、図1に示すように校正装置20に取り付けられる(ステップS103)。理想的には、第1カメラ11の第1光軸11cは、第1光学調整装置25の光軸25cと一致する。しかし、実際には、第1光軸11cと光軸25cとは、図11に示すようにずれを有する。図11は、位置ずれおよび光軸方向の傾きのずれを強調して示している。実際の位置ずれおよび光軸方向の傾きのずれは、僅かである。また、第2カメラ12の第2光軸12cと、第2光学調整装置26の光軸26cとも、同様にずれを有する。
なお、第1カメラ11の第1光軸11cおよび第2カメラ12の第2光軸12cは、単体校正処理により得られた補正データにより補正された第1カメラ11および第2カメラ12のカメラ光軸である。第1光軸11cおよび第2光軸12cの方向は、それぞれ第1画像および第2画像の中心点に対応する。例えば、第1カメラ11において、第1光軸11cに沿って被写体物までの距離が変化した場合でも、第1画像の中心点に対応する被写体物の位置は変化しない。第1光軸11cは、第1カメラレンズ11aのレンズ光軸とは必ずしも一致しない。
以下の校正処理は、制御部30の制御のもとに行うことができる。制御部30は、第1レンズ25aおよび第2レンズ26aを、図5に示すように第1ターゲット23および第2ターゲット24に近い側に位置させる。これにより、第1ターゲット23および第2ターゲット24の第1の仮想位置41は、第1カメラ11および第2カメラ12に近い側(近側)となる(ステップS104)。第1カメラ11および第2カメラ12から観察される、第1ターゲット23および第2ターゲット24の仮想的な距離Dvは、例えば50mとすることができる。近側の仮想的な距離Dvは、例えば、30m、70m等の他の距離としてよい。
制御部30は、第1カメラ11および第2カメラ12により、第1の仮想位置41に位置するターゲットを撮像した画像を取得し、近側の第1画像および第2画像とする(ステップS105)。近側の第1画像および第2画像を、近側画像とよぶ。近側画像は、第1補正部16および第2補正部17により、メモリ34に格納されている補正データを用いて補正された画像である。したがって、第1カメラ11および第2カメラ12の個体に起因する画像の歪みおよびずれは補正されている。
次に、制御部30は、第1レンズ25aおよび第2レンズ26aを、図6に示すように第1カメラ11および第2カメラ12に近い側に位置させる。これにより、第1ターゲット23および第2ターゲット24の第2の仮想位置42は、第1カメラ11および第2カメラ12に遠い側(遠側)となる(ステップS106)。第1カメラ11および第2カメラ12から観察される、第1ターゲット23および第2ターゲット24の仮想的な距離Dvは、例えば100mとすることができる。遠側の仮想的な距離Dvは、例えば、80m、200m等の他の距離としてよい。
制御部30は、第1カメラ11および第2カメラ12により、第2の仮想位置42に位置するターゲットを撮像した画像を取得し、遠側の第1画像および第2画像とする(ステップS107)。遠側の第1画像および第2画像を、遠側画像とよぶ。遠側画像は、第1補正部16および第2補正部17により、メモリ34に格納されている補正データを用いて補正された画像である。したがって、近側画像と同様に、第1カメラ11および第2カメラ12の個体に起因する画像の歪みおよびずれは補正されている。
次に、制御部30は、近側画像と遠側画像とから、第1カメラ11の第1光軸11cの基準方向からのずれ角度(θ1,φ1)と、第2カメラ12の第2光軸12cの基準方向からのずれ角度(θ2,φ2)とを算出する(ステップS108)。それぞれのずれ角度は、次の方法で算出することができる。
図12は、近側画像と遠側画像とを重畳して示す図である。図12に示すように、第1カメラ11により撮像される第1画像の近側画像上における第1ターゲット23の像を51とする。また、第1画像の遠側画像上における第1ターゲット23の像を52とする。図12において、第1ターゲット23の像51、52は十字型のレチクルとして表されている。2つ以上の第1ターゲット23の像51、52を用いることにより、第1ターゲット23の像51、52の第1画像上での位置の変化を示す第1軌跡線53を算出することができる。第1軌跡線53は、複数の第1ターゲット23の像51および52の第1画像上での座標を直線で結ぶことにより得られる。同様に、第2カメラ12により撮像される第2画像についても、複数の第2ターゲット24の像の第2画像上での位置の変化を示す第2軌跡線を算出することができる。なお、図12では、説明のため第1ターゲット23の像51および像52が大きく離れているが、実際の第1画像上の像51と像52との位置の違いは、画像全体の大きさに比べて非常に小さくてよい。
第1カメラ11の第1光軸11cが、第1光学調整装置25の光軸25cと一致するような理想的な配置では、第1ターゲット23の像51、52は常に第1画像の中心に位置する。しかし、第1カメラ11の第1光軸11cの方向がずれることによって、第1ターゲット23の像51、52は第1画像の中心からずれる。さらに、第1ターゲット23の仮想的な距離が無限遠に向かうにつれて、第1ターゲット23の像51、52は、第1光軸11cの傾く方向に対応した一点に近づく。この点を「消失点」と呼ぶ。
制御部30は、近側の仮想的な距離Dvおよび遠側の仮想的な距離Dv、ならびに、それぞれの仮想的な距離Dvに対応する複数の第1画像の第1ターゲット23の座標から、消失点54を算出することができる。消失点54は、第1画像の第1軌跡線53上に位置する。制御部30は、第1画像上での消失点54の位置から、第1光軸11cの方向のずれを示す第1パラメータ(θ1、φ1)を算出する。第1画像の中心から消失点54までの距離は、角度θ1に対応する。また、第1画像の中心から消失点54の方向は、角度φ1に対応する。同様に、制御部30は、仮想的な距離Dvが異なる第2ターゲット24を撮像した複数の第2画像から、第2画像上での消失点54を算出することができる。制御部30は、第2画像上の消失点54の位置から、第2パラメータの角度θ2および角度φ2を算出する。
制御部30は、算出した第1パラメータ(θ1、φ1)に基づいて、第1カメラ11で撮像した画像を補正するために使用される第1補正データを生成する(ステップS109)。また、制御部30は、算出した第2パラメータ(θ2、φ2)に基づいて、第2カメラ12で撮像した画像を補正するために使用される第2補正データを生成する(ステップS109)。制御部30は、メモリ34に格納されている単体校正処理により得られた第1補正データを、新たな第1補正データに置き換える。また、制御部30は、メモリ34に格納されている単体校正処理により得られた第2補正データを、新たな第2補正データに置き換える。
最後に、校正装置20からステレオカメラ10が切り離される(ステップS110)。
上記校正処理では、第1カメラ11と第2カメラ12に対して、第1ターゲット23および第2ターゲット24を同期して仮想的な距離Dvを変化させ、並行して校正を実行した。第1カメラ11と第2カメラ12との校正処理は、互いに連動せずに個別に行ってよい。また、上記校正処理では、ステレオカメラ10を校正装置20に載置した状態で、校正パラメータの算出および補正データの生成、ステレオカメラ10への第1カメラ11および第2カメラ12の補正データの格納を、一連の処理として行った。第1カメラ11および第2カメラ12の第1パラメータおよび第2パラメータの算出以降の処理の少なくとも一部は、制御部30により複数の第1画像および第2画像を取得後、校正装置20からステレオカメラ10を切り離してから行ってよい。その場合、第1パラメータおよび第2パラメータの算出および第1補正データおよび第2補正データの生成は、別の演算装置で行なってよい。その場合、この装置が生成した第1補正データおよび第2補正データをステレオカメラ10の第1補正部16および第2補正部17にダウンロードするようにしてよい。
以上説明したように、本開示によれば、第1光学調整装置25および第2光学調整装置26を用いて、第1カメラ11から第1ターゲット23までの仮想的な距離Dvを変化させ、第2カメラ12から第2ターゲット24までの仮想的な距離Dvを変化させる。これにより、校正装置20は、ステレオカメラ10が配置される構成基準面から床面までの距離を数十cmから数m程度(例えば、1.5m)の小さな寸法で構成することが可能になる。これに対し、従来の校正方法では、数十mから百m以上の大きなスペースを必要とする。本開示の校正方法および校正装置20では、そのような大きな空間を必要とせず、ステレオカメラ10の光軸方向のずれを精度よく校正することができる。
本開示に係る実施形態について、諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。従って、これらの変形または修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部または各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部またはステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態は装置が備えるプロセッサにより実行されるプログラム、またはプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
本開示において「第1」および「第2」等の記載は、当該構成を区別するための識別子である。本開示における「第1」および「第2」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第1レンズは、第2レンズと識別子である「第1」と「第2」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。
本開示において、x方向、y方向、およびz方向は、説明の便宜上設けられたものであり、互いに入れ替えられてよい。本開示に係る構成は、x方向、y方向、およびz方向によって構成される直交座標系を用いて説明されてきた。本開示に係る各構成の位置関係は、直交関係にあると限定されるものではない。
10 ステレオカメラ
11 第1カメラ
12 第2カメラ
13 カメラ支持体
14 支持面
15 画像処理部
16 第1補正部
17 第2補正部
18 ステレオ演算処理部
20 校正装置
21a,21b,21c 支持部材(保持部)
22 光学調整装置支持体
23 第1ターゲット(第1対象)
24 第2ターゲット(第2対象)
25 第1光学調整装置
26 第2光学調整装置
26 光軸
27 距離調整部
30 制御部(コントローラ)
31 レンズ位置制御部
32 画像取得部
33 補正データ生成部
34 メモリ
35 補正データ出力部(出力部)
41 第1の仮想的位置
42 第2の仮想的位置
43 第1ターゲットの像
51 第1ターゲットの像(近距離側)
52 第1ターゲットの像(遠距離側)
53 第1軌跡線
54 消失点
Dv 仮想的な距離
11 第1カメラ
12 第2カメラ
13 カメラ支持体
14 支持面
15 画像処理部
16 第1補正部
17 第2補正部
18 ステレオ演算処理部
20 校正装置
21a,21b,21c 支持部材(保持部)
22 光学調整装置支持体
23 第1ターゲット(第1対象)
24 第2ターゲット(第2対象)
25 第1光学調整装置
26 第2光学調整装置
26 光軸
27 距離調整部
30 制御部(コントローラ)
31 レンズ位置制御部
32 画像取得部
33 補正データ生成部
34 メモリ
35 補正データ出力部(出力部)
41 第1の仮想的位置
42 第2の仮想的位置
43 第1ターゲットの像
51 第1ターゲットの像(近距離側)
52 第1ターゲットの像(遠距離側)
53 第1軌跡線
54 消失点
Dv 仮想的な距離
Claims (13)
- カメラ支持体により固定された第1カメラおよび第2カメラを含むステレオカメラの光軸方向のずれを校正する校正方法であって、
前記第1カメラが第1光学調整装置を介して第1対象を撮像可能であり、前記第2カメラが第2光学調整装置を介して第2対象を撮像可能であるように、前記カメラ支持体の基準面を所定の校正用基準面に対して位置決めし、前記第1光学調整装置および前記第2光学調整装置は、基準方向に平行な光軸を有し、
前記第1光学調整装置を操作して、前記第1カメラの側から観察される前記第1対象の仮想的な位置を前記基準方向に変化させ、互いに異なる複数の仮想的な位置に位置する前記第1対象を前記第1カメラで撮像して複数の第1画像を取得し、
取得した複数の前記第1画像に基づいて、前記基準方向に対する前記第1カメラの第1光軸の方向のずれを示す第1パラメータを算出し、
前記第2光学調整装置を操作して、前記第2カメラの側から観察される前記第2対象の仮想的な位置を前記基準方向に変化させ、互いに異なる複数の仮想的な位置に位置する前記第2対象を前記第2カメラで撮像して複数の第2画像を取得し、
取得した複数の前記第2画像に基づいて、前記基準方向に対する前記第2カメラの第2光軸の方向のずれを示す第2パラメータを算出する、
校正方法。 - 複数の前記第1画像から前記第1対象の像の位置の変化を示す第1軌跡線を算出し、前記第1軌跡線に基づいて前記第1パラメータを算出し、複数の前記第2画像から前記第2対象の像の位置の変化を示す第2軌跡線を算出し、前記第2軌跡線に基づいて前記第2パラメータを算出する、請求項1に記載の校正方法。
- 複数の前記第1画像から前記第1対象が仮想的に無限遠に位置するときの前記第1対象の像の位置を決定し、該第1対象の像の位置に基づいて前記第1パラメータを算出し、複数の前記第2画像から前記第2対象が仮想的に無限遠に位置するときの前記第2対象の像の位置を決定し、該第2対象の像の位置に基づいて前記第2パラメータを算出する、請求項1または2に記載の校正方法。
- 前記第1パラメータおよび前記第2パラメータは、球面座標系の2つの角度成分を含む、請求項1乃至3のいずれか一項に記載の校正方法。
- 前記第1光学調整装置は第1レンズを含み、前記第1光学調整装置の操作は、前記第1レンズを前記基準方向に移動させることにより行い、前記第2光学調整装置は第2レンズを含み、前記第2光学調整装置の操作は、前記第2レンズを前記基準方向に移動させることにより行う、請求項1乃至4のいずれか一項に記載の校正方法。
- 前記第1レンズの移動中に、複数の前記第1画像を取得し、前記第2レンズの移動中に、複数の前記第2画像を取得する請求項5に記載の校正方法。
- 前記第1レンズが静止した状態で、複数の前記第1画像を取得し、前記第2レンズが静止した状態で、複数の前記第2画像を取得する請求項5に記載の校正方法。
- 前記第1パラメータに基づいて、前記第1カメラで撮像した画像を補正するために使用される第1補正データを生成し、該第1補正データを前記ステレオカメラに格納し、前記第2パラメータに基づいて、前記第2カメラで撮像した画像を補正するために使用される第2補正データを生成し、該第2補正データを前記ステレオカメラに格納することを含む、請求項1乃至7のいずれか一項に記載の校正方法。
- カメラ支持体により固定された第1カメラおよび第2カメラを含むステレオカメラの光軸方向のずれを校正する校正装置であって、
前記カメラ支持体の基準面を所定の校正用基準面に対して位置決めするように、前記ステレオカメラを保持する保持部と、
前記第1カメラにより撮像される第1対象と、
前記保持部により前記ステレオカメラが保持されたときの前記第1カメラの位置と前記第1対象との間に配置され、基準方向に平行な光軸を有し、前記第1カメラの側から観察される前記第1対象の仮想的な位置を前記基準方向に変化させる第1光学調整装置と、
前記第2カメラにより撮像される第2対象と、
前記保持部により前記ステレオカメラが保持されたときの前記第2カメラの位置と前記第2対象との間に配置され、前記基準方向に平行な光軸を有し、前記第2カメラの側から観察される前記第2対象の仮想的な位置を前記基準方向に変化させる第2光学調整装置と、
前記ステレオカメラが保持された状態で、前記第1光学調整装置を操作して、互いに異なる複数の仮想的な位置に位置する前記第1対象を前記第1カメラで撮像して複数の第1画像を取得し、且つ、前記第2光学調整装置を操作して、互いに異なる複数の仮想的な位置に位置する前記第2対象を前記第2カメラで撮像して複数の第2画像を取得するコントローラと
を備える校正装置。 - 前記第1光学調整装置は第1レンズを含み、前記第1光学調整装置の操作は、前記第1レンズを前記基準方向に移動させることにより行い、前記第2光学調整装置は第2レンズを含み、前記第2光学調整装置の操作は、前記第2レンズを前記基準方向に移動させることにより行う、請求項9に記載の校正装置。
- 前記コントローラは、取得した複数の前記第1画像に基づいて、前記基準方向に対する前記第1カメラの第1光軸の方向のずれを示す第1パラメータを算出し、且つ、取得した複数の前記第2画像に基づいて、前記基準方向に対する前記第2カメラの第2光軸の方向のずれを示す第2パラメータを算出する請求項9または10に記載の校正装置。
- 前記コントローラは、前記第1パラメータに基づいて、前記第1カメラで撮像した画像を補正するために使用される第1補正データを生成し、前記第2パラメータに基づいて、前記第2カメラで撮像した画像を補正するために使用される第2補正データを生成する請求項11に記載の校正装置。
- 前記第1補正データおよび前記第2補正データを前記ステレオカメラに出力する出力部を備える請求項9乃至12のいずれか一項に記載の校正装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017221109A JP2019090755A (ja) | 2017-11-16 | 2017-11-16 | 校正方法および校正装置 |
CN201811327991.9A CN109803137A (zh) | 2017-11-16 | 2018-11-08 | 校正方法以及校正装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017221109A JP2019090755A (ja) | 2017-11-16 | 2017-11-16 | 校正方法および校正装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019090755A true JP2019090755A (ja) | 2019-06-13 |
Family
ID=66556269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017221109A Pending JP2019090755A (ja) | 2017-11-16 | 2017-11-16 | 校正方法および校正装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2019090755A (ja) |
CN (1) | CN109803137A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114415464A (zh) * | 2021-12-30 | 2022-04-29 | 歌尔光学科技有限公司 | 光轴校准装置及系统 |
DE102023101213A1 (de) | 2022-02-02 | 2023-08-03 | Omron Corporation | Verfahren zum Messen des Verschiebungsgrades, Messvorrichtung und Programm |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110854723B (zh) * | 2019-10-17 | 2021-03-09 | 湖南长高高压开关集团股份公司 | 一种敞开式隔离开关瓷瓶校正的方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100392252B1 (ko) * | 2000-10-02 | 2003-07-22 | 한국전자통신연구원 | 다안식 스테레오 카메라의 주시각 제어 방법 |
JPWO2012026502A1 (ja) * | 2010-08-24 | 2013-10-28 | 日本電気株式会社 | 立体撮影装置および立体撮影方法 |
JP2012189324A (ja) * | 2011-03-08 | 2012-10-04 | Ricoh Co Ltd | ステレオカメラ |
CN103792667B (zh) * | 2012-10-30 | 2016-06-01 | 财团法人工业技术研究院 | 立体摄像装置、自动校正装置与校正方法 |
US9628778B2 (en) * | 2013-10-14 | 2017-04-18 | Eys3D Microelectronics, Co. | Calibration system of a stereo camera and calibration method of a stereo camera |
CN204854773U (zh) * | 2015-08-19 | 2015-12-09 | 深圳科澳汽车科技有限公司 | 一种多标定板组合装置 |
CN105847665B (zh) * | 2015-11-30 | 2018-09-04 | 维沃移动通信有限公司 | 双摄像头拍摄设备及双摄像头光轴校正装置 |
CN106482640B (zh) * | 2016-12-07 | 2022-09-09 | 北京汉邦高科数字技术股份有限公司 | 一种一体机芯光轴校正的装置和方法 |
-
2017
- 2017-11-16 JP JP2017221109A patent/JP2019090755A/ja active Pending
-
2018
- 2018-11-08 CN CN201811327991.9A patent/CN109803137A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114415464A (zh) * | 2021-12-30 | 2022-04-29 | 歌尔光学科技有限公司 | 光轴校准装置及系统 |
CN114415464B (zh) * | 2021-12-30 | 2024-03-08 | 歌尔光学科技有限公司 | 光轴校准装置及系统 |
DE102023101213A1 (de) | 2022-02-02 | 2023-08-03 | Omron Corporation | Verfahren zum Messen des Verschiebungsgrades, Messvorrichtung und Programm |
KR20230117703A (ko) | 2022-02-02 | 2023-08-09 | 오므론 가부시키가이샤 | 어긋남양의 측정 방법, 및 측정 장치, 및 프로그램을 비일시적으로 기억하는 기억 매체 |
Also Published As
Publication number | Publication date |
---|---|
CN109803137A (zh) | 2019-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6423848B2 (ja) | 対象物の3次元座標を決定するための方法 | |
CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
KR101113679B1 (ko) | 카메라 시스템의 영상 보정 방법 | |
WO2012053521A1 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
CN102200673B (zh) | 摄像元件的位置调整方法、照相机模块及其制造方法和制造装置 | |
US20150288952A1 (en) | Calibration device and method for calibrating a dental camera | |
JP2012015576A (ja) | 画像のキャリブレーション方法および装置 | |
CN109297680B (zh) | 光轴偏移误差值的检测方法及装置 | |
JP2019090755A (ja) | 校正方法および校正装置 | |
CN113034612B (zh) | 一种标定装置、方法及深度相机 | |
US10821911B2 (en) | Method and system of camera focus for advanced driver assistance system (ADAS) | |
JP2021173740A (ja) | テレセントリックラインスキャンカメラを用いて物体を効率的に3次元再構成するためのシステムおよび方法 | |
WO2018207720A1 (ja) | 特徴量を用いた3次元計測方法およびその装置 | |
WO2019220722A1 (ja) | 固体撮像装置と情報処理装置および情報処理方法とキャリブレーション方法 | |
JP6582683B2 (ja) | 角度算出システム、角度算出装置、プログラム、および角度算出方法 | |
JP2010219663A (ja) | 撮像装置のキャリブレーション方法およびキャリブレーションシステム | |
US11295478B2 (en) | Stereo camera calibration method and image processing device for stereo camera | |
US11233961B2 (en) | Image processing system for measuring depth and operating method of the same | |
US20120056999A1 (en) | Image measuring device and image measuring method | |
JP2019180016A (ja) | 画像合成装置、画像合成方法及びプログラム | |
WO2022096925A1 (en) | Three-dimensional scanner having sensors with overlapping fields of view | |
JP6680335B2 (ja) | ステレオカメラ、車両、算出方法及びプログラム | |
US8885051B2 (en) | Camera calibration method and camera calibration apparatus | |
JP2020165968A (ja) | 校正方法、校正装置及びプログラム | |
JP2021009113A (ja) | 計測用具、校正装置、およびプログラム |