JP2021027370A - 車載カメラのキャリブレーション方法、及び車載カメラのキャリブレーション装置 - Google Patents

車載カメラのキャリブレーション方法、及び車載カメラのキャリブレーション装置 Download PDF

Info

Publication number
JP2021027370A
JP2021027370A JP2019140620A JP2019140620A JP2021027370A JP 2021027370 A JP2021027370 A JP 2021027370A JP 2019140620 A JP2019140620 A JP 2019140620A JP 2019140620 A JP2019140620 A JP 2019140620A JP 2021027370 A JP2021027370 A JP 2021027370A
Authority
JP
Japan
Prior art keywords
image
camera
vehicle
vehicle camera
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019140620A
Other languages
English (en)
Inventor
祥平 東本
Shohei Higashimoto
祥平 東本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2019140620A priority Critical patent/JP2021027370A/ja
Publication of JP2021027370A publication Critical patent/JP2021027370A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】カメラの内部パラメータに対応するキャリブレーションを容易に実行する。【解決手段】カメラ1のキャリブレーション方法は、カメラ1を構成する各画素PXに対応付けて、カメラ1の内部パラメータを補正する歪みベクトルVをカメラ1に記憶しておき、カメラ1を車両に搭載した後に、カメラ1が特定画像を撮影し、撮影画像を生成する第1生成ステップと、歪みベクトルVに基づき、撮影画像を補正して補正画像P22を生成する第2生成ステップと、補正画像P22に基づき、カメラ1の外部パラメータを補正する補正ステップと、を含む。【選択図】図9

Description

本発明は、車載カメラのキャリブレーション方法、及び車載カメラのキャリブレーション装置に関する。
車両に搭載されるカメラでは、内部パラメータと外部パラメータとに関するキャリブレーションを行う必要がある。内部パラメータとは、カメラの個体ごとに異なる焦点距離や画像中心のずれ、及びレンズ歪み等を表すパラメータである。外部パラメータとは、カメラの位置姿勢を表すパラメータである。
従来、カメラの内部パラメータ及び外部パラメータのキャリブレーションに関する種々の技術が開示されている。
例えば、特許文献1に記載のキャリブレーション装置は、カメラによる被写体としての対象物を撮影した撮影画像における所定の特徴点の座標を取得する特徴点座標取得部と、撮影画像における、特徴点が本来結像する理想座標を取得する理想座標取得部、撮影画像を複数の領域に分割した各領域における、特徴点の座標と、理想座標と、の関係に基づいて、各領域における歪曲特性を補正する歪み補正式を算出する補正式算出部と、を備える。また、補正式算出部にあっては、各領域の境界において共有する特徴点の補正後の座標が、各領域において等しくなるようにしている。
特開2013−187822号公報
特許文献1に記載のキャリブレーション装置では、カメラによって取得する撮影画像から、そのカメラ固有の歪曲特性を検出する必要があるため、3次元空間上の位置が既知である対象物を撮影する必要があった。換言すれば、カメラの内部パラメータを推定するために、被写体としての測定用チャートとカメラとの位置関係を厳密に設定する必要があった。その結果、内部パラメータを推定する作業が煩雑であった。すなわち、カメラの内部パラメータに対応するキャリブレーションについて改善の余地があった。
そこで、本発明では、カメラの内部パラメータに対応するキャリブレーションを容易に実行可能な車載カメラのキャリブレーション方法、及び車載カメラのキャリブレーション装置を提供することを目的とする。
本発明に係る車載カメラのキャリブレーション方法は、車載カメラを構成する各画素に対応付けて、前記車載カメラの内部パラメータを補正する歪みベクトルを前記車載カメラに記憶しておき、前記車載カメラを車両に搭載した後に、前記車載カメラが特定画像を撮影し、撮影画像を生成する第1生成ステップと、前記歪みベクトルに基づき、前記撮影画像を補正して補正画像を生成する第2生成ステップと、前記補正画像に基づき、前記車載カメラの外部パラメータを補正する補正ステップと、を含む。
また、上記車載カメラのキャリブレーション方法において、複数の第1点状画像が形成された被写体を前記車載カメラで撮影し、撮影された画像において前記複数の第1点状画像の各々に対応する第2点状画像を取得し、取得した前記第2点状画像と、前記車載カメラに歪みが無い場合における前記第2点状画像との位置ずれに基づいて、前記複数の第1点状画像の各々に対応する前記歪みベクトルが算出されてもよい。
また、上記車載カメラのキャリブレーション方法において、前記複数の第1点状画像の各々に対応する前記歪みベクトルを線形補間することによって、前記車載カメラを構成する各画素の前記歪みベクトルが算出されてもよい。
また、上記車載カメラのキャリブレーション方法において、前記特定画像は、特徴点画像を含み、前記車載カメラが設計通りに前記車両に配置されたときの前記撮影画像における前記特徴点画像の位置を示す設計位置を算出する第1算出ステップと、前記補正画像における前記特徴点画像の位置を示す補正位置を算出する第2算出ステップと、を更に含み、前記補正ステップにおいて、前記補正位置が、前記設計位置と一致するように、前記外部パラメータを補正してもよい。
また、上記車載カメラのキャリブレーション方法において、前記車載カメラに記憶され、前記車載カメラを構成する各画素に対応付けられた前記歪みベクトルと、前記補正ステップによって補正された前記外部パラメータとに基づき、前記車載カメラのキャリブレーションを実行する実行ステップを更に含む。
本発明に係る車載カメラのキャリブレーション装置は、車載カメラを構成する各画素に対応付けて、前記車載カメラの内部パラメータを補正する歪みベクトルを記憶するベクトル記憶部と、前記車載カメラを車両に搭載した後に、前記車載カメラが特定画像を撮影し、撮影画像を生成する第1生成部と、前記歪みベクトルに基づき、前記撮影画像を補正して補正画像を生成する第2生成部と、前記補正画像に基づき、前記車載カメラの外部パラメータを補正する補正部と、を備える。
本発明に係る車載カメラのキャリブレーション方法、及び車載カメラのキャリブレーション装置によれば、カメラの内部パラメータに対応するキャリブレーションを容易に実行できる。
キャリブレーションシステムの全体構成の一例を示す図である。 歪みベクトルの算出に用いる画像の取得方法の一例を示す側面図である。 撮影画像の一例を示す図である。 第1点状画像の各々に対応する歪みベクトルの一例を示す図である。 カメラの各画素に対応する歪みベクトルの算出方法の一例を示す図である。 特定画像を撮影し、撮影画像を生成する方法の一例を示す側面図である。 設計位置及び補正位置の一例を示す図である。 ベクトル記憶処理の一例を示すフローチャートである。 第2制御部の処理の一例を示すフローチャートである。
以下、図面を参照して本発明の実施形態について説明する。
[1.キャリブレーションシステムの構成]
[1−1.キャリブレーションシステムの全体構成]
図1は、キャリブレーションシステム100の全体構成の一例を示す図である。
キャリブレーションシステム100は、車両に搭載され、カメラ1と、キャリブレーション装置2と、表示装置3と、を備える。
カメラ1は、車両に搭載され、車両の周囲を撮像する。カメラ1は、第1制御部11と、第1ベクトル記憶部12とを備える。カメラ1は、キャリブレーション装置2と通信可能に接続される。
カメラ1は、「車載カメラ」の一例に対応する。
第1制御部11は、カメラ1の動作を制御する。第1制御部11は、第1メモリー11A及び第1プロセッサー11Bを備える。
第1メモリー11Aは、第1プロセッサー11Bが実行するプログラムやデータ等を不揮発的に記憶する記憶装置である。第1メモリー11Aは、磁気的記憶装置、フラッシュROM(Read Only Memory)等の半導体記憶素子、或いはその他の種類の不揮発性記憶装置により構成される。また、第1メモリー11Aは、第1プロセッサー11Bのワークエリアを構成するRAM(Random Access Memory)を含んでもよい。第1メモリー11Aは、第1制御部11により処理されるデータや、第1プロセッサー11Bが実行する第1制御プログラム等を記憶する。
第1プロセッサー11Bは、単一のプロセッサーで構成されてもよいし、複数のプロセッサーが第1プロセッサー11Bとして機能する構成であってもよい。
第1ベクトル記憶部12は、磁気的記憶装置、フラッシュROM等の半導体記憶素子、或いはその他の種類の不揮発性記憶装置により構成される。第1ベクトル記憶部12は、カメラ1を構成する各画素に対応付けて、カメラ1の内部パラメータを補正する歪みベクトルVを記憶する。
歪みベクトルVについては、後述にて、図2〜図5を参照して詳細に説明する。
内部パラメータとは、カメラ1の個体ごとに異なる焦点距離や画像中心のずれ、及びレンズ歪み等を表すパラメータである。
キャリブレーション装置2は、カメラ1のキャリブレーションを実行する。
本実施形態では、キャリブレーション装置2は、ECU(Electronic Control Unit)で構成される。
キャリブレーション装置2は、第2制御部21と、第2ベクトル記憶部22と、姿勢パラメータ記憶部23と、画像記憶部24と、を備える。
第2ベクトル記憶部22は、磁気的記憶装置、フラッシュROM等の半導体記憶素子、或いはその他の種類の不揮発性記憶装置により構成される。第2ベクトル記憶部22は、カメラ1を構成する各画素に対応付けて、カメラ1の内部パラメータを補正する歪みベクトルVを記憶する。
第2制御部21は、カメラ1がキャリブレーション装置2に通信可能に接続されたときに、カメラ1の第1ベクトル記憶部12から、カメラ1を構成する各画素に対応付けられた歪みベクトルVを読み出して、第2ベクトル記憶部22に書き込む。
姿勢パラメータ記憶部23は、磁気的記憶装置、フラッシュROM等の半導体記憶素子、或いはその他の種類の不揮発性記憶装置により構成される。姿勢パラメータ記憶部23は、姿勢パラメータを記憶する。
姿勢パラメータは、カメラ1が車両に搭載されたときのカメラ1の位置姿勢を表す。すなわち、姿勢パラメータは、「外部パラメータ」の一例に対応する。
画像記憶部24は、磁気的記憶装置、フラッシュROM等の半導体記憶素子、或いはその他の種類の不揮発性記憶装置により構成される。画像記憶部24は、カメラ1によって撮影された撮影画像を記憶する。
表示装置3は、種々の画像を表示する装置であって、ディスプレイ31を備える。ディスプレイ31は、LCD(Liquid Crystal Display)等で構成され、第2制御部21からの指示に従って、ユーザーに種々の画像を視認可能に表示する。
[1−2.第2制御部の構成]
第2制御部21は、キャリブレーション装置2の動作を制御する。第2制御部21は、第2メモリー21A及び第2プロセッサー21Bを備える。
第2メモリー21Aは、第2プロセッサー21Bが実行するプログラムやデータ等を不揮発的に記憶する記憶装置である。第2メモリー21Aは、磁気的記憶装置、フラッシュROM等の半導体記憶素子、或いはその他の種類の不揮発性記憶装置により構成される。また、第2メモリー21Aは、第2プロセッサー21Bのワークエリアを構成するRAMを含んでもよい。第2メモリー21Aは、第2制御部21により処理されるデータや、第2プロセッサー21Bが実行する第2制御プログラム等を記憶する。
第2プロセッサー21Bは、単一のプロセッサーで構成されてもよいし、複数のプロセッサーが第2プロセッサー21Bとして機能する構成であってもよい。
第2制御部21は、第1生成部211、第2生成部212、第1算出部213、第2算出部214、補正部215、実行部216及び表示制御部217を備える。具体的には、第2プロセッサー21Bが、第2制御プログラムを実行することにより、第1生成部211、第2生成部212、第1算出部213、第2算出部214、補正部215、実行部216及び表示制御部217として機能する。
第1生成部211は、カメラ1を車両に搭載した後に、カメラ1に特定画像を撮影させ、撮影画像を生成させる。
特定画像は、特徴点画像を含む。
第2生成部212は、歪みベクトルVに基づき、撮影画像を補正して補正画像を生成する。換言すれば、補正画像は、撮影画像に対して、内部パラメータに対応する補正が実行された画像を示す。
第1算出部213は、カメラ1が設計通りに車両に配置されたときの撮影画像における特徴点画像の位置を示す設計位置FP1を算出する。具体的には、設計位置FP1は、カメラ1が設計通りに車両に配置された場合に、第1生成部211によって生成される撮影画像における特徴点画像の位置を示す。
第2算出部214は、補正画像における特徴点画像の位置を示す補正位置FP2を算出する。
設計位置FP1及び補正位置FP2については、後述にて図7を参照して詳細に説明する。
補正部215は、補正画像に基づき、カメラ1の姿勢パラメータを補正する。具体的には、補正部215は、補正位置FP2が、設計位置FP1と一致するように、姿勢パラメータを補正する。また、補正部215は、補正後の姿勢パラメータを姿勢パラメータ記憶部23に書き込むことによって、姿勢パラメータを更新する。
実行部216は、第2ベクトル記憶部22に記憶され、カメラ1を構成する各画素PXに対応付けられた歪みベクトルVと、補正部215によって補正された姿勢パラメータとに基づき、カメラ1のキャリブレーションを実行し、画像変換テーブルを生成する。
画像変換テーブルは、カメラ1によって撮影された撮影画像の各画素の位置を修正するテーブルである。
表示制御部217は、実行部216によってカメラ1のキャリブレーションが実行された後に、カメラ1によって生成され、画像記憶部24に記憶された撮影画像の各画素の位置を画像変換テーブルによって修正した画像を表示装置3に表示する。
[1−3.歪みベクトルの算出方法]
次に、図2〜図5を参照して、歪みベクトルVの算出方法について説明する。図2〜図5を参照して説明する処理は、カメラ1が車両に搭載される前に、ユーザーからの指示に基づいて実行される。
本実施形態において、ユーザーとは、カメラ1のキャリブレーションを実行する作業員を示す。例えば、ユーザーは、カメラ1を車両に搭載する作業を実行する作業員である。
図2は、歪みベクトルVの算出に用いる画像の取得方法の一例を示す側面図である。図2に示すように、カメラ1は、レンズ13と、撮像部14とを更に備える。
レンズ13は、撮像部14に被写体の画像を撮像部14に結像する。
撮像部14は、CCD(Charge Coupled Device)及びC−MOS(Complementary MOS)等のイメージセンサーであって、被写体の画像に対応する画像信号を生成する。撮像部14が生成した画像信号は、第1制御部11に伝送される。
第1被写体BJ1は、複数の第1点状画像Cij(i=1〜K、j=1〜L)が形成された平板状の被写体である。個数Kは、上下方向の第1点状画像Cijの個数を示し、個数Lは、左右方向の第1点状画像Cijの個数を示す。
複数の第1点状画像Cijは、例えば、格子状に配置される。複数の第1点状画像Cijを構成する各第1点状画像Cijは、例えば円形状に形成される。本実施形態では、第1被写体BJ1は、破線矢印で示す理想的な位置PDに対して角θだけ傾斜して配置される。
第1被写体BJ1は、「被写体」の一例に対応する。
ユーザーは、カメラ1に第1被写体BJ1を撮影させ、複数の第1点状画像の各々に対応する第2点状画像Dij(i=1〜K、j=1〜L)を含む撮影画像P1を生成させる。個数Kは、上下方向の第2点状画像Dijの個数を示し、個数Lは、左右方向の第2点状画像Dijの個数を示す。
撮影画像P1及び第2点状画像Dij(i=1〜K、j=1〜L)については、図3を参照して詳細に説明する。
図3は、撮影画像P1の一例を示す図である。
撮影画像P1は、第2点状画像Dij(i=1〜K、j=1〜L)を含む。本実施形態では、個数Kは2個であり、個数Lは、5個である。第2点状画像Dijは、第1点状画像Cij(i=1〜K、j=1〜L)と同様に、撮影画像P1において格子状に配置される。また、第2点状画像Dijの各々は、円形状に形成される。
基準点状画像Eij(i=1〜K、j=1〜L)は、カメラ1に歪みが無い場合における第2点状画像Dij(i=1〜K、j=1〜L)を示す。「カメラ1に歪みが無い場合」とは、内部パラメータの示す歪みが無い場合を示す。すなわち、「カメラ1に歪みが無い場合」とは、カメラ1が設計通りに製造されていることを示す。換言すれば、「カメラ1に歪みが無い場合」とは、例えば、カメラ1の焦点距離が設計値と一致し、画像中心のずれが無く、レンズ13の歪み等が無いことを示す。
X軸は左右方向を示し、Y軸は上下方向を示す。
図3及び図4では、第2点状画像Dijと基準点状画像Eijとを区別するために、便宜上、第2点状画像Dijに網掛けを付し、基準点状画像Eijは白丸で記載している。
図4は、第1点状画像Cij(i=1〜K、j=1〜L)の各々に対応する歪みベクトルVij(i=1〜K、j=1〜L)の一例を示す図である。
図4に示すように、歪みベクトルVij(i=1〜K、j=1〜L)の各々は、基準点状画像Eij(i=1〜K、j=1〜L)の各々の中心位置を起点とし、第2点状画像Dij(i=1〜K、j=1〜L)の各々の中心位置を終点とするベクトルである。
例えば、歪みベクトルV11は、基準点状画像E11の中心位置を起点とし、第2点状画像D11の中心位置を終点とするベクトルである。また、例えば、歪みベクトルV25は、基準点状画像E25の中心位置を起点とし、第2点状画像D25の中心位置を終点とするベクトルである。
換言すれば、第2点状画像Dij(i=1〜K、j=1〜L)と、基準点状画像Eij(i=1〜K、j=1〜L)との位置ずれに基づいて、複数の第1点状画像Cij(i=1〜K、j=1〜L)の各々に対応する歪みベクトルVijが算出される。
図5は、カメラ1の各画素PXに対応する歪みベクトルVの算出方法の一例を示す図である。図5では、画素PXが、基準点状画像E11の中心、基準点状画像E12の中心、基準点状画像E21の中心、及び基準点状画像E22の中心を頂点とする四角形の内部に位置している場合について説明する。
図5に示すように、画素PXのY軸方向の位置は、基準点状画像E11の中心と、基準点状画像E21の中心とを結ぶ線分を、N:(1−N)で分割した位置である。画素PXのX軸方向の位置は、基準点状画像E21の中心と、基準点状画像E22の中心とを結ぶ線分を、M:(1−M)で分割した位置である。
係数Nは、画素PXのY軸方向の位置を規定し、係数Mは、画素PXのX軸方向の位置を規定する。係数N、及び係数Mは、0以上1以下の数である。
画素PXの歪みベクトルVは、歪みベクトルV11、歪みベクトルV12、歪みベクトルV21及び歪みベクトルV22を線形補間することによって、次の式(1)で表わされる。
V=V11×(1−N)×(1−M)+V21×N×(1−M)
+V12×(1−N)×M+V22×N×M (1)
ここで、歪みベクトルV11は、基準点状画像E11に対応し、歪みベクトルV12は、基準点状画像E12に対応し、歪みベクトルV21は、基準点状画像E21に対応し、歪みベクトルV22は、基準点状画像E22に対応する。
図2〜図5を参照して説明したように、画素PXの歪みベクトルVは、以下の手順で算出される。
すなわち、まず、複数の第1点状画像Cij(i=1〜K、j=1〜L)が形成された第1被写体BJ1をカメラ1で撮影する。次に、撮影された画像において複数の第1点状画像Cij(i=1〜K、j=1〜L)の各々に対応する第2点状画像Dij(i=1〜K、j=1〜L)を取得する。そして、取得した第2点状画像Dij(i=1〜K、j=1〜L)と、基準点状画像Eijとの位置ずれに基づいて、複数の第1点状画像Cijの各々に対応する歪みベクトルVijを算出する。更に、複数の第1点状画像Cij(i=1〜K、j=1〜L)の各々に対応する歪みベクトルVijを線形補間することによって、カメラ1を構成する各画素PXの歪みベクトルVを算出する。
[1−4.カメラを車両に搭載した後の第2制御部の処理]
次に、図6及び図7を参照して、カメラ1を車両に搭載した後に実行される第2制御部21の処理について説明する。
図6は、特定画像を撮影し、撮影画像を生成する方法の一例を示す側面図である。
第1生成部211は、カメラ1を車両に搭載した後に、カメラ1に、第2被写体BJ2に形成された特定画像を撮影させ、撮影画像を生成させる。第2被写体BJ2は、特定画像が形成された平板状の被写体である。特定画像は、特徴点画像を含む。
特定画像及び特徴点画像については、図7を参照して説明する。
図7は、設計位置FP1及び補正位置FP2の一例を示す図である。
第1算出部213は、カメラ1が設計通りに車両に配置されたときの撮影画像P21における特徴点画像の位置を示す設計位置FP1を算出する。具体的には、設計位置FP1は、カメラ1が設計通りに車両に配置された場合に、第1生成部211によって生成される撮影画像P21における特徴点画像の位置を示す。
図7に示すように、撮影画像P21は、矩形の画像であって、X軸と平行な線分LHと、Y軸と平行な線分LVとによって、4つの領域に分割されている。すなわち、撮影画像P21は、第1領域AR1と、第2領域AR2と、第3領域AR3と、第4領域AR4とで構成される。第1領域AR1と第4領域AR4とは、白色の領域であり、第2領域AR2と第3領域AR3とは、黒色の領域である。設計位置FP1は、線分LHと線分LVとの交点の位置を示す。
本実施形態では、特定画像は、撮影画像P21と同様に構成される。また、特徴点画像は、設計位置FP1の画像に対応する。すなわち、特徴点画像は、線分LHと線分LVとの交点の画像を示す。
第2生成部212は、歪みベクトルVに基づき、カメラ1が特定画像を撮影することによって生成される撮影画像を補正して補正画像P22を生成する。
第2算出部214は、補正画像P22における特徴点画像の位置を示す補正位置FP2を算出する。
補正部215は、補正位置FP2が、設計位置FP1と一致するように、姿勢パラメータを補正する。換言すれば、補正部215は、補正ベクトルVCに対応するように、姿勢パラメータを補正する。本実施形態では、補正部215は、画像がX軸の正方向に移動するように、姿勢パラメータを補正する。補正ベクトルVCは、起点が設計位置FP1であり、終点が補正位置FP2であるベクトルである。
[2.ベクトル記憶処理]
図8は、ベクトル記憶処理の一例を示すフローチャートである。「ベクトル記憶処理」とは、第1ベクトル記憶部12に歪みベクトルVを記憶する処理を示す。また、「ベクトル記憶処理」は、カメラ1が車両に搭載される前に実行される。
まず、ステップS101において、ユーザーからの指示に基づき、カメラ1が、複数の第1点状画像Cij(i=1〜K、j=1〜L)が形成された第1被写体BJ1を撮影する。
次に、ステップS103において、第1制御部11が、撮影された画像において複数の第1点状画像Cij(i=1〜K、j=1〜L)の各々に対応する第2点状画像Dij(i=1〜K、j=1〜L)を取得する。
次に、ステップS105において、第1制御部11が、カメラ1に歪みが無い場合における第2点状画像Dij(i=1〜K、j=1〜L)を示す基準点状画像Eij(i=1〜K、j=1〜L)の位置を算出する。
次に、ステップS107において、第1制御部11が、第2点状画像Dij(i=1〜K、j=1〜L)と、基準点状画像Eij(i=1〜K、j=1〜L)との位置ずれに基づいて、複数の第1点状画像Cij(i=1〜K、j=1〜L)の各々に対応する歪みベクトルVij(i=1〜K、j=1〜L)を算出する。
次に、ステップS109において、第1制御部11が、複数の第1点状画像Cij(i=1〜K、j=1〜L)の各々に対応する歪みベクトルVij(i=1〜K、j=1〜L)を線形補間することによって、カメラ1を構成する各画素PXの歪みベクトルVを算出する。
次に、ステップS111において、第1制御部11が、カメラ1を構成する各画素PXに対応付けて歪みベクトルVを第1ベクトル記憶部12に記録し、処理が終了する。
[3.第2制御部の処理]
図9は、第2制御部21の処理の一例を示すフローチャートである。
まず、ステップS201において、ユーザーがカメラ1を車両に搭載し、カメラ1をキャリブレーション装置2に接続する。カメラ1がキャリブレーション装置2に接続されたときに、第1制御部11は、カメラ1を構成する各画素PXに対応付けた歪みベクトルVを第1ベクトル記憶部12から読み出し、第2ベクトル記憶部22に記録する。
次に、ステップS203において、第2制御部21が、第2ベクトル記憶部22からカメラ1を構成する各画素PXに対応付けた歪みベクトルVを読み出す。
次に、ステップS205において、第1生成部211が、カメラ1に、第2被写体BJ2に形成された特定画像を撮影させ、撮影画像を生成させる。
次に、ステップS207において、第2生成部212が、歪みベクトルVに基づき、撮影画像を補正して補正画像P22を生成する。
次に、ステップS209において、第1算出部213は、カメラ1が設計通りに車両に配置されたときの撮影画像P21における特徴点画像の位置を示す設計位置FP1を算出する。具体的には、設計位置FP1は、カメラ1が設計通りに車両に配置された場合に、第1生成部211によって生成される撮影画像P21における特徴点画像の位置を示す。
次に、ステップS211において、第2算出部214は、補正画像P22における特徴点画像の位置を示す補正位置FP2を算出する。
次に、ステップS213において、補正部215は、補正位置FP2が、設計位置FP1と一致するように、姿勢パラメータを補正し、補正した姿勢パラメータを姿勢パラメータ記憶部23に記録する。
次に、ステップS215において、実行部216は、第2ベクトル記憶部22に記憶され、カメラ1を構成する各画素PXに対応付けられた歪みベクトルVと、補正部215によって補正された姿勢パラメータとに基づき、カメラ1のキャリブレーションを実行し、画像変換テーブルを生成し、処理が終了する。画像変換テーブルは、カメラ1によって撮影された撮影画像の各画素の位置を修正するテーブルである。
ステップS205は、「第1生成ステップ」の一例に対応する。ステップS207は、「第2生成ステップ」の一例に対応する。ステップS209は、「第1算出ステップ」の一例に対応する。ステップS211は、「第2算出ステップ」の一例に対応する。ステップS213は、「補正ステップ」の一例に対応する。ステップS215は、「実行ステップ」の一例に対応する。
[4.カメラのキャリブレーション方法の構成及び効果]
以上、図面を参照して説明したように、本実施形態に係るカメラ1のキャリブレーション方法は、カメラ1を構成する各画素PXに対応付けて、カメラ1の内部パラメータを補正する歪みベクトルVをカメラ1に記憶しておき、カメラ1を車両に搭載した後に、カメラ1が特定画像を撮影し、撮影画像を生成する第1生成ステップと、歪みベクトルVに基づき、撮影画像を補正して補正画像P22を生成する第2生成ステップと、補正画像P22に基づき、カメラ1の外部パラメータを補正する補正ステップと、を含む。
この構成によれば、歪みベクトルVに基づき、撮影画像を補正して補正画像P22を生成し、補正画像P22に基づき、カメラ1の外部パラメータを補正するため、歪みベクトルVの誤差を、外部パラメータの補正の際に補正できる。したがって、カメラ1の内部パラメータに対応するキャリブレーションを容易に実行できる。
また、カメラ1のキャリブレーション方法において、複数の第1点状画像Cij(i=1〜K、j=1〜L)が形成された第1被写体BJ1をカメラ1で撮影し、撮影された画像において複数の第1点状画像Cijの各々に対応する第2点状画像Dijを取得し、取得した第2点状画像Dijと、カメラ1に歪みが無い場合における第2点状画像、すなわち基準点状画像Eijとの位置ずれに基づいて、複数の第1点状画像Cijの各々に対応する歪みベクトルVが算出される。
この構成によれば、撮影された画像において複数の第1点状画像Cijの各々に対応する第2点状画像Dijと、基準点状画像Eijとの位置ずれに基づいて、複数の第1点状画像Cijの各々に対応する歪みベクトルVが算出される。よって、歪みベクトルVを容易に算出できる。したがって、カメラ1の内部パラメータに対応する歪みベクトルVを容易に算出できる。
また、カメラ1のキャリブレーション方法において、複数の第1点状画像Cij(i=1〜K、j=1〜L)の各々に対応する歪みベクトルVを線形補間することによって、カメラ1を構成する各画素PXの歪みベクトルVが算出される。
この構成によれば、カメラ1を構成する各画素PXの歪みベクトルVを容易に算出できる。したがって、カメラ1の内部パラメータに対応する歪みベクトルVを容易に算出できる。
また、カメラ1のキャリブレーション方法において、特定画像は、特徴点画像を含み、カメラ1が設計通りに車両に配置されたときの撮影画像P21における特徴点画像の位置を示す設計位置FP1を算出する第1算出ステップと、補正画像P22における特徴点画像の位置を示す補正位置FP2を算出する第2算出ステップと、を更に含み、補正ステップは、補正位置FP2が、設計位置FP1と一致するように、外部パラメータを補正する。
この構成によれば、補正位置FP2が、設計位置FP1と一致するように、外部パラメータを補正するため、外部パラメータを容易に補正できる。また、歪みベクトルVの誤差を、外部パラメータの補正の際に補正できる。したがって、カメラ1の内部パラメータに対応するキャリブレーションを容易に実行できる。
また、カメラ1のキャリブレーション方法において、カメラ1に記憶され、カメラ1を構成する各画素PXに対応付けられた歪みベクトルVと、補正ステップによって補正された外部パラメータとに基づき、カメラ1のキャリブレーションを実行する実行ステップを更に含む。
この構成によれば、歪みベクトルVと、補正ステップによって補正された外部パラメータとに基づき、カメラ1のキャリブレーションを実行するため、カメラ1のキャリブレーションを適正に実行できる。
本実施形態に係るカメラ1のキャリブレーション装置2は、カメラ1を構成する各画素PXに対応付けて、カメラの内部パラメータを補正する歪みベクトルVを記憶する第2ベクトル記憶部22と、カメラ1を車両に搭載した後に、カメラ1が特定画像を撮影し、撮影画像を生成する第1生成部211と、歪みベクトルVに基づき、撮影画像を補正して補正画像P22を生成する第2生成部212と、補正画像P22に基づき、カメラ1の外部パラメータを補正する補正部215と、を備える。
この構成によれば、歪みベクトルVに基づき、撮影画像を補正して補正画像P22を生成し、補正画像P22に基づき、カメラ1の外部パラメータを補正するため、歪みベクトルVの誤差を、外部パラメータの補正の際に補正できる。したがって、カメラ1の内部パラメータに対応するキャリブレーションを容易に実行できる。
[5.カメラのキャリブレーション装置の他の実施形態]
上述した実施形態は、あくまでも本発明の一態様を示すものであり、本発明の主旨を逸脱しない範囲で任意に変形及び応用が可能である。
本実施形態では、キャリブレーション装置2が第2ベクトル記憶部22を備えるが、本発明の実施形態はこれに限定されない。例えば、キャリブレーション装置2が、必要に応じて、カメラ1の第1ベクトル記憶部12から歪みベクトルVを読み出してもよい。
本実施形態では、キャリブレーション装置2がECUとして構成される場合について説明したが、本発明の実施形態はこれに限定されない。キャリブレーション装置2が第2制御部21を備えればよい。例えば、キャリブレーション装置2がパーソナルコンピュータとして構成されてもよい。
本実施形態では、第2制御プログラムが第2メモリー21Aに記憶されているが、本発明の実施形態はこれに限定されない。第2制御プログラムは、例えば、キャリブレーション装置2の通信部を介してネットワークから、第2メモリー21Aにダウンロードされ、その後、第2プロセッサー21Bにより実行されるようにしてもよい。また、例えば、キャリブレーション装置2に接続された記憶媒体から、第2メモリー21Aにロードされるようにしてもよい。
また、図1は、本願発明を理解容易にするために、キャリブレーションシステム100及びキャリブレーション装置2の機能構成を主な処理内容に応じて分類して示した概略図であり、キャリブレーションシステム100及びキャリブレーション装置2の各々の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素が更に多くの処理を実行するように分類することもできる。また、各構成要素の処理は、1つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、1つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
また、図7及び図8に記載のフローチャートの処理単位は、第1制御部11及び第2制御部21の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。第1制御部11及び第2制御部21の処理は、処理内容に応じて、更に多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、フローチャートの処理順序も、図示した例に限られるものではない。
100 キャリブレーションシステム
1 カメラ(車載カメラ)
11 第1制御部
11A 第1メモリー
11B 第1プロセッサー
12 第1ベクトル記憶部
13 レンズ
14 撮像部
2 キャリブレーション装置
21 第2制御部
21A 第2メモリー
21B 第2プロセッサー
211 第1生成部
212 第2生成部
213 第1算出部
214 第2算出部
215 補正部
216 実行部
217 表示制御部
22 第2ベクトル記憶部
23 姿勢パラメータ記憶部
24 画像記憶部
3 表示装置
31 ディスプレイ
BJ1 第1被写体(被写体)
BJ2 第2被写体
Dij 第2点状画像
Eij 基準点状画像
FP1 設計位置
FP2
PX 画素
V、Vij 歪みベクトル

Claims (6)

  1. 車載カメラを構成する各画素に対応付けて、前記車載カメラの内部パラメータを補正する歪みベクトルを前記車載カメラに記憶しておき、
    前記車載カメラを車両に搭載した後に、前記車載カメラが特定画像を撮影し、撮影画像を生成する第1生成ステップと、
    前記歪みベクトルに基づき、前記撮影画像を補正して補正画像を生成する第2生成ステップと、
    前記補正画像に基づき、前記車載カメラの外部パラメータを補正する補正ステップと、
    を含む、車載カメラのキャリブレーション方法。
  2. 複数の第1点状画像が形成された被写体を前記車載カメラで撮影し、
    撮影された画像において前記複数の第1点状画像の各々に対応する第2点状画像を取得し、
    取得した前記第2点状画像と、前記車載カメラに歪みが無い場合における前記第2点状画像との位置ずれに基づいて、前記複数の第1点状画像の各々に対応する前記歪みベクトルが算出される、請求項1に記載の車載カメラのキャリブレーション方法。
  3. 前記複数の第1点状画像の各々に対応する前記歪みベクトルを線形補間することによって、前記車載カメラを構成する各画素の前記歪みベクトルが算出される、請求項2に記載の車載カメラのキャリブレーション方法。
  4. 前記特定画像は、特徴点画像を含み、
    前記車載カメラが設計通りに前記車両に配置されたときの前記撮影画像における前記特徴点画像の位置を示す設計位置を算出する第1算出ステップと、
    前記補正画像における前記特徴点画像の位置を示す補正位置を算出する第2算出ステップと、を更に含み、
    前記補正ステップにおいて、前記補正位置が、前記設計位置と一致するように、前記外部パラメータを補正する、請求項1から3のいずれか1項に記載の車載カメラのキャリブレーション方法。
  5. 前記車載カメラに記憶され、前記車載カメラを構成する各画素に対応付けられた前記歪みベクトルと、前記補正ステップによって補正された前記外部パラメータとに基づき、前記車載カメラのキャリブレーションを実行する実行ステップを更に含む、請求項1から4のいずれか1項に記載の車載カメラのキャリブレーション方法。
  6. 車載カメラを構成する各画素に対応付けて、前記車載カメラの内部パラメータを補正する歪みベクトルを記憶するベクトル記憶部と、
    前記車載カメラを車両に搭載した後に、前記車載カメラが特定画像を撮影し、撮影画像を生成する第1生成部と、
    前記歪みベクトルに基づき、前記撮影画像を補正して補正画像を生成する第2生成部と、
    前記補正画像に基づき、前記車載カメラの外部パラメータを補正する補正部と、
    を備える、車載カメラのキャリブレーション装置。
JP2019140620A 2019-07-31 2019-07-31 車載カメラのキャリブレーション方法、及び車載カメラのキャリブレーション装置 Pending JP2021027370A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019140620A JP2021027370A (ja) 2019-07-31 2019-07-31 車載カメラのキャリブレーション方法、及び車載カメラのキャリブレーション装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019140620A JP2021027370A (ja) 2019-07-31 2019-07-31 車載カメラのキャリブレーション方法、及び車載カメラのキャリブレーション装置

Publications (1)

Publication Number Publication Date
JP2021027370A true JP2021027370A (ja) 2021-02-22

Family

ID=74662490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019140620A Pending JP2021027370A (ja) 2019-07-31 2019-07-31 車載カメラのキャリブレーション方法、及び車載カメラのキャリブレーション装置

Country Status (1)

Country Link
JP (1) JP2021027370A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036505A (zh) * 2023-08-23 2023-11-10 长和有盈电子科技(深圳)有限公司 车载摄像头在线标定方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036505A (zh) * 2023-08-23 2023-11-10 长和有盈电子科技(深圳)有限公司 车载摄像头在线标定方法及系统
CN117036505B (zh) * 2023-08-23 2024-03-29 长和有盈电子科技(深圳)有限公司 车载摄像头在线标定方法及系统

Similar Documents

Publication Publication Date Title
US8310563B2 (en) Imaging apparatus, imaging method, and program
CN110099267B (zh) 梯形校正系统、方法以及投影仪
KR101408426B1 (ko) 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법, 보정 테이블 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체 및 보정 화상 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체
US20100149368A1 (en) Imaging apparatus, imaging method, and program
US11348208B2 (en) Signal processing apparatus and signal processing method
US20120268555A1 (en) Imaging apparatus, imaging method, and program
US9600863B2 (en) Method for combining images
JP2013214947A (ja) 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP2014131257A (ja) 画像補正システム、画像補正方法及びプログラム
JP6975003B2 (ja) 周辺監視装置およびその校正方法
CN111711756A (zh) 一种图像防抖方法、电子设备及存储介质
CN110580718B (zh) 图像装置的校正方法及其相关图像装置和运算装置
CN108053375B (zh) 图像数据修正方法、装置及其汽车
CN112470192A (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN111489288B (zh) 一种图像的拼接方法和装置
CN109598764A (zh) 摄像头标定方法和装置、电子设备、计算机可读存储介质
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
JP4743538B2 (ja) カメラ校正装置
JP7024817B2 (ja) 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
JP2018097573A (ja) 顔向き推定用コンピュータプログラム、顔向き推定装置及び顔向き推定方法
US20120188336A1 (en) Camera module, photographing method, and electronic apparatus
JP2015031601A (ja) 3次元計測装置及び方法並びにプログラム
JP5487946B2 (ja) カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置
JP2012198031A (ja) 画像補正方法及び画像補正装置
JPH11325890A (ja) ステレオカメラの画像補正装置