JP2013211707A - カメラキャリブレーション装置 - Google Patents
カメラキャリブレーション装置 Download PDFInfo
- Publication number
- JP2013211707A JP2013211707A JP2012080863A JP2012080863A JP2013211707A JP 2013211707 A JP2013211707 A JP 2013211707A JP 2012080863 A JP2012080863 A JP 2012080863A JP 2012080863 A JP2012080863 A JP 2012080863A JP 2013211707 A JP2013211707 A JP 2013211707A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- calibration
- feature point
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】ハードウェアの要求するパラメータの数が、キャリブレーションに必要な数よりも少ない場合でも、簡単かつ高精度にカメラパラメータのキャリブレーションが可能なカメラキャリブレーション装置を得ること。
【解決手段】本発明のカメラキャリブレーション装置1は、複数のカメラ2A〜2Dで、相対位置関係が不定の較正指標20を撮像して各カメラパラメータを較正するカメラキャリブレーション装置1であって、各画像から較正指標の撮像特徴点を抽出し、各画像に基づいて各カメラパラメータを較正して一次較正パラメータ54を求め、一次較正パラメータ54を用いて撮像特徴点52を視点変換したターゲット特徴点56を生成し、ターゲット特徴点56と撮像特徴点52を用いて一次較正パラメータを再較正した二次較正パラメータを求める。
【選択図】図5
【解決手段】本発明のカメラキャリブレーション装置1は、複数のカメラ2A〜2Dで、相対位置関係が不定の較正指標20を撮像して各カメラパラメータを較正するカメラキャリブレーション装置1であって、各画像から較正指標の撮像特徴点を抽出し、各画像に基づいて各カメラパラメータを較正して一次較正パラメータ54を求め、一次較正パラメータ54を用いて撮像特徴点52を視点変換したターゲット特徴点56を生成し、ターゲット特徴点56と撮像特徴点52を用いて一次較正パラメータを再較正した二次較正パラメータを求める。
【選択図】図5
Description
本発明は、カメラキャリブレーション装置に関し、例えば、車載カメラで較正指標を撮像して、その撮像画像に基づいて車載カメラのパラメータを較正するカメラキャリブレーション装置に関する。
車載カメラは、車両の利便性向上、安全走行およびカーナビゲーションの高度な位置補正などを目的として使用されており、その役割は益々重要なものとなってきている。画像処理技術の発展に伴い、路面、あるいは路上の表示や物体を認識する技術は、多種多様なものが開発されている。これらに付随して、車両周囲の環境を画像認識し、車線逸脱防止や、衝突回避、オートクルーズなどの車両制御を行う技術も開発され、実用化が進められている。
車両制御を伴う場合、車両に対する認識対象物の相対位置を測定するための計測技術が必要となる。この測定をカメラで実施する場合、カメラパラメータであるカメラの位置や姿勢を表す外部パラメータと、光軸位置や焦点距離、レンズ歪みなどを表す内部パラメータとを用いて、画像中の画素と実空間上の位置の対応をとる必要がある。
カメラパラメータ(外部パラメータ、内部パラメータ)は、設計値に基づいて製造されているが、実際には誤差が必ず含まれるため、画素と実空間が真の対応関係を表すように、ズレを補正するキャリブレーション(較正)が必要となる。
標準的なキャリブレーションは、較正指標を予め定められた位置に設置し、較正指標を撮影した実際のカメラ映像と、カメラの姿勢や較正指標との位置関係から計算可能な本来映るはずの映像(理想映像)とを比較し、実際のカメラ映像と理想映像が一致するように、カメラ映像を画像処理によって補正することによって実施される。
上記技術を実施するためには、カメラと較正指標との相対位置関係が既知である必要がある。したがって、キャリブレーションするためには、カメラの位置と較正指標の位置を予め高精度に位置合わせする必要があるが、位置合わせは手間がかかり、容易ではないという問題がある。
この問題を解決するための方法として、特許文献1には、カメラと較正指標との相対位置関係が未知でもキャリブレーション可能な方式が提案されている。この方式では、較正指標として白線格子を用い、白線の直線性、平行性、直交性、間隔などのカメラとの相対位置関係に依存しない白線格子の特徴を満たすようにカメラ映像を補正している。
特許文献1では、白線の平行性を用いてカメラ俯角を調整し、その後、俯瞰視点から見た白線の間隔を用いてカメラの高さを補正するなど、前段の補正結果を用いて後段の補正を実施する形式となっている。
しかしながら、車載カメラシステムの種類によっては、ハードウェアの構成を簡素化するために、ハードウェアの要求するカメラパラメータの数を、カメラのキャリブレーションに必要な数よりも減らして、その減らしたカメラパラメータは正確であると推定して処理することが行われている。
このようにシステムで取り扱われるカメラパラメータの数がキャリブレーションに必要な数よりも減らされている場合に、その減らされたカメラパラメータが真値に近いものでない限り、キャリブレーションを行ったときに誤差が大きく残されてしまい、その誤差が後段のキャリブレーション結果に影響する。
特許文献2では、2カメラ間の位置・姿勢の相対関係は算出できるが、カメラと地表の相対位置関係を求めることはできない。したがって、カメラと地表の相対位置関係が必要となるキャリブレーションには利用できない。
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、ハードウェアの要求するパラメータの数が、キャリブレーションに必要な数よりも少ない場合でも、簡単かつ高精度にカメラパラメータのキャリブレーションが可能なカメラキャリブレーション装置を提供することにある。
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、複数のカメラで、該複数のカメラとの相対位置関係が不定の較正指標を撮像して前記複数のカメラのカメラパラメータを較正するカメラキャリブレーション装置であって、各カメラで較正指標を撮像した画像から較正指標の撮像特徴点を抽出する特徴点抽出手段と、各カメラで撮像した画像に基づいて各カメラのカメラパラメータを較正して、一次較正パラメータを求める一次較正部と、一次較正パラメータを用いて前記撮像特徴点を視点変換したターゲット特徴点を生成するターゲット特徴点生成部と、ターゲット特徴点と撮像特徴点を用いて一次較正パラメータを再較正した二次較正パラメータを求める二次較正部と、を有することを特徴としている。
本発明によれば、カメラと較正用指標との位置関係が未知でも、キャリブレーションパラメータ数に最適なキャリブレーション結果が得られる。
以下、本実施の形態について、図面を参照しながら詳細に説明する。
図1に本発明のキャリブレーション方法を実施するカメラキャリブレーション装置1のハードウェア構成を示す。
カメラキャリブレーション装置1は、車両に搭載された4つのカメラ(カメラ2A、カメラ2B、カメラ2C、カメラ2D)のカメラパラメータを較正する。各カメラ2A〜2Dは、3次元空間上に実在する物体を撮像して、電子的な画像データとして取り込むための装置である。各カメラ2A〜2Dは、1つのカメラで広域の撮像範囲の映像を取得するために、広角カメラが用いられている。なお、本実施の形態では、カメラの数は4となっているが、カメラの数は少なくとも2つ以上の複数であればよい。
カメラインターフェース12は、演算装置13とカメラ2A、カメラ2B、カメラ2C、カメラ2Dとの間を接続するインターフェースである。
演算装置13は、カメラキャリブレーション装置1全体の動作を統括的に制御するメインコントローラであり、実体としては、画像処理を実行するアプリケーションプログラムを起動するCPUである。すなわち、演算装置13は、オペレーティングシステムの制御化で、各種のアプリケーションプログラムを実行する。
RAM14は、演算装置13が実行プログラムコードをロードしたり、作業データを一次格納するために使用される書き込み可能なメモリである。例えば、カメラキャリブレーションの演算処理に必要なプログラムコードや撮影画像データは、RAM14上にロードされる。
ROM15は、所望のデータが製造時に恒久的に書き込まれる読み出し専用の不揮発メモリである。ROM15上には、例えばカメラキャリブレーション装置1の電源投入時に実行する自己診断テストプログラムや、ハードウェア入出力操作を実行するためのコード群(BIOS)及び処理画像作成のためのマップデータが格納されている。
入力装置16は、ユーザからの命令入力を受容する装置である。キーボードやマウス、タッチパネルなどの装置が含まれる。また、カメラキャリブレーション装置1のキャリブレーション実行命令を出す際の機械的なスイッチなども含まれる。
表示装置17は、例えばカーナビゲーションシステムの液晶モニターのような、映像を表示する装置である。モニターにカメラB単体の映像を表示したり、カメラ2A、カメラ2B、カメラ2C、カメラ2Dの映像を視点変換して合成した車両周囲の映像などを表示する。
ネットワークインターフェイス18は、カメラキャリブレーション装置1を所定の通信プロトコルに従ってネットワーク接続するための装置であり、車両の速度や舵角などの情報を、車載通信ネットワークを介して取得する。また、PCを接続し、カメラキャリブレーションのためのプログラムファイルや、各カメラ2A〜2Dのカメラ姿勢や設置位置などのキャリブレーションに必要なパラメータなどを受け取ることも可能である。
なお、カメラキャリブレーション装置1を実際に較正するためには、図1に示した以外にも多くのハードウェアコンポーネントが必要である。ただし、これらは当業者には周知であり、また本発明の要旨を較正するものではないので、本明細書中では省略している。また、図面の錯綜を回避するため、図中の各ハードウェアブロック間の接続も抽象化して図示している点を了承されたい。
次に、カメラキャリブレーション装置1を用いたカメラキャリブレーション方法について説明する。
まず、キャリブレーションに用いる較正指標20を平面上に準備する。較正指標20には、例えば図2に示すような白線格子を用いる。較正指標20は、例えばアスファルト等の路面上にペンキなどで描いてもよいし、シートの上にあらかじめ印字したものを用いてもよい。また、本実施の形態では白線の場合を例に説明しているが、色は白でなくてもよく、描画対象に対してコントラストが確保できる直線状のものであればよい。線の色が途中で変化していてもよい。
また、図2に示すような白線格子状のものでなくても、カメラとキャリブレーションターゲットの相対関係が不定でよいものであれば、他のパターンを用いてもよい。例えば、カメラ2Aとカメラ2C、カメラ2Aとカメラ2D、カメラ2Cとカメラ2B、カメラ2Bとカメラ2Dの、視野が重なる領域に、較正指標を設置してキャリブレーションを実施してもよい。
次に、キャリブレーション装置1を搭載した車両30を、較正指標20の上に停車する。停車後の状態を図3に示す。この際、車両30の姿勢や停車位置などは定められた範囲内であればラフでよい。定められた範囲内とは、白線格子を用いたキャリブレーション方式が要求する範囲内を示す。その範囲とは、各カメラ2A〜2Dで撮像した画像に、較正指標20のうちの少なくとも一本の白線と、それに直交する2本の白線が撮像できる範囲内であればよい。カメラ2A〜2Dは、例えば、カメラ2Aを車両30の前側に、カメラ2Bを車両30の後ろ側に、カメラ2Cおよびカメラ2Dを車両30の左右両側に取り付ける。カメラ2A〜2Dをこのように車両30に配置することによって、車両30の全周囲の映像を取得することが可能となる。
続いて、カメラ2A〜2Dで撮影を実施する。カメラキャリブレーション装置1のスイッチを押すなどし、撮影のトリガーをかける。撮像された各カメラ2A〜2Dの画像を図4に示す。図4(a)は、カメラ2Aの画像、図4(b)は、カメラ2Bの画像、図4(c)は、カメラ2Cの画像、図4(d)は、カメラ2Dの画像である。各画像は、キャリブレーション装置1のRAM14などに展開されて保持される。
これらの画像に関して、カメラ2A〜2Dは広角カメラであるため、図4に示すように、撮像した画像には歪みが生じている。そして、カメラ2A〜2Dの設置時には、その位置や姿勢に必ず誤差が生じる。また、カメラ2A〜2Dの製造時の誤差(個体差)もあり、これらは避けることはできない。そのため、各画像は、理想の画像から必ずズレがある状態となっている。したがって、その状態から生成した俯瞰映像も映像境界部において必ずズレが生じる。映像境界部においてズレがない俯瞰映像を生成するためには、各カメラ2A〜2Dについてそれぞれカメラパラメータを較正するカメラキャリブレーションが必要となる。
前記の条件で撮影した画像を用いてカメラキャリブレーションを実施する。カメラキャリブレーションは、較正指標20の白線の直線性、平行性、直交性、間隔など、車両30の停車位置とは無関係な情報を利用して、それらの条件を満たすように実施される。
カメラ2A、カメラ2B、カメラ2C、カメラ2Dそれぞれについて、少なくとも1本の白線とそれに直交する2本の平行白線が撮像されている(図4を参照)。これらの白線は、本来は直線状に撮影されるはずのものであるが、広角レンズの特性によって、曲線状に撮像されている。この撮像は、広角レンズの既知の撮像歪み式にしたがって意図的に歪みをもたせて撮像したものであるため、既知の撮像歪み式を逆にたどることで、歪みがない場合の撮像結果を計算することができる。これを歪み補正と呼ぶ。既知の歪み補正を実施すると、曲線状に撮像されていたものは、直線状の撮像となる。まずはこの歪み補正を実施する。
ただし、製造時の誤差が必ず発生するため、既知の撮像歪み式は実際の撮像歪みとズレがある。したがって、既知の撮像歪み式では、完全に歪みを除去し、歪みのない映像には戻らない。そこで、撮像歪み式のキャリブレーションを実施する。撮像歪み式に含まれる撮像歪み係数を、歪み補正後に曲線状の白線がなるべく直線になるように推定する。
また、撮像歪みモデルを用いた歪み補正式は、歪み係数だけでなく、焦点距離、光軸中心、画素サイズ、画素比も関連するが、これらの内部パラメータについても同様に、製造時の誤差が生じているので、歪み補正後に曲線状の白線がなるべく直線になるような数値を推定する。
これらの各内部パラメータの数値を推定するためには、例えば、最適化法を用いることができる。最適化法では、歪み補正後の曲線の直線性を表現する数式を定義し、その数式に関して最も直線らしくなるような値を推定する。推定は、歪み補正後の曲線の直線性を表現する数式の値が、最も直線らしくなるような値となるように、ある初期値から徐々に値を変化させていくことによって行われる。焦点距離、光軸中心、画素サイズ、画素比、歪み係数は、内部パラメータと呼ばれる。この製造誤差を含む真の値を推定することをキャリブレーションという。まずは内部パラメータのキャリブレーションを実施する。
カメラ2A〜2Dのそれぞれについて、内部パラメータのキャリブレーションを実施し、その後、歪み補正を実施すると、少なくとも1本の直線と、それに直交する2本の平行白線が画像に映っていることになる。
ただし、これらの白線は、地面状で見ると平行かつ直交であるが、カメラの撮像姿勢によって、さまざまな映り方になっている。このカメラ映像に関して、これらの白線が平行かつ直交するように、カメラ姿勢を推定する。すなわち、真上から地面を見下ろした場合のカメラ姿勢を推定する。カメラ姿勢を変更した場合に、カメラの映像がどのように変化するかは、カメラの撮像式を用いれば計算可能である。これを利用して、カメラ姿勢に関しても内部パラメータのキャリブレーションと同様に、直線の平行性と直交性を表現する数式を定義し、その数式において直線同士が平行性と直交性を最も満たすように、最適化法によってカメラ姿勢を推定する。カメラ2A〜2Dのそれぞれについて、カメラ姿勢のキャリブレーションを実施する。
ここまでの手続きによって、カメラ2A〜カメラ2Dについて、それぞれ真上から見下ろした映像になるカメラ姿勢や内部パラメータを求めることができている。
次に、カメラ2A〜2Dについて、それぞれのカメラ高さを推定する。カメラ高さは、既知の白線間隔に基づいて推定する。カメラの高さが変われば、そのカメラに映る白線の間隔は変化する。そこで、各カメラ映像に関して、白線が既知の間隔になるようなカメラの高さを推定する。これも内部パラメータのキャリブレーションやカメラ姿勢のキャリブレーションと同様に、白線の間隔を表現する数式を定義し、その数式において、白線間隔が一定の値になるように、最適化法によってカメラ高さを推定する。最適化は、カメラ高さを少しずつ変化させながら、それぞれの場合の白線間隔を計算し、白線間隔が既知の間隔になるカメラ高さが得られるまで推定を繰り返し実施する。
ここまでの手続きによって、カメラ2A〜2Dについて、それぞれ真上から見下ろし、かつ特定のカメラ高さになるカメラパラメータ(外部パラメータ)を得ることができている。ここまでは、各カメラと地面の関係を用いたキャリブレーションとなっている。ここからは、各カメラ間の関係を用いたキャリブレーションとなる。
各カメラ間の関係を用いたキャリブレーションは、共通撮像物体の特徴を利用して実施する。例えば白線格子の最も右側の縦白線は、カメラ2A、カメラ2B、カメラ2Dに共通して撮像されている。この特徴を利用してカメラ間の補正を実施する。カメラ2Aとカメラ2D、カメラ2Dとカメラ2B、カメラ2Aとカメラ2Cなどの隣接するカメラ同士の関係を用いて順に補正を実施していくことで、全カメラの関係を補正する。ここでは、カメラ2Aとカメラ2Dを用いたキャリブレーションを例として説明する。
カメラ2Aとカメラ2Dと間のキャリブレーションを実施する際、ここまでのキャリブレーションしたカメラパラメータを用いて、俯瞰視点に変換した俯瞰画像を作成する。俯瞰画像は、カメラ2Aの画像を、俯瞰視点に存在すると仮定した俯瞰カメラの画像に変換することで生成する。俯瞰カメラのカメラ高さや位置などは、表示したい映像にあわせて望みのものに設定してよい。同様にカメラ2Dについても同一の俯瞰カメラからみた俯瞰視点画像に変換し、俯瞰画像を取得する。これらの俯瞰画像は同一視点から見た画像である。
カメラ2Aとカメラ2Dと間のキャリブレーションが既に完璧に行われている場合には、これらの画像にズレはない。しかしながら、実際には、カメラ2Aとカメラ2Dは、カメラの回転と設置位置の設計値からの誤差に由来するズレが存在する。そこで、2つの俯瞰画像にズレがなくなるように、カメラ回転とカメラ位置を推定する。補正の際には、画像そのものではなく、この画像から抽出された特徴点やエッジ直線の方程式などの特徴情報を利用して位置合わせを実施する。画像そのものの位置合わせを実施してもよい。
補正方法はいろいろと考えられるが、例えば、前方のカメラ2Aの俯瞰映像を基準として、右のカメラ2Dの俯瞰映像がカメラ2Aの俯瞰映像と一致するように、カメラ2Dのロールとカメラ位置を補正する。この補正方法の場合、カメラ2Aの俯瞰映像が著しくズレている場合は、他のカメラ2Dのロールとカメラ位置にもズレが生じるので他の補正方法を採用してもよい。
例えば、カメラの設置位置のズレが小さいとわかっている場合には、それらのパラメータの誤差による俯瞰図のズレも小さいため、ロールのみで画像がなるべく一致するように先に補正し、最後にカメラ位置を微修正してもよい。画像の位置合わせには、最適化法を利用する。2つのカメラ間の補正方法は上記のとおりである。同様に2つのカメラ間の補正を繰り返していくことで、4つのカメラの補正を実施する。カメラの補正順序はどのように選んでもよい。また、繰り返し実施するなどの工夫をしてもよい。
以上の処理により、カメラ2A、カメラ2B、カメラ2C、カメラ2Dの回転姿勢、並進位置、その他の内部パラメータが得られる。各カメラの全てのカメラパラメータが利用できる場合は、上記した方法で較正することができる。
しかしながら、システムによっては、各カメラの全てのカメラパラメータが利用できず、出力可能なカメラパラメータがシステムの制約を受ける場合がある。具体的には、各カメラのキャリブレーション結果ともとの映像を受け取って、キャリブレーション後の画像を生成したり、各カメラ映像の合成画像を生成したりするハードウェアの要求するカメラパラメータが、前記推定カメラパラメータと異なる場合がある。
この画像変換処理は、リアルタイムで実施する必要があるため、処理性能の低いCPUを用いている場合、専用のハードウェアを利用して実施する場合が見受けられる。また、ハードウェアに関しては構成を簡素にするためパラメータ数を削減している場合がある。そのため、当該ハードウェアに適合するように、推定されたカメラパラメータを適切に変換する必要がある。
以下では、推定されたカメラパラメータからハードウェアの要求する推定したカメラパラメータよりも減らされたカメラパラメータに、好適に変換する方法について説明する。
基本的な考え方としては、推定されたカメラパラメータを用いて、ターゲットとなる特徴画像を一度作成し、しかる後に、入力画像が特徴画像と一致するようにカメラパラメータを推定する。この際、パラメータは、システムが要求するパラメータにあわせたものとする。
そこで、カメラ2A〜2Dのそれぞれについて、推定されたカメラパラメータを用いてキャリブレーションターゲットを生成する。キャリブレーションターゲットの生成は、キャリブレーションされたカメラパラメータを用いて、各カメラの視点変換を実施することで実現する。
図5は、カメラキャリブレーション装置1の機能ブロック図である。カメラキャリブレーション装置1は、内部機能として、撮像特徴点抽出部51、一次較正部53、ターゲット特徴点生成部55、二次較正部57を有している。
撮像特徴点抽出部51は、各カメラ2A〜2Dで撮像された画像から撮像特徴点52を抽出する。一次較正部53は、撮像特徴点52に基づいてカメラパラメータを較正した一次較正パラメータ54を求める。ターゲット特徴点生成部55は、一次較正部53によって求めた一次較正パラメータ54に基づいてターゲット特徴点56を生成する。二次較正部57は、ターゲット特徴点56と撮像特徴点52に基づいて一次較正パラメータ54を再較正し、二次較正パラメータ59を求める。
以下で、各部の処理内容を説明する。まず、撮像特徴点抽出部51において、各カメラ2A〜2Dで撮像した画像から撮像特徴点52を抽出する処理を実施する。撮像特徴点52は、例えば、較正指標20の白線のエッジなどである。撮像特徴点抽出部51では、エッジは画像処理分野において広く使われているソーベルフィルタなどのエッジ抽出フィルタを用いて、撮像特徴点52を抽出する。例えば、画像にソーベルフィルタを適用し、エッジ強度画像を得た後、エッジ強度画像に対して、アルゴリズム設計者が定めたある一定の値以上のエッジ強度をもつ画像上の座標を求める。得られた画像上の座標が特徴点の座標となる。ここで処理負荷軽減のために、特徴点を縦あるいは横座標に関して昇順にならべ、ならべた特徴点に関して、設計者が定めた一定の間隔で間引きを実施するなどしてよい。例として、カメラ2Aで抽出された撮像特徴点61を図6に示す。
次に、一次較正部53において、抽出した撮像特徴点52を、キャリブレーションされたカメラパラメータを用いて設計視点の画像に変換する。一次較正部53では、撮像特徴点抽出部51において抽出された撮像特徴点52を用いてキャリブレーションを実施する。
そのため、この時点で画像の情報は不要である。カメラキャリブレーションは、例えば、前記したカメラキャリブレーション方法を用いて実施する。すなわち、特徴点の直線性、平行性、直交性、間隔など、車両の停車位置とは無関係な情報を利用して、それらの条件を満たすように実施する。補正対象は内部パラメータおよび外部パラメータである。内部パラメータに関しては、前述した方法にならい、歪み係数、焦点距離、光軸中心、画素サイズ、画素比の数値を、歪み補正後に曲線状の白線がなるべく直線になるように、最適化法によって推定する。誤差が生じにくいことが事前にわかっている場合は、誤差が生じにくいパラメータは既知の固定値としてもよい。このようにしたほうが、推定を失敗しにくいという利点がある。
外部パラメータに関しても同様に、前述した方法にならい、各カメラ映像に関して、これらの白線が平行かつ直交するように、カメラ姿勢を推定する。すなわち、真上から地面を見下ろした場合のカメラ姿勢を推定する。撮像特徴点52に対して推定した内部パラメータを用いて歪み補正を適用する。
撮像特徴点52は本来直線上にある点のため、補正後は直線状に並ぶ。この直線の方程式をもとめ、直線の方程式の平行性、直交性、間隔、連続性を評価し、それらを満たすようにカメラのパラメータを最適化によって推定する。ここまでの処理によって、理想的な較正パラメータが得られる。仮にこのパラメータを利用して俯瞰表示すれば、理想的な俯瞰画像を生成することができる。
しかしながら、表示システムにおいてこのパラメータ全てが利用できず、例えばヨーの補正量を受け取ることができない場合は、ヨーのズレが残るため、他のパラメータが理想的でも理想的な俯瞰画像とならず、大きなズレが生じてしまう。そのためこのパラメータをそのまま利用することはできない。この場合、ヨーの補正ができないなかでも、他のパラメータで吸収するなどしてなるべく理想的に近い俯瞰図を生成するカメラパラメータを求めることが必要である。その処理を実施するのが、ターゲット特徴点生成部55と二次較正部57である。
ターゲット特徴点生成部55では、一次較正部53で得られた一次較正パラメータ54を利用して理想時の特徴点座標を求める。一次較正部53で得られた一次較正パラメータ54は、欠落のない全てのパラメータを利用しているものであり、最終的な出力、すなわちシステムへの入力としては利用できないが、この段階では画像は使わず、特徴点の座標の数値計算のみであるため、途中段階での計算結果としては利用可能である。ここでは、通常視点画像中の特徴点座標を、カメラが完全に設計どおりに取り付けられている場合に見えるはずの位置に補正する。
一次較正部53で理想的な俯瞰映像に変換するためのカメラパラメータが得られているため、そのパラメータが表す姿勢の変換量が設計の変換量とどれだけ異なるかという情報から、カメラ取り付けのズレ量を求めることができる。このズレ量から、通常視点画像中の特徴点座標を、カメラが完全に設計どおりに取り付けられている場合に見えるはずの位置に視点変換する。この視点変換後の特徴点座標がターゲット特徴点56となる。
カメラ2Aのキャリブレーションされたカメラパラメータを用いて視点変換することにより得られたターゲット特徴点71を、図7に示す。この設計視点の映像に変換された特徴点列がターゲット特徴点71となる。
二次較正部57では、システムの入力にあわせたパラメータでの較正を実施する。ここでは、ターゲット特徴点56(71)に対して、撮像特徴点52(61)が一致するようなカメラパラメータの変換量を求める。すなわちキャリブレーションを実施する。ここでのカメラパラメータは、システムが要求するパラメータと同様のものとする。変換するパラメータの数が幾つであっても、ターゲット特徴点56(71)と一致すれば、それだけそれは理想的な補正結果に近いパラメータの組み合わせということになる。
システムが要求するパラメータ数で、ターゲット特徴点56(71)に撮像特徴点52(61)を一致させるための変換量を求めるには、最適化法を用いる。最適化法では、特徴点列から各点列群を表現する近似方程式を算出し、その近似方程式が一致度を評価する関数を設計し、その関数に関して、一致度が最も高くなるカメラパラメータを求めることによって実現される。カメラパラメータを微小変化させながら、設計した評価関数が最適となるカメラパラメータを探索する。上記した処理によって、システムの要求に最も適合したカメラパラメータを求めることが可能となる。ここで得られたカメラパラメータを俯瞰映像表示システムに入力することで、システムが要求するカメラパラメータに欠落がありそのパラメータにずれがある場合でも、理想に近い俯瞰映像を表示することができる。
以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
1 カメラキャリブレーション装置
2A〜2D カメラ
20 較正指標
51 撮像特徴量抽出部
52 撮像特徴量
53 一次較正部
54 一次較正パラメータ
55 ターゲット特徴点生成部
56 ターゲット特徴点
57 二次較正部
59 二次較正パラメータ
2A〜2D カメラ
20 較正指標
51 撮像特徴量抽出部
52 撮像特徴量
53 一次較正部
54 一次較正パラメータ
55 ターゲット特徴点生成部
56 ターゲット特徴点
57 二次較正部
59 二次較正パラメータ
Claims (1)
- 複数のカメラで、該複数のカメラとの相対位置関係が不定の較正指標を撮像して前記複数のカメラのパラメータを較正するカメラキャリブレーション装置であって、
各カメラで較正指標を撮像した画像から較正指標の撮像特徴点を抽出する撮像特徴点抽出手段と、
各カメラで撮像した画像に基づいて各カメラのカメラパラメータを較正した一次較正パラメータを求める一次較正部と、
前記一次較正パラメータを用いて前記撮像特徴点を視点変換したターゲット特徴点を生成するターゲット特徴点生成部と、
前記ターゲット特徴点と前記撮像特徴点を用いて一次較正パラメータを再較正した二次較正パラメータを求める二次較正部と、
を有することを特徴とするカメラキャリブレーション装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012080863A JP2013211707A (ja) | 2012-03-30 | 2012-03-30 | カメラキャリブレーション装置 |
PCT/JP2013/052978 WO2013145880A1 (ja) | 2012-03-30 | 2013-02-08 | カメラキャリブレーション装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012080863A JP2013211707A (ja) | 2012-03-30 | 2012-03-30 | カメラキャリブレーション装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013211707A true JP2013211707A (ja) | 2013-10-10 |
Family
ID=49259165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012080863A Pending JP2013211707A (ja) | 2012-03-30 | 2012-03-30 | カメラキャリブレーション装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2013211707A (ja) |
WO (1) | WO2013145880A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016056197A1 (ja) * | 2014-10-09 | 2016-04-14 | 株式会社デンソー | 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法 |
WO2018163572A1 (ja) * | 2017-03-10 | 2018-09-13 | 富士フイルム株式会社 | 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム |
JP2019057864A (ja) * | 2017-09-22 | 2019-04-11 | 富士通株式会社 | カメラ制御方法、カメラ制御装置およびカメラ制御プログラム |
WO2021145236A1 (ja) * | 2020-01-14 | 2021-07-22 | 京セラ株式会社 | 画像処理装置、撮像装置、情報処理装置、検出装置、路側機、画像処理方法、及び較正方法 |
JP2021111198A (ja) * | 2020-01-14 | 2021-08-02 | 京セラ株式会社 | 画像処理装置、撮像装置、路側機、および画像処理方法 |
JP2021117087A (ja) * | 2020-01-24 | 2021-08-10 | 京セラ株式会社 | 情報処理装置、検出装置、路側機、および較正方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112762829B (zh) * | 2020-12-28 | 2021-11-09 | 中国科学院自动化研究所 | 基于联动偏转式主动视觉系统的目标坐标测量方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1115250B1 (en) * | 1998-07-31 | 2012-06-06 | Panasonic Corporation | Method and apparatus for displaying image |
JP2008187564A (ja) * | 2007-01-31 | 2008-08-14 | Sanyo Electric Co Ltd | カメラ校正装置及び方法並びに車両 |
-
2012
- 2012-03-30 JP JP2012080863A patent/JP2013211707A/ja active Pending
-
2013
- 2013-02-08 WO PCT/JP2013/052978 patent/WO2013145880A1/ja active Application Filing
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016056197A1 (ja) * | 2014-10-09 | 2016-04-14 | 株式会社デンソー | 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法 |
JP2016082258A (ja) * | 2014-10-09 | 2016-05-16 | 株式会社デンソー | 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法 |
WO2018163572A1 (ja) * | 2017-03-10 | 2018-09-13 | 富士フイルム株式会社 | 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム |
CN110402577A (zh) * | 2017-03-10 | 2019-11-01 | 富士胶片株式会社 | 图像处理系统、图像处理装置、图像处理方法及图像处理程序 |
JPWO2018163572A1 (ja) * | 2017-03-10 | 2019-11-21 | 富士フイルム株式会社 | 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム |
CN110402577B (zh) * | 2017-03-10 | 2021-06-22 | 富士胶片株式会社 | 图像处理系统、图像处理装置、图像处理方法及存储有图像处理程序的存储介质 |
JP2019057864A (ja) * | 2017-09-22 | 2019-04-11 | 富士通株式会社 | カメラ制御方法、カメラ制御装置およびカメラ制御プログラム |
WO2021145236A1 (ja) * | 2020-01-14 | 2021-07-22 | 京セラ株式会社 | 画像処理装置、撮像装置、情報処理装置、検出装置、路側機、画像処理方法、及び較正方法 |
JP2021111198A (ja) * | 2020-01-14 | 2021-08-02 | 京セラ株式会社 | 画像処理装置、撮像装置、路側機、および画像処理方法 |
JP7320459B2 (ja) | 2020-01-14 | 2023-08-03 | 京セラ株式会社 | 画像処理装置、撮像装置、路側機、および画像処理方法 |
JP2021117087A (ja) * | 2020-01-24 | 2021-08-10 | 京セラ株式会社 | 情報処理装置、検出装置、路側機、および較正方法 |
JP7405630B2 (ja) | 2020-01-24 | 2023-12-26 | 京セラ株式会社 | 情報処理装置、検出装置、路側機、および較正方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2013145880A1 (ja) | 2013-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013145880A1 (ja) | カメラキャリブレーション装置 | |
JP6576945B2 (ja) | 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法 | |
JP5898475B2 (ja) | 車載カメラシステム及びその較正方法、及びその較正プログラム | |
CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
JP6891954B2 (ja) | 物体検知装置、物体検知方法、及びプログラム | |
JP5923422B2 (ja) | カメラのキャリブレーション方法及び装置 | |
WO2017135081A1 (ja) | 車載カメラ用校正システム | |
CN112819896B (zh) | 传感器的标定方法及装置、存储介质和标定系统 | |
JP6883608B2 (ja) | 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム | |
KR101583663B1 (ko) | 차량용 카메라의 교정판 제공 방법 | |
CN104657982A (zh) | 一种投影仪标定方法 | |
CN112288825B (zh) | 相机标定方法、装置、电子设备、存储介质和路侧设备 | |
KR102436730B1 (ko) | 가상 스크린의 파라미터 추정 방법 및 장치 | |
CN112816949B (zh) | 传感器的标定方法及装置、存储介质、标定系统 | |
CN104732539A (zh) | 一种投影仪标定方法 | |
KR20180105875A (ko) | 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치 | |
CN114283201A (zh) | 相机标定方法、装置和路侧设备 | |
JP2016200557A (ja) | 校正装置、距離計測装置及び校正方法 | |
WO2018154634A1 (ja) | 投写型表示装置、投写型表示装置の制御方法、及びプログラム | |
US20220215582A1 (en) | Conversion parameter calculation method, displacement amount calculation method, conversion parameter calculation device, and displacement amount calculation device | |
KR101597163B1 (ko) | 스테레오 카메라 교정 방법 및 장치 | |
KR101272571B1 (ko) | 지능형 자동차의 스테레오 비전 시스템에 대한 시뮬레이션 장치 및 이를 이용한 카메라 교정 방법 | |
CN106488204B (zh) | 具备自身校准的深度摄影装置以及自身校准方法 | |
JP2008224323A (ja) | ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム | |
TWI424259B (zh) | 相機擺置角度校正法 |