JP2014074632A - 車載ステレオカメラの校正装置及び校正方法 - Google Patents

Abstract

【課題】車載ステレオカメラにおいて、経年変化により左右のカメラの相対位置に変化が生じてもこれを自動的に補正し、位置測定精度を向上させる。
【解決手段】互いの視野が重なるように配置された左カメラ１Ｌ及び右カメラ１Ｒと、左右のカメラ１Ｌ，１Ｒの出力に基づき物体までの距離を算出するとともに物体の３次元位置を推定する３次元座標推定部２と、３次元座標推定部２における推定処理に用いられるカメラ間パラメータを記憶するカメラ間パラメータ記憶部３と、左右のカメラ１Ｌ，１Ｒの出力に基づき予め大きさが分かっている平面状の対象物を認識するとともに、対象物の特徴点座標を取得する対象物認識及び特徴点収集部４と、対象物認識及び特徴点収集部４により得られた特徴点座標を記憶する特徴点座標記憶部５と、特徴点座標に基づきカメラ間パラメータを求めるカメラ間パラメータ推定部６とを備える。
【選択図】図１

Description

本発明は、車両に取り付けられた２台のカメラにより得られた画像を用いて、車両周辺の３次元座標を取得する３次元座標取得装置に関するものであり、それらカメラ間の相対的な位置関係に係るパラメータを取得して３次元座標取得装置のキャリブレーションを行う車載ステレオカメラの校正装置及び校正方法に関する。

車両にカメラを搭載し、車両前方や後方の画像を撮影し、周辺の環境を３次元的に認識するシステムが開発されている。カメラで３次元座標（距離）を測定する方法としては、２台以上のカメラを利用するステレオ視（複眼ステレオ）が一般的である。

複眼ステレオによる３次元座標取得装置は、撮像範囲が重なる少なくとも２台のカメラ及び撮影された映像を処理する演算装置より構成される。複眼ステレオの場合、空間的に離れた位置に置かれた複数台のカメラで画像を撮影し、物体の特徴的な点（特徴点）やテクスチャの視差を利用して、いわゆる三角測量の原理で３次元座標（距離）を計算している。この３次元情報を利用して、単眼カメラと比較してより高精度の障害物、歩行者認識を可能としている。

３次元座標（距離）を計算する際には、カメラ間の相対的な位置関係に係るパラメータが必要である（パラメータの具体的内容については後述する）。これらは事前のキャリブレーション（校正）により得られる。

例えば、特許文献１には、１台のカメラが取得した画像から、第１の特徴点を抽出し、その３次元座標を演算する手段と、２台のカメラが同時に取得した２枚の画像から第２の特徴点を抽出し、２枚の画像の中で対応付ける手段と、第２の特徴点の対応関係から基礎行列を演算し、カメラの仮のキャリブレーション値を推定して第２の特徴点の仮の３次元座標を演算する手段と、同一の第１及び第２の特徴点についてそれぞれ演算された３次元座標を比較して、２台のカメラ間の距離スケールを求める手段と、第２の特徴点の仮の３次元座標及び２台のカメラ間の距離スケールから、第２の特徴点の３次元座標を演算する手段と、を備える３次元座標取得装置が記載されている。この装置によれば、特別な装置を必要とすることなく、ステレオカメラのキャリブレーションを行うことができる。

また、特許文献２には、２個以上のカメラによる撮像から対象物との距離を算出する複眼距離算出手段と、カメラによって撮影した他車両のナンバープレートの撮像（ナンバープレート像）に基づき、自車両と他車両との距離を基準距離として算出する基準距離算出手段と、算出した自車両と対象物との距離を基準距離を用いて校正する測定距離校正手段と、を備える３次元座標取得装置が記載されている。この装置によれば、簡単な演算処理により、複眼カメラの位置ずれに伴う距離測定誤差を低減できる。

特開２００７−２６３６６９号公報 特開２０１０−１３９２７５号公報

３次元位置を三角測量の原理によって算出していることから、車両周辺の３次元座標を精度良く取得するためには、２つのカメラの位置関係について極めて精度が高い情報（パラメータ）が必要とされる。

しかしながら、２つのカメラの位置関係は、どんなに精度良く初期に校正しても、車載という条件を考慮すると、振動や温度条件その他外的要因の影響により、初期の値を保持し続けるのは困難であり、位置ずれが生じる可能性が高い。そのため、ある程度期間経過後あるいは一定間隔で再校正等の作業などのメンテナンスを行う必要がある。そこで、走行中に自動的に補正する装置が求められている。

先行技術１は、単眼での３次元認識法であるモーションステレオ法で対象物までの距離情報を算出し、その情報を元に高精度にステレオカメラの２つのカメラ間位置関係を補正することを開示している。

先行技術１の原理は、走行中に２つのカメラに写った同一対象物の特徴点のそれぞれのカメラ座標系での位置の違いを元に、カメラ間の６軸(並進３軸、回転６軸)の相対位置を算出し(これを表現する行列を基礎行列という)、この値を元に補正を行う方法である。この時、並進３軸は原理上方向ベクトルの算出可能だが、その大きさを算出できない(片方のカメラからもう一方のカメラがある方向はわかるが、距離はわからない)。これを解決するために単眼のモーションステレオ手法から距離を算出し、その値を元にカメラ間距離を特定し２つのカメラ間の位置関係を推定するようにしている。この方法は、基礎行列算出という非常に計算負荷が高い計算が必要であり、車両への搭載に対応できない可能性がある。また、画像認識がし易く既知の情報である対象物（テストパターン）ではなく、車載の風景等の任意の映像から特徴点の座標によりカメラ間の位置関係を求める手法は、映像のノイズやその他理由により精度的に問題が生じる可能性がある。さらに単眼のモーションステレオ法は映像内に移動物体があると精度が悪化する欠点がある。車載という条件を考えると移動物体は多数あることが予想され完璧に除去することは難しい。このため、要求される精度での推定は困難である。

先行技術２は、既知な情報であるナンバープレート大きさを元に単眼でナンバープレートまでの距離を算出し、その情報を元にステレオカメラで求めた距離情報に対する補正係数を算出することを開示している。

先行技術２は、既知の情報をもったナンバープレートに基づき単眼で距離を求め、それとステレオカメラで求めた距離との相違があれば、その比を補正係数としてかけるというものである。この方法は計算的にシンプルであり負荷が少ない。しかし、このカメラのずれが並進方向のみであれば問題ないが、回転方向のずれに対しては単純に比をかけただけでは距離の補正ができない。また、ステレオカメラの距離の測定は処理の負荷低減、精度向上のためにエピポール束縛を利用して左右のカメラでの視差を求め距離を算出すのが一般的である（エピポール束縛とは一方のカメラに写っている点は、もう一方のカメラではある直線上に存在する原理であり、左右の対応点探査はこの原理を利用すれば直線領域探査でよく全域探査と比較して大幅に計算時間が短縮される）。そのため、ずれが大きくなると対応点探査が不可能になるため、ステレオカメラでの距離の測定ができなくなり、この補正手法は対応できなくなるという問題がある。

本発明は上記の課題を解決するためになされたもので、計算負荷を低減しつつ精度がよい認識（構成）を行うことができ、また、カメラ間の大きなずれや回転方向のずれにも対応できる車載ステレオカメラの校正装置及び校正方法を提供することを目的とする。

本発明は、第１カメラ及び第２カメラと、３次元座標推定部と、カメラ間パラメータ記憶部とを備える車載ステレオカメラにおいて、第１カメラと第２カメラの間の位置関係について校正を行うための校正装置である。第１カメラ及び第２カメラは、互いの視野が重なるように配置される。３次元座標推定部は、第１カメラ及び第２カメラの出力に基づき物体までの距離を算出するとともに当該物体の３次元位置を推定する。カメラ間パラメータ記憶部は、３次元座標推定部における推定処理に用いられるカメラ間パラメータを記憶する。

校正装置は、対象物認識及び特徴点収集部と、特徴点座標記憶部と、カメラ間パラメータ推定部とを備える。対象物認識及び特徴点収集部は、第１カメラ及び第２カメラの出力に基づき予め大きさが分かっている平面状の対象物を認識するとともに、対象物の特徴点座標を取得する。特徴点座標記憶部は、対象物認識及び特徴点収集部により得られた特徴点座標を記憶する。カメラ間パラメータ推定部は、第１カメラ又は第２カメラの何れか一方の映像から得られた前記特徴点座標を他方のカメラの映像へ投影し、この投影された座標を前記他方のカメラの映像から得られた特徴点座標と比較することによりカメラ間パラメータを求める。

カメラ間パラメータ推定部は、推定したカメラ間パラメータをカメラ間パラメータ記憶部のカメラ間パラメータと比較し、この比較結果に基づき推定したカメラ間パラメータをカメラ間パラメータ記憶部に書き込む。

例えば、前記カメラ間パラメータは、回転方向のずれを表す回転行列Ｒ_LRと並進方向のずれを表す並進ベクトルｔ_LRであり、これらＲ_LR、ｔ_LRは、複数の映像の特徴点座標について第１カメラの映像に基づく第２カメラの映像への投影点と第２カメラの映像における実際に計測された点の差の合計を示す式（６）（後述）の値が最小になるものとして求められる。

例えば、カメラ間パラメータ推定部は、特徴点座標記憶部から下記の第１〜第３の条件のうち何れか一つ又は複数の条件を満たす複数の前記特徴点座標を選択する。

第１の条件は、第１カメラ及び第２カメラの映像における対象物が予め定められた閾値よりも大きな面積であることである。第２の条件は、第１カメラ及び第２カメラの映像における対象物の向きが互いに異なっていることである。第３の条件は、第１カメラ及び第２カメラの映像における対象物の位置が互いに異なっていることである。

さらに、車両のエンジン回転数又は速度を含む情報に基づきカメラ間パラメータ推定部を作動させるタイミングかどうかを判定する作動条件判定部を備えるようにしてもよい。

また、本発明の校正方法は、上記車載ステレオカメラにおいて、第１カメラと第２カメラの間の位置関係について校正を行うための校正方法であって、以下の第１〜第６ステップを備える。

第１ステップでは、第１カメラ及び第２カメラの出力に基づき予め大きさが分かっている平面状の対象物を認識する。第２ステップでは、第１カメラ及び第２カメラの映像それぞれについて対象物の特徴点座標を取得する。第３ステップでは、第１ステップ及び第２ステップを繰り返して特徴点座標を複数取得する。第４ステップでは、第３ステップで取得された複数の特徴点座標から予め定められた条件に基づき複数の特徴点座標を選択する。第５ステップでは、第１カメラ又は第２カメラの何れか一方の映像から得られた特徴点座標を他方のカメラの映像へ投影し、この投影された座標を他方のカメラの映像から得られた特徴点座標と比較することによりカメラ間パラメータを求める。第６ステップでは、第５ステップで求めたカメラ間パラメータをカメラ間パラメータ記憶部のカメラ間パラメータと比較し、この比較結果に基づき第５ステップで求めたカメラ間パラメータをカメラ間パラメータ記憶部に書き込む。

本発明は、車両の走行中などにおいてワールド座標系（任意の座標系）にて同一平面上にある位置座標が既知な物体(寸法が分かっている平面上の対象物で特徴点を４点以上両方のカメラで認識でき、画像認識し易いものがよい)の特徴点に基づき複数のカメラ間の位置関係を良く求めるものである。既知の情報を用いることで精度がよい認識が可能となるうえに計算負荷も低減できる。カメラ間の位置関係を直接求めるため、大きなずれや回転方向のずれにも対応できる。走行中の認識が比較的容易な物体は、例えばナンバープレートである。

本発明は、コンピュータを、上記対象物認識及び特徴点収集部、上記特徴点座標記憶部及び、上記カメラ間パラメータ推定部として機能させるプログラムであってもよく、該プログラムは、記録媒体に記録されてもよい。

媒体には、例えば、ＥＰＲＯＭデバイス、フラッシュメモリデバイス、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、ＣＤ（ＣＤ−ＲＯＭ、Ｖｉｄｅｏ−ＣＤを含む）、ＤＶＤ（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭを含む）、ＲＯＭカートリッジ、バッテリバックアップ付きのＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等を含む。

また、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等の通信媒体を含む。インターネットもここでいう通信媒体に含まれる。

媒体とは、何等かの物理的手段により情報（主にデジタルデータ、プログラム）が記録されているものであって、コンピュータ、専用プロセッサ等の処理装置に所定の機能を行わせることができるものである。

本発明によれば、第１カメラ及び第２カメラの出力に基づき予め大きさが分かっている平面状の対象物を認識するとともに、前記対象物の特徴点座標を取得し、前記特徴点座標に基づき前記カメラ間パラメータを推定し、推定した前記カメラ間パラメータを従前用いられたカメラ間パラメータと比較し、この比較結果に基づき推定した前記カメラ間パラメータで置き換えるようにしたので、経年変化により左右のカメラの相対位置に変化が生じてもこれを自動的に補正することができ、車載ステレオカメラによる位置測定精度を維持することができる。

発明の実施の形態に係る校正装置を備える車載ステレオカメラ装置のブロック図である。 発明の実施の形態に係る対象物認識及び特徴点収集部の処理フローチャートである。 発明の実施の形態に係るカメラ間パラメータ推定部の処理フローチャートである。

発明の実施の形態に係る装置及びその動作について、図面を参照して説明を加える。

図１は、発明の実施の形態に係る校正装置を備える車載ステレオカメラ装置のブロック図である。

車載ステレオカメラ装置は、２台のカメラ１Ｌ，１Ｒと、３次元座標推定部２と、カメラ感パラメータ記憶部３とを備える。

カメラ１Ｌ、１Ｒは、それぞれの視野が重なるように配置されている。カメラ１Ｌは所定の方向（説明の便宜上「左側」とする）を向き、カメラ１Ｒは他の方向（説明の便宜上「右側」とする）を向く。なお、カメラの数は２台以上であっても良いが、最低でも２台は必要である。

カメラ１Ｌ、１Ｒは、ＣＣＤやＣＭＯＳといった固体撮像素子を備える。カメラ１Ｌとカメラ１Ｒは、同じレンズ構成、カメラ特性を有しており、例えば自車両の前方風景を撮影する。カメラ１Ｌとカメラ１Ｒは、その配置の差に基づき視差のみ異なる、ほぼ同じ前方風景の像を撮像する。このステレオカメラ１Ｌ、１Ｒは、前方風景を撮像するのに都合のよい位置、例えば、自車両のフロントウインドウの両端や、２つのヘッドライトの隣にそれぞれ搭載される。なお、ステレオカメラ１Ｌ、１Ｒは、前方風景でなくても後方風景や側方風景を撮像するように、それらを自車両の後方や側方に向けるようにしてもよい。図１の例では２つのカメラを示しているが、３個以上のカメラを用いてもよい。

一般的なステレオカメラは２つのカメラを完全に平行（撮像素子面が平行)になるように物理的に設定している。しかしながら物理的な調整に限界があるために、テストパターン等を用いて２つのカメラの間の６方向の位置関係を計算し、その値を用いて映像の補正をソフト的に事前に行うようにしている。これに対し、本発明の実施の形態では、後述の構成により、２つのカメラの６軸方向の位置関係を車載の通常使用状況にて求めるようにしている。

３次元座標推定部２は、カメラ１Ｌ、１Ｒの出力に基づき三角測量原理により、物体までの距離を算出し、これを元にカメラ座標(車両座標系)系における物体の３次元位置を検知する。３次元座標推定部２における３次元座標推定処理には公知の方法を適用するため、その詳細な説明は省略する。

カメラ間パラメータ記憶部３は、３次元座標推定処理を行う際に用いるパラメータであるカメラ間パラメータを記憶する。カメラ間パラメータは２つのカメラ１Ｌ、１Ｒの位置関係を示すものであり、具体的には回転行列と並進ベクトルである（これらについては後に説明を加える）。

カメラ１Ｌ、１Ｒにより撮像は同じタイミングで行われる。カメラ１Ｌと１Ｒの撮像タイミングにずれがあると、取得される画像間に、カメラ１Ｌとカメラ１Ｒの視差に基づく違い以外の条件、例えば、走行速度の影響などが生じて、距離測定誤差を生じさせるようになる。このため、カメラ１Ｌとカメラ１Ｒの撮像タイミングのずれは極力排除する必要がある。カメラ１Ｌ、１Ｒにより撮像された画像は３次元座標推定部２に転送され、そこで所定の演算処理が施される。

校正装置は、対象認識及び特徴点収集部４と、特徴点座標記憶部５と、カメラ間パラメータ推定部６と、作動条件判定部７とを備える。

対象物認識及び特徴点収集部４は、カメラ１Ｌ、１Ｒにより撮像された画像に基づき、平面状な既知サイズの対象物を認識するとともに、その特徴点座標を取得する。対象物認識及び特徴点収集部４の動作は、後に詳しく説明する。なお、現時点で走行中の認識が比較的容易な既知な物体としては、ナンバープレートが考えられる。

特徴点座標記憶部５は、対象物認識及び特徴点収集部４により得られた特徴点座標を記憶する。

対象物認識及び特徴点収集部４は、基本的に、通常上走行時においてカメラ間パラメータ推定に必要なデータの収集を継続して行っている。すなわち、システム作動時は常に動作している。

対象物認識及び特徴点収集部４は、例えば１フレーム（１００ｍｓ）又はこれよりも短い期間毎に行われるのが望ましい。特徴点座標記憶部５は、特徴点座標を当該間隔で順番に記憶している。この例では、対象物認識及び特徴点収集部４の動作周期と特徴点座標記憶部５への書き込み間隔は、１フレーム（１００ｍｓ）又はこれよりも短い期間である。なお、特徴点データはある程度の数があれば校正データとして十分であるため、本処理をフレームごとに常に行う必要はない（後述する図２のステップＳ１１参照）。

カメラ間パラメータ推定部６は、前記特徴点座標に基づきカメラ間パラメータ（回転行列と並進ベクトル）を求める。

作動条件判定部７は、エンジン回転数や速度などの情報に基づきカメラ間パラメータ推定部６を作動させるタイミングかどうかを判定する。

カメラ間パラメータの推定は常に行う必要はなく、特定の場面にて行えばよい。例えば、エンジン始動時、エンジン停止時、車両停止時などで作動させるようにする。作動条件判定部７はそのような場面において信号をカメラ間パラメータ推定部７に送り、これを作動させる。

対象物認識及び特徴点収集部４、特徴点座標記憶部５、カメラ間パラメータ推定部６、作動条件判定部７は、本発明の実施の形態に係る校正装置を構成する。なお、この校正装置及びこれを備える車載ステレオカメラ装置は、ＣＰＵ（マイコン）が記憶部（ＲＯＭ）に予め記憶されたプログラムを実行することで実現される。あるいは、専用のＩＣの組み合わせにより実現される。

次に、対象物認識及び特徴点収集部４の動作について、図２のフローチャートを参照して説明を加える。この処理は、平面状な既知サイズの対象物(ナンバープレート)の認識とその特徴点座標データ収集するものである。

まず、左右カメラ１Ｌ、１Ｒより、同期した映像を対象物認識及び特徴点収集部４のメモリに読み込む（ステップＳ１０）。車載の安全装置を考えると、この読込は１フレーム１００ｍｓ以下毎に行われるのが望ましい。従って図２の処理は１００ｍｓ以下ごとに行われている。

次に、処理条件に適しているかの判断を行う（ステップＳ１１）。本処理は最終的には対象物であるナンバープレートの画像認識及びデータの蓄積を目的としているが、得られるデータの精度は当然高いほうが望ましい。特徴点データはある程度の数があれば校正データとして十分であるため、本処理をフレームごとに処理する必要はない。そこで、現在の映像が画像認識に望ましい状況か否かの判断を行い、望ましい状況であれば処理を続行し、望ましくない状況であれば現在のフレームでの処理を終了する。ここで画像認識に望ましい状況か否かの判断例を挙げる。

左右カメラ１Ｌ、１Ｒによる映像の輝度の平均値がある程度近い値かを判定する。一方のカメラのみ逆光や影の影響を受けると、左右カメラで認識したナンバープレート同一かの判断にミスが生じる可能性がある。具体的には、予め閾値を定めておき、左右の映像の平均値の差が前記閾値を超えたとき、ステップＳ１１でＮＯと判定する。

映像の輝度の平均値がある程度大きいか否かを判定する。夜間や薄暗い所で撮影された映像を用いると推定の精度が低下する。そこで、予め閾値を定めておき、左右の映像の平均値の一方又は両方が前記閾値を下回るとき、ステップＳ１１でＮＯと判定する。

現在車両は停止中かを判定する。カメラ１Ｌ、１Ｒが停止していいた方が映像の流れが少なく精度向上が望める。そこで、予め閾値を定めておき、車両の速度が前記閾値を超えるとき、ステップＳ１１でＮＯと判定する。

次に、カメラ１Ｌの映像に基づくナンバープレート認識処理を実行する（ステップＳ１２Ｌ）。

ナンバープレートの認識手法は公知であるのでその詳細な説明は省略する。基本的原理は、あらかじめナンバープレートのテンプレートを用意し、サイズ、位置、回転をパラメータにして変化させながら映像との相関値を求め、設定した閾値よりも相関値の大きい画像領域を求めるテンプレートマッチング処理により行うことができる。また同時にナンバー(値)自体も画像認識にて読み取る。

ナンバープレートを認識できない場合（ステップＳ１３Ｌ：ＮＯ）は、処理を終了する。例えば、テンプレートマッチング処理において相関値が閾値を超えなかった場合にＳ１３ＬでＮＯと判定する。

次に、左映像と同様に、カメラ１Ｒの映像よりナンバープレート認識処理を実行する（ステップＳ１２Ｒ）。すなわち、左映像と同様に、ナンバープレート領域の抽出及びナンバーの読み取りを行い、ナンバープレートを認識できない場合（ステップＳ１３Ｒ：ＮＯ）は、処理を終了する。

次に、ナンバープレート左右映像の同一性を確認する（ステップＳ１４）。すなわち、左映像より認識したナンバープレートと右映像により認識したナンバープレートとが同一のものであるかの判断処理を行う。同一性の判断は抽出した左右映像から切り出したナンバープレート領域の相関値を求め、設定した閾値より大きくなったら同一と判断する手法や、読みだしたナンバー自体が一致するかなどで判断できる。

同一性が確認できない場合（ステップＳ１５：ＮＯ）は、処理を終了する。

同一性が確認できた場合（ステップＳ１５：ＹＥＳ）は、左右映像上のナンバープレート特徴点座標を算出する（ステップＳ１６）。すなわち、左右同一と判断された左右映像から抽出したナンバープレート領域より、左右それぞれについて特徴点を算出する。特徴点としては比較的精度が見込まれる、プレートの４隅の座標を計算する。座標は抽出映像より、縦エッジフィルタより縦の線を抽出し、横エッジフィルタより横線を抽出しプレートを枠の４線を選別しその交点を四隅の座標とする。

次に、特徴座標をメモリに保存する（ステップＳ１７）。上記処理により、一つのナンバープレートに対して、左右カメラでそれぞれ４点の計８点の座標を算出できるので、それらをメモリ（特徴点座標記憶部５）に保存して、処理を終了する。

次に、カメラ間パラメータ推定部６の動作について、図３のフローチャートを参照して説明する。この処理は、対象物認識及び特徴点収集部４により収集されたデータに基づき２つのカメラ１Ｌ、１Ｒ間のパラメータを推定するものである。

まず、特徴点座標記憶部５より、使用する特徴点データを選択する（ステップＳ２０）。対象物認識及び特徴点収集部４により収集された左右映像それぞれ４点の座標データのうち条件が良いものを複数選択する。

選択する基準は例えば以下のようにする。

ナンバープレート（対象物）が大きく写っていること。例えば、映像における面積（ピクセル数）に対応する閾値を用意しておき、これを超える映像に係る特徴点データを選択する。

ナンバープレートの向きが多様であること。向きは上下左右の辺の長さで判断する。例えば、各映像のナンバープレートの各辺の長さ（ピクセル数）を測定し、選択するかどうか判断対象であるナンバープレートの各辺の長さが、選択したナンバープレートの各辺の長さと一致しているあるいは各辺の差が所定の閾値を下回るとき、当該判断対象であるナンバープレートに係る特徴点データは選択しない。

ナンバーレートの映像上に写っている位置が多様であること。例えば、選択するかどうか判断対象であるナンバープレートの位置（例えば重心、対角線の交点など）が、選択したナンバープレートの位置に一致しているあるいはそれらの差が所定の閾値を下回るとき、当該判断対象であるナンバープレートに係る特徴点データは選択しない。

次に、選択された特徴点データとカメラ内部パラメータより、カメラ間の位置関係を計算する（ステップＳ２１）。

画像上の座標（ｕ，ｖ）とカメラ座標系（ｘ，ｙ）、ワールド座標系（Ｘ，Ｙ，Ｚ）の間には同次座標系を用いて以下のような関係がある。これらの座標系は公知であるので説明は省略する。

ここでＫは３×３のカメラ内部行列と呼ばれるカメラ一つずつ固有の行列で、

で表現され、一度計測すれば殆どずれることが無いため、固定値として扱うことができる。今回は左右のカメラとも既知な値とする。Ｒはカメラ座標系とワールド座標系の回転方向のずれを表す３×３の回転行列であり、ｔはカメラ座標系とワールド座標系の並進方向のずれを表す３×１の行列である。

上記式（１）、（２）より、

ナンバープレートは平面上にあるのでＺ＝０となるのでＲのｉ番目の列べクトルをｒ_i（ｉ＝１，２，３）とすると上記式は、

となる。

ここで、

とおくと、式（３）は、

となる。このとき、

はホモグラフィ(Homography)行列と呼ばれる。この行列は未知数が８個なので左右カメラで計測した同じナンバープレート４点以上のそれぞれの映像上の座標の組と、それに対応するナンバープレートのワールド座標系での座標(＝ナンバープレートの大きさ)が既知であれば求めることができる。４点が既知の場合は線形解法にて、それ以上の点の場合は最小２乗近似で求める。

左カメラ１Ｌでとらえたナンバープレトートの映像上の座標を（ｕ_L，ｖ_L）、カメラ座標系での座標（ｘ_L，ｙ_L）、カメラ内部行列Ｋ_L、ホモグラフィ行列Ｈ_L、同様に右カメラ１Ｒについて（ｕ_R，ｖ_R）、カメラ座標系での座標（ｘ_R，ｙ_R）、カメラ内部行列Ｋ_R、ホモグラフィ行列Ｈ_Rとすると、上記に述べた関係より

となり、これより、

となる。

Ｈ_LＨ_R ^-1が左カメラ１Ｌと右カメラ１Ｒの間のホモグラフィ行列となる。

ここで左右カメラ間の回転行列をＲ_LR、ｉ番目の列べクトルをｒ_LRi（ｉ＝１，２，３）、左右カメラ間の３×１並進ベクトルをｔ_LRとすると、

と表現できる。式（４）、（５）より、

となり、ｒ_LR1、ｒ_LR2、ｔ_LRが計算できる。

回転行列の各列ベクトルは、大きさが１で直交するので、第１列と第２列と直交するベクトルが左カメラと右カメラのずれを表す回転ベクトルの第３列となる。

これにより、２つのカメラ問の位置関係を表す回転行列と並進ベクトル計算できる。

ただし、より正確な値を取得するために多数のナンバープレート映像データより、再投影誤差の合計を最小化するような行列を求める。

具体的には今回ｋ枚の映像とそれぞれに対して１点のデータがあるとすると、ｉ番目の映像のｊ番目のデータの左映像の点をｍ_Lij＝（ｕ_Lij，ｖ_Lij）、右映像の点をｍ_Rij＝（ｕ_Rij，ｖ_Rij）、ｉ番目の映像より求めた回転行列をＲ_LRi並進ベクトルをｔ_LRiとすると、これらｍ_Lij、Ｒ_LRi、ｔ_LRiと左右のカメラ内部行列より右画像の投影点が計算でき、この点は、

とあらわされる。この時、再投影誤差は実際の計測した右映像上点の差であり、

となる。これらの全ての映像及び計測点に対して合計は、

となり、これを最小になるようにＲ_LR、ｔ_LRを求めることである。式（６）を最小化する手法は色々あり例えばlevenberg marquardt法が代表的な手法である。

次に、現状のパラメータとの比較を行う（ステップＳ２２）。

現在ソフト補正で使用している回転行列と並進ベクトルの値と、今回計算した値が大きく違う場合は、今回計算した値で映像のソフト補正パラメータとする。

カメラ間パラメータ推定部６は、カメラ間パラメータ記憶部３から現在使用されている回転行列と並進ベクトルの値を、今回計算した回転行列と並進ベクトルの値と比較し、両者の差が所定の閾値よりも大きいときパラメータを更新する。例えば、現在使用されている行列と今回計算した行列について両者の各要素の差の絶対値をそれぞれ合計し、これらの差について判定する。例えば、ベクトルの場合はその絶対値（大きさ）の差について判定する。

発明の実施の形態によれば、カメラ間パラメータを適宜のタイミングで推定し、必要に応じてそれを更新するので、経年変化により左右のカメラの相対位置に変化が生じてもこれを自動的に補正することができ、車載ステレオカメラによる位置測定精度を維持することができる。車載ステレオカメラで問題となっている振動等による２つのカメラ間の物理的ズレが生じても、特別な校正作業なしに精度良く自動補正が可能となる。

発明の実施の形態においては既知の情報を用いているので、任意の（不特定の）物体の特徴点に基づきカメラ間の位置関係を求めるために映像のノイズの影響を受け易く精度的に問題がある先行技術１と比べて精度がよい認識が可能となるうえに計算負荷も低減できる。

また、発明の実施の形態においてはカメラ間の位置関係を直接求めているので、カメラ間の大きなずれや、その回転方向のずれにも対応できる。これに対し、先行技術２はカメラの並進方向のずれを補正できるに過ぎない。

本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

また、本明細書において、部（手段）とは必ずしも物理的手段を意味するものではなく、各手段の機能が、ソフトウェアによって実現される場合も包含する。さらに、一つの手段の機能が、二つ以上の物理的手段により実現されても、若しくは、二つ以上の手段の機能が、一つの物理的手段により実現されてもよい。

１Ｌ 左カメラ
１Ｒ 右カメラ
２ ３次元座標推定部
３ カメラ間パラメータ記憶部
４ 対象物認識及び特徴点収集部
５ 特徴点座標記憶部
６ カメラ間パラメータ推定部
７ 作動条件判定部

Claims (5)

1. 互いの視野が重なるように配置された第１カメラ及び第２カメラと、前記第１カメラ及び第２カメラの出力に基づき物体までの距離を算出するとともに当該物体の３次元位置を推定する３次元座標推定部と、前記３次元座標推定部における推定処理に用いられるカメラ間パラメータを記憶するカメラ間パラメータ記憶部とを備える車載ステレオカメラにおいて、前記第１カメラと第２カメラの間の位置関係について校正を行うための校正装置であって、
   前記第１カメラ及び第２カメラの出力に基づき予め大きさが分かっている平面状の対象物を認識するとともに、前記対象物の特徴点座標を取得する対象物認識及び特徴点収集部と、
   前記対象物認識及び特徴点収集部により得られた前記特徴点座標を記憶する特徴点座標記憶部と、
   前記第１カメラ又は第２カメラの何れか一方の映像から得られた前記特徴点座標を他方のカメラの映像へ投影し、この投影された座標を前記他方のカメラの映像から得られた前記特徴点座標と比較することにより前記カメラ間パラメータを求めるカメラ間パラメータ推定部と、を備え、
   前記カメラ間パラメータ推定部は、推定した前記カメラ間パラメータを前記カメラ間パラメータ記憶部の前記カメラ間パラメータと比較し、この比較結果に基づき推定した前記カメラ間パラメータを前記カメラ間パラメータ記憶部に書き込む
   ことを特徴とする車載ステレオカメラの校正装置。
2. 請求項１に記載の校正装置であって、
   前記カメラ間パラメータは、回転方向のずれを表す回転行列Ｒ_LRと並進方向のずれを表す並進ベクトルｔ_LRであり、これらＲ_LR、ｔ_LRは、複数の映像の前記特徴点座標について前記第１カメラの映像に基づく前記第２カメラの映像への投影点と前記第２カメラの映像における実際に計測された点の差の合計を示す下記式の値が最小になるものとして求められる
   ことを特徴とする車載ステレオカメラの校正装置。
   

   

   但し、
   ｋは前記対象物認識及び特徴点収集部で処理された映像の数
   ｌは前記映像におけるデータの数
   ｍ_Lij、ｍ_Rijはそれぞれ前記第１カメラ及び第２カメラのｉ番目の映像のｊ番目のデータの映像の点
   Ｋ_R、Ｋ_Lはそれぞれ前記第１カメラ及び第２カメラの内部行列
   

   

   は前記第１カメラの映像に基づく前記第２カメラの映像への投影点
3. 請求項１又は請求項２に記載の校正装置であって、
   前記カメラ間パラメータ推定部は、
   前記第１カメラ及び第２カメラの映像における前記対象物が予め定められた閾値よりも大きな面積であるという第１の条件、
   前記第１カメラ及び第２カメラの映像における前記対象物の向きが互いに異なるという第２の条件、及び
   前記第１カメラ及び第２カメラの映像における前記対象物の位置が互いに異なるという第３の条件
   のうち何れか一つ又は複数の条件を満たす複数の前記特徴点座標を選択する
   ことを特徴とする車載ステレオカメラの校正装置。
4. 請求項１〜請求項３のうち何れか１項に記載の校正装置であって、
   車両のエンジン回転数又は速度を含む情報に基づき前記カメラ間パラメータ推定部を作動させるタイミングかどうかを判定する作動条件判定部を備えた
   ことを特徴とする車載ステレオカメラの校正装置。
5. 互いの視野が重なるように配置された第１カメラ及び第２カメラと、前記第１カメラ及び第２カメラの出力に基づき物体までの距離を算出するとともに当該物体の３次元位置を推定する３次元座標推定部と、前記３次元座標推定部における推定処理に用いられるカメラ間パラメータを記憶するカメラ間パラメータ記憶部とを備える車載ステレオカメラにおいて、前記第１カメラと第２カメラの間の位置関係について校正を行う方法であって、
   前記第１カメラ及び第２カメラの出力に基づき予め大きさが分かっている平面状の対象物を認識する第１ステップと、
   前記第１カメラ及び第２カメラの映像それぞれについて前記対象物の特徴点座標を取得する第２ステップと、
   前記第１ステップ及び前記第２ステップを繰り返して前記特徴点座標を複数取得する第３ステップと、
   取得された複数の前記特徴点座標から予め定められた条件に基づき複数の前記特徴点座標を選択する第４ステップと、
   前記第１カメラ又は第２カメラの何れか一方の映像から得られた前記特徴点座標を他方のカメラの映像へ投影し、この投影された座標を前記他方のカメラの映像から得られた前記特徴点座標と比較することにより前記カメラ間パラメータを求める第５ステップと、
   前記第５ステップで求めた前記カメラ間パラメータを前記カメラ間パラメータ記憶部の前記カメラ間パラメータと比較し、この比較結果に基づき前記第５ステップで求めた前記カメラ間パラメータを前記カメラ間パラメータ記憶部に書き込む第６ステップと、を備えた
   ことを特徴とする車載ステレオカメラの校正方法。

Images