JP2014092461A - 画像処理装置および方法、画像処理システム、並びにプログラム - Google Patents

Abstract

【課題】限られた空間でステレオカメラのキャリブレーションを実行する。
【解決手段】チャートパタン１２に鏡３２を設けて、ステレオカメラを構成する撮像部２１−１，２１−２のそれぞれにより、チャートパタン１２に含まれるパタン３１からなる特徴点と、鏡３２に映り込むチャートパタン１３のパタンとを撮像させる。キャリブレーション部１４は、この距離の異なる特徴点となるパタンを含む画像から撮像部２１−１，２１−２の撮像方向のずれを補正する補正パラメタを算出し、ステレオカメラ１１に記憶させる。デプス検出部１５は、ステレオカメラ１１により撮像された画像を、ステレオカメラ１１に記憶された補正パラメタで補正して、補正した画像に基づいて、ディスパリティを求める。本技術は、３次元画像を撮像するステレオカメラに適用することができる。
【選択図】図１

Description

本技術は、画像処理装置および方法、画像処理システム、並びにプログラムに関し、特に、ステレオ画像を撮像する複数のカメラのキャリブレーションを少ないスペースで、容易に、かつ、高精度に実現できるようにした画像処理装置および方法、画像処理システム、並びにプログラムに関する。

複数のカメラを利用して、３次元の画像を撮像できるようにする技術が一般に普及している。

３次元の画像を生成する手法としては、異なる２視点のカメラを設置してステレオカメラを構成し、このステレオカメラにより撮像されたステレオ画像に基づいて、視差を求め、この視差を利用して３次元の画像を生成するといったものが一般的な手法として知られている。

ところで、ここで使用される異なる２視点のカメラについては、適切な方向に設置されることが前提となるが、どのように設置してもある程度の物理的なずれが発生することが知られている。そこで、一般的には、２視点のカメラのそれぞれの撮像方向について、チャートパタンからなる画像を撮像し、撮像結果を用いて、キャリブレーションにより補正パラメタを求めておくことで、実際の撮像結果は、この補正パラメタにより補正されて使用される。

このステレオカメラのキャリブレーション方法としては、位置関係が既知である複数の特徴点が印字されたチャートパタンを、視点を変えながら複数毎撮像するなどして射影変換パラメタを求め、キャリブレーションを実現するものがある（例えば、非特許文献１参照。）

しかしながら、この手法においては、異なる視点で複数枚のチャートパタンを撮像するために、チャートパタンを移動させるか、またはカメラを移動させる必要があり、これにより調整工数が増大してしまうことがあった。

そこで、非特許文献１における調整工数を増大させないように、一回の撮像のみでキャリブレーションを行う方法として、透過性を有する２枚のキャリブレーションチャートパタンを重ね、奥行が異なる２枚以上のチャートパタンを同時に撮像し、補正パラメタを求める方法が提案されている（例えば、特許文献１参照）。

しかしながら、非特許文献１、および特許文献１におけるいずれの技術においても、エピポーラライン（ベースライン）に対するカメラ（撮像面）のずれ角度を推定・補正するにあたり、奥行が異なる２点以上の特徴点の幾何学的な位置関係をサブピクセル精度で計測する必要があった。

そこで、平面チャートパタンと異なる奥行を含んだテクスチャ画像を同時に撮像し、その左右画像のステレオマッチングのエラー量を最小化することによって、１枚（１の奥行）の平面検出のみでは補正することができない補正対象カメラのベースラインの方向（＝左右カメラのエピポーラライン）に対する左右カメラ撮像面の傾きを、容易で、かつ、高精度に補正できるようにする技術が提案されている（例えば、特許文献２参照）。

A Flexible New Technicque for Camera Calibration http://research.microsoft.com/~zhang 特開２００６−２５０８８９号公報 特開２０１１−２５３３７６号公報

しかしながら、特許文献１，２における手法では、異なる奥行きの画像を撮像するにあたって、奥行き方向の空間を十分に確保しなければならず、工場で生産されたステレオカメラに対して、キャリブレーションを実行するのに十分な広さのスペースを確保する必要があるため、製造コストが上昇してしまうことがあった。

本技術は、このような状況に鑑みてなされたものであり、特に、１枚のチャートパタンに鏡（鏡面）を設け、チャートパタン上のパタンと、鏡に映り込んだパタンとを含む画像より求められる、異なる奥行の特徴点から、エピポーラライン（ベースライン）に対する異なる２のカメラ（撮像面）のずれ角を推定し、推定したずれ角に基づいて補正パラメタを求められようにするものである。

本技術の第１の側面の画像処理装置は、ステレオカメラを構成し、複数の特徴点となるパタンと、鏡面とを含む第１のチャートパタンを撮像する複数の撮像部と、前記複数の撮像部により撮像された第１のチャートパタンに含まれるパタン、および前記鏡面に映り込むパタンに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出部とを含む。

前記補正パラメタ算出部には、２の前記撮像部の３軸方向のずれ、および前記２の撮像部のベースラインに対する回転角のずれを補正する補正パラメタを算出させるようにすることができる。

前記２の撮像部のベースラインに対する回転角のずれには、前記ベースラインに対して垂直であって、かつ、前記撮像部における撮像方向を軸としたときの回転角のずれ、および前記ベースラインに対して垂直であって、かつ、前記撮像部における撮像方向に対して垂直方向を軸としたときの回転角のずれを含ませるようにすることができる。

前記補正パラメタ算出部には、前記撮像部から前記第１のチャートパタンまでの距離、前記撮像部から前記第１のチャートパタンに設けられた鏡面までの距離、および前記第１のチャートパタンと前記第２のチャートパタンとの距離を既知の視差として利用して、２の前記撮像部の３軸方向のずれ、および前記２の撮像部のベースラインに対する回転角のずれを補正する補正パラメタを算出させるようにすることができる。

前記複数の撮像部には、前記第１のチャートパタンに含まれるパタン、および前記鏡面に映り込む第２のチャートパタンに含まれるパタンを撮像させるようにすることができる。

前記第２のチャートパタンには、鏡面により構成され、前記複数の撮像部は、前記第１のチャートパタンに含まれるパタン、および前記第１のチャートパタンにおける鏡面に映り込む、前記第２のチャートパタンを構成する鏡面に映り込む、前記第１のチャートパタンに含まれるパタンを撮像させるようにすることができる。

本技術の第１の側面の画像処理方法は、ステレオカメラを構成する複数の撮像部が、複数の特徴点となるパタンと、鏡面とを含む第１のチャートパタンを撮像する撮像処理をし、前記複数の撮像処理により撮像されたチャートパタンに含まれるパタン、および前記鏡面に映り込むパタンに基づいて、前記複数の前記撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出処理をするステップを含む。

本技術の第１の側面のプログラムは、ステレオカメラを構成する複数の撮像部が、複数の特徴点となるパタンと、鏡面とを含む第１のチャートパタンを撮像する撮像ステップと、前記複数の撮像ステップの処理により撮像されたチャートパタンに含まれるパタン、および前記鏡面に映り込むパタンに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出ステップとを含む処理をコンピュータに実行させる。

本技術の第２の側面の画像処理システムは、複数の撮像部を含む画像処理装置と、前記撮像部の撮像方向をキャリブレーションするためのチャートパタンとからなる画像処理システムであって、前記チャートパタンは、前記複数の撮像部に対して対向する位置に設けられ、複数の特徴点となるパタンと、前記鏡面とを含み、前記画像処理装置は、ステレオカメラを構成し、前記チャートパタンを撮像する複数の撮像部と、前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記鏡面に映り込むパタンに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出部とを含む。

本技術の第１の側面においては、ステレオカメラを構成する複数の撮像部により、複数の特徴点となるパタンと、鏡面とを含む第１のチャートパタンが撮像され、前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記鏡面に映り込むパタンに基づいて、前記複数の撮像部のずれを補正する補正パラメタが算出される。

本技術の第２の側面においては、前記画像処理装置により、ステレオカメラが構成される複数の撮像部により、複数の特徴点となるパタンと、鏡面とを含むチャートパタンが撮像され、前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記鏡面に映り込むパタンに基づいて、前記複数の撮像部のずれを補正する補正パラメタが算出される。

本技術の第１、および第２の側面の画像処理装置、および画像処理システムは、独立した装置およびシステムであっても良いし、画像処理を行うブロックであっても良い。

本技術の第１、および第２の側面によれば、限られた空間においても、容易で、かつ、高精度にステレオカメラのキャリブレーションを実現させることが可能となる。

本技術を適用した画像処理システムの実施の形態の外観の構成例を示す図である。 図１の画像処理システムにおけるステレオカメラとチャートパタンのレイアウトの一例を示す図である。 図２におけるステレオカメラ側のチャートパタンの例を示す図である。 図１の画像処理システムにおけるステレオカメラの外観構成例を示す図である。 図１の画像処理システムの機能を実現する機能ブロック図である。 キャリブレーション処理を説明するフローチャートである。 ステレオカメラにより撮像される画像を説明する図である。 チャートパタンの例を説明する図である。 撮像したチャートパタンのパタンより求められる特徴点の例を示す図である。 キャリブレーションに必要とされる補正パラメタを定義する図である。 キャリブレーションに必要とされるベースラインを基準とした補正パラメタを定義する図である。 デプス検出処理を説明するフローチャートである。 撮像されたチャートパタンより求められる特徴点のキャリブレーション前と後を説明する図である。 ステレオカメラとチャートパタンのその他のレイアウトを示す図である。 汎用のパーソナルコンピュータの構成例を説明する図である。

＜画像処理システムの外観の構成例＞
図１は、本技術を適用した画像処理システムの一実施の形態の外観の構成例を示している。図１の画像処理システムは、まず、ステレオカメラ１１の撮像部２１−１，２１−２が、パタン３１−１乃至３１−Ｎを含み、さらに、鏡３２が設けられたチャートパタン１２を撮像する。このとき、ステレオカメラ１１の撮像部２１−１，２１−２は、チャートパタン１２のパタン３１−１乃至３１−Ｎに加えて、鏡３２に映り込むチャートパタン１２以外のパタン、またはテクスチャからなるチャートパタン１３を撮像し、キャリブレーション部１４に供給する。

そこで、キャリブレーション部１４が、撮像部２１−１，２１−２により撮像された２枚の画像に基づいて、撮像部２１−１，２１−２のずれを補正する補正パラメタを算出してステレオカメラ１１に記憶させる。さらに、デプス検出部１５が、ステレオカメラ１１を用いてデプス検出処理を実施する際、補正パラメタを使用して、ステレオカメラ１１の撮像部２１−１，２１−２により撮像された画像を補正して、ディスパリティ画像（奥行画像）を検出する。

より具体的には、図１の画像処理システムは、ステレオカメラ１１、チャートパタン１２、チャートパタン１３、キャリブレーション部１４、およびデプス検出部１５より構成される。ステレオカメラ１１は、水平方向に所定の間隔で配置され、同一方向の画像を撮像する撮像部２１−１，２１−２を備えている。ステレオカメラ１１は、キャリブレーション処理において、撮像部２１−１，２１−２のそれぞれにより、鏡３２が設けられたチャートパタン１２を撮像し、撮像した２枚の画像をキャリブレーション部１４に供給する。そして、ステレオカメラ１１は、キャリブレーション部１４により２枚の画像に基づいてキャリブレーション処理により算出された補正パラメタを記憶する。

また、ステレオカメラ１１は、デプス検出処理において、撮像部２１−１，２１−２のそれぞれにより画像を撮像し、デプス検出部１５に画像を供給すると共に、キャリブレーション処理において記憶された補正パラメタを画像に併せてデプス検出部１５に供給する。デプス検出部１５は、ステレオカメラ１１により撮像された画像を補正パラメタで補正した後、補正された２枚の画像に基づいてディスパリティ画像を検出する。

チャートパタン１２は、図２で示されるように、ステレオカメラ１１に対して対向する位置に撮像部２１−１，２１−２が設けられている面に対して平行に設けられており、ステレオカメラ１１に対して略正面の位置に鏡３２が設けられている。また、ステレオカメラ１１の背後には、チャートパタン１２に対して対向する位置であって、かつ、平行にチャートパタン１３が設けられている。チャートパタン１３は、図３で示されるように、パタン４１が設けられている。このような構成により、ステレオカメラ１１の撮像部２１−１，２１−２は、チャートパタン１２のパタン３１−１乃至３１−Ｎを撮像すると共に、チャートパタン１２に設けられた鏡３２に映り込んでいる、ステレオカメラ１１の背面に設けられた、図３で示されるようなパタン４１を含むチャートパタン１３を撮像する。このようにして撮像された画像には、チャートパタン１２上に設けられたパタン３１と、鏡３２に映り込んだパタン４１とが含まれることにより、撮像部２１−２，２１−２からの距離が異なるパタンが１枚の画像に含まれることになる。結果として、距離の異なるパタンをそれぞれ別の画像として撮像する必要がなくなる。

ステレオカメラ１１の撮像部２１−１，２１−２の撮像方向は、図４で示されるように、ステレオカメラ１１を構成する筐体に対して垂直方向となる方向ＤＸに対して平行であって、かつ、撮像部２１−１，２１−２がそれぞれ設置されている位置を結ぶ直線状のベースラインＢに対して垂直方向となる方向ＰＬＸ，ＰＲＸとなる。尚、以降においては、撮像部２１−１，２１−２の設置間隔は、ベースラインＢに沿った距離ｂであるものとする。また、図２で示されるように、ステレオカメラ１１の撮像部２１−１，２１−２の撮像面とチャートパタン１２までの距離が距離Ｚ０であり、ステレオカメラ１１の撮像部２１−１，２１−２の撮像面と鏡３２までの距離が距離Ｚ１であり、鏡３２の表面とチャートパタン１３までの距離が距離Ｚ２であるものとする。

キャリブレーション部１４は、キャリブレーション処理を実行し、ステレオカメラ１１より供給されてくる画像に基づいて、撮像部２１−１，２１−２の撮像方向を補正する補正パラメタを算出し、ステレオカメラ１１に記憶させる。

デプス検出部１５は、ステレオカメラ１１により撮像された画像を取得すると共に、ステレオカメラ１１より供給されてくるキャリブレーション処理により算出された補正パラメタを取得する。そして、デプス検出部１５は、ステレオカメラ１１より供給されてくる画像を、補正パラメタを用いて補正し、補正した画像に基づいて画素単位で距離を求め、ディスパリティ画像（奥行画像）を検出する。

＜画像処理システムの各構成を実現するための機能＞
次に、図５の機能ブロック図を参照して、図１の画像処理システムの各構成を実現するための機能について説明する。尚、図５の上段の構成は、ステレオカメラ１１およびキャリブレーション部１４におけるキャリブレーション処理が実行されるときの構成を示しており、図５の下段の構成は、ステレオカメラ１１およびデプス検出部１５におけるデプス検出処理が実行されるときの構成を示している。

ステレオカメラ１１は、撮像部２１−１，２１−２、およびパラメタ記憶部６１を備えている。撮像部２１−１，２１−２は、CCD（Charge Coupled Device）、やCMOS（Complementary Metal Oxide Semiconductor）などの撮像素子からなる。撮像部２１−１，２１−２は、水平方向に所定の距離ｂの間隔で配置され、撮像部２１−１，２１−２の設置位置を結ぶ直線からなるベースラインＢに対して、同一方向の、鏡３２を備えたチャートパタン１２を撮像し、撮像した画像をキャリブレーション処理時には、キャリブレーション部１４に供給する。また、デプス検出処理においては、撮像部２１−１，２１−２は、撮像した画像をデプス検出部１５に供給する。尚、撮像部２１−１，２１−２のそれぞれについて、特に区別する必要がない場合、単に、撮像部２１と称するものとし、その他の構成についても同様に称するものとする。

パラメタ記憶部６１は、キャリブレーション部１４のキャリブレーション処理により算出された補正パラメタを記憶すると共に、デプス検出処理においては、記憶している補正パラメタを撮像した画像と共にデプス検出部１５に供給する。

キャリブレーション部１４は、特徴点座標検出部１０１、パラメタ推定部１０２、およびパラメタ保存部１０３を備えている。

特徴点座標検出部１０１は、ステレオカメラ１１より供給されてくる画像におけるパタンの交点などからなる特徴点の座標をサブピクセルのオーダーで検出してパラメタ推定部１０２に供給する。

パラメタ推定部１０２は、特徴点の情報に基づいて、ステレオカメラ１１の撮像部２１−１，２１−２におけるキャリブレーションに必要とされる補正パラメタを推定し、推定した補正パラメタを、パラメタ保存部１０３に供給する。

パラメタ保存部１０３は、キャリブレーション部１４より供給されてきた補正パラメタをステレオカメラ１１のパラメタ記憶部６１に保存して記憶させる。

デプス検出部１５は、パラメタ取得部１２１、補正部１２２、およびステレオマッチング部１２３を備えている。パラメタ取得部１２１は、ステレオカメラ１１のパラメタ記憶部６１に記憶されている補正パラメタを読み出して取得し、補正部１２２に供給する。

補正部１２２は、デプス検出処理において、ステレオカメラ１１の撮像部２１−１，２１−２によりそれぞれ撮像された２枚の画像を取得し、パラメタ取得部１２１より供給されてきた、補正パラメタを用いて補正し、補正画像をステレオマッチング部１２３に供給する。

ステレオマッチング部１２３は、ステレオマッチング処理により、補正された２枚の画像から画素単位で距離を求め、デプス検出結果としてディスパリティ画像を生成して出力する。

＜キャリブレーション処理＞
次に、図６のフローチャートを参照して、キャリブレーション処理について説明する。

ステップＳ１１において、ステレオカメラ１１は、撮像部２１−１，２１−２をそれぞれ使用して、２枚の左右画像からなるステレオ画像を撮像し、キャリブレーション部１４に供給する。このとき、キャリブレーション部１４の特徴点座標検出部１０１は、ステレオカメラ１１より供給されてくる画像を取得する。

ステップＳ１２において、特徴点座標検出部１０１は、取得した左右画像からそれぞれのパタンとなる特徴点の座標を検出し、パラメタ推定部１０２に供給する。すなわち、例えば、左右画像が、図７の画像ＰＬ，ＰＲであるような場合、特徴点座標検出部１０１は、対応する「＋」状のパタンＰＴＬ，ＰＴＲの交点の位置をサブピクセルのオーダーで検出し（ＸＬ，ＹＬ）および（ＸＲ，ＹＲ）として検出する。

ここで、左右カメラに対応する撮像部２１−１，２１−２で撮像した各特徴点のピクセル単位の座標（ｘＬ，ｙＬ）および（ｘＲ，ｙＲ）は、仮想的にレンズの焦点距離を１としたときの撮像面上の距離は、撮像部２１−２，２１−２のピクセルピッチをｐ[mm/ピクセル]、および焦点距離をｆ[mm]とすると、以下の式（１）乃至式（４）で示される。

そこで、以下の説明では、特徴点座標に関して、特に断りが無い場合、上記のように焦点距離を仮想的に１とした場合の撮像面上の座標で表すものとする。また、レンズ歪による座標ずれなどに関しては必要に応じて、ピンホールカメラモデルとなるように、補正するものとし、理想的な座標を入力するものとする。

尚、図７で示される例においては、対応関係を理解し易くするために、パタンが１である場合について示されているが、チャートパタン１２，１３は、実際には、例えば、図８の上段で示されるように、それぞれ格子点などからなる、複数のパタンを含む構成とされている。そして、図８のチャートパタン１２，１３においては、図８の下段で示されるように、白色マスと黒色マスとのエッジ部の交点となるコーナＣの位置が特徴点座標として検出される。

また、図８の上段においては、チャートパタン１２よりもチャートパタン１３の方が白色マスおよび黒色マスが大きく設定されている。これは、ステレオカメラ１１の撮像部２１−２，２１−２の撮像位置からチャートパタン１２までの距離がＡであるような場合、チャートパタン１３は、鏡３２により映り込んだ状態でステレオカメラ１１の撮像部２１−１，２１−２により撮像されるので、実質的にステレオカメラ１１から距離が略２Ａの位置に存在するチャートパタンとして撮像されることになるため、チャートパタン１２のパタンよりも大きく設定されている。尚、ステレオカメラ１１とチャートパタン１２までの距離については、様々な距離を設定することができる。また、チャートパタン１２，１３の大きさについても、図８の上段で示されるものに限るものではない。

図９には、このようにして特徴点座標検出部１０１により求められた、図８のチャートパタン１２，１３を利用してステレオカメラ１１により撮像された画像から求められた特徴点座標の検出結果が示されている。すなわち、図９の画像ＰＬ’,ＰＲ’は、図８のチャートパタン１２，１３を用いて、ステレオカメラ１１の撮像部２１−１，２１−２のそれぞれにより撮像された画像ＰＬ，ＰＲより求められた特徴点座標を「＋」印からなる画像ＰＬ’,ＰＲ’として示したものである。水平方向の数値が画像中心を原点としたＸ方向の画素位置を示す座標値であり、垂直方向の数値が画像中心を原点としたＹ方向の画素位置を示す座標値である。また、領域ＺＬ，ＺＲは、それぞれの画像ＰＬ’,ＰＲ’内における鏡３２に映り込んだ、チャートパタン１３のパタンにより求められた特徴点座標である。

従って、領域ＺＬ，ＺＲ内の特徴点座標は、領域ＺＬ，ＺＲ外の特徴点座標よりも撮像部２１−１，２１−２の撮像面からの距離が遠い位置のパタンの座標となる。逆に、領域ＺＬ，ＺＲ外の特徴点座標は、領域ＺＬ，ＺＲ内の特徴点座標よりも撮像部２１−１，２１−２の撮像面からの距離が近い位置のパタンの座標となる。

ステップＳ１３において、パラメタ推定部１０２は、特徴点座標の情報に基づいて、キャリブレーションに用いられる補正パラメタ（θ，φ，α，φbase，αbase）を推定し、推定した補正パラメタ（θ，φ，α，φbase，αbase）をパラメタ保存部１０３に供給する。

ここで、補正パラメタ（θ，φ，α，φbase，αbase）の推定方法について具体的に説明するに当たり、以下の座標系について定義する。すなわち、図１０で示されるように、撮像部２１−１，２１−２により撮像される画像の撮像面Ｆの中心位置を原点として、水平方向の右方向を正としてＸ軸を定義し、垂直方向の上方向を正としてＹ軸を定義し、撮像面Ｆに対して、離れる方向を正としてＺ軸を定義する。

さらに、図１１の左部で示されるように、撮像部２１−１，２１−２のＸ軸（ベースラインＢを含む）の正の方向を観測者に向けた中心として反時計回りを正としたときのそれぞれの回転（tilt）角度をθＲ，θＬと定義する。また、図１１の中央部で示されるように、撮像部２１−１，２１−２のＹ軸の正の方向を観測者に向けた中心として反時計回りを正としたときのそれぞれの回転（pan）角度をφＲ，φＬと定義する。さらに、図１１の右部で示されるように、撮像部２１−１，２１−２のＺ軸の正の方向を観測者に向けた中心として反時計回りを正としたときのそれぞれの回転（rot）角度をαＲ，αＬと定義する。

すなわち、ステレオカメラ１１のキャリブレーションの目的は、各軸の回転角(θＬ,θＲ,φＬ,φＲ,αＬ,αＲ）を推定することで、ベースラインＢをエピポーララインとしたときのエピポーラ拘束を満たし、左右間特徴点が同一ベースライン上（エピポーラ線）に設定されるように補正パラメタを求めることである。

ただし、Ｘ軸回りの回転角であるθＬとθＲに関しては、ベースラインＢに対する拘束は無く、左右間の相対角（θＬ−θＲ）を求めればよい。

以上を整理し、左右の撮像部２１−１，２１−２間の相対角（ＸＹＺ軸回りの左右の撮像部２１−１，２１−２間の回転角の差)をθ，φ，αとし、ベースラインＢを基準とした（ＹＺ軸回り）絶対角を、φ_base，α_baseのように表すものとすると、それぞれ以下の式（５）乃至式（９）で表現できることになる。

ここで、θ，φ，αは、撮像部２１−１，２１−２間の相対的な角度を表すパラメタとなる。具体的には、θは、撮像部２１−１，２１−２の上下ずれを表現するパラメタとなる。φは、撮像部２１−１，２１−２の絶対距離のずれを表現するパラメタとなる。αは、撮像部２１−１，２１−２の回転ずれを表現するパラメタとなる。さらに、φ_base，α_baseは、いずれもベースラインＢに対して拘束される絶対的角度を表すパラメタとなる。すなわち、φ_baseは、ベースラインＢに対するＹ軸周りの絶対角であり、α_baseは、ベースラインＢに対するＺ軸周りの絶対角、すなわち、視差によって異なるＹずれ量である。

パラメタ推定部１０２は、これらの補正パラメタ（θ，φ，α，φbase，αbase）を以下のように推定する。

すなわち、いずれか未処理の特徴点ｐの絶対座標を（Ｘ，Ｙ，Ｚ）とし、ベースラインＢの撮像部２１−２，２１−２間の距離をｂとするとき、実際の左右の撮像部２１−１，２１−２での座標（ｘ＿Ｌ，ｙ＿Ｌ，ｚ＿Ｌ），（ｘ＿Ｒ，ｙ＿Ｒ，ｚ＿Ｒ）は、それぞれ以下の式（１０），式（１１）のように表現される。

ここで、Ｒｘ，Ｒｙ，Ｒｚは、それぞれＸ，Ｙ，Ｚ軸周りの回転行列であり、以下の式（１２）乃至式（１４）のように表現される。

また、このとき（ＸＬ，ＹＬ）および（ＸＲ，ＹＲ）は以下の式（１５），式（１６）のように表現される。

パラメタ推定部１０２は、撮像面で観測される上記ＹＬ，ＹＲのずれ量に基づいて、各軸の回転角（θ，φ，α，φbase，αbase）を推定する。

ここで、『学会誌「情報処理」1990年5月号 Vol.31 No.5 「ステレオカメラのセルフキャリブレーション」,富田文明、高橋裕信著』（以下、参考文献とも称する）における式（１４）と式（５）乃至式（９）より、左右の撮像部２１−１，２１−２により撮像された画像内における特徴点のＹ座標の差分（ＹＬ−ＹＲ）は、左右間のレンズの拡大率の差が無いものと仮定すると、以下の式（１７）のような近似式で表現することが可能となる。

ここで、左右特徴点（ＸＬ，ＹＬ），（ＸＲ，ＹＲ）の中点を、Ｘ=０．５×（ＸＬ−ＸＲ）、およびＹ＝０．５×（ＹＬ−ＹＲ）と置き、特徴点（ＸＬ，ＹＬ），（ＸＲ，ＹＲ）の差分を、ΔＸ＝（ＸＬ−ＸＲ）およびΔＹ＝（ＹＬ−ＹＲ）とおくと、式（１７）は、以下の式（１８）のように変形することができる。

式（１８）における記載を各軸回転量で表現すると、以下の式（１９）で表現される。

式（１９）におけるΔＹは、エピポーラ拘束を満たしキャリブレーションが合っているときにはΔＹ≒０となるので、キャリブレーションされたときのΔＸ、すなわち理想的な視差d_calibratedが既知であるとすると、式（１９）は、以下の式（２０）のように近似することができる。

ここで、図２に示すような、チャートパタン１２，１３の奥行は、既知（それぞれＺ０，Ｚ０＋Ｚ１）であるので、それぞれの理想的な視差(d_calibrated)は、焦点距離を１と仮定すると、以下の式（２１），式（２２）で表現されるような、既知のパラメタとして計算することができる。

よって、Ｙ座標の差分（ＹＬ−ＹＲ）は、これを、パタンの奥行に応じて、式（２０）に代入することで、左右カメラ特徴点座標の中点（Ｘ，Ｙ）と、ステレオカメラ１１の回転パラメタであるθ，φ，α，φ_base，α_baseを用いて表現することができる。すなわち、以下の式（２３）で示されるように、各特徴点でのエラー関数ｅを定義することができる。

パラメタ推定部１０２は、各特徴点に関して式（２３）で定義されるエラー関数ｅを最小化するような、θ，φ，α，φ_base，α_baseを推定する。尚、このエラー関数の最小化に関しては、ノイズに対するロバスト性を確保するために、多数の特徴点を用いて行うのがよいことが知られている。これら複数変数の推定法としては、例えば、Levenberg-Marquardt法などを適用することが知られている。

ここで、フローチャートの説明に戻る。

ステップＳ１４において、パラメタ保存部１０３は、パラメタ推定部１０２より供給されてきた補正パラメタ（θ，φ，α，φbase，αbase）をステレオカメラ１１のパラメタ記憶部６１に保存して記憶させる。

以上の処理により、図１のように、鏡を設けたことにより、キャリブレーション時における撮像部２１−１，２１−２の撮像方向に関し、物理的に必要な奥行量を抑えつつ、異なる奥行きを持ったチャートパタン１２，１３を利用したキャリブレーションを実現することができる。結果として、少ないスペースでキャリブレーションを行うことができるため、製造コストの低減を図ることが可能となる。

また、ベースラインにより拘束される絶対的回転成分となるφ_base，α_baseと、撮像部２１−１，２１−２間の相対的な回転角のずれ成分となる相対的回転成分θ，φ，αとを分離したパラメタにより表現することで、式（１７）で示したような近似式を用いて、左右間のＹずれ（ベースラインＢに対する垂直方向の誤差）を元に補正パラメタ（角度）を推定することが可能となる。

また、それぞれ性質の異なる回転角成分を分離表現することで、互いの干渉が軽減されることにより、よりロバストに補正パラメタを推定することが可能となる。

さらに、絶対的回転成分の推定において、撮像部２１−１，２１−２からチャートパタン１２，１３までの奥行を既知として視差を与えて補正パラメタを推定することにより、特徴点検出誤差の影響などを軽減することが可能となり、よりロバストに回転角を推定することが可能となる。

尚、以上においては、チャートパタン１２，１３の奥行きを既知として、視差d_calibratedを与えて、回転角推定を行う例について説明してきたが、上述した参考文献に記載の手法により、特徴点の座標情報のみから推定するようにしても良い。

また、特許文献２に記載されているような、異なる奥行きのテクスチャ面を撮像して、ステレオマッチングエラー量を補正パラメタの評価関数に用いるなどして、評価関数が最小となるような回転角を推定するようにしても良い。

＜デプス検出処理＞
次に、図１２のフローチャートを参照して、デプス検出処理について説明する。

ステップＳ３１において、ステレオカメラ１１は、撮像部２１−１，２１−２を利用して、左右の画像を撮像して、デプス検出部１５に供給する。デプス検出部１５の補正部１２２は、ステレオカメラ１１より供給されてきた左右の画像を取得する。

ステップＳ３２において、パラメタ取得部１２１は、ステレオカメラ１１のパラメタ記憶部６１にアクセスし、記憶されている補正パラメタ（θ，φ，α，φbase，αbase）を読み出して取得し、補正部１２２に供給する。

ステップＳ３３において、補正部１２２は、取得した左右の画像を、補正パラメタ（θ，φ，α，φbase，αbase）により補正して、補正した画像をステレオマッチング部１２３に供給する。すなわち、補正パラメタ（θ，φ，α，φbase，αbase）によるずれがキャンセルされるように画像が補正される。この結果、例えば、図１３の上部で示される撮像部２１−１，２１−２のそれぞれで撮像された画像より抽出された特徴点の座標からなる画像ＰＬ１１１，ＰＲ１１１が、補正パラメタにより補正されることで、図１３の下部で示される画像ＰＬ１１１’，ＰＲ１１１’のように補正される。

ステップＳ３４において、ステレオマッチング部１２３は、補正された左右の画像に基づいて、ステレオマッチング処理を実行して、画素単位での距離を求め、デプス処理結果として、画素単位での距離に基づいた画素値からなるディスパリティ画像を生成して出力する。尚、ステレオマッチング処理の詳細については、例えば、Yuichi Ohta, Takeo Kanade Stereo by Intra- and Inter-Scanline Search Using Dynamic Programming IEEE Transactions on Pattern Analysis and Machine Intelligence,1985などを参照されたい。

以上の処理により、鏡を含めたチャートパタンを用いたキャリブレーション処理により求められた補正パラメタを利用して、デプス検出処理を実現することが可能となる。

また、限られた狭い空間でも、適切に、ステレオカメラ１１の撮像部２１−１，２１−２の撮像方向を補正することが可能となるので、ステレオカメラ１１の製造コストを低減しつつ、高精度のディスパリティ画像を取得することが可能となる。

尚、以上においては、デプス検出部１５によりデプス検出処理を行うことを目的として補正パラメタが求められる例について説明してきたが、その他の画像の撮像を目的としたステレオカメラに対する補正パラメタを求めるようにしても良い。また、以上においては、左右の撮像部２１−１，２１−２からなる２の撮像部２１を補正するための補正パラメタを求める例について説明してきたが、２よりも多くの複数の撮像部を利用するものであってもよい。

また、以上においては、図２で示されるように、ステレオカメラ１１が、チャートパタン１２，１３の間に配設される例について説明してきたが、奥行きの異なるチャートパタン、またはテクスチャが撮像できれば、その他の構成であっても良い。例えば、図１４の左部で示されるように、チャートパタン１３に代えて、撮像部２１−１，２１−２のそれぞれに対応する位置に穴部１３’ａ−１，１３’ａ−２を設けたチャートパタン１３’をステレオカメラ１１の撮像部２１−１，２１−２に接続させた状態でステレオカメラ１１とチャートパタン１２の間に設けるようにしてもよい。また、図１４の右部で示されるように、チャートパタン１３の全面に鏡１３２を設けるようにして、光路Ｌ１で示される画像と、奥行きが異なる光路が光路Ｌ２−１乃至Ｌ２−３の和となる画像とを撮像できるようにしても良い。

以上によれば、複数の撮像部からなるステレオカメラにおける撮像部の撮像方向を、限られた空間でも適切に補正することが可能となり、ステレオカメラを利用した撮像を高精度に実現することが可能となる。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１５は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本技術は、以下のような構成も取ることができる。
（１） ステレオカメラを構成し、複数の特徴点となるパタンと、鏡面とを含む第１のチャートパタンを撮像する複数の撮像部と、
前記複数の撮像部により撮像された第１のチャートパタンに含まれるパタン、および前記鏡面に映り込むパタンに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出部と
を含む画像処理装置。
（２） 前記補正パラメタ算出部は、２の前記撮像部の３軸方向のずれ、および前記２の撮像部のベースラインに対する回転角のずれを補正する補正パラメタを算出する
（１）に記載の画像処理装置。
（３） 前記２の撮像部のベースラインに対する回転角のずれは、前記ベースラインに対して垂直であって、かつ、前記撮像部における撮像方向を軸としたときの回転角のずれ、および前記ベースラインに対して垂直であって、かつ、前記撮像部における撮像方向に対して垂直方向を軸としたときの回転角のずれを含む
（２）に記載の画像処理装置。
（４） 前記補正パラメタ算出部は、前記撮像部から前記第１のチャートパタンまでの距離、前記撮像部から前記第１のチャートパタンに設けられた鏡面までの距離、および前記第１のチャートパタンと前記第２のチャートパタンとの距離を既知の視差として利用して、２の前記撮像部の３軸方向のずれ、および前記２の撮像部のベースラインに対する回転角のずれを補正する補正パラメタを算出する
（２）に記載の画像処理装置。
（５） 前記複数の撮像部は、前記第１のチャートパタンに含まれるパタン、および前記鏡面に映り込む第２のチャートパタンに含まれるパタンを撮像する
（１）に記載の画像処理装置。
（６） 前記第２のチャートパタンは、鏡面により構成され、
前記複数の撮像部は、前記第１のチャートパタンに含まれるパタン、および前記第１のチャートパタンにおける鏡面に映り込む、前記第２のチャートパタンを構成する鏡面に映り込む、前記第１のチャートパタンに含まれるパタンを撮像する
（５）に記載の画像処理装置。
（７） ステレオカメラを構成する複数の撮像部が、複数の特徴点となるパタンと、鏡面とを含む第１のチャートパタンを撮像する撮像処理をし、
前記複数の撮像処理により撮像されたチャートパタンに含まれるパタン、および前記鏡面に映り込むパタンに基づいて、前記複数の前記撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出処理をする
ステップを含む画像処理方法。
（８） ステレオカメラを構成する複数の撮像部が、複数の特徴点となるパタンと、鏡面とを含む第１のチャートパタンを撮像する撮像ステップと、
前記複数の撮像ステップの処理により撮像されたチャートパタンに含まれるパタン、および前記鏡面に映り込むパタンに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出ステップと
を含む処理をコンピュータに実行させるプログラム。
（９） 複数の撮像部を含む画像処理装置と、前記撮像部の撮像方向をキャリブレーションするためのチャートパタンとからなる画像処理システムにおいて、
前記チャートパタンは、
前記複数の撮像部に対して対向する位置に設けられ、複数の特徴点となるパタンと、前記鏡面とを含み、
前記画像処理装置は、
前記複数の撮像部が、ステレオカメラを構成すると共に、前記チャートパタンを撮像し、
前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記鏡面に映り込むパタンに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出部を含む
画像処理システム。

１１ ステレオカメラ， １２，１３ チャートパタン， １４ キャリブレーション部， １５ デプス検出部， ２１，２１−１，２１−２ 撮像部， ３１ パタン， ３２ 鏡， ４１ パタン， ６１ パラメタ記憶部， １０１ 特徴点座標検出部， １０２ パラメタ推定部， １０３ パラメタ保存部， １２１ パラメタ取得部， １２２ 補正部， １２３ ステレオマッチング部

Claims (9)

1. ステレオカメラを構成し、複数の特徴点となるパタンと、鏡面とを含む第１のチャートパタンを撮像する複数の撮像部と、
   前記複数の撮像部により撮像された第１のチャートパタンに含まれるパタン、および前記鏡面に映り込むパタンに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出部と
   を含む画像処理装置。
2. 前記補正パラメタ算出部は、２の前記撮像部の３軸方向のずれ、および前記２の撮像部のベースラインに対する回転角のずれを補正する補正パラメタを算出する
   請求項１に記載の画像処理装置。
3. 前記２の撮像部のベースラインに対する回転角のずれは、前記ベースラインに対して垂直であって、かつ、前記撮像部における撮像方向を軸としたときの回転角のずれ、および前記ベースラインに対して垂直であって、かつ、前記撮像部における撮像方向に対して垂直方向を軸としたときの回転角のずれを含む
   請求項２に記載の画像処理装置。
4. 前記補正パラメタ算出部は、前記撮像部から前記第１のチャートパタンまでの距離、前記撮像部から前記第１のチャートパタンに設けられた鏡面までの距離、および前記第１のチャートパタンと前記第２のチャートパタンとの距離を既知の視差として利用して、２の前記撮像部の３軸方向のずれ、および前記２の撮像部のベースラインに対する回転角のずれを補正する補正パラメタを算出する
   請求項２に記載の画像処理装置。
5. 前記複数の撮像部は、前記第１のチャートパタンに含まれるパタン、および前記鏡面に映り込む第２のチャートパタンに含まれるパタンを撮像する
   請求項１に記載の画像処理装置。
6. 前記第２のチャートパタンは、鏡面により構成され、
   前記複数の撮像部は、前記第１のチャートパタンに含まれるパタン、および前記第１のチャートパタンにおける鏡面に映り込む、前記第２のチャートパタンを構成する鏡面に映り込む、前記第１のチャートパタンに含まれるパタンを撮像する
   請求項５に記載の画像処理装置。
7. ステレオカメラを構成する複数の撮像部が、複数の特徴点となるパタンと、鏡面とを含む第１のチャートパタンを撮像する撮像処理をし、
   前記複数の撮像処理により撮像されたチャートパタンに含まれるパタン、および前記鏡面に映り込むパタンに基づいて、前記複数の前記撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出処理をする
   ステップを含む画像処理方法。
8. ステレオカメラを構成する複数の撮像部が、複数の特徴点となるパタンと、鏡面とを含む第１のチャートパタンを撮像する撮像ステップと、
   前記複数の撮像ステップの処理により撮像されたチャートパタンに含まれるパタン、および前記鏡面に映り込むパタンに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出ステップと
   を含む処理をコンピュータに実行させるプログラム。
9. 複数の撮像部を含む画像処理装置と、前記撮像部の撮像方向をキャリブレーションするためのチャートパタンとからなる画像処理システムにおいて、
   前記チャートパタンは、
   前記複数の撮像部に対して対向する位置に設けられ、複数の特徴点となるパタンと、前記鏡面とを含み、
   前記画像処理装置は、
   前記複数の撮像部が、ステレオカメラを構成すると共に、前記チャートパタンを撮像し、
   前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記鏡面に映り込むパタンに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出部を含む
   画像処理システム。

Images