JP2015035685A - 画像処理装置およびマーカ - Google Patents

Abstract

【課題】キャリブレーション用マーカを設置できる範囲が制限される場合でも、カメラキャリブレーションの精度を確保できる画像処理装置を提供する。【解決手段】画像処理装置１０は、キャリブレーション用のマーカが撮影された画像を取得する画像取得部１と、画像においてマーカのエッジを検出するエッジ検出部２と、エッジに基づいて複数の直線を推定し、複数の直線に囲まれた仮想の多角形領域を、画像においてマーカが設置されている領域以外の領域を含む領域に生成する多角形生成部３と、仮想の多角形領域の前記画像上の特徴量と、仮想の多角形領域の実空間上の特徴量とに基づいて、カメラパラメータを算出するカメラパラメータ算出部４と、を備える。【選択図】図３

Description

本発明は、カメラパラメータを算出する画像処理装置およびマーカに関する。

車両に設置されたカメラを用いた近年のカメラシステムでは、車両の予想到達位置を示すガイド線をカメラで撮影した画像（以下、「カメラ画像」という）に重畳表示する機能、または、カメラ画像の幾何的な変換により仮想的な視点からの画像を生成する機能などが実装されている。これらの機能はいずれも、実空間の３次元位置とカメラ画像上に投影された２次元位置の対応付けを利用したものである。このような対応付けを実現するためには、カメラの設置角もしくは設置位置などのパラメータ、または、射影変換パラメータ等のいわゆるカメラパラメータの算出（以下、適宜「キャリブレーション」という）が必要となる。

カメラ画像に基づくキャリブレーションでは、通常、形状・大きさ・設置位置などが既知であるキャリブレーション用マーカを利用する。その一つの形態として、路面上に設置された、特定のパターンを含むマーカを撮影し、そのカメラ画像に対する投影位置を利用する方法がある（例えば、特許文献１参照）。

また、マーカの形状を多角形とする方法例としては、路面上に設置された正方形のマーカをカメラで撮影し、そのカメラ画像を射影変換して俯瞰画像を生成し、俯瞰画像における正方形の形状・存在位置を基に、カメラパラメータの一例である射影変換パラメータを算出する方法が知られている（例えば、特許文献２参照）。

特開２０１１−０４７７２５号公報 特開２０１０−２４４３２６号公報

特許文献１、２の技術では、マーカを路面上に設置する必要があるが、マーカを設置できる範囲が制限される場合がある。この例について、図１を用いて説明する。

図１は、車両と路面を上方から見た例を示す図である。図１において、領域ａは、車両が通過する領域であるため、マーカを設置できない。また、領域ｃは、車両の側方から一定距離以上の領域であるため、マーカを設置できない。これらに対し、領域ｂは、車両の側方から一定距離未満の領域であるため、マーカを設置できる。

このようにマーカを設置できる範囲が制限されている場合、キャリブレーションに必要なサイズのマーカを適切な位置に設置することができず、その結果、キャリブレーションの精度が低下するという課題がある。

本発明の目的は、キャリブレーション用マーカを設置できる範囲が制限される場合でも、キャリブレーションの精度を確保できる画像処理装置およびマーカを提供することである。

本発明の一態様に係る画像処理装置は、キャリブレーション用のマーカが撮影された画像を取得する画像取得部と、前記画像において前記マーカのエッジまたは特徴点を検出するエッジ検出部と、前記エッジまたは特徴点に基づいて複数の直線を推定し、前記複数の直線に囲まれ、かつ、前記画像において前記マーカが設置されている領域以外の領域を含む仮想の多角形領域を生成する多角形生成部と、前記仮想の多角形領域の前記画像上の特徴量と、前記仮想の多角形領域の実空間上の特徴量とに基づいて、カメラパラメータを算出するカメラパラメータ算出部と、を備える、構成を採る。

本発明の一態様に係るマーカは、キャリブレーションに用いられるマーカであって、前記マーカが撮影された画像において前記マーカのエッジまたは特徴点が検出され、前記エッジまたは特徴点を基に複数の直線が推定され、前記複数の直線に囲まれた仮想の多角形領域を、前記画像において前記マーカが設置されている領域以外の領域を含む領域に生成するために用いられる構成を採る。

本発明によれば、キャリブレーション用マーカを設置できる範囲が制限される場合でも、キャリブレーションの精度を確保できる。

一般的なマーカの設置可能範囲の例を示す図 本発明の実施の形態１に係る画像処理装置のキャリブレーションの実施環境の例を示す図 本発明の実施の形態１に係る画像処理装置の構成例を示すブロック図 本発明の実施の形態２に係る画像処理装置の構成例を示すブロック図 本発明の実施の形態２に係る歪補正・視点変換の前後の画像の例を示す図 本発明の実施の形態２に係るエッジ検出部の構成例を示すブロック図 本発明の実施の形態２に係るマーカ領域特定後の画像およびフィルタリング後の画像の例を示す図 本発明の実施の形態２に係る候補点抽出の前後の画像の例を示す図 本発明の実施の形態２に係る多角形生成部の構成例を示すブロック図 本発明の実施の形態２に係る直線推定後の画像および頂点特定後の画像の例を示す図 本発明の実施の形態２に係るカメラパラメータ算出部の構成例を示すブロック図 本発明の実施の形態２に係る正方形らしさの説明図 本発明の実施の形態２に係るロール角・ピッチ角算出の処理例を示す図 本発明の実施の形態２に係る高さ算出の処理例を示す図 従来技術のマーカの設置と本発明の実施形態２のマーカの設置との比較例を示す図 本発明の実施の形態３に係る画像処理装置のキャリブレーションの実施環境の例を示す図 本発明の実施の形態３に係る仮想多角形の生成位置の例を示す図 本発明の実施の形態３に係る仮想多角形の生成位置の別の例を示す図 本発明の各実施の形態に係るマーカおよび仮想多角形の別の例を示す図 本発明の各実施の形態に係るマーカおよび仮想多角形の別の例を示す図 本発明の各実施の形態に係るマーカおよび仮想多角形の別の例を示す図

以下、本発明の実施の形態について図面を参照しながら説明する。

（実施の形態１）
まず、実施の形態１について説明する。

図２は、本実施の形態に係るキャリブレーションの実施環境を示す図である。図２Ａは、路面上の車両と路面に設置されたマーカとを横から見た図である。図２Ｂは、図２Ａに示す車両およびマーカを上方から見た図である。

図２Ａに示すように、車両１００は、後方にカメラ２０を搭載しており、内部に画像処理装置１０（本発明の画像処理装置の一例）を搭載している。カメラ２０は、路面Ｒに設置されたマーカ６０を撮影する。このカメラ画像は、画像処理装置１０に入力され、キャリブレーションに使用される。

図２Ｂに示すように、マーカ６０は、マーカを設置できる範囲（以下、「マーカ設置可能範囲」という）ｂの片側一方に設置されている。また、図２Ｂにおいて、マーカ６０は、例として、直角二等辺三角形を２つ並べた形状としている。

図３は、本実施の形態に係る画像処理装置１０の構成例を示すブロック図である。

図３において、画像処理装置１０は、画像取得部１、エッジ検出部２、多角形生成部３、およびカメラパラメータ算出部４を有する。

画像取得部１は、カメラ２０で撮影されたカメラ画像を取得する。このカメラ画像は、マーカ６０が撮影された画像である。

エッジ検出部２は、画像取得部１で取得されたカメラ画像に対して画像処理を実施し、カメラ画像からマーカ６０のエッジを複数検出する。

多角形生成部３は、エッジ検出部２で検出された複数のエッジに基づいて複数の直線を推定する。例えば、多角形生成部３は、公知の方式であるハフ変換または最小二乗法を使用して、エッジを構成する点群をより多く通過する直線を推定する。そして、多角形生成部３は、カメラ画像において、それら直線で囲まれた仮想の多角形領域を、マーカ設置可能範囲外の領域を含む領域（マーカ設置可能範囲とマーカ設置可能範囲外の両方を含む領域、または、マーカ設置可能範囲外のみの領域）に生成する。

カメラパラメータ算出部４は、多角形生成部３で生成された仮想の多角形領域の画像上の特徴量と、仮想の多角形領域の実空間上の特徴量とに基づいて、カメラパラメータを算出する。算出されるカメラパラメータは、例えば、車両１００に設置されたカメラ２０についての、ロール角、ピッチ角、高さなどである。

上記「多角形領域の画像上の特徴量」とは、多角形の画像上における形状に関する情報であり、例えばロール角・ピッチ角算出において辺長を使用する場合は、画像上における多角形の各辺の長さとなる。例えば、仮想の多角形領域が五角形であり、その頂点をＡ、Ｂ、Ｃ、Ｄ、Ｅとした場合、辺ＡＢ、ＢＣ、ＣＤ、ＤＥ、ＥＡの画像上での長さである。なお、各辺の長さの算出は、後述する頂点特定部３２で特定された頂点Ａ〜Ｅの座標値に基づいて行われる。

上記「多角形領域の実空間上の特徴量」とは、多角形の実際の形状に関する情報であり、例えばロール角・ピッチ角算出において辺長を使用する場合は、実際の多角形の各辺の長さとなる。例えば、仮想の多角形領域は五角形であり、その頂点をＡ、Ｂ、Ｃ、Ｄ、Ｅとした場合、辺ＡＢ、ＢＣ、ＣＤ、ＤＥ、ＥＡの実際の長さである。または、例えば、仮想の多角形領域が正方形である場合、各辺長が等しいという事実、および、１辺の実際の長さである。

上記「カメラパラメータの算出」としては、例えば、以下の２つの方法がある。１つは、画像上の特徴量と実空間上の特徴量に基づく幾何的な関係から線形の連立方程式または非線形の１対１の対応テーブルを利用して一意に算出する方法である。もう１つは、画像上の特徴量と実空間上の特徴量から、画像上の多角形と実空間上の多角形の形状の一致度合いを示す評価値を求め、その評価値に基づいた最適化により算出する方法である。例えばロール角・ピッチ角算出は後者の方法であり、例えば実空間上の多角形の各辺の長さの比率と、対応する画像上の多角形の各辺の長さの比率から評価値を算出し、評価値が最小となるロール角、ピッチ角の組合せを求める。

以上のように、本実施の形態の画像処理装置１０は、キャリブレーション用マーカを撮影した画像から検出したマーカのエッジに基づいて、少なくともマーカ設置可能範囲外の領域を含む領域に仮想の多角形領域を生成し、その多角形領域に基づいてカメラパラメータを算出することを特徴とする。この特徴により、画像処理装置１０は、マーカ設置可能範囲が制限される場合でも、キャリブレーションの精度を確保できる。

（実施の形態２）
次に、実施の形態２について説明する。

本実施の形態におけるキャリブレーションの実施環境は、図２に示す実施の形態１の実施環境と同様である。

図４は、本実施の形態に係る画像処理装置１０の構成例を示すブロック図である。

図４において、画像処理装置１０は、画像取得部１、エッジ検出部２、多角形生成部３、カメラパラメータ算出部４、および画像歪補正・視点変換部５を有する。

画像取得部１は、カメラ２０で撮影されたカメラ画像を取得する。このカメラ画像は、マーカ６０が撮影された画像である。

画像歪補正・視点変換部５は、画像取得部１で取得されたカメラ画像に対して、そのカメラ画像に含まれる歪みを補正して中心射影の状態に変換し、かつ、予め設定された外部パラメータ（エクストリンシックパラメータ（Extrinsic Parameters）ともいう。カメラパラメータの一例）を用いて路面Ｒを上空から俯瞰した視点に変換する。なお、ここで用いられる外部パラメータは、画像歪補正・視点変換部５に始めから設定された初期の仮パラメータ、後述する仮パラメータ設定部４４で設定された仮パラメータ、及び、後述する角度特定部４５で特定されたパラメータのいずれかである。初期の仮パラメータには例えば、車両に対するカメラの設置角の設計値を設定する。

歪補正および視点変換の前後の画像の例を図５に示す。画像歪補正・視点変換部５は、図５Ａに示すカメラ画像に対して、歪み補正および視点変換を行うことで、図５Ｂに示す画像を生成する。

ここで、上述した歪補正および視点変換における座標の対応付けについて、それぞれ説明する。

まず、歪補正前の画像の座標と歪補正後の画像の座標は、光軸中心座標、焦点距離、レンズ歪み係数等からなる内部パラメータ（イントリンシックパラメータ（Intrinsic Parameters）ともいう。カメラパラメータの一例）を介して対応付けられる。内部パラメータは、予め算出された固定値として、画像歪補正・視点変換部５が記憶している。内部パラメータの算出方法は公知の方法でよい。この公知の方法としては、例えば、マス目サイズが既知のチェッカーボードを撮影し、その撮影画像からチェッカーボードのパターンの交点位置を検出し、交点の間隔ができるだけ均等になるように最適化することで、内部パラメータを算出する方法が挙げられる。なお、カメラのレンズが魚眼レンズである場合には、いわゆる等距離射影、立体射影といった、魚眼レンズに対応した射影変換に関する内部パラメータの算出を行えばよい。

次に、視点変換前の画像の座標と視点変換後の画像の座標は、路面に対するカメラの設置角、設置位置からなるカメラの外部パラメータを介して対応付けられる。カメラの設置角は、ロール角、ピッチ角、ヨー角で表現され、カメラの設置位置は、Ｘ座標、Ｙ座標、Ｚ座標で表現される。路面と車両の進行方向を基準とした３次元座標系において、例えば、Ｙ座標は路面に垂直な方向、Ｚ座標は車両進行方向に沿った方向、Ｘ座標はＹ座標およびＺ座標に垂直な方向と定義される。

歪補正および視点変換を行った後の座標を得るためには、座標に対して歪補正、視点変換の順に処理を実施する。歪補正および視点変換を行った後の画像を得るためには、例えば、ルックアップテーブルを用いて画像変換を行う。このルックアップテーブルは、歪補正および視点変換を行った後の座標を起点として、視点変換の逆変換、歪補正の逆変換を順に実施して対応する座標を求め、その対応関係を記載したものである。

図４に戻り、エッジ検出部２について説明する。

エッジ検出部２は、画像歪補正・視点変換部５で生成された画像に対して画像処理を実施することで、マーカ６０のエッジを検出する。

エッジ検出部２は、図６に示すように、マーカ領域特定部２１、フィルタリング部２２、および候補点抽出部２３を有する。

マーカ領域特定部２１は、画像歪補正・視点変換部５で生成された画像（例えば、図５Ｂの画像）から、マーカ６０の領域（以下、「マーカ領域」という）を特定する。マーカ領域特定後の画像の例を図７Ａに示す。図７Ａに示すように、マーカ６０の領域が特定されている。

マーカ領域の特定の方法としては、例えば、輝度情報を用いる方法、特徴点を検出する方法などを用いることができる。輝度情報を用いる方法では、路面の輝度とマーカの輝度の差異を利用してマーカを検出する。例えばキャリブレーションの実施環境における路面の輝度が低い場合には、輝度の高いマーカを路面上に設置し、カメラでマーカを撮影した後で、カメラ画像から輝度が一定値以上の部分を検出することにより、マーカ領域を特定する。一方、特徴点を検出する方法では、例えば一般的なHarrisのコーナ検出手法を使用することで、カメラ画像における輝度の変化量に基づいて、マーカの端点を複数検出する。

フィルタリング部２２は、マーカ領域特定後の画像（例えば、図７Ａの画像）に対して、特定のオペレータ（例えば、ラプラシアンオペレータ等）を用いて、フィルタリングを行う。フィルタリング後の画像の例を図７Ｂに示す。図７Ｂに示すように、マーカ６０の外周が特定されている。

候補点抽出部２３は、フィルタリング後の画像（例えば、図７Ｂの画像）に対して、一定の方向から輝度の変化を探索することで、候補点の集合からエッジを特定する。例えば、図８Ａに示すように、候補点抽出部２３は、マーカ６０の外周において、エッジ１１〜１４を特定する。図８Ａの例では、マーカ６０を構成する２つの三角形の斜辺が、それぞれ、エッジ１１〜１４として特定されている。図８Ｂは、エッジ１１を示す画像である。図８Ｃは、エッジ１２を示す画像である。図８Ｄは、エッジ１３を示す画像である。図８Ｅは、エッジ１４を示す画像である。

図４に戻り、多角形生成部３について説明する。

多角形生成部３は、エッジ検出部２で検出された複数のエッジに基づいて複数の直線を推定する。そして、多角形生成部３は、カメラ画像において、推定した複数の直線で囲まれた仮想の多角形領域を生成する。この仮想の多角形領域は、マーカ設置可能範囲外の領域を含む領域、すなわち、マーカ設置可能範囲とマーカ設置可能範囲外の両方を含む領域、または、マーカ設置可能範囲外のみの領域において生成される。

多角形生成部３は、図９に示すように、直線推定部３１および頂点特定部３２を有する。

直線推定部３１は、エッジ検出部２で検出された複数のエッジ（例えば、エッジ１１〜１４）に基づいて複数の直線を推定する。具体的には、直線推定部３１は、エッジの２次元座標列の情報に基づいて、一般的なパラメータ推定手法であるハフ変換を使用することで、直線のパラメータを推定する。推定された各直線の例を図１０Ａ〜Ｄに示す。図１０Ａは、エッジ１１を基に推定された直線１１’の画像である。図１０Ｂは、エッジ１２を基に推定された直線１２’の画像である。図１０Ｃは、エッジ１３を基に推定された直線１３’の画像である。図１０Ｄは、エッジ１４を基に推定された直線１４’の画像である。このように、直線１１’〜１４’は、それぞれ、エッジ１１〜１４を延長した線となる。

頂点特定部３２は、直線推定部３１で推定された直線同士の交点を特定する。直線同士の交点は、各直線を表現する方程式から導かれる連立方程式を解いて求められる。なお、どの直線とどの直線の交点を求めるかは予め定められているとする。特定された各交点の例を図１０Ｅに示す。図１０Ｅにおいて、直線１１’と直線１２’との交点Ａ、直線１２’と直線１３’との交点Ｂ、直線１３’と直線１４’との交点Ｃ、直線１４’と直線１１’との交点Ｄが、それぞれ特定されている。このようにして特定された交点Ａ、Ｂ、Ｃ、Ｄは、仮想の多角形領域を構成する頂点となる。よって、以下では、交点Ａ、Ｂ、Ｃ、Ｄを、それぞれ、頂点Ａ、Ｂ、Ｃ、Ｄという。なお、本実施の形態において、生成される仮想の多角形領域は、例として正方形とする。

このようにして、直線推定部３１により直線が推定され、頂点特定部３２により頂点が特定されることで、その直線と頂点で囲まれた多角形領域が、仮想の多角形領域として生成される。なお、この仮想の多角形領域が生成される範囲の具体例については、図１４を用いて後述する。

図４に戻り、カメラパラメータ算出部４について説明する。

カメラパラメータ算出部４は、多角形生成部３で生成された仮想の多角形領域の画像上の特徴量と、仮想の多角形領域の実空間上の特徴量とに基づいて、カメラパラメータ（例えば、カメラ２０についての、ロール角、ピッチ角、および高さ）を算出する。ここでいう「画像上の特徴量」と「空間上の特徴量」の定義、および「カメラパラメータの算出」の例については、実施の形態１で説明した通りである。

カメラパラメータ算出部４は、図１１に示すように、ロール角およびピッチ角を算出するロール・ピッチ算出部４１、および、高さを算出する高さ算出部４２を有する。

ロール・ピッチ算出部４１は、図１１に示すように、評価値算出部４３、仮パラメータ設定部４４、および角度特定部４５を有する。

評価値算出部４３は、多角形生成部３で生成された仮想の多角形領域の４辺の長さを示す情報に基づいて、画像上の多角形と実空間上の多角形の形状の一致度合いを示す評価値を算出する。仮想の多角形領域が正方形である場合、評価値は、画像上の多角形の正方形らしさを示す値とする。本実施の形態では、評価値として多角形の４辺の長さの標準偏差を用いるものとする。具体的には、多角形の４辺の長さをそれぞれＬ１からＬ４、４辺の長さの平均値をＬ_ｍとしたとき、評価値Ｅは以下の式（１）で算出される。

仮想の多角形領域が正方形に近いほど、評価値、すなわち多角形の４辺の長さの標準偏差は小さな値となる。図１２は正方形らしさの違いの例を示すものである。図１２Ａと図１２Ｂのそれぞれにおいて、画像上の多角形７０と正確な正方形８０を比較すると、図１２Ａの方がより正方形に近い形状となっており、多角形の４辺の長さの標準偏差である評価値の値も図１２Ａの方が小さな値となる。

なお、上記では、評価値として多角形を成す辺の長さの標準偏差を使用したが、多角形の各頂点における角度の標準偏差を使用してもよく、また、辺の長さと角度の大きさの両方を使用して、それぞれに重み付けをして評価値を決定してもよい。

仮パラメータ設定部４４は、ロール角およびピッチ角の仮パラメータを設定し、その仮パラメータを画像歪補正・視点変換部５へ出力する。その後、画像歪補正・視点変換部５は、上述した通り、仮パラメータに基づいて、歪補正および視点変換を実行する。

また、仮パラメータ設定部４４は、評価値算出部４３で算出された評価値と、その評価値を算出するために用いた仮パラメータとのペアを、評価値リストに記載する。そして仮パラメータ設定部４４は、画像歪補正・視点変換部５における、ロール角およびピッチ角の仮パラメータの値を更新する。仮パラメータの値の更新は、予め定められた値の組合せを総当りするようにしても良いし、今回算出された評価値とこれまでに算出された評価値との傾向に基づいて、次のロール角およびピッチ角の仮パラメータを設定するようにしても良い。仮パラメータ設定部４４は、評価値リストの内容がロール角とピッチ角を特定するために十分であると判断した場合、角度特定部４５に処理を依頼する。

角度特定部４５は、仮パラメータ設定部４４で記憶されている評価値リストに基づいて、ロール角およびピッチ角を特定する。角度の特定方法としては、例えば図１３Ａに示すように、評価値が最小（例えば、０．９６）となったケースに対応するロール角（例えば、１０度）およびピッチ角（例えば、８０度）を解として特定してもよい。または、より高精度な値を特定する必要がある場合、例えば図１３Ｂに示すように、ピッチ角（例えば、８０度）と評価値の関係から直線をフィッティングすることで、より厳密なロール角（例えば、９．９６度）を特定してもよい。

また、角度特定部４５は、画像歪補正・視点変換部５に対して、特定したカメラパラメータであるロール角およびピッチ角を出力するとともに、それらを使用した歪補正および視点変換を依頼する。その後、画像歪補正・視点変換部５は、カメラパラメータに基づいて、歪補正および視点変換を実行する。

高さ算出部４２は、多角形生成部３で生成された仮想の多角形領域の４辺の長さを示す情報に基づいて、高さを算出する。例えば、多角形領域が正方形である場合、高さ算出部４２は、正方形の４辺の長さの平均値から、その正方形の辺の長さの代表値を算出する。そして、高さ算出部４２は、図１４に示す辺の長さと高さの関係を示すテーブルに基づいて、辺の長さの代表値を入力して対応する高さを算出する。例えば、カメラ画像における正方形の辺の長さが１２５画素である場合、図１４のテーブルを参照することにより、カメラの高さ１２０ｃｍを得られる。なお、図１４に示すテーブルは、例えば、高さ算出部４２が予め記憶しているとする。

以上のようにして、カメラパラメータ算出部４は、カメラ２０のカメラパラメータとして、ロール角、ピッチ角、および高さを算出する。

以下、本実施の形態における効果について説明する。

まず、マーカとキャリブレーション精度との関係について説明する。キャリブレーションの精度を向上させるためには、多角形を構成する直線を、精度良く推定する必要がある。上述した通り、直線推定部３１による直線推定の精度は、直線を構成する点の候補である候補点の集合に依存する。よって、候補点の集合がカメラ画像において幅広い範囲にわたって存在する（換言すれば、エッジの長さが長い）ほど、その候補点の集合に基づいて行われる直線推定の精度も良くなる。

従来技術（例えば、特許文献２の技術）と本実施の形態とで一致する点は、いずれもキャリブレーションに多角形を使用し、その多角形に基づいてカメラパラメータを算出する点である。

一方、従来技術と本実施の形態とで異なる点は、従来技術ではマーカ自体を多角形として検出する必要があるが、本実施の形態ではその必要がない点である。すなわち、従来技術では、設置されるマーカの大きさおよび形状は、検出される大きさおよび形状と同一でなくてはならない。よって、従来技術では、例えば図１５Ａに示すように、マーカ設置可能範囲が領域ｂだけに制限されている場合、その領域ｂから多角形（例えば、正方形）がはみ出さないようにマーカ６１を設置する必要がある。そのため、マーカ６１のサイズも制限され、正方形の１辺の長さＬ１も短くなる。

これに対して本実施の形態の場合、マーカから検出したエッジを基に直線を推定し、その直線から仮想の多角形を生成することを特徴とする。すなわち、本実施の形態では、設置されるマーカの大きさおよび形状は、検出されるマーカの大きさおよび形状と同一でなくてよい。よって、マーカの形状および設置位置を工夫することにより、マーカの設置可能範囲からはみ出して、仮想の多角形領域を生成することができる。例えば図１５Ｂにおいて、図１５Ａと同様にマーカ設置可能範囲が領域ｂだけに制限されている場合でも、三角形２個を隣り合うように並べた形状であるマーカ６０を領域ｂに設置することで、２つの三角形の各斜辺の延長線で定義される仮想の多角形領域７０を、領域ｂ以外の位置に生成することができる。この仮想の多角形領域７０の形状は正方形であるが、その１辺の長さＬ１は、図１５Ａに示す正方形のマーカ６１における１辺の長さＬ１と比較して、２倍の長さである。このように、本実施の形態では、マーカ設置可能範囲が制限されていても、従来技術で得られる多角形領域よりも大きな多角形領域を仮想的に得ることができるので、キャリブレーション精度を確保できる。

なお、本発明の実施の形態１、２では、マーカのエッジを検出し、それを基に直線を推定する例について説明したが、マーカの特徴点を検出し、それを基に直線を推定してもよい。

また、本発明の実施の形態１、２において、マーカおよび仮想の多角形領域については、上述したものに限られず、種々の変形が可能である。以下、その変形例について説明する。

例えば、上記実施の形態１、２では、図２に示すように、車両１００の側面側にある領域ｂ（マーカ設置可能範囲）のうちの一方に１つだけ、マーカ６０を設置する例について説明したが、設置数および設置位置はこれに限定されない。例えば、図１６に示すように、車両１００の側面側にある領域ｂの一方にマーカ６０ａ、６０ｂを、もう一方にマーカ６０ｃ、６０ｄを設置してもよい。なお、マーカ６０ａ、６０ｂ、６０ｃ、６０ｄは、それぞれ、図２、図１５Ｂに示すマーカ６０と同じものである。

図１６に示すマーカの設置の場合において生成される仮想の多角形領域７０は、図１７に示すように、マーカ６０ａとマーカ６０ｃに基づいて推定された２つの直線と、マーカ６０ｂとマーカ６０ｄに基づいて推定された２つの直線とによって定義され、かつ、マーカ設置可能範囲外である領域ａに配置される。仮想の多角形領域７０は、正方形である。

図１６、図１７に示す例の場合、離れた位置に設置された２つのマーカ（例えば、マーカ６０ａとマーカ６０ｃ）を用いて同じ直線を推定しているので、図２、図１５Ｂの場合と比べて、直線の推定精度が向上する。その結果、キャリブレーションの精度も向上する。なお、同じ直線を推定するために用いる２つのマーカは、そのマーカから検出されるエッジの傾きが同じである必要がある。

図１８は、平行四辺形のマーカ６２ａ〜６２ｄを設置した場合を示す図である。図１８において、車両１００の側面側にある領域ｂの一方にマーカ６２ａ、６２ｂが、もう一方にマーカ６２ｃ、６２ｄが設置されている。この場合、図１７と同様に、マーカ６２ａとマーカ６２ｃにより直線が２本推定され、マーカ６２ｂとマーカ６２ｄにより直線が２本推定される。そして、推定された各直線によってマーカ設置可能範囲外である領域ａに仮想の多角形領域７０が生成される。仮想の多角形領域７０は、正方形である。

図１８に示す平行四辺形のマーカ６２ａ〜６２ｄを設置する場合、三角形を横並びに並べたマーカ６０を設置した場合と比較して、三角形同士の位置関係のずれの影響が軽減でき、よりキャリブレーションの精度が向上する。

図１９Ａは、直線形状（細長い平行四辺形）のマーカ６３ａ〜６３ｊを設置した場合を示す図である。図１９Ａにおいて、車両１００の側面側にある領域ｂの一方にマーカ６３ａ〜６３ｅが、もう一方にマーカ６３ｆ〜６３ｊが設置されている。この場合、マーカ６３ａとマーカ６３ｈにより直線が１本推定され、マーカ６３ｂとマーカ６３ｊにより直線が１本推定される。また、マーカ６３ｃとマーカ６３ｆにより直線が１本推定され、マーカ６３ｄとマーカ６３ｉにより直線が１本推定され、マーカ６３ｅとマーカ６３ｇにより直線が１本推定される。そして、推定された各直線によって仮想の多角形領域７１がマーカ設置可能範囲外である領域ａに生成される。仮想の多角形領域７１は、五角形である。

図１９Ａの場合において、どのマーカのエッジ同士を接続すればよいのかを明確にするため、マーカに対して彩色してもよい。例えば、マーカ６３ａおよびマーカ６３ｈを黄色、マーカ６３ｂおよびマーカ６３ｊを青色のように、エッジを接続するマーカの組ごとに異なる色で彩色されたマーカを用いる。これにより、仮想の多角形の辺の特定も可能となる。例えば、マーカ６３ａ、６３ｈにより推定された直線に含まれる辺Ｌ１１、マーカ６３ｂ、６３ｊにより推定された直線に含まれる辺Ｌ１２を特定できる。

車両の設置位置が常に同じ場合、カメラ画像上のマーカ位置は常に同じ位置になる。そのため、カメラ画像上のマーカのエッジをもとに特定された直線によって生成される仮想の多角形も、カメラ画像において常に同じ位置になる。しかし、仮想の多角形に対して大きく傾けて車両を設置した場合、カメラ画像における仮想の多角形は大きく回転する。そして、車両設置の傾き具合が不明確な場合には、仮想の多角形の辺と実空間における多角形の辺の対応も不明確になる。上述したように、エッジを接続するマーカの組ごとに異なる色で彩色されたマーカを用いることで、仮想の多角形の辺と実空間における多角形の辺の対応付けが容易となる。

仮想の多角形領域として五角形が生成された場合、カメラパラメータ算出部４は、仮想の多角形の特定の一辺の画像上での長さと実空間での長さ、または辺の長さの比を用いることにより、実施の形態２に記載したような評価値を求める手法によってカメラパラメータを算出できる。

図１９Ｂは、直線（細長い平行四辺形）のマーカ６３ａ〜６３ｊの代わりに台形のマーカ６４ａ〜６４ｆを設置し、図１９Ａと同じ五角形を形成した場合を示す図である。図１９Ｂにおいて、例えば、マーカ６４ａは、図１９Ａに示すマーカ６３ａおよびマーカ６３ｂのエッジと同じエッジを検出可能な台形である。マーカ６４ａから検出される２つのエッジは、マーカ６４ｅから検出されるエッジの１つおよびマーカ６４ｆから検出されるエッジと接続される。これにより、Ｌ１１、Ｌ１２の２つの直線が推定される。他の直線も、図１９Ａと同様に推定される。そして、各直線によって仮想の多角形領域７１として五角形が生成され、マーカ設置可能範囲外である領域ａに配置される。

図２０は、図１９Ｂと同様に、台形のマーカ６５ａ〜６５ｄを設置した場合を示す図である。図２０においても、台形のマーカ６５ａ〜６５ｄのエッジを基に図１９と同様複数の直線が推定されるが、領域ａに形成される仮想の多角形領域７２は三角形である。

図２１Ａは、円のマーカ６６ａ〜６６ｈを設置した場合を示す図である。この例では、直線推定部３１は、検出された２つのマーカのカメラ画像における重心位置を接続することにより、直線を特定する。例えば、マーカ６６ａとマーカ６６ｇにより直線が１本推定され、マーカ６６ｂとマーカ６６ｈにより直線が１本推定される。また、マーカ６６ｃとマーカ６６ｅにより直線が１本推定され、マーカ６６ｄとマーカ６６ｆにより直線が１本推定される。そして、推定された各直線によって仮想の多角形領域７０がマーカ設置可能範囲外である領域ａに生成される。仮想の多角形領域７０は、正方形である。

図２１Ｂは、平行四辺形のマーカ６７ａ、６７ｄ、６７ｅおよび台形のマーカ６７ｂ、６７ｃ、６７ｆを設置した場合を示す図である。この場合では、多角形生成部３が、仮想の多角形領域の頂点ｃ１に加えて、辺上の特定の点ｃ２を抽出する。例えば、多角形生成部３は、エッジ検出部２が検出したエッジに基づいて直線を推定し、直線の交点、すなわち頂点ｃ１と点ｃ２を抽出する。カメラパラメータ算出部４は、頂点ｃ１と点ｃ２のカメラ画像上の位置と、実空間上での位置とに基づいて、カメラパラメータを算出する。

なお、上記図１７〜図２１において、各マーカは、車両１００の側面側にある領域ｂの両方に設置される例としたが、図２Ｂ、図１５Ｂの場合のように、一方の領域ｂだけに設置するようにしてもよい。

以上、本発明の実施の形態１、２およびその変形例について説明したが、本発明は、上記説明に限定されず、その趣旨を逸脱しない範囲においての変形を可能とする。

本発明は、カメラパラメータを算出する技術（例えば、装置、システム、方法、プログラムなど）に有用である。

１０ 画像処理装置
１ 画像取得部
２ エッジ検出部
３ 多角形生成部
４ カメラパラメータ算出部
５ 画像歪補正・視点変換部
２０ カメラ
２１ マーカ領域特定部
２２ フィルタリング部
２３ 候補点抽出部
３１ 直線推定部
３２ 頂点特定部
４１ ロール・ピッチ算出部
４２ 高さ算出部
４３ 評価値算出部
４４ 仮パラメータ設定部
４５ 角度特定部

Claims (6)

1. キャリブレーション用のマーカが撮影された画像を取得する画像取得部と、
   前記画像において前記マーカのエッジまたは特徴点を検出するエッジ検出部と、
   前記エッジまたは特徴点に基づいて複数の直線を推定し、前記複数の直線に囲まれ、かつ、前記画像において前記マーカが設置されている領域以外の領域を含む仮想の多角形領域を生成する多角形生成部と、
   前記仮想の多角形領域の前記画像上の特徴量と、前記仮想の多角形領域の実空間上の特徴量とに基づいて、カメラパラメータを算出するカメラパラメータ算出部と、を備える、
   画像処理装置。
2. 前記多角形生成部は、
   前記画像において離れて存在するマーカの、複数のエッジまたは特徴点に基づいて同一の直線を推定する、
   請求項１記載の画像処理装置。
3. 前記カメラパラメータ算出部は、
   前記仮想の多角形領域の実空間上の特徴量を、前記仮想の多角形領域を構成する各辺の長さまたは各頂点における角度とする、
   請求項１記載の画像処理装置。
4. キャリブレーションに用いられるマーカであって、
   前記マーカが撮影された画像において前記マーカのエッジまたは特徴点が検出され、前記エッジまたは特徴点を基に複数の直線が推定され、前記複数の直線に囲まれた仮想の多角形領域を、前記画像において前記マーカが設置されている領域以外の領域を含む領域に生成するために用いられる、
   マーカ。
5. 前記マーカのエッジまたは特徴点は、前記画像において離れて存在する別のマーカのエッジまたは特徴点と同一の直線の推定に使用される、
   請求項４記載のマーカ。
6. 直角二等辺三角形を並べた形状であり、前記直角二等辺三角形の斜辺が前記マーカのエッジとして検出され、または、前記直角二等辺三角形の頂点が前記マーカの特徴点として検出される、
   請求項４または５記載のマーカ。