JP2008209354A - キャリブレーション方法及び装置、並びに自動検知装置 - Google Patents

Abstract

【課題】例えば車両のカメラである、撮像手段の設置俯角を導出するためのキャリブレーション方法において、比較的簡単に、撮像手段の設置俯角を導出する。
【解決手段】キャリブレーション方法は、撮像手段（３００）により撮像可能な範囲に収まるように且つターゲット面上に配列された複数のターゲット（１１１、１１２、１２１、１２２）を夫々含むと共に、撮像手段からターゲット面までの距離が相異なるように夫々配置された複数のターゲット郡を用いて、撮像手段の設置俯角を導出する。キャリブレーション方法は、撮像手段の光軸と前記ターゲット面との交点の、少なくとも前記ターゲット面に沿った一方向についての位置を取得する交点取得工程と、取得された交点の位置と複数のターゲット郡間における前記ターゲット面の相対位置とに基づいて、設置俯角を取得する設置俯角取得工程とを備える。
【選択図】図２

Description

本発明は、例えば自動車等に搭載されるカメラの設置俯角を導出するためのキャリブレーション方法及び装置、並びにこのように導出された設置俯角を利用した歩行者検知装置などの自動検知装置の技術分野に関する。

この種のキャリブレーション方法として、例えばカメラ等の撮像装置により、予め設置されたターゲットを撮像することで、撮像装置の設置角度を計測するものがある。

例えば、地面に置かれたキャリブレーションパターンを撮像し、その際の光の入射角を用いて、カメラの設置角度を演算するという技術が知られている（特許文献１参照）。また、２つのターゲットを同時に撮像し、夫々のパターンの相対位置からカメラの設置角度を演算するという技術が知られている（特許文献２参照）。更に、カメラによる横方向のスキャンを繰り返すことで、道路の中央仕切りラインを検出し、そのラインの情報から設置角度を演算するという技術が知られている（特許文献３参照）。

特開２００１−１１６５１５号公報 特開２００５−７７１０７号公報 特開２００６−１８４２７６号公報

しかしながら、上述したような技術においては、例えば、視野、解像度、レンズ歪み等のカメラの内部パラメータや、カメラとターゲットとの相対位置等が既知で無い場合に、設置角度を演算することができないという技術的問題点がある。或いは、工場の床などの水平面上に正確に位置決めされたターゲットに対し、カメラが搭載された車両を同様に正確に位置決めする、即ち正確に車両を停車させる必要性があるようでは、その実践は極めて困難となる。

本発明は、例えば上述した問題点に鑑みなされたものであり、比較的簡単に、撮像手段の設置俯角を導出可能なキャリブレーション方法及び装置、並びに、このように導出された設置俯角を用いて適切に検知範囲を設定可能な自動検知装置を提供することを課題とする。

本発明のキャリブレーション方法は上記課題を解決するために、撮像手段により撮像可能な範囲に収まるように且つターゲット面上に配列された複数のターゲットを夫々含むと共に、前記撮像手段から前記ターゲット面までの距離が相異なるように夫々配置された複数のターゲット郡を用いて、前記撮像手段の設置俯角を導出するキャリブレーション方法であって、前記撮像手段の光軸と前記ターゲット面との交点の、少なくとも前記ターゲット面に沿った一方向についての位置を取得する交点取得工程と、該取得された交点の位置と前記複数のターゲット郡間における前記ターゲット面の相対位置とに基づいて、前記設置俯角を取得する設置俯角取得工程とを備える。

本発明に係るキャリブレーション方法によれば、撮像手段により撮像可能な範囲において、複数のターゲットがターゲット面上に配列され、ターゲット郡をなしている。ターゲット郡は複数存在し、撮像手段からターゲット面までの距離が相異なるように夫々配置されている。また、複数のターゲット郡間におけるターゲット面の相対位置は予め測定されている。ここで特に、複数のターゲット郡は、例えば工場の床上に配置され且つ固定されるので、ターゲット面間の相対位置については、極めて高精度で測定された既知の値とされる。そして設置俯角導出時には、典型的には撮像手段で取得される画像の中央に一致する撮像手段の光軸と、ターゲット面との交点について、少なくともターゲット面に沿った一方向についての位置（例えば、ターゲット郡が配置された床からの高さ）が取得される。ここで交点の位置は、例えば撮像手段によって撮像された画像に基づいて取得される。この取得された交点位置と、複数のターゲット郡間におけるターゲット面の相対位置とに基づいて、撮像手段の設置俯角が取得される。

尚、ここで用いられるターゲットは、撮像手段により撮像された画像において、ターゲットであると識別できるものであれば、どのような形状であってもよい。またターゲット面とは、幾何学的に定義される面であり、典型的には平面である。ターゲット面は、例えば平板状の支持部材の表面と一致していてもよいし、ターゲットの支持の仕方によっては、空中に存在していてもよい。

本発明では特に、予め複数のターゲット郡間におけるターゲット面の相対位置を測定しておくことにより、実際の設置俯角の測定時には、撮像手段の光軸とターゲット面との交点について、少なくともターゲット面に沿った一方向についての位置が測定できれば、撮像手段の設置俯角の導出が行える。即ち、例えば撮像手段とターゲットとの距離や、撮像手段の内部パラメータ（視野、解像度、レンズ歪み等）が既知でなくともよい。

仮に、撮像手段とターゲットとの距離や、撮像手段の内部パラメータ等を用いて撮像手段の設置俯角を導出する場合には、撮像手段毎にそれらが変化する可能性があるため、設置俯角の導出を行う度に測定及び調査を行わねばならない。

しかるに本発明では特に、撮像手段とターゲットとの距離や、撮像手段の内部パラメータ等を用いなくともよいため、設置俯角を導出する撮像手段が変わる度に、それらの測定及び調査等を行わなくともよい。例えば、視野、解像度、レンズ歪み等のカメラの内部パラメータや、カメラとターゲットとの相対位置等が既知で無い場合であっても、設置角度を演算できる。また例えば、工場の床などの水平面上に対し、カメラが搭載された車両を正確に位置決めする、即ち正確に車両を停車させる必要性もないので、実用上、非常に便利である。特に、連続して複数の撮像手段の設置俯角の導出を行う場合に、撮像手段の設置位置や種類等が撮像手段毎に頻繁に変わる場合等に、その効果が顕著に発揮される。

以上のように本発明によれば、比較的簡単に、カメラ等の撮像手段の設置俯角を導出できる。

本発明のキャリブレーション方法の一態様では、前記複数のターゲット郡は夫々、一の基準面から夫々立ち上がるように配置されており、前記交点取得工程は、前記交点の位置として、前記交点の前記基準面からの高さを取得する。

この態様によれば、複数のターゲット郡は、一の基準面から夫々立ち上がるように配置される。即ち、複数のターゲット郡に含まれるターゲットは夫々、基準面に対して高さ方向に位置を示すパラメータを持つ。そして設置俯角導出時には、撮像手段の光軸とターゲット面との交点の位置として、基準面からの高さが取得される。

ここで基準面とは、幾何学的に定義される面であり、典型的には水平面である。例えばターゲット郡が配置される工場の床である。また複数のターゲット郡は、例えばこの基準面に対し鉛直方向に配置される。

本発明では特に、複数のターゲット郡を夫々、一の基準面から夫々立ち上がるように配置することで、撮像手段の光軸とターゲット面との交点との位置として、高さというパラメータを取得することが可能となる。交点の高さを取得することで、この高さと複数のターゲット郡間におけるターゲット面の相対位置とに基づいて、撮像手段の設置俯角の導出を行うことが可能である。言い換えれば、かかる交点について高さ以外の座標を取得することなく、撮像手段の設置俯角の導出を行うことが可能である。よって、比較的簡単な方法で撮像手段の設置俯角の導出が行える。

上述した複数のターゲット郡が夫々、一の基準面から夫々立ち上がるように配置され、交点の位置として、交点の基準面からの高さを取得する態様では、前記交点取得工程は、前記複数のターゲット郡毎に、前記ターゲットの前記基準面からの高さと、前記撮像手段により撮像される画像内における前記ターゲットの位置と、前記画像内における前記光軸の高さとに基づいて、前記交点の高さを取得するように構成されてもよい。

このように構成すれば、ターゲットの基準面からの高さと、撮像手段により撮像された画像内におけるターゲットの位置及び光軸の高さとに基づいて、撮像手段の光軸とターゲット面との交点の高さがターゲット郡毎に取得される。

画像内におけるターゲットの位置及び光軸の高さが分かれば、それらに基づいてターゲットと光軸との相対位置を算出することが可能である。そして、算出された相対位置と、ターゲットの基準面の高さとから、交点の基準面からの高さを取得することができる。よって、撮像手段の設置俯角の導出を行うことが可能となる。

上述した複数のターゲット郡が夫々、一の基準面から夫々立ち上がるように配置され、交点の位置として、交点の基準面からの高さを取得する態様では、前記複数のターゲット郡は夫々、前記基準面からの高さが相異なる前記ターゲットを少なくとも２つ含むように構成してもよい。

このように構成すれば、複数のターゲット郡には夫々、基準面からの高さが相異なるターゲットが少なくとも２つ含まれているため、撮像手段の光軸とターゲット面との交点の基準面からの高さを取得する際に、少なくとも２つのターゲットを使用することが可能である。

仮に、ターゲット郡に高さが相異なるターゲットが含まれていないとすると、ターゲットから光軸までの高さ方向の距離は、１つの値しか得られない。

しかしながら、例えばターゲット郡に２つの高さが相異なるターゲットが含まれているとすると、一のターゲットから光軸までの距離と、他のターゲットから光軸までの距離とを得ることができ、この２つの値から撮像手段の光軸とターゲット面との交点の高さを取得することができる。このように、より多くの情報を用いて交点の高さを取得するため、より正確な高さを取得することが可能となる。取得される交点の高さの精度が向上することにより、それを用いて導出される撮像手段の設置俯角の精度も向上する。

本発明のキャリブレーション方法の他の態様では、前記設置俯角取得工程は、前記複数のターゲット郡間における前記取得された交点の位置の差と、前記複数のターゲット郡間における前記ターゲット面間の距離とに基づいて、前記設置俯角を取得する。

この態様によれば、複数のターゲット郡間における取得された交点の位置の差（即ち、一の交点の位置と他の交点の位置とを相互に比較して算出される値）と、複数のターゲット郡間におけるターゲット面間の距離とに基づいて、撮像手段の設置俯角が取得される。

複数のターゲット郡間における取得された交点の位置の差は、一の方向についての夫々の交点の相対位置を示す値である。また、複数のターゲット郡間におけるターゲット面間の距離は、他の方向についての夫々の交点の相対位置を示す値である。即ち、夫々の交点の相対位置が、相異なる２つの方向について取得されている。この場合、夫々の交点の相対位置は二次元上で一意的に決定される。よって、夫々の交点を結ぶ直線の角度を取得することができ、撮像手段の設置俯角を導出することが可能となる。

本発明のキャリブレーション方法の他の態様では、前記ターゲットは、前記複数のターゲット郡毎に、ターゲット支持体により支持されている。

この態様によれば、複数のターゲット支持体夫々に、複数のターゲットがターゲット郡毎に指示されている。例えば、平板状或いは板状のターゲット支持体の表面上に、複数のターゲットが配列される。尚この場合には、ターゲット支持体の表面がターゲット面となり、ターゲット面がより明確に定義される。よって、予め複数のターゲット郡間におけるターゲット面の相対位置を測定する作業が容易となる。

尚、ターゲット支持体は、例えば極薄い板のような平面的なものであってもよいし、箱型の立体的なものであってもよい。また、より複雑な形状や支持機構を有していてもよく、いずれの場合にも、ターゲット面は、複数のターゲットが配列された面として幾何学的に定義される。

本発明のキャリブレーション方法の他の態様では、前記交点取得工程は、前記複数のターゲットのうち、前記光軸を挟む２つのターゲットを用いて前記交点の位置を取得する。

この態様によれば、撮像手段の光軸とターゲット面との交点の位置は、撮像手段の光軸を挟む２つのターゲットを用いて取得される。

ここで、撮像手段の光軸を挟む２つのターゲットとは、例えば撮像された画像において水平方向に延びる光軸に対し、その上側に位置するターゲットと下側に位置するターゲットとを指す。尚、光軸を挟む２つのターゲットであれば、どのターゲットを用いてもよいが、光軸からの距離が近いターゲットを用いた方が、より高い精度で交点の位置を算出することができる。

撮像手段の光軸を挟む２つのターゲットを用いることによって、撮像手段の光軸を挟まない２つのターゲットを用いる場合と比較して、より高い精度で交点の位置を算出することができる。従って、撮像手段の設置俯角の導出においても、精度をより向上させることが可能となる。

本発明のキャリブレーション方法の他の態様では、前記複数のターゲット郡毎に、前記複数のターゲットのうち、少なくとも１つのターゲットは、他のターゲットと異なるパターンを有している。

この態様によれば、複数のターゲット郡毎に、少なくとも１つのターゲットが、他のターゲットと異なるパターンを有しており、ターゲット郡における基準となるようなターゲットが、少なくとも１つ存在するように構成されている。

ターゲットに、他のターゲットと異なるパターンを持たせるためには、例えばターゲットに貫通穴を設けたり、ターゲットの形や色を変えたりすればよい。即ち、撮像手段により撮像された画像において、一のターゲットが、他のターゲットと区別可能となるのであれば、どのようなパターンであってもよい。また、複数のターゲット或いは全てのターゲットに、互いに異なるパターンを持たせて、夫々のターゲットが互いに区別可能となるようにしてもよい。

他と異なるパターンを有するターゲットが存在することにより、例えばターゲット郡に含まれる複数のターゲットが部分的にしか撮像範囲に入っておらず、撮像された画像内のターゲットが、ターゲット郡におけるどのターゲットであるか識別できないような場合に、異なるパターンを持ったターゲットを基準として、他のターゲットの識別が可能となる。

仮に各ターゲットの識別ができないとすると、ターゲットと撮像手段の光軸との距離等を取得することが困難である。このため、撮像手段の光軸とターゲット面との交点の位置を取得することができず、撮像手段の設置俯角は導出できない。

しかるに本発明では特に、ターゲット郡毎に、複数のターゲットのうち、少なくとも１つのターゲットは、他のターゲットと異なるパターンを有しているため、ターゲット郡が部分的にしか撮像されないような場合であっても、異なるパターンを有するターゲットが写っておりさえすれば、各ターゲットを識別可能である。よって、撮像手段の光軸とターゲット面との交点の位置を取得し、撮像手段の設置俯角を導出することができる。

本発明のキャリブレーション方法の他の態様では、前記複数のターゲット郡毎に、前記複数のターゲットのうち、少なくとも１つのターゲットに対し、他のターゲットと区別するための識別マークが付与されている。

この態様によれば、複数のターゲット郡毎に、少なくとも１つのターゲットに対し、他のターゲットと区別するための識別マークが付与されており、ターゲット郡における基準となるようなターゲットが、少なくとも１つ存在するように構成されている。

識別マークは、例えば数字やアルファベット等の文字であり、ターゲットと重なるように又はターゲットの周囲に設けられる。この識別マークは、撮像手段により撮像された画像において、一のターゲットが、他のターゲットと区別可能となるのであれば、どのようなものであってもよい。また、複数のターゲット或いは全てのターゲットに、互いに異なる識別マークを付与して、夫々のターゲットが互いに区別可能となるようにしてもよい。

識別マークが付与されたターゲットが存在することにより、例えばターゲット郡に含まれる複数のターゲットが部分的にしか撮像範囲に入っておらず、撮像された画像内のターゲットが、ターゲット郡におけるどのターゲットであるか識別できないような場合に、識別マークが付与されたターゲットを基準として、他のターゲットの識別が可能となる。

仮に各ターゲットの識別ができないとすると、ターゲットと撮像手段の光軸との距離等を取得することが困難である。このため、撮像手段の光軸とターゲット面との交点の位置を取得することができず、撮像手段の設置俯角は導出できない。

しかるに本発明では特に、ターゲット郡毎に、複数のターゲットのうち、少なくとも１つのターゲットは、他のターゲットと区別するための識別マークが付与されているため、ターゲット郡が部分的にしか撮像されないような場合であっても、識別マークが付与されたターゲットが写っておりさえすれば、各ターゲットを識別可能である。よって、撮像手段の光軸とターゲット面との交点の位置を取得し、撮像手段の設置俯角を導出することができる。

本発明のキャリブレーション装置は上記課題を解決するために、撮像手段により撮像可能な範囲に収まるように且つターゲット面上に配列された複数のターゲットを夫々含むと共に、前記撮像手段から前記ターゲット面までの距離が相異なるように夫々配置された複数のターゲット郡を用いて、前記撮像手段の設置俯角を導出するキャリブレーション装置であって、前記撮像手段の光軸と前記ターゲット面との交点の、少なくとも前記ターゲット面に沿った一方向についての位置を取得する交点取得手段と、該取得された交点の位置と前記複数のターゲット郡間における前記ターゲット面の相対位置とに基づいて、前記設置俯角を取得する設置俯角取得手段とを備える。

本発明に係るキャリブレーション装置によれば、撮像手段により撮像可能な範囲に収まるように且つターゲット面上に配列された複数のターゲットを夫々含むと共に、撮像手段からターゲット面までの距離が相異なるように夫々配置された複数のターゲット郡が用いられる。このため、予め複数のターゲット郡間におけるターゲット面の相対位置を測定しておくことで、撮像手段の光軸とターゲット面との交点に位置が、撮像手段と夫々のターゲットとの距離や、撮像手段の内部パラメータ等を用いなくとも取得される。よって、設置俯角を導出する撮像手段が変わる度に、撮像手段と夫々のターゲットとの距離や、撮像手段の内部パラメータ等の測定及び調査等を行わなくともよい。従って、撮像手段の設置俯角の導出を比較的簡単に行うことが可能となる。

本発明の自動検知装置は上記課題を解決するために、撮像手段と、該撮像手段を車両本体に固定する固定手段と、前記撮像手段により撮像可能な範囲のうち高さ方向に制限された所定幅を有すると共に水平方向に延びる帯状の検知範囲内で、前記撮像手段により撮像される対象物についての所定種類の自動検知を行う自動検知手段とを備え、前記検知範囲は、上述した本発明のキャリブレーション方法（但し、その各種態様を含む）により導出された前記設置俯角に基づいて、前記撮像手段及び前記固定手段に対して設定されている。

本発明に係る自動検知装置によれば、例えば車両に固定されたカメラである撮像手段によって、例えば車両の走行中に、人などの対象物が撮像される。すると、この対象物についての所定種類の自動検知が、自動検知手段によって、帯状の検知範囲内で行われる。ここで、かかる帯状の検知範囲は、上述した本発明のキャリブレーション方法により導出された設置俯角に基づいて、撮像手段及び固定手段に対して設定されている。

自動検知手段の検知範囲は、高さ方向に制限された所定幅を持つ水平方向に延びる帯状の範囲であるため、仮に撮像手段の正確な設置俯角が取得されていないとすると、検知範囲の高さを知ることができない。即ち、正確な検知が行えないおそれがある。

しかるに本発明では特に、検知に用いられる画像を撮像する撮像手段は、本発明のキャリブレーション方法により設置俯角が導出されており、導出された設置俯角に基づいて、自動検出手段の検知範囲が設定されている。よって、検知範囲の高さは、高い精度で正確に設定されている。即ち、カメラ等の撮像手段の固定手段による車両等への固定角度或いは取付角度が、不正確であったり、ばらついたりしていたとしても、検知範囲については高い精度で設定できることになる。従って、自動検出手段により正確な検知を行うことが可能となる。

本発明の作用及び他の利得は次に説明する実施するための最良の形態から明らかにされる。

以下では、本発明の実施形態について図を参照しつつ説明する。以下の実施形態では、本発明のキャリブレーション方法の一例である車両に搭載されるカメラの設置俯角を導出する方法を例にとる。

＜第１実施形態＞
先ず、本実施形態に係るキャリブレーション方法に用いられるターゲットの構成について、図１及び図２を参照して説明する。ここに図１は、第１実施形態に係るターゲット板の構成を示す俯瞰図であり。図２は、第１実施形態に係るターゲット板とカメラとの位置を示す側面図である。

図１に示すように、本実施形態に係るキャリブレーション方法に用いられるターゲット１１１、１１２、１２１、１２２は、本発明の「ターゲット支持体」の一例としての第１ターゲット板１１０及び第２ターゲット板１２０上に配列されている。また、各ターゲットの互いの相対位置は正確に測定されている。ターゲット１１１、１１２、１２１、１２２は、例えば予め成型された各ターゲットを第１ターゲット板１１０及び第２ターゲット板１２０に接着したり、塗料を第１ターゲット板１１０及び第２ターゲット板１２０に各ターゲットの形をなすように塗ったりすることで設けられる。尚、ここでのターゲット１１１、１１２、１２１、１２２の色は、後述する画像処理の際に輝度等を用いてターゲットを識別するため、識別し易いように黒色であるとする。

尚、上述したような構成において、第１ターゲット板１１０におけるターゲット１１１及び１１２からなる群が、本発明に係る「ターゲット郡」の一例を構成しており、第２ターゲット板１２０におけるターゲット１２１及び１２２からなる群が、本発明に係る「ターゲット郡」の他の一例を構成している。また、本発明の「ターゲット面」は第１ターゲット板１１０及び第２ターゲット板１２０の表面として定義される。

図２に示すように、本実施形態に係るキャリブレーション方法により設置俯角を導出するカメラ３００は、車両５００に搭載されており、第１ターゲット板１１０及び第２ターゲット板１２０を撮像できるように配置される（即ち、図１においては紙面に対して手前方向に配置される）。カメラ３００には、撮像された画像を処理して設置俯角を導出するための画像処理装置４００が接続されている。そして、カメラ３００に対し第１ターゲット板１１０及び第２ターゲット板１２０は、互いにカメラ３００からの距離が相異なるように配置される。尚、この際のカメラ３００から第１ターゲット板１１０までの距離は、５ｍ程度あれば十分な精度での設置俯角の導出が可能であるが、更に距離を広げることにより、より精度を向上させることが可能である。

次に、本実施形態のキャリブレーション方法における工程について、図１及び図２に加え、図３から図５を参照して説明する。ここに、図３は、第１実施形態に係るキャリブレーション方法の工程を示すフローチャートである。また図４は、カメラにより撮像される画像の一例を示す平面図であり、図５は、カメラの設置俯角を導出する方法を示す側面図である。尚、図５においては、説明の便宜上、各ターゲット板及び各ターゲット、並びにカメラの光軸を概念的に図示してある。

図３に示すように、本実施形態に係るキャリブレーション方法の処理が開始されると、先ずカメラ３００が、外光や工場照明、或いはヘッドライト等の車両の照明で照らされた第１ターゲット板１１０及び第２ターゲット板１２０の画像を撮像する（ステップＳ１）。この際、カメラ３００の光軸は、撮像された画像の中心と一致するものとする。

画像が撮像されると、先ず画像に対して平滑化処理を行う（ステップＳ２）。画像を平滑化することによって、画像内のノイズを低減できるという効果が得られる。画像の解析処理等を行う前に、ノイズをある程度低減させておくことによって、以降の処理がより正確に行われる。

次に、画像内のターゲット板領域の抽出を行う（ステップＳ３）。即ち、画像における第１ターゲット板１１０及び第２ターゲット板１２０の位置を抽出する。例えば、画像内の第１ターゲット板１１０及び第２ターゲット板１２０のエッジから矩形を検出したり、画像の上下方向のプロファイルから黒領域の多い範囲を検出したりすることで、抽出が可能である。ターゲット板領域の抽出を行うことにより、画像におけるターゲットの位置がある程度予測可能となり、ターゲットの探索範囲を狭めることが可能となる。

更に、画像に対して２値化処理を行う（ステップＳ４）。例えば、抽出されたターゲット板領域の輝度分布に基づいて、統計的に適切な閾値を決定し、判別分析法等を用いて白と黒とに２値化する。また、２値化処理の際には、例えばゴマ塩ノイズ（即ち、白又は黒の孤立点）のようなノイズが新たに発生する場合がある。このようなノイズを除去するために、画像に対して孤立点除去等のノイズ除去処理を行う（ステップＳ５）。

次に、２値化処理によって黒と判別された画像内の物体に対して、ラベリングを行い、個別番号を付与する（ステップＳ６）。これにより、黒と判別された物体を夫々区別して処理することが可能となる。

次に、画像内のターゲット以外の黒い物体を除去する（ステップＳ７）。例えば、面積、円形度、位置等の情報に基づいて、ターゲットであるか否かを判別する。尚、上述したステップＳ３において、既にターゲット板領域の抽出を行っているため、ターゲット以外の黒い物体が存在する確率は低減されているが、例えばターゲット板にオイル等の黒い物質が付着していたり、ステップＳ４における２値化の際に誤った判別がなされているおそれがあるため、正確性を向上させるためにも、このような処理を行った方がよい。

ターゲットが抽出した後は、各ターゲットの画像内での面積重心位置を測定する（ステップＳ８）。仮に、この面積重心位置が測定されないと、ターゲットは面積を有しているため、カメラ３００の設置俯角導出の際に用いられるターゲット位置を正確に決定することが困難である。そこで、面積重心位置を測定し、ターゲット位置の基準とすることでターゲットの位置を正確に決定することが可能となる。

図４に示すように、カメラ３００により撮像された画像には、第１ターゲット板１１０及び第２ターゲット板１２０と共に、カメラの光軸を示す水平方向に延びる直線が撮像される。本実施形態に係るキャリブレーション方法では、この光軸の高さ用いて、カメラ３００の設置俯角を導出する。このため、先ず光軸の高さを算出するために用いるターゲットを選定する（ステップＳ９）。ここでは、光軸の高さをより高い精度で算出するために、ターゲット板毎に光軸を上下に挟む２つのターゲットを選定する。尚、ここではターゲットが第１ターゲット板１１０及び第２ターゲット板１２０に夫々２個ずつしかないため、自動的に全てのターゲット１１１、１１２、１２１、１２２が選定されることとなる。

画像内で選定されたターゲットは夫々ターゲットＩＤが判断される（ステップＳ１０）。ここでターゲットＩＤとは、各ターゲットに予め付与されている識別番号である。これを用いて、選定されたターゲットが、どのターゲット板のどこに位置するターゲットであるかを判断することが可能となる。尚この処理は、１枚のターゲット板に比較的多い数のターゲットが含まれている場合に、特に重要となる。このため、後述する第２実施形態を説明する際に、ステップＳ９におけるターゲット選定と合わせて詳細に説明する。

ターゲットＩＤが判断されると、選定された各ターゲットのターゲットＩＤに対応して記録されているターゲットの３次元位置情報が参照される（ステップＳ１１）。この３次元位置情報は、カメラ３００による撮像を行う前に予め測定された値であり、例えばメモリ等に記録されている。ここで、カメラ３００の設置俯角の導出過程を具体的に説明するために、参照された各ターゲットの３次元位置情報は、ターゲット１１１が（Ｘ_ａ、Ｙ_ａ１、Ｚ_ａ）、ターゲット１１２が（Ｘ_ａ、Ｙ_ａ２、Ｚ_ａ）、ターゲット１２１が（Ｘ_ｂ、Ｙ_ｂ１、Ｚ_ｂ）、ターゲット１２２が（Ｘ_ｂ、Ｙ_ｂ２、Ｚ_ｂ）であったとする。更に、ステップＳ８で算出された各ターゲットの画像内の重心位置は、ターゲット１１１が（ｘ_ａ１、ｙ_ａ１）、ターゲット１１２が（ｘ_ａ２、ｙ_ａ２）、ターゲット１２１が（ｘ_ｂ１、ｙ_ｂ１）、ターゲット１２２が（ｘ_ｂ２、ｙ_ｂ２）であったとする。

図５に示すように、カメラの光軸と第１ターゲット１１０及び第２ターゲット板１２０とは夫々１点で交わる。ここで第１ターゲット板１１０における交点をＣａ、第２ターゲット板１２０における交点をＣｂとする。また、交点Ｃａの高さをＨ_ｃａ、交点Ｃｂの高さをＨ_ｃｂとし、光軸の画像内におけるＹ座標はｙ_ｃとする。すると、交点Ｃａの高さＨ_ｃａは、上述した各ターゲットの３次元位置及び画像内の重心位置を用いて、以下の数式（１）で算出することができる（ステップＳ１２）。

Ｈ_ｃａ＝Ｙ_ａ２＋（Ｙ_ａ１−Ｙ_ａ２）｛（ｙ_ａ２−ｙ_ｃ）÷（ｙ_ａ２−ｙ_ａ１）｝・・・（１）
また、交点Ｃｂの高さＨ_ｃｂも同様に、以下の数式（２）で算出することができる（ステップＳ１３）。

Ｈ_ｃｂ＝Ｙ_ｂ２＋（Ｙ_ｂ１−Ｙ_ｂ２）｛（ｙ_ｂ２−ｙ_ｃ）÷（ｙ_ｂ２−ｙ_ｂ１）｝・・・（２）
ここで、地面と平行な直線Ａ−Ａ´と光軸とが相互になす角をカメラ３００の設置俯角φとする場合、交点Ｃｂを通る地面と平行な直線Ｂ−Ｂ´と光軸とが相互になす角度φ´はφと等しい（即ち、φ＝φ´）。よって、カメラ３００の設置俯角φを導出するためには、φ´を算出すればよい。従って、カメラ３００の設置俯角φは、算出された交点Ｃａの高さＨ_ｃａ及び交点Ｃｂの高さＨ_ｃｂ、並びに各ターゲットの３次元位置のＺ座標から算出される第１ターゲット板１１０と第２ターゲット板１２０との距離Ｌ_ａｂ（但し、Ｌ_ａｂ＝Ｚ_ｂ−Ｚ_ａ）を用いて、以下の数式（３）で算出することができる（ステップＳ１４）。

φ＝ｔａｎ^−１｛（Ｈ_ｃａ−Ｈ_ｃｂ）÷Ｌ_ａｂ｝・・・（３）
ここで特に、カメラ３００と第１ターゲット板１１０との距離Ｌ_ｂは、設置俯角φの導出には用いない。即ち、カメラ３００と第１ターゲット板１１０との距離Ｌ_ｂは、適当でよい。このため、例えばカメラ３００が搭載された車両５００（図２参照）を運転して測定位置に移動させる場合に、車両５００の停止位置は高い精度を要求されない。また、カメラ３００と第１ターゲット板１１０との距離は測定せずともよい。よって、連続して複数のカメラ３００夫々の設置俯角φを導出する際の作業時間が短縮される。

以上のように、カメラ３００の設置俯角φはターゲット及びカメラ３００の光軸等の位置を示す座標を用いて導出され、例えばモニタ等に出力される（ステップＳ１５）。

＜第２実施形態＞
次に、第２実施形態に係るキャリブレーション方法について、図６から図８を参照して説明する。

先ず、第２実施形態に係るキャリブレーション方法に用いられるターゲットの構成について、図６を参照して説明する。ここに図６は、第２実施形態に係る、ターゲット板の構成を示す俯瞰図である。

図６に示すように、第２実施形態に係るキャリブレーション方法に用いられるターゲットは、各ターゲット板に５つずつ配置されている。第１ターゲット板２１０には、ターゲット２１１、２１２、２１３、２１４、２１５が配置されている。第２ターゲット板には、ターゲット２２１、２２２、２２３、２２４、２２５が配置されている。第３ターゲット板には、ターゲット２３１、２３２、２３３、２３４、２３５が配置されている。また、各ターゲット板の上から３番目のターゲット２１３、２２３、２３３には夫々、貫通孔２５０が設けられている。

第１ターゲット板２１０と第２ターゲット板２２０とは、ここでは図示しないカメラ３００（図２参照）からの距離が等しくなるように配置されている。更に、第１ターゲット板２１０及び第２ターゲット板２２０と第３ターゲット板２３０とは夫々カメラからの距離が相異なるように配置されている。

上述したように、カメラ３００からの距離が相異なるように配置された１組のターゲット板（即ち、２１０と２３０又は２２０と２３０）とは別に、カメラ３００からの距離が等しくなるように配置された１組のターゲット板（即ち、２１０と２２０）を用いることで、例えばカメラ３００の設置俯角に加えて、撮像される画像内のカメラの光軸の傾きに基づき、カメラ３００のロール角を導出することが可能となる。

また、第１ターゲット板２１０及び第２ターゲット板２２０のカメラ３００からの距離を等しくせず、全てのターゲット板について、カメラ３００からの距離が夫々相異なるように配置することで、より高い精度でカメラ３００の設置俯角を導出することができる。即ち、カメラ３００からの距離が相異なるようなターゲット板の数が多い程、より高い精度でカメラ３００の設置俯角を導出することができる。

次に、第２実施形態に係るキャリブレーション方法における工程について、図７及び図８を用いて説明する。ここで、図７及び図８は夫々、第２実施形態に係る、カメラにより撮像される画像の一例を示す平面図である。尚、上述したように、第２実施形態は第１実施形態と比べて、ターゲット板及び各ターゲット板に配置されるターゲットの数が多い。このため、ステップＳ９における使用ターゲットの選定及びステップＳ１０における選定ターゲットＩＤの判断（図２参照）において、第１実施形態とは異なる特徴がある。但し、その他の工程については第１実施形態とほぼ同様であるため、ここではステップＳ９及びステップＳ１０について詳細に説明し、その他の工程等については適宜説明を省略する。

図７に示すように、カメラ３００により撮像された画像には、第１ターゲット板２１０、第２ターゲット板２２０及び第３ターゲット板２３０と共に、カメラの光軸を示す水平方向に延びる直線が撮像される。尚、この際撮像されるターゲット板は、３つ全てでなくともよく、カメラ３００からの距離が相異なる２つのターゲット板が撮像されていればよい。即ち、例えば第１ターゲット板２１０と第３ターゲット板２３０が撮像されていれば、第２ターゲット板２２０は撮像範囲の外であってもよい。

撮像された画像は第１実施形態と同様の工程により処理され、ステップＳ９において、ターゲット板毎に光軸を上下に挟む２つのターゲットを選定する際に用いられる。ここで第２実施形態では、第１実施形態と比べて、各ターゲット板にターゲットが多く配置されているため、カメラの設置俯角のずれによって、光軸を上下に挟む２つのターゲットが存在しないという状況が発生してしまうことを防止することができる。言い換えれば、導出できる設置俯角の幅が広がる。

ターゲット選定の際、例えば第１ターゲット板２１０においては、ターゲット２１２と２１３とが選定される。尚、選定されるターゲットは、より光軸に近いターゲットである方が高い精度での設置俯角の導出が可能であるが、そうでないターゲットを選定してもよい。例えば、ターゲット２１１と２１４を選定した場合でも設置俯角の導出は可能である。また、第２実施形態のように、１つのターゲット板上に３つ以上のターゲットが配置される場合は、光軸を上下に挟む２つのターゲットに加えて、更に他のターゲットを使用することも可能である。即ち、選定されるターゲットは３つ以上であってもよい。これによって、より高い精度で設置俯角を導出することが可能となる。

次に、ステップＳ１０において、選定されたターゲットのターゲットＩＤが判断される。判断の際には、貫通孔２５０が設けられたターゲット２１３、２２３、２３３を基準として、夫々のターゲットのターゲットＩＤを判断する。ここで仮に、貫通孔２５０が設けられていないとすると、図７に示すように全てのターゲットが撮像されていない場合（ここでは、ターゲット２１５及び２２５が撮像範囲外）、全てのターゲットＩＤを判断することが困難である。例えば、第１ターゲット板２１０の一番上に配置されているターゲットは、ターゲット２１１である場合と、２１２である場合とが考えられる。即ち、撮像されていない１つのターゲットが、撮像範囲の上にあるか下にあるかが判断できない。これに対し、貫通孔２５０を設けていれば、ターゲット２１３を基準として全てのターゲットのＩＤを判断することができる。尚、貫通孔２５０を設けるターゲットは２１３でなくともよい。また、１つのターゲット板において複数のターゲットに設けられていてもよい。

図８に示すように、ターゲットの横にアルファベット等を付することによっても、ターゲットを区別することができる。これにより、全てのターゲットが互いに夫々を区別可能となる。この他にも、ターゲットの色や形が夫々相異なるようにしてもよい。即ち、撮像された画像において判別できるような違いであれば、ターゲットを夫々区別することが可能となる。

以上説明したように、第２実施形態においては、ターゲット板及び各ターゲット板に配置されるターゲットの数を増やすことによって、実践上有益な効果が多数得られる。

次に、本発明のキャリブレーション方法を用いた自動検知装置について図９及び図１０を参照して説明する。ここに図９は、自動検知装置の具体的設置例を示す側面図である。また図１０は、自動検知装置の検知範囲を示す平面図である。

図９に示すように、本発明に係る自動検知装置は、車両５００に搭載されており、車外の画像を撮像するカメラ３００と、撮像された画像を処理する自動検知部６００を備えて構成されている。尚、カメラ３００は、上述した本発明のキャリブレーション方法によって設置俯角が導出されている。

自動検知装置では、例えば車両５００の前方にいる歩行者７００を検知することができる。この際、歩行者７００の検知は、先ずカメラ３００によって歩行者７００の画像が撮像され、撮像された画像を自動検知部６００で処理することにより行われる。

図１０に示すように、自動検知部６００では、画像の横方向に伸びる帯状の検知範囲８００を用いて対象物の検知を行う。例えば、歩行者７５０を検知するためには、歩行者７５０全体が収まるような幅を持ち、歩行者７５０が存在する高さの検知範囲８００を用いる。このため、実際の高さと、画像内の高さとの対応が正確であることが重要となる。ここで、自動検知装置は、本発明のキャリブレーション方法により、高い精度で設置俯角が導出されている。このため、実際の高さと、画像内の高さとの対応付けが正確に行える。よって、歩行者７００を正確に検知することが可能である。

本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うキャリブレーション方法及び装置、並びに自動検知装置もまた本発明の技術的範囲に含まれるものである。

第１実施形態に係る、ターゲット板の構成を示す俯瞰図である。 第１実施形態に係る、ターゲット板とカメラとの位置を示す側面図である。 第１実施形態に係る、キャリブレーション方法の工程を示すフローチャートである。 第１実施形態に係る、カメラにより撮像される画像の一例を示す平面図である。 第１実施形態に係る、カメラの設置俯角を導出する方法を示す側面図である。 第２実施形態に係る、ターゲット板の構成を示す俯瞰図である。 ２実施形態に係るカメラにより撮像される画像の一例を示す平面図（その１）である。 ２実施形態に係るカメラにより撮像される画像の一例を示す平面図（その２）である。 自動検知装置の具体的設置例を示す側面図である。 自動検知装置の検知範囲を示す平面図である。

符号の説明

１１０、２１０…第１ターゲット板、１２０、２２０…第２ターゲット板、２３０…第３ターゲット板、１１１、１１２、１２１、１２２、２１１、２１２、２１３、２１４、２１５、２２１、２２２、２２３、２２３、２２５、２３１、２３２、２３３、２３４、２３５…ターゲット、３００…カメラ、４００…画像処理装置、５００…車両、６００…自動検出部、７００、７５０…歩行者、８００…検知範囲

Claims (11)

1. 撮像手段により撮像可能な範囲に収まるように且つターゲット面上に配列された複数のターゲットを夫々含むと共に、前記撮像手段から前記ターゲット面までの距離が相異なるように夫々配置された複数のターゲット郡を用いて、前記撮像手段の設置俯角を導出するキャリブレーション方法であって、
   前記撮像手段の光軸と前記ターゲット面との交点の、少なくとも前記ターゲット面に沿った一方向についての位置を取得する交点取得工程と、
   該取得された交点の位置と前記複数のターゲット郡間における前記ターゲット面の相対位置とに基づいて、前記設置俯角を取得する設置俯角取得工程と
   を備えることを特徴とするキャリブレーション方法。
2. 前記複数のターゲット郡は夫々、一の基準面から夫々立ち上がるように配置されており、
   前記交点取得工程は、前記交点の位置として、前記交点の前記基準面からの高さを取得する
   ことを特徴とする請求項１に記載のキャリブレーション方法。
3. 前記交点取得工程は、前記複数のターゲット郡毎に、前記ターゲットの前記基準面からの高さと、前記撮像手段により撮像される画像内における前記ターゲットの位置と、前記画像内における前記光軸の高さとに基づいて、前記交点の高さを取得する
   ことを特徴とする請求項２に記載のキャリブレーション方法。
4. 前記複数のターゲット郡は夫々、前記基準面からの高さが相異なる前記ターゲットを少なくとも２つ含むことを特徴とする請求項２又は３に記載のキャリブレーション方法。
5. 前記設置俯角取得工程は、前記複数のターゲット郡間における前記取得された交点の位置の差と、前記複数のターゲット郡間における前記ターゲット面間の距離とに基づいて、前記設置俯角を取得することを特徴とする請求項１から４のいずれか一項に記載のキャリブレーション方法。
6. 前記ターゲットは、前記複数のターゲット郡毎に、ターゲット支持体により支持されていることを特徴とする請求項１から５のいずれか一項に記載のキャリブレーション方法。
7. 前記交点取得工程は、前記複数のターゲットのうち、前記光軸を挟む２つのターゲットを用いて前記交点の位置を取得することを特徴とする請求項１から６のいずれか一項に記載のキャリブレーション方法。
8. 前記複数のターゲット郡毎に、前記複数のターゲットのうち、少なくとも１つのターゲットは、他のターゲットと異なるパターンを有していることを特徴とする請求項１から７のいずれか一項に記載のキャリブレーション方法。
9. 前記複数のターゲット郡毎に、前記複数のターゲットのうち、少なくとも１つのターゲットに対し、他のターゲットと区別するための識別マークが付与されていることを特徴とする請求項１から７のいずれか一項に記載のキャリブレーション方法。
10. 撮像手段により撮像可能な範囲に収まるように且つターゲット面上に配列された複数のターゲットを夫々含むと共に、前記撮像手段から前記ターゲット面までの距離が相異なるように夫々配置された複数のターゲット郡を用いて、前記撮像手段の設置俯角を導出するキャリブレーション装置であって、
    前記撮像手段の光軸と前記ターゲット面との交点の、少なくとも前記ターゲット面に沿った一方向についての位置を取得する交点取得手段と、
    該取得された交点の位置と前記複数のターゲット郡間における前記ターゲット面の相対位置とに基づいて、前記設置俯角を取得する設置俯角取得手段と
    を備えることを特徴とするキャリブレーション装置。
11. 撮像手段と、
    該撮像手段を車両本体に固定する固定手段と、
    前記撮像手段により撮像可能な範囲のうち高さ方向に制限された所定幅を有すると共に水平方向に延びる帯状の検知範囲内で、前記撮像手段により撮像される対象物についての所定種類の自動検知を行う自動検知手段と
    を備え、
    前記検知範囲は、請求項１から１０に記載のキャリブレーション方法により導出された前記設置俯角に基づいて、前記撮像手段及び前記固定手段に対して設定されている
    ことを特徴とする自動検知装置。

Images