JP2008205811A - カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法 - Google Patents

Abstract

【課題】基準面に対するカメラの姿勢を高精度に算出でき、撮影対象面の撮影画像に基づいて良好な表示画像を得ることができる「カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法」を提供する。
【解決手段】複数個のパターン１４が形成されたパターン面１２を有し、基準面上へのターゲット装置１０本体の設置状態において基準面の上方に取り付けられたカメラ６によってパターン面１２が撮影され、パターン面１２の撮影画像１５におけるパターン１４’から特徴点が抽出されることによってカメラ６姿勢の算出に使用され、パターン面１２の撮影画像１５として、複数個のパターン１４’が均一な大きさを有するような撮影画像１５を得ることが可能に形成されていること。
【選択図】図１

Description

本発明は、カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法に係り、特に、基準面に対するカメラの姿勢を算出するのに好適なカメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法に関する。

従来から、カメラの撮影画像を用いた画像表示方法として、車両に取り付けられた複数台のカメラによって車両の周辺の道路面や駐車場面等の撮影対象面を撮影し、撮影された画像に基づいて車両の周辺を監視するための車両周辺監視画像を生成してディスプレイに表示する方法が採用されていた。

車両周辺監視画像としては、例えば、トップビュー画像と称される車両およびその周辺を車両の上方から見下ろした俯瞰画像（以下、同様）や、車両の側方を監視するためのサイドビュー画像等が知られていた。

このような画像表示方法では、カメラによる撮影対象面の撮影画像を、この撮影画像と車両周辺監視画像との座標の対応関係が記述されたマッピングテーブルを用いて座標変換（視点変換）することによって、車両周辺監視画像を生成するようになっているのが一般的である。

このマッピングテーブルは、撮影対象面に対するカメラの姿勢（すなわち位置および方向）が適切（換言すれば設計通り）であれば正しく機能し、各カメラによる撮影対象面の撮影画像に基づいて、画像の歪みや欠け等の少ない良好な車両周辺監視画像を生成することが可能とされていた。

しかしながら、必ずしも、カメラを設計通りに高精度に車両に取り付けることができない場合があり、そのような場合には、撮影対象面に対するカメラの姿勢が適切な姿勢からずれることになり、良好な車両周辺監視画像の生成に支障をきたす虞があった。

そこで、従来から、車載機においては、撮影対象面の撮影画像に基づく車両周辺監視画像の表示を行う以前に、予め、撮影対象面と同一とみなすことができる車両の載置面に対するカメラの姿勢を算出するようになっていた。そして、算出された姿勢が適切な姿勢からずれている場合には、ずれに応じたマッピングテーブルの補正を行い、補正後のマッピングテーブルを用いた車両周辺監視画像の生成および表示を行うようになっていた。

このようなマッピングテーブルの補正のためのカメラの姿勢の算出方法の一例として、例えば、図２１に示すように、複数個の円形のパターン１が縦横に所定の整列間隔を設けて整列されたパターン面２を有するカメラ姿勢算出用ターゲットボード３を用いた算出方法が知られていた。

すなわち、このようなカメラ姿勢算出用ターゲットボード３を用いたカメラの姿勢の算出を行う場合には、まず、図２２に示すように、カメラ姿勢算出用ターゲットボード３を、車両５の載置面（例えば、自動車生産工場や自動車整備工場内の敷地面）上に、パターン面２を上に向けるようにして設置する。

次いで、車両５の載置面上に設置されたカメラ姿勢算出用ターゲットボード３におけるパターン面２を、車両５に取り付けられたカメラ６によって上方から撮影する。

次いで、パターン面２の撮影画像から、当該撮影画像におけるパターン（以下、パターンイメージと称する）の特徴点（例えば、円形のパターンイメージの中心点）を抽出する。

そして、抽出された特徴点と、既知のカメラ６の内部パラメータ（焦点距離、歪み特性、画像中心等）と、既知の特徴点の三次元ワールド座標系における座標点とを用いて、カメラ６の外部パラメータを算出する。

なお、カメラ６の外部パラメータとしては、三次元ワールド座標系におけるカメラ６の方向を規定する回転行列および三次元ワールド座標系におけるカメラ６の位置を規定する平行移動ベクトルが知られており、これらの外部パラメータが、車両の載置面に対するカメラ６の姿勢そのものを示している。

そして、このようにしてカメラ６の姿勢を算出した後には、算出されたカメラ６の姿勢に基づいて、マッピングテーブルを補正するようになっていた。

特開２００１−２８５６８１号公報

ところで、前述したようなカメラ姿勢算出用ターゲットボード３は、カメラ姿勢算出用ターゲットボード３に対してカメラ６が真上に位置している場合、すなわち、カメラ６の光軸とパターン面２とのなす角度が９０°の場合には、良好な車両周辺監視画像の生成に適したパターンイメージを撮影することができる。

しかしながら、図２２に示すように、カメラ６の光軸ＯＡとパターン面２とのなす角度α〔deg〕が９０°以外の場合には、カメラ６によるパターン面２の撮影画像７は、図２３のように、パターンイメージ１’の大きさが不均一なものとなっていた。

このような現象は、魚眼レンズ等の超広角レンズを備えたカメラ６を用いる場合に特に顕著なものとなっていた。

そして、このような撮像画像７からは、パターンイメージ１’の特徴点を正確に抽出することができない場合があった。

特に、パターン面２におけるカメラ６から遠い位置に配置されているパターン１は、カメラ６の光軸ＯＡとパターン面２との交点付近に存在するパターン１に比べて小さなパターンイメージ１’として撮影（結像）されることになり、実物の形状に対する歪みも大きくなる。このような歪みが大きなパターンイメージ１’からは、特徴点を正確に抽出することが非常に困難であった。

そして、このことによって、従来は、カメラの姿勢を高精度に算出することが困難になるといった問題が生じていた。

そこで、本発明は、このような問題点に鑑みなされたものであり、基準面に対するカメラの姿勢を高精度に算出することができ、ひいては、撮影対象面の撮影画像に基づいて良好な表示画像を得ることができるカメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法を提供することを目的とするものである。

前述した目的を達成するため、本発明に係るカメラ姿勢算出用ターゲット装置は、基準面の上方の取り付け位置に取り付けられたカメラの前記基準面に対する姿勢の算出に使用されるカメラ姿勢算出用ターゲット装置であって、複数個のパターンが形成されたパターン面を有し、前記基準面上へのターゲット装置本体の設置状態において前記カメラによって前記パターン面が撮影され、前記パターン面の撮影画像におけるパターンから特徴点が抽出されることによって前記カメラの姿勢の算出に使用されるように形成され、前記パターン面の撮影画像として、当該撮影画像における前記複数個のパターンについての大きさおよび所定の方向において隣位するパターン同士の間の間隔の少なくとも一方が、均一、または、当該撮影画像におけるパターンからの特徴点の正確な抽出が可能な程度に均一に近似した状態である略均一となるような撮影画像を得ることが可能に形成されていることを特徴としている。

また、本発明に係る他のカメラ姿勢算出用ターゲット装置は、前記基準面上への前記ターゲット装置本体の設置状態において、前記パターン面が前記カメラの光軸に直交するように形成され、前記複数個のパターンが、前記基準面上への前記ターゲット装置本体の設置状態における前記パターン面の撮影画像として、当該撮影画像における前記複数個のパターンについての大きさおよび所定の方向において隣位するパターン同士の間の間隔の少なくとも一方が均一または前記略均一となるような撮影画像を得ることが可能な形状に形成されていることを特徴としている。

なお、本願において、パターン面がカメラの光軸に直交するという文言は、パターン面がカメラの光軸に厳密に直交する場合に限らず、ほぼ直交（以下、略直交と称する）する場合も含むものとする。

さらに、本発明に係る他のカメラ姿勢算出用ターゲット装置は、前記基準面上への前記ターゲット装置本体の設置状態において、前記パターン面が前記基準面に対して平行になるように形成され、前記複数個のパターンが、前記基準面上への前記ターゲット装置本体の設置状態における前記パターン面の撮影画像として、当該撮影画像における前記複数個のパターンについての大きさおよび所定の方向において隣位するパターン同士の間の間隔の少なくとも一方が均一または前記略均一となるような撮影画像を得ることが可能な形状に形成されていることを特徴としている。

さらにまた、本発明に係る他のカメラ姿勢算出用ターゲット装置は、前記パターン面が形成された板状体からなることを特徴としている。

また、本発明に係るカメラ姿勢算出用ターゲット装置は、前記複数個のパターンについての実際の大きさおよび所定の方向において隣位するパターン同士の間の実際の間隔の少なくとも一方が均一に形成され、前記パターン面が、前記基準面上への前記ターゲット装置本体の設置状態において、前記カメラの光軸に直交するように形成されていることを特徴としている。

さらに、本発明に係るカメラ姿勢算出用ターゲット装置は、前記パターンが、円形状、正多角形状、格子線状、または、互いに異なる二色の矩形状が互いに直交する二方向に沿って交互に繰り返し配列されてなる市松模様における一方の色の矩形状に形成されていることを特徴としている。

さらにまた、本発明に係る他のカメラ姿勢算出用ターゲット装置は、前記基準面上への前記ターゲット装置本体の設置状態において前記パターン面が前記カメラの光軸に直交するように前記パターン面を前記基準面に対して傾いた状態に保持する保持部材を有することを特徴としている。

また、本発明に係る他のカメラ姿勢算出用ターゲット装置は、前記カメラが、超広角レンズを備えたカメラとされていることを特徴としている。

さらに、本発明に係る他のカメラ姿勢算出用ターゲット装置は、前記カメラが車両における前記所定の取り付け位置に取り付けられており、前記基準面が前記車両の載置面とされていることを特徴としている。

さらにまた、本発明に係るカメラ姿勢算出方法は、基準面の上方の取り付け位置に取り付けられたカメラの前記基準面に対する姿勢を算出するカメラ姿勢算出方法であって、複数個のパターンが形成されたパターン面を有するカメラ姿勢算出用ターゲット装置であり、前記基準面上への前記カメラ姿勢算出用ターゲット装置の設置状態における前記カメラによる前記パターン面の撮影画像として、当該撮影画像における前記複数個のパターンについての大きさおよび所定の方向において隣位するパターン同士の間の間隔の少なくとも一方が、均一、または、当該撮影画像におけるパターンからの特徴点の正確な抽出が可能な程度に均一に近似した状態である略均一となるような撮影画像を得ることが可能に形成されたカメラ姿勢算出用ターゲット装置を前記基準面上に設置し、この設置された前記カメラ姿勢算出用ターゲット装置における前記パターン面を前記カメラによって撮影し、この撮影によって得られた前記パターン面の撮影画像におけるパターンから特徴点を抽出し、抽出された特徴点に基づいて、前記カメラの姿勢を算出することを特徴としている。

また、本発明に係る他のカメラ姿勢算出方法は、前記カメラ姿勢算出用ターゲット装置として、前記基準面上への前記カメラ姿勢算出用ターゲット装置の設置状態において、前記パターン面が前記カメラの光軸に直交するように形成され、前記複数個のパターンが、前記基準面上への前記カメラ姿勢算出用ターゲット装置の設置状態における前記パターン面の撮影画像として、当該撮影画像における前記複数個のパターンについての大きさおよび所定の方向において隣位するパターン同士の間の間隔の少なくとも一方が均一または前記略均一となるような撮影画像を得ることが可能な形状に形成されたカメラ姿勢算出用ターゲット装置を用いて、前記カメラの姿勢を算出することを特徴としている。

さらに、本発明に係る他のカメラ姿勢算出方法は、前記カメラ姿勢算出用ターゲット装置として、前記基準面上への前記カメラ姿勢算出用ターゲット装置の設置状態において、前記パターン面が前記基準面に対して平行になるように形成され、前記複数個のパターンが、前記基準面上への前記カメラ姿勢算出用ターゲット装置の設置状態における前記パターン面の撮影画像として、当該撮影画像における前記複数個のパターンについての大きさおよび所定の方向において隣位するパターン同士の間の間隔の少なくとも一方が均一または前記略均一となるような撮影画像を得ることが可能な形状に形成されたカメラ姿勢算出用ターゲット装置を用いて、前記カメラの姿勢を算出することを特徴としている。

さらにまた、本発明に係る他のカメラ姿勢算出方法は、前記カメラ姿勢算出用ターゲット装置として、前記パターン面が形成された板状体からなるカメラ姿勢算出用ターゲット装置を用いて、前記カメラの姿勢を算出することを特徴としている。

また、本発明に係る他のカメラ姿勢算出方法は、前記カメラ姿勢算出用ターゲット装置として、前記複数個のパターンについての実際の大きさおよび所定の方向において隣位するパターン同士の間の実際の間隔の少なくとも一方が均一に形成され、前記パターン面が、前記基準面上への前記カメラ姿勢算出用ターゲット装置の設置状態において前記カメラの光軸に直交するように形成されたカメラ姿勢算出用ターゲット装置を用いて、前記カメラの姿勢を算出することを特徴としている。

さらに、本発明に係る他のカメラ姿勢算出方法は、前記カメラ姿勢算出用ターゲット装置として、前記パターンが、円形状、正多角形状、格子線状、または、互いに異なる二色の矩形状が互いに直交する二方向に沿って交互に繰り返し配列されてなる市松模様における一方の色の矩形状に形成されたカメラ姿勢算出用ターゲット装置を用いて、前記カメラの姿勢を算出することを特徴としている。

さらにまた、本発明に係る他のカメラ姿勢算出方法は、前記カメラ姿勢算出用ターゲット装置として、前記基準面上への前記カメラ姿勢算出用ターゲット装置の設置状態において前記パターン面が前記カメラの光軸に直交するように前記パターン面を前記基準面に対して傾いた状態に保持する保持部材を有するカメラ姿勢算出用ターゲット装置を用いて、前記カメラの姿勢を算出することを特徴としている。

また、本発明に係る他のカメラ姿勢算出方法は、前記カメラとして、超広角レンズを備えたカメラを用いることを特徴としている。

さらに、本発明に係る他のカメラ姿勢算出方法は、車両における前記所定の取り付け位置に取り付けられたカメラの前記基準面としての前記車両の載置面に対する姿勢を、前記カメラ姿勢算出用ターゲット装置を用いて算出することを特徴としている。

さらにまた、本発明に係る画像表示方法は、車両における所定の取り付け位置に取り付けられたカメラによって撮影対象面を撮影し、前記撮影対象面の撮影画像に対して座標変換を行うことによって前記車両の周辺を監視するための車両周辺監視画像を生成し、生成された前記車両周辺監視画像を表示部に表示する画像表示方法であって、複数個のパターンが形成されたパターン面を有するカメラ姿勢算出用ターゲット装置であり、前記車両の載置面上への前記カメラ姿勢算出用ターゲット装置の設置状態における前記カメラによる前記パターン面の撮影画像として、当該撮影画像における前記複数個のパターンについての大きさおよび所定の方向において隣位するパターン同士の間の間隔の少なくとも一方が、均一、または、当該撮影画像におけるパターンからの特徴点の正確な抽出が可能な程度に均一に近似した状態である略均一となるような撮影画像を得ることが可能に形成されたカメラ姿勢算出用ターゲット装置を前記車両の載置面上に設置し、この設置された前記カメラ姿勢算出用ターゲット装置における前記パターン面を、前記カメラによって撮影し、この撮影によって得られた前記パターン面の撮影画像におけるパターンから特徴点を抽出し、抽出された特徴点に基づいて、前記カメラの姿勢を算出し、算出された前記カメラの姿勢と適切な姿勢との間にずれが生じている場合には、車両周辺監視画像の生成の際に、前記撮影対象面の撮影画像に対して当該ずれが解消されるような座標変換を行うことを特徴としている。

本発明に係るカメラ姿勢算出用ターゲット装置によれば、パターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることによってパターンイメージの特徴点を正確に抽出することができるので、基準面に対するカメラの姿勢を高精度に算出することができ、ひいては、撮影対象面の撮影画像に基づいて良好な表示画像を得ることができる。

また、本発明に係る他のカメラ姿勢算出用ターゲット装置によれば、パターンの形状を、カメラの光軸に直交するパターン面を撮影する場合のパターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方が均一または略均一となるような形状に形成することによって、パターンイメージの大きさおよび前記パターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることができるので、簡易な構成により、基準面に対するカメラの姿勢を高精度に算出することができる。

さらに、本発明に係る他のカメラ姿勢算出用ターゲット装置によれば、パターンの形状を、基準面に対して平行なパターン面を撮影する場合のパターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方が均一または略均一となるような形状に形成することによって、パターンイメージの大きさおよび前記パターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることができるので、簡易な構成により、基準面に対するカメラの姿勢を高精度に算出することができる。

さらにまた、本発明に係る他のカメラ姿勢算出用ターゲット装置によれば、板状のカメラ姿勢算出用ターゲット装置により、パターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることができるので、構成をさらに簡易にすることができる。

また、本発明に係る他のカメラ姿勢算出用ターゲット装置によれば、基準面上へのターゲット装置本体の設置状態において、パターン面をカメラの光軸に直交させることによってパターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることができるので、簡易な構成により、基準面に対するカメラの姿勢を高精度に算出することができる。

さらに、本発明に係る他のカメラ姿勢算出用ターゲット装置によれば、円形または正多角形状のパターンについてのパターンイメージの中心、格子線状のパターンについてのパターンイメージの格子点（互いに交差するパターンイメージ同士の交点）または市松模様における一方の色の矩形状のパターンについてのパターンイメージにおける四隅の点を特徴点として抽出して基準面に対するカメラの姿勢の算出に用いることができるので、カメラの姿勢の高精度な算出をさらに簡便かつ確実に行うことができる。

さらにまた、本発明に係る他のカメラ姿勢算出用ターゲット装置によれば、保持部材によってパターン面をカメラの光軸に直交するように傾いた状態に保持することにより、パターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることができるので、さらに簡易な構成により、基準面に対するカメラの姿勢を高精度に算出することができる。

また、本発明に係る他のカメラ姿勢算出用ターゲット装置によれば、超広角レンズを備えたカメラによるパターン面の撮影画像におけるパターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることができるので、基準面に対する超広角レンズを備えたカメラの姿勢を高精度に算出することができ、ひいては、撮影対象面の撮影画像に基づいて良好な表示画像を得ることができる。

さらに、本発明に係る他のカメラ姿勢算出用ターゲット装置によれば、車両に取り付けられたカメラによるパターン面の撮影画像におけるパターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることができるので、車両の載置面に対するカメラの姿勢を高精度に算出することができ、ひいては、撮影対象面の撮影画像に基づいて良好な車両周辺監視画像を得ることができる。

さらにまた、本発明に係るカメラ姿勢算出方法によれば、パターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることによってパターンイメージの特徴点を正確に抽出することができるので、基準面に対するカメラの姿勢を高精度に算出することができ、ひいては、撮影対象面の撮影画像に基づいて良好な表示画像を得ることができる。

また、本発明に係る他のカメラ姿勢算出方法によれば、パターンの形状を、カメラの光軸に直交するパターン面を撮影する場合のパターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方が均一または略均一となるような形状に形成することによって、パターンイメージの大きさおよび前記パターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることができるので、簡便な方法により、基準面に対するカメラの姿勢を高精度に算出することができる。

さらに、本発明に係る他のカメラ姿勢算出方法によれば、パターンの形状を、基準面に対して平行なパターン面を撮影する場合のパターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方が均一な大きさを有するような形状に形成することによって、パターンイメージの大きさおよび前記パターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることができるので、簡便な方法により、基準面に対するカメラの姿勢を高精度に算出することができる。

さらにまた、本発明に係る他のカメラ姿勢算出方法によれば、板状のカメラ姿勢算出用ターゲット装置によって、パターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることができ、これにより、パターンイメージの特徴点の正確な抽出が可能となるので、カメラ姿勢算出用ターゲット装置の構成を簡易にすることができる。

また、本発明に係る他のカメラ姿勢算出方法によれば、基準面上へのカメラ姿勢算出用ターゲット装置の設置状態において、パターン面がカメラの光軸に直交するようなカメラ姿勢算出用ターゲット装置を用いることにより、パターンイメージの大きさを略均一にすることができ、これにより、パターンイメージの特徴点の正確な抽出が可能となるので、簡便な方法により、基準面に対するカメラの姿勢を高精度に算出することができる。

さらに、本発明に係る他のカメラ姿勢算出方法によれば、円形または正多角形状のパターンについてのパターンイメージの中心、格子線状のパターンについてのパターンイメージの格子点または市松模様における一方の色の矩形状のパターンについてのパターンイメージにおける四隅の点を特徴点として抽出してカメラの姿勢の算出に用いることができるので、基準面に対するカメラの姿勢の高精度な算出をさらに簡便に行うことができる。

さらにまた、本発明に係る他のカメラ姿勢算出方法によれば、保持部材によってパターン面をカメラの光軸に直交するように傾いた状態に保持することができるカメラ姿勢算出用ターゲット装置を用いることにより、パターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることができ、パターンイメージの特徴点の正確な抽出が可能となるので、さらに簡便な方法により、基準面に対するカメラの姿勢を高精度に算出することができる。

また、本発明に係る他のカメラ姿勢算出方法によれば、超広角レンズを備えたカメラによるパターン面の撮影画像におけるパターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることができ、これにより、パターンイメージの特徴点の正確な抽出が可能となるので、基準面に対する超広角レンズを備えたカメラの姿勢を高精度に算出することができ、ひいては、撮影対象面の撮影画像に基づいて良好な表示画像を得ることができる。

さらに、本発明に係る他のカメラ姿勢算出方法によれば、車両に取り付けられたカメラによるパターン面の撮影画像におけるパターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることができ、これにより、パターンイメージの特徴点の正確な抽出が可能となるので、基準面に対するカメラの姿勢を高精度に算出することができ、ひいては、撮影対象面の撮影画像に基づいて良好な車両周辺監視画像を得ることができる。

さらにまた、本発明に係る画像表示方法によれば、パターンイメージの大きさおよび所定の方向において隣位するパターンイメージ同士の間の間隔の少なくとも一方を均一または略均一にすることによって、パターンイメージの特徴点の正確な抽出を行ったうえで基準面に対するカメラの姿勢を算出することができ、さらに、このカメラの姿勢の算出結果に基づいてマッピングテーブルを補正したうえで車両周辺監視画像を生成することができるので、基準面に対するカメラの姿勢を高精度に算出することができ、撮影対象面の撮影画像に基づいて良好な車両周辺監視画像を得ることができる。

（カメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第１実施形態）
以下、本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第１実施形態について、図１乃至図９を参照して説明する。

なお、従来と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。

図１は、本実施形態におけるカメラ姿勢算出用ターゲット装置１０を示したものである。本実施形態におけるカメラ姿勢算出用ターゲット装置１０は、前述したカメラ姿勢算出用ターゲットボード３と同様に、車両周辺監視画像を車内のディスプレイに表示するために車両５における所定の取り付け位置に取り付けられたカメラ６によって路面等の撮影対象面を撮影する前に、基準面としての車両５の載置面に対するカメラ６の姿勢の算出に使用されるようになっている。なお、カメラ６の姿勢の算出は、従来と同様に、車両５へのカメラ６の取付け直後に行うようにしてもよい。また、姿勢の算出を行う車両５の載置面としては、従来と同様に、自動車生産工場内の敷地面や自動車整備工場内の敷地面あるいは撮影対象面そのもの等の種々の場所を選ぶことができる。

ただし、以下に説明するように、本実施形態におけるカメラ姿勢算出用ターゲット装置１０は、従来のカメラ姿勢算出用ターゲットボード３とは異なり、車両５の載置面に対するカメラ６の姿勢の算出を高精度に行うのに好適なものとされている。

すなわち、本実施形態におけるカメラ姿勢算出用ターゲット装置１０は、図１に示すように、保持部材としての五面体状のブロック１１を有しており、このブロック１１は、底面１１ａに対して鉛直上方に傾斜した傾斜面１１ｂを有しており、この傾斜面１１ｂの外形は、長方形の四辺を内側に歪曲させた形状に形成されている。このブロック１１は、例えば、樹脂材料等によって形成してもよく、中空または中実のいずれであってもよい。

ブロック１１の傾斜面１１ｂ上には、図１に示すように、複数個のパターン１４が縦横に整列されたパターン面１２が形成されている。

このパターン面１２は、ブロック１１の傾斜面１１ｂ上に印刷等によってパターン１４が直接描かれたものであってもよいし、または、パターン１４が描かれた外形が傾斜面１１ｂと一致するシートや板状体が接着等によって傾斜面１１ｂ上に固定されたものであってもよい。

さらに、図２に示すように、ブロック１１の傾斜面１１ｂの傾斜角度α〔deg〕、すなわち、車両５の載置面に対するパターン面１２の傾き角度は、鉛直方向に対してカメラ６の光軸ＯＡがなす角度α（但し、このαは、設計値に基づく概略値であってよい）と同一とされている。なお、車両周辺監視画像として、車両およびその周辺を車両の上方から見下ろしたトップビュー画像を生成する場合には、車両に複数台のカメラ６を搭載することが必要になるが、これら複数台のカメラ６ごとにαの値が異なってもよいことは勿論である。但し、この場合、αが異なると、パターン面１２の傾き角度も異なるため、カメラ６ごとに互いに異なるカメラ姿勢算出用ターゲット装置１０を用いることが必要になるか、あるいは、ブロック１１に、パターン面１２の傾き角度を調整するための図示しない調整機構を設け、この調整機構によってカメラ６ごとに傾き角度を調整（変更）したうえでパターン面１２を撮影することが必要になる。

したがって、本実施形態においては、車両５の載置面上へのカメラ姿勢算出用ターゲット装置１０の設置（載置）状態において、パターン面１２をカメラ６の光軸ＯＡに対して直交（略直交を含む）させることができるようになっている。

そして、本実施形態において、パターン１４の形状は、カメラ姿勢算出用ターゲット装置１０を車両５の載置面に設置した状態におけるパターン面１２の撮影画像１５として、図３に示すように、当該撮影画像１５におけるパターンイメージ１４’の大きさおよび所定の方向（図３における縦方向、横方向および対角方向）において隣位するパターンイメージ１４’同士の間の間隔が互いに均一となるような撮影画像１５を得ることが可能な形状とされている。

より具体的には、各パターン１４の形状は、カメラ６に搭載された超広角レンズによる歪曲収差の影響を考慮した形状に形成されている。

すなわち、各パターン１４のうち、車両５の載置面上へのカメラ姿勢算出用ターゲット装置１０の設置状態においてカメラ６の光軸ＯＡ近くに位置されるパターン１４や、パターン面１２の中央寄りに配置されたパターン１４は、超広角レンズによる歪曲収差の影響が小さいため、外形が真円またはそれに近い円形に形成されている。

一方、各パターン１４のうち、車両５の載置面上へのカメラ姿勢算出用ターゲット装置１０の設置状態においてカメラ６から遠くに位置されるパターン１４や、パターン面１２の周辺側に配置されたパターン１４は、歪曲収差の影響が大きいため、外形がパターン面１２の中央側から周辺側に向かって放射状に延びる楕円または長円状に形成されている。

このような本実施形態におけるカメラ姿勢算出用ターゲット装置１０によれば、各パターンイメージ１４’の特徴点の抽出を正確に行うことができる。

このようなカメラ姿勢算出用ターゲット装置１０におけるパターン面１２は、以下のようにして設計することができる。

すなわち、まず、前提として、カメラ６の内部パラメータ（ｃｘ，ｃｙ，ｆ）およびカメラ６の姿勢を示す外部パラメータ（ｒｘ，ｒｙ，ｒｚ，ｔｘ，ｔｙ，ｔｚ）が既知であることとする。ただし、外部パラメータは、必ずしも厳密なパラメータ値が既知である必要はなく、車両設計上の概略的なものであってもよい。

なお、内部パラメータにおけるｃｘは、カメラ６の撮像面（イメージセンサ面、例えばＣＣＤ面）にとられた二次元座標系（画像座標系）におけるカメラ６による撮影画像の中心点（換言すればカメラ６の光軸ＯＡと撮像面との交点）のＸ座標を示している。同様に、内部パラメータにおけるｃｙは、画像座標系におけるカメラ６による撮影画像の中心点のＹ座標を示している。また、内部パラメータにおけるｆは、カメラ６の焦点距離を示している。

一方、外部パラメータにおけるｔｘは、三次元ワールド座標系におけるカメラ６の位置のＸ座標を、ｔｙは、Ｙ座標を、ｔｚは、Ｚ座標をそれぞれ示している。また、外部パラメータにおけるｒｘは、三次元ワールド座標系におけるカメラ６のＸ座標軸回りの方向（光軸の向き）を、ｒｙは、Ｙ座標軸回りの方向を、ｒｚは、Ｚ座標軸回りの方向をそれぞれ示している。

次に、図４に示すように、特徴点の抽出に適した大きさが均一（図４においては周期も均一）なパターンイメージであって、画像座標系における位置がパターンイメージ１４’と同一となるようなパターンイメージ（以下、仮想パターンイメージ１４”と称する）の集合をカメラ６の視野範囲内において仮定する。なお、仮想パターンイメージ１４”は、これから設計するパターン１４を撮影した場合に撮されるパターンイメージ１４’の理想的な状態を示したものとなっている。

そして、仮想パターンイメージ１４”について、以下の（１）〜（１４）式に示す座標変換を行う。

ここで、図５は、仮想パターンイメージ１４”のうちの１つを、その画像座標系における座標点（ｉ，ｊ）とともに示したものである。なお、仮想パターンイメージ１４”の座標点は、仮想パターンイメージ１４”の外形の中心点とされている。

図５に示すように、内部パラメータによって表されるカメラ６の光軸ＯＡと撮像面との交点（ｃｘ，ｃｙ）は、画像座標系の原点と異なっている。

座標点（ｃｘ，ｃｙ）と仮想パターンイメージ１４”の座標点（ｉ，ｊ）とのＸ座標の差ｉｉおよびＹ座標の差ｊｊは、それぞれ次の（１）式および（２）式によって求められる。

ｉｉ＝ｉ−ｃｘ ・・・（１）
ｊｊ＝ｊ−ｃｙ ・・・（２）

次いで、図５に示すように、座標点（ｃｘ，ｃｙ）を原点とし、半径ｒａｄおよび角度φ〔deg〕によって座標点が規定される二次元極座標を考えると、座標点（ｉ，ｊ）の角度φは、次式のように求められる。

φ＝ｔａｎ^−１（｜ｊｊ｜／｜ｉｉ｜） ・・・（３）

また、座標点（ｃｘ，ｃｙ）と座標点（ｉ，ｊ）との距離ｒａｄは、次の（４）式のように求められる。

ｒａｄ＝（ｉｉ^２＋ｊｊ^２）^１／２ ・・・（４）

このようにして、画像座標系における仮想パターンイメージ１４”の座標点（ｉ，ｊ）が、二次元極座標系における座標点（ｒａｄ，φ）へと座標変換される。

次いで、図６に示すように、互いに直交するＵ、Ｖ、Ｓの各座標軸を有し、Ｓ座標軸をカメラ６の光軸ＯＡとし、この光軸ＯＡと撮像面との交点を原点とした三次元のデカルト座標系であるカメラ座標系をとると、（４）式の左辺は、次の（５）式のように表される。

ｒａｄ＝ｆ×θ ・・・（５）

但し、（５）式におけるｆは、前述したカメラ６の焦点距離（内部パラメータ）である。また、（５）式におけるθ〔deg〕は、図６に示すように、図５に示した仮想パターンイメージ１４”に対応するパターン１４が存在する方向を示す光軸ＯＡ（Ｓ座標軸）を基準とした角度（入射角）である。ただし、この図６に示すパターン１４は、これから設計されるものである。

なお、（５）式は、等距離射影方式の魚眼レンズの場合における式であり、広角レンズや他の射影方式のレンズでは式が異なるが、説明は省略する。

次いで、（５）式より、角度θは、次の（６）式のように求められる。

θ＝ｒａｄ／ｆ ・・・（６）

次いで、図６に示すように、カメラ座標系上に、カメラ座標系の原点を中心とした単位半径の球１６をとると、この球１６と、カメラ座標系の原点からパターン１４の方向θに向かって延びる線分Ｌとが交わる交点の座標点（ｕ，ｖ，ｓ）は、次の（７）に示す行列式のように求められる。

この（７）式によって表される座標点（ｕ，ｖ，ｓ）は、仮想パターンイメージ１４”（詳しくは、仮想パターンイメージ１４”の外形の中心点）のカメラ座標系における座標点とみることができる。

このようにして、二次元極座標系における仮想パターンイメージ１４”の座標点（ｒａｄ，φ）が、カメラ座標系における座標点（ｕ，ｖ，ｓ）へと座標変換される。

次いで、図７に示すように、互いに直交するＸ、Ｙ、Ｚの各座標軸を有し、ＸＹ平面を車両５の載置面とした三次元ワールド座標系をとる。

そして、この三次元ワールド座標系において規定されるパターン１４の座標点（ｘ，ｙ，ｚ）を示すための一般式は、カメラ６の外部パラメータにおける方向の要素を用いた３つの行列、（７）式の座標点に光軸ＯＡと撮像面との交点からパターン１４までの距離を示すパラメータλを乗じた行列、および、カメラ６の外部パラメータにおける位置の要素からなる行列を用いることによって、次の（８）の行列式のように求められる。

この（８）式は、さらに計算を進めると、次の（９）の行列式のようになる。

ここで、図８に示すように、仮に、三次元ワールド座標系におけるＸＹ平面上にパターン面１７が位置されると仮定すると、このパターン面１７上のパターン１８のＺ座標は、０となる。また、λの値は、（９）式にｚ＝０を代入することによって、次の（１０）式のように求められる。

λ＝ｔｚ／{sin(ry)×u−cos(ry)×sin(rx)×v−cos(ry)×cos(rx)×s｝
・・・（１０）

そして、パターン面１７上のパターン１８のＸ座標ｘｘ’およびＹ座標ｙｙ’は、（９）式に、（１０）式の値を代入することによって求められる。ただし、平面四角形状のパターン面１７の１つの角部は、三次元ワールド座標系の原点（０，０，０）に位置されているものとする。

ただし、前述したように、本実施形態においては、カメラ６の光軸ＯＡに直交（略直交を含む）し、かつ、車両５の載置面に対して傾き（角度α〔deg〕）を有するようなパターン面１２を設計する。

そこで、図９に示すように、三次元ワールド座標系におけるＸＹ平面に対してＺ軸方向に角度αの傾きを有するパターン面１２を設定する。ただし、このパターン面１２の１つの角部は、三次元ワールド座標系の原点（０，０，０）に位置されているものとする。

そして、このパターン面１２を含む二次元座標系として、図９に示すように、パターン面１２の一辺の方向に延びるＸ’座標軸と、三次元ワールド座標系におけるＹ座標軸とからなるＸ’Ｙ座標系をとる。

そして、このＸ’Ｙ座標系上に規定されるパターン１４の座標点（ｘｘ，ｙｙ）は、次のような幾何学計算によって求められる。

ここで、図１０（ａ）（ｂ）は、パターン１４の座標点（ｘｘ，ｙｙ）の計算を分かりやすくするために示したものであり、図１０（ａ）は、三次元ワールド座標系をＸＺ平面の法線方向から見た図を、図１０（ｂ）は、三次元ワールド座標系をＹＺ平面の法線方向から見た図をそれぞれ示している。

図１０（ａ）に示すように、ｘｘとｘｘ’との間には、次の（１１）式に示す関係式が成立し、また、ｙｙとｙｙ’との間には、次の（１２）式に示す関係式が成立する。なお、（１１）式におけるβ〔deg〕は、図１０（ａ）に、（１２）式におけるγ〔deg〕は、図１０（ｂ）に、それぞれ示されている。

（ｘｘ’−ｘｘ×cos(α)）／ｘｘ×sin(α)
＝（ｘｘ’−ｔｘ）／ｔｚ
＝ｔａｎβ ・・・（１１）

ｙｙ+ｘｘ×sin（α)×（ｙｙ’−ｔｙ）／ｔｚ
＝ｙｙ＋ｘｘ×sin（α)×ｔａｎγ
＝ｙｙ＋（ｙｙ’−ｙｙ）
＝ｙｙ’ ・・・（１２）

さらに、（１１）式より、ｘｘは、次の（１３）式のように求められ、また、（１２）式より、ｙｙは、次の（１４）式のように求められる。

ｘｘ＝ｘｘ’×ｔｚ／｛（ｘｘ’−ｔｘ）×sin(α)+ｔｚ×cos(α）｝
・・・（１３）

ｙｙ＝ｙｙ’−｛ｘｘ×sin（α）×（ｙｙ’−ｔｙ）｝／ｔｚ ・・・（１４）

このようにして、カメラ座標系における仮想パターンイメージ１４”の座標点（ｕ，ｖ，ｓ）を、三次元ワールド座標系における座標点（ｘｘ’，ｙｙ’）に座標変換した後に、Ｘ’Ｙ座標系の座標点（ｘｘ，ｙｙ）に座標変換することができる。

これにより、パターン１４の座標点（ｘｘ，ｙｙ）を規定することができるので、本実施形態のカメラ姿勢算出用ターゲット装置１０におけるパターン面１２を設計することができる。なお、パターン１４の車両５の載置面からの高さ方向の座標（三次元ワールド座標系でいうところのＺ座標）については、座標点（ｘｘ，ｙｙ）と車両５の載置面に対するパターン面１２の傾斜αとから一義的に定めることができる。

また、楕円や長円等のパターン１４の具体的な歪み形状については、各座標点（ｘｘ，ｙｙ）に対応するカメラ６の歪み特性を、既知の内部パラメータに基づいて予め把握しておき、歪み特性から逆算した形状を割り当てるように設計すればよい。

次に、このようなカメラ姿勢算出用ターゲット装置１０を用いたカメラ姿勢算出方法について説明する。

なお、この算出方法において、既知のパラメータは、カメラ６の内部パラメータ（ｃｘ，ｃｙ，ｆ）およびパターンイメージ１４’に対応するパターン１４の座標点（ｘｘ，ｙｙ）とされている。ただし、パターンイメージ１４’に対応するパターン１４の座標点が既知であるというためには、画像座標系において、パターンイメージ１４’が、このパターンイメージ１４’に対応するパターン１４を設計する際に用いた仮想パターンイメージ１４”と同一の座標値をとることが必要となり、そのためには、パターン１４の位置を設計上の位置（ｘｘ，ｙｙ）に合わせることが条件となる。

そして、本実施形態においては、まず、図２に示したように、車両５の載置面上に、カメラ姿勢算出用ターゲット装置１０を設置する。このとき、カメラ姿勢算出用ターゲット装置１０におけるパターン１４の位置が、設計上の位置（ｘｘ，ｙｙ）に合うようにカメラ姿勢算出用ターゲット装置１０の設置位置を調整する。なお、このときの設置位置の調整は、例えば、車両５の端部からのカメラ姿勢算出用ターゲット装置１０の離間距離が、パターン１４の位置を設計上の位置に合わせることができるものとして予め想定された特定の離間距離にすること等によって行うことができる。

次いで、カメラ６によって、カメラ姿勢算出用ターゲット装置１０のパターン面１２を撮影する。

このとき、パターン面１２における各パターン１４が、超広角レンズによる歪曲収差の影響を考慮した形状に形成されているため、図３に示したようなパターンイメージ１４’の大きさおよび所定の方向において隣位するパターンイメージ１４’同士の間隔が均一なパターン面１２の撮影画像１５を取得することができる。

次いで、撮影画像１５におけるパターンイメージ１４’の特徴点を画像認識によって抽出する。なお、本実施形態における円形のパターンイメージ１４’の特徴点は、円形の中心点となる。

このとき、パターンイメージ１４’は、均一な大きさになっているため、特徴点を正確に抽出することができる。

次いで、抽出された特徴点の座標を、仮想パターンイメージ１４”の中心点の座標（ｉ，ｊ）とみなして（１）〜（７）式の計算を順次行う。具体的には、（１）式におけるｉに、抽出された特徴点のＸ座標を代入し、また、（２）式におけるｊに抽出された特徴点のＹ座標を代入して、以降（７）式までの計算を行う。

この計算に際しては、既知のカメラ６の内部パラメータ（ｃｘ，ｃｙ，ｆ）を用いる。

このような計算によって求められた（７）式の座標点（ｕ，ｖ，ｓ）は、抽出されたパターンイメージ１４’の特徴点のカメラ座標系における座標値に相当する。

また、このとき、（１３）式および（１４）式を用いることによって、抽出されたパターンイメージ１４’の特徴点に対応するパターン１４の座標点（ｘｘ，ｙｙ）を光軸ＯＡに沿って三次元ワールド座標系におけるＸＹ平面上に投影した座標点（ｘｘ’，ｙｙ’，０）を求める。

次いで、（７）式を用いて求められた座標点（ｕ，ｖ，ｓ）および（１３）式および（１４）式を用いて求められた座標点（ｘｘ’，ｙｙ’，０）を（８）式
の左辺に代入する。

このような計算を、少なくとも３個のパターンイメージ１４’について行うことによって複数の連立方程式を立て、これらの連立方程式を解くことによって、車両５の載置面に対するカメラ６の姿勢として、カメラ６の外部パラメータ（ｒｘ，ｒｙ，ｒｚ，ｔｘ，ｔｙ，ｔｚ）を算出することができる。なお、測定誤差の影響を少なくするためには、広範囲に散らばったできるだけ多くの特徴点を抽出して外部パラメータを最小二乗法等も用いて高精度に算出することが好ましい。また、外部パラメータの算出の過程においてλは消去することができるので、λの具体的な値を考慮する必要はない。

以上述べたように、本実施形態によれば、車両５の載置面に対するカメラ６の姿勢を算出する際に、カメラ６によってパターン面１２を撮影することによって、均一な大きさのパターンイメージ１４’が撮された撮影画像１５を得ることができるので、パターンイメージ１４’の特徴点を正確に抽出することができ、車両５の載置面に対するカメラ６の姿勢を高精度に算出することができる。

（カメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第２実施形態）
次に、本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第２実施形態について、図１１乃至図１４を参照して説明する。

なお、本実施形態においても、従来と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。

図１１は、本実施形態におけるカメラ姿勢算出用ターゲット装置としてのカメラ姿勢算出用ターゲットボード２０を示したものであり、このカメラ姿勢算出用ターゲットボード２０は、第１実施形態と同様に、車両周辺監視画像を車内のディスプレイに表示するために車両５における所定の取り付け位置に取り付けられたカメラ６によって路面等の撮影対象面を撮影する前に、基準面としての車両５の載置面に対するカメラ６の姿勢の算出に使用されるようになっている。

また、本実施形態におけるカメラ姿勢算出用ターゲットボード２０も、第１実施形態と同様に、車両５の載置面に対するカメラ６の姿勢の算出を高精度に行うのに好適なものとされている。

ただし、本実施形態におけるカメラ姿勢算出用ターゲットボード２０は、第１実施形態のようにパターン面１２に傾きを持たせることなく、カメラ６の姿勢の高精度な算出を図るようになっている。

すなわち、図１１に示すように、本実施形態におけるカメラ姿勢算出用ターゲットボード２０は、樹脂材料等からなる偏平な基板２１の一方の表面に、複数個のパターン２２が印刷等によって描かれたパターン面２３を有している。このパターン面２３は、車両５の載置面上へのカメラ姿勢算出用ターゲットボード２０の設置状態において、車両５の載置面に対して平行に配置されることになる。

そして、本実施形態においても、パターン２２の形状は、カメラ姿勢算出用ターゲットボード２０を車両５の載置面に設置した状態におけるパターン面２３の撮影画像２４として、図１２に示すように、当該撮影画像２４におけるパターンイメージ２２’の大きさおよび所定の方向（図１２における縦方向、横方向および対角方向）において隣位するパターンイメージ２２’同士の間の間隔が互いに均一となるような撮影画像２４を得ることが可能な形状とされている。

より具体的には、各パターン２２の形状は、カメラ６に搭載された超広角レンズによる歪曲収差の影響を考慮した形状に形成されている。

すなわち、各パターン２２のうち、車両５の載置面上へのカメラ姿勢算出用ターゲットボード２０の設置状態においてカメラ６の近くに位置されるパターン２２や、パターン面２３の中央寄りに配置されたパターン２２は、超広角レンズによる歪曲収差の影響が小さいため、外形が真円またはそれに近い円形に形成されている。

一方、各パターン２２のうち、車両５の載置面上へのカメラ姿勢算出用ターゲットボード２０の設置状態においてカメラ６から遠くに位置されるパターン２２や、パターン面２３の周辺側に配置されたパターン２２は、歪曲収差の影響が大きいため、外形がパターン面２３の中央側から周辺側に向かって放射状に延びる楕円または長円状に形成されている。

これにより、図１２に示すように、パターンイメージ２２’の大きさを均一にすることができ、各パターンイメージ２２’の特徴点の抽出を正確に行うことができるようになっている。なお、図１２においては、パターンイメージ２２’の縦方向および横方向の周期も均一となっている。

このようなパターン面２３は、図１３に示すように、画像座標系における位置がパターンイメージ２２’と同一となるような仮想パターンイメージ２２”をカメラ６の視野内に仮定し、仮想パターンイメージ２２”に対して第１実施形態における（１）〜（１０）式の計算を行うことによって設計することができる。

この際に、図８に示した車両５の載置面と同一面上のパターン面１７を本実施形態における設計されるパターン面２３に置き換えて考え、図８におけるパターン１８の座標点（ｘｘ’，ｙｙ’，０）を、本実施形態におけるパターン２２の座標点（ｘｘ’，ｙｙ’，０）として設計すればよい。

この際に、楕円や長円等のパターン２２の具体的な歪み形状については、各座標点（ｘｘ’，ｙｙ’，０）に対応するカメラ６の歪み特性を、既知の内部パラメータに基づいて予め把握しておき、歪み特性から逆算した形状を割り当てるように設計すればよい。

次に、このようなカメラ姿勢算出用ターゲットボード２０を用いたカメラ姿勢算出方法について説明する。

なお、この算出方法において、既知のパラメータは、カメラ６の内部パラメータ（ｃｘ，ｃｙ，ｆ）およびパターンイメージ２２’に対応するパターン２２の座標点（ｘｘ’，ｙｙ’，０）とされている。ただし、第１実施形態と同様に、パターンイメージ２２’に対応するパターン２２の座標点が既知であるというためには、画像座標系において、パターンイメージ２２’が、このパターンイメージ２２’に対応するパターン２２を設計する際に用いた仮想パターンイメージ２２”と同一の座標値をとることが必要となり、そのためには、パターン２２の位置を設計上の位置（ｘｘ’，ｙｙ’，０）に合わせることが条件となる。

そして、本実施形態においては、まず、図１４に示すように、車両５の載置面上に、カメラ姿勢算出用ターゲットボード２０を設置する。このとき、カメラ姿勢算出用ターゲットボード２０におけるパターン２２の位置が設計上の位置（ｘｘ’，ｙｙ’，０）に合うようにカメラ姿勢算出用ターゲットボード２０の設置位置を調整する。

次いで、カメラ６によって、カメラ姿勢算出用ターゲットボード２０のパターン面２３を撮影する。

このとき、パターン面２３における各パターン２２が、超広角レンズによる歪曲収差の影響を考慮した形状に形成されているため、図１２に示したようなパターンイメージ２２’の大きさが均一なパターン面２３の撮影画像２４を取得することができる。

次いで、撮影画像２４におけるパターンイメージ２２’の特徴点を画像認識によって抽出する。なお、本実施形態における円形のパターンイメージ２２’の特徴点は、第１実施形態と同様に円形の中心点となる。

このとき、各パターンイメージ２２’は、均一な大きさになっているため、特徴点を正確に抽出することができる。

次いで、抽出された特徴点の座標を、（１）式における座標（ｉ，ｊ）とみなし、この特徴点の座標（ｉ，ｊ）と、既知の内部パラメータ（ｃｘ，ｃｙ，ｆ）とを用いて（１）式〜（７）式の計算を順次行う。

この計算によって求められた（７）式の座標点（ｕ，ｖ，ｓ）は、抽出されたパターンイメージ２２’の特徴点のカメラ座標系における座標値に相当する。

そして、（７）式を用いて求められた座標点（ｕ，ｖ，ｓ）と、抽出されたパターンイメージ２２’に対応するパターン２２の既知の座標点（ｘｘ’，ｙｙ’，０）とを（８）式に代入する。

このような計算を、少なくとも３個のパターンイメージ２２’について行うことによって複数の連立方程式を立て、これらの連立方程式を解くことによって、車両５の載置面に対するカメラ６の姿勢として、カメラ６の外部パラメータ（ｒｘ，ｒｙ，ｒｚ，ｔｘ，ｔｙ，ｔｚ）を算出することができる。

以上述べたように、本実施形態においても、カメラ６によってパターン面２３を撮影することによって、均一な大きさのパターンイメージ２２’が撮された撮影画像２４を得ることができ、パターンイメージ２２’の特徴点を正確に抽出することができるので、車両５の載置面に対するカメラ６の姿勢を高精度に算出することができる。

（カメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第３実施形態）
以下、本発明の第３実施形態について、図１５乃至図１７を参照して説明する。

なお、従来と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。

図１５は、本実施形態におけるカメラ姿勢算出用ターゲット装置５０を示したものである。本実施形態におけるカメラ姿勢算出用ターゲット装置５０は、前述したカメラ姿勢算出用ターゲットボード３と同様に、車両周辺監視画像を車内のディスプレイに表示するために車両５における所定の取り付け位置に取り付けられたカメラ６によって路面等の撮影対象面を撮影する前に、基準面としての車両５の載置面に対するカメラ６の姿勢の算出に使用されるようになっている。

また、本実施形態におけるカメラ姿勢算出用ターゲット装置５０も、従来のカメラ姿勢算出用ターゲットボード３とは異なり、車両５の載置面に対するカメラ６の姿勢の算出を高精度に行うのに好適なものとされている。

すなわち、本実施形態におけるカメラ姿勢算出用ターゲット装置５０は、保持部材としてのブロック５１を有しており、このブロック５１は、底面５１ａに対して鉛直上方に傾斜した傾斜面５１ｂを有する直角三角柱形状に形成されている。このブロック５１は、例えば、樹脂材料等によって形成してもよく、中空または中実のいずれであってもよい。

ブロック５１の傾斜面５１ｂ上には、図１５に示すように、外形が円形に形成された複数個のパターン５４が縦横に整列されたパターン面５２が形成されており、各パターン５４は、実際の大きさが均一とされ、かつ、所定の方向（図１５における縦方向、横方向および対角方向）において互いに隣位するパターン５４同士の実際の間隔が均一とされている。

このパターン面５２は、ブロック５１の傾斜面５１ｂ上に印刷等によってパターン５４が直接描かれたものであってもよいし、または、パターン５４が描かれたシートや板状体が接着等によって傾斜面５１ｂ上に固定されたものであってもよい。

さらに、図１６に示すように、ブロック５１の傾斜面５１ｂの傾斜角度α〔deg〕、すなわち、車両５の載置面に対するパターン面５２の傾き角度は、鉛直方向に対してカメラ６の光軸ＯＡがなす角度α（但し、このαは、設計値に基づく概略値であってよい）と同一とされている。なお、車両周辺監視画像として、車両およびその周辺を車両の上方から見下ろしたトップビュー画像を生成する場合には、車両に複数台のカメラ６を搭載することが必要になるが、これら複数台のカメラ６ごとにαの値が異なってもよいことは勿論である。但し、この場合、αが異なると、パターン面５２の傾き角度も異なるため、カメラ６ごとに互いに異なるカメラ姿勢算出用ターゲット装置５０を用いることが必要になるか、あるいは、ブロック５１に、パターン面５２の傾き角度を調整するための図示しない調整機構を設け、この調整機構によってカメラ６ごとに傾き角度を調整（変更）したうえでパターン面５２を撮影することが必要になる。

したがって、本実施形態においては、車両５の載置面上へのカメラ姿勢算出用ターゲット装置５０の設置（載置）状態において、パターン面５２をカメラ６の光軸ＯＡに対して直交させることができるようになっている。

これにより、図１７に示すように、カメラ６によるパターン面５２の撮像画像５５におけるパターンイメージ５４’の大きさを、パターンイメージ５４’からの特徴点の正確な抽出が可能な程度に均一に近似した状態である略均一にすることができる。

この結果、各パターンイメージ５４’の特徴点の抽出を正確に行うことができるので、車両５の載置面に対するカメラ６の姿勢を従来よりも高精度に算出することができる。

（画像表示方法の実施形態）
以下、本発明に係る画像表示方法の実施形態について、図１８乃至図２０を参照して説明する。

図１８は、本実施形態における画像表示方法を実現するための装置の一例としての画像表示装置３０を示したものであり、この画像表示装置３０は、車両５の互いに異なる位置に取り付けられた４台のカメラ６ａ，６ｂ，６ｃ，６ｄを有している。４台のカメラ６ａ，６ｂ，６ｃ，６ｄのうちの１台は、車両５の前部（例えば、エンブレム部）に取付けられたフロントカメラ６ａとされており、このフロントカメラ６ａは、車両５の前方を撮影するようになっている。他の３台のカメラ６ｂ，６ｃ，６ｄのうちの１台は、車両５の後部（例えば、リアライセンスガーニッシュ部）に取付けられたバックカメラ６ｂとされており、このバックカメラ６ｂは、車両５の後方を撮影するようになっている。他の２台のカメラ６ｃ，６ｄのうちの１台は、車両５の右側部（例えば、右ドアミラー部）に取付けられた右サイドカメラ６ｃとされており、この右サイドカメラ６ｃは、車両５の右側方を撮影するようになっている。残りの１台は、車両５の左側部（例えば、左ドアミラー部）に取り付けられた左サイドカメラ６ｄとされており、この左サイドカメラ６ｄは、車両５の左側方を撮影するようになっている。

各カメラ６ａ，６ｂ，６ｃ，６ｄには、カメラ画像取得部３３が接続されており、このカメラ画像取得部３３は、各カメラ６ａ，６ｂ，６ｃ，６ｄの撮影画像を取得するようになっている。

カメラ画像取得部３３には、カメラ姿勢算出部３１が接続されており、このカメラ姿勢算出部３１は、パターンイメージからの特徴点の抽出を行う特徴点抽出部３１ａと、この特徴点抽出部３１ａに接続されたカメラ姿勢計算部３１ｂとによって構成されている。

このカメラ姿勢算出部３１は、特徴点抽出部３１ａとカメラ姿勢計算部３１ｂとによって、前述した第１実施形態または第２実施形態におけるカメラ姿勢算出方法を用いて、車両５の載置面に対する各カメラ６ａ，６ｂ，６ｃ，６ｄの姿勢を個別に算出するようになっている。

また、カメラ画像取得部３３には、車両周辺監視画像生成部３２が接続されており、この車両周辺監視画像生成部３２には、カメラ画像取得部３３から、各カメラ６ａ，６ｂ，６ｃ，６ｄによる路面等の撮影対象面の撮影画像のデータが入力されるようになっている。

車両周辺監視画像生成部３２には、マッピングテーブル記憶部３４が接続されており、このマッピングテーブル記憶部３４には、例えば、図１９に示すようなマッピングテーブル３５が記憶されている。

このマッピングテーブル３５には、カメラ６ａ，６ｂ，６ｃ，６ｄの撮影画像と後述する車両周辺監視画像３８（図２０参照）との対応関係が記述されている。

具体的には、図１９に示すように、マッピングテーブル３５には、画像座標系における座標点（Ｘｃ_ｉ，Ｙｃ_ｊ）（ｉ、ｊは任意の自然数、但し、図１９の例においては、ｉ≠５、ｊ≠２）に位置するカメラ６ａ，６ｂ，６ｃ，６ｄの撮影画像における１つの画素を、後述するディスプレイ３６の二次元座標系における座標点（Ｘｔ_ｍ，Ｙｔ_ｎ）（ｍ、ｎは任意の自然数、但し、図１９の例においては、ｍ≠４、ｎ≠３）に表示される車両周辺監視画像における１つの画素の生成に用いる旨が記述されている。

なお、マッピングテーブル３５には、１台のカメラ６ａ，６ｂ，６ｃ，６ｄの撮影画像における２つ以上の画素を、車両周辺監視画像３８における１つの画素の生成に用いる旨が記述されていてもよい（例えば、特許文献１段落００４１、００４４等参照）。また、マッピングテーブル３５は、カメラ６ａ，６ｂ，６ｃ，６ｄ用のレンズとして超広角レンズを用いることによる撮影画像の歪みを補正することを考慮した座標変換をともなうものであってもよい。

車両周辺監視画像生成部３２は、このマッピングテーブル記憶部３４に記憶されたマッピングテーブル３５を用いることによって、フロントカメラ６ａによる撮影画像を、車両の前方を監視する前方監視画像４１に、バックカメラ６ｂによる撮影画像を、車両の後方を監視する後方監視画像４２に、右サイドカメラ６ｃによる撮影画像を、車両の右側方を監視する右側方監視画像４３に、左サイドカメラ６ｄによる撮影画像を、車両の左側方を監視する左側方監視画像４４に、それぞれ変換するようになっている。

そして、車両周辺監視画像生成部３２は、各監視画像４１，４２，４３，４４のデータと自車両を示すイラスト画像３９のデータとを１つに合成することによって、自車両およびその周辺を自車両の上方から見下ろすように視点変換した車両周辺監視画像３８を生成するようになっている。

車両周辺監視画像生成部３２には、ディスプレイ３６が接続されており、このディスプレイ３６には、車両周辺監視画像生成部３２によって生成された車両周辺監視画像３８が表示されるようになっている。

さらに、本実施形態において、車両周辺監視画像生成部３２は、マッピングテーブル補正部３７を有しており、このマッピングテーブル補正部３７は、カメラ姿勢算出部３１による各カメラ６ａ，６ｂ，６ｃ，６ｄの姿勢の算出結果を取得するようになっている。

そして、マッピングテーブル補正部３７は、取得された姿勢の算出結果に基づいて、算出されたカメラ６ａ，６ｂ，６ｃ，６ｄの姿勢が、マッピングテーブル補正部３７に予め記憶されている適切な姿勢からずれているか否かを判定し、ずれが生じている場合には、このずれが車両周辺監視画像３８の生成の際に解消されるようにマッピングテーブル記憶部３４に記憶されたマッピングテーブル３５を補正するようになっている。具体的には、例えば、図１９に示すディスプレイ３６の座標系における座標点（Ｘｔ_４，Ｙｔ_３）の画素の生成に用いる画像座標系の画素を、図１９に示す座標点（Ｘｃ_５，Ｙｃ_２）の画素から、異なる座標点の画素となるようにマッピングテーブル３５の記述を変更する。

したがって、車両周辺監視画像生成部３２は、カメラ６の姿勢が取付け誤差等の影響によって適切な姿勢からずれた場合であっても、マッピングテーブル３５の補正によって良好な車両周辺監視画像３８を生成可能とされている。

車両周辺監視画像生成部３２には、入力操作部４６が接続されており、ユーザは、入力操作部４６を操作することによって、車両周辺監視画像生成部３２に対して車両周辺監視画像３８の表示を指示するようになっている。

また、車両周辺監視画像生成部３２には、車両情報を取得する車両情報取得部４７が接続されており、車両周辺監視画像生成部３２は、車両周辺画像３８の生成の際に、必要に応じて、車両情報取得部４７が取得した車両情報（例えば、シフトレバーの位置や車速等）を入手して、車両周辺監視画像３８の生成に用いるようになっている。なお、車両周辺監視画像生成部３２は、例えば、車両情報取得部４７から入手した車速が所定速度以下の場合に車両周辺監視監視画像３８を生成するようにしてもよい。

このような画像表示装置３０を用いて車両周辺監視画像３８を表示する際には、まず、前提として、車両５の載置面に対する各カメラ６ａ，６ｂ，６ｃ，６ｄの姿勢の算出を行う。

すなわち、車両５の載置面上に、第１実施形態に示したカメラ姿勢算出用ターゲット装置１０または第２実施形態に示したカメラ姿勢算出用ターゲットボード２０を設置し、次いで、カメラ６ａ，６ｂ，６ｃ，６ｄによって、パターン面１２，２３を撮影する。

パターン面１２，２３の撮影画像のデータは、カメラ６ａ，６ｂ，６ｃ，６ｄからカメラ画像取得部３３を経てカメラ姿勢算出部３１に入力される。

次いで、カメラ姿勢算出部３１により、カメラ６ａ，６ｂ，６ｃ，６ｄの姿勢を算出して、算出結果を車両周辺監視画像生成部３２に出力する。

次いで、車両周辺監視画像生成部３２のマッピングテーブル補正部３７により、カメラ姿勢算出部３１の算出結果に基づいて、カメラ６ａ，６ｂ，６ｃ，６ｄの姿勢が適切な姿勢からずれている場合には、車両周辺監視画像３８の生成（画像の座標変換および合成）の際にずれが解消されるようにマッピングテーブル記憶部３４に記憶されたマッピングテーブル３５を補正する。

その後、路面等の撮影対象面において、入力操作部４６を用いたユーザの入力操作によって車両周辺監視画像３８の表示が指示された場合には、各カメラ６ａ，６ｂ，６ｃ，６ｄによって撮影対象面を撮影し、撮影画像のデータを、車両周辺監視画像生成部３２に入力する。

次いで、車両周辺監視画像生成部３２は、変換テーブルデータベース３４内の変換テーブル３５を用いることによって、各カメラ６から入力された撮影対象面の撮影画像のデータを、監視画像４１，４２，４３，４４の画像データに変換するとともに、それらおよびイラスト画像３９のデータを合成することによって、車両周辺監視画像３８を生成する。

そして、図２０に示すように、車両周辺監視画像生成部３２によって生成された車両周辺監視画像３８をディスプレイ３６に表示する。

この車両周辺監視画像３８は、カメラ姿勢算出用ターゲット装置１０またはカメラ姿勢算出用ターゲットボード２０を用いたカメラ６の姿勢についての高精度な算出結果に基づいて補正されたマッピングテーブル３５を用いて生成されたものであるため、画像品質が良好なものとなっている。

したがって、本実施形態によれば、車両５の載置面に対するカメラ６の姿勢を高精度に算出することができ、撮影対象面の撮影画像に基づいて良好な車両周辺監視画像３８を得ることができる。

なお、本発明は、前述した実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。

例えば、本発明は、車両周辺監視画像以外の画像を表示するための基準面に対するカメラの姿勢の算出に適用するようにしてもよい。

また、第３実施形態におけるパターン５４は、円形以外の形状、例えば、正方形等の正多角形状に形成してもよいし、あるいは、格子線状、または、互いに異なる二色の矩形状が互いに直交する二方向に沿って交互に繰り返し配列されてなる市松模様における一方の色の矩形状に形成されていてもよい。ただし、正多角形状のパターンについてのパターンイメージの特徴点は、パターンイメージの中心点となる。また、格子線状のパターンについてのパターンイメージの特徴点は、パターンイメージの格子点すなわち互いに交差する複数の格子状のパターンイメージ同士の交点となる。さらに、市松模様における一方の色の矩形状のパターンについてのパターンイメージの特徴点は、このパターンイメージにおける四隅の点となる。

本発明に係るカメラ姿勢算出用ターゲット装置の第１実施形態を示す斜視図 本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第１実施形態を示す側面図 本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第１実施形態において、パターン面の撮影画像を示す図 本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第１実施形態において、仮想パターンイメージを示す図 本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第１実施形態において、パターン面の設計の過程における仮想パターンイメージの画像座標系から二次元極座標系への座標変換を説明するために用いる説明図 本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第１実施形態において、パターン面の設計の過程における仮想パターンイメージの二次元極座標系からカメラ座標系への座標変換を説明するために用いる説明図 本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第１実施形態において、パターン面の設計の過程における仮想パターンイメージのカメラ座標系から三次元ワールド座標系への座標変換を説明するために用いる説明図 本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第１実施形態において、パターン面の設計の過程における三次元ワールド座標系におけるＸＹ平面上に仮定されたパターン面を示す説明図 本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第１実施形態において、パターン面の設計の最終過程として、仮想パターンイメージの三次元ワールド座標系からＸ’Ｙ座標系への座標変換を説明するために用いる説明図 （ａ）および（ｂ）は本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第１実施形態において、仮想パターンイメージの三次元ワールド座標系からＸ’Ｙ座標系への座標変換を説明するために図９とともに用いる説明図 本発明に係るカメラ姿勢算出用ターゲット装置の第２実施形態を示す斜視図 本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第２実施形態において、パターン面の撮影画像を示す図 本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第２実施形態において、パターン面の設計の過程における仮想パターンイメージを示す図 本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第２実施形態において、車両の搭載面上へのカメラ姿勢算出用ターゲットボードの設置状態を示す図 本発明に係るカメラ姿勢算出用ターゲット装置の第３実施形態を示す斜視図 本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第３実施形態を示す側面図 本発明に係るカメラ姿勢算出用ターゲット装置およびカメラ姿勢算出方法の第３実施形態において、パターン面の撮影画像を示す図 本発明に係る画像表示方法の実施形態において、画像表示方法に用いる画像表示装置を示すブロック図 本発明に係る画像表示方法の実施形態において、マッピングテーブルの概略図 本発明に係る画像表示方法の実施形態において、車両周辺監視画像を示す図 従来から採用されていたカメラ姿勢算出用ターゲットボードの一例を示す斜視図 従来から採用されていたカメラ姿勢算出方法を示す図 従来のカメラ姿勢算出用ターゲットボードにおけるパターン面の撮影画像の一例を示す図

符号の説明

６ カメラ
１０ カメラ姿勢算出用ターゲット装置
１２ パターン面
１４ パターン
１５ 撮影画像

Claims (19)

1. 基準面の上方の取り付け位置に取り付けられたカメラの前記基準面に対する姿勢の算出に使用されるカメラ姿勢算出用ターゲット装置であって、
   複数個のパターンが形成されたパターン面を有し、前記基準面上へのターゲット装置本体の設置状態において前記カメラによって前記パターン面が撮影され、前記パターン面の撮影画像におけるパターンから特徴点が抽出されることによって前記カメラの姿勢の算出に使用されるように形成され、
   前記パターン面の撮影画像として、当該撮影画像における前記複数個のパターンについての大きさおよび所定の方向において隣位するパターン同士の間の間隔の少なくとも一方が、均一、または、当該撮影画像におけるパターンからの特徴点の正確な抽出が可能な程度に均一に近似した状態である略均一となるような撮影画像を得ることが可能に形成されていること
   を特徴とするカメラ姿勢算出用ターゲット装置。
2. 前記基準面上への前記ターゲット装置本体の設置状態において、前記パターン面が前記カメラの光軸に直交するように形成され、
   前記複数個のパターンが、前記基準面上への前記ターゲット装置本体の設置状態における前記パターン面の撮影画像として、当該撮影画像における前記複数個のパターンについての大きさおよび所定の方向において隣位するパターン同士の間の間隔の少なくとも一方が均一または前記略均一となるような撮影画像を得ることが可能な形状に形成されていること
   を特徴とする請求項１に記載のカメラ姿勢算出用ターゲット装置。
3. 前記基準面上への前記ターゲット装置本体の設置状態において、前記パターン面が前記基準面に対して平行になるように形成され、
   前記複数個のパターンが、前記基準面上への前記ターゲット装置本体の設置状態における前記パターン面の撮影画像として、当該撮影画像における前記複数個のパターンについての大きさおよび所定の方向において隣位するパターン同士の間の間隔の少なくとも一方が均一または前記略均一となるような撮影画像を得ることが可能な形状に形成されていること
   を特徴とする請求項１に記載のカメラ姿勢算出用ターゲット装置。
4. 前記パターン面が形成された板状体からなること
   を特徴とする請求項３に記載のカメラ姿勢算出用ターゲット装置。
5. 前記複数個のパターンについての実際の大きさおよび所定の方向において隣位するパターン同士の間の実際の間隔の少なくとも一方が均一に形成され、
   前記パターン面が、前記基準面上への前記ターゲット装置本体の設置状態において、前記カメラの光軸に直交するように形成されていること
   を特徴とする請求項１に記載のカメラ姿勢算出用ターゲット装置。
6. 前記パターンが、円形状、正多角形状、格子線状、または、互いに異なる二色の矩形状が互いに直交する二方向に沿って交互に繰り返し配列されてなる市松模様における一方の色の矩形状に形成されていること
   を特徴とする請求項５に記載のカメラ姿勢算出用ターゲット装置。
7. 前記基準面上への前記ターゲット装置本体の設置状態において前記パターン面が前記カメラの光軸に直交するように前記パターン面を前記基準面に対して傾いた状態に保持する保持部材を有すること
   を特徴とする請求項２、請求項５または請求項６に記載のカメラ姿勢算出用ターゲット装置。
8. 前記カメラが、超広角レンズを備えたカメラとされていること
   を特徴とする請求項１乃至請求項７のいずれか１項に記載のカメラ姿勢算出用ターゲット装置。
9. 前記カメラが車両における前記所定の取り付け位置に取り付けられており、前記基準面が前記車両の載置面とされていること
   を特徴とする請求項１乃至請求項８のいずれか１項に記載のカメラ姿勢算出用ターゲット装置。
10. 基準面の上方の取り付け位置に取り付けられたカメラの前記基準面に対する姿勢を算出するカメラ姿勢算出方法であって、
    複数個のパターンが形成されたパターン面を有するカメラ姿勢算出用ターゲット装置であり、前記基準面上への前記カメラ姿勢算出用ターゲット装置の設置状態における前記カメラによる前記パターン面の撮影画像として、当該撮影画像における前記複数個のパターンについての大きさおよび所定の方向において隣位するパターン同士の間の間隔の少なくとも一方が、均一、または、当該撮影画像におけるパターンからの特徴点の正確な抽出が可能な程度に均一に近似した状態である略均一となるような撮影画像を得ることが可能に形成されたカメラ姿勢算出用ターゲット装置を前記基準面上に設置し、
    この設置された前記カメラ姿勢算出用ターゲット装置における前記パターン面を前記カメラによって撮影し、
    この撮影によって得られた前記パターン面の撮影画像におけるパターンから特徴点を抽出し、
    抽出された特徴点に基づいて、前記カメラの姿勢を算出すること
    を特徴とするカメラ姿勢算出方法。
11. 前記カメラ姿勢算出用ターゲット装置として、前記基準面上への前記カメラ姿勢算出用ターゲット装置の設置状態において、前記パターン面が前記カメラの光軸に直交するように形成され、前記複数個のパターンが、前記基準面上への前記カメラ姿勢算出用ターゲット装置の設置状態における前記パターン面の撮影画像として、当該撮影画像における前記複数個のパターンについての大きさおよび所定の方向において隣位するパターン同士の間の間隔の少なくとも一方が均一または前記略均一となるような撮影画像を得ることが可能な形状に形成されたカメラ姿勢算出用ターゲット装置を用いて、前記カメラの姿勢を算出すること
    を特徴とする請求項１０に記載のカメラ姿勢算出方法。
12. 前記カメラ姿勢算出用ターゲット装置として、前記基準面上への前記カメラ姿勢算出用ターゲット装置の設置状態において、前記パターン面が前記基準面に対して平行になるように形成され、前記複数個のパターンが、前記基準面上への前記カメラ姿勢算出用ターゲット装置の設置状態における前記パターン面の撮影画像として、当該撮影画像における前記複数個のパターンについての大きさおよび所定の方向において隣位するパターン同士の間の間隔の少なくとも一方が均一または前記略均一となるような撮影画像を得ることが可能な形状に形成されたカメラ姿勢算出用ターゲット装置を用いて、前記カメラの姿勢を算出すること
    を特徴とする請求項１０に記載のカメラ姿勢算出方法。
13. 前記カメラ姿勢算出用ターゲット装置として、前記パターン面が形成された板状体からなるカメラ姿勢算出用ターゲット装置を用いて、前記カメラの姿勢を算出すること
    を特徴とする請求項１２に記載のカメラ姿勢算出方法。
14. 前記カメラ姿勢算出用ターゲット装置として、前記複数個のパターンについての実際の大きさおよび所定の方向において隣位するパターン同士の間の実際の間隔の少なくとも一方が均一に形成され、前記パターン面が、前記基準面上への前記カメラ姿勢算出用ターゲット装置の設置状態において前記カメラの光軸に直交するように形成されたカメラ姿勢算出用ターゲット装置を用いて、前記カメラの姿勢を算出すること
    を特徴とする請求項１０に記載のカメラ姿勢算出方法。
15. 前記カメラ姿勢算出用ターゲット装置として、前記パターンが、円形状、正多角形状、格子線状、または、互いに異なる二色の矩形状が互いに直交する二方向に沿って交互に繰り返し配列されてなる市松模様における一方の色の矩形状に形成されたカメラ姿勢算出用ターゲット装置を用いて、前記カメラの姿勢を算出すること
    を特徴とする請求項１４に記載のカメラ姿勢算出方法。
16. 前記カメラ姿勢算出用ターゲット装置として、前記基準面上への前記カメラ姿勢算出用ターゲット装置の設置状態において前記パターン面が前記カメラの光軸に直交するように前記パターン面を前記基準面に対して傾いた状態に保持する保持部材を有するカメラ姿勢算出用ターゲット装置を用いて、前記カメラの姿勢を算出すること
    を特徴とする請求項１１または請求項１４に記載のカメラ姿勢算出方法。
17. 前記カメラとして、超広角レンズを備えたカメラを用いること
    を特徴とする請求項１０乃至請求項１６のいずれか１項に記載のカメラ姿勢算出方法。
18. 車両における前記所定の取り付け位置に取り付けられたカメラの前記基準面としての前記車両の載置面に対する姿勢を、前記カメラ姿勢算出用ターゲット装置を用いて算出すること
    を特徴とする請求項１０乃至請求項１７のいずれか１項に記載のカメラ姿勢算出方法。
19. 車両における所定の取り付け位置に取り付けられたカメラによって撮影対象面を撮影し、前記撮影対象面の撮影画像に対して座標変換を行うことによって前記車両の周辺を監視するための車両周辺監視画像を生成し、生成された前記車両周辺監視画像を表示部に表示する画像表示方法であって、
    複数個のパターンが形成されたパターン面を有するカメラ姿勢算出用ターゲット装置であり、前記車両の載置面上への前記カメラ姿勢算出用ターゲット装置の設置状態における前記カメラによる前記パターン面の撮影画像として、当該撮影画像における前記複数個のパターンについての大きさおよび所定の方向において隣位するパターン同士の間の間隔の少なくとも一方が、均一、または、当該撮影画像におけるパターンからの特徴点の正確な抽出が可能な程度に均一に近似した状態である略均一となるような撮影画像を得ることが可能に形成されたカメラ姿勢算出用ターゲット装置を前記車両の載置面上に設置し、
    この設置された前記カメラ姿勢算出用ターゲット装置における前記パターン面を、前記カメラによって撮影し、
    この撮影によって得られた前記パターン面の撮影画像におけるパターンから特徴点を抽出し、
    抽出された特徴点に基づいて、前記カメラの姿勢を算出し、
    算出された前記カメラの姿勢と適切な姿勢との間にずれが生じている場合には、車両周辺監視画像の生成の際に、前記撮影対象面の撮影画像に対して当該ずれが解消されるような座標変換を行うこと
    を特徴とする画像表示方法。

Images