JP2010239411A - 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、当該校正指標を用いた車載カメラの校正装置のためのプログラム - Google Patents

Abstract

【課題】車載カメラの校正において、誤検出がない校正指標と、このような校正指標を用いた車載カメラの校正方法を提供する。
【解決手段】車載カメラの校正に用いられる校正指標１０は、所定の領域を囲む曲線により形成された曲線図形２と、当該曲線図形２に囲まれた領域内に交点８を形成する少なくとも２本の直線４ａ、４ｂからなる直線図形４と、が同一平面状に形成され、曲線図形２を形成する曲線と、直線図形４を形成する直線４ａ、４ｂと、により区切られる領域１２が、チェック模様で彩色されている。
【選択図】図１

Description

本発明は、車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、当該校正指標を用いた車載カメラの校正装置のためのプログラムに関する。

近年、車両の運転者が車両の側方や後方等の情景を車内のモニタを介して視認できるようにカメラが搭載された車両が増加している。更に、このカメラにより取得された撮像画像を利用して画像処理等を行い、駐車等の運転を支援する装置も開発されている。このような装置において車両の位置決め等に利用される情報を演算するためのベースとなる撮像画像を取得するカメラは、特に高い光軸精度が要求される。このような高い光軸精度はその取り付け時に容易に得られるものではなく、カメラを車両に取り付けた後、高い精度で光軸を校正することにより実現される。このような校正を行うための技術として、例えば下記に出典を示す特許文献１に記載のものがある。

特許文献１に記載される車載カメラの校正装置は、車載カメラの視野内に白黒の市松模様のパターンを有するマーカ(校正指標)を配設し、当該マーカを撮影して得られた撮像画像を画像認識処理してマーカの中心点（校正点）を検出する。この検出されたマーカの中心点を用いて、車載カメラの校正を行っている。このマーカには市松模様が彩色され、車載カメラで取得された撮像画像に含まれるエッジから市松模様により形成される校正点を特定し、当該校正点を用いて車載カメラの校正を行っている。

特開２００８−１３１２５０号公報

上述のように、特許文献１に記載される車載カメラの校正には、市松模様で彩色された校正用マーカが用いられ、校正用マーカのエッジに基づいて校正点（校正用マーカの中心点）が検出される。しかしながら、このような車載カメラの校正は一般的に工場で行われ、このような工場の中には作業員が歩行可能な場所を規定する歩行帯や白線や柵等が多数存在している。これらの歩行帯や白線や柵等は、一般的に直線形状が多数用いられて構成されることから校正用マーカの直線を誤検出する可能性がある。

本発明の目的は、上記問題に鑑み、車載カメラの校正において、誤検出がない校正指標（マーカ）と、このような校正指標を用いた車載カメラの校正方法を提供することにある。

上記目的を達成するための本発明に係る車載カメラの校正に用いられる校正指標の特徴構成は、所定の領域を囲む曲線により形成された曲線図形と、前記曲線図形に囲まれた領域内に交点を形成する少なくとも２本の直線からなる直線図形と、が同一平面状に形成され、前記曲線図形を形成する曲線と、前記直線図形を形成する直線と、により区切られる領域が、チェック模様で彩色されてある点にある。

このような特徴構成とすれば、車載カメラの校正を行う場所において、同様の形状が少ない曲線図形で囲まれた領域を検出し、更に当該囲まれた領域内の２本の直線図形を検出して校正点を特定するので、校正指標の誤検出を防止できる。また、チェック模様は、画像認識において境界検出が容易であるので、校正装置の演算負荷を軽くすることができる。したがって、演算負荷を軽くした上で、校正指標により規定される校正点の検出精度を高めることが可能となる。

また、前記曲線図形及び前記直線図形が、他の輪郭を有する図形で囲まれていると好適である。

このような構成とすれば、曲線図形及び直線図形の周囲の領域を含めてチェック模様の彩色を行うことが可能となる。したがって、校正点の検出精度を高め、校正指標の誤検出を防止できる。

また、前記直線図形を形成する直線は、車載カメラの視野の水平面及び当該水平面に垂直な垂直面に対して角度を設けてあると好適である。

このような校正とすれば、車載カメラで撮影した場合に、車載カメラの位置や角度に拘らず、交差する２本の直線による境界線の長さが近くなる。したがって、直線の検出精度が高まり、直線の交点である校正点の検出精度を向上させることが可能となる。

また、前記２本の直線が、前記水平面及び前記垂直面に対して略４５度の角度を有し、互いに直交して形成されてあると好適である。

このような校正とすれば、略４５度の角度を有するものが、車載カメラの校正を行う場所で存在することが少ないので、校正点の検出精度を高めることが可能となる。

また、本発明に係る車載カメラの校正方法は、前記車載カメラと対向し、夫々が離間して配設される一対の車載カメラの校正に用いられる校正指標を、当該車載カメラで撮像して（する撮像工程と、前記撮像工程で）得られた撮像画像を受け取って記憶部に記憶する画像受け取り工程と、前記記憶部に記憶された撮像画像に含まれるエッジを検出するエッジ検出工程と、前記検出されたエッジに基づいて前記曲線図形を検出する曲線図形検出工程と、前記直線図形を検出する直線図形検出工程と、前記検出された直線図形の交点を検出し、当該交点と前記曲線図形とに基づいて、当該交点を前記車載カメラの校正に用いられる校正点として設定する校正点設定工程と、前記一対の校正指標から設定された一対の校正点に対応し、前記車載カメラの搭載位置に応じて予め設定される一対の設定点と、前記撮像画像に含まれる前記一対の校正点とに基づいて前記車載カメラを車両に搭載した際に含まれる光軸のずれを補正する補正カメラパラメータを演算する補正カメラパラメータ演算工程と、を備える点にある。

このような方法によれば、校正指標により規定される校正点を確実に検出し、当該校正点を用いて、適切に車載カメラの校正を行うことが可能となる。

更に、本発明では、本願発明に係る校正指標を用いて車載カメラを構成する校正装置に好適に用いられるプログラムも権利範囲としており、そのプログラムの特徴構成は、前記車載カメラと対向し、夫々が離間して配設される一対の校正指標を、当該車載カメラで撮像する撮像機能と、前記撮像機能で得られた撮像画像を受け取って記憶部に記憶する画像受け取り機能と、前記記憶部に記憶された撮像画像に含まれるエッジを検出するエッジ検出機能と、前記検出されたエッジに基づいて曲線図形を検出する曲線図形検出機能と、直線図形を検出する直線図形検出機能と、前記検出された直線図形の交点を検出し、当該交点と前記曲線図形とに基づいて、当該交点を前記車載カメラの校正に用いられる校正点として設定する校正点設定機能と、前記一対の校正指標から設定された一対の校正点に対応し、前記車載カメラの搭載位置に応じて予め設定される一対の設定点と、前記撮像画像に含まれる前記一対の校正点とに基づいて前記車載カメラを車両に搭載した際に含まれる光軸のずれを補正する補正カメラパラメータを演算する補正カメラパラメータ演算機能と、をコンピュータに実行させる点にある。

このような校正装置のためのプログラムも、上述した本発明の対象としての車載カメラの校正方法と同様に、上述した作用効果を得ることが可能であり、上述した種々の付加的な特徴構成を備えることができる。

本実施形態に係る校正指標を示す図である。 車両と校正指標との位置関係を示す図である。 本実施形態に係る校正指標を用いて車載カメラの校正を行う車載カメラの校正装置の概略を示すブロック図である。 その他の実施形態に係る校正指標の一例を示す図である。 その他の実施形態に係る校正指標の一例を示す図である。 その他の実施形態に係る車両と校正指標との位置関係を示す鳥瞰図である。 その他の実施形態に係る校正指標の一例を示す図である。

以下、本発明の実施の形態について、詳細に説明する。車両１００に搭載される車載カメラ２０は、例えば後退走行する際や、ユーザの駐車操作を支援する場合等に利用される車両１００の後方画像を取得するのに用いられる。このような後方画像は車載カメラ２０により撮像画像として取得されるが、画像認識処理を用いて車両１００と撮像画像に含まれる障害物との距離を求める演算にも用いられる。しかしながら、車載カメラ２０の光軸が予め設定される設定値（例えば設計値）からずれている場合には、車両１００から障害物までの距離を演算して求めた結果と実際の距離との間でも、ずれが発生してしまう。このような状況において、前記演算に基づいて車両１００を走行させると障害物に衝突してしまうおそれがある。

そこで、車載カメラ２０を車両１００に取り付けた後、工場において光軸の校正が行われる。本発明に係る校正指標１０は、そのような工場における車載カメラ２０の校正を行う際に用いられる。以下、図面を用いて説明する。なお、本実施形態における車載カメラ２０の校正とは、車載カメラ２０の物理的な位置（実空間上での位置）を変更して校正するものではなく、車載カメラ２０が配設された位置や角度と、予め設定された設定値との差分に基づいて車載カメラ２０の光軸のずれを演算により校正（補正）するものである。

図１は、本実施形態に係る校正指標１０を示す図である。校正指標１０は、曲線図形２と直線図形４と外囲図形６とからなり、同一平面状に形成される。曲線図形２は、所定の領域を囲む曲線により形成される。所定の領域とは、特に限定されるものではなく、曲線により囲まれる領域である。図１に示される校正指標１０においては、曲線図形２は円２ａが相当する。したがって、本実施形態においては、曲線図形２は所定の領域を囲む円２ａが相当する。なお、このような所定の領域を囲む曲線とは、円２ａを用いる場合には一つの閉じた曲線（閉曲線）と考えると理解が容易である。詳細は後述するが、所定の領域を囲む曲線とは、一つの閉じた曲線のみに限定されるものではない。

直線図形４は、曲線図形２に囲まれた領域内に交点を形成する少なくとも２本の直線からなる。曲線図形２に囲まれた領域とは、上述のように円２ａで囲まれた領域が相当する。図１に示される校正指標１０においては、直線図形４は２本の直線４ａ、４ｂが相当する。ここで、本発明に係る校正指標１０が有する直線図形４は少なくとも２本であれば良く、本実施形態においては、直線図形４は２本からなるとして説明する。このような２本の直線４ａ、４ｂは、円２ａで囲まれた領域内で交差するように配設され交点８を形成する。

ここで、このような直線図形４を形成する直線４ａ、４ｂは、車載カメラ２０の視野の水平面及び当該水平面に垂直な垂直面に対して角度を設けて形成される。例えば、図１に示されるように２本の直線４ａ、４ｂが、水平面及び垂直面に対して略４５度の角度を有し、互いに直交するように形成すると好適である。

外囲図形６は、曲線図形２及び直線図形４が、他の輪郭を有する図形で囲まれるように配設される。本実施形態では、他の輪郭を有する図形とは四角形６ａが相当する。したがって、外囲図形６は、曲線図形２及び直線図形４が四角形６ａで囲まれるように配設される。

また、外囲図形６に囲まれ、曲線図形２を形成する曲線と、直線図形４を形成する直線４ａ、４ｂと、により区切られる領域１２が、チェック模様で彩色される。すなわち、チェック模様とは、線で分割された隣り合う領域が異なる色（本例では白と黒との２色）で彩色されていることである。本実施形態においては、外囲図形６は四角形６ａである。つまり、外囲図形６に囲まれるとは、四角形６ａに囲まれることを意味する。また、曲線図形２は円２ａである。つまり、曲線図形２を形成する曲線とは、円２ａを形成する曲線が相当する。したがって、外囲図形６に囲まれ、曲線図形２を形成する曲線と、直線図形４を形成する直線４ａ、４ｂと、により区切られる領域１２とは、四角形６ａに囲まれ、円２ａと、直線４ａ、４ｂとに区切られる領域１２が相当する。図１においては、領域１２は、８つの領域１２ａ−１２ｈに区切られる。これらの領域１２ａ−１２ｈは、図１に示されるように夫々隣接する領域と異なる色となるようにチェック模様で彩色される。このチェック模様は、特に限定されるものではないが、例えば白と黒との組み合わせや青と赤との組み合わせのように濃淡が明確な色を組み合わせて用いると好適である。もちろん、他の色を組み合わせて彩色することも当然に可能である。

このように構成される校正指標１０は、詳細は後述するが、車載カメラ２０で撮影して使用される。そして、撮影により取得された撮像画像の画像処理が行われ、当該画像処理の結果を用いて車載カメラ２０の校正が行われる。したがって、校正指標１０は、適度な大きさであると良い。例えば、外囲図形６を校正する四角形６ａの一辺の長さが４００ｍｍ程度で構成すると好適である。

次に、本実施形態に係る校正指標１０を用いた車載カメラ２０の校正方法に関して説明する。図２（ａ）は、車両１００と校正指標１０との位置関係を示す鳥瞰図である。また、図２（ｂ）は、車両１００と校正指標１０との位置関係を示す立面図である。ここで、本実施形態において構成される車載カメラ２０は、車両１００の後方を撮影するバックカメラである。このような車載カメラ２０は、図２に示されるように、車両１００の外側後部に備えられるライセンスププレートの近傍、或いは車両１００の外側後部に備えられるエンブレムの近傍等に配設される。なお、図２においては、本発明に係る校正指標１０をより明確に明示するために、車両１００と校正指標１０とのサイズの比率は無視して記載している。

校正指標１０は、車載カメラ２０と対向し、夫々が離間して一対で配設される。即ち、図２（ａ）及び（ｂ）に示されるように、車載カメラ２０の視野範囲内に２つ配設される。このような校正指標１０は、校正指標１０ａ、１０ｂの一対で車両１００の後端面１００ａからの直交距離が所定距離Ｌ１、Ｌ２となるように仮想平面上に配設される。例えば、衝立状で配設すると好適である。また、校正指標１０ａ、１０ｂは、夫々が離間して配設される。本実施形態においては、校正指標１０ａ、１０ｂは、その中心が車両１００の中心線１００ｂから夫々Ｗ１、Ｗ２だけ離間して配設される。更に、校正指標１０ａ、１０ｂは、その中心が、車両１００が駐車される床面１００ｃから夫々Ｈ１、Ｈ２だけ離間して配設される。

車載カメラ２０の校正を行うにあたり、校正指標１０ａ、１０ｂは、上述のように配設される。なお、Ｗ１及びＷ２、Ｌ１及びＬ２、Ｈ１及びＨ２は夫々同じ値となるように配設することも可能であるし、夫々異なる値となるように配設することも可能である。このような校正指標１０を用いることにより、車載カメラ２０の校正を行う場合に校正点を誤検出することなく検出することが可能となる。

図３は、本発明に係る校正指標１０を用いた車載カメラ２０の構成を行うことが可能な校正装置２００の構成を模式的に示すブロック図である。校正装置２００は、画像受け取り部４０、画像出力部３０、システム制御部５０、入力Ｉ／Ｆ部６０、出力Ｉ／Ｆ部７０、画像処理部８０の各機能部を備えて構成される。このように構成される校正装置２００は、ＣＰＵを中核部材として車載カメラ２０の校正を行う種々の処理を行うための上述の機能部をハードウェア又はソフトウェア或いはその両方で構築されている。

画像受け取り部４０は、一対の校正指標１０ａ、１０ｂを車載カメラ２０で撮像して得られた撮像画像を受け取って記憶部４０ａに記憶する。記憶部４０ａは、本実施形態においては画像メモリ４０ａが相当する。したがって、画像受け取り部４０は、車載カメラ２０により取得された撮像画像を画像メモリ４０ａに格納する。ここで、校正指標１０ａ、１０ｂを、車載カメラ２０で撮像する工程は撮像工程と称され、また、撮像工程で得られた撮像画像を受け取って画像メモリ４０ａに格納する工程は画像受け取り工程と称される。

画像出力部３０は、表示コントローラ３０ａと描画部３０ｂとを備えて構成され、撮像画像をディスプレイ２５等に表示するための映像信号を生成する。描画部３０ｂは、後述する画像処理の結果に基づいて校正精度の検証結果等をスーパーインポーズで描画する。表示コントローラ３０ａは、撮像画像に当該スーパーインポーズを重畳させて映像信号を出力する。

入力Ｉ／Ｆ部６０は、車載カメラ２０の校正を開始する指示等の入力信号を本校正装置２００よりも上位のシステムから受け取り、システム制御部５０に伝達する。ここで、上位のシステムとは、車両１００の組み立て調整システムや、車両１００のバックモニタシステム等が相当する。システム制御部５０は、校正装置２００の全般を制御するものであり、上述の校正を開始する指示等に基づいて後述する画像処理部８０等を制御する。出力Ｉ／Ｆ部７０は、システム制御部５０を介して画像処理結果等を受け取り、上位のシステム等に出力信号を出力する。

画像処理部８０は、画像取得部８０ａ、領域設定部８０ｂ、校正指標検出部８０ｃ、校正点特定部８０ｄ、補正カメラ角度演算部８０ｅを備えて構成される。画像取得部８０ａは、上述のシステム制御部５０から校正指示を受けると、その指示に応じた撮像画像を画像メモリ４０ａから取得する。

領域設定部８０ｂは、既知である車載カメラ２０の搭載位置、車載カメラ２０の搭載角度の設定値、及び校正指標１０ａ、１０ｂの配設位置と、既知である車載カメラ２０の搭載位置、及び車載カメラ２０の搭載角度のばらつき、から校正指標が存在すると予測される校正指標存在領域を校正指標１０ａ、１０ｂ毎に演算し、校正指標１０ａ、１０ｂ毎の画像処理領域を設定する。

校正指標検出部８０ｃは、領域設定部８０ｂにより設定された画像処理領域のエッジ（輪郭線）に基づいて構成指標１０ａ、１０ｂを構成する曲線図形２を検出する。この検出は、エッジ検出工程、曲線図形検出工程の順に行われる。以下、夫々の工程について説明する。

エッジ検出工程では、画像メモリ４０ａに記憶された撮像画像に含まれるエッジを検出する。ここで、上述のように領域設定部８０ｂにより画像処理領域が設定される。エッジ検出工程では、当該画像処理領域に対してエッジフィルタを用いてエッジの検出が行われる。エッジ検出は公知技術であるため詳細説明は省略するが、検出精度をあげるために画像処理領域に対して水平走査と垂直走査とを行うと好適である。エッジ検出工程により検出されたエッジは、エッジを示す点の集合でありエッジ点群と称される。

曲線図形検出工程では、検出されたエッジに基づいて曲線図形２を検出する。本実施形態では、曲線図形２は円２ａである。したがって、曲線図形検出工程においては、エッジ検出工程により検出されたエッジに基づいて円２ａを検出する。ここで、円２ａは正面視が真円であっても撮像された位置と車載カメラ２０の位置との関係によっては、撮像画像上では楕円に近い形となることがある。このため、曲線図形工程においては、円２ａの検出は楕円の検出手法を用いて行われる。このような楕円の検出手法として、本実施形態ではＲＡＮＳＡＣ（Random Sample Consensus）手法による楕円当てはめ処理が用いられる。ＲＡＮＳＡＣ手法は、公知技術であるため以下には簡単に説明する。

まず、エッジ検出工程により検出されたエッジを示すエッジ点群からランダムに５点を選択する。次に、選択された５点を通る楕円式を演算し、これを楕円モデルとして設定する。そして、エッジ点群のうち楕円モデルの設定に用いられた５点以外の点が、当該楕円モデルに対してどの程度フィットするかを評価（フィット性評価）する。このような５点の選択、楕円モデルの設定、フィット性評価を繰り返して行う。このように繰り返して行われた結果に対して、最もフィットした楕円モデルにより規定される楕円が、当該エッジ点群が示す形状であるとして決定される。このような曲線図形検出工程により、曲線図形２が検出される。

校正点特定部８０ｄは、曲線図形検出工程により当てはめられた楕円の内部に存在するエッジ点群から２本の直線を検出し、検出した直線の交点を校正点として検出する。この検出は、歪補正工程、直線図形検出工程、校正点設定工程の順に行われる。以下、夫々の工程について説明する。

歪み補正工程では、撮像画像の歪みを補正する。撮像画像は、上述のように車載カメラ２０により取得されるが、撮像直後の撮像画像（以下、生撮像画像とする）には、車載カメラ２０のレンズのレンズ歪みにより歪みが含まれる。例えば、被写体が直線であったとしても、生撮像画像では曲線に歪んだ形状となる。このため、直線形状のみならず被写体を正しく表示するために歪み補正処理が行われる。本実施形態では、演算処理負荷を軽減するために、直線形状の検出対象となるエッジ検出工程により検出された曲線図形２に囲まれた領域内のエッジ点群の歪みを補正する。歪み補正は、周知技術であるので詳細説明は省略する。

直線図形検出工程では、検出された曲線図形２に囲まれた領域内の直線図形４を検出する。即ち、校正指標１０上の曲線図形２と直線図形４との配置関係は既知であり、校正装置２００は、その既知の配置関係に基づいて直線図形４の検出を行う。ここで、「配置関係は既知である」とは、単なる配置関係（例えば閉曲線の中にあるという配置関係）でも良いし、所定の数値で相対位置関係が規定されていても良い。検出された曲線図形２とは、上述の歪み補正処理が行われた曲線図形２である。また、本実施形態では直線図形４は、２本の直線４ａ、４ｂである。したがって、直線図形検出工程では、歪み補正処理が行われた曲線図形２に囲まれた領域内の２本の直線４ａ、４ｂの検出が行われる。このようにすることで、直線４ａ、４ｂの探索領域を限定することができ、演算コストを低減しつつ、確実に検出することができる。

この直線図形検出工程においても、上述の曲線図形検出工程と同様に、ＲＡＮＳＡＣ手法が用いられる。以下、簡単に説明する。
まず、一方の直線４ａの検出が行われる。歪み補正処理が行われたエッジ点群の中からランダムに２点を選択する。次に、選択された２点を通る直線式を演算し、これを直線モデルとして設定する。そして、エッジ点群のうち直線モデルの設定に用いられた２点以外の点が、当該直線モデルに対してどの程度フィットするか評価（フィット性評価）する。このような２点の選択、直線モデルの設定、フィット性評価を繰り返して行う。このように繰り返して行われた結果に対して、最もフィットした直線モデルにより規定される直線が、一方の直線４ａとして決定される。

次に、他方の直線４ｂの検出が行われる。ここで、他方の直線４ｂの検出においては、歪み補正処理が行われたエッジ点群の中から、一方の直線４ａとして決定する際に用いられたエッジ点群が除かれた残りのエッジ点群が対象となる。まず、対象のエッジ点群の中からランダムに２点を選択する。次に、選択された２点を通る直線式を演算し、これを直線モデルとして設定する。そして、対象となるエッジ点群のうち直線モデルの設定に用いられた２点以外の点が、当該直線モデルに対してどの程度フィットするか評価（フィット性評価）する。このような２点の選択、直線モデルの設定、フィット性評価を繰り返して行う。このように繰り返して行われた結果に対して、最もフィットした直線モデルにより規定される直線が、他方の直線４ｂとして決定される。このような直線図形検出工程により、直線図形４が検出される。

校正点設定工程では、検出された直線図形４の交点を検出し、当該交点を車載カメラ２０の校正に用いられる校正点として設定する。検出された直線図形４とは、上述の直線図形検出工程により検出された２本の直線４ａ、４ｂが相当する。校正点設定工程では２本の直線４ａ、４ｂの交点を検出し、当該交点を校正点として設定する。このようにして、校正点特定部８０ｄは車載カメラ２０を校正する際に用いる校正点を設定する。

補正カメラ角度演算部８０ｅは、既知である車載カメラ２０の搭載位置と車載カメラ２０を搭載する搭載角度の設定値と校正指標１０ａ、１０ｂの配設位置とから、仮想画像上での左右の校正点に対応する対応点を演算し、上述の校正点特定部８０ｄにより設定された校正点との差分から補正カメラパラメータを演算する。この演算は、補正カメラパラメータ演算工程により行われる。なお、補正カメラパラメータは、カメラパラメータにおいて、設計値と実際の値との差を意味している。したがって、補正カメラパラメータで設計値を補正することで実際の値に補正されることになる。以下、説明する。

補正カメラ角度演算工程では、一対の校正指標から設定された一対の校正点に対応し、車載カメラ２０の搭載位置に応じて予め設定される一対の設定点と、撮像画像に含まれる一対の校正点とに基づいて車載カメラ２０を車両１００に搭載した際に含まれる光軸のずれを補正する補正カメラ角度を演算する。一対の校正指標から設定された一対の校正点に対応し、車載カメラ２０の搭載位置に応じて予め設定される一対の設定点とは、仮想画像上での左右の校正点に対応する一対の対応点が相当する。この一対の対応点と、一対の校正点との差分を演算し、当該差分に基づいて車載カメラ２０を車両１００に搭載した際に含まれる光軸のずれを補正する補正カメラ角度を演算する。

補正カメラ角度は、車載カメラ２０の角度を補正するのに利用する。ここでは、この補正カメラ角度は、車載カメラ２０により取得された撮像画像をディスプレイ２５に表示し、当該撮像画像に所定の描画（例えば、車両１００を駐車スペースに駐車させたり、後退走行をさせたりする際にドライバの運転を支援する公知の駐車支援装置や運転支援装置等における車両１００の進路を予想した予想進路線等）を重畳する際に好適に利用される。すなわち、車載カメラ２０の角度が設計値からずれていた場合に、その車載カメラ２０の撮像画像と、前記設計値から描画する描画を重畳させると、撮像画像と描画にずれが生じ、運転者が誤認してしまう。係る場合に、この補正カメラ角度に基づいて実際の撮像画像（設計値からずれていたカメラ角度で設置された車載カメラ２０で撮影された撮像画像）に適した描画に補正する。このため、車載カメラ２０により取得された撮像画像に、前記所定の描画を正確に重畳することが可能となる。

また、補正カメラ角度は、車載カメラ２０の角度を補正する角度を演算して撮像画像を補正するのに利用することも可能である。車載カメラ２０の角度とは、車載カメラ２０のレンズの鉛直方向に沿った車載カメラ２０の角度（回転角）、車載カメラ２０の鉛直方向の角度（仰角）、車載カメラ２０の水平方向の角度（方位角）が相当する。したがって、車載カメラ２０の角度を補正する角度とは、車載カメラ２０のレンズの鉛直方向に沿った車載カメラ２０の角度を補正する回転角（Ｒｏｌｌ角）、車載カメラ２０の鉛直方向の角度を補正する仰角（Ｔｉｌｔ角）、車載カメラ２０の水平方向の角度を補正する方位角（Ｐａｎ角）とからなり、補正カメラ角度を用いると、車載カメラ２０の各角度を補正することが可能である。即ち、車載カメラ２０により撮像された撮像画像をＲｏｌｌ角に合わせて回転（面回転）し、当該Ｒｏｌｌ角に合わせて回転された撮像画像をＴｉｌｔ角に合わせて仰角を調整し、当該Ｔｉｌｔ角に合わせて水平方向の角度を調整する。撮像画像を補正することにより、上述のように撮像画像に前記所定の描画を正確に重畳することも可能であるし、また、製品毎に撮像範囲がばらつくことを抑制することも可能となる。このように本校正装置２００によれば、本発明に係る校正指標１０を用いた上述の各工程からなる校正方法により、車載カメラ２０を車両１００に搭載した際に含まれる光軸のずれを好適に校正（補正）することも可能である。

更に、上記所定の描画の補正を行う以外の利用例として、上記の車載カメラ２０の角度を補正する回転角、仰角、方位角を用いて、車載カメラ２０により取得された撮像画像そのものを補正してディスプレイ２５に表示することも可能である。或いは、車載カメラ２０で取得された撮像画像に含まれる表示物（例えば、車線や物体等）の位置を上記のカメラ２０の角度を補正する回転角、仰角、方位角を用いて補正することにより、正確な位置の特定に利用することも可能である。

〔その他の実施形態〕
上記実施形態では、曲線図形２が円２ａからなり、直線図形４が２本の直線４ａ、４ｂからなるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。曲線図形２は円２ａ以外の図形でも良いし、直線図形４は少なくとも２本の直線、即ち３本以上の直線でも良い。例えば、曲線図形２が円形２ａ以外の図形を用いた場合の校正指標１０の一例を図４に示す。曲線図形２は、四角形６ａの外囲図形６の中心方向に対して、凸型形状からなる曲線２ｂ−２ｅからなるものとすることも可能である。図４では、直線形状４は、２本の直線４ａ、４ｂからなる。そして、曲線２ｂ−２ｅと２本の直線４ａ、４ｂとが同一平面状に形成され、これらにより区切られた領域１２ｉ−１２ｐをチェック模様で彩色することにより校正指標１０を校正することも可能である。このような校正指標１０を用いた場合であっても、曲線図形２に囲まれた領域内に、２本の直線４ａ、４ｂにより形成される交点８を、車載カメラ２０を校正する校正点として用いることも当然に可能である。

このように、本願発明に係る「曲線図形２に囲まれた領域」とは、曲線図形２により完全に閉じられた領域のみを意味するものではなく、図４に示されるような曲線図形２により完全に閉じられていない領域も含むものである。したがって、図４に示される校正指標１０であっても、本願発明に係る「所定の領域を囲む曲線により形成された曲線図形２と、当該曲線図形２に囲まれた領域内に交点を形成する少なくとも２本の直線からなる直線図形４と、が同一平面状に形成される」ということに当然に含まれるものである。なお、図４に示される校正指標１０にあっては、例えば曲線図形２と外囲図形６とにより完全に閉じられた領域が形成されるとして考えることも可能である。

更に、校正指標１０の他の例として、図５のように構成することも可能である。図５に示される校正指標１０のように、複数の曲線図形２により閉じられた領域を形成するように構成することも可能である。したがって、図５に示される校正指標１０であっても、本願発明に係る「所定の領域を囲む曲線により形成された曲線図形２と、当該曲線図形２に囲まれた領域内に交点を形成する少なくとも２本の直線からなる直線図形４と、が同一平面状に形成される」ということに当然に含まれるものである。

上記実施形態では、特に図１において、円形２ａの中心に交点８が配置されるように図示した。しかしながら、本発明の適用範囲は、これに限定されるものではない。図１における交点８の配置場所は、単なる例示であり、円形２ａの中心でない位置（中心からずれた位置）に交点８を配置して校正指標１０を形成することも当然に可能である。

上記実施形態では、校正指標１０は図２に示されるように車両１００に対向するように衝立状で配設されるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。図６に示されるように車両１００が駐車される床面１００ｃに校正指標１０を配設しても良いし、床面１００ｃにペイントしても良い。このような位置に校正指標１０を配設しても、校正対象である車載カメラ２０が校正指標１０を撮像可能であれば、当該車載カメラ２０を校正することは当然に可能である。

上記実施形態では、歪み補正処理は直線形状の検出対象となるエッジ検出工程により検出された曲線図形２に囲まれた領域内のエッジ点群の歪みを補正するとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。車載カメラ２０により撮像された直後の撮像画像（生撮像画像）の全面にわたって歪み補正処理を行うことも当然に可能である。

上記実施形態では、曲線図形２及び直線図形４が、四角形６ａからなる外囲形状６で囲まれているとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。外囲形状６は四角形６ａに限定されるものではなく、円形や多角形等の他の形状とすることも当然に可能である。また、外囲形状６で曲線図形２及び直線図形４の周囲を囲まない構成とすることも当然に可能である。このように校正される校正指標１０であっても、好適に車載カメラ２０の校正を行うことは当然に可能である。

上記実施形態では、直線図形４を形成する直線４ａ、４ｂは、車載カメラ２０の視野の水平面及び当該水平面に垂直な垂直面に対して角度を設けてあり、２本の直線４ａ、４ｂが、水平面及び垂直面に対して略４５度の角度を有し、互いに直交するとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。図７に示されるように、２本の直線４ａ、４ｂを夫々水平面及び垂直面に沿って配設することも可能である。或いは、図示はしないが、４５度以外の角度で配設することも可能である。また、２本の直線４ａ、４ｂは直交でなくても、交点８を形成するものであれば良い。このような校正指標１０であっても、好適に車載カメラ２０を校正することは当然に可能である。

上記実施形態では、撮像画像の歪みを補正するために歪み補正工程が行われるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。歪み補正工程を省くことも当然に可能である。係る場合には、ＲＡＮＳＡＣ手法での直線図形４の検出において、当該歪みを考慮して検出すると好適である。また、歪み補正工程は、直線図形検出工程の前に行われるとして説明したが、エッジ検出工程や、曲線図形検出工程の前に行うように構成することも当然に可能である。

上記実施形態では、校正対象となる車載カメラ２０が車両１００の後方に備えられるバックカメラであるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。車両１００の前方を撮影するフロントカメラを校正対象とすることも可能であるし、車両１００の側方を撮影するサイドカメラを校正対象とすることも当然に可能である。

上記実施形態では、直線図形検出工程では、曲線図形２に囲まれた領域内に２本の直線４ａ、４ｂの検出を行い、当該検出された直線４ａ、４ｂの交点を校正点として設定するとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、曲線図形２と直線４ａ、４ｂ若しくは交点を別々に検出し、曲線図形２と直線４ａ、４ｂ若しくは交点との配置関係を比較して直線４ａ、４ｂ若しくは交点の妥当性をチェックする構成とすることも当然に可能である。即ち、曲線図形検出工程により、エッジ検出工程により検出されたエッジに基づいて曲線図形２を検出する。一方、直線図形検出工程により、直線図形４を検出する。そして、校正点設定工程により、直線図形検出工程により検出された直線図形４（の交点）が、曲線図形検出工程により検出された曲線図形２により囲まれた領域内にある場合に校正点として設定する構成とすることも当然に可能である。

また、直線図形検出工程により直線４ａ、４ｂを検出し、当該直線４ａ、４ｂの交点を検出した後、当該交点の周囲の曲線図形２を検出する構成とすることも当然に可能である。即ち、校正点設定工程により、検出された交点の周囲に曲線図形２が検出された場合にのみ、当該交点を校正点に設定する構成としても、上記同様の効果を得ることが可能である。

上記実施形態では、補正カメラパラメータ演算工程において、車載カメラ２０のレンズの鉛直方向に沿った車載カメラ２０の角度を補正する回転角（Ｒｏｌｌ角）、車載カメラ２０の鉛直方向の角度を補正する仰角（Ｔｉｌｔ角）、車載カメラ２０の水平方向の角度を補正する方位角（Ｐａｎ角）を演算するとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。車載カメラ２０の外部パラメータとして、３次元空間における車載カメラ２０の並進量（車載カメラ２０の水平方向、鉛直方向、奥行方向における物理的な位置ずれ）を演算することも当然に可能である。

上記実施形態では、車載カメラ２０の校正に用いられる校正指標１０と、当該校正指標１０を用いた車載カメラ２０の校正方法と、当該校正指標１０を用いた校正装置２００のためのプログラムに関して説明した。これら以外に、上述の校正指標１０を用いた車載カメラ２０の校正を行う校正装置２００も本願発明の権利範囲とすることは当然に可能である。

即ち、車載カメラ２０と対向し、夫々が離間して配設される一対の校正指標１０と、車載カメラ２０が撮像して得られた撮像画像を受け取って記憶部４０ａに記憶する画像受け取り部４０と、記憶部４０ａに記憶された撮像画像に含まれるエッジを検出するエッジ検出部と、当該検出されたエッジに基づいて曲線図形２を検出する曲線図形検出部と、直線図形４を検出する直線図形検出部と、検出された直線図形４の交点を検出し、当該交点と曲線図形２とに基づいて、当該交点を車載カメラ２０の校正に用いられる校正点として設定する校正点設定部と、一対の校正指標２０から設定された一対の校正点に対応し、車載カメラ２０の搭載位置に応じて予め設定される一対の設定点と、撮像画像に含まれる一対の校正点とに基づいて車載カメラ２０を車両１００に搭載した際に含まれる光軸のずれを補正する補正カメラパラメータを演算する補正カメラパラメータ演算部と、を備える校正装置２０を構成することも可能である。

係る場合、校正指標１０として、所定の領域を囲む曲線により形成された曲線図形２と、当該曲線図形２に囲まれた領域内に交点を形成する少なくとも２本の直線からなる直線図形４と、が同一平面状に形成され、曲線図形２を形成する曲線と、直線図形４を形成する直線４ａ、４ｂと、により区切られる領域が、チェック模様で彩色されてあるものを用いると好適である。また、補正カメラパラメータ演算部として、上述の補正カメラ角度演算部８０ｅを用いることも当然に可能である。

本発明は、車載カメラの校正において、誤検出がない校正指標（マーカ）と、このような校正指標を用いた車載カメラの校正方法に用いることが可能である。

２：曲線図形
２ａ：円形
４：直線図形
４ａ、４ｂ：直線
６：外囲図形
６ａ：四角形
８：交点
１０：校正指標
１２：領域
１２ａ−１２ｈ：領域

Claims (6)

1. 所定の領域を囲む曲線により形成された曲線図形と、
   前記曲線図形に囲まれた領域内に交点を形成する少なくとも２本の直線からなる直線図形と、が同一平面状に形成され、
   前記曲線図形を形成する曲線と、前記直線図形を形成する直線と、により区切られる領域が、チェック模様で彩色されてある車載カメラの校正に用いられる校正指標。
2. 前記曲線図形及び前記直線図形が、他の輪郭を有する図形で囲まれている請求項１に記載の車載カメラの校正に用いられる校正指標。
3. 前記直線図形を形成する直線は、車載カメラの視野の水平面及び当該水平面に垂直な垂直面に対して角度を設けてある請求項１又は２に記載の車載カメラの校正に用いられる校正指標。
4. 前記２本の直線が、前記水平面及び前記垂直面に対して略４５度の角度を有し、互いに直交して形成されてある請求項３に記載の車載カメラの校正に用いられる校正指標。
5. 前記車載カメラと対向し、夫々が離間して配設される一対の請求項１から４のいずれか一項に記載の車載カメラの校正に用いられる校正指標を、当該車載カメラで撮像する撮像工程と、
   前記撮像工程で得られた撮像画像を受け取って記憶部に記憶する画像受け取り工程と、
   前記記憶部に記憶された撮像画像に含まれるエッジを検出するエッジ検出工程と、
   前記検出されたエッジに基づいて前記曲線図形を検出する曲線図形検出工程と、
   前記直線図形を検出する直線図形検出工程と、
   前記検出された直線図形の交点を検出し、当該交点と前記曲線図形とに基づいて、当該交点を前記車載カメラの校正に用いられる校正点として設定する校正点設定工程と、
   前記一対の校正指標から設定された一対の校正点に対応し、前記車載カメラの搭載位置に応じて予め設定される一対の設定点と、前記撮像画像に含まれる前記一対の校正点とに基づいて前記車載カメラを車両に搭載した際に含まれる光軸のずれを補正する補正カメラパラメータを演算する補正カメラパラメータ演算工程と、
   を備える車載カメラの校正方法。
6. 車載カメラの校正を行う校正装置のためのプログラムであって、
   前記車載カメラと対向し、夫々が離間して配設される一対の校正指標を、当該車載カメラで撮像する撮像機能と、
   前記撮像機能で得られた撮像画像を受け取って記憶部に記憶する画像受け取り機能と、
   前記記憶部に記憶された撮像画像に含まれるエッジを検出するエッジ検出機能と、
   前記検出されたエッジに基づいて曲線図形を検出する曲線図形検出機能と、
   直線図形を検出する直線図形検出機能と、
   前記検出された直線図形の交点を検出し、当該交点と前記曲線図形とに基づいて、当該交点を前記車載カメラの校正に用いられる校正点として設定する校正点設定機能と、
   前記一対の校正指標から設定された一対の校正点に対応し、前記車載カメラの搭載位置に応じて予め設定される一対の設定点と、前記撮像画像に含まれる前記一対の校正点とに基づいて前記車載カメラを車両に搭載した際に含まれる光軸のずれを補正する補正カメラパラメータを演算する補正カメラパラメータ演算機能と、
   をコンピュータに実行させる校正装置のためのプログラム。

Images