JP2010087743A

JP2010087743A - 車載カメラの校正装置

Info

Publication number: JP2010087743A
Application number: JP2008253257A
Authority: JP
Inventors: Yoshihiro Nakamura; 吉宏中村; Etsuo Yamada; 悦生山田
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2008-09-30
Filing date: 2008-09-30
Publication date: 2010-04-15
Anticipated expiration: 2028-09-30
Also published as: JP5240517B2

Abstract

【課題】複数の色の組み合わせパターンからなる校正指標を環境光の影響下で撮影して得られた撮影画像データから、効率的に且つ正確に校正点の検出と位置算定を行うことが可能な車載カメラの校正装置を提供する。
【解決手段】格子模様の境界線の交差点を校正点Ｑとする少なくとも２つの校正指標を含む撮影画像上において、第１校正点Ｑ１が含まれる第１領域Ｒ１を設定し、第１領域Ｒ１において第１境界線Ｖ１、第１交差境界線Ｈ１を検出し、第１境界線Ｖ１及び第１交差境界線Ｈ１に基づいて第１校正点Ｑ１を検出し、第１校正点Ｑ１に基づいて第２校正点Ｑ２が含まれる第２領域Ｒ２を設定し、第２領域Ｒ２において第２境界線Ｖ１、第２交差境界線Ｈ２を検出し、第２境界線Ｖ１及び第２交差境界線Ｈ２に基づいて第２校正点Ｑ２を検出し、第１校正点Ｑ１及び第２校正点Ｑ２に基づいて車載カメラを校正する。
【選択図】図１０

Description

本発明は、車載カメラを校正する車載カメラの校正装置に関する。

近年、車両の運転者が車両の側方や後方などの情景を車内のモニタを介して視認できるようにカメラが搭載された車両が増加している。さらに、このカメラの撮影画像を利用して画像処理などを行い、駐車などの運転を支援する装置も開発されている。特に、車両の位置決めなどに利用される情報を作り出すためのベースとなる撮影画像を取り込むカメラに関しては、光軸調整などの校正が高い精度で要求される。例えば、特開２００８−１３１２５０号公報（特許文献１）には、カメラの視野内の２箇所に配置された白黒の市松模様のパターンを有するマーカ(校正指標)を車載カメラで撮影し、画像処理を通じてマーカの中心点（校正点）を検出し、車載カメラを校正する技術が示されている。

また、原稿の位置合わせのために予め原稿に記入されたターゲットの位置を正確に検出するというイメージスキャナの技術分野においては、次のような技術が知られている。特開平９−１５３１３９号公報（特許文献２）には、赤と青と緑の同心円パターンからなるターゲットの撮影画像信号を色差信号に変換し、色差信号を用いてターゲットの位置検出を行う映像信号処理装置が示されている。

特開２００８−１３１２５０号公報（第２３〜４０段落、図１等）特開平９−１５３１３９号公報（第１７〜３０段落、図１等）

特許文献１の技術では、白黒の市松模様の中心点を正確に検出する必要があるが、照明光や太陽光の状態によっては白黒領域のエッジ検出精度が不安定になり、マーカの中心点の検出精度が低下する場合がある。また、特許文献２の技術では、色差信号をターゲットの検出に用いるので、ターゲットの撮影画像信号に予め決められているターゲットパターンの色情報(色差成分)が十分に保持されていることが、正確な位置検出の前提条件となる。イメージスキャナでは、外乱光の影響を無視することができるので、ターゲットの撮影画像信号に正確な色差成分が保持されるとみなすことができる。これに対して、車載カメラによるターゲット撮影などでは、ターゲットを環境光の影響下で撮影することになるので、単純に、色差信号を用いるだけで正確なターゲットの位置検出は困難である。また、ターゲットの模様に類似したものをカメラ視野内に置いてしまった場合にも誤認識する可能性がある。これを防ぐために作業場の管理を厳格にすると、わずらわしくなり、生産性を低下させる可能性が生じる。

このような背景から、複数の色の組み合わせパターンからなる校正指標を環境光の影響下で撮影して得られた撮影画像データから校正点の正確な検出と位置算定が可能となる技術が求められている。しかし、市松模様等のパターンを有する校正指標の撮影画像データから、エッジ検出等の画像処理を通じて校正点を抽出するには、多くの演算時間を要する。白黒の校正指標を使うことによる上記課題を抑制するために有色の校正指標を用いた場合には、撮影画像データもカラー画像データとなるので、データ量が増大し、演算時間も増加する。従って、車載カメラの校正処理のために、効率的且つ正確に校正点の検出が可能な技術が求められている。

本願は、上記課題に鑑みて創案されたもので、複数の色の組み合わせパターンからなる校正指標を環境光の影響下で撮影して得られた撮影画像データから、効率的に且つ正確に校正点の検出と位置算定を行うことが可能な車載カメラの校正装置を提供することを目的とする。

上記課題を解決するための本発明に係る車載カメラの校正装置の特徴構成は、
少なくとも異なる２箇所に配置され、第１色と第２色との格子模様の境界線の交差点を校正点とする校正指標を撮影範囲内に含む車載カメラによって撮影された撮影画像を受け取る画像受け取り部と、
前記撮影画像上において、前記校正点の内の１つである第１校正点が含まれる第１領域を設定する第１領域設定部と、
前記第１領域において、前記校正指標の格子模様の境界線の内の１つである第１境界線を検出する第１境界線検出部と、
前記第１領域内において、前記第１境界線に交差する第１交差境界線を検出する第１交差境界線検出部と、
検出された前記第１境界線及び前記第１交差境界線の前記撮影画像上の座標に基づいて、それらの交差点の座標を前記第１校正点として検出する第１校正点検出部と、
検出された前記第１校正点の前記撮影画像上の座標値に基づいて、前記第１校正点とは異なる第２校正点が含まれる第２領域を、前記撮影画像上において前記第１領域よりも狭い範囲として設定する第２領域設定部と、
前記第２領域において、前記校正指標の格子模様の境界線の内の１つである第２境界線を検出する第２境界線検出部と、
前記第２領域内において、前記第２境界線に交差する第２交差境界線を検出する第２交差境界線検出部と、
検出された前記第２境界線及び前記第２交差境界線の前記撮影画像上の座標に基づいて、それらの交差点の座標を前記第２校正点として検出する第２校正点検出部と、
前記第１校正点、前記第２校正点の空間上の配置位置を示す基準座標系における座標と、前記撮影画像上において検出された前記第１校正点、前記第２校正点のカメラ座標系における座標とに基づいて、前記車載カメラを校正する校正演算部と、を備える点にある。

この構成によれば、先に検出された第１校正点を基準として、第２領域が設定される。第１校正点は、既に検出された点であるから、その座標値は正確であり、これを元にして設定される第２領域に校正指標が含まれる可能性は高くなる。従って、第１領域に比べて第２領域は、より狭い領域、つまり少ない画素数により構成される領域とすることができる。第２境界線や第２交差境界線は、この第２領域において検出されるが、その検出の際に画像処理の対象となる画素数が第１領域に比べて少なくなる。従って、演算時間を抑制することができる。また、第１校正点を基準として第２領域が設定されるので、安定して第２校正点が検出される。その結果、効率的に且つ正確に校正点の検出と位置算定を行うことが可能な車載カメラの校正装置を提供することが可能となる。

また、本発明に係る車載カメラの校正装置の別の特徴構成は、
少なくとも異なる２箇所に配置され、第１色と第２色との格子模様の境界線の交差点を校正点とする校正指標を撮影範囲内に含む車載カメラによって撮影された撮影画像を受け取る画像受け取り部と、
前記撮影画像上において、前記校正点の内の１つである第１校正点が含まれる第１領域を設定する第１領域設定部と、
前記第１領域において前記校正指標の格子模様の境界線の内の１つである第１境界線を検出する第１境界線検出部と、
検出された前記第１境界線の前記撮影画像上の座標に基づいて、前記撮影画像上において、前記第１校正点とは異なる第２校正点が含まれる第２領域を前記第１領域よりも狭い範囲として設定する第２領域設定部と、
前記第１領域内において、前記第１境界線に交差する第１交差境界線を検出する第１交差境界線検出部と、
前記第２領域において前記校正指標の格子模様の境界線の内の１つである第２境界線を検出する第２境界線検出部と、
前記第２領域内において、前記第２境界線に交差する第２交差境界線を検出する第２交差境界線検出部と、
検出された前記第１境界線及び前記第１交差境界線の前記撮影画像上の座標に基づいて、それらの交差点の座標を前記第１校正点として検出する第１校正点検出部と、
検出された前記第２境界線及び前記第２交差境界線の前記撮影画像上の座標に基づいて、それらの交差点の座標を前記第２校正点として検出する第２校正点検出部と、
前記第１校正点、前記第２校正点の空間上の配置位置を示す基準座標系における座標と、前記撮影画像上において検出された前記第１校正点、前記第２校正点のカメラ座標系における座標とに基づいて、前記車載カメラを校正する校正演算部と、を備える点にある。

この構成によれば、先に検出された１つの校正指標の第１境界線を基準として、第２領域が設定される。第１境界線は第１校正点を含む直線であるから、その両端部の座標値の間に第１校正点の座標値が含まれる。つまり、ある程度の高い精度で第１校正点が検出されていることになるので、この座標を元にして設定される第２領域に校正指標が含まれる可能性が高くなる。従って、第１領域に比べて第２領域は、より狭い領域、つまり少ない画素数により構成される領域とすることができる。第２境界線や第２交差境界線は、この第２領域において検出されるが、その検出の際に画像処理の対象となる画素数が第１領域に比べて少なくなる。従って、演算時間を抑制することができる。また、第１校正点近傍の座標を基準として第２領域が設定されるので、安定して第２校正点が検出される。その結果、効率的に且つ正確に校正点の検出と位置算定を行うことが可能な車載カメラの校正装置を提供することが可能となる。

また、本発明に係る車載カメラの校正装置は、上記各構成に加えて、
検出された前記第１境界線の前記撮影画像上の座標値に基づいて、前記第１領域内において前記第１領域よりも狭い第１絞り込み領域を設定する第１絞り込み領域設定部と、
検出された前記第２境界線の前記撮影画像上の座標値に基づいて、前記第２領域内において前記第２領域よりも狭い第２絞り込み領域を設定する第２絞り込み領域設定部と、をさらに備え、
前記第１交差境界線検出部は、前記第１絞り込み領域内において前記第１交差境界線を検出し、
前記第２交差境界線検出部は、前記第２絞り込み領域内において前記第１２交差境界線を検出すると好適である。

第１及び第２絞り込み領域は、第１及び第２領域に対して、大幅に絞り込まれた領域である。校正指標の格子模様の境界線の検出には、エッジ検出アルゴリズムなどの画像処理が利用されるが、画像処理の対象となる画素数が少なければ、その分だけ演算負荷が軽くなり、演算時間も短縮される。また、画像処理の対象となる領域が狭くなるので、第１及び第２交差境界線の近くにこれらと同じような直線が存在したとしても、それが第１及び第２絞り込み領域の範囲外であれば検出されない。従って、ノイズ耐性が向上し、安定した画像処理が可能となる。

以下、本発明の実施形態を図面に基づいて説明する。図１は、校正用のマーカ２（校正指標）と車両１との配置関係の一例を示す説明図である。カメラ１（車載カメラ）は、車両１００の後方のナンバープレートの上方に車体長手軸心から側方へオフセットした位置で、カメラ光軸を下方（例えば水平から３０°下方）に向けて設置される。もちろん、カメラ１は、オフセットすることなく、中央に配置されてもよい。なお、この図示例では、車体長手軸心とカメラ光軸とは平行ではない。カメラ１は、例えば水平方向の視野角１１０〜１２０°の広角カメラであり、後方約８ｍ程度までの領域を撮影可能である。このカメラ１は、車両の生産工場等で車両１００に取り付けられる際に取り付け誤差を吸収するべく校正される。また、修理工場などにおいて、走行による振動の累積や衝撃などによるカメラ１のずれを修正するべく校正される。以下、自動車生産工場におけるカメラ校正を例として説明する。

図１に示すように、カメラ１の校正は、車両１００を所定位置に停車させた状態で行われる。例えば、車両１００をバックまたは前進させ、所定位置に設けられたタイヤ溝やタイヤ止めによって車輪が停止するようにすれば、正確な位置で停止させることが可能である。図１に示す例では、２つの校正指標２（２ａ、２ｂ）が床面上に配置されている。図から明らかなように、２つの校正指標２ａ、２ｂの間隔は車両１のトレッド幅に比べて狭く、マーカ２が車両１の車輪によって踏まれにくい配置となっている。この配置とは逆に、２つのマーカ２ａ、２ｂの間隔を車両１００のトレッド幅に比べて広くとって、マーカ２が車両１の車輪によって踏まれにくい配置を採用してもよい。

図１において、車両１００は、後端部中央の床面がワールド座標系（基準座標系、Ｘ_W，Ｙ_W，Ｚ_W）の原点Ｏ_Wとなるように停車されている。ここでは、カメラ１の光学中心Ｏ_Cを中心とするカメラ座標系（Ｘ_C，Ｙ_C，Ｚ_C）は、ワールド座標系に対して各軸が平行とはなっていない。ワールド座標系、カメラ座標系共に右手系の座標系であり、図中では、紙面に対して鉛直方向のＸ_W軸、及びほぼ鉛直方向のＸ_C軸は図示していない。ワールド座標系とカメラ座標系との間の座標変換は、例えば特開２００８−１３１２５０号公報（特許文献１）等に記載されたような良く知られた演算法を用いて行うことができる。

マーカ２は、カメラ１の視野範囲内において少なくとも２箇所に配置される。また、マーカ２は、ワールド座標系においてその座標が既知となるように配置される。図２は、校正用のマーカ２の一例を示す説明図である。本例において、マーカ２は、図２に示すように青と赤の市松模様（格子模様の一例）のパターンを有している。パターンの境界線の交差点、つまり、中央の点Ｑが校正点であり、カメラ１の校正の基準となる。つまり、この校正点Ｑの座標がワールド座標系においてその座標が既知となるように、マーカ２は配置されている。尚、ここでは青の矩形２個、赤の矩形２個の計４個の矩形の例を示したが、計４個以上であっても良く、その数や形状はここで図示されているものに限定されない。

マーカ２は、蛍光灯からの光や窓ガラスから入射する日光などの環境光にさらされる床面に直接的または間接的に配置される。間接的な配置とは、台座等の上にマーカ２が配置されるような場合である。いずれにしても環境光の反射状況によっては画像認識が困難となる。従って、本発明では、鉄板につや消しサテン状塗料を２度塗りする塗装法を採用することで、マーカ２の表面をつや消し状態とし、環境光の反射等の影響を受けにくい撮影画像が得られるようにしている。

図１に示す例では、２つのマーカ２は床上に車両の主軸（ワールド座標系のＺ_W軸）に対して左右対称に配置されている（Ｄ１＝Ｄ２、Ｗ１＝Ｗ２）。ただし、常に左右対称である必要はなく、カメラ１の視野内であって、座標値が既知であればその配置は自由である。つまり、工場において確保できる広さや他の設備との関係によってマーカ２の配置を任意に設定することが可能である。ワールド座標系において校正点Ｑの座標値が既知であれば問題はない。

マーカ２の寸法は、カメラ１の解像度やカメラ１による撮影画像を処理する画像処理機能の性能、マーカの配置位置などに応じて、精度良く校正点Ｑを検出できるように適切に定められる。一例として、Ｄ１とＤ２が１〜２ｍ、Ｗ１とＷ２が０.５ｍ程度である場合には、図２に示すような、各矩形が１０〜１５ｃｍ四方、全体が２０〜３０ｃｍ四方のマーカ２が利用される。尚、マーカ２は、床面ではなく、壁面上や衝立上に設置されてもよい。つまり、マーカ２は、カメラ１の視野内であれば、任意の面に設置可能である。

図３は、本発明の車載カメラの校正装置の構成を模式的に示すブロック図である。図に示すように、校正装置は、画像受け取り部３と、画像出力部４と、システム制御部５と、入力Ｉ／Ｆ部６と、出力Ｉ／Ｆ部７と、画像処理部１０と、を有している。これら各部は、機能としての分担を示すものであり、必ずしも独立して設けられる必要はない。マイクロコンピュータなどのハードウェアと、ハードウェア上で実行されるプログラムなどのソフトウェアとの協働によって各機能が実現されるものでも勿論構わない。

入力Ｉ／Ｆ部６は、カメラ１の校正開始の指示などの入力信号を車載カメラの校正装置よりも上位のシステムから受け取り、システム制御部５に伝達する。ここで、上位のシステムとは、車両１００の組み立て調整システムや、車両１００のバックモニタシステム、ナビゲーションシステム、マルチメディアシステムなどである。システム制御部５は、カメラ１の校正装置の全般を制御するものであり、校正開始の指示などに基づいて画像処理部１０などを制御する。出力制御部７はシステム制御部５を介して画像処理結果などを受け取り、上位のシステムや、校正装置の報知部などに電気信号を出力する。

画像受け取り部３は、デジタルビデオカメラであるカメラ１による撮影画像をバッファ３ａ、同期分離部３ｂ、クロック生成部３ｃ、Ａ／Ｄコンバー３ｃなどの公知の画像Ｉ／Ｆを介して受け取り、フレームメモリ３ｅに格納する。画像処理部１０に備えられた不図示の画像データ制御部は、画像受け取り部３を制御する。例えば、フレームメモリ３ｅへの撮影画像の格納や、フレームメモリ３ｅからの撮影画像の読み出しを制御する。画像処理部１０は、不図示の前処理部を有しており、必要に応じてカメラ１のレンズ特性等に起因する画像の歪みの補正や、濃度補正、コントラスト補正、シェーディング補正等のレベル調整を実行する。

画像処理部１０は、その他、第１領域設定部１１、第１境界線検出部１２、第１絞り込み領域設定部１３、第１交差境界線検出部１４、第１校正点検出部１５、第２領域設定部２１、第２境界線検出部２２、第２絞り込み領域設定部２３、第２交差境界線検出部２４、第２校正点検出部２５、校正演算部３１などの各機能部を有して構成されている。各機能部の詳細については、後述する。

図４は、キャプチャ領域の設定原理を示す説明図である。図に示すように、カメラ１の光軸が設計値通りの方向を向いている場合に、基準座標上の所定位置に配置されたマーカ２が撮影される撮影画像（ｈ−ｖ座標）上の校正点Ｑの位置を基準として、キャプチャ領域Ｒ１が設定される。本実施形態では、上述したように２つのマーカ２が用いられる。ここでは、それらの内の一方である第１マーカ２ａの校正点Ｑを基準として、まず、キャプチャ領域Ｒ１が設定される。キャプチャ領域Ｒ１は、本発明の第１領域に相当する。

カメラ１の回転方向のずれは、３次元直交座標のそれぞれの軸を回転軸とする、ロール、チルト、パンの３方向において発生する可能性がある。そこで、カメラ１の光軸が設計値通りの方向を向いている場合に対して、それぞれ、±３度のずれが発生しても、校正点Ｑを含む市松模様の境界線Ｈ１及びＶ１が必ず含まれるように、キャプチャ領域Ｒ１が設定される。第１領域設定１１は、撮影画像ＩＭ上において第１マーカ２ａの校正点Ｑ（第１校正点）が含まれるようにキャプチャ領域Ｒ１を設定する。

キャプチャ領域Ｒ１が設定されると、第１境界線検出部１２は、当該キャプチャ領域Ｒ１内において、市松模様の十字の境界線の内の一方の境界線である第１境界線Ｖ１を検出する。第１境界線Ｖ１は、２つのマーカ２が並ぶ方向に対して交差する方向、本例では撮影画像ＩＭのｖ軸方向に沿って延びる境界線である。しかし、第１境界線として、２つのマーカ２が並ぶ方向に沿う方向、本例では撮影画像ＩＭのｈ軸方向に沿って延びる境界線ｈ１であることを妨げるものではない。本実施形態においては、図１に示すように、車幅方向に２つのマーカ２が並んで配置されているので、車両１００の進行方向の中心軸に沿った方向に延びる境界線が第１境界線Ｖ１として検出される。

第１境界線検出部１２は、キャプチャ領域Ｒ１内において第１境界線Ｖ１を検出する。図５は、キャプチャ領域Ｒ１内において第１境界線Ｖ１を検出する原理を示す説明図である。第１境界線検出部１２は、例えば、特開２００８−１３１２５０号公報（特許文献１）等に記載された公知のエッジ検出アルゴリズム及び直線認識アルゴリズムを利用して、第１境界線Ｖ１を検出することができる。ここで、第１境界線Ｖ１は、図５において縦方向に延びる直線である。従って、第１境界線検出部１２は、全ての方向のエッジ検出を試みることなく、図５中の破線矢印方向、及び概ねこの矢印に対して４５度方向のエッジを検出すれば足りる。その結果、第１境界線Ｖ１を検出するための演算時間が大幅に短縮される。

本実施形態においては、上述したようにマーカ２は有色の指標である。従って、さらに以下に説明するアルゴリズムを適用すると、環境光の影響に対する耐性も強くなる。このアルゴリズムを実施するために、第１境界線検出部１２は、不図示の色差変換部と、閾値設定部と、色領域判定部と、境界検出部とを含んでいる。これらの各機能部は、後述する第１交差境界線検出部１４、第２境界線検出部２２、第２交差境界線検出部２４にも含まれる。

色差変換部は、ＲＧＢ画像データとしてフレームメモリ３ｅに展開されている撮影画像ＩＭのＲＧＢ画素値を演算して青色成分値と赤色成分値と輝度値を求めて色差画像データを生成する。この変換には、ＲＧＢ表色系からＹＣbＣr表色系への変換で用いられている、例えば次式を利用することができる。

Ｙ＝0.299×Ｒ＋ 0.587×Ｇ＋ 0.114×Ｂ
Ｃb＝0.564×(Ｂ − Ｙ)
Ｃr＝0.713×(Ｒ − Ｙ)
ここで、Ｙ：輝度値、Ｃb：青色成分値、Ｃr：赤色成分値、Ｒ：Ｒ画素値、Ｇ：Ｇ画素値、Ｂ：Ｂ画素値である。この式からの理解できるように、第１の色成分値や第２の色成分値、例えば青色成分値：Ｃb、赤色成分値：Ｃr は撮影画像の輝度（明るさ）に応じて変化するものである。

閾値設定部は、色差変換部によって生成された色差画像データに含まれている輝度値（Ｙ）に基づいて、対象画素（対象領域）が赤色であるかまたは青色であるかを判定するための判定条件としての特定色検出閾値を設定する。ＹＣbＣr表色系における青色成分値や赤色成分値には輝度値の影響が入っており、撮影画像ＩＭが明るいほどその成分値が大きくなり、画像が暗いほどその成分値が小さくなる。図６には、ターゲット２を含む色差画像を横方向に走査した際の、青色成分値：Ｃbと赤色成分値：Ｃrの変動の様子が示されている。図６（ａ）は明るい環境下で取得された撮影画像ＩＭに基づくもので、その輝度値：Ｙの値は相対的に高くなり、青色成分値：Ｃbと赤色成分値：Ｃrのレベルも相対的に高くなっている。図６（ｂ）は暗い環境下で取得された撮影画像ＩＭに基づくもので、その輝度値：Ｙの値は相対的に低くなり、その輝度値：Ｙの値は相対的に低くなっている。従って、色差画像データからターゲット２の青色領域または赤色領域を精度よく検出するためには、図６（ａ）に示すように輝度値が高い場合には、その検出条件としての閾値（ＴＨb、ＴＨr）のレベルを相対的に高くするとよい。逆に、図６（ｂ）に示すように輝度値が低い場合には、その検出条件としての閾値のレベルを相対的に低くするとよい。

このように画像の明るさ（輝度レベル）に応じて動的に閾値レベルを変動させるための好適な方法の１つとして、図７で模式的に示しているように、撮影画像ＩＭにおける全画素の判定対象となる色成分値の平均値：ＶＡ_avgと、撮影画像における全画素のうち判定対象となる色成分値が上位レベルに属する画素（例えば最大色成分値の９５％以上の色成分値を有する画素）の色成分値の色成分対応赤領域に対応する上位レベルの平均値：ＶＨ_avgと、それらの差分値：ΔＶ_avg（＝ＶＨ_avg−ＶＡ_avg）とから、撮影画像の画素が特定色領域（ここでは青色または赤色）のいずれかに属すると判定するための特定色閾値：ＴＨ（ＴＨb、ＴＨr）を次式で求めことができる。

ＴＨ＝ＶＡ_avg ＋Ｋ×ΔＶ_avg
ここで、Ｋは一定値であり、予め実験的に求められた値である。

このようにして算定された閾値：ＴＨは、撮影画像における輝度成分を含んだＣb：青色成分値ないしはＣr：赤色成分値をパラメータとする関数によって導出されているので、撮影画像における輝度レベルが高いと大きくなり、輝度レベルが低いと小さくなる。なお、この閾値を求める演算処理を簡単化するためには、青色の閾値：ＴＨbまたは赤色の閾値：ＴＨrの一方を求め、これを他方の閾値とするような閾値の共通化を行うとよい。

撮影画像の明るさ（輝度レベル）に応じて動的に閾値レベルを変動させる方法は、上述したもの以外に種々の演算方法が考えられるが、上位概念的には次のように説明することができる。例えば、青領域判定のための閾値：ＴＨbは、Ｙ：撮影画像の輝度または色差情報の輝度値の統計学的（平均値、中央値など）数値：ｆ(Ｙ)とＣb：青色成分値の統計学的数値：ｆ(Ｃb)とのをパラメータとする以下の関数：Ｆbで求めることができる。そして、赤領域判定のための閾値：ＴＨrは、Ｙ：撮影画像の輝度または色差情報の輝度値の統計学的数値：ｆ(Ｙ)とＣb：赤色成分値の統計学的数値：ｆ(Ｃr)とのをパラメータとする以下の関数：Ｆrで求めることができる。

ＴＨb＝Ｆb(ｆ(Ｙ)，ｆ(Ｃb))
ＴＨｒ＝Ｆr(ｆ(Ｙ)，ｆ(Ｃr))

なお、ここでは、青領域判定のための閾値：ＴＨbと赤領域判定のための閾値：ＴＨrの２つの閾値を求めたが、一方の閾値を兼用して使用することも可能である。

色領域判定部は、閾値設定部によって動的に、つまり撮影画像毎に、設定された閾値を用いて、ターゲット２を含む色差画像を順次走査し、青色領域と赤色領域とを判定する。その際、青色領域を判定するための判定条件として、青色成分値が閾値を上回ることと赤色成分値が閾値を下回ることとをＡＮＤ条件にするとよい。同様に、赤色領域を判定するための判定条件として、赤色成分値が閾値を上回ることと青色成分値が閾値を下回ることとをＡＮＤ条件にするとよい。つまり、色差信号では青色成分値と赤色成分値とが対極関係にあるため、その差分を利用することでより正確な青色領域判定が可能となるからである。しかしながら、本発明では、青色領域と赤色領域とを判定する際に、一方の色成分値が閾値を上回ることと他方の色成分値が閾値を下回ることとをＡＮＤ条件にすることに限定されているわけではない。青色領域を判定するための判定条件として、青色成分値が閾値を上回ることだけを採用しても良いし、赤色領域を判定するための判定条件として、赤色成分値が閾値を上回ることだけを採用しても良い。この手法で重要な点は、輝度情報を用いて特定色領域の判定条件を変更することである。

このようにして第１境界線Ｖ１が検出されると、次に、第１絞り込み領域設定部１３は、第１境界線Ｖ１の撮影画像ＩＭ上の座標値に基づいて、キャプチャ領域Ｒ１を絞り込んで、キャプチャ領域Ｒ１よりも狭い絞り込み領域Ｓ１を設定する。この絞り込み領域Ｓ１は、本発明の第１絞り込み領域に相当する。図８は、キャプチャ領域Ｒ１から絞り込み領域Ｓ１を設定する原理を示す説明図である。

図５に示すように、第１境界線Ｖ１は、始点Ｖ１ｓと終点Ｖ１ｅとを結ぶ線分である。尚、始点及び終点の呼称は便宜的なものであり、何れが始点及び終点であってもよい。第１マーカ２ａの校正点Ｑは、第１境界線Ｖ１のどこかに含まれているはずである。第１交差境界線Ｈ１は、第１境界線Ｖ１のどこかで交差するので、第１領域Ｒ１における始点Ｖ１ｓと終点Ｖ１ｅとのｖ座標の範囲内に絞り込み領域Ｓ１が設定される。また、第１交差境界線Ｈ１の線分の長さもマーカ２の仕様や、シミュレーション結果によって一定の画素数内に収まる。そこで、始点Ｖ１ｓ及び終点Ｖ１ｅのｈ座標からそれぞれ外側に向けて所定の画素数Ａ及びＢの範囲に、それぞれ余裕画素数Ｍ１及びＭ２を加えた範囲が絞り込み領域Ｓ１として設定される。尚、所定の画素数Ａ及びＢは同じ画素数であってよく、余裕画素数Ｍ１及びＭ２が同じ画素数であってよい。

第１交差境界線検出部１４は、絞り込み領域Ｓ１内において第１交差境界線Ｈ１を検出する。第１交差境界線検出部１４は、第１境界線検出部１２と同様に、公知のエッジ検出アルゴリズム及び直線認識アルゴリズムを利用して、第１交差境界線Ｈ１を検出する。また、マーカ２は有色の指標であるから、上述した色差変換処理を伴うアルゴリズムも適用される。

ここで、第１交差境界線Ｈ１は、図８において横方向に延びる直線である。従って、第１交差境界線検出部１４は、全ての方向のエッジ検出を試みることなく、図示矢印方向、及び概ねこの矢印に対して４５度方向のエッジを検出すれば足りる。その結果、第１交差境界線Ｈ１を検出するための演算時間が大幅に短縮される。また、絞り込み領域Ｓ１はキャプチャ領域Ｒ１に対して、大幅に絞り込まれた領域であるから、エッジ検出アルゴリズムを用いて走査される画素数も大幅に少なくなっており、さらに演算時間が短縮される。また、キャプチャ領域Ｒ１内において、第１交差境界線Ｈ１と同じような直線Ｎが存在したとしても、それが第１絞り込み領域Ｓ１の外側であれば検出されない。従って、走査領域を狭くすることによって、ノイズ耐性も向上する。

第１校正点検出部１５は、検出された第１境界線Ｖ１と第１交差境界線Ｈ１とに基づいて、その交点を第１校正点Ｑ１として検出する。図９は、校正点Ｑを検出する原理を示す説明図である。符号Ｈ１ｓ及びＨ１ｅは、それぞれ検出された第１交差境界線Ｈ１の始点と終点とを示す。２つの直線Ｖ１及びＨ１が検出されていれば、簡単な幾何学演算により、第１校正点Ｑ１は容易に演算することができる。

第２領域設定部２１は、第１校正点Ｑ１の座標値に基づいて第２マーカ２ｂの校正点Ｑを検出するためのキャプチャ領域Ｒ２（第２領域）を設定する機能部である。図１０は、別のマーカに対応するキャプチャ領域の設定原理を示す説明図である。ここでは、先に検出された第１校正点Ｑ１を基準として、最大左右幅（ｈ方向幅）が設定される。具体的には、校正点Ｑ１のｈ座標に対して画素数Ｃ離れた座標と、画素数Ｄ離れた座標とで挟まれた範囲の外側にそれぞれ余裕分の画素数Ｍ３及びＭ４を加味した範囲がｈ方向の領域として設定される。画素数Ｃ、Ｄ、Ｍ３、Ｍ４は、マーカ２の仕様やシミュレーション結果に応じて定められる。余裕分の画素数Ｍ３及びＭ４は同じ画素数であってよい。また、縦方向（ｖ方向）については、ｈ方向に±３度ずれた場合を考慮して領域が設定される。ｖ方向に関しては、概ね第１領域Ｒ１のｖ方向の画素数と同じ画素数となる。第２領域Ｒ２は、検出された第１校正点Ｑ１に基づいて設定されるので、特にｈ方向の幅において第１領域Ｒ１よりも絞り込まれた領域となる。

第２境界線検出部２２は、キャプチャ領域Ｒ２において第２境界線Ｖ２を検出する機能部である。第２境界線検出部２２は、第１境界線検出部１２と同様に公知のエッジ検出アルゴリズム、直線認識アルゴリズム、及び上述した色差変換処理を伴うアルゴリズムを利用して、第２境界線Ｖ２を検出する。上述したように、第２領域Ｒ２は、検出された第１校正点Ｑ１に基づいて設定されるので、第１領域Ｒ１よりも絞り込まれた狭い領域である。従って、第２境界線Ｖ２を検出するための演算時間は、第１境界線Ｖ１を検出するための演算時間に比べて短縮される。

次に、第２絞り込み領域設定部２３は、第２境界線Ｖ２の撮影画像ＩＭ上の座標値に基づいて、キャプチャ領域Ｒ２を絞り込んで、キャプチャ領域Ｒ２よりもさらに狭い絞り込み領域Ｓ２を設定する。この絞り込み領域Ｓ２は、本発明の第２絞り込み領域に相当する。図１１は、キャプチャ領域Ｒ２と絞り込み領域Ｓ２との関係を示す説明図である。上述した第１絞り込み領域Ｓ１への絞り込みと同様に、図１１に示すように第２絞り込み領域Ｓ２へとキャプチャ領域Ｒ２が絞り込まれる。

第２交差境界線検出部２４は、絞り込み領域Ｓ２内において第２交差境界線Ｈ２を検出する。第２交差境界線検出部２４は、第１交差境界線検出部１４と同様に、公知のエッジ検出アルゴリズム、直線認識アルゴリズム、及び上述した色差変換処理を伴うアルゴリズムを利用して、第２交差境界線Ｈ２を検出する。絞り込み領域Ｓ２はキャプチャ領域Ｒ２に対して、大幅に絞り込まれた領域であるから、エッジ検出アルゴリズムを用いて走査される画素数も大幅に少なくなっており、演算時間が短縮される。また、キャプチャ領域Ｒ２内において、第２交差境界線Ｈ２と同じような直線が存在したとしても、それが第２絞り込み領域Ｓ２の外側であれば検出されない。従って、走査領域を狭くすることによって、ノイズ耐性も向上する。

第２校正点検出部２５は、検出された第２境界線Ｖ２と第１交差境界線Ｈ２とに基づいて、その交点を第２校正点Ｑ２として検出する。第１校正点Ｑ１と同様、図１１に示すように、２つの直線が検出されていれば、簡単な幾何学演算により、第２校正点Ｑ２は容易に演算される。

校正演算部３１は、校正点Ｑ（Ｑ１及びＱ２）の空間上の配置位置を示すワールド座標系（基準座標系）における座標と、撮影画像ＩＭ上において検出された校正点Ｑ（Ｑ１及びＱ２）のカメラ座標系における座標とに基づいて、カメラ１の回転量を演算してカメラ１を校正する。例えば、求められた回転量に基づいて回転ベクトルを求め、当該回転ベクトル又はその逆ベクトルを用いて、撮影画像ＩＭが補正される。補正された画像は、カメラ１が設計値通りに設置された場合と同様の画像となる。補正された後の画像は、画像出力部４を介して出力され、例えば、車両１００に搭載されたナビゲーションシステムのディスプレイ等に表示される。回転量や回転ベクトルの演算方法などは、特開２００８−１３１２５０公報等に記載されたような公知の手法を用いて実施することができるのでここでは詳細な説明を省略する。

本発明の車載カメラの校正装置は、車両の生産工程や修理工程において用いられる。このような生産工程を経て生産される車両、修理工程を経てメンテナンスされる車両は、例えば、車両の後方を撮影するバックカメラを有し、その撮影画像をナビゲーションシステム等のディスプレイに表示させるバックモニタシステムなどの機能を備えたマルチメディアシステムを有している。ここで、マルチメディアシステムとは、オーディオビジュアル機能やナビゲーション機能などの複合的な機能を備えたシステムである。このマルチメディアシステムは、例えば、バックカメラの撮影画像を利用して画像処理を実施し、駐車支援を実行する駐車支援システムを備えることができる。バックモニタシステムや、駐車支援システムにおいて、車載カメラが精度良く校正されていることは非常に重要である。そして、車載カメラが搭載される車両が増加している今日では、効率的に車載カメラを校正することが、車両の生産性を高める上でも非常に重要である。本発明によれば、効率的に且つ正確に校正点の検出と位置算定を行うことが可能な車載カメラの校正装置を提供することが可能となる。

〔別実施形態１〕
上記実施形態では、第１校正点Ｑ１に基づいて第２領域Ｒ２を設定する例を示した。しかし、第１校正点Ｑ１を検出する前であっても、第１境界線Ｖ１に基づいて第２領域Ｒ２を設定することが可能であり、そのように構成されていてもよい。この場合には第１境界線Ｖ１は、マーカ２の市松模様の境界線の内、２つのマーカ２が並ぶ方向に対して交差する方向、即ちｖ方向に沿った方向の境界線であることが好ましい。ｖ方向に沿った方向の振れ幅が小さくなり、第２領域Ｒ２が良好に絞り込まれるからである。以下、第１境界線Ｖ１に基づいて第２領域Ｒ２を設定する原理を示す図１２を利用して説明する。尚、２つのマーカ２が並ぶ方向に沿う方向、即ちｈ方向に沿った方向の境界線に基づいて第２領域Ｒ２を設定することも可能である。上述したように、境界線Ｖ１及びＨ１は、始点Ｖ１ｓ及びＨ１ｓ、終点Ｖ１ｅ及びＨ１ｅとがほぼ特定される。従って、ｈ方向に沿った方向の境界線であっても、始点及び終点の座標値に基づいて第２領域Ｒ２を設定することが可能である。

第２のマーカ２ｂに関する第２領域設定部２１は、２つのマーカ２が並ぶ方向に直交する方向である、第１のマーカ２ａの第１境界線Ｖ１を基準として、最大左右幅（ｈ方向幅）を設定する。第１境界線Ｖ１の始点Ｖ１ｓ及び終点Ｖ１ｅを基準として、最大左右幅（ｈ方向幅）が設定される。具体的には、始点Ｖ１ｓのｈ座標に対して画素数Ｃ離れた座標と、始点Ｖ１ｅのｈ座標に対して画素数Ｄ離れた座標とで挟まれた範囲の外側にそれぞれ余裕分の画素数Ｍ３及びＭ４を加味した範囲がｈ方向の領域として設定される。画素数Ｃ、Ｄ、Ｍ３、Ｍ４は、マーカ２の仕様やシミュレーション結果に応じて定められる。余裕分の画素数Ｍ３及びＭ４は同じ画素数であってよい。

また、縦方向（ｖ方向）については、始点Ｖ１ｓのｖ座標に対して画素数Ｅ離れた座標と、始点Ｖ１ｅのｖ座標に対して画素数Ｆ離れた座標とで挟まれた範囲の外側にそれぞれ余裕分の画素数Ｍ５及びＭ６を加味した範囲がｖ方向の領域として設定される。画素数Ｅ、Ｆ、Ｍ５、Ｍ６は、マーカ２の仕様やシミュレーション結果に応じて定められる。余裕分の画素数Ｍ５及びＭ６は同じ画素数であってよい。

〔別実施形態２〕
上記、実施形態においては、第１絞り込み領域設定部１３及び第２絞り込み領域設定部２３を有して、キャプチャ領域（第１領域Ｒ１及び第２領域Ｒ２）をさらに絞り込んだ上で、第１交差境界線Ｈ１及び第２交差境界線Ｈ２を検出する例を示した。しかし、キャプチャ領域Ｒ１及びＲ２をさらに絞り込むことなく、第１交差境界線Ｈ１及び第２交差境界線Ｈ２を検出しても勿論構わない。

以上、本発明によって、複数の色の組み合わせパターンからなる校正指標を環境光の影響下で撮影して得られた撮影画像データから、効率的に且つ正確に校正点の検出と位置算定を行うことが可能な車載カメラの校正装置を提供することが可能となる。

校正用のマーカと車両との配置関係の一例を示す説明図校正用のマーカの一例を示す説明図本発明の車載カメラの校正装置の構成を模式的に示すブロック図キャプチャ領域の設定原理を示す説明図キャプチャ領域内において第１境界線を検出する原理を示す説明図マーカを含む色差画像を横方向に走査した際の、青色成分値：Ｃbと赤色成分値：Ｃrの変動の様子を示す説明図ＹＣｂＣｒ表色系での撮影画像に対する捜査結果を示すグラフキャプチャ領域から絞り込み領域を設定する原理を示す説明図校正点を検出する原理を示す説明図別のマーカに対応するキャプチャ領域の設定原理を示す説明図キャプチャ領域と絞り込み領域との関係を示す説明図である第１境界線に基づいて第２領域を設定する原理を示す説明図

符号の説明

１：カメラ（車載カメラ）
２：マーカ（校正指標）
３：画像受け取り部
１１：第１領域設定部
１２：第１境界線検出部
１３：第１絞り込み領域設定部
１４：第１交差境界線検出部
１５：第１校正点検出部
２１：第２領域設定部
２２：第２境界線検出部
２３：第２絞り込み領域設定部
２４：第２交差境界線検出部
２５：第２校正点検出部
３１：校正演算部
Ｈ１：第１交差境界線
Ｈ２：第２交差境界線
ＩＭ：撮影画像
Ｑ、Ｑ１、Ｑ２：校正点
Ｑ１：第１校正点
Ｑ２：第２校正点
Ｒ１：第１領域
Ｒ２：第２領域
Ｓ１：第１絞り込み領域
Ｓ２：第２絞り込み領域
Ｖ１：第１境界線
Ｖ２：第２境界線

Claims

少なくとも異なる２箇所に配置され、第１色と第２色との格子模様の境界線の交差点を校正点とする校正指標を撮影範囲内に含む車載カメラによって撮影された撮影画像を受け取る画像受け取り部と、
前記撮影画像上において、前記校正点の内の１つである第１校正点が含まれる第１領域を設定する第１領域設定部と、
前記第１領域において、前記校正指標の格子模様の境界線の内の１つである第１境界線を検出する第１境界線検出部と、
前記第１領域内において、前記第１境界線に交差する第１交差境界線を検出する第１交差境界線検出部と、
検出された前記第１境界線及び前記第１交差境界線の前記撮影画像上の座標に基づいて、それらの交差点の座標を前記第１校正点として検出する第１校正点検出部と、
検出された前記第１校正点の前記撮影画像上の座標値に基づいて、前記第１校正点とは異なる第２校正点が含まれる第２領域を、前記撮影画像上において前記第１領域よりも狭い範囲として設定する第２領域設定部と、
前記第２領域において、前記校正指標の格子模様の境界線の内の１つである第２境界線を検出する第２境界線検出部と、
前記第２領域内において、前記第２境界線に交差する第２交差境界線を検出する第２交差境界線検出部と、
検出された前記第２境界線及び前記第２交差境界線の前記撮影画像上の座標に基づいて、それらの交差点の座標を前記第２校正点として検出する第２校正点検出部と、
前記第１校正点、前記第２校正点の空間上の配置位置を示す基準座標系における座標と、前記撮影画像上において検出された前記第１校正点、前記第２校正点のカメラ座標系における座標とに基づいて、前記車載カメラを校正する校正演算部と、を備える車載カメラの校正装置。
少なくとも異なる２箇所に配置され、第１色と第２色との格子模様の境界線の交差点を校正点とする校正指標を撮影範囲内に含む車載カメラによって撮影された撮影画像を受け取る画像受け取り部と、
前記撮影画像上において、前記校正点の内の１つである第１校正点が含まれる第１領域を設定する第１領域設定部と、
前記第１領域において前記校正指標の格子模様の境界線の内の１つである第１境界線を検出する第１境界線検出部と、
検出された前記第１境界線の前記撮影画像上の座標に基づいて、前記撮影画像上において、前記第１校正点とは異なる第２校正点が含まれる第２領域を前記第１領域よりも狭い範囲として設定する第２領域設定部と、
前記第１領域内において、前記第１境界線に交差する第１交差境界線を検出する第１交差境界線検出部と、
前記第２領域において前記校正指標の格子模様の境界線の内の１つである第２境界線を検出する第２境界線検出部と、
前記第２領域内において、前記第２境界線に交差する第２交差境界線を検出する第２交差境界線検出部と、
検出された前記第１境界線及び前記第１交差境界線の前記撮影画像上の座標に基づいて、それらの交差点の座標を前記第１校正点として検出する第１校正点検出部と、
検出された前記第２境界線及び前記第２交差境界線の前記撮影画像上の座標に基づいて、それらの交差点の座標を前記第２校正点として検出する第２校正点検出部と、
前記第１校正点、前記第２校正点の空間上の配置位置を示す基準座標系における座標と、前記撮影画像上において検出された前記第１校正点、前記第２校正点のカメラ座標系における座標とに基づいて、前記車載カメラを校正する校正演算部と、を備える車載カメラの校正装置。
検出された前記第１境界線の前記撮影画像上の座標値に基づいて、前記第１領域内において前記第１領域よりも狭い第１絞り込み領域を設定する第１絞り込み領域設定部と、
検出された前記第２境界線の前記撮影画像上の座標値に基づいて、前記第２領域内において前記第２領域よりも狭い第２絞り込み領域を設定する第２絞り込み領域設定部と、をさらに備え、
前記第１交差境界線検出部は、前記第１絞り込み領域内において前記第１交差境界線を検出し、
前記第２交差境界線検出部は、前記第２絞り込み領域内において前記第１２交差境界線を検出する、請求項１又は２に記載の車載カメラの校正装置。