JP2010085186A - 車載カメラの校正装置 - Google Patents

Abstract

【課題】車種ごとのチューニングを抑制して汎用性の高い車載カメラの校正装置を提供する。
【解決手段】床面上に配置された校正指標を撮影範囲内に含む車載カメラ１によって撮影された撮影画像を受け取る画像受け取り部３と、撮影画像を床面に対して直交する方向から見た変換画像に視点変換する視点変換部１１と、変換画像上において校正指標が含まれる領域を、車載カメラ１が搭載される車両の種別に応じて設定された座標値に基づき、認識対象領域として設定する領域設定部１２と、認識対象領域において校正指標内の校正点を検出する校正点検出部１５と、校正点の空間上の配置位置を示す基準座標系における座標及び変換画像上において検出された校正点のカメラ座標系における座標に基づいて、車載カメラ１を校正する校正演算部１７とを備える。
【選択図】図５

Description

本発明は、車載カメラを校正する車載カメラの校正装置に関する。

近年、車両の運転者が車両の側方や後方などの情景を車内のモニタを介して視認できるようにカメラが搭載された車両が増加している。さらに、このカメラの撮影画像を利用して画像処理などを行い、駐車などの運転を支援する装置も開発されている。特に、車両の位置決めなどに利用される情報を作り出すためのベースとなる撮影画像を取り込むカメラに関しては、光軸調整などの校正が高い精度で要求される。例えば、特開２００８−１３１２５０号公報（特許文献１）には、カメラの視野内の２箇所に配置された白黒の市松模様のパターンを有するマーカ(校正指標)を車載カメラで撮影し、画像処理を通じてマーカの中心点（校正点）を検出し、車載カメラを校正する技術が示されている。

特開２００８−１３１２５０号公報（第２３〜４０段落、図１等）

車載カメラは、車両の生産工場等で車両に取り付けられる際に取り付け誤差を吸収するべく校正される。また、修理工場などにおいて、走行による振動の累積や衝撃などによるカメラのずれを修正するべく校正される。図１は、校正用のマーカと車両との配置関係の一例を示す説明図であり、自動車生産工場におけるカメラ校正を模擬したものである。一般的に、カメラの校正は、図１に示すように、車両１００を所定位置に停車させた状態で行われる。例えば、車両１００を前進又は後進させ、所定位置に設けられたタイヤ溝やタイヤ止めによって車輪が停止するようにすれば、正確な位置で停止させることが可能である。図１に示す例では、２つのマーカ（校正指標）２が床面上に配置されている。

カメラ１を精度よく校正するためには、車両１００を所定位置で精度良く停車させることが重要である。そこで、自動車生産工場などでは、車両１００の前端部を光電管などを用いて検出して高精度な位置決めを行っている。一方、カメラ１は多様な車種に搭載される。車種によって全長が異なることから、車両１００の前端部を基準として位置決めを行うと、カメラ１とマーカ２との距離が異なることとなる。図３に示すように、全長の異なる車両１００Ａと１００Ｂとを前端部基準で停車させた際、マーカ２と車両１００Ａとの距離Ｄ_Aと、マーカ２と車両１００Ｂとの距離Ｄ_Bとは異なる。このような距離の違いにより、同じマーカ２を撮影した撮影画像ＩＭは、図４に示すように異なるものとなる。マーカ２に示された校正点を検出するための画像処理は、演算負荷を軽減するために、画像の一部の領域が切り取られたキャプチャ領域Ｒに対して実行される。図３（ａ）に示すように車両１００Ａ（１００）とマーカ２との距離が近い場合には、図４（ａ）に示すようにマーカ２が大きく写るために、キャプチャ領域Ｒ_A（Ｒ）も大きくなる。一方、図３（ｂ）に示すように車両１００Ｂ（１００）とマーカ２との距離が遠い場合には、図４（ｂ）に示すようにマーカ２が小さく写るために、キャプチャ領域Ｒ_B（Ｒ）も小さくなる。

また、このような水平距離だけではなく、車種ごとのカメラ１の取り付け高さの違いによっても、マーカ２の写り方は異なるものとなる。車種ごとに車高などが異なるので、カメラ１の取り付け高さは一定には定められない。また、車両の後端部を基準として位置決めを行ったとしても、車高の違いや後部パネルの角度の違いなどによって、カメラ１の取り付け位置（高さ以外にも水平方向も含む）や光軸の方向は車種に応じて異なるものとなる。

このように車種等に応じて撮影画像上においてマーカ２が写る位置が変動するため、校正装置は車種ごとにキャプチャ領域を設定する必要がある。また、撮影画像上の位置によってマーカ２の写る大きさ、形状、位置が異なる為、キャプチャ領域に含まれる画素数も異なる。つまり、上述したように、カメラの高さ、光軸の角度、前後距離の変化に対して３次元的な影響を受けて撮影画像上のキャプチャ領域の面積、位置が変化する。従って、校正点を検出するための画像処理（画像処理プログラム）も車種ごとのチューニングが必要となり、ソフトウェアの構成が複雑になる。すなわち、車種ごとに当該チューニングを要するソフトウェアとするとソフトウェアの維持管理、品質保持が煩雑となる。また、キャプチャ領域の面積の変化が校正点の検出性能に影響を与えて、安定した検出精度が得られにくくなる。一方、車種に応じて異なる位置にマーカ２を配置して、同じキャプチャ領域を設定できるようにすると、自動車生産工場の設定を車種ごとに変更しなければならず、生産性が著しく低下する。

本願は、上記課題に鑑みて創案されたもので、車種ごとのチューニングを抑制して汎用性の高い車載カメラの校正装置を提供することを目的とする。

上記目的を達成するための本発明に係る車載カメラの校正装置の特徴構成は、
床面上に配置された校正指標を撮影範囲内に含む車載カメラによって撮影された撮影画像を受け取る画像受け取り部と、
前記撮影画像を前記床面に対して直交する方向から見た変換画像に視点変換する視点変換部と、
前記変換画像上において前記校正指標が含まれる領域を、前記車載カメラが搭載される車両の種別に応じて設定された座標値に基づき、認識対象領域として設定する領域設定部と、
前記認識対象領域において前記校正指標内の校正点を検出する校正点検出部と、
前記校正点の空間上の配置位置を示す基準座標系における座標と、前記変換画像上において検出された前記校正点のカメラ座標系における座標とに基づいて、前記車載カメラを校正する校正演算部と、を備える点にある。

この構成によれば、撮影画像が床面に対して直交する方向から見た変換画像に視点変換されるので、車載カメラと校正指標との距離に拘わらず、変換画像上における校正指標の大きさ、形状、位置がほぼ一定となる。従って、車種等の違いによって、車載カメラと校正指標との距離が変動しても、同様の画像処理を施すことで車載カメラを校正することができる。その結果、車両の種別ごとのチューニングを抑制して汎用性の高い車載カメラの校正装置を提供することが可能となる。また、これによって安定した画像処理、つまり校正が可能となり、車両の生産時の品質が向上する。

また、本発明に係る車載カメラの校正装置の前記領域設定部は、前記車載カメラが搭載される車両の種別に拘わらず、前記変換画像上で同一形状の領域を前記認識対象領域として設定すると好適である。

同一形状の領域に対して、校正点の検出などの画像処理が施されるので、車両の種別に拘わらず、画像処理を共通化することができる。その結果、車両の種別ごとのチューニングを抑制して汎用性の高い車載カメラの校正装置を提供することが可能となる。

また、本発明に係る車載カメラの校正装置の前記領域設定部は、前記車載カメラが搭載される車両の種別に拘わらず、前記変換画像上で同一面積の領域を前記認識対象領域として設定すると好適である。

同一面積の領域に対して、校正点の検出などの画像処理が施されるので、車両の種別に拘わらず、画像処理を共通化することができる。その結果、車両の種別ごとのチューニングを抑制して汎用性の高い車載カメラの校正装置を提供することが可能となる。

また、本発明に係る車載カメラの校正装置の前記領域設定部は、前記車載カメラが搭載される車両の種別に拘わらず、前記変換画像上で同一位置の領域を前記認識対象領域として設定すると好適である。

同一位置の領域に対して、校正点の検出などの画像処理が施されるので、車両の種別に拘わらず、画像処理を共通化することができる。その結果、車両の種別ごとのチューニングを抑制して汎用性の高い車載カメラの校正装置を提供することが可能となる。

また、本発明に係る車載カメラの校正装置は、前記撮影画像に、少なくとも２つの前記校正指標が含まれると好適である。

カメラの回転量を３次元直交座標系の３軸全ての方向について演算するには、複数の校正点について、それらの基準座標系とカメラ座標系とが必要となる。車載カメラの校正を３次元的に平衡するように実施するには、少なくとも２つの校正点を検出できるように、２つの校正指標を用いることが好適である。撮影画像に、少なくとも２つの校正指標が含まれるようにすることによって、３次元空間上において良好に校正を実施することができる。

以下、本発明の実施形態を図面に基づいて説明する。図１は、校正用のマーカ２（校正指標）と車両１との配置関係の一例を示す説明図である。カメラ１（車載カメラ）は、車両１００の後方のナンバープレートの上方に車体長手軸心から側方へオフセットした位置で、カメラ光軸を下方（例えば水平から３０°下方）に向けて設置される。もちろん、カメラ１は、オフセットすることなく、中央に配置されてもよい。なお、この図示例では、車体長手軸心とカメラ光軸とは平行ではない。カメラ１は、例えば水平方向の視野角１１０〜１２０°の広角カメラであり、後方約８ｍ程度までの領域を撮影可能である。このカメラ１は、車両の生産工場等で車両１００に取り付けられる際に取り付け誤差を吸収するべく校正される。また、修理工場などにおいて、走行による振動の累積や衝撃などによるカメラ１のずれを修正するべく校正される。以下、自動車生産工場におけるカメラ校正を例として説明する。

図１に示すように、カメラ１の校正は、車両１００を所定位置に停車させた状態で行われる。例えば、車両１００をバックまたは前進させ、所定位置に設けられたタイヤ溝やタイヤ止めによって車輪が停止するようにすれば、正確な位置で停止させることが可能である。図１に示す例では、２つの校正指標２（２ａ、２ｂ）が床面上に配置（床面平面と同一平面内に配置）されている。図から明らかなように、２つの校正指標２ａ、２ｂの間隔は車両１のトレッド幅に比べて狭く、マーカ２が車両１の車輪によって踏まれにくい配置となっている。この配置とは逆に、２つのマーカ２ａ、２ｂの間隔を車両１００のトレッド幅に比べて広くとって、マーカ２が車両１の車輪によって踏まれにくい配置を採用してもよい。

図１において、車両１００は、後端部中央の床面がワールド座標系（基準座標系、Ｘ_W，Ｙ_W，Ｚ_W）の原点Ｏ_Wとなるように停車されている。ここでは、カメラ１の光学中心Ｏ_Cを中心とするカメラ座標系（Ｘ_C，Ｙ_C，Ｚ_C）は、ワールド座標系に対して各軸が平行とはなっていない。ワールド座標系、カメラ座標系共に右手系の座標系であり、図中では、紙面に対して鉛直方向のＸ_W軸、及びほぼ鉛直方向のＸ_C軸は図示していない。ワールド座標系とカメラ座標系との間の座標変換は、例えば特開２００８−１３１２５０号公報（特許文献１）等に記載されたような良く知られた演算法を用いて行うことができる。

マーカ２は、カメラ１の視野範囲内において少なくとも２箇所に配置される。また、マーカ２は、ワールド座標系においてその座標が既知となるように配置される。図２は、校正用のマーカ２の一例を示す説明図である。本例において、マーカ２は、図２に示すように青と赤の市松模様（格子模様）のパターンを有している。パターンの境界線の交差点、つまり、中央の点Ｑが校正点であり、カメラ１の校正の基準となる。つまり、この校正点Ｑの座標がワールド座標系においてその座標が既知となるように、マーカ２は配置されている。尚、ここでは青の矩形２個、赤の矩形２個の計４個の矩形の例を示したが、計４個以上であっても良く、その数や形状はここで図示されているものに限定されない。また、マーカ２は、赤や青など有色の矩形に限定されることもなく、黒の矩形及び白の矩形によって構成されていてもよい。本実施形態においては、多くの車載カメラが採用する映像信号の特性として、対極の関係にある赤成分と青成分とを利用して校正点を良好に認識させるために、青と赤との矩形により構成されたマーカ２を用いている。

マーカ２は、蛍光灯からの光や窓ガラスから入射する日光などの環境光にさらされる床面に直接的または間接的に配置される。間接的な配置とは、台座等の上にマーカ２が配置されるような場合である。いずれにしても環境光の反射状況によっては画像認識が困難となる。従って、本発明では、鉄板につや消しサテン状塗料を２度塗りする塗装法を採用することで、マーカ２の表面をつや消し状態とし、環境光の反射等の影響を受けにくい撮影画像が得られるようにしている。

図１に示す例では、２つのマーカ２は床上に車両の主軸（ワールド座標系のＺ_W軸）に対して左右対称に配置されている（Ｄ１＝Ｄ２、Ｗ１＝Ｗ２）。ただし、常に左右対称である必要はなく、カメラ１の視野内であって、座標値が既知であればその配置は自由である。つまり、工場において確保できる広さや他の設備との関係によってマーカ２の配置を任意に設定することが可能である。ワールド座標系において校正点Ｑの座標値が既知であれば問題はない。

マーカ２の寸法は、カメラ１の解像度やカメラ１による撮影画像を処理する画像処理機能の性能、マーカの配置位置などに応じて、精度良く校正点Ｑを検出できるように適切に定められる。一例として、Ｄ１とＤ２が１〜２ｍ、Ｗ１とＷ２が０.５ｍ程度である場合には、図２に示すように、各矩形が１０〜１５ｃｍ四方、全体が２０〜３０ｃｍ四方のマーカ２が利用される。

上述したように、カメラ１の校正は、車両１００を所定位置に停車させた状態で行われる。カメラ１を精度よく校正するためには、車両１００を所定位置で精度良く停車させることが重要である。そこで、自動車生産工場などでは、車両１００の前端部を光電管などを用いて検出して高精度な位置決めを行っている。一方、カメラ１は多様な車種に搭載される。車種によって全長が異なることから、車両１００の前端部を基準として位置決めを行うと、カメラ１とマーカ２との距離が異なることとなる。図３は、全長の異なる車両１００Ａと１００Ｂとを前端部基準で停車させた際の校正用のマーカと車両との配置関係の一例を示す説明図である。そして、図４は、全長の異なる車両の車載カメラから校正用のマーカを撮影した撮影画像の一例を示す説明図である。ワールド座標において同じ位置に配置されたマーカ２を撮影した撮影画像ＩＭは、図４に示すように異なるものとなる。

マーカ２に示された校正点を検出するための画像処理は、演算負荷を軽減するために、画像の一部の領域を切り取ったキャプチャ領域Ｒに対して実行される。図３に示すように車両１００Ａ（１００）とマーカ２との距離Ｄ_Aが近い場合には、図４（ａ）に示すようにマーカ２が大きく写るために、キャプチャ領域Ｒ_A（Ｒ）も大きくなる。一方、図３に示すように車両１００Ｂ（１００）とマーカ２との距離Ｄ_Bが遠い場合には、図４（ｂ）に示すようにマーカ２が小さく写るために、キャプチャ領域Ｒ_B（Ｒ）も小さくなる。

図３及び図４に示した例では、車両の全長の違いだけに着目したが、車種によって車高も異なることから、カメラ１の取り付け高さも異なることとなり、やはり、カメラ１とマーカ２との距離が異なることとなる。尚、車両の後端部を基準として位置決めを行ったとしても、車高の違いや後部パネルの角度の違いなどによって、カメラ１の取り付け位置や光軸の方向は車種に応じて異なるものとなる。

このように車種等に応じて撮影画像上においてマーカ２が写る位置が変動するため、校正装置は車種ごとにキャプチャ領域Ｒの位置及び範囲を設定する必要がある。また、撮影画像ＩＭ上の位置によってマーカ２の写る大きさが異なる為、キャプチャ領域Ｒに含まれる画素数も異なる。つまり、上述したように、カメラ１の高さ、光軸の角度、前後距離の変化に対して３次元的な影響を受けて撮影画像ＩＭ上のキャプチャ領域Ｒの面積が変化する。従って、校正点Ｑを検出するための画像処理も車種ごとのチューニングが必要となり、ソフトウェアの構成が複雑になる。また、キャプチャ領域Ｒの面積の変化が校正点Ｑの検出性能に影響を与えて、安定した検出精度が得られにくくなる。一方、車種に応じて異なる位置にマーカ２を配置して、同じキャプチャ領域Ｒを設定できるようにすると、生産工場の設定を車種ごとに変更しなければならず、生産性が著しく低下する。

そこで、本実施形態の車載カメラの校正装置では、車種ごとのチューニングを抑制して高い汎用性を有する構成が採用されている。図５は、本発明の車載カメラの校正装置の構成を模式的に示すブロック図である。図に示すように、校正装置は、画像受け取り部３と、画像出力部４と、システム制御部５と、入力Ｉ／Ｆ部６と、出力Ｉ／Ｆ部７と、画像処理部１０と、を有している。これら各部は、機能としての分担を示すものであり、必ずしも独立して設けられる必要はない。マイクロコンピュータなどのハードウェアと、ハードウェア上で実行されるプログラムなどのソフトウェアとの協働によって各機能が実現されるものでも勿論構わない。

入力Ｉ／Ｆ部６は、カメラ１の校正開始の指示などの入力信号を車載カメラの校正装置よりも上位のシステムから受け取り、システム制御部５に伝達する。ここで、上位のシステムとは、車両１００の組み立て調整システムや、車両１００のバックモニタシステム、ナビゲーションシステム、マルチメディアシステムなどである。システム制御部５は、カメラ１の校正装置の全般を制御するものであり、校正開始の指示などに基づいて画像処理部１０などを制御する。出力制御部７はシステム制御部５を介して画像処理結果などを受け取り、上位のシステムや、校正装置の報知部などに電気信号を出力する。

画像受け取り部３は、デジタルビデオカメラであるカメラ１による撮影画像ＩＭをバッファ３ａ、同期分離部３ｂ、クロック生成部３ｃ、Ａ／Ｄコンバー３ｃなどの公知の画像Ｉ／Ｆを介して受け取り、フレームメモリ３ｅに格納する機能部である。画像処理部１０に備えられた不図示の画像データ制御部は、画像受け取り部３を制御する。例えば、フレームメモリ３ｅへの撮影画像の格納や、フレームメモリ３ｅからの撮影画像の読み出しを制御する。画像処理部１０は、不図示の前処理部を有しており、必要に応じてカメラ１のレンズ特性等に起因する濃度補正、コントラスト補正、シェーディング補正等のレベル調整が実行される。

画像処理部１０は、その他、視点変換部１１、領域設定部１２、パラメータ記憶部１３、校正点検出部１５、校正演算部１７などの各機能部を有して構成されている。各機能部の詳細については、後述する。

視点変換部１１は、撮影画像ＩＭを床面に対して直交する方向から見た変換画像（ＩＭ２、ＩＭ３）に視点変換する機能部である。図６は、図４（ａ）及び（ｂ）の撮影画像ＩＭに写ったマーカ２Ａ及び２Ｂを合わせて示した参考図である。図７は、図６を視点変換した変換画像ＩＭ２を示す説明図である。両図から明らかなように、図６においては、マーカ２Ａと２Ｂとの撮影画像ＩＭ上における大きさ（面積＝画素数）、形状、位置が大きく異なっているが、図７においては変換画像ＩＭ２上において大きさ、形状、位置がほぼ同一である。このように、視点変換を施すことによって、マーカ２と車両との距離に拘わらず、画像処理（認識）対象のマーカ２が存在する画像をほぼ一定の大きさにすることができる。

また、図７を見れば明らかであるが、視点変換によって、変換画像ＩＭ２の外周部には後段の画像処理にとって意味のない画素が補間処理されて複製されている。従って、変換画像ＩＭ２からマーカ２が存在する領域Ｒ₀を後段の画像処理の対象領域として切り出し、この対象領域Ｒ₀において後段の画像処理が実施されると好適である。

領域設定部１２は、視点変換された変換画像ＩＭ２上においてマーカ２が含まれる領域を、カメラ１が搭載される車両の種別に応じて設定された座標値に基づき、キャプチャ領域（認識対象領域）Ｒとして設定する。パラメータ記憶部１３は、車種に応じた全長やカメラ１の取り付け高さなどのパラメータを記憶している機能部である。システム制御部５は、入力Ｉ／Ｆ回路６を介して車両の種別情報を受け取り、画像処理部１０を制御する。画像処理部１０は、種別情報に基づいてパラメータ記憶部１３から車両の種別に応じて設定された座標値を取り出し、領域設定部１２においてキャプチャ領域Ｒを設定する。

図８は、図７に示した変換画像ＩＭ２上においてキャプチャ領域Ｒを設定する例を示す説明図である。上述したように、変換画像ＩＭ２から切り出された対象領域Ｒ₀においてキャプチャ領域Ｒが設定される。図８は、切り出された対象領域Ｒ₀相当する変換画像ＩＭ３を示している。

図８に示すように、変換画像ＩＭ３においては、車両１００Ａから見た場合のキャプチャ領域Ｒ_Aも、車両１００Ｂから見た場合のキャプチャ領域Ｒ_Bも同一の大きさとなる。従って、領域設定部１２は、変換画像ＩＭ３上において、車種に応じた座標値だけを考慮して、常に同じ大きさのキャプチャ領域Ｒを設定すれば足りる。変換画像ＩＭ３において同一の大きさであれば、キャプチャ領域Ｒに含まれる画素数も同一であるので、同じ画像処理を実行すれば、校正点Ｑを検出することができる。従って、車種ごとにソフトウェア（プログラム）を変更する必要なく、自動車生産における生産性が向上する。

尚、キャプチャ領域Ｒは、カメラ１の取り付け誤差を含んである程度マージンを持った位置及び面積に設定される。例えば、カメラ１の光軸が、パン・ロール・チルトの各方向に３〜５度のずれを有していてもマーカ２がキャプチャ領域Ｒに含まれるようにマージンを有して設定される。従って、そのマージンを車種ごとの違いを吸収する程度に拡張すれば、パラメータ記憶部１３に記憶されるパラメータの種類を減らすことができ、キャプチャ領域Ｒの種類も減少させることができる。このようにすれば、領域設定部１２における演算負荷を軽減させることができ、車載カメラの校正装置の車種に対する汎用性がさらに向上され、自動車生産における生産性が向上する。

図９は、車種別の全長の違いを例示するグラフである。このグラフから明らかなように、１０種類の車両を生産する場合であっても、例えば、大きく２つのグループに分けることが可能である。つまり、この例においては、グループＡの範囲内で、車種ごとの違いを吸収するようなマージンを有して、例えばキャプチャ領域Ｒ_Aを設定すればよい。また、グループＢの範囲内で、車種ごとの違いを吸収するようなマージンを有して、例えばキャプチャ領域Ｒ_Bを設定すればよい。この場合、パラメータ記憶部１３は、キャプチャ領域Ｒ_AとＲ_Bとを設定するための２種類のパラメータを記憶すれば足りる。これは、極端な例であり、勿論、車種Ａ１で１つのグループを構成し、車種Ａ２〜Ａ４及びＡ６で第２のグループを構成し、車種Ａ５及びＡ７で第３のグループを構成し、車種Ｂ１〜Ｂ３で第４のグループを構成してもよい。これは一例であり、全長に合わせて表示位置を全く同一になるようにして、キャプチャ領域を車種に拘わらず同一とすることも可能である。

校正点検出部１５は、キャプチャ領域Ｒ（認識対象領域）においてマーカ２内の校正点Ｑを検出する機能部である。本実施形態においては、上述したようにマーカ２は有色の指標である。校正点検出部１５は、不図示の色差変換部と、閾値設定部と、色領域判定部と、境界検出部とを含んで構成されている。

色差変換部は、ＲＧＢ画像データとしてフレームメモリ３ｅに展開されている撮影画像ＩＭ（＝変換画像ＩＭ３；以下同様。）のＲＧＢ画素値を演算して青色成分値と赤色成分値と輝度値を求めて色差画像データを生成する。この変換には、ＲＧＢ表色系からＹＣbＣr表色系への変換で用いられている、例えば次式を利用することができる。

Ｙ＝0.299×Ｒ＋ 0.587×Ｇ＋ 0.114×Ｂ
Ｃb＝0.564×(Ｂ − Ｙ)
Ｃr＝0.713×(Ｒ − Ｙ)
ここで、Ｙ：輝度値、Ｃb：青色成分値、Ｃr：赤色成分値、Ｒ：Ｒ画素値、Ｇ：Ｇ画素値、Ｂ：Ｂ画素値である。この式からの理解できるように、第１の色成分値や第２の色成分値、例えば青色成分値：Ｃb、赤色成分値：Ｃr は撮影画像の輝度（明るさ）に応じて変化するものである。

閾値設定部は、色差変換部によって生成された色差画像データに含まれている輝度値（Ｙ）に基づいて、対象画素（対象領域）が赤色であるかまたは青色であるかを判定するための判定条件としての特定色検出閾値を設定する。ＹＣbＣr表色系における青色成分値や赤色成分値には輝度値の影響が入っており、撮影画像ＩＭが明るいほどその成分値が大きくなり、画像が暗いほどその成分値が小さくなる。図１０には、ターゲット２を含む色差画像を横方向に走査した際の、青色成分値：Ｃbと赤色成分値：Ｃrの変動の様子が示されている。図１０（ａ）は明るい環境下で取得された撮影画像ＩＭに基づくもので、その輝度値：Ｙの値は相対的に高くなり、青色成分値：Ｃbと赤色成分値：Ｃrのレベルも相対的に高くなっている。図１０（ｂ）は暗い環境下で取得された撮影画像ＩＭに基づくもので、その輝度値：Ｙの値は相対的に低くなり、その輝度値：Ｙの値は相対的に低くなっている。従って、色差画像データからターゲット２の青色領域または赤色領域を精度よく検出するためには、図１０（ａ）に示すように輝度値が高い場合には、その検出条件としての閾値（ＴＨb、ＴＨr）のレベルを相対的に高くするとよい。逆に、図１０（ｂ）に示すように輝度値が低い場合には、その検出条件としての閾値のレベルを相対的に低くするとよい。

このように画像の明るさ（輝度レベル）に応じて動的に閾値レベルを変動させるための好適な方法の１つとして、図１１で模式的に示しているように、撮影画像ＩＭ（変換画像ＩＭ３）における全画素の判定対象となる色成分値の平均値：ＶＡ_avgと、撮影画像ＩＭにおける全画素のうち判定対象となる色成分値が上位レベルに属する画素（例えば最大色成分値の９５％以上の色成分値を有する画素）の色成分値の色成分対応赤領域に対応する上位レベルの平均値：ＶＨ_avgと、それらの差分値：ΔＶ_avg（＝ＶＨ_avg−ＶＡ_avg）とから、撮影画像の画素が特定色領域（ここでは青色または赤色）のいずれかに属すると判定するための特定色閾値：ＴＨ（ＴＨb、ＴＨr）を次式で求めことができる。

ＴＨ＝ＶＡ_avg ＋ Ｋ×ΔＶ_avg
ここで、Ｋは一定値であり、予め実験的に求められた値である。

このようにして算定された閾値：ＴＨは、撮影画像における輝度成分を含んだＣb：青色成分値ないしはＣr：赤色成分値をパラメータとする関数によって導出されているので、撮影画像における輝度レベルが高いと大きくなり、輝度レベルが低いと小さくなる。なお、この閾値を求める演算処理を簡単化するためには、青色の閾値：ＴＨbまたは赤色の閾値：ＴＨrの一方を求め、これを他方の閾値とするような閾値の共通化を行うとよい。

撮影画像の明るさ（輝度レベル）に応じて動的に閾値レベルを変動させる方法は、上述したもの以外に種々の演算方法が考えられるが、上位概念的には次のように説明することができる。例えば、青領域判定のための閾値：ＴＨbは、Ｙ：撮影画像の輝度または色差情報の輝度値の統計学的（平均値、中央値など）数値：ｆ(Ｙ)とＣb：青色成分値の統計学的数値：ｆ(Ｃb)とのをパラメータとする以下の関数：Ｆbで求めることができる。そして、赤領域判定のための閾値：ＴＨrは、Ｙ：撮影画像の輝度または色差情報の輝度値の統計学的数値：ｆ(Ｙ)とＣb：赤色成分値の統計学的数値：ｆ(Ｃr)とのをパラメータとする以下の関数：Ｆrで求めることができる。

ＴＨb＝Ｆb(ｆ(Ｙ)，ｆ(Ｃb))
ＴＨｒ＝Ｆr(ｆ(Ｙ)，ｆ(Ｃr))

なお、ここでは、青領域判定のための閾値：ＴＨbと赤領域判定のための閾値：ＴＨrの２つの閾値を求めたが、一方の閾値を兼用して使用することも可能である。

色領域判定部は、閾値設定部によって動的に、つまり撮影画像毎に、設定された閾値を用いて、ターゲット２を含む色差画像を順次走査し、青色領域と赤色領域とを判定する。その際、青色領域を判定するための判定条件として、青色成分値が閾値を上回ることと赤色成分値が閾値を下回ることとをＡＮＤ条件にするとよい。同様に、赤色領域を判定するための判定条件として、赤色成分値が閾値を上回ることと青色成分値が閾値を下回ることとをＡＮＤ条件にするとよい。つまり、色差信号では青色成分値と赤色成分値とが対極関係にあるため、その差分を利用することでより正確な青色領域判定が可能となるからである。しかしながら、本発明では、青色領域と赤色領域とを判定する際に、一方の色成分値が閾値を上回ることと他方の色成分値が閾値を下回ることとをＡＮＤ条件にすることに限定されているわけではない。青色領域を判定するための判定条件として、青色成分値が閾値を上回ることだけを採用しても良いし、赤色領域を判定するための判定条件として、赤色成分値が閾値を上回ることだけを採用しても良い。この手法で重要な点は、輝度情報を用いて特定色領域の判定条件を変更することである。

尚、マーカ２が有色ではなく、白と黒との矩形による市松模様であるような場合には、色の特徴を利用した上記アルゴリズムを適用することはできない。従って、上記手法に限定されることなく、例えば、特開２００８−１３１２５０号公報（特許文献１）等に記載された公知のエッジ検出アルゴリズム及び直線認識アルゴリズムを利用して、境界線を検出し、校正点Ｑを検出してもよい。何れにせよ、領域設定部１２におけるキャプチャ領域Ｒの設定を容易且つ同一条件とすることで、安定して校正点Ｑを検出することができる。

校正演算部１７は、校正点Ｑの空間上の配置位置を示す基準座標系における座標と、変換画像ＩＭ３上において検出された校正点Ｑのカメラ座標系における座標とに基づいて、カメラ１の回転量を演算してカメラ１を校正する。例えば、求められた回転量に基づいて回転ベクトルを求め、当該回転ベクトル又はその逆ベクトルを用いて、撮影画像ＩＭが補正される。補正された画像は、カメラ１が設計値通りに設置された場合と同様の画像となる。回転量や回転ベクトルの演算方法などは、特開２００８−１３１２５０公報等に記載されたような公知の手法を用いて実施することができるのでここでは詳細な説明を省略する。

図１２は、本発明の車載カメラの校正装置を用いた車両の生産工程の一例を示すフローチャートである。この生産工程を経て生産される車両は、少なくとも車両の後方を撮影するバックカメラを有し、その撮影画像をナビゲーションシステム等のディスプレイに表示させるバックモニタシステムなどの機能を備えたマルチメディアシステムを有している。ここで、マルチメディアシステムとは、オーディオビジュアル機能やナビゲーション機能などの複合的な機能を備えたシステムである。本例において、このマルチメディアシステムは、例えば、バックカメラの撮影画像を利用して画像処理を実施し、駐車支援を実行する駐車支援システムを備えている。ここでは、バックカメラを含む車載カメラを校正（調整）し、校正後の車載カメラの撮影画像を用いてバックモニタシステムや駐車支援システムの機能を検査し、検査を完了するとユーザモードとして起動するマルチメディアシステムを例として説明する。

車両のイグニッションスイッチをオンにすると、マルチメディアシステムが起動を開始する（＃１）。所定の操作によりマルチメディアシステムを再起動させてもよいし、校正工程の完了後や検査工程の完了後に、再起動を促されるようにプログラムされていてもよい（＃１）。起動（再起動）を開始した後、初めに車載カメラの調整が完了しているか否かが判定される（＃２）。このマルチメディアシステムの起動形態には、調整モード、検査モード、ユーザモードの３形態がある。調整モードは、車載カメラの調整（校正）を実施するモードである。検査モードは、調整（校正）済みの車載カメラを用いてバックモニタシステムや駐車支援システムの機能を検査するモードである。調整モード及び検査モードは、車両の生産工場や整備工場において利用される形態である。ユーザモードは、車両の一般ユーザが利用するモードである。つまり、ナビゲーションシステムや、オーディオビジュアルシステム、バックモニタシステム、駐車支援システム等をユーザが利用する際のモードである。処理＃２において、調整が未完了と判定された場合には、調整モードで起動される（＃４）。

マルチメディアシステムは、調整モードで起動すると、調整モードの選択画面８をディスプレイに表示させる。ディスプレイは、タッチパネルを備えて構成されており、ディスプレイに表示されたタッチボタン８１〜８５を操作することによって調整機能を選択することができる。例えば、タッチボタン８１を操作することによって、処理＃１２に示す手動モードで調整を実施することができ、タッチボタン８２を操作することによって、処理＃２１〜＃２６に示す自動モードで調整を実施することができる。また、車両がバックカメラ他、フロントカメラやサイドカメラなど複数の車載カメラを備えている場合には、タッチボタン８３〜８５によって手動調整するカメラを設定することができる。ここで、フロントカメラとは、車両の前方を撮影するカメラであり、サイドカメラとは、ドアミラー等に設置されて車両の側方を撮影するカメラである。タッチボタン８３を操作することによってバックカメラの光軸を調整（校正）することができ、タッチボタン８４を操作することによってフロントカメラの光軸を調整（校正）することができ、タッチボタン８５を操作することによってサイドカメラの光軸を調整（校正）することができる。

調整モードにおいて、自動調整モードであるか否かが判定され（＃１１）、自動調整モードが選択されている場合には、本例では初めにバックカメラの光軸調整が実施される（＃２１）。ここで、光軸調整に失敗すると、つまり、光軸が大きくずれており、上記の校正方法によって演算された回転量に基づいて補正を実施しても所定の範囲内に校正点Ｑが含まれないような場合には、調整未完了で自動調整を完了する（＃２７）。また、調整の失敗には、演算時間が所定の制限時間を超えていわゆるタイムアウトした場合も含む。このような場合には、そのまま処理を継続しても、失敗する可能性が高いからである。

光軸調整が良好に完了すると、次にフロントカメラが搭載されているか否かが判定される（＃２２）。フロントカメラが搭載されている場合には、フロントカメラの光軸が調整される（＃２３）。バックカメラと同様に、調整に失敗すると、調整未完了で自動調整を完了する（＃２７）。フロントカメラが搭載されていない場合には、サイドカメラの有無が判定される（＃２４）。サイドカメラが搭載されている場合には、サイドカメラの光軸が調整される（＃２５）。バックカメラと同様に、調整に失敗すると、調整未完了で自動調整を完了する（＃２７）。

車両に搭載されているカメラの光軸調整が全て完了すると、「調整完了」として自動調整を完了する（＃２６）。尚、手動調整によって調整を試みた結果、調整ができなかった場合にも、調整未完了で調整モードを完了し（＃２７）、調整が成功した場合には調整完了として調整モードを完了する（＃２６）。このようにして調整モードを完了すると、再び処理＃１に戻り、再起動される。勿論、再起動を要することなく、処理＃２へ戻るようにプログラムされていてもよい。

「調整完了」として調整モードが完了していた場合には、次に検査に合格しているか否かが判定される（＃３）。本例においては、この時点では、まだ検査モードを実施していないので、検査に合格しておらず、検査モードで起動される（＃６）。このように、検査に合格しているか否かを判定することによって、検査未完了のままでユーザの元へ車両が供給されてしまうような問題を阻止することができる。従来、同様の生産工程においては、ユーザモードで起動した後にタッチパネルを操作して検査モードが起動されていた。検査モードは、ユーザが実際に使用する環境、例えばシフトレバーをリバースにした際にバックモニタが起動し、所定の範囲が正確に写っていることを検査するものである。従って、ユーザモードから起動することが適切と考えられていた。しかし、従来の方法では、検査を完了することなく車両がユーザの元へ届けられる可能性を否定できなかった。しかし、処理＃３に係る判定プロセスを実施することで、このような問題は良好に抑制される。

本例において、マルチメディアシステムは、検査モードで起動されると、初めにバックカメラの検査を実施する（＃３１）。バックカメラの検査とは、例えば上述したようなバックモニタに写る範囲や、駐車支援システムにおけるガイドラインの位置の確認である。多くの場合、この確認は生産工場に設置された標識とモニタ上のガイドラインとの一致を作業員が目視により確認することによって実施される。合格の場合には、作業員がタッチパネル上の合格のタッチボタンを操作してバックカメラの検査を完了させる。不合格の場合には、不合格のタッチボタンを操作してバックカメラの検査を完了させる。すなわち、調整はしたが、検査は不合格の場合、検査が不合格であることを車両（製品）内に記録することができず、検査が合格しているものと区別がつきづらくなる。このような「調整はしたが、検査は不合格」という状況は、本発明のように調整は自動で行い、検査は作業者が行う場合に顕著に発生する可能性が有る。

バックカメラの検査が完了すると、合否判定が実施される（＃３２）。合格であると、次に他のカメラの検査に移行し、不合格の場合には検査不合格で検査モードを完了する（＃３８）。バックカメラの検査が合格の場合、本例ではフロントカメラの検査が実施される（＃３３）。同様にフロントカメラの検査を完了すると、合否判定が実施される（＃３４）。不合格の場合には検査不合格で検査モードを完了し（＃３８）、合格であると、次にサイドカメラの検査（＃３５）に移行する。サイドカメラの検査を完了すると、合否判定が実施される（＃３６）。合格であると、本例の場合には全ての検査に合格したこととなり、検査合格で検査モードを完了する（＃３７）、不合格の場合には検査不合格で検査モードを完了する（＃３８）。

検査モードを完了すると、再び処理＃１に戻り、再起動される。勿論、再起動を要することなく、処理＃２や処理＃３へ戻るようにプログラムされていてもよい。検査合格で検査モードを完了していた場合には、処理＃２及び処理＃３を経て、マルチメディアシステムは、ユーザモードで起動される（＃５）。既に、調整（校正）及び検査が完了しているので、これ以降、マルチメディアシステムは、常にユーザモードで起動される。

このような手順により調整（校正）及び検査が実行されると、調整や検査の途中や、調整後であって検査前において生産工場が休止し、再稼働した場合であっても、未完了の調整や検査が滞りなく実施される。従って、調整や検査が不十分な車両がユーザに届けられることなく、品質が向上する。

以上、説明したように、本発明によって、車種ごとのチューニングを抑制して汎用性の高い車載カメラの校正装置を提供することが可能となる。

校正用のマーカと車両との配置関係の一例を示す説明図 全長の異なる車両を前端部基準で停車させた際の校正用のマーカと車両との配置関係の一例を示す説明図 全長の異なる車両を前端部基準で停車させた際の校正用のマーカと車両との配置関係の一例を示す説明図 全長の異なる車両の車載カメラから校正用のマーカを撮影した撮影画像の一例を示す説明図 本発明の車載カメラの校正装置の構成を模式的に示すブロック図 図４（ａ）及び（ｂ）の撮影画像に写ったマーカを合わせて示した参考図 図６の撮影画像を視点変換した変換画像を示す説明図 図７の変換画像からキャプチャ領域を設定する説明図 車種別の全長の違いを例示するグラフ マーカを含む色差画像を横方向に走査した際の、青色成分値：Ｃbと赤色成分値：Ｃrの変動の様子を示す説明図 ＹＣｂＣｒ表色系での撮影画像に対する捜査結果を示すグラフ 本発明の車載カメラの校正装置を用いた車両の生産工程の一例を示すフローチャート

符号の説明

１：カメラ（車載カメラ）
２：マーカ（校正指標）
３：画像受け取り部
１１：視点変換部
１２：領域設定部
１５：校正点検出部
１７：校正演算部
１００、１００Ａ、１００Ｂ：車両
ＩＭ：撮影画像
ＩＭ２、ＩＭ３：変換画像
Ｑ：校正点
Ｒ：キャプチャ領域（認識対象領域）

Claims (5)

1. 床面上に配置された校正指標を撮影範囲内に含む車載カメラによって撮影された撮影画像を受け取る画像受け取り部と、
   前記撮影画像を前記床面に対して直交する方向から見た変換画像に視点変換する視点変換部と、
   前記変換画像上において前記校正指標が含まれる領域を、前記車載カメラが搭載される車両の種別に応じて設定された座標値に基づき、認識対象領域として設定する領域設定部と、
   前記認識対象領域において前記校正指標内の校正点を検出する校正点検出部と、
   前記校正点の空間上の配置位置を示す基準座標系における座標と、前記変換画像上において検出された前記校正点のカメラ座標系における座標とに基づいて、前記車載カメラを校正する校正演算部と、を備える車載カメラの校正装置。
2. 前記領域設定部は、前記車載カメラが搭載される車両の種別に拘わらず、前記変換画像上で同一形状の領域を前記認識対象領域として設定する請求項１に記載の車載カメラの校正装置。
3. 前記領域設定部は、前記車載カメラが搭載される車両の種別に拘わらず、前記変換画像上で同一面積の領域を前記認識対象領域として設定する請求項１又は２に記載の車載カメラの校正装置。
4. 前記領域設定部は、前記車載カメラが搭載される車両の種別に拘わらず、前記変換画像上で同一位置の領域を前記認識対象領域として設定する請求項１〜３の何れか一項に記載の車載カメラの校正装置。
5. 前記撮影画像には、少なくとも２つの前記校正指標が含まれる請求項１〜４の何れか一項に記載の車載カメラの校正装置。

Images