JP2023096279A - カメラの校正方法およびステレオカメラ装置 - Google Patents

Abstract

【課題】ウィンドシールドを通して画像を撮影する高画角のカメラの校正を容易に行うことが可能な画像校正方法を提供する。【解決手段】カメラによりウィンドシールドを通してカメラの光軸に交差する一方向に延びる直線状部を有する校正用物体を撮影して校正用画像を取得する（工程Ｓ１）。校正用画像から直線状部に対応する直線状部画像を抽出する（工程Ｓ２）。カメラによりウィンドシールドを通さずに直線状部を撮影した場合に想定される仮想直線状部画像と直線状部画像とに基づいて校正用画像の歪を補正する（工程Ｓ３）。【選択図】図５

Description

本開示は、カメラの校正方法およびステレオカメラ装置に関する。

従来から、第１カメラと第２カメラとを備え、透明体を介して被写体を撮影するステレオカメラの校正方法に関する発明が知られている。たとえば、下記特許文献１に記載されたステレオカメラの校正方法は、第１カメラにより撮影される画像および第２カメラにより撮影される画像の少なくとも一方の、透明体に起因する被写体の像の座標のずれを示す絶対位置ずれを校正する補正パラメータを算出するステップを含む。

また、この従来の校正方法は、ステレオカメラにより校正用具を撮影して第１カメラによる第１撮影画像と第２カメラによる第２撮影画像とを取得し、第１撮影画像と第２撮影画像に基づいて、第１撮影画像の被写体の像と第２撮影画像の被写体の像との視差のずれを示す相対位置ずれを校正する補正パラメータを算出するステップを含む。さらに、この従来の校正方法は、絶対位置ずれを校正する補正パラメータおよび相対位置ずれを校正する補正パラメータに基づいた補正パラメータを、ステレオカメラに記憶させるステップを含む（特許文献１、請求項１等）。

特開２０１９－１３２８５５号公報

上記従来のステレオカメラの校正方法では、ステレオカメラにより校正用具を撮影して、相対位置ずれと絶対位置ずれを校正する。そのため、この従来の校正方法では、ステレオカメラが広画角化すると、校正用具が大型化して、ステレオカメラの校正が困難になるおそれがある。

本開示は、ウィンドシールドを通して画像を撮影する広画角のカメラの校正を容易に行うことが可能なカメラの校正方法およびステレオカメラ装置を提供する。

本開示の一態様は、ウィンドシールドを通して画像を撮影するカメラの校正方法であって、前記カメラにより前記ウィンドシールドを通して前記カメラの光軸に交差する一方向に延びる直線状部を有する校正用物体を撮影して校正用画像を取得することと、前記校正用画像から前記直線状部に対応する直線状部画像を抽出することと、前記カメラにより前記ウィンドシールドを通さずに前記直線状部を撮影した場合に想定される仮想直線状部画像と前記直線状部画像とに基づいて前記校正用画像の歪を補正することとを含む、カメラの校正方法である。

本開示の上記一態様によれば、ウィンドシールドを通して画像を撮影する広画角のカメラの校正を容易に行うことが可能な画像校正方法を提供することができる。

本開示に係るステレオカメラ装置の実施形態を示す平面図および画像図。 図１のステレオカメラ装置の構成の一例を示すブロック図。 ウィンドシールドを透過した光の屈折を説明する模式的な水平断面図。 ウィンドシールドを透過した光の屈折を説明する模式的な垂直断面図。 図３Ａ、図３Ｂの光の屈折による画像センサの像の変位を説明する模式図。 本開示に係るカメラの校正方法の実施形態を示すフロー図。 図５の校正用画像を取得する工程における校正用物体の一例を示す図。 図６に示す校正用物体としての校正用チャートの正面図。 図７Ａに示す校正用チャートを撮影したカメラの画像図。 図５の直線状部画像を抽出する工程の抽出結果の一例を示す画像図。 校正用チャートの設置時の傾きの例を示す図。 校正用チャートの設置時の傾きの例を示す図。 校正用チャートの設置時の傾きによる直線状部画像の傾き示すグラフ。 広角レンズの瞳ずれを示す模式的な垂直断面図。 カメラのレンズの瞳ずれの影響を説明する模式的な垂直断面図。 校正用チャートの水平方向の長さと設置距離との関係を示すグラフ。 本開示のカメラの校正方法の実施形態２を示す模式的な側面図。 本開示のカメラの校正方法の実施形態３における校正用物体の斜視図。 本開示のカメラの校正方法の実施形態４の校正用チャートの正面図。 図１６Ａに示す校正用チャートを撮影したカメラの画像図。 本開示のカメラの校正方法の実施形態４の第２の校正用チャートの正面図。 図７Ａに示す校正用チャートの変形例を示す正面図。

以下、図面を参照して本開示に係るカメラの校正方法およびステレオカメラ装置の実施形態を説明する。

［実施形態１］
図１は、本開示に係るステレオカメラ装置の実施形態１を示す平面図および画像図である。図２は、図１のステレオカメラ装置１００の構成の一例を示すブロック図である。

図１に示すように、本実施形態のステレオカメラ装置１００は、たとえば、自動車などの車両Ｖに搭載され、車両ＶのウィンドシールドＷＳを通して、車両Ｖの周囲の物体とその物体までの距離などを含む外界情報を検出し、必要に応じて警告を生成する。ステレオカメラ装置１００によって検出された外界情報や生成された警告は、たとえば、図示を省略する車両制御装置による車両Ｖの自動運転や高度運転支援に使用される。

図２に示すように、ステレオカメラ装置１００は、車両ＶのウィンドシールドＷＳを通して画像ＬＩ，ＲＩを撮影する左右のカメラ１０Ｌ，１０Ｒを備えている。各々のカメラ１０は、たとえば、図示を省略するレンズと、画像センサとを備え、車両Ｖの周囲の物体の画像を、画像センサによってレンズを介して撮像または取得する。各々のカメラ１０は、たとえば、水平画角が１１０°から１５０°程度の広画角のカメラである。

図１に示すように、左右のカメラ１０Ｌ，１０Ｒによるステレオカメラ装置１００の撮像領域Ａは、たとえば、中央部のステレオ視領域Ａｓと、そのステレオ視領域Ａｓの左右の単眼視領域Ａｍとを含む。中央部のステレオ視領域Ａｓは、左右のカメラ１０Ｌ，１０Ｒの撮像領域ＡＬ，ＡＲが重複している領域である。ステレオ視領域Ａｓの左側の単眼視領域Ａｍは、左側のカメラ１０Ｌの撮像領域ＡＬであり、右側のカメラ１０Ｒの撮像領域ＡＲの外側の領域である。ステレオ視領域Ａｓの右側の単眼視領域Ａｍは、右側のカメラ１０Ｒの撮像領域ＡＲであり、左側のカメラ１０Ｌの撮像領域ＡＬの外側の領域である。

また、ステレオカメラ装置１００は、たとえば、図２に示すように、画像処理部２０と、ステレオ視差画像生成部３０と、路面断面形状推定部４０と、ステレオ視物体検知部５０と、左右単眼画像生成部６０と、ハイブリッド物体検知部７０と、警報制御部８０と、を有している。これらステレオカメラ装置１００の各部は、たとえば、中央処理装置（ＣＰＵ）と、ＲＯＭやＲＡＭなどのメモリと、タイマと、入出力部と、メモリに記録されたプログラムとを備えた一つ以上のマイクロコントローラによって構成することができる。

画像処理部２０は、左右のカメラ１０Ｌ，１０Ｒからそれぞれ画像ＬＩ，ＲＩを取得して画像処理を施し、画像処理によって生成された画像データをステレオ視差画像生成部３０と左右単眼画像生成部６０へ出力する。画像処理部２０は、たとえば、図２に示すように、左右のカメラ１０Ｌ，１０Ｒのそれぞれに対して、アフィン処理部２１と、輝度補正部２２と、画素補間部２３と、輝度情報生成部２４と、を有している。これら画像処理部２０の各部は、たとえば、ＣＰＵによってメモリに記録されたプログラムを実行することで実現される機能を表している。

左右のアフィン処理部２１Ｌ，２１Ｒは、それぞれ、左側のカメラ１０Ｌの画像ＬＩと右側のカメラ１０Ｒの画像ＲＩとをアフィン変換した変換画像ＬＩａ，ＲＩａを生成する。また、左右のカメラ１０Ｌ，１０Ｒが魚眼レンズまたは広画角レンズを搭載している場合、各々のアフィン処理部２１は、たとえば、焦点距離ｆ、半画角θの正射影方式のレンズの像高ｙ＝ｆ・ｓｉｎθを、（ｆ・ｔａｎθｘ，ｆ・ｔａｎθｙ）の座標系へ射影変換した変換画像ＬＩａ，ＲＩａを生成する。なお、θｘとθｙは、レンズに入射する光の水平と垂直に対する角度成分を示している。

さらに、左右のアフィン処理部２１Ｌ，２１Ｒは、たとえば、ウィンドシールドＷＳを透過する光の屈折による垂直方向の画素の変位である画素シフトを補正した変換画像ＬＩａ，ＲＩａを生成する。すなわち、各々のアフィン処理部２１は、たとえば、画素シフトを補正する画素シフト補正部として機能する。

左右の輝度補正部２２Ｌ，２２Ｒは、それぞれ、左側のカメラ１０Ｌの画像ＬＩの変換画像ＬＩａの各画素の輝度と、右側のカメラ１０Ｒの画像ＲＩの変換画像ＲＩａの各画素の輝度を補正する。各々の輝度補正部２２は、たとえば、変換画像ＬＩａ，ＲＩａの各画素のゲインの違いなどに基づいて、各画素の輝度を補正する。

左右の画素補間部２３Ｌ，２３Ｒは、それぞれ、輝度が補正された変換画像ＬＩａ，ＲＩａに対して、たとえば、デモザイキング処理を行って、変換画像ＬＩａ，ＲＩａをＲＡＷ画像からカラー画像へ変換する。左右の輝度情報生成部２４Ｌ，２４Ｒは、それぞれ、カラー画像へ変換された変換画像ＬＩａ，ＲＩａの輝度情報を生成する。より具体的には、各々の輝度情報生成部２４は、変換画像ＬＩａ，ＲＩａのカラー画像の情報から、視差画像を生成するための輝度情報を生成する。

ステレオ視差画像生成部３０は、画像処理部２０から入力された変換画像ＬＩａ，ＲＩａのうち、ステレオ視領域Ａｓの画像を利用して、ステレオ視領域Ａｓのステレオ視差画像を生成する。ステレオ視差画像生成部３０は、たとえば、露光調整部３１と、感度補正部３２と、幾何補正部３３と、マッチング部３４と、ノイズ除去部３５と、画素シフト量演算部３６と、補正関数導出部３７と、を有している。これらステレオ視差画像生成部３０の各部は、たとえば、ＣＰＵによってメモリに記録されたプログラムを実行することで実現される機能を表している。

露光調整部３１と感度補正部３２は、それぞれ、左右のカメラ１０Ｌ，１０Ｒの露光量と感度を、左右のカメラ１０Ｌ，１０Ｒにフィードバックすることで、フィードバック制御を行うことができる。幾何補正部３３、マッチング部３４、およびノイズ除去部３５は、それぞれ、左右の変換画像ＬＩａ，ＲＩａの幾何補正、マッチング処理、およびノイズ除去を行う。画素シフト量演算部３６と補正関数導出部３７は、それぞれ、左右の変換画像ＬＩａ，ＲＩａの画素シフト量の演算と、後述する補正関数の導出を行う。すなわち、画素シフト量演算部３６と補正関数導出部３７は、たとえば、アフィン処理部２１とともに、画素シフト補正部を構成する。

路面断面形状推定部４０は、たとえば、ステレオカメラ装置１００の左右のカメラ１０Ｌ，１０Ｒの光軸方向の前方の、車両Ｖがこれから走行する路面の断面形状を推定する。この路面断面形状推定部４０による路面の断面形状の推定は、たとえば、公知の方法によって行うことができる。

ステレオ視物体検知部５０は、ステレオ視差画像生成部３０で生成されたステレオ視差画像を用いて、ステレオ視領域Ａｓにおける物体の検知を行う。ステレオ視物体検知部５０は、さらに検知した物体に対してステレオマッチングを適用して視差を検出するとともに、たとえば、パターンマッチングを適用して歩行者、自転車、車両、建造物などの物体の種別を特定する。

左右単眼画像生成部６０は、左右の変換画像ＬＩａ，ＲＩａの左右の単眼視領域Ａｍの画像を、左右の単眼視画像として生成する。左右単眼画像生成部６０は、たとえば、同一の水平線に沿った左右の単眼視画像の単位長さとステレオ視差画像の単位長さとが等しい距離を表すように、左右の変換画像ＬＩａ，ＲＩａにおける左右の単眼視領域Ａｍの画像を射影変換する。

ハイブリッド物体検知部７０は、たとえば、ステレオ視差画像生成部３０で生成されたステレオ視差画像と、左右単眼画像生成部６０で生成された左右の単眼視画像とを合成した一つのハイブリッド画像を生成する。すなわち、ハイブリッド画像は、たとえば、水平方向の中央部にステレオ視差画像を有し、そのステレオ視差画像の左右に単眼視画像を有している。

ハイブリッド物体検知部７０は、さらに、生成したハイブリッド画像に基づいて物体を検知する。より具体的には、ハイブリッド物体検知部７０は、たとえば、ハイブリッド画像の単眼視画像から物体を検出するとともに、ハイブリッド画像のステレオ視差画像における視差等の情報に基づいて、単眼視画像の物体までの距離を検出する。

より具体的には、ハイブリッド物体検知部７０は、たとえば、ステレオ視物体検知部５０と同様に、パターンマッチングによって、単眼視領域で検出した物体の種別を特定する。また、ハイブリッド物体検知部７０は、たとえば、単眼視画像における物体の接地位置と、その接地位置と同一の水平線上のステレオ視差画像による位置情報とに基づいて、単眼視画像における物体の距離を推定する。そのため、ウィンドシールドＷＳを透過する光の屈折によって画像の位置が垂直方向にずれる画素シフトが発生すると、単眼視領域における距離の測定誤差が発生する。

図３Ａおよび図３Ｂは、それぞれ、ウィンドシールドＷＳを透過してステレオカメラ装置１００の右側のカメラ１０Ｒに入射する光の屈折を説明する模式的な水平断面図と垂直断面図である。図４は、ウィンドシールドＷＳを透過した光の屈折による右側のカメラ１０Ｒの画像センサ上の像の変位を示す模式図である。なお、図４では、ウィンドシールドＷＳを通さずに撮像した場合の物体の像Ｉｍ１－Ｉｍ４を二点鎖線で示し、ウィンドシールドＷＳを通して撮像した場合の物体の像Ｉｍ１’－Ｉｍ４’を実線で示している。

図３Ａおよび図３Ｂに示すように、ウィンドシールドＷＳに入射した光線Ｌ１－Ｌ４は、スネルの法則に従って屈折する。ここで、光線Ｌ１－Ｌ４が透過するウィンドシールドＷＳの入射面と出射面が平行であれば、光線Ｌ１－Ｌ４の入射光と出射光は平行になる。そのため、図３Ａに示すように、ウィンドシールドＷＳの正面部分に入射する光線Ｌ１の角度は、ウィンドシールドＷＳを透過した後もほとんど変化しない。そのため、図４に示すように、水平方向において、カメラ１０の光軸ＯＡの近傍でウィンドシールドＷＳを通して撮像された物体の像Ｉｍ１’，Ｉｍ３’は、ウィンドシールドＷＳを通さずに撮像した場合の物体の像Ｉｍ１，Ｉｍ３に対する水平方向の変位が小さい。

しかし、図３Ａに示すように、カメラ１０の光軸方向に対する傾斜角が大きく、車両Ｖの側方からウィンドシールドＷＳへ入射する光線Ｌ２は、ウィンドシールドＷＳを透過した後の角度の変化が比較的に大きくなる。その結果、図４に示すように、水平方向において、カメラ１０の光軸ＯＡから離隔した広画角の位置でウィンドシールドＷＳを通して撮像された物体の像Ｉｍ２’，Ｉｍ４’は、ウィンドシールドＷＳを通さずに撮像した場合の物体の像Ｉｍ２，Ｉｍ４に対する水平方向の変位が比較的に大きくなる。

また、図３Ｂに示すように、ウィンドシールドＷＳは、たとえば、上方側ほど後方側に位置するように垂直方向に対して傾斜している。そのため、ウィンドシールドＷＳを通してカメラ１０に入射する光線Ｌ３，Ｌ４は、ウィンドシールドＷＳの入射面に対して傾斜して入射する。その結果、鉛直方向において、カメラ１０の光軸ＯＡの近傍の位置でウィンドシールドＷＳを透過する光線Ｌ３と、カメラ１０の光軸ＯＳから離隔した広画角の位置でウィンドシールドＷＳを透過する光線Ｌ４は、いずれもウィンドシールドＷＳを透過した後の角度の変化が比較的に大きくなる。一方で、水平方向の中心領域でのウィンドシールドＷＳによる垂直方向の光線角度の変化は水平画角依存性が小さい。

このように、ウィンドシールドＷＳがない場合にカメラ１０のレンズによって画像センサに結像する物体の像の位置が、ウィンドシールドＷＳを通して撮像することで変化する。そのため、図４に示すように、垂直方向において、ウィンドシールドＷＳを通して撮像された物体の像Ｉｍ１’－Ｉｍ４’は、ウィンドシールドＷＳを通さずに撮像した場合の物体の像Ｉｍ１－Ｉｍ４の位置から、垂直方向の下方への変位が比較的に大きくなる。この物体の本来の像Ｉｍ１－Ｉｍ４の位置から像Ｉｍ１’－Ｉｍ４’の位置への垂直方向の変位が、画素シフトである。この画素シフトは、画像センサ上の位置によって大きさが異なるため、画像の歪となって現れる。

前述のように、本実施形態のステレオカメラ装置１００は、単眼視領域Ａｍにおいて、物体の接地位置を用いて物体までの距離を推定している。そのため、上記のような垂直方向の画素シフトは、単眼視領域Ａｍにおける距離の測定誤差を生じさせる。画素シフトの大きさは、ウィンドシールドＷＳの形状や傾きに依存する。特に、ウィンドシールドＷＳの曲率が大きく、ウィンドシールドＷＳの鉛直方向に対する傾きが大きい場合に、画素シフトが大きくなる。本実施形態のカメラの校正方法およびステレオカメラ装置１００は、このような画素シフトを補正するように、カメラ１０を校正する。

図５は、本開示に係るカメラの校正方法の実施形態を示すフロー図である。本実施形態のカメラの校正方法ＣＭは、ウィンドシールドＷＳを通して画像を撮影するカメラ１０を校正する方法である。カメラの校正方法ＣＭは、校正用画像を取得する工程Ｓ１と、直線状部画像を抽出する工程Ｓ２と、校正用画像の歪を補正する工程Ｓ３を含む。カメラの校正方法ＣＭは、たとえば、ステレオカメラ装置１００によって実施することができる。

工程Ｓ１において、ステレオカメラ装置１００は、たとえば、左右のカメラ１０Ｌ，１０ＲによってウィンドシールドＷＳを通してカメラ１０の光軸ＯＡに交差する一方向に延びる直線状部を有する校正用物体を撮影して校正用画像を取得する。なお、本実施形態のカメラの校正方法ＣＭは、たとえば、単眼カメラに適用することも可能である。

図６は、校正用画像を取得する工程Ｓ１における校正用物体の一例を示す図である。図７Ａは、図６に示す校正用物体の正面図である。図７Ｂは、ウィンドシールドＷＳを通して図７Ａに示す校正用物体を撮影した校正前のカメラ１０の画像図である。なお、図７Ｂでは、画素シフトを実際よりも拡大して表している。

図６、図７Ａおよび図７Ｂに示す例において、ステレオカメラ装置１００のカメラ１０によってウィンドシールドＷＳを通して撮影する校正用物体は、たとえば、ストライプの校正パターン２１０を有する校正用チャート２００である。このような校正用チャート２００は、たとえば、本実施形態のカメラの校正方法ＣＭを、車両Ｖの製造工場、車両Ｖの整備工場、またはステレオカメラ装置１００の製造工場などで実施する場合に使用することができる。

校正用チャート２００のストライプの校正パターン２１０は、たとえば、水平方向に沿って延びる帯状の濃色部２１１と帯状の淡色部２１２とが、垂直方向に交互に配置されたパターンである。濃色部２１１は、たとえば、黒色であり、淡色部２１２は、たとえば、白色である。なお、後述するエッジ検出が可能であれば、濃色部２１１と淡色部２１２の色は特に限定されない。

校正用画像を取得する工程Ｓ１において、カメラ１０によりウィンドシールドＷＳを通して撮影される校正用物体としての校正用チャート２００は、カメラ１０の光軸ＯＡに交差する一方向に延びる直線状部２１３を有している。この直線状部２１３は、たとえば、校正用チャート２００に描かれたストライプの校正パターン２１０の濃色部２１１と淡色部２１２との境界線であり、カメラ１０の光軸ＯＡに直交する水平方向に延びている。

また、校正用画像を取得する工程Ｓ１では、たとえば、校正用チャート２００の画像である校正用画像Ｉｍ２００が、カメラ１０の光軸ＯＡに交差する一方向における一端から他端まで、直線状部２１３の画像である直線状部画像Ｉｍ２１３を含むように、校正用チャート２００を撮影する。本実施形態では、たとえば、工程Ｓ１において、校正用画像Ｉｍ２００が、カメラ１０の光軸ＯＡに直交する水平方向における一端から他端まで直線状部画像Ｉｍ２１３を含むように、校正用チャート２００を撮影する。

図７Ｂに示すように、校正用画像Ｉｍ２００は、カメラ１０の光軸ＯＡが位置する中央部から水平方向に離れた水平方向の広画角の位置ほど、垂直方向の下方への画素シフトが大きくなっている。これは、水平方向における広画角の位置ほど、ウィンドシールドＷＳに対する光の入射角が大きくなるためである。

また、校正用画像を取得する工程Ｓ１では、たとえば、図６に示すように、カメラ１０の光軸ＯＡ方向におけるウィンドシールドＷＳの前方、かつ、鉛直方向における車両Ｖの上方の位置に配置された校正用物体としての校正用チャート２００を撮影する。より具体的には、校正用チャート２００は、たとえば、車両ＶのウィンドシールドＷＳの前方で、ボンネットなどの車両Ｖの車体の上に設置される。すなわち、校正用チャート２００は、たとえば、車両Ｖの前後方向において、車両Ｖの前端とウィンドシールドＷＳとの間に配置されている。

次に、ステレオカメラ装置１００は、図５に示すように、直線状部画像を抽出する工程Ｓ２を実施する。この工程Ｓ２において、ステレオカメラ装置１００は、たとえば、校正用画像Ｉｍ２００から、直線状部２１３の画像である直線状部画像Ｉｍ２１３を抽出する。前述のように、校正用チャート２００とステレオカメラ装置１００の距離を接近させた状態で、カメラ１０によって校正用チャート２００を撮影すると、カメラ１０の解像度が低下して、校正パターン２１０の濃色部２１１と淡色部２１２との境界であるエッジが不明瞭になる傾向がある。

これに対し、本実施形態のステレオカメラ装置１００は、たとえば、次のような方法によって、濃色部２１１と淡色部２１２のエッジを検出する。まず、校正パターン２１０の濃色部２１１から淡色部２１２への変化、または、淡色部２１２から濃色部２１１への変化における信号の強度変化を検出する。次に、その信号の強度変化の半値の強度を有する信号が検出される画素の垂直方向における位置を特定し、その位置に基づいて濃色部２１１と淡色部２１２との境界であるエッジを検出する。

図８は、工程Ｓ２で抽出された直線状部画像Ｉｍ２１３の一例を示す図である。ステレオカメラ装置１００は、たとえば、前述のように、濃色部２１１と淡色部２１２との境界であるエッジを検出し、図８に示すように、直線状部２１３に対応する直線状部画像Ｉｍ２１３を抽出する。

次に、ステレオカメラ装置１００は、図５に示すように、校正用画像を補正する工程Ｓ３を実行する。この工程Ｓ３において、ステレオカメラ装置１００は、カメラ１０によりウィンドシールドＷＳを通さずに直線状部２１３を撮影した場合に想定される仮想直線状部画像と、工程Ｓ１で取得した直線状部画像Ｉｍ２１３とに基づいて、校正用画像Ｉｍ２００の歪を補正する。

校正用画像を補正する工程Ｓ３は、たとえば、画素シフトの補正テーブルを作成する工程Ｓ３１と、レンズの瞳ずれの補正テーブルを作成する工程Ｓ３２と、校正用画像の歪を補正する工程Ｓ３３と、を含む。

画素シフトの補正テーブルを作成する工程Ｓ３１において、ステレオカメラ装置１００は、たとえば、まず、直線状部画像Ｉｍ２１３の傾きを補正し、次に、直線状部画像Ｉｍ２１３の垂直方向の画素シフト量を算出して、画素シフトの補正テーブルを作成する。

図９Ａおよび図９Ｂは、校正用チャート２００の設置時の傾きの例を示す図である。校正用チャート２００は、たとえば、ストライプの校正パターン２１０の濃色部２１１と淡色部２１２の境界である直線状部２１３が水平になり、校正パターン２１０が表示された表示面がカメラ１０の光軸に対して垂直になるように設置される。

しかし、校正用チャート２００の設置誤差により、図９Ａに示す校正用チャート２００の表示面の法線を中心とする回転による傾きや、図９Ｂに示す校正用チャート２００の鉛直方向の中心線を中心とする回転による傾きが生じ得る。このような校正用チャート２００の傾きによって、前の工程Ｓ２で抽出した直線状部画像Ｉｍ２１３には、傾きが生じている場合がある。

図１０は、前の工程Ｓ２で抽出した直線状部画像Ｉｍ２１３の傾き示すグラフである。図１０において、ｘ軸は水平方向の画素位置であり、ｙ軸は画素の垂直方向の変位量である。図１０では、図８に示す複数の直線状部画像Ｉｍ２１３のうちの一つの直線状部画像Ｉｍ２１３を、上下反転させて拡大して表している。

図３Ａに示すように、カメラ１０の光軸ＯＡを中心とする位置、すなわち、水平画角が０°の位置の近傍では、ウィンドシールドＷＳによる光の屈折の影響が小さい。そのため、直線状部画像Ｉｍ２１３の傾きを補正する工程では、水平画角が０°の位置の近傍の画素範囲Ｒｐの直線状部画像Ｉｍ２１３の近似直線Ｌａを求め、この近似直線Ｌａの傾きをゼロにする垂直方向の画素変位量を求め、直線状部画像Ｉｍ２１３の傾きを補正する。画素範囲Ｒｐは、たとえば、水平画角が±１０°から±２０°に相当する画素数に設定することができる。

ステレオカメラ装置１００は、たとえば、上記のような直線状部画像Ｉｍ２１３の傾きの補正を、前の工程Ｓ２で抽出したすべての直線状部画像Ｉｍ２１３に対して実施する。これにより、校正用チャート２００の表示面が図９Ａおよび図９Ｂのように傾いたとしても、前の工程Ｓ２で抽出した複数の直線状部画像Ｉｍ２１３を、傾きのない状態に補正することができる。

次に、ステレオカメラ装置１００は、たとえば、垂直方向に並んだ傾き補正後の各々の直線状部画像Ｉｍ２１３の画素の垂直方向の画素変位量に基づいて、画素シフトの補正テーブルを作成する。ここで、各々の直線状部画像Ｉｍ２１３の画素の垂直方向の画素変位量は、たとえば、ウィンドシールドＷＳを通さない場合の直線状部２１３の画像である仮想直線状部画像の画素に対する垂直方向の画素変位量である。画素シフトの補正テーブルは、たとえば、水平画素、垂直画素、および画素変位量が、それぞれ、Ｘ軸、Ｙ軸、およびＺ軸に設定される。次に、ステレオカメラ装置１００は、たとえば、瞳ずれの補正テーブルを作成する工程Ｓ３２を実施する。

図１１は、広角レンズの瞳ずれを示す模式的な垂直断面図である。広角レンズでは、瞳の位置が画角によって変化する。図１１に示すように、カメラ１０のレンズ１１に入射した光線Ｂ１－Ｂ４は、カメラ１０の撮像センサ１２の上に結像する。ここで、レンズ１１に入射した光線Ｂ１，Ｂ２の延長線の交点を原点とする面１１ａにおいて、広画角の光線Ｂ４は、原点から距離ｄだけ離れた位置で面１１ａに交差する。本実施形態では、この距離ｄを、瞳ずれ量という。瞳ずれ量は、レンズ１１への入射光の画角や、レンズ１１の設計などによって変化する。

図１２は、カメラ１０のレンズ１１の瞳ずれの影響を説明する模式的な垂直断面図である。カメラ１０によって、前述の面１１ａから距離Ｄ１だけ離れた校正用チャート２００の校正パターン２１０から直線状部２１３を検出する場合、レンズ１１の瞳ずれを考慮しなければ、広画角の垂直画角で入射する光線Ｂ４の垂直画角は角度θ１となる。しかし、レンズ１１が広角レンズの場合には瞳ずれが生じるため、光線Ｂ４の垂直画角を、瞳ずれを考慮した角度θ２として検出する必要がある。

ステレオカメラ装置１００は、瞳ずれの補正テーブルを作成する工程Ｓ３２において、たとえば、あらかじめメモリに記録されたカメラ１０のレンズ１１の設計値を用いる。より詳細には、ステレオカメラ装置１００は、たとえば、距離Ｄ１と瞳ずれ量から角度θ２を求め、レンズの射影に基づいて画像センサ上の画素位置を算出し、その算出した画素位置について、瞳ずれを考慮しない場合の画像センサ上の画素位置に対する画素変位量を求める。

ステレオカメラ装置１００は、たとえば、上記の処理を垂直方向および水平方向のすべての方向（画角）に対して行うことで、瞳ずれによる画素変位量の補正テーブルを作成する。この補正テーブルのＸ軸、Ｙ軸、およびＺ軸は、それぞれ、水平画素、垂直画素、および画素変位量となっている。

なお、レンズの瞳ずれの影響は、距離Ｄ１が十分に大きい場合には無視することができる。しかし、図６に示すように、校正用物体である校正用チャート２００がステレオカメラ装置１００に近い位置に配置される場合には、瞳ずれの影響を無視できなくなる。そのため、本実施形態のカメラの校正方法ＣＭおよびステレオカメラ装置１００は、レンズ１１の設計値を用いて、カメラ１０のレンズ１１の瞳ずれの補正テーブルを作成する工程Ｓ３２を実施している。

次に、ステレオカメラ装置１００は、校正用画像の歪を補正する工程Ｓ３３を実施する。この工程Ｓ３３において、ステレオカメラ装置１００は、前の工程Ｓ３１，Ｓ３２で作成した画素シフトの補正テーブルと、瞳ずれの補正テーブルと基づいて、工程Ｓ１で取得した校正用画像Ｉｍ２００の歪を補正するための補正導関数を導出する。

より具体的には、ステレオカメラ装置１００は、たとえば、画素シフトの補正テーブルの画素変位量と、瞳ずれの補正テーブルの画素変位量とを加算または減算して歪の補正テーブルを作成する。さらに、ステレオカメラ装置１００は、たとえば、作成したひずみの補正テーブルの画素ごとの画素変位量を補正する補正導関数を算出する。そして、ステレオカメラ装置１００は、算出した補正導関数をカメラ１０によって撮影した画像に適用することで、カメラ１０を校正する。

以下、本実施形態のカメラの校正方法ＣＭおよびステレオカメラ装置１００の作用を説明する。

前述のように、本実施形態のカメラの校正方法ＣＭは、ウィンドシールドＷＳを通して画像を撮影するカメラ１０の校正方法である。カメラの校正方法ＣＭは、カメラ１０によりウィンドシールドＷＳを通してカメラ１０の光軸ＯＡに交差する一方向に延びる直線状部２１３を有する校正用物体を撮影して校正用画像を取得すること（工程Ｓ１）を含む。また、カメラの校正方法ＣＭは、校正用画像から直線状部２１３に対応する直線状部画像Ｉｍ２１３を抽出すること（工程Ｓ２）を含む。また、カメラの校正方法ＣＭは、カメラ１０によりウィンドシールドＷＳを通さずに直線状部２１３を撮影した場合に想定される仮想直線状部画像と直線状部画像Ｉｍ２１３とに基づいて校正用画像の歪を補正すること（工程Ｓ３）を含む。

本実施形態のカメラの校正方法ＣＭによれば、たとえば、校正用チャート２００などの校正用物体の校正パターン２１０から、カメラ１０の光軸ＯＡに交差する一方向に延びる直線状部２１３の直線状部画像Ｉｍ２１３を抽出することができる。この直線状部画像Ｉｍ２１３は、広画角化されたカメラ１０で顕著となるウィンドシールドＷＳを透過した光の屈折による画素の垂直方向の変位、すなわち、画素シフトを含んでいる。また、カメラ１０によって直線状部２１３を有する校正用チャート２００などの校正用物体を撮影することで、ウィンドシールドＷＳを通して撮影した直線状部画像Ｉｍ２１３の比較対象となる仮想直線状部画像を、たとえば、まっすぐな直線の画像として容易に生成することができる。したがって、本実施形態のカメラの校正方法ＣＭによれば、ウィンドシールドＷＳの影響による画素シフトを補正して、ウィンドシールドＷＳを通して画像を撮影する広画角のカメラ１０の校正を容易に行うことができる。

また、本実施形態のカメラの校正方法ＣＭにおいて、校正用画像を取得すること（工程Ｓ１）は、校正用画像Ｉｍ２００が、カメラ１０の光軸ＯＡに交差する一方向における一端から他端まで直線状部画像Ｉｍ２１３を含むように校正用チャート２００などの校正用物体を撮影することを含む。このような方法により、本実施形態のカメラの校正方法ＣＭによれば、広画角化されたカメラ１０において画素シフトが顕著となるウィンドシールドＷＳの水平方向の両端部や垂直方向の両端部を透過した光による像の画素シフトをより確実に補正することができる。

また、本実施形態のカメラの校正方法ＣＭにおいて、校正用画像の歪を補正すること（工程Ｓ３）は、校正用画像の所定範囲（画素範囲Ｒｐ）における直線状部画像Ｉｍ２１３の水平方向または垂直方向に対する傾きに基づいて、直線状部画像Ｉｍ２１３の傾きを補正すること（工程Ｓ３１）を含む。このような方法により、本実施形態のカメラの校正方法ＣＭによれば、図９Ａおよび図９Ｂに示すような校正用物体としての校正用チャート２００の設置誤差による直線状部画像Ｉｍ２１３の傾きを補正して、画素シフトをより正確に補正することが可能になる。

また、本実施形態のカメラの校正方法ＣＭにおいて、校正用画像を取得すること（工程Ｓ１）は、カメラ１０の光軸ＯＡ方向におけるウィンドシールドＷＳの前方かつ鉛直方向における車両Ｖの上方の位置に配置された校正用物体としての校正用チャート２００を撮影することを含む。

このような方法により、本実施形態のカメラの校正方法ＣＭによれば、広画角化されたカメラ１０の校正に使用する校正用チャート２００の長さが増大するのを抑制して、製造工場や整備工場における校正用チャート２００の設置を容易にすることができる。以下、図１３を参照して、この効果をより詳細に説明する。

図１３は、カメラ１０の校正に必要な校正用チャート２００の水平方向の長さと、カメラ１０から校正用チャート２００までの距離との関係を、カメラ１０の水平方向の画角が４０°の場合と１５０°の場合とで比較したグラフである。本実施形態のステレオカメラ装置１００において、カメラ１０の水平画角は、たとえば、１１０°から１５０°程度に広画角化されている。

たとえば、水平画角が４０°の従来のカメラであれば、カメラから５ｍ離れた位置に設置する校正用チャートに必要な水平方向の長さは、約３．６ｍ程度である。しかし、たとえば、本実施形態のステレオカメラ装置１００のカメラ１０の水平画角が１５０°であり、校正用チャート２００をカメラから５ｍ離れた位置に設置する場合、カメラ１０の校正に必要な校正用チャート２００の水平方向の長さが非常に大きくなる。そのため、校正用チャート２００を製造工場や整備工場に設置することが困難になるおそれがある。

しかし、図６に示すように、本実施形態のカメラの校正方法ＣＭは、校正用画像を取得する工程Ｓ１において、たとえば、カメラ１０の光軸ＯＡ方向におけるウィンドシールドＷＳの前方かつ鉛直方向における車両Ｖの上方の位置に配置された校正用物体としての校正用チャート２００を撮影する。これにより、カメラ１０と校正用チャート２００との距離を接近させ、たとえば、校正用チャート２００をカメラ１０から１ｍ以内の距離に設置することが可能になる。

その結果、たとえば、水平画角が１５０°の広画角のカメラ１０の校正に必要な校正用チャート２００の水平方向の長さを、水平画角が４０°のカメラの５ｍ前方に設置する場合に必要な校正用チャートの長さと、同程度の長さにすることができる。したがって、広画角化されたカメラ１０の校正に使用する校正用チャート２００を、製造工場や整備工場に容易に設置することができる。

また、本実施形態のカメラの校正方法ＣＭにおいて、校正用画像の歪を補正すること（工程Ｓ３）は、たとえば、レンズ１１の瞳ずれなど、カメラ１０のレンズ特性による歪を補正すること（工程Ｓ３２）を含む。このような方法により、本実施形態のカメラの校正方法ＣＭによれば、ウィンドシールドＷＳの影響による画素シフトをより正確に補正することができる。

また、本実施形態のステレオカメラ装置１００は、ウィンドシールドＷＳを通して画像を撮影する左右のカメラ１０Ｌ，１０Ｒを備え、以下のような取得部、抽出部、および補正部として機能する、画像処理部２０、ステレオ視差画像生成部３０、路面断面形状推定部４０、ステレオ視物体検知部５０、左右単眼画像生成部６０、またはハイブリッド物体検知部７０を備えている。取得部は、カメラ１０によりウィンドシールドＷＳを通してカメラ１０の光軸ＯＡに交差する一方向に延びる直線状部２１３を有する校正用物体を撮影して校正用画像Ｉｍ２００を取得する。抽出部は、直線状部画像Ｉｍ２１３から直線状部２１３に対応する直線状部画像Ｉｍ２１３を抽出する。補正部は、カメラ１０によりウィンドシールドＷＳを通さずに直線状部２１３を撮影した場合に想定される仮想直線状部画像と直線状部画像Ｉｍ２１３とに基づいて校正用画像Ｉｍ２００の歪を補正する。

このような構成により、本実施形態のステレオカメラ装置１００によれば、前述のカメラの校正方法ＣＭを実施することができ、カメラの校正方法ＣＭと同様の効果を奏することができる。

以上説明したように、本実施形態によれば、ウィンドシールドＷＳを通して画像を撮影する広画角のカメラ１０の校正を容易に行うことが可能なカメラの校正方法ＣＭおよびステレオカメラ装置１００を提供することができる。

［実施形態２］
以下、図１から図５を援用し、図１４を用いて本開示に係るカメラの校正方法の実施形態２を説明する。図１４は、本開示のカメラの校正方法の実施形態２を示す模式的な側面図である。

本実施形態のカメラの校正方法ＣＭは、校正用物体がワイヤまたはバー２１４を含む点と、校正用画像を取得する工程Ｓ１がカメラ１０と校正用物体としてのワイヤまたはバー２１４とを相対的に移動させることを含む点で、前述の実施形態１のカメラの校正方法ＣＭと異なっている。本実施形態のカメラの校正方法ＣＭのその他の点は、前述の実施形態のカメラの校正方法ＣＭと同様であるため、同様の部分には同一の符号を付して説明を省略する。

本実施形態のカメラの校正方法ＣＭは、たとえば、車両Ｖの製造ラインで実施することができる。車両Ｖは、たとえば、図１４における右方向へ移動しながら、ステレオカメラ装置１００を含む各種の部品が取り付けられていく。車両Ｖに対するステレオカメラ装置１００の取り付けが終了すると、本実施形態のカメラの校正方法ＣＭが実施される。本実施形態のカメラの校正方法ＣＭでは、校正用画像を取得する工程Ｓ１における校正用物体として、ワイヤまたはバー２１４と、左右のカメラ１０Ｌ，１０Ｒのステレオ視領域Ａｓ用の校正用チャート２００が使用される。

ワイヤまたはバー２１４は、たとえば、水平方向に平行になるように両端が支持されて車両Ｖの製造ラインの上方に配置され、図示を省略する昇降機構によって上下に昇降可能に設けられている。校正用チャート２００は、たとえば、ステレオカメラの校正で一般的に用いられる任意の校正パターンを有し、ワイヤまたはバー２１４と同様に、図示を省略する昇降機構によって上下に昇降可能に設けられている。

ワイヤまたはバー２１４は、たとえば、カメラ１０の光軸ＯＡに交差する水平方向に延びることで、それ自体が直線状部になっている。また、ワイヤまたはバー２１４は、たとえば、カメラ１０の光軸ＯＡに交差する一方向に延びる輪郭線または外形を直線状部として有している。なお、ワイヤまたはバー２１４は、厳密には重力によって中央部が両端部よりも下方にたわんだ状態になることが考えられるが、このようなたわみは微小であるため、直線状部を有する校正用物体として使用することができる。

本実施形態のカメラの校正方法ＣＭにおいて、ワイヤまたはバー２１４の下まで車両Ｖが製造ラインを移動してくると、昇降機構が作動して、ステレオカメラ装置１００の前方にワイヤまたはバー２１４が下降する。ステレオカメラ装置１００は、校正用画像を取得する工程Ｓ１において、下降しているワイヤまたはバー２１４を、カメラ１０によって複数回にわたって連続的に撮影する。ステレオカメラ装置１００は、このワイヤまたはバー２１４の複数の画像を合成して校正用画像を取得する。

その後、ステレオカメラ装置１００は、前述の実施形態１と同様に、校正用画像から直線状部に対応する直線状部画像を抽出する工程Ｓ２を実施する。これにより、前述の実施形態１の図８に示す直線状部画像Ｉｍ２１３と同様の直線状部画像が抽出される。その後、ステレオカメラ装置１００は、前述の実施形態１と同様に、カメラ１０によりウィンドシールドＷＳを通さずにワイヤまたはバー２１４の直線状部を撮影した場合に想定される仮想直線状部画像と、工程Ｓ２で抽出した直線状部画像とに基づいて校正用画像の歪を補正する工程Ｓ３を実施する。

これにより、本実施形態のカメラの校正方法ＣＭおよびステレオカメラ装置１００は、前述の実施形態１のカメラの校正方法ＣＭおよびステレオカメラ装置１００と同様の効果を奏することができる。さらに、ワイヤまたはバー２１４が所定の位置まで下降し終えると、校正用チャート２００を昇降装置によって校正用チャート２００の前方の所定の位置に下降させる。

本実施形態の校正用チャート２００は、カメラ１０のステレオ視領域Ａｓの画像を用いて、カメラ１０を校正するために撮影される。そのため、本実施形態の校正用チャート２００の水平方向の長さは、広画角のカメラを使用していない通常のステレオカメラの校正に使用される校正用チャートの水平方向の長さと同程度である。ステレオカメラ装置１００は、左右のカメラ１０Ｌ，１０ＲによってウィンドシールドＷＳを通して校正用チャート２００を撮影することで、左右のカメラ１０Ｌ，１０Ｒのステレオ視領域Ａｓの校正を行う。

その後、昇降装置によってワイヤまたはバー２１４および校正用チャート２００を上昇させると、車両Ｖはワイヤまたはバー２１４および校正用チャート２００の下を通過して、製造ラインの次の工程に送られる。このように、本実施形態のカメラの校正方法ＣＭによれば、車両Ｖの製造ライン内で、製造ラインの効率を低下させることなく、ステレオカメラ装置１００のカメラ１０の校正を実施することができる。

さらに、本実施形態のカメラの校正方法ＣＭによれば、ワイヤまたはバー２１４を撮影することで、前述の実施形態１のカメラの校正方法ＣＭと同様に、左右のカメラ１０Ｌ，１０Ｒの単眼視領域Ａｍの校正が可能になる。加えて、本実施形態のカメラの校正方法ＣＭによれば、左右のカメラ１０Ｌ，１０Ｒの単眼視領域Ａｍの校正が終了した後に、左右のカメラ１０Ｌ，１０Ｒで校正用チャート２００を撮影することで、左右のカメラ１０Ｌ，１０Ｒのステレオ視領域Ａｓの校正も連続して実施可能である。これにより、ステレオカメラ装置１００の左右のカメラ１０Ｌ，１０Ｒの校正を、効率よく実施することができる。

以上説明したように、本実施形態によれば、ウィンドシールドＷＳを通して画像を撮影する広画角のカメラ１０の校正を容易に行うことが可能なカメラの校正方法ＣＭおよびステレオカメラ装置１００を提供することができる。

［実施形態３］
以下、図１から図５を援用し、図１５を用いて本開示に係るカメラの校正方法の実施形態３を説明する。図１５は、本開示に係るカメラの校正方法の実施形態３における校正用物体の一例を示す斜視図である。

本実施形態のカメラの校正方法ＣＭは、校正用画像を取得する工程Ｓ１でカメラ１０によりウィンドシールドＷＳを通して撮影する校正用物体が建造物ＢＬＤである点で、前述の実施形態１のカメラの校正方法ＣＭと異なっている。本実施形態のカメラの校正方法ＣＭのその他の点は、前述の実施形態１のカメラの校正方法ＣＭと同様であるため、同様の部分には同一の符号を付して説明を省略する。

本実施形態において、ステレオカメラ装置１００は、校正用画像を取得する工程Ｓ１を開始すると、カメラ１０によりウィンドシールドＷＳを通してカメラ１０のステレオ視領域Ａｓに交差する一方向に延びる直線状部２１３を有する建造物ＢＬＤを撮影する。図１５に示す例において、建造物ＢＬＤは、たとえば、直線状部２１３として水平方向に延びる窓枠部を有する工場である。なお、建造物ＢＬＤは、直線状部２１３を有していれば特に限定されず、オフォスビルやショッピングモールなどであってもよい。

その後、ステレオカメラ装置１００は、前述の実施形態１と同様に、直線状部２１３を有する建造物ＢＬＤを撮影した校正用画像から、直線状部に対応する直線状部画像Ｉｍ２１３を抽出する工程Ｓ２を実施する。さらに、ステレオカメラ装置１００は、前述の実施形態１と同様に、カメラ１０によりウィンドシールドＷＳを通さずに直線状部２１３を撮影した場合に想定される仮想直線状部画像と直線状部画像Ｉｍ２１３とに基づいて校正用画像の歪を補正する工程Ｓ３を実施する。

本実施形態のカメラの校正方法ＣＭによれば、前述の実施形態１のカメラの校正方法ＣＭと同様の効果を奏することができるだけでなく、校正用チャート２００を必要としないため、製造ラインの改修をすることなく実施することができる。また、本実施形態のカメラの校正方法ＣＭは、ステレオカメラ装置１００の経時的な変化や温度の変化に伴う像のずれの補正を行うことも可能である。

［実施形態４］
以下、図１から図５を援用し、図１６Ａ、図１６Ｂおよび図１７を用いて本開示に係るカメラの校正方法の実施形態４を説明する。図１６Ａは、本開示のカメラの校正方法の実施形態４における第１の校正用チャート２００の正面図である。図１６Ｂは、図１６Ａに示す第１の校正用チャートを撮影したカメラ１０の画像図である。図１７は、本実施形態のカメラの校正方法ＣＭにおける第２の校正用チャート３００の正面図である。

本実施形態のカメラの校正方法ＣＭは、ウィンドシールドＷＳを透過する光の屈折による水平方向の画素シフトを検出して校正する。また、本実施形態において、ステレオカメラ装置１００は、たとえば、図１に示す単眼視領域Ａｍを有さず、左右のカメラ１０Ｌ，１０Ｒの撮像領域ＡＬ，ＡＲの全体がステレオ視領域Ａｓで重複している。また、ステレオカメラ装置１００は、たとえば、図２に示す左右単眼画像生成部６０およびハイブリッド物体検知部７０を有しない。

第１の校正用チャート２００は、実施形態１の校正用チャート２００と同様に、ストライプの校正パターン２１０を有する校正用チャート２００である。校正用チャート２００のストライプの校正パターン２１０は、たとえば、垂直方向に沿って延びる帯状の濃色部２１１と帯状の淡色部２１２とが、水平方向に交互に配置されたパターンである。校正用チャート２００は、カメラ１０の光軸ＯＡに交差する一方向に延びる直線状部２１３を有している。この直線状部２１３は、たとえば、校正用チャート２００に描かれたストライプの校正パターン２１０の濃色部２１１と淡色部２１２との境界線であり、カメラ１０の光軸ＯＡに直交する垂直方向に延びている。

校正用画像を取得する工程Ｓ１において、カメラ１０によりウィンドシールドＷＳを通して撮影された校正用チャート２００の校正用画像Ｉｍ２００は、図１６Ｂに示すように、水平方向および垂直方向における広画角の位置ほど、水平方向の画素シフトが大きくなる。そのため、本変形例では、前述の実施形態１と同様に、直線状部画像Ｉｍ２１３を抽出する工程Ｓ２と、校正用画像Ｉｍ２００の歪を補正する工程Ｓ３を実施することで、水平方向の画素シフトを補正することができ、実施形態１と同様の効果を奏することができる。

その後、ステレオカメラ装置１００は、図１７に示す第２の校正用チャート３００を用いて、左右のカメラ１０Ｌ，１０Ｒのステレオ視領域Ａｓの視差の絶対値を校正する。ステレオカメラ装置１００は、左右のカメラ１０Ｌ，１０Ｒから所定の距離に配置された校正用チャート３００を撮影する。次に、左右のカメラ１０Ｌ，１０Ｒと校正用チャート３００との距離を変更する。その後、ステレオカメラ装置１００は、校正用チャート３００を撮影する。

なお、校正用チャート３００は、水平方向の寸法が垂直方向の寸法よりも大きく、ステレオ視領域Ａｓの全域で校正用チャート３００が撮影される。次に、ステレオカメラ装置１００は、距離を変更して撮影された校正用チャート３００の校正パターン３０１の重心位置の変化と距離の変化量に基づいて歪を検出し、検出した歪を用いて左右のカメラ１０Ｌ，１０Ｒを校正する。

本実施形態によれば、第１の校正用チャート２００を用いて直線状部画像Ｉｍ２１３の水平方向の相対的な画素シフトを補正し、第２の校正用チャート３００を用いて歪の絶対値を校正することで、視野全体の校正を行うことができる。なお、校正用物体として、校正用チャート２００に代えて、垂直方向の直線状部２１３を有する建造物ＢＬＤや、垂直方向に配置したワイヤまたはバー２１４を用いることも可能である。

以上、図面を用いて本開示に係るカメラの校正方法およびステレオカメラ装置の実施形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲における設計変更等があっても、それらは本開示に含まれるものである。

たとえば、校正用画像を取得する工程Ｓ１で使用する校正用物体として、図７Ａに示す校正用チャート２００のストライプの校正パターン２１０に代えて、直線状部２１３に対応する直線のみが描かれた校正用チャート２００を使用してもよい。また、校正用物体として、プロジェクタによって、建造物の壁面やスクリーンなどに直線状部２１３に対応する直線を投影したものを用いてもよい。また、校正用物体として、水平方向に延びる複数のワイヤまたはバー２１４を垂直方向に等間隔に設置したものを用いてもよい。

また、校正用画像を取得する工程Ｓ１で使用する校正用物体として、図１８に示すようなチェックパターンの校正用チャート２００を使用してもよい。この場合、濃色部２１１と淡色部２１２との境界を直線状部２１３として検出することで、校正用チャート２００の全体を横断する直線状部２１３を抽出することができる。

これに対し、チェックパターンの校正用チャートを使用する従来のカメラの校正方法では、たとえば、左上と右下に濃色部２１１が配置され、右上と左下に淡色部２１２が配置された４つの区画の中央の点ＣＰを検出する。そのため、校正用チャート２００をレンズ１１に近付けると、解像度が低下して、４つの区画の中央の点ＣＰの検出にばらつきが生じ、校正に誤差が生じるおそれがある。

１０ カメラ
２０ 画像処理部（取得部、抽出部、補正部）
１００ ステレオカメラ装置
２００ 校正用チャート（校正用物体）
２１０ 校正パターン
２１３ 直線状部
２１４ ワイヤまたはバー（校正用物体）
ＢＬＤ 建造物（校正用物体）
ＣＭ カメラの校正方法
Ｉｍ２００ 校正用画像
Ｉｍ２１３ 直線状部画像
ＯＡ 光軸
ＷＳ ウィンドシールド

Claims (10)

1. ウィンドシールドを通して画像を撮影するカメラの校正方法であって、
   前記カメラにより前記ウィンドシールドを通して前記カメラの光軸に交差する一方向に延びる直線状部を有する校正用物体を撮影して校正用画像を取得することと、
   前記校正用画像から前記直線状部に対応する直線状部画像を抽出することと、
   前記カメラにより前記ウィンドシールドを通さずに前記直線状部を撮影した場合に想定される仮想直線状部画像と前記直線状部画像とに基づいて前記校正用画像の歪を補正することとを含む、カメラの校正方法。
2. 前記校正用画像を取得することは、前記校正用画像が前記カメラの光軸に交差する一方向における一端から他端まで前記直線状部画像を含むように前記校正用物体を撮影することを含む、請求項１に記載のカメラの校正方法。
3. 前記校正用画像の歪を補正することは、前記校正用画像の所定範囲における前記直線状部画像の水平方向または垂直方向に対する傾きに基づいて、前記直線状部画像の傾きを補正することを含む、請求項１に記載のカメラの校正方法。
4. 前記校正用画像を取得することは、前記カメラの光軸方向における車両の前記ウィンドシールドの前方かつ鉛直方向における前記車両の上方の位置に配置された前記校正用物体を撮影することを含む、請求項１に記載のカメラの校正方法。
5. 前記校正用画像の歪を補正することは、前記カメラのレンズ特性による歪を補正することを含む、請求項１に記載のカメラの校正方法。
6. 前記校正用物体は、ストライプの校正パターンを有する校正用チャートである、請求項１に記載のカメラの校正方法。
7. 前記校正用物体は、ワイヤまたはバーである、請求項１に記載のカメラの校正方法。
8. 前記校正用物体は、建造物である、請求項１に記載のカメラの校正方法。
9. 前記校正用画像を取得することは、前記カメラと前記校正用物体とを相対的に移動させることを含む、請求項１に記載のカメラの校正方法。
10. ウィンドシールドを通して画像を撮影する左右のカメラを備えたステレオカメラ装置であって、
    前記カメラにより前記ウィンドシールドを通して前記カメラの光軸に交差する一方向に延びる直線状部を有する校正用物体を撮影して校正用画像を取得する取得部と、
    前記校正用画像から前記直線状部に対応する直線状部画像を抽出する抽出部と、
    前記カメラにより前記ウィンドシールドを通さずに前記直線状部を撮影した場合に想定される仮想直線状部画像と前記直線状部画像とに基づいて前記校正用画像の歪を補正する補正部とを備える、ステレオカメラ装置。

Images