JP2014174067A - 車載カメラのキャリブレーション装置 - Google Patents

Abstract

【課題】 専用の治具を用いることなくキャリブレーションすることができる車載カメラのキャリブレーション装置を提供する。
【解決手段】 車載カメラのキャリブレーション装置１は、車載カメラ７０により撮影された車両の輪郭画像から車両の特徴点を抽出する抽出部１０と、車載カメラ７０のレンズ中心点と特徴点を通る直線上の延長点を特定する推定部２０と、理想位置および理想方向で車両に取り付けられた状態にある車載カメラ７０のレンズ中心点と特徴点を通る直線上にある理想点を記憶する記憶部３０と、延長点と理想点との距離が小さくなるように前記車載カメラを調整する調整部４０とを備えている。
【選択図】図１

Description

本発明は、車両に搭載する車載カメラによる撮影画像を調整するキャリブレーション装置に関する。

近年、リアカメラやそれ以外の複数の車載カメラを用い、後方やそれ以外の方向を撮影して、車両の周囲を表示する画像表示装置が普及している。この車載カメラは、車両毎に僅かに取り付け位置が違うため、車に搭載された状態で、キャリブレーション（画像校正）を行う必要がある。従来、このキャリブレーションにおいては、キャリブレーション用治具という専用マーカを車両周囲の平面路面上に設置し、それを車載カメラで読み取り、あらかじめデータとして持っているパラメータと、どれだけの誤差があるかを算出し、映像を校正する手法が用いられている。

車両内部を撮影するカメラにおいて、通常撮影している領域内にある面対称物体を含む撮影画像を用いて自動的にキャリブレーションを行う装置が用いられている（特許文献１）。また、監視カメラにおいて、専用の車両を撮影した画像から複数の特徴点の座標値を検出し、その座標値と相対的な位置関係から各種パラメータを算出してキャリブレーションする方法が用いられている（特許文献２）。

特開２０１０−１８１２０９号公報 特開２００２−２３２８６９号公報

特許文献１に記載の装置によるキャリブレーションは、撮影画像に面対称な特徴点を有する面対称物体が含まれている必要がある。しかし、車両の周囲を撮影する車載カメラの取り付け位置からの撮影画像には、通常、面対称物体が含まれていない。このため、同文献記載の装置を車載カメラのキャリブレーション装置として用いることはできない。

また、特許文献２に記載のキャリブレーション方法は、道路上に設置するマーカの代わりに通行中の自動車を撮影し、カメラの光軸を固定して、道路平面パラメータや監視カメラに使用しているレンズの焦点距離を算出するものである。このため、光軸の方向を調整する必要がある車載カメラのキャリブレーション方法として用いることはできない。

そこで、本発明は、専用マーカを用いることなくキャリブレーション可能な車載カメラのキャリブレーション装置を提供することを目的とする。

第１の発明は、車載カメラにより撮影された車両の輪郭画像から車両の特徴点を抽出する抽出部と、前記車載カメラのレンズ中心点と前記特徴点を通る直線上の延長点を特定する推定部と、理想位置および理想方向で前記車両に取り付けられた状態にある車載カメラのレンズ中心点と前記特徴点を通る直線上にある理想点を記憶する記憶部と、前記延長点と前記理想点との距離が小さくなるように前記車載カメラを調整する調整部とを備えた車載カメラのキャリブレーション装置である。
「車載カメラの方向」とはレンズ光軸の方向をいう。「所定の理想位置および理想方向で取り付けられた車載カメラ」とは、車載カメラが所定の位置および方向で車両に取り付けられて、所定の状態で画像が撮影可能となった状態をいう。

第２の発明は、第１の発明において、前記延長点および前記理想点が床面上の点である。
「床面」とは、車載カメラをキャリブレーションしている状態における前記車両のタイヤの接地面をいう。

第３の発明は、第２の発明において、前記記憶部は、前記所定の理想位置に前記車載カメラが取り付けられた場合における、前記レンズ中心点の前記床面からの高さであるレンズ高、および前記特徴点の前記床面からの高さである特徴点高を記憶しており、前記推定部は、前記抽出部により抽出された特徴点、前記レンズ高および前記特徴点高に基づいて、前記延長点を特定するものである。

第４の発明は、第１から第３の何れかの発明において、前記特徴点は、前記車両の輪郭を構成する直線の傾きが変化する点である。

第５の発明は、理想位置および理想方向で前記車両に取り付けられた状態にある車載カメラのレンズ中心点と前記特徴点を通る直線上にある理想点を特定する理想点特定ステップと、車載カメラにより撮影された車両の輪郭画像から車両の特徴点を抽出する抽出ステップと、前記車載カメラのレンズ中心点と前記抽出ステップにおいて抽出された前記特徴点を通る直線上の延長点を特定する延長点特定ステップと、前記理想点と前記延長点との距離が小さくなるように前記車載カメラを調整する調整ステップとを備えた車載カメラのキャリブレーション方法である。

本発明によれば、専用のマーカの代わりに車両の輪郭画像を用いて車載カメラをキャリブレーションすることができる。また、床面上の点を延長点および理想点として用いれば、精度よくかつ簡単にキャリブレーションすることが可能になる。

第１の実施形態の車載カメラのキャリブレーション装置の機能ブロック図 車載カメラの設置位置の例を示す車両の平面図 図２の側面図 図２の各車載カメラの可視範囲を示す平面図 図４の側面図 補正（キャリブレーション）前における、図１の４つの車載カメラによる撮影画像例を示す平面図 補正（キャリブレーション）後における、図１の４つの車載カメラによる撮影画像例を示す平面図 フロントカメラのキャリブレーションに用いられる特徴点の例を示す車両の部分側面図 リアカメラのキャリブレーションに用いられる特徴点の例を示す車両の部分側面図 サイドカメラのキャリブレーションに用いられる特徴点の例を示す車両の部分正面図 車載カメラの斜視図 車載カメラのレンズ中心と車両の特徴点とを結ぶ直線と、床面との交点を示す模式図 （ａ）車両の輪郭から算出された直線式および特徴点を示す模式図、（ｂ）理想取付位置にある車載カメラで撮影した車両の輪郭を示す模式図 車載カメラのキャリブレーション方法のフローチャート 従来のマーカ抽出処理と本発明の特徴点抽出処理を比較するフローチャート

以下、本発明の実施形態について、図面を用いて説明する。
図２は車載カメラの設置位置の例を示す車両の平面図であり、図３は図２の側面図である。これらの図に示すように、本実施形態では、車載カメラ７０として、フロントカメラ、２つのサイドカメラおよびリアカメラの合計４つが取り付けられた車両について、各車載カメラをキャリブレーションする場合について説明する。

図４は、図２の各車載カメラ７０の撮影画像により視認可能となる範囲を示す平面図であり、図５は図４の側面図である。車載カメラ７０は、これら図にグレーで示す範囲が撮影可能となるように、レンズの光軸を斜め下に向けて取り付けられている。また、隣り合う車載カメラ７０により視認可能となる範囲が一部重なるように構成されており、運転者は車両周辺の状況を容易に認識することができる。

図６は、補正（キャリブレーション）前における、図１の４つの車載カメラの撮影画像例を示す平面図である。同図に示すように、補正前の状態では、車載カメラ７０毎に傾きの異なる画像が撮影されることから、全体として不連続な統一感のない画像となる。そこで、各車載カメラ７０を調整して、視認性の良好な画像に補正する必要がある。

図７は、補正（キャリブレーション）後における、図１の４つの車載カメラの撮影画像例を示す平面図である。各カメラを調整することで、４つの車載カメラ７０により、画像全体として統一感のある視認性の良い画像を撮影することができる。同図に示したような画像が撮影可能な状態で、車体に取り付けられた状態を理想取付状態という。

従来、車載カメラのキャリブレーションは、床面上においた専用のキャリブレーション用治具をマーカとして用いて行われていた。しかし、専用の治具を用いる従来の方法は、広いスペースを要し、また手間のかかる作業であった。そこで、本発明は、専用の治具の代わりに、車載カメラを設置する各車両に特有の特徴点を用いてキャリブレーションを行う。これにより、従来よりも狭いスペースで、車載カメラのキャリブレーションを簡便に行うことが可能となる。

図８および図９は、この順にフロントカメラおよびリアカメラのキャリブレーションに用いられる特徴点Ｐの例を示す部分側面図であり、図１０は、サイドカメラのキャリブレーションに用いられる特徴点Ｐの例を示す部分正面図である。これらの図に示すように、フロントカメラ用の特徴点Ｐの例としては、フロントバンパー先端などがあり、リアカメラ用の特徴点Ｐの例としては、リアウィンドウとトランクとの間などがあり、サイドカメラ用の特徴点Ｐとしては、ドアやタイヤなどがある。

車載カメラのレンズ中心点と特徴点を通る直線上の延長点のうち、床面Ｆにある延長点ＰＬと、理想取付状態においてレンズ中心点と特徴点を通る直線上の理想点のうち、床面Ｆにある理想点Ｉとの距離が近くなるように車載カメラを調整することでキャリブレーションを行う。

図１は本実施形態の車載カメラのキャリブレーション装置の機能ブロック図である。
車載カメラのキャリブレーション装置１は、抽出部１０、推定部２０、記憶部３０、調整部４０、画像合成処理部５０、ディスプレイ６０、および車載カメラ７０が撮影した画像を一時的に保存するメモリであるフレームバッファ８０を備えている。

抽出部１０は、車載カメラ７０により撮影された車両の輪郭画像から車両の特徴点を抽出するものである。輪郭画像からの特徴点抽出については後述する。推定部２０は、車載カメラ７０のレンズ中心点と特徴点を通る直線上の延長点を特定するものである。記憶部３０は、所定の理想位置および理想方向で車両に取り付けられた状態（図７参照、理想取付状態）にある車載カメラ７０のレンズ中心点と特徴点を通る直線上にある理想点を記憶するものであり、種々のメモリにより構成される。調整部４０は、推定部２０により特定された延長点と、記憶部３０に記憶されている理想点との距離が小さくなるように、車載カメラ７０のカメラ位置やカメラ方向に関するパラメータを調整する。画像合成処理部５０は、調整部４０による調整が反映された各パラメータを用いて撮影画像を補正した画像をディスプレイ６０に出力する。

このように、車載カメラのキャリブレーション装置１は、車両の輪郭画像をキャリブレーションに用いており、従来のマーカを用いたキャリブレーション装置におけるマーカ抽出部および位置推定部の代わりに、上述した抽出部１０および推定部２０を備えている。

図１１は、車載カメラの斜視図である。車載カメラ７０の方向とはレンズ７１の光軸Ｌの方向のことをいい、光軸Ｌはレンズ中心点Ｃを通る。図１２は、車載カメラのレンズ中心点と、車両の特徴点とを結ぶ直線と床面との交点を示す模式図である。これらの図を用いて、調整部４０が用いる延長点および理想点として、床面上の点を用いる車載カメラ７０の調整について説明する。

調整部４０による調整においては、レンズ高ＨＣすなわち所定の理想位置に車載カメラ７０が取り付けられた場合におけるレンズ中心点Ｃの床面からの高さ、および、特徴点高ＨＰすなわち特徴点の床面からの高さを用いる。これらはいずれも、車載カメラ７０を取り付ける車両の種類ごとに固有の値であるから、記憶部３０にあらかじめ記憶しておいたものを用いる。

〔理想点の算出方法〕
図１２に示すように、床面をｘｙ平面とする、ｘ軸、ｙ軸、およびｚ軸からなる３次元座標を考える。そして、理想取付状態にある車載カメラ７０のレンズ中心点Ｃの座標を（０，０，ＨＣ）、車両の特徴点Ｐの座標を（ａ，ｂ，ＨＰ）とすると、中心点Ｃと特徴点Ｐを通る直線の式は下記の式（１）により表される。
ｘ／（ｘ−ａ）＝ｙ／（ｙ−ｂ）＝（ｚ−ＨＣ）／（ｚ−ＨＰ） ・・・（１）

ここで、ｘｙ平面（床面）上の点は、ｚ＝０であるから、
ｘ／（ｘ−ａ）＝ＨＣ／ＨＰ
ｙ／（ｙ−ｂ）＝ＨＣ／ＨＰ となる。
つまり、床面上の理想点Ｉ（Ｘ，Ｙ，Ｚ）は、
Ｘ＝ａ×〔ＨＣ／（ＨＣ−ＨＰ）〕
Ｙ＝ｂ×〔ＨＣ／（ＨＣ−ＨＰ）〕
Ｚ＝０
となり一意に決まる。
床面における理想点Ｉの座標は、車両および車載カメラの取り付け位置ごとに固有であるから、車両諸元からあらかじめ計算したものを記憶部３０に記憶しておく。

〔延長点の算出方法〕
理想状態になくキャリブレーションによる調整を要する状態においても、車載カメラ７０により撮影された輪郭画像から特徴点Ｐの座標を得ることができる。このようにして得られた特徴点Ｐの座標のうち、床面からの高さ（ｚ＝ＨＰ）以外が、車載カメラ７０の理想取付状態からのずれを反映したものとして得られる。特徴点Ｐと車載カメラ７０のレンズ中心点Ｃとを通る直線と床面との交点は、上述した理想点Ｉと同様にして、延長点ＰＬとして得ることができる。

床面上の延長点ＰＬと理想点Ｉとの距離は、車載カメラ７０の理想取付状態からのずれを反映したものである。そこで、延長点ＰＬと理想点Ｉとの距離が小さくなるように、調整部４０により車載カメラ７０の方向に関するパラメータを調整することにより、理想取付状態からのずれを補正するキャリブレーションが可能となる。

すなわち、以下のようにして、車載カメラ７０をキャリブレーションすることができる。
（１）理想の位置に取り付けた場合の車載カメラ７０のレンズ中心点Ｃと、この状態において車載カメラ７０が認識する車両のボディの特徴点Ｐを通る直線延長線上の高さｚ＝０の座標位置（床面上の点）である理想点Ｉについて、車両諸元から算出してあらかじめ記憶部３０に記憶しておく。
（２） レンズ中心点Ｃと、理想取付状態からずれた状態にある車載カメラ７０が認識した車両のボディの特徴点Ｐとを通る直線の高さｚ＝０の座標位置（床面上の点）である延長点ＰＬを計算により求める。
（３） 記憶部３０があらかじめ持っている理想点Ｉの座標情報と、算出された延長点Ｐから画像補正を実施する。
このように、理想点Ｉは、特徴点Ｐからの延長として計算によって算出するため、車両周辺の床面が平面である必要はない。すなわち、車載カメラ７０が撮影する画像にボディの輪郭を含んでさえいれば、キャリブレーション可能となる。

複数の特徴点についてキャリブレーションを行うことにより、精度が向上する。図１２では、フロントカメラを例にして示したが、リアカメラ、サイドカメラについても同様にキャリブレーションすることができる。サイドミラーに取り付けたサイドカメラのキャリブレーションを行う場合、サイドミラーが開いた状態（ＯＰＥＮ）、閉じた状態（ＣＬＯＳＥ）の両方の状態においてキャリブレーションを行うことにより、車載カメラ７０のずれをより正確に補正することができる。

図１３（ａ）は、理想取付状態にない車載カメラが撮影した車両の輪郭から抽出された特徴点を示す模式図であり、図１３（ｂ）は理想取付状態にある車載カメラが撮影した車両の外郭における理想位置を示す模式図である。
抽出部１０は、車載カメラ７０により撮影された車両の輪郭を構成する直線の傾きが変化する点を特徴点Ｐとして抽出する。図１３（ａ）に示す例では、３つの直線により車両の輪郭が構成されている。そこで、最小二乗法などを用い、検出したボディの外郭を示す線分の傾きを求め、傾きが変わる点であるＰ１およびＰ２を特徴点Ｐとして抽出する。なお、特徴点の算出においては、取得した画像をデジタル変換して、傾きなどが変化する点を特徴点Ｐとして自動認識することとしてもよい。

抽出された特徴点Ｐ１およびＰ２と、図１３（ｂ）に示す理想取付状態において撮影された車両のボディの輪郭とを比較して、理想取付状態からのずれが小さくなるように車載カメラのパラメータを調整する。
なお、図１３では、特徴点が２つの場合を例として説明したが、実際の車両のボディはより多くの特徴点を有しているから、より正確な補正が可能である。

図１４は、本実施形態の車載カメラのキャリブレーション方法のフローチャートである。
同図に示すように、あらかじめ理想位置および理想方向で車両に取り付けられた状態にある車載カメラのレンズ中心点と特徴点を通る直線上にある理想点を特定しておく（Ｓ１０、理想点特定ステップ）。続いて、車載カメラにより撮影された車両の輪郭画像から車両の特徴点を抽出する（Ｓ２０、抽出ステップ）。Ｓ２０により抽出された特徴点と車載カメラのレンズ中心点とを通る直線上の延長点を特定する（Ｓ３０、延長点特定ステップ）。Ｓ１０において求めた理想点とＳ３０において求めた延長点との距離が小さくなるように、車載カメラのパラメータを調整する（Ｓ４０、調整ステップ）。これにより、キャリブレーション用治具を用いないで、車載カメラを補正することができる。

図１５は、従来のマーカ抽出処理と本発明の特徴点抽出処理を比較するフローチャートである。同図に示すように、車載カメラにより車両の輪郭を含んだ画像を撮影し、撮影した画像の輝度抽出によりヒストグラムを作成し、しきい値を算出して画像を二値化する。ここまでは、従来のマーカ抽出処理と同じである。本実施形態のキャリブレーション方法は、これ以降の処理が従来とは異なっている。

まず、二値化した画像に基づいて、車両のボディと床面を区別するエッジ画像処理を行う（Ｓ２１）。Ｓ２１により得られた車両のボディと床面の境界線の座標から、ボディの輪郭を構成する直線式を算出し（Ｓ２２）、直線の傾きが変化する点を特徴点として抽出する（Ｓ２３）。これらＳ２１〜Ｓ２３までの工程が、抽出ステップＳ２０に相当する。
このようにして抽出した特徴点と理想値との比較に基づいて、キャリブレーションを行う。

以上のように、本実施形態の車載カメラのキャリブレーション方法は、キャリブレーション治具（専用のマーカ）の代わりに車両の輪郭画像を用いて車載カメラをキャリブレーションするものである。また、例えば、延長点および理想点として床面上の点を用いれば、車両のボディから近すぎて３次元補正をすることが困難な場合であっても、精度よくかつ簡単にキャリブレーションすることができる。

本発明は、専用のマーカを用いないで車載カメラをキャリブレーションする装置として有用である。

１ 車載カメラのキャリブレーション装置
１０ 抽出部
２０ 推定部
３０ 記憶部
４０ 調整部
７０ 車載カメラ
７１ 車載カメラのレンズ
Ｃ レンズ中心点
Ｐ、Ｐ１、Ｐ２ 特徴点
Ｉ 理想点
ＰＬ 延長点
ＨＰ 特徴点高
ＨＣ レンズ高
Ｆ 床面

Claims (5)

1. 車載カメラにより撮影された車両の輪郭画像から車両の特徴点を抽出する抽出部と、
   前記車載カメラのレンズ中心点と前記特徴点を通る直線上の延長点を特定する推定部と、
   理想位置および理想方向で前記車両に取り付けられた状態にある車載カメラのレンズ中心点と前記特徴点を通る直線上にある理想点を記憶する記憶部と、
   前記延長点と前記理想点との距離が小さくなるように前記車載カメラを調整する調整部と、
   を備えた車載カメラのキャリブレーション装置。
2. 前記延長点および前記理想点が床面上の点である請求項１に記載の車載カメラのキャリブレーション装置。
3. 前記記憶部は、前記所定の理想位置に前記車載カメラが取り付けられた場合における、前記レンズ中心点の前記床面からの高さであるレンズ高、および前記特徴点の前記床面からの高さである特徴点高を記憶しており、
   前記推定部は、前記抽出部により抽出された特徴点、前記レンズ高および前記特徴点高に基づいて、前記延長点を特定するものである請求項２に記載の車載カメラのキャリブレーション装置。
4. 前記特徴点は、前記車両の輪郭を構成する直線の傾きが変化する点である請求項１から３の何れか１項に記載の車載カメラのキャリブレーション装置。
5. 理想位置および理想方向で前記車両に取り付けられた状態にある車載カメラのレンズ中心点と前記特徴点を通る直線上にある理想点を特定する理想点特定ステップと、
   車載カメラにより撮影された車両の輪郭画像から車両の特徴点を抽出する抽出ステップと、
   前記車載カメラのレンズ中心点と前記抽出ステップにおいて抽出された前記特徴点を通る直線上の延長点を特定する延長点特定ステップと、
   前記理想点と前記延長点との距離が小さくなるように前記車載カメラを調整する調整ステップと、
   を備えた車載カメラのキャリブレーション方法。