JP2007267231A - 車載カメラの光軸ずれ検出装置、車載カメラの光軸ずれ検出方法 - Google Patents
車載カメラの光軸ずれ検出装置、車載カメラの光軸ずれ検出方法 Download PDFInfo
- Publication number
- JP2007267231A JP2007267231A JP2006091736A JP2006091736A JP2007267231A JP 2007267231 A JP2007267231 A JP 2007267231A JP 2006091736 A JP2006091736 A JP 2006091736A JP 2006091736 A JP2006091736 A JP 2006091736A JP 2007267231 A JP2007267231 A JP 2007267231A
- Authority
- JP
- Japan
- Prior art keywords
- optical axis
- feature
- distance
- camera
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮影範囲に制約を受けずに、車載カメラの取り付け状態の変化を検出することができる車載カメラの光軸ずれ検出装置及び車載カメラの光軸ずれ検出方法を提供すること。
【解決手段】地物21〜24の位置情報を格納した位置情報格納手段12と、カメラ11により第1の地物23、24を検出する地物検出手段101と、地物検出手段101により検出された第1の地物23,24と自車両との第1の距離を検出する第1の測距手段102と、第2の地物21、22と自車両との第2の距離を検出する第2の測距手段9と、位置情報格納手段12に格納された地物21〜24の位置情報から抽出した第1と第2の地物間の真正距離と、第1及び第2の距離とに基づき取得した第1と第2の地物間の実測値を比較して、カメラの光軸ずれを判定する光軸ずれ判定手段130と、を有することを特徴とする車載カメラの光軸ずれ検出装置1を提供する。
【選択図】図6
【解決手段】地物21〜24の位置情報を格納した位置情報格納手段12と、カメラ11により第1の地物23、24を検出する地物検出手段101と、地物検出手段101により検出された第1の地物23,24と自車両との第1の距離を検出する第1の測距手段102と、第2の地物21、22と自車両との第2の距離を検出する第2の測距手段9と、位置情報格納手段12に格納された地物21〜24の位置情報から抽出した第1と第2の地物間の真正距離と、第1及び第2の距離とに基づき取得した第1と第2の地物間の実測値を比較して、カメラの光軸ずれを判定する光軸ずれ判定手段130と、を有することを特徴とする車載カメラの光軸ずれ検出装置1を提供する。
【選択図】図6
Description
本発明は、車両に搭載されたカメラの設置方向について校正を行う車載カメラの光軸ずれ検出装置、車載カメラの光軸ずれ検出方法に関する。
車両にはある程度の精度で自車両の走行位置を検出し、自車両の走行位置に応じたサービスを乗員に提供するシステムが搭載されることがある。例えば、自車両の位置や目的地までの経路を液晶などの表示装置に表示するカーナビゲーションシステムはサービスを提供するシステムの一形態である。また、自車両の位置に応じて一時停止や制限速度などの交通制限、経路上の右左折箇所などを適切なタイミングで乗員に知らせることも可能である。
ところで、近年の車両には、周囲の画像を車載カメラで撮影し、この画像を例えば車室内に設置された表示装置に表示することによって、運転者の運転操作を支援する試みが行われている(例えば、特許文献1参照。)。例えば、車両後方を撮影可能なカメラにより、車両の後退方向や停止位置を撮影して表示できるので、運転者は車両のバック操作が容易になる。
このような用途で用いられる車載カメラは、所定の範囲を撮影できるように予め定められた取り付け位置に予め定められた角度で車両に固定される。しかしながら、車載カメラは、走行中の振動などの経年劣化や軽微な接触事故などによるボディーへこみ等により、取り付け状態が変化することがある。車載カメラの取り付け状態が変化すると車外の状態を適切に撮影できないこととなり好ましくない。
そこで、特許文献1では、車両後方を撮影するカメラがリアバンパ等の車体の一部を含んで撮影するように車体に取り付け、撮影された画像のリアバンパと予め撮影し記憶しているリアバンパの位置とを比較することで、カメラの取り付け位置や角度の変化を検出する。
特開2004−1658号公報
しかしながら、特許文献1のように、車体の一部を含んで撮影するようにカメラを取り付けると、車両の後方など、本来撮影したい範囲が狭くなるなど、撮影範囲に制限が生じてしまう。
本発明は、上記課題に鑑み、撮影範囲に制約を受けずに、車載カメラの取り付け状態の変化を検出することができる車載カメラの光軸ずれ検出装置及び車載カメラの光軸ずれ検出方法を提供することを目的とする。
上記課題を解決するため、本発明は、地物の位置情報を格納した位置情報格納手段(例えば、高精度地図データ12)と、カメラ(例えば、後方カメラ11)により第1の地物を検出する地物検出手段と、地物検出手段により検出された第1の地物と自車両との第1の距離を検出する第1の測距手段と、第2の地物と自車両との第2の距離を検出する第2の測距手段と、位置情報格納手段に格納された地物の位置情報から抽出した第1と第2の地物間の真正距離と、第1及び第2の距離とに基づき取得した前記第1と第2の地物間の実測値を比較して、カメラの光軸ずれを判定する光軸ずれ判定手段と、を有することを特徴とする車載カメラの光軸ずれ検出装置を提供する。
本発明によれば、真正距離と実測値を比較して光軸ずれを検出するので、後方カメラの撮影範囲に制約を受けずに、後方カメラの取り付け状態の変化を検出することができる。
また、本発明の車載カメラの光軸ずれ検出装置の一形態において、光軸ずれ判定手段によりカメラの光軸ずれが検出された場合、真正距離と実測値との差分、実測値を補正する光軸ずれ補正手段を有し、光軸ずれ補正手段は、補正後の第3の地物と第4の地物間の実測値が、位置情報格納手段に格納された第3と第4の地物の位置情報から抽出される真正距離と等しいか否かに基づき検証する、ことを特徴とする。
本発明によれば、光軸ずれを検出した地物(第1と第2)とは異なる地物(第3と第4)の間の距離に基づき光軸ずれを検証するので、光軸ずれが生じたがどうかを確実に検出できる。
また、本発明の車載カメラの光軸ずれ検出装置の一形態において、第2の地物は車両の進行方向前方又は進行方向後方に存在する、ことを特徴とする。
本発明によれば、第2の地物を車両の前方としてもよいし後方としてもよいので、自車両の前方や後方にトラック等の大きな車両が走行している場合でも、光軸ずれを検出する機会を増やすことができる。
撮影範囲に制約を受けずに、車載カメラの取り付け状態の変化を検出することができる車載カメラの光軸ずれ検出装置及び車載カメラの光軸ずれ検出方法を提供することができる。
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。本実施の形態の車載カメラの光軸ずれ検出装置は、走行車両が検出可能な2つの地物間の距離に基づき、車載カメラの光軸ずれを検出する。地物とは、路面や測道、路面上の空間に設けられた静止物であり、例えば、道路標識、信号機、停止線や制限速度などのペイント、ポール、マンホール等である。
図1は車載カメラの光軸ずれ検出装置1の機能構成図を示す。車載カメラの光軸ずれ検出装置1は、制御部10により制御される。車載カメラの光軸ずれ検出装置1は、カーナビゲーションシステム(以下、単にカーナビという)20の機能を利用できるため、カーナビ20を含むように構成される。
カーナビ20は、GPS受信機2、車速センサ3、ジャイロセンサ4及びカーナビECU5が接続されて構成され、その他、テレビやラジオ、メディアプレーヤなどマルチメディア機能と共有されたスピーカ6、表示装置7、入力装置を有する。
GPS受信機2は、GPS衛星から送信された電波を受信して自車両の位置を検出する。GPS衛星から送信される電波の到達時間により車両とGPS衛星との距離が算出できる。GPS受信機9は、3つ以上のGPS衛星について、電波の到達時間にそれぞれ光速を乗じることで各GPS衛星との距離を算出し、ついで、3つのGPS衛星との距離を半径とする球体の交点を車両2の位置座標として演算する。また、より好ましくは4つ目のGPS衛星を捕捉することで車両側の時刻を補正し、精度よく自車両の位置を検出できる。
カーナビECU5は、GPS受信機2の検出した位置情報を自車両の位置として推定する。また、カーナビECU7は、車速センサ3により測定された車速及びジャイロセンサ4により測定された自車両の走行方向に基づいて、走行距離と走行方向による走行経路を累積しながら自律航法により車両の現在位置を推定する。
また、カーナビECU5は、GPSによる位置の検出と自律航法による位置推定に対して、さらに地図データから抽出した道路地図の道路と車両の位置とを対応づけるマップマッチング法により最終的に現在位置を精度よく推定する。
表示装置7はカーナビECU5及び制御部10と接続されており、道路地図や走行経路等を表示可能である。表示装置7は、液晶や有機EL、HUD(Head Up Display)、プロジェクター等、どのような構成であってもよい。表示装置7は、光軸ずれが検出された場合には乗員に光軸がずれている旨のメッセージを表示してもよい。
入力装置8は、カーナビECU5と接続されており、操作内容を入力可能に構成される。入力装置8は、押下式のキーボード、ボタン、リモコン、十字キー、タッチパネル等であり運転者からの操作を入力する。また、マイクを備え運転者の発する音声を音声認識回路で認識して操作を入力してもよい。
また、スピーカ6は、カーナビECU5及び制御部10と接続されており、カーナビECU5が案内する交差点などの進行方向を音声により出力し、また、光軸ずれが検出された場合には乗員に光軸がずれている旨を報知してもよい。
制御部10は、CPU、ROM、HDD、RAM及び入出力ポートをバスで結んだマイクロコンピュータであり、CPUがHDDやROMに格納されたプログラムを実行する。制御部10は、後方カメラ11により地物を検出する地物検出手段101、地物検出手段101により検出された地物と自車両との距離を検出する測距手段102(特許請求の範囲の第1の測距手段に相当)、光軸ずれ判定手段103及び光軸ずれが検出された場合に実測値を補正する光軸ずれ補正手段104とを有する。CPUがプログラムを実行することで、これらの各手段が実現され、後方カメラ11の光軸ずれを検出する。
また、制御部10には車速センサ3及びジャイロセンサ4が接続されている。上記のように、車速センサ3は車両の走行速度を検出するセンサであるが、車速センサ3は時間あたりに検出されるパルスをカウントするものであるためパルス数に基づき、走行距離を検出できる。また、ジャイロセンサ4は車両の走行方向を検出するので、例えば、車両が直線の道路をわずかに蛇行しながら走行した場合でも、走行距離から進行方向成分(道路に平行な成分)を抽出できる。これにより、任意の2点間の正確な走行距離βが検出される。
続いて、測距手段9、高精度地図データ及び後方カメラ11について詳細に説明する。
〔測距手段9〕
制御部10に接続された測距手段9(特許請求の範囲の第2の測距手段に相当)は、車両前方又は後方の地物と自車両との距離を検出する。測距手段9は、例えば、自車両の進行方向前方を撮影するステレオカメラ91、自車両前方に搭載されたレーダ装置92、又は、自車両後方に搭載されたレーダ装置93等である。
制御部10に接続された測距手段9(特許請求の範囲の第2の測距手段に相当)は、車両前方又は後方の地物と自車両との距離を検出する。測距手段9は、例えば、自車両の進行方向前方を撮影するステレオカメラ91、自車両前方に搭載されたレーダ装置92、又は、自車両後方に搭載されたレーダ装置93等である。
ステレオカメラ91による測距は周知の方法を利用できる。図2は、ステレオカメラ91による測距の原理を示す図である。ステレオカメラ91は、例えばルームミラーの高さに所定距離a離して、視差以外の位置的なずれがないように取り付けられ、CCD、CMOS等の固体撮像素子を内蔵した一対のカメラ91a、91bを有する。
各カメラ91a,91bから出力されたアナログ画像は、アンプ回路を介して増幅された後、A/D変換されて所定の輝度階調(例えば、256階調)のデジタル画像(以下、単に画像データという)に変換される。ステレオカメラ91により、カメラ91a、91bで撮影された画像データに基づき対象物Oまでの距離γが検出される。
距離γは、周知のステレオマッチングにより決定する。例えば4×4画素の画素ブロックを単位として、一対の画素ブロックにおいて相関のある輝度特性を有する領域を探索することにより特定する。ステレオ画像に映し出された対象物までの距離γは、ステレオ画像における視差、すなわち、一対の画像の間における水平方向のずれ量として現れる。したがって、画像間で探索を行う場合、対象画素ブロックの同じ水平線(エピポーラライン)上を探索すればよい。両画像における相対的なずれ量である視差から、三角測量の原理を用いて距離データが算出される。
測距手段9は、カメラ91aにより撮影された画像データとカメラ91bにより撮影された画像データとを、エピポーラライン上を一画素ずつシフトしながら、4×4画素の画素ブロック毎に相関を評価する。2つの画素ブロックの相関は、例えば、シティブロック距離を算出することにより評価できる。
シティブロック距離が小さいほど2つの画素ブロックの相関が大きいと評価できるので、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離のうち、その値が最小となる画素ブロックが対象画素ブロックの相関先と判断される。
図2では、シティブロック距離が最小となる画素ブロックが、カメラ91aには左端からeにカメラ91bには左端からcに撮影されている。相関する画素ブロックがこのように撮影された場合、視差dは|e−c|となる。
視差dが既知となれば、カメラの焦点距離f、カメラ91aと91bの距離a、に基づき、三角測量の原理から距離γは次のように算出される。
γ=b×f/d
測距手段9をレーダ装置92により構成する場合について説明する。なお、車両後方に設置されたレーダ装置93についても同様である。
γ=b×f/d
測距手段9をレーダ装置92により構成する場合について説明する。なお、車両後方に設置されたレーダ装置93についても同様である。
図3(a)は、レーザ装置92の概略ブロック図の一例を示す。レーザ装置92は、レーザ装置92を制御するマイコン92dを有し、まず、マイコン92dはレーザ送信部92aにレーザパルスを発信させるトリガ信号を発する。トリガ信号により、レーザ送信部92aはレーザダイオードに瞬間的なパルス電流を流す。パルス電流を流されたレーザダイオードは、電流に比例したレーザパルスを地物へ向けて照射する。また、照射と同時にマイコン10は、タイマカウンタ92cのカウンタをスタートさせる。タイマカウンタ92cのカウンタによりパルスレーザが地物に反射して受信されるまでの時間が計測される。
地物により反射されたレーザパルスはレーザ受信部92bにより受信される。受信されたレーザパルスは、受光レンズを介してフォトダイオードに集光され、光電流として取り出されアンプによりを増幅される。この電流がタイマカウンタ92cのカウントをストップさせる信号となる。カウントされた計測時間は地物までの距離 に比例するので、マイコン10はこの値に適当な係数を乗算して、地物までの距離γを取得することができる。
レーザ送信部92aは車両の進行方向前方(レーダ装置93の場合は車両後方)の所定範囲をレーザが走査するように、レーザパルスの発信方向を変えながら連続的にレーザパルスを発信する。以上の動作の繰り返しにより、各走査点において地物までの距離γがマイコン10に蓄積される。マイコン10には、走査角、地物までの距離及び方位角が記録されるので、車両前方に地物があればその形状が取得される。取得された地物及びその距離γは制御部10に送出される。
図3(b)はレーダ装置92により検出された地物の一例を示す図である。図3(b)では道路の左側に道路標識21が、車両前方に信号機22が検出されている。道路標識21や信号機22の形状と大きさはその種類により定まっている。また、道路標識21と信号機22までの距離は計測されているので、制御部10は予め保持している各地物の大きさと形状に基づき地物21や22を具体的に特定できる。
〔高精度地図データ12〕
高精度地図データ12について説明する。高精度地図データ12は高精度な道路地図情報を有する道路地図のデータベースが格納されたHDDやCDやDVD−ROM等である。高精度地図データ12をカーナビで使用する地図データと共有してもよい。
高精度地図データ12について説明する。高精度地図データ12は高精度な道路地図情報を有する道路地図のデータベースが格納されたHDDやCDやDVD−ROM等である。高精度地図データ12をカーナビで使用する地図データと共有してもよい。
高精度地図データ12は、道路網や交差点などの道路地図情報が、緯度経度に対応づけて格納されている。高精度地図データ12は、実際の道路網に対応して、ノード(道路と道路が交差する点、すなわち交差点)に関係する情報と、リンク(ノードとノードを接続する道路)に関係する情報とからなるテーブル状のデータベースに格納される。
ノードテーブルは、ノードの番号、座標、そのノードから流出するリンク数及びそれらのリンク番号を有する。また、リンクテーブルは、リンクの番号、リンクを構成する始点ノードと終点ノード及びリンク長を有する。ノード番号及びリンク番号は、互いに重複しないように定められている。したがって、ノード番号とリンク番号をそれぞれ辿ることで道路網が形成される。
高精度地図データ12には、道路の幅長、車線数等の道路情報が格納されているが、本実施の形態の高精度地図データ12は、地図に関する詳細な情報を格納するものである。例えば、リンクテーブルには、当該リンクに存在する地物の位置、種別、形状、大きさ等が格納されている。各地物の位置が格納されているので、例えば、マンホールから道路標識までの正確な距離(真正距離)を抽出できる。なお、この他にも高精度地図データ12には、高速道路,一般国道,地方道というような道路種別情報や、デパートや陸橋などの建築物、制限速度や一方通行、Uターン禁止などの交通規則が記憶されている。
〔後方カメラ11〕
後方カメラ11について説明する。後方カメラ11は図4(a)に示すように、車両の後部のバンパの略中央やリアガラスの上側略中央に、路面及び車両後方を含んで撮影するように、光軸が路面に対し所定の角をなして配置される。図4(a)では路面上の地物の一例としてマンホール23を示した。また、車両の中心からマンホール23の中心までの距離はαである。
後方カメラ11について説明する。後方カメラ11は図4(a)に示すように、車両の後部のバンパの略中央やリアガラスの上側略中央に、路面及び車両後方を含んで撮影するように、光軸が路面に対し所定の角をなして配置される。図4(a)では路面上の地物の一例としてマンホール23を示した。また、車両の中心からマンホール23の中心までの距離はαである。
後方カメラ11は、CCD、CMOS等の固体撮像素子を内蔵した1つのカメラにより構成されるが、ステレオカメラ91のように一対のカメラで構成してもよい。後方カメラ11により出力されたアナログ画像は、アンプ回路を介して増幅された後、A/D変換されて所定の輝度階調(例えば、256階調)のデジタル画像に変換される。
図4(b)は後方カメラ11により撮影された画像データの一例を示す。マンホールの大きさは例えばJIS(Japan Industrial Standard)に規定されており、直径が約650mmである。
後方カメラ11により撮影された画像データは制御部10に送出される。地物検出手段101は、予め記憶するマンホールやペイントなどの標準パターンを用いて、パターンマッチング等により画像データから地物を検出する。
測距手段102は、検出された地物の大きさ(ピクセル数)に基づきマンホールまでの距離αを検出する。後方カメラにより撮影される画像データは縦横に決まったピクセル数(画素数)を有している。マンホールの占めるピクセル数は、距離αに応じて変化するので、予めマンホールの直径が占めるピクセル数とマンホールまでの距離の関係を格納しておくことで、撮影されたマンホールのピクセル数に基づき、マンホールまでの距離αを検出できる。マンホールのピクセル数は、直径を用いてもよいし面積を用いてもよい。なお、図4(b)ではマンホール23を対象に説明したが、予め大きさが既知である地物であればどのような地物を用いて距離αを検出してもよい。
ところで、後方カメラ11が光軸はそのままに回転した場合、撮影される画像データも同様に回転したものとなる。例えば、図4(c)は後方カメラ11により撮影された停止線24の一例を示す。後方カメラ11が角θ回転した場合、撮影される地物も角θ回転したものとなる。このような回転による後方カメラ11の取り付け状態の変化は、画像データをアフィン変換などで回転させれば容易に補正できる。
例えば、停止線24のような白線は輝度が高いので、画像データから所定以上の輝度の部分が所定以上の長さに渡って検出されれば、停止線24であることが判定できる。また、高精細地図データ12には停止線24の位置が格納されているので、カーナビによる走行位置を利用して停止線24であることを検知してもよい。画像データから停止線24が検出されれば、その角度θを検出し、以降は角θ回転処理した画像データに基づきサービスの提供や光軸ずれの検出処理を行う。
後方カメラ11の回転の検出には停止線24を用いることが好適であるが、後方カメラ11の回転を検出しやすい方形の地物や形状が既知である地物であればどのような地物を用いてもよい。
〔光軸ずれの検出処理〕
以上のような構成に基づき、制御部10の光軸ずれ判定手段103が後方カメラ11の光軸ずれを検出する処理手順について説明する。図5は光軸ずれを検出する処理のフローチャート図を、図6は車両と地物との関係の概略を示す図である。本実施の形態の車載カメラの光軸ずれ検出装置1は、後方カメラ11により撮影された地物までの距離αに基づき後方カメラ11の光軸ずれを検出する。
以上のような構成に基づき、制御部10の光軸ずれ判定手段103が後方カメラ11の光軸ずれを検出する処理手順について説明する。図5は光軸ずれを検出する処理のフローチャート図を、図6は車両と地物との関係の概略を示す図である。本実施の形態の車載カメラの光軸ずれ検出装置1は、後方カメラ11により撮影された地物までの距離αに基づき後方カメラ11の光軸ずれを検出する。
図5の処理は、車両が一般道路や高速道路を走行している間に繰り返し行われる処理である。制御手段10はカーナビ20により少なくとも現在走行している道路のリンクが既知であり、当該リンクにある地物の位置などの情報を必要に応じて利用できる。
制御部10の地物検出手段101は、後方カメラ11に撮影された画像データに地物があればそれを検出する。そして、測距手段102は地物の大きさに基づき車両から地物までの距離αを算出する(S1)。
図7(a)は車両に正常に配設された後方カメラ11の側面図を、図7(b)は光軸ずれの生じた後方カメラ11の側面図をそれぞれ示す。正常時の後方カメラ11は光軸が路面に対し角θをなすように取り付けられる。そして、図7(b)は光軸が路面に対し角θ’(θ’>θ)にずれた場合を示す。
測距手段102は、地物(例えば、マンホール)のピクセル数に基づきマンホールからの距離を算出するが、図7(b)に示すような光軸がずれた後方カメラ11により撮影された場合、距離α’は正常な状態で算出される距離αと異なる(θ’>θの場合、α’はαより短い)。すなわち、図7(b)のような場合、マンホールは大きく撮影されるため、マンホールが実際より手前にあることとなり、距離α’は小さく算出される。
制御手段10は、地物が検出された位置を起点に走行距離βの計測を開始する(S2)。また、測距手段9は、車両前方の地物(例えば、信号機や道路標識など)が検出されたか否かを判定する(S3)。ステップ2により走行距離βが計測される前に、車両前方の地物が検出された場合、β=0としてもよい。
車両前方の地物が検出された場合(S3のYes)、測距手段9は地物までの距離γを算出する(S4)。
そして、光軸ずれ判定手段103は、マンホールから車両前方の地物までの実測値「α(α’)+β+γ」が、高精細地図データ12に格納されたマンホールから地物までの真正距離Sと等しいか否かを判定する(S5)。
図7(b)に示したように、後方カメラ11に光軸ずれがある場合、α’≠αであるため、α’+β+γ≠Sとなり、後方カメラ11の光軸ずれを検出できる。
光軸ずれ判定手段103はα’+β+γ≠Sの場合(S5のNo)、スピーカ6や表示装置7から光軸ずれの可能性があることを乗員に報知する(S6)。また、カーナビ20は、所定よりも大きく距離が異なっていた場合、乗員へのサービスの提供を中断する。これにより誤ったタイミングでのサービスの提供が防止できる。
また、光軸ずれが検出された場合、乗員は例えば後方カメラ11の光軸を調整したり、車両を修理工場に持ち込み光軸ずれを修正することができ、以降は、適切なタイミングで車載システムからサービスを受けられる。
なお、図6では車両が直線上の道路を走行しているが、車両がコーナなど曲率のある道路を走行していても、また、右左折した場合であっても光軸ずれを検出できる。車両後方の地物までの距離αを検出した後は、走行距離βはコーナ走行や右左折に関わらず計測され、また、車両前方の地物までの距離γはコーナ走行の後や右左折後に検出されても誤差を生じない。高精細地図データ12にはリンク毎に地物間の位置が格納されているため、右左折などによりリンクが異なった場合、走行経路となった複数のリンクからそれぞれ地物の位置を抽出すれば、2つの地物間の距離を抽出できる。
なお、図5では後方カメラで撮影する地物をマンホールとしたが、後方カメラ11に撮影される地物は停止線、「止まれ」や制限速度を表す「30」などのペイントであってもよい。
また、図6では、後方カメラ11により検出された後方の地物と車両前方の地物との距離に基づき光軸ずれを検出したが、後方カメラ11により検出された後方の地物と車両後方の地物との距離に基づき光軸ずれを検出することもできる。
図8は、車両と地物Y、Zとの関係の概略を示す図である。図8の車両は車両後方の地物Zとの距離を検出する測距手段9を搭載しており、車両後方の地物Zとの距離を検出しながら走行している。後方カメラ11により地物検出手段101が地物Y(例えば、マンホール)を検出すると、測距手段102が距離αを検出する。距離αを検出した時点で、測距手段9が後方の地物Z(例えば、道路標識)との距離γを検出している場合には、γ−αが2つの地物間の実測値となる。また、距離αを検出してから距離β走行した時点で測距手段9が後方の地物を検出した場合、γ−(α+β)が2つの地物間の実測値となる。
光軸ずれ判定手段103は、高精細地図データ12に格納された2つの地物間の距離Sがγ−α又はγ−(α+β)と等しいか否かに基づき、光軸ずれを検出できる。また、光軸ずれが検出された場合、次述する光軸ずれ補正手段104により光軸ずれを補正できる。
〔光軸ずれの自動補正処理〕
本実施の形態の光軸ずれ検出装置1は、光軸ずれが検出された場合に、自動的に光軸ずれを補正することができる。
本実施の形態の光軸ずれ検出装置1は、光軸ずれが検出された場合に、自動的に光軸ずれを補正することができる。
図9は光軸ずれを自動的に補正する処理のフローチャート図を示す。まず、光軸ずれ判定手段103は、光軸ずれの検出処理を行う(S20)。
上述したように光軸ずれは、任意の2つの地物間の距離に基づき検出されが、例えば地物Aと地物Bの実測値に誤差ΔEが検出された場合、再度、走行して検出する地物Aと地物Bとの間に、同一の誤差ΔEが検出されるか否かを判定する(S21)。同一の誤差ΔEが検出される場合、後方カメラ11に光軸ずれが生じている確度が高いことが予想できる。同一の誤差ΔEが検出されない場合(S21のNo)、光軸ずれの検出処理(S20)を繰り返す。
同一の誤差ΔEが検出された場合(S21のYes)、光軸ずれ補正手段104は、誤差ΔEにより2つの地物間の実測値を補正する(S22)。すなわち、高精細地図データ12に格納された2つの地物間の真正距離Sよりも実測値α’+β+γがΔE大きければ実測値からΔEを減算し、実測値α’+β+γがΔE小さければ実測値にΔEを加算することとする。
そして、光軸ずれ補正手段104は、実測値をΔE補正して、誤差ΔEを検出した場合とは異なる2つの地物間の距離が正しく補正されたか否かを検証する(S23)。ΔEは地物Aと地物Bの間の実測値に基づき算出された誤差であるので、検証時には、地物A以外の地物と地物B等との距離を検証の対象とする。以下、検証に用いる2つの地物Cと地物Dとする。地物Cは地物A以外であり、地物Dはどのような地物であってもよい。
実測値をΔE補正した地物Cと地物Dとの間の距離が、高精度地図データ12に格納された真正距離Sと等しければ、誤差ΔEが検証されたこととなる。このように、異なる地物間でも同一の誤差ΔEがあることが検証されれば、誤差ΔEは地物に依存するものではなく後方カメラ11の光軸ずれによるものと判定できる。
誤差ΔEが地物の種類に関わらず普遍的なものであると確認できれば、誤差ΔE補正した距離に基づき検出したタイミングで車載システムによるサービスを運転者に提供する。したがって、本実施の形態の光軸ずれ検出装置1は、光軸ずれを検出すると共に、光軸ずれが検出された場合にはそれを補正できる。
以上のように本実施の形態の光軸ずれ検出装置1は、後方カメラ11は撮影範囲に制約を受けずに、後方カメラ11の光軸ずれを検出できると共に、光軸ずれを補正できる。後方カメラ11の光軸ずれを検出するための地物は道路上に多く存在するので、日常的な走行において光軸ずれの検出や検証を精度よく行うことができる。
1 車載カメラの光軸ずれ検出装置
9 測距手段
10 制御部
11 後方カメラ
12 高精度地図データ
20 カーナビ
21 道路標識
22 信号機
23 マンホール
24 停止線
9 測距手段
10 制御部
11 後方カメラ
12 高精度地図データ
20 カーナビ
21 道路標識
22 信号機
23 マンホール
24 停止線
Claims (4)
- 地物の位置情報を格納した位置情報格納手段と、
カメラにより第1の前記地物を検出する地物検出手段と、
前記地物検出手段により検出された第1の前記地物と自車両との第1の距離を検出する第1の測距手段と、
第2の前記地物と自車両との第2の距離を検出する第2の測距手段と、
前記位置情報格納手段に格納された前記地物の位置情報から抽出した前記第1と第2の地物間の真正距離と、前記第1及び第2の距離とに基づき取得した前記第1と第2の地物間の実測値を比較して、前記カメラの光軸ずれを判定する光軸ずれ判定手段と、
を有することを特徴とする車載カメラの光軸ずれ検出装置。 - 前記光軸ずれ判定手段により前記カメラの光軸ずれが検出された場合、前記真正距離と前記実測値との差分、実測値を補正する光軸ずれ補正手段を有し、
前記光軸ずれ補正手段は、補正後の第3の前記地物と第4の前記地物間の実測値が、前記位置情報格納手段に格納された第3と第4の前記地物の位置情報から抽出される真正距離と等しいか否かに基づき検証する、
ことを特徴とする請求項1記載の車載カメラの光軸ずれ検出装置。 - 前記第2の地物は車両の進行方向前方又は進行方向後方に存在する、ことを特徴とする請求項1記載の車載カメラの光軸ずれ検出装置。
- カメラにより第1の地物を検出する地物検出ステップと、
前記地物検出ステップにより検出した第1の前記地物と自車両との第1の距離を検出する第1の測距ステップと、
第2の前記地物と自車両との第2の距離を検出する第2の測距ステップと、
前記地物の位置情報を格納した位置情報格納手段に格納された前記地物の位置情報から抽出した前記第1と第2の地物間の真正距離と、前記第1及び第2の距離とに基づき取得した前記第1と第2の地物間の実測値を比較して、前記カメラの光軸ずれを判定する光軸ずれ判定ステップと、
を有することを特徴とする車載カメラの光軸ずれ検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006091736A JP2007267231A (ja) | 2006-03-29 | 2006-03-29 | 車載カメラの光軸ずれ検出装置、車載カメラの光軸ずれ検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006091736A JP2007267231A (ja) | 2006-03-29 | 2006-03-29 | 車載カメラの光軸ずれ検出装置、車載カメラの光軸ずれ検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007267231A true JP2007267231A (ja) | 2007-10-11 |
Family
ID=38639740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006091736A Pending JP2007267231A (ja) | 2006-03-29 | 2006-03-29 | 車載カメラの光軸ずれ検出装置、車載カメラの光軸ずれ検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007267231A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012030687A (ja) * | 2010-07-30 | 2012-02-16 | Fujitsu Ten Ltd | 検知装置、及び、検知方法 |
JP2012504889A (ja) * | 2008-10-01 | 2012-02-23 | ハイ キー リミテッド | 画像取込装置の較正方法および較正システム |
JP2016140010A (ja) * | 2015-01-29 | 2016-08-04 | 三菱電機株式会社 | 車両画像処理装置および車両画像処理方法 |
JP2017032356A (ja) * | 2015-07-30 | 2017-02-09 | 富士重工業株式会社 | ステレオ画像処理装置 |
CN107044853A (zh) * | 2015-10-26 | 2017-08-15 | 罗伯特·博世有限公司 | 用于确定地标的方法和装置以及用于定位的方法和装置 |
-
2006
- 2006-03-29 JP JP2006091736A patent/JP2007267231A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012504889A (ja) * | 2008-10-01 | 2012-02-23 | ハイ キー リミテッド | 画像取込装置の較正方法および較正システム |
JP2012030687A (ja) * | 2010-07-30 | 2012-02-16 | Fujitsu Ten Ltd | 検知装置、及び、検知方法 |
JP2016140010A (ja) * | 2015-01-29 | 2016-08-04 | 三菱電機株式会社 | 車両画像処理装置および車両画像処理方法 |
JP2017032356A (ja) * | 2015-07-30 | 2017-02-09 | 富士重工業株式会社 | ステレオ画像処理装置 |
CN107044853A (zh) * | 2015-10-26 | 2017-08-15 | 罗伯特·博世有限公司 | 用于确定地标的方法和装置以及用于定位的方法和装置 |
CN107044853B (zh) * | 2015-10-26 | 2021-06-15 | 罗伯特·博世有限公司 | 用于确定地标的方法和装置以及用于定位的方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11247608B2 (en) | Vehicular system and method for controlling vehicle | |
JP4600357B2 (ja) | 測位装置 | |
JP4631750B2 (ja) | 画像処理システム | |
US8094192B2 (en) | Driving support method and driving support apparatus | |
JP3436074B2 (ja) | 車載ステレオカメラ | |
EP2253936B1 (en) | Current position determining device and current position determining nethod | |
US10964217B2 (en) | Travel control method and travel control apparatus | |
EP1072863A2 (en) | Image processing apparatus for navigation system | |
JP2008523417A (ja) | 車両速度を求める方法及び装置 | |
JP5680436B2 (ja) | 車載カメラレンズ用異物付着判定装置 | |
JP4596566B2 (ja) | 自車情報認識装置及び自車情報認識方法 | |
JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
US20120166083A1 (en) | Navigation device, navigation method, and navigation program | |
JP2006275969A (ja) | 傾斜角算出装置及びナビゲーション装置 | |
US11650321B2 (en) | Apparatus and method for detecting tilt of LiDAR apparatus mounted to vehicle | |
JP2007240380A (ja) | トンネル内位置検出装置 | |
JP2007267231A (ja) | 車載カメラの光軸ずれ検出装置、車載カメラの光軸ずれ検出方法 | |
JPH07120258A (ja) | 車載カメラを用いた距離検出装置 | |
KR102343020B1 (ko) | 노면 영상정보를 이용한 자율주행 차량의 위치신호 보정장치 | |
JP6790951B2 (ja) | 地図情報学習方法及び地図情報学習装置 | |
CN109309785B (zh) | 拍摄控制装置以及拍摄控制方法 | |
US20230150499A1 (en) | Vehicle control system and vehicle driving method using the vehicle control system | |
JP6627135B2 (ja) | 車両位置判定装置 | |
JP2007122395A (ja) | 車両の方向転回判定方法及び車両の方向転回判定装置 | |
JP4328173B2 (ja) | 車載ナビゲーション装置 |