JP2013183311A

JP2013183311A - 車載カメラの姿勢角推定装置及び検出システム

Info

Publication number: JP2013183311A
Application number: JP2012046152A
Authority: JP
Inventors: Kazuhiro Sorimachi; 一博反町
Original assignee: Isuzu Motors Ltd
Current assignee: Isuzu Motors Ltd
Priority date: 2012-03-02
Filing date: 2012-03-02
Publication date: 2013-09-12

Abstract

【課題】車両に対する車載カメラのヨー方向の回転角を、予め記憶させておく情報量を低減し、且つ該回転角を推定するための各情報の誤差の影響を低減して、的確に推定する。
【解決手段】ＣＰＵ１３は、カメラ８が出力した画像を用いて、区画線７に対するカメラ８の光軸９のヨー方向の回転角φと、走行車線４の曲率ρと、車両２の横位置ｙｃの時間的変化量とを検出する。各検出値を検出したＣＰＵ１３は、検出した走行車線４の曲率ρを用いて車線直進状態であるか否かを判定し、車両２の横位置ｙｃの時間的変化量を用いて車両直進状態であるか否かを判定して、車線直進状態であり且つ車両直進状態であると判定したときに、区画線７に対するカメラ８の光軸９の回転角φが車両２の前後方向に対するカメラ８のヨー方向の回転角Φであると推定する。
【選択図】図１

Description

本発明は、車載カメラの姿勢角推定装置及び検出システムに関する。

特開平７−１４７０００号公報には、道路地図データ、距離センサが検出した車両の走行距離及び方位センサが検出した車両の進行方向を用いて、車両の現在の走行位置を道路地図データにおいて特定して該道路地図データから現在走行中の道路の方向を検出し、車載カメラが撮像した画像において、道路地図データから検出した道路の方向と平行な複数の道路平行線及び該道路平行線が交わり消失する道路消失点を抽出し、抽出した道路消失点を用いて、道路に対する車載カメラのヨー角を推定する車載カメラの姿勢パラメータ算出装置が記載されている。

特開平７−１４７０００号公報

上記従来の装置では、道路地図データから道路の方向を検出するため、道路地図データを必ず備える必要がある。このため、カーナビゲーションシステムのような道路地図データを備える装置が搭載されていない車両に上記従来の装置を搭載する場合には、当該装置だけのために、膨大な情報量となる道路地図データを記憶させなければならない。また、道路地図データから検出した道路の方向に基づいて車載カメラのヨー角を推定するので、精度の高い道路地図データを備えなければならない。

更に、道路地図データ、距離センサ及び方位センサの検出結果を用いて、現在の走行位置を道路地図データにおいて特定しているので、例えば、各センサの検出結果に誤差が含まれている場合、各検出結果に含まれる誤差がそれぞれ無視できる程度であっても、これらの誤差が、現在の走行位置を特定する際に、互いに影響し合い、これらの誤差よりも大きく無視できない程度の誤差を生じて、現在の走行位置を的確に特定することができない可能性がある。

そこで、本発明は、車両に対するカメラのヨー方向の回転角を、予め記憶させておく情報量を低減し、且つ該回転角を推定するための各情報の誤差の影響を低減して、的確に推定することが可能な車載カメラの姿勢角推定装置の提供を目的とする。また、本発明の他の目的は、該車載カメラが撮像した画像に含まれる対象物の車両に対する位置を的確に検出することが可能な検出システムの提供である。

上記目的を達成すべく、本発明の第１の態様は、車載カメラの姿勢角推定装置であって、カメラと状態量検出手段と直線判定手段と直進判定手段と推定手段とを備える。カメラは、車両に設けられる。状態量検出手段は、カメラが撮像した画像を用いて、車両が走行している車線に対するカメラの光軸のヨー方向の回転角と、該車線の曲率と、該車線に対する車両の横方向の位置の時間的変化量とを検出する。直線判定手段は、状態量検出手段が検出した車線の曲率が所定値以下である車線直線状態であるか否かを判定する。直進判定手段は、状態量検出手段が検出した車両の横方向の位置の時間的変化量が所定の範囲内である車両直進状態であるか否かを判定する。推定手段は、直線判定手段が車線直線状態であると判定し、且つ直進判定手段が車両直進状態であると判定したとき、状態量検出手段が検出した車線に対するカメラの光軸のヨー方向の回転角が車両の前後方向に対するカメラのヨー方向の回転角であると推定する。

上記構成では、カメラが撮像した画像を用いて、車両が走行している車線に対するカメラの光軸のヨー方向の回転角と、車線の曲率と、車線に対する車両の横方向の位置の時間的変化量とが検出される。各検出値が検出されると、検出された車線の曲率及び車線に対する車両の横方向の位置の時間的変化量とを用いて、車両が直線道路を直進しているか否かが判定され、車両が直線道路を直進していると判定されたときに、検出された車線に対するカメラの光軸のヨー方向の回転角が車両の前後方向に対するカメラのヨー方向の回転角であると推定される。このように、車両に対するカメラのヨー方向の回転角を推定するために必要な情報の全てが、カメラが撮像した画像から検出されるので、予め記憶させておく情報量を低減して、車両に対する車載カメラのヨー方向の回転角を的確に推定することができる。また、車両に対するカメラのヨー方向の回転角を推定するために必要な情報の全てが、個々に検出されるので、各情報に誤差が含まれている場合であっても各情報の誤差が他の情報に影響を与えることはなく、該回転角を推定するための各情報の誤差の影響を低減して、車両に対する車載カメラのヨー方向の回転角を的確に推定することができる。

また、本発明の第２の態様は、上記第１の態様の車載カメラの姿勢角推定装置を備えた検出システムであって、対象位置検出手段と補正手段とを備える。対象位置検出手段は、カメラが撮像した画像に含まれる対象物の車両に対する位置を、該画像から検出する。補正手段は、対象位置検出手段が検出した対象物の車両に対する位置を、推定手段が推定した車両の前後方向に対するカメラのヨー方向の回転角を用いて補正する。

上記構成では、カメラが撮像した画像を用いて検出される対象物の車両に対する位置が、上記第１の態様の車載カメラの姿勢角推定装置によって推定された車両に対するカメラのヨー方向の回転角を用いて補正される。該画像を用いて検出された対象物の車両に対する位置は、車両に対するカメラのヨー方向の回転角によっては、車両に対するカメラのヨー方向の回転角に応じた誤差が含まれている場合があるため、検出された対象物の車両に対する位置を、該画像を用いて検出される各情報に基づいて推定された車両に対するカメラのヨー方向の回転角を用いて補正することによって、対象物の車両に対する位置を的確に検出することができる。

本発明によれば、車両に対する車載カメラのヨー方向の回転角を、予め記憶させておく情報量を低減し、且つ該回転角を推定するための各情報の誤差の影響を低減して、的確に推定することができる。また、該車載カメラが撮像した画像に含まれる対象物の車両に対する位置を的確に検出することができる。

一実施形態の位置検出システムの構成図である。三次元道路モデルの算出に用いる各情報を示す図である。姿勢角推定処理を示すフローチャートである。

以下、本発明の一実施形態の位置検出システムについて、図面を参照して説明する。図１は、一実施形態の検出システムの構成図である。図２（ａ）は、三次元道路モデルの算出に用いる各情報を車両上方から示す図である。図２（ｂ）は、三次元道路モデルの算出に用いる各情報を車両側方から示す図である。図３は、姿勢角推定処理を示すフローチャートである。

図１に示すように、本実施形態の位置検出システム１は、カメラ８と処理装置１０とを備える。

カメラ８は、車両２の前部の幅方向の略中心に設けられる。カメラ８は、ＣＣＤ（Charge Coupled Device）センサやＣＯＭＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を有し、車両２の前方の動画像を撮像し、撮像した動画像を構成する静止画像をデジタル変換して処理装置１０に順次出力する。

処理装置１０は、受信部１１と記憶部１２とＣＰＵ（Central Processing Unit）１３と出力部２４とを有する。

受信部１１は、カメラ８からデジタル変換された静止画像（以下、単に画像と称する）を受信して記憶部１２に記憶する。

記憶部１２は、例えば、ＲＡＭ（Random Access Memory）などの記録媒体によって構成され、ＣＰＵ１３が各種処理を実行するための各種プログラムや各種データが記憶される。各種プログラムには、姿勢角推定処理を実行するための姿勢角推定処理実行プログラムや、対象位置検出処理を実行するための対象位置検出処理実行プログラムが含まれる。また、記憶部１２は、各種画像や各種情報などが読み書き自在に記憶される記憶領域を有する。

ＣＰＵ１３は、姿勢角推定処理実行プログラム及び対象位置検出処理実行プログラムを実行することによって、姿勢角推定処理部１４と対象位置検出処理部２０として機能する。

姿勢角推定処理部１４は、状態量検出部１５と判定部１６と推定部１９とを含み、カメラ８が出力した画像を用いて、対象位置検出処理部２０が車両２の前方に存在する対象物の車両２に対する位置を検出する際に用いる車両２の前後方向に対するカメラ８のヨー方向の回転角（以下、カメラ８の取付回転角と称する）Φを推定する。

状態量検出部１５は、カメラ８が出力した画像を用いて、車両２が走行している車線（走行車線）４を区画する区画線７に対するカメラ８の光軸９のヨー方向の回転角（以下、区画線７に対するカメラ８の回転角と称する）φと、走行車線４の曲率ρと、走行車線４に対する車両２の横方向の位置（以下、車両２の横位置と称する）ｙｃの時間的変化量とを検出する。具体的には、状態量検出部１５は、記憶部１２から画像を読み出し、読み出した画像において区画線７を検出し、検出した区画線７の画像平面の座標系（二次元座標系）における位置座標を算出する。二次元座標系は、画像の中心を原点とし、画像の水平方向をｘ軸、垂直方向をｙ軸とする。区画線７の位置座標を算出すると、状態量検出部１５は、算出した区画線７の位置座標に基づいて、区画線７に対するカメラ８の回転角φと、走行車線４の曲率ρと、車両２の横位置ｙｃとを検出し、検出した車両２の横位置ｙｃを用いて、車両２の横位置ｙｃの時間的変化量を検出する。車両２の横位置ｙｃは、走行車線４の横方向の中心（車線中心）５から車両２の重心位置３までの距離とする。

区画線７の検出は、例えば、画像に対してソーベルフィルタによる一次空間微分を行って垂直方向及び水平方向のエッジを抽出し、エッジ抽出された画像に対してハフ変換を行って直線成分のエッジを抽出して、抽出したエッジの中から所定の条件を満たすエッジのみを抽出して物体や舗装の継ぎ目等のような不要なエッジを除外することによって行われる。

また、区画線７の位置座標に基づいた区画線７に対するカメラ８の回転角φと走行車線４の曲率ρと車両２の横位置ｙｃとの検出は、例えば、区画線７の位置座標を観測値とし、区画線７に対するカメラ８の回転角φ、走行車線４の曲率ρ、及び車両２の横位置ｙｃ等を推定状態量とするカルマンフィルタを用いて行われる。この場合のカルマンフィルタの構成について説明する。ここでは、出力方程式として、次式（１）によって表される二次元座標系における道路モデル（二次元道路モデル）を用いる。

式（１）で表される二次元道路モデルは、空間の座標系（三次元座標系）における道路モデル（三次元道路モデル）を二次元座標系に変換することによって算出される。三次元座標系は、カメラ８のレンズの中心を原点とし、路面６に対して水平方向であって且つカメラ８の光軸９に対して垂直方向をＸ軸、カメラ８の光軸９に対して垂直方向をＹ軸、カメラ８の光軸９方向をＺ軸とする。

三次元道路モデルは、図２に示すように、走行車線４の幅をＷ、車線中心５に対する車両２の位置の識別をｉ、路面６に対するカメラ８の光軸９の回転角をη、カメラ８の地上高をｈとすると、次式（２）（３）によって表される。なお、車線中心５に対する車両２の位置の識別ｉは、車両２の位置が車線中心５に対して左側の場合には０、右側の場合には１とする。

ここで、二次元座標系と三次元座標系との関係は、カメラ８のレンズの焦点距離をｆとすると、次式（４）（５）によって表される。

式（４）（５）を用いて、式（２）（３）で表される三次元道路モデルを二次元座標系に変換すると、式（１）で表される出力方程式（二次元道路モデル）が算出される。

また、カルマンフィルタによる推定状態量を、車両２の横位置ｙｃ、走行車線４の曲率ρ、区画線７に対するカメラ８の回転角φ、路面６に対するカメラ８の光軸９の回転角η、及びカメラ８の地上高ｈとし、カメラ８のレンズの焦点距離ｆ及び走行車線４の幅Ｗを一定値として、各推定状態量の変化は確率的な振舞いをするものとして白色ガウス雑音によって駆動される系として定義すると、状態方程式は次式（６）によって表される。

式（１）で表される出力方程式と式（６）で表される状態方程式とを簡略化して表現すると、次式（７）（８）によって表される。

これにより、カルマンフィルタの構成は、次式（９）〜（１２）によって表される。

すなわち、状態量検出部１５は、カメラ８が撮像した画像を用いて、区画線７に対するカメラ８のヨー方向の回転角φと、走行車線４の曲率ρと、車両２の横位置ｙｃの時間的変化量とを検出する状態量検出手段として機能する。

ここで、状態量検出部１５によって検出される区画線７に対するカメラ８の回転角φについて説明する。例えば、カメラ８の取付回転角Φが０（Φ＝０）であり、且つ区画線７に対する車両２のヨー方向の回転角（以下、車両２の回転角と称する）ψがψ_１（ψ＝ψ_１）である場合には、区画線７に対するカメラ８の回転角φとして、車両２の回転角ψ＝ψ_１が検出される。また、カメラ８の取付回転角ΦがΦ_１（Φ＝Φ_１）であり、且つ車両２の回転角ψが０（ψ＝０）の場合には、区画線７に対するカメラ８の回転角φとして、カメラ８の取付回転角Φ＝Φ_１が検出される。更に、カメラ８の取付回転角ΦがΦ_１（Φ＝Φ_１）であり、且つ車両２の回転角ψがψ_１（ψ＝ψ_１）である場合には、区画線７に対するカメラ８の回転角φとして、カメラ８の取付回転角Φ＝Φ_１と車両２の回転角ψ＝ψ_１との和Φ＋ψ＝Φ_１＋ψ_１が検出される。すなわち、状態量検出部１５によって検出される区画線７に対するカメラ８の回転角φは、カメラ８の取付回転角Φと車両２の回転角ψとの和（φ＝Φ＋ψ）である。

判定部１６は、直線判定部１７と直進判定部１８とを含む。直線判定部１７は、状態量検出部１５が検出した走行車線４の曲率ρが所定値以下であるか否かを判定し、走行車線４の曲率ρが所定値以下であるときに、走行車線４が直線である車線直線状態であると判定する。すなわち、直線判定部１７は、状態量検出部１５が検出した走行車線４の曲率ρが所定値以下である車線直線状態であるか否かを判定する直線判定手段として機能する。直進判定部１８は、状態量検出部１５が検出した車両２の横位置ｙｃの時間的変化量が所定の範囲内に収まるか否かを判定し、車両２の横位置ｙｃの時間的変化量が所定の範囲内に収まるときに、車両２が直進している車両直進状態であると判定する。すなわち、直進判定部１８は、状態量検出部１５が検出した車両２の横位置ｙｃの時間的変化量が所定の範囲内である車両直進状態であるか否かを判定する直進判定手段として機能する。

推定部１９は、直線判定部１７が車線直線状態であると判定し、且つ直進判定部１８が車両直進状態であると判定したとき、状態量検出部１５が検出した区画線７に対するカメラ８の回転角φがカメラ８の取付回転角Φであると推定し、推定したカメラ８の取付回転角Φを記憶部１２に記憶する。状態量検出部１５によって検出される区画線７に対するカメラ８の回転角φは、カメラ８の取付回転角Φと車両２の回転角ψとの和（φ＝Φ＋ψ）であることから、車両２の回転角ψが０となる車線直線状態且つ車両直進状態であれば、状態量検出部１５によって検出された区画線７に対するカメラ８の回転角φはカメラ８の取付回転角Φであるといえる。このため、推定部１９は、直線判定部１７が車線直線状態であると判定し、且つ直進判定部１８が車両直進状態であると判定したときに、状態量検出部１５が検出した区画線７に対するカメラ８の回転角φがカメラ８の取付回転角Φであると推定することができる。すなわち、推定部１９は、直線判定部１７が車線直線状態であると判定し、且つ直進判定部１８が車両直進状態であると判定したとき、状態量検出部１５が検出した区画線７に対するカメラ８の回転角φがカメラ８の取付回転角Φであると推定する推定手段として機能する。

対象位置検出処理部２０は、対象位置検出部２１と補正部２２と出力制御部２３とを含み、カメラ８が出力した画像と姿勢角推定処理部１４が推定したカメラ８の取付回転角Φとを用いて、車両２の前方に存在する対象物の車両２に対する位置を検出する。

対象位置検出部２１は、記憶部１２から画像を読み出し、読み出した画像において、対象物の車両２に対する位置を検出する。すなわち、対象位置検出部２１は、カメラ８が撮像した画像に含まれる対象物の車両２に対する位置を、該画像から検出する対象位置検出手段として機能する。なお、対象位置検出部２１は、対象物の車両２に対する位置を画像において検出するため、カメラ８の取付回転角Φが０でない場合には、対象位置検出部２１によって検出される対象物の車両２に対する位置に、カメラ８の取付回転角Φに応じた誤差が含まれる。

補正部２２は、対象位置検出部２１が検出した対象物の車両２に対する位置を、姿勢角推定処理部１４が推定したカメラ８の取付回転角Φを用いて補正する。具体的には、補正部２２は、記憶部１２からカメラ８の取付回転角Φを読み出し、読み出したカメラ８の取付回転角Φを用いて補正用回転角を決定する。補正用回転角を決定すると、補正部２２は、決定した補正用回転角を用いて、対象位置検出部２１によって検出されて、カメラ８の取付回転角Φによる誤差が含まれている可能性のある対象物の車両２に対する位置を、カメラ８の取付回転角Φによる誤差を含まない対象物の車両２に対する位置に補正し、補正した対象物の車両２に対する位置を記憶部１２に記憶する。補正用回転角は、所定時間内に推定されたカメラ８の取付回転角Φの平均値など、複数の推定結果を用いて算出されるものであってもよく、最新のカメラ８の取付回転角Φであってもよい。すなわち、補正部２２は、対象位置検出部２１が検出した対象物の車両２に対する位置を、姿勢角推定処理部１４の推定部１９が推定したカメラ８の取付回転角Φを用いて補正する補正手段として機能する。

出力制御部２３は、補正部２２が補正した対象物の車両２に対する位置を出力部２４に出力する。

出力部２４は、対象位置検出処理部２０から入力された対象物の車両２に対する位置を、該対象物の車両２に対する位置を用いて他の情報を取得するような処理装置や表示装置等の他の装置に出力する。

次に、ＣＰＵ１３が実行する姿勢角推定処理について、図３を参照して説明する。本処理は、車両２のイグニッションキーがオン状態のとき、所定時間毎に繰り返して実行される。

本処理が開始されると、状態量検出部１５は、カメラ８が出力した画像において、区画線７を検出し、検出した区画線７の二次元座標系における位置座標を特定する（ステップＳ１）。

次に、状態量検出部１５は、区画線７に対するカメラ８の回転角φと、走行車線４の曲率ρと、車両２の横位置ｙｃの時間的変化量とを検出する（ステップＳ２）。

次に、直線判定部１７は、車線直線状態であるか否かを判定する（ステップＳ３）。

直線判定部１７が車線直線状態である判定したとき（ステップＳ３：ＹＥＳ）、直進判定部１８は、車両直進状態であるか否かを判定する（ステップＳ４）。

直進判定部１８が車両直進状態である判定したとき（ステップＳ４：ＹＥＳ）、推定部１９は、区画線７に対するカメラ８の回転角φがカメラ８の取付回転角Φであると推定し、（ステップＳ５）、本処理を終了する。

一方、直線判定部１７が車線直線状態でないと判定したとき（ステップＳ３：ＮＯ）、及び直進判定部１８が車両直進状態でないと判定したとき（ステップＳ４：ＮＯ）、本処理を終了する。

上記のように構成された位置検出システム１では、ＣＰＵ１３の姿勢角推定処理部１４は、カメラ８が出力した画像を用いて、区画線７に対するカメラ８の回転角φと、走行車線４の曲率ρと、車両２の横位置ｙｃの時間的変化量とを検出する。各検出値を検出した姿勢角推定処理部１４は、検出した走行車線４の曲率ρを用いて車線直進状態であるか否かを判定し、車両２の横位置ｙｃの時間的変化量を用いて車両直進状態であるか否かを判定して、車線直進状態であり且つ車両直進状態であると判定したときに、区画線７に対するカメラ８の回転角φがカメラ８の取付回転角Φであると推定する。一方、ＣＰＵ１３の対象位置検出処理部２０は、カメラ８が出力した画像において対象物の車両２に対する位置を検出し、検出した対象物の車両２に対する位置を、姿勢角推定処理部１４が推定したカメラ８の取付回転角Φを用いて補正する。

このように、本実施形態の位置検出システム１では、カメラ８の取付回転角Φを推定するために必要な情報の全てが、カメラ８が撮像した画像から検出されるので、予め記憶させておく情報量を低減して、カメラ８の取付回転角Φを的確に推定することができる。

また、カメラ８の取付回転角Φを推定するために必要な情報の全てが、個々に検出されるので、各情報に誤差が含まれている場合であっても各情報の誤差が他の情報に影響を与えることはなく、カメラ８の取付回転角Φを推定するための各情報の誤差の影響を低減して、カメラ８の取付回転角Φを的確に推定することができる。

また、カメラ８が撮像した画像を用いて検出されて、カメラ８の取付回転角Φによる誤差が含まれている可能性のある対象物の車両２に対する位置を、該画像を用いて検出される各情報に基づいて推定されたカメラ８の取付回転角Φを用いて補正するので、対象物の車両２に対する位置を的確に検出することができる。

なお、区画線７に対するカメラ８の回転角Φ、走行車線４の曲率ρ及び車両２の横位置ｙｃの検出方法は、上記に限定されず、他の方法であってもよい。

また、区画線７の検出方法は、上記に限定されず、他の方法であってもよい。

また、ＣＰＵ１３が実行する姿勢角推定処理は、上記の位置検出システム１に適用することに限定されず、対象物の車両２に対する位置が影響する他の情報を検出するためのシステムや、カメラ８の取付回転角Φを推定するのみの装置等に適用してもよい。

上記実施形態は、本発明の一例であり、本発明を逸脱しない範囲において変更可能である。

本発明は、車載カメラの姿勢角の推定、及び車載カメラの姿勢角が影響する情報の検出に有効である。

１：位置検出システム
８：カメラ
１０：処理装置
１３：ＣＰＵ
１４：姿勢角推定処理部
１５：状態量検出部（状態量検出手段）
１７：直線判定部（直線判定手段）
１８：直進判定部（直進判定手段）
１９：推定部（推定手段）
２０：対象位置検出処理部
２１：対象位置検出部（対象位置検出手段）
２２：補正部（補正手段）

Claims

車両に設けられるカメラと、
前記カメラが撮像した画像を用いて、前記車両が走行している車線に対する前記カメラの光軸のヨー方向の回転角と、該車線の曲率と、該車線に対する前記車両の横方向の位置の時間的変化量とを検出する状態量検出手段と、
前記状態量検出手段が検出した前記車線の曲率が所定値以下である車線直線状態であるか否かを判定する直線判定手段と、
前記状態量検出手段が検出した前記車両の横方向の位置の時間的変化量が所定の範囲内である車両直進状態であるか否かを判定する直進判定手段と、
前記直線判定手段が前記車線直線状態であると判定し、且つ前記直進判定手段が前記車両直進状態であると判定したとき、前記状態量検出手段が検出した前記カメラの光軸のヨー方向の回転角が前記車両の前後方向に対する前記カメラのヨー方向の回転角であると推定する推定手段と、を備えた
ことを特徴とする車載カメラの姿勢角推定装置。
請求項１に記載の車載カメラの姿勢角推定装置を備えた検出システムであって、
前記カメラが撮像した画像に含まれる対象物の前記車両に対する位置を、該画像から検出する対象位置検出手段と、
前記対象位置検出手段が検出した前記対象物の前記車両に対する位置を、前記推定手段が推定した前記車両の前後方向に対するカメラのヨー方向の回転角を用いて補正する補正手段と、を備えた
ことを特徴とする検出システム。