JP2019100970A - 自己位置誤差推定装置及び自己位置誤差推定方法 - Google Patents

Abstract

【課題】 車載カメラにて撮像された車外の画像を用いて、車両姿勢による自己位置の認識誤差を精度よく推定することが可能な自己位置誤差推定装置及び自己位置誤差推定方法を提供する。【解決手段】 自己位置誤差推定装置は、車両に搭載された撮像手段により撮像された画像を取得する画像取得手段と、前記画像上の特徴点の位置に基づき自己位置を求める自己位置演算手段と、車両ロール角及び前記撮像手段の高さの情報を取得するデータ取得手段と、前記車両ロール角及び前記撮像手段の高さに基づき、前記自己位置演算手段により求められた自己位置の誤差量を推定する誤差推定手段と、を備える。【選択図】図１

Description

本発明は、自己位置誤差推定装置及び自己位置誤差推定方法に係り、詳細には、車載カメラで撮像された車外の画像から走行路上の自車両の位置の誤差を推定する技術に関する。

走行路上における自車両の位置を推定するために、車載カメラから車外を撮像し、撮像した画像から、道路上にペイントが施されている区画線等の特徴点を認識し、車線内の車両位置を求める技術が提案されている。これにより、車両が車線から逸脱するときに運転者に警報を発したり、ステアリングやブレーキを制御したりして逸脱を抑制することが可能となる。この種の自己位置推定装置では、車載カメラで撮像される画像が車両姿勢によって変わるため、自己位置の認識誤差を生じることがある。例えば特許文献１には、車載カメラにて撮像される画面内において２本の道路平行線が交わって消失する点である道路消失点を求め、この２本の道路平行線と道路消失点に基づいて車載カメラの姿勢パラメータ（姿勢角（ヨー角））を算出する装置が開示されている。しかしながら、特許文献１においては、走行中の道路が直線かつ平坦の場合でないと道路消失点を求めることは困難であり、また、道路消失点を求めても車両ピッチ角・ロール角の変化等により道路消失点と道路平行線の関係が変わるため、車線に対する車両ヨー角に誤差が発生する問題があった。

これに対し、特許文献２では、車両前後に車高センサを設けて、車両ピッチ角による車線幅の認識誤差を推定することで、車両ピッチ角が変化する状況下においても道路消失点の情報を使わずに安定して車線に対する車両のヨー角を求めることを可能としている。また、特許文献３では、車両の位置を検出する装置において、車線区分線までの横方向距離の記録値と現在地の差分をとることで車両のロール角を推定し、車両のロール角変動やヨー角変動を補償して、横方向距離を精度よく検出する装置について記載されている。

特開平７−１４７０００号公報 特開２０１３−２３２２４０号公報 特開２０００−０５９７６４号公報

しかしながら、上述の特許文献２の方法では、車両のピッチ角を測定する手法としてカメラ以外の車高センサを用いることが開示されているが、車両のロール角については計測できない。また、ピッチ角の変動による車線幅の認識誤差を算出することで、車線逸脱警報のシステムをサポートすることについて記載されているが、ロール角による変動については考慮されていない。また、特許文献３は、ロール角変動について配慮されているが、横方向距離の記録値との比較からロール角を求めており、直接的にロール角を求めていないので精度が保障されない。また、特許文献３の装置は側方カメラを用いたものであり、現在主流となっている前方カメラを用いたシステムに適用できるものではない。

本発明は、このような課題に鑑みてなされたもので、車載カメラにて撮像された車外の画像を用いて、車両姿勢による自己位置の誤差を精度よく推定することが可能な自己位置誤差推定装置及び自己位置誤差推定方法を提供することを目的とする。

前述した課題を解決するための第１の発明は、車両に搭載された撮像手段により撮像された画像を取得する画像取得手段と、前記画像上の特徴点の位置に基づき自己位置を求める自己位置演算手段と、車両ロール角及び前記撮像手段の高さの情報を取得するデータ取得手段と、前記車両ロール角及び前記撮像手段の高さに基づき、前記自己位置演算手段により求められた自己位置の誤差量を推定する誤差推定手段と、を備えることを特徴とする自己位置誤差推定装置である。

第１の発明によれば、車両ロール角の変動に基づいて自己位置の認識誤差を推定するため、従来区別できなかった車両ロール角の変動による認識誤差と横位置のずれによる認識誤差とを正確に区別でき、車両ロール角の変動による自己位置の誤差を推定可能となる。特に、ロール角が大きく変動するインターチェンジや緊急操舵回避時等において効果的である。また、本発明では、カメラ高さの変動も考慮して自己位置の認識誤差を推定するため、従来区別できなかった車線（白線）幅の違いによる認識誤差とカメラ高さの変動による認識誤差とを正確に区別でき、カメラ高さの変動による自己位置の誤差を推定可能となる。これにより、車両姿勢による自己位置の認識誤差を精度よく推定可能な自己位置誤差推定装置を提供できる。

第１の発明において、前記誤差推定手段は、前記自己位置の誤差量として、車両ヨー角及び横位置の誤差量を算出することが望ましい。これにより、ロール角やカメラ高さの変動による車両ヨー角及び横位置の誤差量を正確に求めることが可能となる。

また、前記誤差推定手段は、前記撮像手段の高さが低いほど前記誤差量が増すように前記誤差量を算出することが望ましい。撮像手段の高さに応じた誤差量の推定が可能となる。

また、前記自己位置演算手段は、前記特徴点から認識される直線情報を用いて自己位置を求めることが望ましい。これにより、走行路上の区画線等の直線情報を認識して車線内の車両位置を求める自己位置推定方法により求めた自己位置の誤差を推定できる。

具体的には、前記車両ロール角がΦ_ｖ、前記撮影手段の高さがｈ_ｖ＋ｈ_ｃ（ｈ_ｖ：地面から車両の基準位置までの高さ、ｈ_ｃ：車両の基準位置から撮影手段の設置位置までの高さ）、認識された前記直線情報がｙ_ｅ＝ａ_ｅｘ_ｅ＋ｂ_ｅで表される場合、車両に対する前記撮影手段のピッチ方向の設置角度をθ_ｃとすると、前記誤差推定手段は、前記車両ヨー角及び横位置の誤差量を、

により求めることが望ましい。これにより、簡単な計算式で自己位置の誤差量を求めることが可能となる。

また、車両ロール角及び撮影手段の高さに応じた車両ヨー角及び横位置の誤差量をテーブル化したデータを記憶する記憶部を備え、前記誤差推定手段は、前記記憶部に記憶されたデータを参照することにより、前記データ取得手段により取得された車両ロール角及び撮影手段の高さに応じた前記車両ヨー角及び横位置の誤差量を求めるようにしてもよい。

前記撮像手段は、車両の前方または後方に設けられていることが望ましい。前方または後方の撮像手段を用いることにより、画像から遠方までの特徴点を検出しやすく、より正確に自己位置の誤差を推定しやすくなる。

第２の発明は、車両に搭載された撮像手段により撮像された画像を取得するステップと、前記画像上の特徴点の位置に基づき自己位置を求めるステップと、車両ロール角及び前記撮像手段の高さの情報を取得するステップと、前記車両ロール角及び前記撮像手段の高さに基づき、自己位置の誤差量を推定するステップと、を含むことを特徴とする自己位置誤差推定方法である。

本発明により、車載カメラにて撮像された車外の画像を用いて、車両姿勢による自己位置の認識誤差を精度よく推定することが可能な自己位置誤差推定装置及び自己位置誤差推定方法を提供できる。

自己位置誤差推定装置１の構成を示すブロック図 ロール角、ヨー角、横位置が変化した際の車外画像の変化について説明する図 車高、車線幅が変化した際の車外画像の変化について説明する図 車高、ロール角が変化した際の車外画像の変化について説明する図 本明細書における座標系の定義を示す図。（ａ）車両を側方から見た図、（ｂ）車両を前後方向から見た図 正しい白線を表す式と、画像から認識した白線を表す式について説明する図 自己位置の誤差量を推定する処理の流れを示すフローチャート （ａ）カメラ高さと横位置誤差との関係を示すグラフ、（ｂ）カメラ高さとヨー角誤差との関係を示すグラフ （ａ）ロール角と横位置誤差との関係を示す図、（ｂ）ロール角とヨー角誤差との関係を示す図

以下、図面に基づいて本発明の実施形態を詳細に説明する。

図１は、本発明に係る自己位置誤差推定装置１の概略構成を示すブロック図である。

図１に示すように、自己位置誤差推定装置１は、撮像装置１１、特徴点検出部１２、自己位置演算部１３、車両姿勢計測装置１４、誤差推定部１５を備える。車両制御部２は、車線追従機能や近況操舵回避等の車両制御を行う制御装置である。自己位置誤差推定装置１の特徴点検出部１２、自己位置演算部１３、誤差推定部１５、及び車両制御部２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたコンピュータを利用して構成される。

撮像装置１１は、車両に搭載され、車外を撮像する撮像装置１１である。撮像装置１１は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を用い、得られた画像をデジタル処理してコンピュータで扱える画像データに変換する。撮像装置１１により撮像された画像は、特徴点検出部１２に入力される。本発明において、撮像装置１１は、車両の前方または後方に設けられるものとする。

特徴点検出部１２は、撮像装置１１から取得した画像（以下、車外画像という）から、走行路上の白線（点線等も含む）等の特徴点を検出し、検出した特徴点から直線を検出する。検出した直線情報は、自車両の位置（以下、自己位置と呼ぶ）の演算に用いられる。

自己位置演算部１３は、車外画像上の特徴点から検出された直線情報に基づき自己位置を求める。

車両姿勢計測装置１４は、車両ロール角及び撮像装置１１の高さ（以下、カメラ高さと呼ぶ）を計測または推定し、誤差推定部１５に出力する。車両ロール角は、例えば、ライダ（ＬＩＤＡＲ；Light Detection and Ranging）等のレーザセンサ、ＩＭＵ（Inertial Measurement Unit；慣性計測装置）等を用いて計測することができる。また、車両毎に生成された解析モデルを用いて推定してもよい。カメラ高さは、例えば、積載量または車高調整装置の制御量に基づき推定することができる。

誤差推定部１５は、車両ロール角及びカメラ高さに基づき、自己位置演算部１３により求められた自己位置の誤差量を推定する。

ここで、図２〜図４を参照して、車両ロール角やカメラ高さの変化による車外画像への影響について説明する。
図２は、車両ロール角、ヨー角、横位置が変化したときの車外画像の変化を示している。図２に示す車外画像３０〜３３において、Ｌ１、Ｌ２は走行路上の白線を示し、Ｐは２本の白線Ｌ１、Ｌ２が交わる白線消失点を示している。図２（ａ）に示す車外画像３０を基準とした場合、車両ヨー角が変化すると、図２（ｂ）に示す車外画像３１のように白線消失点Ｐが横方向に移動する。また、車両ロール角が変化した場合は、図２（ｃ）の車外画像３２のように白線消失点Ｐを中心に白線Ｌ１、Ｌ２が回転した画像が得られる。また、車両の横位置が変化した場合は、図２（ｄ）の車外画像３３のように白線消失点Ｐを中心に白線Ｌ１、Ｌ２が回転した画像が得られる。このように、単眼カメラによる画像認識では、横位置変化による白線位置の変化（図２（ｃ））とロール角変化による白線位置の変化（図２（ｄ））との区別がつかない。そのため従来は、車体ロール角の変化は小さいもの（「０」）とみなして自己位置の演算を行っていた。しかし、インターチェンジや緊急操舵回避等を行う場合は、特に車体ロール角の変化が大きくなるため、自己位置の演算結果に大きな影響が及ぶ。

図３は、車高・車線幅が変化したときの車外画像の変化を示している。車外画像４０を基準とした場合、車両の高さ、すなわちカメラ高さが変動すると、画像４１、４２のように白線Ｌ１、Ｌ２の広がりが変化する。これは、車線幅が狭い場合の車外画像４３、車線幅が広い場合の車外画像４４と同じ変化である。このように、単眼カメラでは車線幅の変化とカメラ高さの変化による画像の区別ができない。

図４は、車高（カメラ高さ）及びロール角が変化した場合の画像上の変化を示している。図４に示す車外画像５０〜５３のように、ロール角が同一の場合、カメラ高さが低い方が車外画像上の白線Ｌ１，Ｌ２の回転が大きくなるため、誤差量が大きくなる。一方、逆に、カメラ高さが高い場合は、誤差量が小さくなる。カメラ高さの変動に影響する車高の変動は、主にアクティブサスペンションや車載重量の変化によって起こる。

図２〜図４で示したような車両姿勢及びカメラ高さによる車外画像の変化から、車外画像から特徴点（直線情報）を認識して自己位置を求める場合には、車両のロール角変化による影響を横位置の移動とは区別して扱う必要があることが分かる。また、車外画像を撮像するカメラの高さによっても誤差の大きさが異なるため、カメラ高さも考慮する必要があることが分かる。本発明では、誤差推定部１５は、車両ロール角及びカメラ高さに基づき、自己位置演算部１３により求められた自己位置の誤差量を推定する。

誤差量推定部１５は、自己位置からの誤差量として車両ヨー角及び横位置の誤差量を算出する。また、誤差推定部１５は、カメラ高さが低いほど誤差量が増すように算出する。

具体的には、誤差推定部１５は、以下の式（１）を用いて、自己位置推定の誤差（横位置偏差、ヨー角偏差）を求める。

図５に式（１）の各変数を示す。（ａ）は、車両を横方向から見た図、（ｃ）は車両を前後方向から見た図である。図５において、Ｏ_ｇは走行座標系、Ｏ_ｖは車両座標系、Ｏ_ｃはカメラ座標系である。
ｈ_ｖは地面（走行座標系Ｏ_ｇの原点）から車両の基準位置（車両座標系Ｏ_ｖの原点）までの高さ、ｈ_ｃは車両の基準位置（車両座標系Ｏ_ｖの原点）からカメラの設置位置（カメラ座標系Ｏ_ｃの原点）までの高さ、θ_ｃは車両（車両座標系Ｏ_ｖ）に対するカメラ（カメラ座標系Ｏ_ｃ）のピッチ方向の設置角度である。また式（１）において、φ_ｖが車両ロール角であり、ｈ_ｖ＋ｈ_ｃがカメラ高さである。

図６は、車外画像上の白線を表す式について説明する図である。点線はカメラ（撮像装置）１１からの情報から認識された（自己位置演算部１３により求められた）白線を示し、式（２）で表される。

ｙ_ｅ＝ａ_ｅｘ_ｅ＋ｂ_ｅ ・・・（２）

実線は正しい白線を示しており、式（３）で表される。

ｙ_ｒ＝ａ_ｒｘ_ｒ＋ｂ_ｒ ・・・（３）

図６に示すように、カメラ１１によって認識された白線（式（２））は、車両姿勢やカメラ高さに起因する誤差を含む。この誤差量は、上述の式（１）により求められる。

次に、図７のフローチャートを参照して、自己位置の誤差量を推定する処理の流れについて説明する。
まず、自己位置誤差推定装置１は、車両に搭載した撮像装置１１で車外を撮像した画像（車外画像）を取得する（ステップＳ１０１）。自己位置誤差推定装置１は、このときの車体のロール角及びカメラ高さを取得する（ステップＳ１０２）。車体のロール角は、例えば、ライダ、ＩＭＵ等の計測器を用いて取得した計測値や、現在の車両状態を計測したデータを車両モデルに入力することで得られる推定値等から求めることが可能である。カメラ高さは、例えば、車両の積載量や車高調整装置（アクティブサスペンション）の制御量から推定することが可能である。

次に、自己位置誤差推定装置１（特徴点検出部１２）は、撮像装置１１から取得した画像上の特徴点を検出する（ステップＳ１０３）。特徴点とは、例えば、走行路上の白線（点線、実線等で示される区画線）であるが、中央分離帯やガードレール、建物等のように、直線を推定可能な特徴であればよい。自己位置誤差推定装置１（自己位置演算部１３）は、画像上の特徴点から例えば最小二乗法等により直線情報を推定し、この直線と車両との距離（横位置）や車両ヨー角等の自己位置を算出する（ステップＳ１０４）。

自己位置誤差推定装置１（誤差推定部１５）は、ステップＳ１０２で取得したロール角、カメラ高さに基づいて、横位置偏差及びヨー角偏差を自己位置の誤差量として算出する（ステップＳ１０５）。誤差量の算出は、上述の式（１）を用いて算出してもよいし、カメラ高さ、ロール角に応じた横位置偏差及びヨー角偏差（誤差量）を予め求めてテーブル化したデータを記憶しておき、このデータを参照することにより、ステップＳ１０２で取得したロール角、カメラ高さに応じた誤差量を求めるものとしてもよい。

図８（ａ）は、ロール角毎のカメラ高さと横位置誤差との関係を示すグラフであり、図８（ｂ）はロール角毎のカメラ高さとヨー角誤差との関係を示すグラフである。これらのグラフはいずれも理論的に算出したものである。横位置誤差及びヨー角誤差ともに、カメラ高さが低いほど、ロール角変化による影響が顕著に表れることが分かる。

図９（ａ）は、カメラ高さ毎のロール角と横位置誤差との関係を示すグラフであり、図９（ｂ）はカメラ高さ毎のロール角とヨー角誤差との関係を示すグラフである。これらのグラフはいずれも理論的に算出したものである。これらのグラフからも横位置誤差及びヨー角誤差ともに、カメラ高さが低いほど車両ロール角変化による影響が顕著に表れることが分かる。

自己位置誤差推定装置１は、ステップＳ１０５で算出した自己位置の誤差量を、車両制御部２に出力する。車両制御部２は、自己位置の誤差量に応じて、例えば、レーン操舵制御のゲインの調整や車線追従許容幅の変更等、操舵コントローラを変更する。もしくは、レーン追従のために許容されロール角を算出する等、経路計画に用いてもよい。

以上説明したように、車載カメラから撮像した車外の画像から直線を認識して自己位置を求める装置において、車両のロール角とカメラ高さに基づき自己位置の誤差量を算出する。本発明では、ロール角の変動に基づいて自己位置の認識誤差を推定するため、従来区別できなかったロール角の変動による認識誤差と横位置のずれによる認識誤差とを正確に区別でき、ロール角の変動による自己位置の誤差を正確に把握できる。特に、ロール角が大きく変動するインターチェンジや緊急操舵回避時等において、効果的である。また、本発明では、カメラ高さの変動を考慮して自己位置の認識誤差を推定するため、従来区別できなかった車線（白線）幅の違いによる認識誤差とカメラ高さの変動による認識誤差とを正確に区別でき、カメラ高さの変動による自己位置の誤差を正確に把握できる。これにより、車両姿勢による自己位置の誤差を精度よく推定することが可能となる。

以上、添付図面を参照して、本発明に係る自己位置誤差推定装置等の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１……………………自己位置誤差推定装置
１１…………………撮像装置
１２…………………特徴点検出部
１３…………………自己位置演算部
１４…………………車両姿勢計測装置
１５…………………誤差推定部
２……………………車両制御部
Ｐ……………………白線消失点
Ｌ１、Ｌ２…………白線

Claims (8)

1. 車両に搭載された撮像手段により撮像された画像を取得する画像取得手段と、
   前記画像上の特徴点の位置に基づき自己位置を求める自己位置演算手段と、
   車両ロール角及び前記撮像手段の高さの情報を取得するデータ取得手段と、
   前記車両ロール角及び前記撮像手段の高さに基づき、前記自己位置演算手段により求められた自己位置の誤差量を推定する誤差推定手段と、
   を備えることを特徴とする自己位置誤差推定装置。
2. 前記誤差推定手段は、前記自己位置の誤差量として、車両ヨー角及び横位置の誤差量を算出することを特徴とする請求項１に記載の自己位置誤差推定装置。
3. 前記誤差推定手段は、前記撮像手段の高さが低いほど前記誤差量が増すように前記誤差量を算出することを特徴とする請求項１または請求項２に記載の自己位置誤差推定装置。
4. 前記自己位置演算手段は、前記特徴点から認識される直線情報を用いて自己位置を求めることを特徴とする請求項１から請求項３のいずれかに記載の自己位置誤差推定装置。
5. 前記車両ロール角がΦ_ｖ、前記撮影手段の高さがｈ_ｖ＋ｈ_ｃ（ｈ_ｖ：地面から車両の基準位置までの高さ、ｈ_ｃ：車両の基準位置から撮影手段の設置位置までの高さ）、認識された前記直線情報がｙ_ｅ＝ａ_ｅｘ_ｅ＋ｂ_ｅで表される場合、車両に対する前記撮影手段のピッチ方向の設置角度をθ_ｃとすると、
   前記誤差推定手段は、前記車両ヨー角及び横位置の誤差量を、
   

   

   により求めることを特徴とする請求項４に記載の自己位置誤差推定装置。
6. 車両ロール角及び撮影手段の高さに応じた車両ヨー角及び横位置の誤差量をテーブル化したデータを記憶する記憶部を備え、
   前記誤差推定手段は、前記記憶部に記憶されたデータを参照することにより、前記データ取得手段により取得された車両ロール角及び撮影手段の高さに応じた前記車両ヨー角及び横位置の誤差量を求めることを特徴とする請求項１から請求項４のいずれかに記載の自己位置誤差推定装置。
7. 前記撮像手段は、車両の前方または後方に設けられていることを特徴とする請求項１から請求項６のいずれかに記載の自己位置誤差推定装置。
8. 車両に搭載された撮像手段により撮像された画像を取得するステップと、
   前記画像上の特徴点の位置に基づき自己位置を求めるステップと、
   車両ロール角及び前記撮像手段の高さの情報を取得するステップと、
   前記車両ロール角及び前記撮像手段の高さに基づき、自己位置の誤差量を推定するステップと、
   を含むことを特徴とする自己位置誤差推定方法。
   

Images