JP2018044880A - 車両姿勢推定装置 - Google Patents

Abstract

【課題】車両に搭載されたカメラにより取得された画像に基づいて、車両の姿勢に関する様々な物理量を推定可能な技術を提供する。
【解決手段】車両姿勢推定装置は、撮影範囲の一部が互いに重複する範囲である重複範囲が複数個所に形成されるように車両に搭載された複数のカメラにより撮像された複数の画像を取得する。車両姿勢推定装置は、前記複数の画像について、重複範囲が写された画像上の領域に含まれる特徴部分を検出する。そして、車両姿勢推定装置は、個々の重複範囲ごとに、当該重複範囲を写した複数の画像それぞれから検出された特徴部分同士の位置のずれ量を算出し、複数の重複範囲それぞれについて算出されたずれ量の相違に基づいて、車両の姿勢を推定する。
【選択図】図３

Description

本発明は、車両に搭載されたカメラにより取得された画像に基づいて車両の姿勢を推定する車両姿勢推定装置に関する。

特許文献１には、車載カメラによって互いに異なる時刻に撮影された複数の画像を基に、車両の姿勢に関する回転角の一つであるピッチ角を推定する技術が記載されている。

特開２０１２−２６９９２号公報

特許文献１に記載の技術は、車載カメラにより撮影された画像に基づいて車両のピッチ角を推定することが可能なものの、ロール角やヨー角等の他の回転角を推定することは考慮されていない。そのため、特許文献１に記載の技術は、車両の総合的な姿勢を推定するには不十分である。

そこで、本開示は、車両に搭載されたカメラにより取得された画像に基づいて、車両の姿勢に関する様々な物理量を推定可能な技術を提供する。

本開示の一態様に係る車両姿勢推定装置は、画像取得部（１１）と、検出部（１１，１２，Ｓ１００〜Ｓ１１０）と、推定部（１２，１３，Ｓ１１２〜Ｓ１１８）と、姿勢情報出力部（１４，Ｓ１３０）とを備える。なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

画像取得部は、車両に搭載された複数のカメラ（２０ａ〜２０ｄ）から、複数の画像を取得するように構成されている。この複数のカメラは、車両の周囲を撮影するためのものであって、撮影範囲の一部が互いに重複する範囲である重複範囲が複数個所に形成されるように車両に搭載される。検出部は、画像取得部により同時期に取得された複数の画像のそれぞれについて、重複範囲が写された画像上の領域において特定の特徴を表す部分である特徴部分を検出するように構成されている。

推定部は、検出部により検出された特徴部分に基づいて車両の姿勢に関する所定の物理量を推定するように構成されている。具体的には、推定部は、個々の前記重複範囲ごとに、当該重複範囲を写した複数の画像それぞれから検出された特徴部分同士の位置のずれ量を算出する。そして、推定部は、複数の重複範囲それぞれについて算出されたずれ量の相違に基づいて、車両の姿勢に関する所定の物理量を推定する。姿勢情報出力部は、車両の姿勢を表す情報である車両姿勢情報として、推定部によって推定された物理量に基づく情報を出力するように構成されている。

車両に複数のカメラが搭載されている場合、車両の姿勢が変化することにより各カメラが変位すると、車両の姿勢の変化の方向や程度に応じて重複する撮影範囲に映る物体の位置が互いにずれる。そこで、本開示に係る車両姿勢推定装置では、撮影範囲が一部重複する複数のカメラにより取得された画像の重複範囲が写る領域に含まれる特徴部分を検出する。そして、複数の重複範囲ごとの特徴部分の位置のずれ量に基づいて車両の姿勢を推定する。このようにすることで、車両の姿勢に関する様々な物理量を推定可能な技術を実現できる。

実施形態の車両回転角推定装置の構成を表すブロック図。 カメラの搭載位置、及びカメラの撮影範囲を表す説明図。 車両回転角推定装置が実行する処理の手順を表すフローチャート。 車両回転角推定装置が実行する処理の手順を表すフローチャート。 車両の姿勢変化による撮影画像の変化を表す説明図。

以下、本開示の実施形態を図面に基づいて説明する。なお、本開示は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［車両回転角推定装置の構成の説明］
実施形態の車両回転角推定装置１は、車両２に搭載される電子制御装置である。この車両回転角推定装置１が、本開示における車両姿勢推定装置に相当する。図１に例示されるとおり、車両回転角推定装置１は、車両２に搭載された機器であるカメラ２０ａ，２０ｂ，２０ｃ，２０ｄ、ジャイロセンサ２１、及び温度センサ２２と接続されている。

図２に例示されるとおり、４つのカメラ２０ａ〜２０ｄは、車両周囲を撮影できるように、前カメラ、後カメラ、左カメラ、右カメラとして、車両２の前、後、左、右にそれぞれ取付けられている。各カメラ２０ａ〜２０ｄは、図２において点線で例示されるように、車両２の前方、後方、左側方、右側方をそれぞれの撮影範囲として、車両周囲を撮影するためのものである。そして、各カメラ２０ａ〜２０ｄの撮影範囲には、車両２の左前方、右前方、左後方、右後方の各部において隣接するカメラの撮影範囲と重なる重複範囲３，４，５，６が設けられている。

また、各カメラ２０ａ〜２０ｄの車両２への取付位置及び姿勢は、各カメラ２０ａ〜２０ｄの撮像範囲が上記のようになるように予め設定されている。そして、各カメラ２０ａ〜２０ｄの実際の搭載位置は、その設定された取付位置及び姿勢（換言すれば、撮影方向）に基づいて製造工場や整備工場等で調節されているものとする。

図１のブロック図の説明に戻る。ジャイロセンサ２１は、車両２の回転角速度（例えば、ヨーレート、ピッチレート、ロールレート）を検知する公知の計測器である。温度センサ２２は、車両２周囲の気温を検知する公知の計測器である。これらのジャイロセンサ２１及び温度センサ２２による計測結果が、車両回転角推定装置１に入力される。

車両回転角推定装置１は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ、入出力インタフェース等を中心に構成された情報処理装置である。車両回転角推定装置１は、例えば、コンピュータシステムとしての機能が集約されたマイクロコントローラ等により具現化される。車両回転角推定装置１の機能は、ＣＰＵがＲＯＭや半導体メモリ等の非遷移的実体的記憶媒体に格納されたプログラムを実行することにより実現される。なお、車両回転角推定装置１を構成するマイクロコントローラの数は１つでも複数でもよい。

この車両回転角推定装置１は、各カメラ２０ａ〜２０ｄにより取得された撮像画像を利用して、車両の姿勢を表す回転角及び回転角速度等の物理量を推定する機能を備える。当該機能の構成要素として、車両回転角推定装置１は、特徴点検出部１１と、車両姿勢推定部１２と、回転角速度算出部１３と、信頼性判定部１４とを備える。なお、車両回転角推定装置１を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を論理回路やアナログ回路等を組合せたハードウェアを用いて実現してもよい。

また、車両回転角推定装置１は、各カメラ２０ａ〜２０ｄの取付位置及び姿勢をカメラパラメータとして、各カメラ２０ａ〜２０ｄによる撮像画像を視点変換することで、車両２の上方の視点からなる鳥瞰画像を生成する機能を有する。なお、カメラパラメータは、例えば、各カメラ２０ａ〜２０ｄの車両２における取付位置、及び車両２の前後、左右、上下の３軸方向の取付角度を数値化したものである。そして、車両回転角推定装置１が、各カメラ２０ａ〜２０ｄによる撮像画像を視点変換する際には、カメラパラメータに基づいて設定された変換データを利用する。

［車両回転角推定装置が実行する処理の説明］
車両回転角推定装置１が実行する処理の手順について、図３及び図４のフローチャートを参照しながら説明する。この処理は、所定の制御周期ごとに繰返し実行される。

まず、図３のフローチャートから説明する。Ｓ１００では、車両回転角推定装置１は、各カメラ２０ａ〜２０ｄにより同時期に取得された複数の撮像画像を取得し、各撮像画像をそれぞれ視点変換した鳥瞰画像から、路面上の特定の対象物が写された画像部分である特徴点の位置を検出する。ここで、特徴点として検出する対象物としては、例えば、道路上に描かれたペイント、道路鋲、石等による区画線や道路標示、あるいはマンホールの蓋等、画像において路面との区別が容易な対象物を利用することが考えられる。

Ｓ１０２では、車両回転角推定装置１は、Ｓ１００において検出された特徴点について、カメラパラメータと実際の各カメラ２０ａ〜２０ｂの取付位置及び姿勢とのずれ、及び車両２の重心の偏りに起因する特徴点の位置のずれを補正する。各カメラ２０ａ〜２０ｂの取付位置及び姿勢のずれや、重心の偏りについては、例えば、各カメラ２０ａ〜２０ｂにより取得された画像を用いる周知の手法により別途測定された既知の値を利用するものとする。なお、Ｓ１００，Ｓ１０２が、特徴点検出部１１としての処理に相当する。

Ｓ１０４では、車両回転角推定装置１は、前カメラ２０ａ及び左カメラ２０ｃの鳥瞰画像それぞれについて、Ｓ１００で検出された特徴点のうち左前方の重複範囲３に対応する画像領域に含まれる特徴点を抽出する。Ｓ１０６では、車両回転角推定装置１は、前カメラ２０ａ及び右カメラ２０ｄの鳥瞰画像それぞれについて、Ｓ１００で検出された特徴点のうち右前方の重複範囲４に対応する画像領域に含まれる特徴点を抽出する。

Ｓ１０８では、車両回転角推定装置１は、後カメラ２０ｂ及び左カメラ２０ｃの鳥瞰画像それぞれについて、Ｓ１００で検出された特徴点のうち左後方の重複範囲５に対応する画像領域に含まれる特徴点を抽出する。Ｓ１１０では、車両回転角推定装置１は、後カメラ２０ｂ及び右カメラ２０ｄの鳥瞰画像それぞれについて、Ｓ１００で検出された特徴点のうち右後方の重複範囲６に対応する画像領域に含まれる特徴点を抽出する。

Ｓ１１２では、車両回転角推定装置１は、Ｓ１０４〜Ｓ１１０において抽出された各重複範囲３〜６に対応する各鳥瞰画像の特徴点の位置に基づいて、車両２の姿勢を表す回転角（すなわち、車両回転角）を推定する。本実施形態では、車両回転角推定装置１が推定する車両回転角として、例えば、ピッチ角、ロール角、ヨー角等の複数種類の回転角を想定している。

車両の加速や減速、旋回による回転力が加わることで車両の姿勢が変化すると、被写体である路面に対する各カメラ２０ａ〜２０ｂの相対的な位置が変化する。このため、同じ重複範囲を写す２つのカメラにおいて、共通の特徴点の位置が互いにずれる。このずれは、車両に対する重複範囲の位置と、姿勢変化の方向及び程度とに応じて程度が異なる。

具体例について図５を参照ながら説明する。図５において、ａは、車両２に姿勢変化が生じる前の段階における左右カメラ２０ｃ，２０ｄの鳥瞰画像である。ｂは、ａと同時期に取得された前後カメラ２０ａ，２０ｂの鳥瞰図である。また、ｃは、急減速により車両が前に沈み込むようにピッチ角が変化した段階における左右カメラ２０ｃ，２０ｄの鳥瞰画像である。ｄは、ｃと同時期に取得された前後カメラ２０ａ，２０ｂの鳥瞰図である。なお、図５の事例では、特徴点として道路の進行方向に沿って引かれた区画線が検出されていることを前提とする。

急減速により車両が前に沈み込むようにピッチ角が変化すると、前カメラ２０ａが他のカメラより大きく変位することになる。この場合、図５に例示されるとおり、左右カメラ２０ｃ，２０ｄの鳥瞰画像ｃと前カメラ２０ａの鳥瞰画像ｄとの間で、重複範囲３，４における特徴点である区画線の写り方に比較的大きな差異が生じる。

一方、車両が前に沈み込むように姿勢変化した場合、後カメラ２０ｂは前カメラ２０ａと比較して変位が小さい。このため、図５に例示されるとおり、左右カメラ２０ｃ，２０ｄの鳥瞰画像ｃと後カメラ２０ｂの鳥瞰画像ｄとの間で、重複範囲５，６における特徴点である区画線の写り方には、それ程大きな差異は生じていない。

そこで、車両回転角推定装置１は、前側の重複範囲３，４と後側の重複範囲５，６との間で重複範囲ごとの特徴点の位置のずれ量を比較し、その大小関係に基づいて車両のピッチ角を推定する。また、同様にして、左側の重複範囲３，５と右側の重複範囲４，６との間で重複範囲ごとの特徴点の位置のずれ量を比較し、その大小関係に基づいて車両のロール角を推定することができる。また、ヨー角については、各カメラ２０ａ〜２０ｄから検出された区画線の車両の前後方向に対する傾きから推定する。

図３のフローチャートの説明に戻る。上記Ｓ１０４〜Ｓ１１２の処理が、車両姿勢推定部１２としての処理に相当する。次のＳ１１４では、車両回転角推定装置１は、現時点から所定時間前までの期間において過去の車両回転角の時系列の情報が必要数蓄積されているか否かを判定する。車両回転角の時系列の情報が必要数蓄積されていない場合（すなわち、Ｓ１１４：ＮＯ）、車両回転角推定装置１はＳ１１８に進む。

Ｓ１１８では、車両回転角推定装置１は、Ｓ１１２で得られた車両回転角を時系列の情報としてメモリに蓄積する。一方、Ｓ１１４において車両回転角の時系列の情報が必要数蓄積されていると判定された場合（すなわち、Ｓ１１４：ＹＥＳ）、車両回転角推定装置１はＳ１１６に進む。

Ｓ１１６では、車両回転角推定装置１は、Ｓ１１２で得られた車両回転角、及び現時点から所定時間前までの期間において蓄積された過去の車両回転角の時系列の情報に基づいて、車両回転角の時間変化率を表す車両回転角速度を算出する。車両回転角速度は、例えば、車両回転角の時系列で表される変化量を、当該時系列における経過時間で除した値として算出される。本実施形態において車両回転角推定装置１が推定する車両回転角速度として、例えば、ピッチレート、ロールレート、ヨーレート等の複数種類の回転角速度を想定している。

なお、車両回転角速度を算出するために用いる過去の車両回転角の情報の必要数は、最低限１回分あればよいが、それよりも多くの必要数としてもよい。例えば、車両回転角の情報の必要数を多くすれば、突発的なノイズに対するロバスト性が向上する。反面、車両回転角の急激な変化に対して、算出される車両回転角速度の追従性が悪くなる。一方、車両回転角の情報の必要数を少なくすれば、車両回転角の急激な変化に対して、算出される車両回転角速度の追従性が向上する。反面、突発的なノイズに対するロバスト性が低下する。よって、車両回転角速度の算出に用いる車両回転角の情報の必要数は、その大小に応じてロバスト性と応答性とのトレードオフの関係となる。

Ｓ１１６の後、車両回転角推定装置１は上記Ｓ１１８の処理を実行する。なお、上記Ｓ１１４〜Ｓ１１８の処理が、回転角速度算出部１３としての処理に相当する。
図４のフローチャートの説明に移る。１２０では、車両回転角推定装置１は、Ｓ１１６において推定された車両角速度とジャイロセンサ２１による最新の測定結果との差分を算出し、その差分を比較結果として記憶する。Ｓ１２２では、車両回転角推定装置１は、現時点から所定時間前までの期間において記憶されたＳ１２０の比較結果について、差分が所定値以上である状態が連続している否かを判定する。

このＳ１２２では、ジャイロセンサ２１の信頼性が判定される。すなわち、各カメラ２０ａ〜２０ｄの画像から推定された車両回転角速度と、ジャイロセンサ２１により測定された車両回転角速度との間に顕著な差がなければ、ジャイロセンサ２１が正常に機能していると判断される。一方、両者の車両回転速度の間に差がある状態が一定期間連続している場合、ジャイロセンサ２１の信頼性が否定される。

比較結果の差分が所定値以上である状態が一定期間連続している場合（すなわち、Ｓ１２２：ＹＥＳ）、車両回転角推定装置１はＳ１２４に進む。Ｓ１２４では、車両回転角推定装置１は、ジャイロセンサ２１が故障していることを表す情報である故障通知を、車両２に搭載された図示しない出力装置等の出力先に出力する。Ｓ１２６では、車両回転角推定装置１は、Ｓ１１２において推定された車両回転角、及びＳ１１６において算出された車両回転角速度の情報を、車両２の姿勢を表す情報である車両姿勢情報として出力する。

一方、Ｓ１２２において比較結果の差分が所定値以上である状態が連続していないと判定された場合（すなわち、Ｓ１２２：ＮＯ）、車両回転角推定装置１はＳ１２８に進む。Ｓ１２８では、車両回転角推定装置１は、温度センサ２２から取得した測定結果に基づいて、車両２の周囲温度が適正範囲内であるか否かを判定する。

なお、周囲温度の適正範囲は、例えば、ジャイロセンサ２１の動作が保証された温度範囲とすることが考えられる。一般的に、車両等に搭載されるジャイロセンサは、極端な高温又は低温の条件下において測定性能が低下することが知られている。そこで、本実施形態では、Ｓ１２２において周囲温度に応じてジャイロセンサ２１による測定結果を採用するか否かを判定するように構成されている。

周囲温度が適正範囲外である場合（すなわち、Ｓ１２８：ＮＯ）、車両回転角推定装置１はＳ１２６に進む。Ｓ１２６では、車両回転角推定装置１は、Ｓ１１２において推定された車両回転角、及びＳ１１６において算出された車両回転角速度の情報を、車両２の姿勢を表す情報である車両姿勢情報として出力する。

一方、周囲温度が適正範囲内である場合（すなわち、Ｓ１２８：ＹＥＳ）、車両回転角推定装置１はＳ１３０に進む。Ｓ１３０では、車両回転角推定装置１は、ジャイロセンサ２１により検出された車両回転角速度の情報を、車両２の姿勢を表す情報である車両姿勢情報として出力する。

［効果］
実施形態の車両回転角推定装置１によれば、以下の効果を奏する。
撮影範囲が一部重複する複数のカメラ２０ａ〜２０ｃの鳥瞰画像について、重複範囲が写る領域に含まれる特徴点を検出し、複数の重複範囲ごとの特徴点のずれ量に基づいて車両の姿勢を表す車両回転角を推定することができる。このため、車両回転角推定装置１は、ジャイロセンサ２１の代替となり得る。あるいは、ジャイロセンサ２１と組合せることにより、車両の姿勢を検知する手段を二重化することができる。

また、カメラ２０ａ〜２０ｃの鳥瞰画像を用いて推定された車両姿勢と、ジャイロセンサ２１により測定された車両姿勢とを比較することにより、ジャイロセンサ２１の信頼性を判定することができる。このようにすることで、例えば、ジャイロセンサ２１の信頼性が否定された条件下において、ジャイロセンサ２１の故障通知を出力することができる。また、フェールセーフの観点からジャイロセンサ２１による測定結果を無効にするといった制御を行うことが可能になる。

また、周囲温度に応じて、画像に基づく車両姿勢情報と、ジャイロセンサ２１の測定結果に基づく車両姿勢情報とを選択的に出力することができる。このようにすることで、車両の環境に応じて好適な方の車両姿勢情報を出力することができ、測定精度の向上に寄与する。

［特許請求の範囲に記載の構成との対応］
実施形態の各構成と、特許請求の範囲に記載の構成との対応は次のとおりである。
特徴点検出部１１が、画像取得部及び検出部に相当する。車両姿勢推定部１２及び回転角速度算出部１３が、推定部に相当する。信頼性判定部１４が、姿勢情報出力部、信頼性情報判定部、信頼性情報出力部、及び環境判定部に相当する。

［変形例］
上記各実施形態における１つの構成要素が有する機能を複数の構成要素に分担させたり、複数の構成要素が有する機能を１つの構成要素に発揮させたりしてもよい。また、上記各実施形態の構成の一部を省略してもよい。また、上記各実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が、本開示の実施形態である。

上述の実施形態では、４台のカメラ２０ａ〜２０ｄにより取得された画像に基づいて車両姿勢を推定する事例について説明した。この事例に限らず、撮影範囲の一部が互いに重複する重複範囲が複数個所において形成されることを要件として、４台よりも多い又は少ない台数のカメラにより取得された画像に基づいて車両姿勢を推定する構成であってもよい。

車両回転角推定装置１を構成要件とするシステム、車両回転角推定装置１としてコンピュータを機能させるためのプログラム、このプログラムを記録した非遷移的実態的記録媒体、車両回転角推定方法等の種々の形態で本開示を実現することもできる。

１…車両回転角推定装置、１１…特徴点検出部、１２…車両姿勢推定部、１３…回転角速度算出部、１４…信頼性判定部、２０ａ…前カメラ、２０ｂ…後カメラ、２０ｃ…左カメラ、２０ｄ…右カメラ、２１…ジャイロセンサ、２２…温度センサ。

Claims (3)

1. 車両の周囲を撮影するために搭載された複数のカメラ（２０ａ〜２０ｄ）であって、撮影範囲の一部が互いに重複する範囲である重複範囲が複数個所に形成されるように前記車両に搭載された前記複数のカメラから、複数の画像を取得するように構成された画像取得部（１１）と、
   前記画像取得部により同時期に取得された複数の画像のそれぞれについて、前記重複範囲が写された前記画像上の領域において特定の特徴を表す部分である特徴部分を検出するように構成された検出部（１１，１２，Ｓ１００〜Ｓ１１０）と、
   個々の前記重複範囲ごとに、当該重複範囲を写した複数の画像それぞれから検出された前記特徴部分同士の位置のずれ量を算出し、前記複数の重複範囲それぞれについて算出されたずれ量の相違に基づいて、前記車両の姿勢に関する所定の物理量を推定するように構成された推定部（１２，１３，Ｓ１１２〜Ｓ１１８）と、
   前記車両の姿勢を表す情報である車両姿勢情報として、前記推定部によって推定された物理量に基づく情報を出力するように構成された姿勢情報出力部（１４，Ｓ１３０）と、
   を備える車両姿勢推定装置。
2. 前記推定部により推定された物理量で表される前記車両の姿勢と、前記車両に備えられたジャイロセンサによる前記車両の姿勢に関する測定結果とを比較した結果に基づいて、前記ジャイロセンサの信頼性を判定するように構成された信頼性判定部（１４，Ｓ１２０，Ｓ１２２）と、
   前記判定部により前記ジャイロセンサの信頼性が否定された場合、その旨を表す情報である信頼性否定情報を出力するように構成された信頼性情報出力部（１４，Ｓ１２４）とを更に備える、
   請求項１に記載の車両姿勢推定装置。
3. 前記車両に備えられたジャイロセンサの特性に関連する所定の環境の状態を判定する環境判定部（１４，Ｓ１２８）を更に備え、
   前記姿勢情報出力部は、前記環境判定部による判定結果に応じて、前記推定部によって推定された物理量に基づく情報を前記車両姿勢情報として出力する制御、又は、前記ジャイロセンサにより取得された測定結果に基づく情報を前記車両姿勢情報として出力する制御を選択的に行うように構成されている、
   請求項１又は請求項２に記載の車両姿勢推定装置。

Images