JP2019196981A

JP2019196981A - 走行支援装置

Info

Publication number: JP2019196981A
Application number: JP2018091059A
Authority: JP
Inventors: 祐輔上田; Yusuke Ueda; 香川　正和; Masakazu Kagawa; 正和香川; 直輝川嵜; Naoteru Kawasaki
Original assignee: Denso Corp; Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 2018-05-10
Filing date: 2018-05-10
Publication date: 2019-11-14
Anticipated expiration: 2038-05-10
Also published as: JP7120801B2

Abstract

【課題】より確実に車両位置を取得できる技術を提供する。【解決手段】自動運転で走行できる車両（１０）の走行を支援する走行支援装置（２０）は、車両から車両の周辺画像を受信する通信部（２３）と、周辺画像を表示する画像表示部（２１）と、地図上の複数の位置と、各位置における風景の画像である位置画像とを記録したデータベース（２４）と、周辺画像とデータベースの位置画像とを比較することによって、周辺画像との類似度が高い位置画像である選択画像を選択すると共に、選択画像に対応する位置を車両の位置として推定する車両位置推定部（２５）と、を備える。車両位置推定部は、選択画像と周辺画像との類似度が予め定められた第１閾値以下の場合に、オペレータ（ＯＰ）が車両の位置を特定するための画面を画像表示部に表示する。【選択図】図５

Description

本発明は、走行支援装置に関する。

車両位置の推定技術として、車両の周辺画像とデータベース内の画像とを比較して車両位置を推定する技術が知られている。特許文献１に記載の技術では、周辺画像内のランドマークを抽出することで、高い精度で車両位置を推定している。

特開２００９−２００１４号公報

しかし、ランドマークが周辺画像内に存在しない場合、車両位置の推定が行えないおそれがある。そのため、従来とは異なる方法でより確実に車両位置を取得できる技術が望まれていた。

本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。

本発明の一形態によれば、自動運転で走行できる車両（１０）の走行を支援する走行支援装置（２０）が提供される。この走行支援装置は；前記車両から前記車両の周辺画像を表示する受信する通信部（２３と）；前記周辺画像を画像表示部（２１）と；地図上の複数の位置と、各位置における風景の画像である位置画像とを記録したデータベース（２４）と；前記周辺画像と前記データベースの前記位置画像とを比較することによって、前記周辺画像との類似度が高い位置画像である選択画像を選択すると共に、前記選択画像に対応する位置を前記車両の位置として推定する車両位置推定部（２５）と、を備える。前記車両位置推定部は、前記選択画像と前記周辺画像との類似度が予め定められた第１閾値以下の場合に、オペレータ（ＯＰ）が前記車両の位置を特定するための画面を画像表示部に表示する。

この形態の走行支援装置によれば、位置画像と周辺画像との類似度が第１閾値以下の場合に、オペレータが車両の位置を特定するため、より確実に車両位置を取得できる。

車両遠隔操作支援システムの構成の概要を示す説明図である。自動運転システムの構成の概要を示す説明図である。管制センタの構成の概要を示す説明図である。車両位置取得処理の一例を示したフローチャートである。車両位置特定処理の一例を示したフローチャートである。オペレータに表示する画像表示部の一例を示す図である。

Ａ．第１実施形態：
図１に示すように、車両遠隔操作支援システム５００は、車両１０と管制センタ１５を備える。本実施形態の車両１０は、自動運転モードと手動運転モードと遠隔操縦モードの３つのモードで走行可能である。車両１０は自動運転システム１００を搭載する。手動運転モードでは、車両１０の搭乗者によって操縦される。遠隔操縦モードでは、車両１０は遠隔操縦元である管制センタ１５のオペレータＯＰによって遠隔操縦される。車両１０は３つのモードのいずれで走行しているかにかかわらず、車両１０の周辺の画像を管制センタ１５に送信する、管制センタ１５は、車両１０より受信した画像を走行支援装置２０の画像表示部２１に表示し、オペレータＯＰが走行支援装置２０の遠隔操縦部２２で車両１０を遠隔操縦することが可能である。遠隔操縦部２２は、例えば、ハンドル２２ａとマウス２２ｂとを含む。

図２に示すように、自動運転システム１００は、制御部１１０と、周辺認識カメラ１２２と、周辺物体センサ１２４と、車両位置センサ１２６と、通信部２００と、運転制御ＥＵＣ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）２１０と、駆動力制御ＥＣＵ２２０と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０と、通信部２００と、を備える。制御部１１０と、運転制御ＥＣＵ２１０と、駆動力制御ＥＣＵ２２０と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０とは、車載ネットワーク２５０を介して接続される。

制御部１１０は、画像送信部１１２と、車両位置取得部１１４と、を備える。制御部１１０は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、これらの各部の機能を実現する。

画像送信部１１２は、周辺認識カメラ１２２により撮影された車両の周辺画像を取得し、通信部２００を介して走行支援装置２０に送信する。なお、周辺画像を送信する際に、画像の周辺部が画像の平均画質よりも高い画質になるよう画質の設定を行ってもよい。ここで「画質の設定」とは、例えば、解像度やフレームレート、圧縮率の設定が挙げられる。車両位置取得部１１４は、車両位置センサ１２６により検知された車両１０の車両位置を取得し、通信部２００を介して走行支援装置２０に送信する。

周辺認識カメラ１２２は、自車両の周囲を撮像して画像を取得する。

周辺物体センサ１２４は、自車両の周囲の状況を検出する。周辺物体センサ１２４として、例えば、レーザーレーダー、ミリ波レーダー、超音波センサ等の反射波を利用した物体センサが挙げられる。

車両位置センサ１２６は、現在の車両１０の車両位置を検出する。車両位置センサ１２６として、例えば、汎地球航法衛星システム（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ（ｓ）（ＧＮＳＳ））やジャイロセンサ等が挙げられる。

通信部２００は、走行支援装置２０への車両位置の特定要求、周辺情報の送信と、走行支援装置２０からの特定された車両位置や操縦内容の受信と、を行う。

運転制御ＥＣＵ２１０は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、自動運転機能を実現する。

駆動力制御ＥＣＵ２２０は、エンジンなど車両の駆動力を発生するアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、駆動力制御ＥＣＵ２２０は、アクセルペダルの操作量に応じてエンジンや電気モータである動力源を制御する。一方、自動運転を行う場合、駆動力制御ＥＣＵ２２０は、運転制御ＥＣＵ２１０で演算された要求駆動力に応じて動力源を制御する。また、遠隔操縦される場合、駆動力制御ＥＣＵ２２０は、走行支援装置２０から与えられた要求駆動力に応じて動力源を制御する。

制動力制御ＥＣＵ２３０は、車両の制動力を発生するブレーキアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、制動力制御ＥＣＵ２３０は、ブレーキペダルの操作量に応じてブレーキアクチュエータを制御する。一方、自動運転を行う場合、制動力制御ＥＣＵ２３０は、運転制御ＥＣＵ２１０で演算された要求制動力に応じてブレーキアクチュエータを制御する。また、遠隔操縦される場合、制動力制御ＥＣＵ２３０は、走行支援装置２０から与えられた要求制動力に応じてブレーキアクチュエータを制御する。

操舵制御ＥＣＵ２４０は、車両の操舵トルクを発生するモータを制御する電子制御装置である。運転者が手動で運転を行う場合、操舵制御ＥＣＵ２４０は、ステアリングハンドルの操作に応じてモータを制御して、ステアリング操作に対するアシストトルクを発生させる。これにより、運転者が少量の力でステアリングを操作でき、車両の操舵を実現する。一方、自動運転を行う場合、操舵制御ＥＣＵ２４０は、運転制御ＥＣＵ２１０で演算された要求操舵角に応じてモータを制御することで操舵を行う。また、遠隔操縦される場合、操舵制御ＥＣＵ２４０は、走行支援装置２０から与えられた要求操舵角に応じてモータを制御することで操舵を行う。

図３に示すように、管制センタ１５は、走行支援装置２０を備え、オペレータＯＰが１人以上存在する。走行支援装置２０は、画像表示部２１と、遠隔操縦部２２と、通信部２３と、データベース２４と、車両位置推定部２５と、天候情報取得部２６を備える。

画像表示部２１は、通信部２３を介して受信した車両１０の周辺画像を画面に表示する。遠隔操縦部２２は、通信部２３を介して車両１０を遠隔操縦する。データベース２４は、地図上の位置とその位置における風景の画像である位置画像とを複数セット記録する。データベース２４は、地図上の同一位置における複数の天候の位置画像や複数の時間帯の位置画像を記録していてもよい。車両位置推定部２５は、周辺画像とデータベース２４の位置画像とを比較することによって、周辺画像との類似度が高い位置画像を選択すると共に、位置画像に対応する位置を車両１０の位置として推定する。天候情報取得部２６は、各地の天候を配信している外部サーバ等から、位置情報を用いてその位置における天候を取得する。

図４に示す車両位置取得処理は、車両位置が取得出来ているか否かの判定を行う処理である。この処理は自動運転システム１００の動作中、車両１０の制御部１１０により繰り返し実行される処理である。

まず、制御部１１０は、ステップＳ１００において、車両位置センサ１２６より車両位置を取得する。次に、制御部１１０は、ステップＳ１１０において、ステップＳ１００における車両位置の取得状況が良好か否か判定する。より具体的には、例えば、受信したＧＮＳＳの信号の数（衛星の数）が予め定めた数以上か否かや、受信電波強度が予め定めた強度以上か否かで判定する。車両位置の取得状況が良好である場合、ステップＳ１２０に進み、制御部１１０は運転制御ＥＣＵ２１０を制御して自動走行を継続させる。一方、車両位置の取得状況が良好でない場合、ステップＳ１２５に進み、制御部１１０は通信部２００を介して走行支援装置２０に過去に取得した１つ以上の車両位置（以下「直前車両位置」という）の位置情報の送信と共に、車両位置の特定を管制センタ１５の走行支援装置２０に要求する。なお、直前車両位置は、最後に車両位置取得状況が良好だった場合の車両位置を含むことが好ましいが、直前のステップＳ１００で取得した車両位置でもよい。車両の現在の位置を推定するためには、直前車両位置は２つ以上の車両位置を含むことが好ましい。

図５に示す車両位置特定処理は、走行支援装置２０が車両１０から車両位置の特定要求を受信した場合に、車両１０の周辺画像を用いて車両１０の車両位置を特定する処理である。この処理は自動運転システム１００の動作中、走行支援装置２０により繰り返し実行される処理である。

まず、走行支援装置２０は、ステップＳ２００で車両１０から車両位置の特定要求を受信したか否か判定する。特定要求を受信していない場合、走行支援装置２０は、ステップＳ２００の処理に戻る。一方、特定要求を受信した場合、走行支援装置２０は、ステップＳ２１０の処理に進み、通信部２３を介して車両１０の周辺画像を取得する。通信部２３は、周辺画像を撮影した時間を車両１０から周辺画像と共に受信してもよい。

次に、車両位置推定部２５は、ステップＳ２２０の処理に進み、車両１０の仮推定位置を決定する。「仮推定位置」とは、後述する処理で用いる、車両１０の現在位置を仮に定めた推定位置である。本実施形態では、車両位置特定要求と共に受信した直前車両位置の位置情報を用いて、車両１０の仮推定位置を決定する。

続いて、車両位置推定部２５は、ステップＳ２３０において、ステップＳ２１０で取得した周辺画像とステップＳ２２０で推定した位置の位置画像との類似度Ｓｄを算出する。類似度Ｓｄは、例えば、画像の撮影角度や色合い等の特徴量を比較することによって算出できる。あるいは、周辺画像と位置画像のパターンマッチングによって類似度Ｓｄを算出してもよい。周辺画像との類似度が高い位置画像は、選択画像として選択される。

次に、車両位置推定部２５は、ステップＳ２４０において、ステップＳ２３０で算出した類似度Ｓｄが閾値Ｓｔより大きいか否か判定する。閾値Ｓｔは、予め実験的に定めることができ、例えば８０％である。類似度Ｓｄが閾値Ｓｔ以下の場合、ステップＳ２６０に進む。一方、類似度Ｓｄが閾値Ｓｔより大きい場合、ステップＳ２５０に進み、ステップＳ２３０において選択した選択画像が一つか否か判定する。選択画像が複数ある場合、つまり、周辺画像との類似度が閾値Ｓｔを超える位置画像が複数ある場合には、ステップＳ２６０に進む。一方、選択画像が１つの場合、ステップＳ２９０に進み、車両位置推定部２５はステップＳ２２０で推定した位置を車両位置として通信部２３を介して車両１０に送信する。

車両位置推定部２５は、ステップＳ２６０において、オペレータに車両位置の特定要求を行う。本実施形態では、車両位置推定部２５は、例えば、図６に示すように、周辺画像と複数の位置画像Ｃ１〜Ｃ３を選択肢として画像表示部２１に表示して、周辺画像の位置を示す位置画像をオペレータＯＰに選択させることで車両位置を特定する。車両位置推定部２５は、類似度ＳｄがステップＳ２４０で用いた閾値Ｓｔ（以下、「第１閾値」ともいう）以下であり、かつ、類似度Ｓｄが第１閾値より小さな第２閾値以上の位置画像を複数表示する。第２閾値は、予め実験的に定めることができ、例えば４５％である。なお、ステップＳ２５０からこの処理に進んだ場合、第１閾値以上の位置画像を複数表示する。つまり、複数の選択画像を表示する。位置画像Ｃ１〜Ｃ３には、それぞれ周辺画像ＰＭとの類似度Ｓｄ１〜Ｓｄ３を表示してもよい。位置画像Ｃ１は位置Ｉにおける位置画像であり、周辺画像ＰＭとの類似度Ｓｄ１は７２％である。位置画像Ｃ２は位置ＩＩにおける位置画像であり、周辺画像ＰＭとの類似度Ｓｄ２は６３％である。位置画像Ｃ３は位置ＩＩＩにおける位置画像であり、周辺画像ＰＭとの類似度Ｓｄ３は５２％である。

図６に示すように、車両位置推定部２５は、ステップＳ２２０において推測した車両位置を示す地図画像ＭＭを画像表示部２１に表示してもよい。地図画像ＭＭには、直前車両位置Ｐ１と、直前車両位置Ｐ１の位置情報から推測される車両１０の推定位置の範囲を示す領域Ｒ１と、各位置画像Ｃ１〜Ｃ３の位置Ｉ〜ＩＩＩを示している。また、車両位置推定部２５は、オペレータＯＰに車両位置が特定可能か否かを選択させるボタンＢＴ１、ＢＴ２を画像表示部２１に表示することが好ましい。また、選択画像は、この領域Ｒ１内の位置における位置画像とすることが好ましい。この場合には、ステップＳ２３０において類似度Ｓｄの算出対象となる位置画像もこの領域内の位置における位置画像である。

続いて、車両位置推定部２５はステップＳ２７０（図５）において、車両位置がオペレータＯＰによって特定されたか否か判定する。車両位置が特定された場合、例えば、位置画像Ｃ１を選択してボタンＢＴ１を押した場合、車両位置推定部２５は、ステップＳ２８０に進み、特定された車両位置を受け取って、ステップＳ２９０に進む。一方、オペレータＯＰが車両位置を特定できない場合、例えば、ボタンＢＴ２を押した場合、車両位置推定部２５は、ステップＳ２８５に進み、車両位置が特定できないことを通信部２３を介して車両１０に送信する。続いて、ステップＳ２９５に進み、オペレータＯＰが遠隔操縦部２２を用いて車両１０を遠隔操縦する。遠隔操縦は、車両１０の車両位置が特定できるまで行うことが好ましい。なお、ステップＳ２９５の処理は省略してもよい。

以上で説明した本実施形態の走行支援装置２０によれば、位置画像と周辺画像との類似度Ｓｄが閾値Ｓｔ以下の場合に、オペレータＯＰが車両１０の位置を特定するため、より確実に車両位置を取得できる。

Ｂ．その他の実施形態：
上記実施形態において、車両位置推定部２５は、ステップＳ２３０において、周辺画像を撮影した時間に最も近い時間帯の位置画像や、周辺画像の撮影時の天候に最も近い天候の位置画像を選択するようにしてもよい。周辺画像の撮影時の天候は、天候情報取得部２６が各地の天候を配信している外部サーバ等から、仮推定位置を用いて取得することができる。

また、上記実施形態において、車両位置推定部２５は、ステップＳ２１０において、看板等の文字情報が含まれる周辺画像を取得するようにしてもよい。

また、上記実施形態において、車両位置推定部２５は、ステップＳ２３０において、選択画像の類似度Ｓｄが閾値Ｓｔ以下の場合、車両１０に画質を高く設定して周辺画像を送信するよう指示をして、再度周辺画像を取得してもよい。例えば、類似度Ｓｄが低い場合に、類似度Ｓｄが高い場合よりも低い圧縮率で周辺画像ＰＭを圧縮するよう指示をする。

また、上記実施形態において、車両位置特定処理は自動運転システム１００の動作中、走行支援装置２０により繰り返し実行される処理であるが、走行支援装置２０は、選択画像の類似度Ｓｄが低い場合に、類似度Ｓｄが高い場合よりもより多い頻度でこの処理を繰り返すようにしてもよい。

本発明は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。

１０車両、１５管制センタ、２０走行支援装置、２１画像表示部、２２遠隔操縦部、２２ａハンドル、２２ｂマウス、２３通信部、２４データベース、２５車両位置推定部、２６天候情報取得部、１００自動運転システム、１１０制御部、１１２画像送信部、１１４車両位置取得部、１２０周辺センサ、１２２周辺認識カメラ、１２４周辺物体センサ、１２６車両位置センサ、１４０指示表示部、２００通信部、２１０運転制御ＥＣＵ、２２０駆動力制御ＥＣＵ、２３０制動力制御ＥＣＵ、２４０操舵制御ＥＣＵ、２５０車載ネットワーク、５００車両遠隔操作支援システム、ＯＰオペレータ

Claims

自動運転で走行できる車両（１０）の走行を支援する走行支援装置（２０）であって、
前記車両から前記車両の周辺画像を受信する通信部（２３）と、
前記周辺画像を表示する画像表示部（２１）と、
地図上の複数の位置と、各位置における風景の画像である位置画像とを記録したデータベース（２４）と、
前記周辺画像と前記データベースの前記位置画像とを比較することによって、前記周辺画像との類似度が高い位置画像である選択画像を選択すると共に、前記選択画像に対応する位置を前記車両の位置として推定する車両位置推定部（２５）と、を備え、
前記車両位置推定部は、前記選択画像と前記周辺画像との類似度が予め定められた第１閾値以下の場合に、オペレータ（ＯＰ）が前記車両の位置を特定するための画面を画像表示部に表示する、走行支援装置。
請求項１に記載の走行支援装置であって、
前記車両位置推定部は、前記周辺画像との類似度が前記第１閾値以下であり、かつ、前記第１閾値より小さな第２閾値以上の複数の位置画像を選択肢として表示して、前記オペレータに選択させることによって前記車両の位置を特定する、走行支援装置。
請求項２に記載の走行支援装置であって、
前記車両位置推定部は、各位置画像の前記周辺画像との前記類似度を表示する、走行支援装置。
請求項１から請求項３のうちいずれか一項に記載の走行支援装置であって、
前記データベースは、地図上の同一位置における複数の時間帯の位置画像を記録しており、
前記通信部は、前記車両から前記周辺画像を撮影した時間を受信し、
前記車両位置推定部は、前記周辺画像を撮影した時間に最も近い時間帯の位置画像を選択する、走行支援装置。
請求項１から請求項４のうちいずれか一項に記載の走行支援装置であって、
前記データベースは、地図上の同一位置における複数の天候の位置画像を記録しており、
前記車両位置推定部は、前記車両から受信した過去の位置情報を用いて現在の前記車両の推定位置を決定し、
前記走行支援装置は、更に、前記推定位置における前記周辺画像の撮影時の天候を取得する天候情報取得部（２６）を備え、
前記車両位置推定部は、前記周辺画像の撮影時の天候に最も近い天候の位置画像を選択する、走行支援装置。
請求項１から請求項５のうちいずれか一項に記載の走行支援装置であって、
前記車両位置推定部は、更に、前記周辺画像との類似度が前記第１閾値を超える位置画像が複数ある場合に、前記オペレータが前記車両の位置を特定するために前記複数の位置画像を含む画面を表示する、走行支援装置。
請求項１から請求項６のうちいずれか一項に記載の走行支援装置であって、
前記車両位置推定部は、更に、前記車両から受信した過去の位置情報を用いて推測した現在の前記車両の推定位置を示す地図画像を表示する、走行支援装置。