JP2020003890A - 車両遠隔支援システム - Google Patents

Abstract

【課題】従来とは異なる方法で車両周辺の画像を表示できる技術を提供する。【解決手段】車両遠隔支援システム５００は、自動運転を実行する自動運転システム１００を有する車両１０と、オペレータＯＰを有する管制センタ２０と、を備える。車両は、自動運転が困難な場合に車両の周辺画像の送信と共にオペレータによる遠隔操縦を前記管制センタに要求する制御部１１０を備える。管制センタは、オペレータが車両を遠隔操縦する遠隔操縦部２２と、車両から周辺画像を受信する通信部２３と、周辺画像を表示する画像表示部２１と、周辺画像と周辺画像を視点変換した視点変換画像とを合成し、合成した合成画像を画像表示部に表示する画像合成部２５と、を備える。視点変換は、周辺画像の視点の俯角と視点の地面からの高さのうち少なくとも一方を、周辺画像の撮像時よりも大きく変換する。【選択図】図９

Description

本発明は、車両遠隔支援システムに関する。

車両遠隔操作支援システムとして、自動運転が困難になった場合に、遠隔操縦によって走行を継続できるものが知られている。特許文献１に記載の技術では、遠隔操縦を行う際に表示する車両周辺の画像を、地図データに基づいて生成し、３次元で視覚的に表示する。

特開２０１０−１３４４９９号公報

しかし、車両の前方が障害物等により進路が塞がれている状況において、その障害物の表示を３次元的に表現することは困難である。そのため、従来とは異なる方法で車両周辺の画像を表示できる技術が望まれていた。

本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。

本発明の一形態によれば、車両遠隔支援システム（５００）が提供される。この車両遠隔支援システムは；自動運転を実行する自動運転システム（１００）を有する車両（１０）と；オペレータ（ＯＰ）を有する管制センタ（２０）と、を備える。前記車両は、前記自動運転が困難な場合に前記車両の周辺画像の送信と共に前記オペレータによる遠隔操縦を前記管制センタに要求する制御部（１１０）を備える。前記管制センタは、前記オペレータが前記車両を遠隔操縦する遠隔操縦部（２２）と；前記車両から前記周辺画像を受信する通信部（２３）と；前記周辺画像を表示する画像表示部（２１）と；前記周辺画像と前記周辺画像を視点変換した視点変換画像とを合成し、合成した合成画像を前記画像表示部に表示する画像合成部（２５）と、を備える。前記視点変換は、前記周辺画像の視点の俯角と前記視点の地面からの高さのうち少なくとも一方を、前記周辺画像の撮像時よりも大きく変換する。

この形態の車両遠隔支援システムによれば、画像合成部が周辺画像と周辺画像を視点変換した視点変換画像とを合成するため、車両周辺の画像をオペレータが見やすい態様で表示できる。

車両遠隔支援システムの構成の概要を示す説明図である。 自動運転システムの構成の概要を示す説明図である。 管制センタの構成の概要を示す説明図である。 周辺画像の一例を示す図である。 画像合成処理の一例を示したフローチャートである。 視点変換の説明図である。 視点変換画像の一例を示す図である。 合成画像の一例を示す図である。 合成画像の一例を示す図である。 第２実施形態の画像合成処理の一例を示したフローチャートである。 第２実施形態における合成画像の一例を示す図である。

Ａ．第１実施形態：
図１に示すように、車両遠隔支援システム５００は、車両１０と管制センタ２０を備える。本実施形態の車両１０は、自動運転モードと手動運転モードと遠隔操縦モードの３つのモードで走行可能である。車両１０は自動運転システム１００を搭載する。手動運転モードでは、車両１０の搭乗者によって操縦される。遠隔操縦モードでは、車両１０は遠隔操縦元である管制センタ２０のオペレータＯＰによって遠隔操縦される。車両１０は３つのモードのいずれで走行しているかにかかわらず、車両１０の周辺の画像を管制センタ２０に送信する、管制センタ２０は、車両１０より受信した画像を管制センタ２０の画像表示部２１に表示し、オペレータＯＰが管制センタ２０の遠隔操縦部２２で車両１０を遠隔操縦することが可能である。遠隔操縦部２２は、例えば、ハンドル２２ａとマウス２２ｂとを含む。

図２に示すように、自動運転システム１００は、制御部１１０と、周辺認識カメラ１２２と、周辺物体センサ１２４と、自車位置センサ１２６と、通信部２００と、運転制御ＥＵＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２１０と、駆動力制御ＥＣＵ２２０と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０と、通信部２００と、を備える。制御部１１０と、運転制御ＥＣＵ２１０と、駆動力制御ＥＣＵ２２０と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０とは、車載ネットワーク２５０を介して接続される。

制御部１１０は、状況判定部１１２と、画像送信部１１４と、車両情報送信部１１６と、を備える。制御部１１０は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、これらの各部の機能を実現する。ただし、これらの各部の機能の一部又は全部をハードウェア回路で実現してもよい。

状況判定部１１２は、周辺認識カメラ１２２や周辺物体センサ１２４の検出信号を用いて、自動運転が可能か否かを判定し、自動運転が困難な場合に、通信部２００を介して管制センタ２０のオペレータＯＰを呼び出す。画像送信部１１４は、周辺認識カメラ１２２により撮影された車両の周辺画像を取得し、通信部２００を介して管制センタ２０に送信する。車両情報送信部１１６は、車両１０の情報を通信部２００を介して遠隔操縦元である管制センタ２０に送信する。本実施形態において、「車両の情報」とは、例えば、車幅や車高等が挙げられる。

周辺認識カメラ１２２は、車両１０の周囲を撮像して画像を取得する。撮像時における周辺認識カメラ１２２の俯角や、周辺認識カメラ１２２の地面からの高さは、撮像情報として画像データに含まれている。

周辺物体センサ１２４は、車両１０の周囲の状況を検出する。周辺物体センサ１２４として、例えば、レーザーレーダー、ミリ波レーダー、超音波センサ等の反射波を利用した物体センサが挙げられる。

自車位置センサ１２６は、現在の車両１０の車両位置を検出する。自車位置センサ１２６として、例えば、汎地球航法衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ（ｓ）（ＧＮＳＳ））やジャイロセンサ等が挙げられる。

通信部２００は、管制センタ２０への自動運転が困難である状況や遠隔操縦の要求、目的地、周辺画像、車両の情報の送信と、管制センタ２０からの操縦内容の受信と、を行う。

運転制御ＥＣＵ２１０は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、自動運転機能を実現する。

駆動力制御ＥＣＵ２２０は、エンジンなど車両の駆動力を発生するアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、駆動力制御ＥＣＵ２２０は、アクセルペダルの操作量に応じてエンジンや電気モータである動力源を制御する。一方、自動運転を行う場合、駆動力制御ＥＣＵ２２０は、運転制御ＥＣＵ２１０で演算された要求駆動力に応じて動力源を制御する。また、遠隔操縦される場合、駆動力制御ＥＣＵ２２０は、管制センタ２０から与えられた要求駆動力に応じて動力源を制御する。

制動力制御ＥＣＵ２３０は、車両の制動力を発生するブレーキアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、制動力制御ＥＣＵ２３０は、ブレーキペダルの操作量に応じてブレーキアクチュエータを制御する。一方、自動運転を行う場合、制動力制御ＥＣＵ２３０は、運転制御ＥＣＵ２１０で演算された要求制動力に応じてブレーキアクチュエータを制御する。また、遠隔操縦される場合、制動力制御ＥＣＵ２３０は、管制センタ２０から与えられた要求制動力に応じてブレーキアクチュエータを制御する。

操舵制御ＥＣＵ２４０は、車両の操舵トルクを発生するモータを制御する電子制御装置である。運転者が手動で運転を行う場合、操舵制御ＥＣＵ２４０は、ステアリングハンドルの操作に応じてモータを制御して、ステアリング操作に対するアシストトルクを発生させる。これにより、運転者が少量の力でステアリングを操作でき、車両の操舵を実現する。一方、自動運転を行う場合、操舵制御ＥＣＵ２４０は、運転制御ＥＣＵ２１０で演算された要求操舵角に応じてモータを制御することで操舵を行う。また、遠隔操縦される場合、操舵制御ＥＣＵ２４０は、管制センタ２０から与えられた要求操舵角に応じてモータを制御することで操舵を行う。

図３に示すように、管制センタ２０は、画像表示部２１と、遠隔操縦部２２と、通信部２３と、データベース２４と、画像合成部２５と、経路生成部２６を備える。管制センタ２０は、遠隔操縦を実行するオペレータＯＰが１人以上存在する。

画像表示部２１は、通信部２３を介して受信した車両１０の周辺画像を画面に表示する。遠隔操縦部２２は、通信部２３を介して車両１０を遠隔操縦する。データベース２４は、車両１０が走行予定の道路に関する詳細な道路情報や通信部２３を介して取得した車両１０の車両の情報等を記憶する。道路情報は、例えば、車線数、車線幅、各車線の中心座標、カーブ曲率、停止線位置、信号機位置等情報、を含む情報である。また、データベース２４は、道路情報に対応する地図画像を記憶してもよい。画像合成部２５は、周辺画像と周辺画像を視点変換した視点変換画像とを合成する。視点変換については後述する。経路生成部２６は、通信部２３を介して受信した車両の状況や周辺画像、データベース２４に記憶されている道路情報、画像合成部２５が検出した障害物の情報等を用いて遠隔操縦における車両１０の経路を生成する。

図４に示す通信部２３を介して取得した車両１０（以下、「自車両１０」ともいう）の周辺の画像（以下、「周辺画像」という）ＰＭ１は、物標Ｔ１〜Ｔ５を含む。画像合成部２５は、周辺画像ＰＭ１を用いて、物標が自車両１０の予め定められた距離以内に存在し、かつ、自車両１０の走行に影響があることを示す予め定めた条件（以下、「障害物条件」という）が成立している障害物を検出する。距離は予め実験的に定めることが可能である。また、物標が予め定められた距離以内に存在するか否かは、周辺物体センサ１２４の検出信号を用いて判定することもできる。障害物条件として、例えば、以下のような条件のいずれか１つ以上を採用することが可能である。

＜障害物条件１＞
自車両１０の走行を妨げる位置にあり、自動運転が困難な場合であること
＜障害物条件２＞
自車両１０の走行を妨げる可能性があり、自動運転が困難な場合であること

上記の障害物条件１が成立している場合として、例えば、非移動体である物標が自車両１０の走行路面の前方に存在し、自車両１０がその物標を迂回しようとすると対向車線にはみ出してしまう場合が挙げられる。

上記の障害物条件２が成立している場合として、例えば、歩行者や自転車が自車両１０の前方の走行路面外から走行路面を横切って急に飛び出してくる可能性がある場合が挙げられる。歩行者が走行路面外から飛び出してくる可能性があるか否かは、例えば、歩行者が自車両１０の走行路面に面して待機しており、歩行者の視線が自車両１０に向いていることを検出して判定することができる。

また、上記の障害物条件１、２やその他の条件を適宜組み合わせて障害物条件とすることもできる。本実施形態では、上述した障害物条件１を使用する。

画像合成部２５は、図４に示す物標Ｔ１〜Ｔ５のうち物標Ｔ１が上述した障害物条件を満たすため、障害物Ｔ１として検出する。物標Ｔ１〜Ｔ５は、例えばセマンティックセグメンテーション等の画像解析により、検出することができる。画像合成部２５は、障害物Ｔ１を含む画像領域Ｄ１を抽出してもよい。本実施形態において、「障害物Ｔ１を含む画像領域Ｄ１」は、物標Ｔ１の外接矩形から上下方向に予め定められた幅分ずつ広げ、左右方向を周辺画像ＰＭ１の画像幅まで広げた領域である。画像領域Ｄ１は、走行路面を示す区画線を含んでいるが、障害物Ｔ１のみを含むようにしてもよい。また、画像合成部２５は、物標Ｔ１〜Ｔ５の種類をパターンマッチングにより推定してもよい。画像合成部２５は、通信部２３を介して他車両から取得した物標Ｔ１の位置情報を用いて物標Ｔ１の死角部分における情報を補完してもよい。

図５に示す画像合成処理は、車両１０の周辺画像を用いて合成画像を生成する処理である。この処理は自動運転システム１００の動作中、管制センタ２０が車両１０から遠隔操作の要求を受信した場合に、管制センタ２０により繰り返し実行される処理である。以下、図４を例として画像合成処理の説明を行う。

まず、管制センタ２０は、ステップＳ１００において、通信部２３を介して車両１０の周辺画像ＰＭ１を取得する。通信部２３は、周辺物体センサ１２４の検出信号を車両１０から周辺画像ＰＭ１と共に受信してもよい。次に、画像合成部２５は、ステップＳ１１０において、ステップＳ１００で取得した周辺画像より障害物Ｔ１を検出する。

続いて、画像合成部２５は、ステップＳ１２０において、ステップＳ１００で取得した周辺画像の視点変換を実行する。視点変換は、周辺画像ＰＭ１の視点の俯角と視点の地面からの高さのうち少なくとも一方を、周辺画像ＰＭ１の撮像時よりも大きく変換する。図６に示すように、本実施形態では、周辺画像ＰＭ１の撮像時における俯角θ１と高さｈ１で撮像された周辺画像ＰＭ１を、俯角θ１よりも大きい俯角θ２で、高さｈ１よりも高い高さｈ２でＰＭ１の撮像時よりも車両の進行方向に予め定めた距離ｄｖｃだけ離れた位置から撮像した視点変換画像に変換する。距離ｄｖｃはゼロとしてもよい。変換後の俯角θ２が９０度の視点変換を「鳥瞰変換」と呼ぶ。視点変換を行うと、図７に示すような、真上から見下ろした場合の視点変換画像ＰＭ２が生成される。視点変換では、元の周辺画像ＰＭ１内の全ての物体が地面上にある平面物体であると仮定して座標変換を実行する。このため、立体物である障害物Ｔ１は、視点変換画像ＰＭ２ではその形状が大きく崩れてしまい、物体として識別しにくい状態となる。

次に、画像合成部２５は、ステップＳ１３０において、ステップＳ１１０で検出した周辺画像ＰＭ１における障害物Ｔ１を含む画像領域Ｄ１をステップＳ１２０で変換した視点変換画像ＰＭ２に合成する。図８に示すように、本実施形態では、画像領域Ｄ１を視点変換画像ＰＭ２における障害物Ｔ１を含む画像領域と置き換える合成を行い、合成画像ＰＭ３を生成する。より具体的には、地図上において同一の座標を示す、周辺画像ＰＭ１におけるある座標Ｐ１（図４）と視点変換画像ＰＭ２におけるある座標Ｐ１（図７）が重なるように合成を行う。障害物Ｔ１のみを含む周辺画像ＰＭ１の画像領域を用いて合成を行う場合、画像合成部２５は、視点変換画像ＰＭ２における障害物Ｔ１を示す画像領域と置き換える合成を行うため、視点変換画像ＰＭ２によって区画線を表示しながら、障害物Ｔ１のみ周辺画像ＰＭ１における画像領域で補完できる。なお、ステップＳ１１０を省略して、画像合成部２５は、周辺画像ＰＭ１の一部または全部を視点変換画像ＰＭ２に合成してもよい。また、ステップＳ１１０において、障害物が検出されなかった場合に、周辺画像ＰＭ１の一部または全部を視点変換画像ＰＭ２に合成してもよい。

画像合成部２５は、ステップＳ１４０において、合成画像ＰＭ３に経路生成部２６が生成した経路を描画する。経路生成部２６は、画像合成部２５が推定した物標Ｔ１の種類や、画像合成部２５が補完した物標Ｔ１の死角部分の情報を用いて、走行経路を生成してもよい。最後に、画像合成部２５は、車両１０の車幅を合成画像ＰＭ３に描画する。車幅は、通信部２３を介して車両１０より取得する。本実施形態では、画像合成部２５は、例えば、図９に示すように、車両１０の車幅Ｌ１を示す車幅画像ＷＶをステップＳ１５０において合成画像ＰＭ３に描画した経路ＰＶの上に描画する。画像合成部２５は、自車両１０の位置を示す、自車両のトップビュー画像ＶＬ１を描画してもよい。なお、ステップＳ１４０およびＳ１５０の処理は省略してもよい。

以上で説明した本実施形態の車両遠隔支援システム５００によれば、画像合成部２５が周辺画像ＰＭ１における障害物Ｔ１を含む画像領域Ｄ１と周辺画像ＰＭ１を視点変換した視点変換画像ＰＭ２とを合成するため、車両周辺の画像をオペレータＯＰが見やすい態様で表示できる。

Ｂ．第２実施形態：
図１０に示す第２実施形態の画像合成処理は、ステップＳ１５０の後にステップＳ１６０を追加した点が第１実施形態と異なり、他の工程は第１実施形態と同じである。第２実施形態の車両遠隔支援システムの構成は、第１実施形態の車両遠隔支援システムの構成と同一であるため、車両遠隔支援システムの構成の説明は省略する。

第２実施形態では、画像合成部２５は、ステップＳ１６０において、ステップＳ１５０で車幅を描画した合成画像ＰＭ３と地図画像とを合成する。図１１に示すように、画像合成部２５は、地図画像ＰＭ４の車線位置と合成画像ＰＭ３の車線位置とが一致するように、合成して合成画像ＰＭ５を生成する。なお、ステップＳ１６０の処理は、ステップＳ１５０の後のタイミングに限らず、例えば、ステップＳ１２０とＳ１３０との間で行ってもよい。

以上で説明した本実施形態の車両遠隔支援システム５００によれば、画像合成部２５が周辺画像ＰＭ１と周辺画像ＰＭ１を視点変換した視点変換画像ＰＭ２と地図画像ＰＭ４とを合成するため、よりオペレータＯＰが車両１０の遠隔操作をしやすい車両周辺の画像を表示できる。

Ｃ．その他の実施形態：
上記実施形態において、画像合成部２５は、ステップＳ１３０において、周辺画像ＰＭ１における看板等の文字情報が含まれる画像領域を視点変換画像ＰＭ２に合成してもよい。

また、上記実施形態において、画像合成部２５は、合成として、合成対象である画像領域を置き換えているが、合成対象である画像領域を並べてもよい。画像合成部２５は、合成において、合成対象である画像領域を並べることと、合成対象である画像領域を置き換えることの少なくとも一方を行うことが好ましい。

本発明は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。

１０ 車両、２０ 管制センタ、２１ 画像表示部、２２ 遠隔操縦部、２２ａ ハンドル、２２ｂ マウス、２３ 通信部、２４ データベース、２５ 画像合成部、２６ 経路生成部、１００ 自動運転システム、１１０ 制御部、１１２ 状況判定部、１１４ 画像送信部、１１６ 車両情報送信部、１２２ 周辺認識カメラ、１２４ 周辺物体センサ、１２６ 自車位置センサ、２００ 通信部、２１０ 運転制御ＥＣＵ、２２０ 駆動力制御ＥＣＵ、２３０ 制動力制御ＥＣＵ、２４０ 操舵制御ＥＣＵ、２５０ 車載ネットワーク、５００ 車両遠隔支援システム、ＯＰ オペレータ

Claims (8)

1. 車両遠隔支援システム（５００）であって、
   自動運転を実行する自動運転システム（１００）を有する車両（１０）と、
   オペレータ（ＯＰ）を有する管制センタ（２０）と、を備え、
   前記車両は、
   前記自動運転が困難な場合に前記車両の周辺画像の送信と共に前記オペレータによる遠隔操縦を前記管制センタに要求する制御部（１１０）を備え、
   前記管制センタは、
   前記オペレータが前記車両を遠隔操縦する遠隔操縦部（２２）と、
   前記車両から前記周辺画像を受信する通信部（２３）と、
   前記周辺画像を表示する画像表示部（２１）と、
   前記周辺画像と前記周辺画像を視点変換した視点変換画像とを合成し、合成した合成画像を前記画像表示部に表示する画像合成部（２５）と、を備え、
   前記視点変換は、前記周辺画像の視点の俯角と前記視点の地面からの高さのうち少なくとも一方を、前記周辺画像の撮像時よりも大きく変換する、車両遠隔支援システム。
2. 請求項１に記載の車両遠隔支援システムであって、
   前記画像合成部は、前記周辺画像の中から前記車両の予め定められた距離以内に存在し、かつ、前記車両の走行に影響があることを示す予め定められた条件を満たす障害物を検出し、前記周辺画像から前記障害物を含む画像領域を抽出して、前記視点変換画像における前記障害物を含む画像領域に置き換える、車両遠隔支援システム。
3. 請求項２に記載の車両遠隔支援システムであって、
   前記管制センタは、更に、
   前記車両の前記遠隔操縦における前記車両の走行経路を生成する経路生成部（２６）と、を備え
   前記画像合成部は、前記合成画像に前記走行経路を描画する、車両遠隔支援システム。
4. 請求項３に記載の車両遠隔支援システムであって、
   前記画像合成部は、前記周辺画像を解析することによって前記障害物の種類を推定し、
   前記経路生成部は、前記画像合成部が推定した前記障害物の種類を用いて前記走行経路を生成する、車両遠隔支援システム。
5. 請求項３または請求項４に記載の車両遠隔支援システムであって、
   前記画像合成部は、前記通信部が他車両から取得した前記障害物の位置情報を用いて、前記障害物の死角部分における情報を補完し、
   前記経路生成部は、前記画像合成部が補完した前記障害物の死角部分における情報を用いて前記走行経路を生成する、車両遠隔支援システム。
6. 請求項３から請求項５のうちいずれか一項に記載の車両遠隔支援システムであって、
   前記画像合成部は、前記車両より取得した前記車両の車幅を前記合成画像に描画する、車両遠隔支援システム。
7. 請求項１から請求項６のうちいずれか一項に記載の車両遠隔支援システムであって、
   前記管制センタは、更に、
   地図画像を記憶したデータベース（２４）と、を備え、
   前記画像合成部は、前記地図画像と前記周辺画像と前記視点変換画像とを合成する、車両遠隔支援システム。
8. 請求項１から請求項７のうちいずれか一項に記載の車両遠隔支援システムであって、
   前記画像合成部は、前記合成において、合成対象である画像領域を並べることと、合成対象である画像領域を置き換えることの少なくとも一方を行う、車両遠隔支援システム。

Images