JP2022174921A - 車両遠隔指示システム - Google Patents

Abstract

【課題】自動運転から遠隔運転に切り替わる際、遠隔コマンダが遠隔指示の判断を行うための遠隔自動運転車両の経路の情報を、遠隔コマンダに対して適切に提供する。【解決手段】車両遠隔指示システムは、自動運転と、遠隔コマンダからの遠隔指示に基づいて走行する遠隔運転とを実行可能な遠隔自動運転車両と、遠隔自動運転車両の前方画像を出力する出力部を有し、前方画像を用いて遠隔コマンダが遠隔運転に関する遠隔指示を行う遠隔指示装置と、を備える。遠隔指示装置は、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両の周辺状況に基づいて、遠隔自動運転車両の経路を遠隔コマンダに認識させるための経路認識補助画像が重畳された前方画像である重畳画像を生成する重畳画像生成部と、重畳画像を出力部に表示させて遠隔コマンダに対して情報提供を行う情報提供部と、を有する。【選択図】図１４

Description

本発明は、遠隔コマンダからの遠隔指示に基づいて遠隔自動運転車両を走行させる車両遠隔指示システムに関する。

例えば、特許文献１には、自律走行が可能な移動体を遠隔操作するときに、自律走行軌道を遠隔操作画面に重畳描画する移動体遠隔操作システムが記載されている。

特開２０１９－０１６１８８号公報

遠隔自動運転車両は、自動運転と、遠隔コマンダからの遠隔指示に基づいて走行する遠隔運転とを実行可能である。遠隔自動運転車両から遠隔指示が要求されていない場合、遠隔コマンダは、通常、遠隔指示の判断を行うための遠隔自動運転車両の経路などの情報を認識していない状態にある。そのため、自動運転から遠隔運転に切り替わる際に、遠隔自動運転車両の周辺状況によっては例えば道路上の標示が視認できないなどの状況となる可能性があり、遠隔コマンダが遠隔自動運転車両の経路を直ちに把握することが難しいという問題が生じ得る。そこで、本技術分野では、自動運転から遠隔運転に切り替わる際、遠隔コマンダが遠隔指示の判断を行うための遠隔自動運転車両の経路の情報を、遠隔コマンダに対して適切に提供することが求められている。

本発明の一側面は、自動運転と、遠隔コマンダからの遠隔指示に基づいて走行する遠隔運転とを実行可能な遠隔自動運転車両と、遠隔自動運転車両の前方画像を出力する出力部を有し、前方画像を用いて遠隔コマンダが遠隔運転に関する遠隔指示を行う遠隔指示装置と、を備える車両遠隔指示システムであって、遠隔指示装置は、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両の周辺状況に基づいて、遠隔自動運転車両の経路を遠隔コマンダに認識させるための経路認識補助画像が重畳された前方画像である重畳画像を生成する重畳画像生成部と、重畳画像を出力部に表示させて遠隔コマンダに対して情報提供を行う情報提供部と、を有する。

本発明の一側面に係る車両遠隔指示システムによれば、遠隔指示装置は、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両の周辺状況に基づいて、重畳画像を生成する重畳画像生成部を有する。重畳画像は、遠隔自動運転車両の経路を遠隔コマンダに認識させるための経路認識補助画像が重畳された前方画像である。情報提供部は、重畳画像を出力部に表示させて遠隔コマンダに対して情報提供を行う。これにより、遠隔コマンダは、自動運転から遠隔運転に切り替わる際、前方画像に重畳された経路認識補助画像を参照することで、遠隔自動運転車両の周辺状況に応じた遠隔自動運転車両の経路を認識することが容易となる。したがって、車両遠隔指示システムによれば、自動運転から遠隔運転に切り替わる際、遠隔コマンダが遠隔指示の判断を行うための遠隔自動運転車両の経路の情報を、遠隔コマンダに対して適切に提供することが可能となる。

一実施形態では、重畳画像生成部は、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両の周辺状況に基づいて、経路認識補助画像の前方画像への重畳表示の要否を判定し、情報提供部は、重畳画像生成部によって重畳表示が不要と判定された場合、経路認識補助画像が重畳されない前方画像を出力部に表示させて遠隔コマンダに対して情報提供を行ってもよい。この場合、例えば前方画像中において経路認識補助画像と交通情報物体とが干渉することが抑制されるため、遠隔コマンダによる交通情報物体の認識を経路認識補助画像が妨げることを抑制できる。

一実施形態では、遠隔指示装置は、経路認識補助画像の表示のために用いる遠隔自動運転車両の位置及び目的地の情報を含む表示用情報を遠隔自動運転車両からの送信に応じて取得すると共に、取得した表示用情報に基づいて遠隔自動運転車両の進路を取得する進路取得部を有してもよい。この場合、遠隔自動運転車両側で生成した進路を用いずに経路認識補助画像を生成することができるため、遠隔自動運転車両側で生成した進路の情報を送信することが通信負担となる場合に通信負担の増大を抑制することができる。

本発明によれば、自動運転から遠隔運転に切り替わる際、遠隔コマンダが遠隔指示の判断を行うための遠隔自動運転車両の経路の情報を、遠隔コマンダに対して適切に提供することが可能となる。

実施形態に係る車両遠隔指示システムの全体像の一例を示す図である。 遠隔自動運転車両の構成の一例を示すブロック図である。 遠隔指示サーバのハードウェア構成の一例を示すブロック図である。 遠隔指示装置の構成の一例を示すブロック図である。 経路認識補助画像を例示する重畳画像例である。 経路認識補助画像を例示する重畳画像例である。 重畳表示が不要となる経路認識補助画像を例示する重畳画像の仮想例である。 重畳表示が不要となる経路認識補助画像を例示する重畳画像の仮想例である。 重畳表示が不要となる経路認識補助画像を例示する重畳画像の仮想例である。 重畳表示が不要となる経路認識補助画像を例示する重畳画像の仮想例である。 重畳表示が要となる経路認識補助画像を例示する重畳画像例である。 重畳表示が要となる経路認識補助画像を例示する重畳画像例である。 自動運転ＥＣＵの処理例を示すフローチャートである。 遠隔指示装置の処理例を示すフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の説明において、同一又は相当する要素同士には同一符号を付し、重複する説明を省略する。

図１は、実施形態に係る車両遠隔指示システムの全体像の一例を示す図である。図１に示される車両遠隔指示システム１００は、遠隔自動運転車両２の外部環境を検出する外部センサ２２の検出情報に基づいて、遠隔コマンダＲが遠隔自動運転車両２の走行に関する遠隔指示を行うシステムである。遠隔指示とは、遠隔自動運転車両２の走行に関する遠隔コマンダＲの指示である。

遠隔指示には、遠隔自動運転車両２の進行の指示及び遠隔自動運転車両２の停止の指示が含まれる。遠隔指示には、遠隔自動運転車両２の車線変更の指示が含まれていてもよい。また、遠隔指示には、前方の障害物に対するオフセット回避の指示、先行車の追い越しの指示、緊急退避の指示等が含まれていてもよい。

［車両遠隔指示システムの構成］
図１に示されるように、車両遠隔指示システム１００は、遠隔コマンダＲが遠隔指示を入力する遠隔指示装置１を備えている。遠隔指示装置１は、ネットワークＮを介して複数台の遠隔自動運転車両２と通信可能に接続されている。ネットワークＮは無線通信ネットワークである。遠隔指示装置１には、遠隔自動運転車両２から各種の情報が送られる。

車両遠隔指示システム１００では、例えば遠隔自動運転車両２からの遠隔指示要求に応じて、遠隔コマンダＲに遠隔指示の入力が要求される。遠隔コマンダＲは、遠隔自動運転車両２の前方の撮像画像を参照しながら（前方画像を用いて）、遠隔指示装置１のコマンダインターフェース３に遠隔指示を入力する。遠隔指示装置１は、ネットワークＮを通じて遠隔自動運転車両２に遠隔指示を送信する。遠隔自動運転車両２は、遠隔指示に従って自動で走行する。

なお、車両遠隔指示システム１００において遠隔コマンダＲの人数は一人であってもよく、二人以上であってもよい。車両遠隔指示システム１００と通信可能な遠隔自動運転車両２の台数も特に限定されない。複数人の遠隔コマンダＲが交替して一台の遠隔自動運転車両２に対する遠隔指示を行う態様であってもよく、一人の遠隔コマンダＲが二台以上の遠隔自動運転車両２に対して遠隔指示を行う態様であってもよい。

［自動運転車両の構成］
まず、遠隔自動運転車両２の構成の一例について説明する。図２は、遠隔自動運転車両２の構成の一例を示すブロック図である。図２に示すように、遠隔自動運転車両２は、一例として、自動運転ＥＣＵ２０を有している。自動運転ＥＣＵ２０は、ＣＰＵ［Central Processing Unit］、ＲＯＭ［Read Only Memory］、ＲＡＭ［Random Access Memory］等を有する電子制御ユニットである。自動運転ＥＣＵ２０では、例えば、ＲＯＭに記録されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。自動運転ＥＣＵ２０は、複数の電子ユニットから構成されていてもよい。

自動運転ＥＣＵ２０は、ＧＰＳ［Global Positioning System］受信部２１、外部センサ２２、内部センサ２３、地図データベース２４、通信部２５、及び、アクチュエータ２６と接続されている。

ＧＰＳ受信部２１は、３個以上のＧＰＳ衛星から信号を受信することにより、遠隔自動運転車両２の位置（例えば遠隔自動運転車両２の緯度及び経度）を測定する。ＧＰＳ受信部２１は、測定した遠隔自動運転車両２の位置情報を自動運転ＥＣＵ２０へ送信する。

外部センサ２２は、遠隔自動運転車両２の周囲の外部環境を検出する車載センサである。外部センサ２２は、検出した検出情報（センサ情報）を自動運転ＥＣＵ２０へ送信する。

具体的に、外部センサ２２は、カメラを少なくとも含む。カメラは、遠隔自動運転車両２の外部環境を撮像する撮像機器である。カメラは、例えば遠隔自動運転車両２のフロントガラスの裏側に設けられ、車両前方を撮像する。カメラは、遠隔自動運転車両２の外部環境に関する画像情報を自動運転ＥＣＵ２０へ送信する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。また、カメラは、可視光を用いたカメラであってもよく、赤外線カメラであってもよい。

外部センサ２２は、レーダセンサを含んでもよい。レーダセンサは、電波（例えばミリ波）又は光を利用して遠隔自動運転車両２の周辺の物体を検出する検出機器である。レーダセンサには、例えば、レーダ（ミリ波レーダ）又はライダー［LiDAR：Light Detection and Ranging］が含まれる。レーダセンサは、電波又は光を遠隔自動運転車両２の周辺に送信し、物体で反射された電波又は光を受信することで物体を検出する。レーダセンサは、検出した物体情報を自動運転ＥＣＵ２０へ送信する。物体には、ガードレール、建物等の固定物体の他、歩行者、自転車、他車両等の移動物体が含まれる。

内部センサ２３は、遠隔自動運転車両２の走行状態を検出する車載センサである。内部センサ２３は、車速センサ、加速度センサ、及びヨーレートセンサを含んでいる。車速センサは、遠隔自動運転車両２の速度を検出する検出器である。車速センサとしては、遠隔自動運転車両２の車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、各車輪の回転速度を検出する車輪速センサを用いることができる。車速センサは、検出した車速情報（車輪速情報）を自動運転ＥＣＵ２０に送信する。

加速度センサは、遠隔自動運転車両２の加速度を検出する検出器である。加速度センサは、例えば、遠隔自動運転車両２の前後方向の加速度を検出する前後加速度センサを含んでいる.加速度センサは、遠隔自動運転車両２の横加速度を検出する横加速度センサを含んでいてもよい。加速度センサは、例えば、遠隔自動運転車両２の加速度情報を自動運転ＥＣＵ２０に送信する。ヨーレートセンサは、遠隔自動運転車両２の重心の鉛直軸周りのヨーレート（回転角速度）を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。ヨーレートセンサは、検出した遠隔自動運転車両２のヨーレート情報を自動運転ＥＣＵ２０へ送信する。

地図データベース２４は、地図情報を記録するデータベースである。地図データベース２４は、例えば、遠隔自動運転車両２に搭載されたＨＤＤ［Hard Disk Drive］等の記録装置内に形成されている。地図情報には、道路の位置情報、道路形状の情報（例えば曲率情報）、交差点及び分岐点の位置情報等が含まれる。地図情報には、位置情報と関連付けられた法定最高速度等の交通規制情報が含まれていてもよい。地図情報には、遠隔自動運転車両２の位置情報の取得に用いられる物標情報が含まれていてもよい。物標としては、道路標識、路面標示、信号機、電柱等を用いることができる。地図データベース２４は、遠隔自動運転車両２と通信可能なサーバに構成されていてもよい。

通信部２５は、遠隔自動運転車両２の外部との無線通信を制御する通信デバイスである。通信部２５は、ネットワークＮを介して遠隔指示装置１（遠隔指示サーバ１０）と各種情報の送信及び受信を行う。

アクチュエータ２６は、遠隔自動運転車両２の制御に用いられる機器である。アクチュエータ２６は、駆動アクチュエータ、ブレーキアクチュエータ、及び操舵アクチュエータを少なくとも含む。駆動アクチュエータは、例えば、自動運転ＥＣＵ２０からの制御信号に応じてエンジンに対する空気の供給量（スロットル開度）を制御し、遠隔自動運転車両２の駆動力を制御する。なお、遠隔自動運転車両２がハイブリッド車である場合には、エンジンに対する空気の供給量の他に、動力源としてのモータに自動運転ＥＣＵ２０からの制御信号が入力されて当該駆動力が制御される。遠隔自動運転車両２が電気自動車である場合には、動力源としてのモータに自動運転ＥＣＵ２０からの制御信号が入力されて当該駆動力が制御される。これらの場合における動力源としてのモータは、アクチュエータ２６を構成する。

ブレーキアクチュエータは、自動運転ＥＣＵ２０からの制御信号に応じてブレーキシステムを制御し、遠隔自動運転車両２の車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば、液圧ブレーキシステムを用いることができる。操舵アクチュエータは、電動パワーステアリングシステムのうち操舵トルクを制御するアシストモータの駆動を自動運転ＥＣＵ２０からの制御信号に応じて制御する。これにより、操舵アクチュエータは、遠隔自動運転車両２の操舵トルクを制御する。

次に、自動運転ＥＣＵ２０の機能的構成の一例について説明する。自動運転ＥＣＵ２０は、車両位置取得部３１、外部環境認識部３２、走行状態認識部３３、遠隔指示判定部３４、表示用情報取得部３５、表示用情報送信部３６、進路生成部３７、及び自動運転制御部３８を有している。

車両位置取得部３１は、ＧＰＳ受信部２１の位置情報及び地図データベース２４の地図情報に基づいて、遠隔自動運転車両２の位置情報（地図上の位置）を取得する。車両位置取得部３１は、地図データベース２４の地図情報に含まれた物標情報及び外部センサ２２の検出結果を利用して、ＳＬＡＭ［Simultaneous Localization and Mapping］技術により遠隔自動運転車両２の位置情報を取得してもよい。車両位置取得部３１は、車線の区画線と遠隔自動運転車両２の位置関係から、車線に対する遠隔自動運転車両２の横位置（車線幅方向における遠隔自動運転車両２の位置）を認識して位置情報に含めてもよい。車両位置取得部３１は、その他、周知の手法により遠隔自動運転車両２の位置情報を取得してもよい。

外部環境認識部３２は、外部センサ２２の検出結果に基づいて、遠隔自動運転車両２の外部環境を認識する。外部環境には、遠隔自動運転車両２に対する周囲の物体の相対位置が含まれる。外部環境には、遠隔自動運転車両２に対する周囲の物体の相対速度及び移動方向が含まれていてもよい。外部環境には、他車両、歩行者、自転車等の物体の種類が含まれてもよい。物体の種類は、パターンマッチング等の周知の手法により識別することができる。外部環境には、遠隔自動運転車両２の周囲の区画線認識（白線認識）の結果が含まれていてもよい。外部環境には、信号機の点灯状態の認識結果が含まれていてもよい。外部環境認識部３２は、例えば、外部センサ２２のカメラの画像に基づいて、遠隔自動運転車両２の前方の信号機の点灯状態（通過可能な点灯状態であるか、通過禁止の点灯状態であるか等）を認識できる。

走行状態認識部３３は、内部センサ２３の検出結果に基づいて、遠隔自動運転車両２の走行状態を認識する。走行状態には、遠隔自動運転車両２の車速、遠隔自動運転車両２の加速度、遠隔自動運転車両２のヨーレートが含まれる。具体的に、走行状態認識部３３は、車速センサの車速情報に基づいて、遠隔自動運転車両２の車速を認識する。走行状態認識部３３は、加速度センサの車速情報に基づいて、遠隔自動運転車両２の加速度を認識する。走行状態認識部３３は、ヨーレートセンサのヨーレート情報に基づいて、遠隔自動運転車両２の向きを認識する。

遠隔指示判定部３４は、遠隔自動運転車両２が遠隔コマンダＲ（遠隔指示装置１）に遠隔指示を要求すべきか否かを判定する。遠隔指示判定部３４は、車両位置取得部３１の取得した遠隔自動運転車両２の位置情報及び地図データベース２４の地図情報と、外部環境認識部３２の認識した外部環境と、後述する進路生成部３７の生成した進路とのうち少なくとも一つに基づいて、遠隔指示を要求すべきか否かを判定する。

遠隔指示判定部３４は、例えば遠隔自動運転車両２が遠隔指示対象状況になった場合に、遠隔指示を要求すべきと判定する。遠隔指示対象状況とは、自動運転車両が遠隔指示装置１に遠隔指示を要求すべき状況として予め設定された状況である。

遠隔指示対象状況には、例えば、遠隔自動運転車両２が交差点を右折又は左折する状況、信号機付き又は信号機無しの交差点に進入する状況、合流箇所に差し掛かる状況、ラウンドアバウトに進入する状況、横断歩道を通過する状況、前方の停止車両又は障害物が存在する状況、工事区間の回避のために車線変更する状況、前方の障害物に対するオフセット回避の判断が求められる状況、停止していた自動運転車両が発進する状況、自動運転車両が乗車地点又は目的地に停車する状況のうち少なくとも一つの状況が含まれていてもよい。なお、車両が右側通行の国又は地域の場合には、交差点を右折する状況に代えて交差点を左折する状況とすることができる。

遠隔指示判定部３４は、例えば、遠隔自動運転車両２が交差点に進入する状況又は交差点を右折する状況になった場合、遠隔指示を要求すべきと判定する。遠隔指示判定部３４は、遠隔自動運転車両２の前方にオフセット回避すべき障害物が存在する場合に、遠隔指示を要求すべきと判定してもよい。

遠隔指示判定部３４は、例えば、遠隔自動運転車両２の位置情報、地図情報、及び目標ルートから、遠隔自動運転車両２が交差点を右折する状況になったこと、遠隔自動運転車両２が信号機付き交差点に進入する状況になったこと、又は遠隔自動運転車両２が車線変更を開始する状況になったこと、などを認識できる。

遠隔指示判定部３４は、遠隔指示を要求すべきと判定した場合、遠隔指示サーバ１０に対して遠隔コマンダＲによる遠隔指示を要求する。遠隔指示の要求には、例えば遠隔自動運転車両２の識別情報が含まれる。なお、遠隔指示判定部３４は、予め余裕をもって遠隔指示を要求してもよい。遠隔指示判定部３４は、遠隔指示の対象となる交差点等と遠隔自動運転車両２との距離が一定距離以下になった場合に、遠隔指示を要求すべきと判定してもよい。距離ではなく到達までの残り時間を用いてもよい。

表示用情報取得部３５は、自動運転ＥＣＵ２０の演算結果に基づいて、表示用情報を取得する。表示用情報は、遠隔自動運転車両２の経路を遠隔コマンダＲに認識させる画像（経路認識補助画像）の表示のために遠隔指示装置１で用いられる情報である。

表示用情報には、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の位置、目的地、及び、走行状態（例えば車速）の情報が含まれる。表示用情報としての遠隔自動運転車両２の位置、目的地、及び、走行状態は、自動運転システムの動作範囲［ＯＤＤ：operation design domain］の範囲外の情報であってもよい。ＯＤＤとは、自動運転システムが設計どおりに動作する範囲である。

表示用情報には、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の周辺状況が含まれる。遠隔自動運転車両２の周辺状況には、遠隔自動運転車両２の外部センサ２２で検出された遠隔自動運転車両２の外部環境が含まれる。遠隔自動運転車両２の周辺状況には、遠隔自動運転車両２の外部センサ２２（カメラ）で撮像された遠隔自動運転車両２の前方画像が含まれる。前方画像は、遠隔自動運転車両２のカメラが撮像した遠隔自動運転車両２の前方の画像である。前方画像は、例えば、前方の景色の画像、遠隔自動運転車両２の俯瞰画像などである。

表示用情報には、車両側経路の情報が含まれてもよい。車両側経路は、後述の進路生成部３７によって生成された経路であって、自動運転から遠隔運転に切り替わる際の経路である。

表示用情報取得部３５は、例えば、表示用情報のデータ容量等に基づいて、公知の手法により、遠隔自動運転車両２と遠隔指示装置１との間の通信への負荷の情報を表示用情報として取得してもよい。

表示用情報取得部３５は、例えば、遠隔自動運転車両２の自動運転情報の信頼度を表示用情報として取得してもよい。自動運転情報の信頼度とは、遠隔指示装置１が遠隔コマンダＲに遠隔自動運転車両２の経路を提供するために用いる遠隔自動運転車両２から送信された情報の信頼度を意味する。自動運転情報の信頼度が低下する状況としては、例えば、遠隔自動運転車両２の周辺に存在する他車両によって進路生成部３７で生成される経路が制限（例えば経路の延在長の制限）される状況、遠隔自動運転車両２の周辺の交通環境が混雑しており短時間のうちに遠隔自動運転車両２の経路が変更となる状況、遠隔自動運転車両２の周辺の道路環境が複雑であり経路生成の精度が低下する状況、車両位置取得部３１の位置情報（例えばローカライズ）が不安定となる状況、外部センサ２２の一部が故障している状況、及び、遠隔自動運転車両２が自動運転システムの動作範囲を走行している状況、などが挙げられる。

表示用情報送信部３６は、表示用情報取得部３５で取得した表示用情報を遠隔指示装置１に送信する。表示用情報送信部３６は、例えば、遠隔指示判定部３４によって遠隔指示を要求すべきと判定された場合、遠隔自動運転車両２の位置、目的地、走行状態（車速）及び周辺状況（外部環境、前方画像）を、表示用情報として遠隔指示装置１に送信する。表示用情報送信部３６は、通信の負荷の情報及び自動運転情報の信頼度を、表示用情報として遠隔指示装置１に送信してもよい。

なお、表示用情報送信部３６は、進路生成部３７で生成された車両側経路の情報のデータ容量等に基づいて、遠隔自動運転車両２と遠隔指示装置１との間の通信への負荷が所定負荷未満であることを条件に、車両側経路の情報を遠隔指示装置１に送信するようにしてもよい。この場合、通信負荷が所定負荷よりも大きい場合に車両側経路の情報の送信を省くことで、通信負荷の増大を抑制でき、遠隔指示装置１における遠隔コマンダＲへの情報の提示の応答性の低下を抑制できる。

進路生成部３７は、遠隔自動運転車両２の自動運転に利用される進路［trajectory］を生成する。進路生成部３７は、予め設定された目標ルート、地図情報、遠隔自動運転車両２の位置情報、遠隔自動運転車両２の外部環境、及び遠隔自動運転車両２の走行状態に基づいて、自動運転の進路を生成する。進路は自動運転の走行計画に相当する。

進路には、自動運転で車両が走行する経路［path］と自動運転における車速計画とが含まれる。経路は、目標ルート上において自動運転中の車両が走行する予定の軌跡である。経路は、例えば目標ルート上の位置に応じた遠隔自動運転車両２の操舵角変化のデータ（操舵角計画）とすることができる。目標ルート上の位置とは、例えば目標ルートの進行方向において所定間隔（例えば１ｍ）毎に設定された設定縦位置である。操舵角プロファイルとは、設定縦位置毎に目標操舵角が関連付けられたデータとなる。

目標ルートは、例えば目的地、地図情報、及び遠隔自動運転車両２の位置情報に基づいて設定される。目標ルートは、さらに渋滞等の交通情報を考慮して設定されてもよい。目標ルートは、周知のナビゲーションシステムによって設定されてもよい。目的地は遠隔自動運転車両２の乗員によって設定されてもよく、自動運転ＥＣＵ２０又はナビゲーションシステムが自動的に提案してもよい。

進路生成部３７は、例えば目標ルート、地図情報、遠隔自動運転車両２の外部環境、及び遠隔自動運転車両２の走行状態に基づいて、遠隔自動運転車両２が走行する経路を生成する。進路生成部３７は、例えば遠隔自動運転車両２が目標ルートに含まれる車線の中央（車線幅方向における中央）を通るように経路を生成する。

車速計画は、例えば設定縦位置毎に目標車速が関連付けられたデータである。なお、設定縦位置は、距離ではなく遠隔自動運転車両２の走行時間を基準として設定されてもよい。設定縦位置は、例えば車両の１秒後の到達位置、車両の２秒後の到達位置として設定されていてもよい。この場合には、車速計画も走行時間に応じたデータとして表現できる。

進路生成部３７は、例えば経路と地図情報に含まれる法定最高速度等の交通規制情報に基づいて車速計画を生成する。法定最高速度に代えて、地図上の位置又は区間に対して予め設定された速度を用いてもよい。進路生成部３７は、経路及び車速計画から自動運転の進路を生成する。なお、進路生成部３７における進路の生成方法は上述した内容に限定されず、自動運転に関する周知の手法を採用することができる。進路の内容についても同様である。

自動運転制御部３８は、遠隔自動運転車両２の自動運転を実行する。自動運転制御部３８は、例えば遠隔自動運転車両２の外部環境、遠隔自動運転車両２の走行状態、及び進路生成部３７の生成した進路に基づいて、遠隔自動運転車両２の自動運転を実行する。自動運転制御部３８は、アクチュエータ２６に制御信号を送信することで、遠隔自動運転車両２の自動運転を行う。

自動運転制御部３８は、遠隔指示判定部３４により遠隔指示サーバ１０に対して遠隔指示が要求された場合、遠隔指示サーバ１０からの遠隔指示の受信を待つ。自動運転制御部３８は、遠隔自動運転車両２が停車してから遠隔指示を要求した場合、遠隔指示を受信するまで停車状態を維持する。

［遠隔指示装置の構成］
以下、遠隔指示装置１の構成について図面を参照して説明する。図１に示されるように、遠隔指示装置１は、遠隔指示サーバ１０、及びコマンダインターフェース３を有している。

まず、遠隔指示サーバ１０のハードウェア構成について説明する。図３は、遠隔指示サーバ１０のハードウェア構成の一例を示すブロック図である。図３に示されるように、遠隔指示サーバ１０は、プロセッサ１０ａ、記憶部１０ｂ、通信部１０ｃ及びユーザインターフェース１０ｄを備えた一般的なコンピュータとして構成されている。この場合のユーザは遠隔指示サーバ１０のユーザ（管理者等）を意味している。

プロセッサ１０ａは、各種オペレーティングシステムを動作させて遠隔指示サーバ１０を制御する。プロセッサ１０ａは、制御装置、演算装置、レジスタ等を含むＣＰＵ等の演算器である。プロセッサ１０ａは、記憶部１０ｂ、通信部１０ｃ及びユーザインターフェース１０ｄを統括する。記憶部１０ｂは、メモリ及びストレージのうち少なくとも一方を含んで構成されている。メモリは、ＲＯＭ、ＲＡＭ等の記録媒体である。ストレージは、ＨＤＤ等の記録媒体である。

通信部１０ｃは、ネットワークＮを介した通信を行うための通信機器である。通信部１０ｃには、ネットワークデバイス、ネットワークコントローラ、ネットワークカード等を用いることができる。ユーザインターフェース１０ｄは、管理者等のユーザに対する遠隔指示サーバ１０の入出力部である。ユーザインターフェース１０ｄは、ディスプレイ、スピーカ等の出力器、及び、タッチパネル等の入力器を含む。なお、遠隔指示サーバ１０は、必ずしも施設に設けられている必要はなく、車両等の移動体に搭載されていてもよい。

図４は、遠隔指示装置１の構成の一例を示すブロック図である。図４に示されるように、コマンダインターフェース３は、遠隔コマンダＲに対する遠隔指示装置１の入出力部である。コマンダインターフェース３は、出力部３ａ及び指示入力部３ｂを有している。

出力部３ａは、遠隔コマンダＲに対して遠隔自動運転車両２の遠隔指示に用いる情報を出力する機器である。出力部３ａは、画像を出力するディスプレイと音を出力するスピーカとを含む。

ディスプレイには、一例として、遠隔自動運転車両２のカメラが撮像した遠隔自動運転車両２の前方画像（前方の景色の画像）が表示される。また、後述するように、ディスプレイには、遠隔自動運転車両２のカメラが撮像した遠隔自動運転車両２の前方画像に経路認識補助画像を重ね合わせた重畳画像を表示させることができる。ディスプレイは、複数の表示画面を有していてもよく、遠隔自動運転車両２の側方及び／又は後方の画像が表示されてもよい。ディスプレイは、遠隔コマンダＲに視覚情報を提供できる構成であれば特に限定されない。ディスプレイは、遠隔コマンダＲの目を覆うように装着されるウェアラブルデバイスであってもよい。

スピーカは、例えば遠隔コマンダＲの頭に装着されるヘッドセットスピーカである。スピーカは、例えば、遠隔自動運転車両２の状況（例えば交差点の右折時である等の状況）を音声により遠隔コマンダＲに伝える。スピーカは、必ずしもヘッドセットである必要はなく、設置型であってもよい。

出力部３ａは、振動によって遠隔コマンダＲに情報を提供してもよい。出力部３ａは、例えば遠隔コマンダＲのシートに設けられた振動アクチュエータを有してもよい。出力部３ａは、遠隔自動運転車両２に対する他車両の接近等を振動によって遠隔コマンダＲに注意喚起してもよい。出力部３ａは、シートの左右それぞれに振動アクチュエータを有しており、他車両の接近方向等に応じた位置の振動アクチュエータを振動させてもよい。なお、出力部３ａは、遠隔コマンダＲの体に装着するウェアラブル型の振動アクチュエータを有していてもよい。出力部３ａは、体の各位置に装着された振動アクチュエータを他車両の接近方向等に応じて振動させることで遠隔コマンダＲに情報提供を行うことができる。

指示入力部３ｂは、遠隔コマンダＲにより遠隔指示が入力される機器である。指示入力部３ｂは、例えば操作レバーを有している。指示入力部３ｂでは、例えば、操作レバーを遠隔コマンダＲの前後方向の奥側に倒すことで遠隔自動運転車両２を進行させる遠隔指示が入力され、操作レバーを遠隔コマンダＲの前後方向の手前側に倒すことで遠隔自動運転車両２の減速又は停車の遠隔指示が入力される。

指示入力部３ｂは、ボタンを有していてもよく、遠隔コマンダＲがボタンを押しながら操作レバーを倒すことで遠隔指示が入力されてもよい。指示入力部３ｂは、タッチパネルを有していてもよい。タッチパネルは出力部３ａのディスプレイと共通であってもよい。指示入力部３ｂは、操作ペダルを有していてもよい。

指示入力部３ｂは、音声認識の機能を有していてもよく、ジェスチャー認識の機能を有していてもよい。遠隔コマンダＲのジェスチャーは、コマンダインターフェース３に搭載されたカメラ及び／又はレーダセンサ等によって認識できる。指示入力部３ｂでは、操作レバーの操作、ボタンの操作、タッチパネルの操作、操作ペダルの操作、音声入力、ジェスチャーのうち二つ以上を組み合わせることで遠隔指示を入力可能としてもよい。

次に、遠隔指示サーバ１０の機能的構成について説明する。図４に示されるように、遠隔指示サーバ１０は、遠隔指示要求受信部１１、進路取得部１２、重畳画像生成部１３、情報提供部１４、及び遠隔指示送信部１５を有している。

遠隔指示要求受信部１１は、遠隔自動運転車両２が遠隔指示サーバ１０に遠隔指示を要求した場合に、遠隔指示の要求を受信する。

進路取得部１２は、遠隔自動運転車両２からの送信に応じて、遠隔指示を要求した遠隔自動運転車両２の表示用情報を取得する。進路取得部１２は、取得した表示用情報に基づいて、遠隔指示を要求した遠隔自動運転車両２の進路を取得する。進路取得部１２は、例えば、遠隔指示要求受信部１１で受信した遠隔自動運転車両２の表示用情報に基づいて、遠隔指示を要求した遠隔自動運転車両２の位置から目的地までの当該遠隔自動運転車両２の経路を生成する。このような進路取得部１２による経路の生成により、進路生成部３７で生成された経路を遠隔指示要求受信部１１が受信する場合と比べて、通信量の低減を図ることができる。また、進路生成部３７で生成された経路とは異なる態様での経路の生成が可能であるため、以下で述べる重畳画像の内容について大きい自由度が期待できる。

なお、進路取得部１２は、進路取得部１２が生成した経路と、遠隔指示を要求した遠隔自動運転車両２の進路生成部３７で生成した経路との照合を行ってもよい。進路取得部１２は、進路取得部１２による経路の生成をした後、遠隔指示を要求した遠隔自動運転車両２の位置又は目的地の変化に基づく遠隔自動運転車両２の経路の変化がない場合には、進路取得部１２による経路の再生成（進路の再取得）を省いてもよい。

あるいは、進路取得部１２は、例えば遠隔自動運転車両２と遠隔指示装置１との間の通信への負荷が所定負荷未満であって表示用情報送信部３６によって車両側経路の情報が送信された場合には、遠隔自動運転車両２の位置及び目的地に基づいて進路取得部１２で経路を生成することに代えて、車両側経路を用いて（流用して）、車両側経路のうち自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の経路に相当する重畳経路を取得してもよい。

重畳画像生成部１３は、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の周辺状況に基づいて、重畳画像を生成する。重畳画像は、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の経路を遠隔コマンダＲに認識させるための画像である。重畳画像には、前方画像に経路認識補助画像が重畳され得る。経路認識補助画像は、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の経路を遠隔コマンダＲに認識させるために、前方画像の補助として用いる画像である。重畳画像生成部１３は、例えば、進路取得部１２で取得した経路を用いて、経路認識補助画像及び重畳画像を生成する。

重畳画像生成部１３は、例えば進路取得部１２で取得した経路のうち自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の経路に相当する重畳経路に基づいて、重畳経路を表す画像を経路認識補助画像として生成する。重畳経路は、自動運転から遠隔運転に切り替わる際に前方画像に重畳させるための遠隔自動運転車両２の経路である。

続いて、重畳画像の具体例について説明する。図５は、経路認識補助画像を例示する重畳画像例である。図５（ａ）は、遠隔自動運転車両２が走行している車線から右隣の車線へと車線変更をする際の重畳経路を示す経路認識補助画像の一例を示している。図５（ｂ）は、遠隔自動運転車両２が車線変更をせずそのままの車線を進行する際の重畳経路を示す経路認識補助画像の一例を示している。図５（ｃ）は、遠隔自動運転車両２が走行している車線から右隣の車線へと車線変更をする際の重畳経路を示す経路認識補助画像の他の例を示している。図５（ｄ）は、遠隔自動運転車両２が車線変更をせずそのままの車線を進行する際の重畳経路を示す経路認識補助画像の他の例を示している。

図５（ａ）及び図５（ｂ）に示されるように、重畳経路を示す経路認識補助画像は、前方画像４０中の車線上に直接重畳され、遠隔自動運転車両２の経路に沿って延びる矢印付きの線５０，５１の画像であってもよい。図５（ｃ）及び図５（ｄ）に示されるように、重畳経路を示す経路認識補助画像は、前方画像４０中の車線上に直接重畳され、遠隔自動運転車両２の経路に沿って延びる網掛け領域５２，５３の画像であってもよい。

重畳画像生成部１３は、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の周辺状況に基づいて、遠隔自動運転車両２の周囲の他車両によって前方画像中での路面上の標示の視認が困難となっている場合、経路認識補助画像の種類を変更してもよい。

図６は、経路認識補助画像を例示する重畳画像例である。図６（ａ）には、遠隔自動運転車両２の周囲の他車両２００によって前方画像４１中において路面上の標示の視認が困難となっている状況が示されている。図６（ａ）の例では、重畳画像生成部１３は、遠隔自動運転車両２が進入する交差点への複数の入口車線を表す模式図５４と共に、遠隔自動運転車両２が走行している車線に指定された進行方向を強調する目印５４ａを伏した経路認識補助画像を前方画像４１中の左上部分に重畳させた重畳画像を生成する。この場合、強調する目印５４ａが重畳経路に相当する。

重畳画像生成部１３は、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の周辺状況に基づいて、遠隔自動運転車両２の取り得る進路が複数存在する場合、遠隔自動運転車両２が進行する予定の進路を経路認識補助画像を前方画像に重畳してもよい。

図６（ｂ）には、遠隔自動運転車両２の取り得る進路Ｒ１～Ｒ３が複数存在する状況が示されている。図６（ｂ）の例では、重畳画像生成部１３は、重畳経路を示す経路認識補助画像である破線矢印５５を、前方画像４２中の車線上に直接重畳させた重畳画像を生成する。破線矢印５５は、遠隔自動運転車両２が走行している車線から左隣の車線への車線変更と、左隣の車線からの左折とを含む進路Ｒ３に対応する重畳経路を示す。

重畳画像生成部１３は、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の周辺状況に基づいて、経路認識補助画像の前方画像への重畳表示の要否を判定してもよい。重畳表示とは、ある種類の経路認識補助画像を前方画像に重畳させて表示することを意味する。

重畳画像生成部１３は、例えば、ある種類の経路認識補助画像について、自動運転から遠隔運転に切り替わる際の前方画像に経路認識補助画像を重畳させて標示させたと仮定したときに、前方画像中において経路認識補助画像と交通情報物体とが干渉しないと判定される場合に、重畳表示が要と判定してもよい。交通情報物体とは、遠隔自動運転車両２の経路を遠隔コマンダＲに認識させる際に、交通上の情報として遠隔コマンダＲが併せて認識することが必要な前方画像中の物体である。交通情報物体としては、例えば、信号機、横断歩道、路面上の標示、道路標識、踏切（遮断機）などが挙げられる。なお、重畳画像生成部１３は、上述の仮定をしたときに、前方画像中において経路認識補助画像と交通情報物体とが干渉すると判定される場合には、遠隔コマンダＲが交通情報物体を認識することの妨げとなるため、重畳表示が不要と判定してもよい。

図７は、重畳表示が不要となる経路認識補助画像を例示する重畳画像の仮想例である。図７では、遠隔自動運転車両２の前方に信号機ＳＧ及び横断歩道ＣＲ（交通情報物体）が存在しており、遠隔自動運転車両２が横断歩道ＣＲを通過するように進行しようとする場面が示されている。重畳経路を示す経路認識補助画像として太矢印５６が示されている。太矢印５６は、遠隔自動運転車両２がそのままの車線を進行することを表す複数種類の経路認識補助画像のうちの一種である。

図７は、重畳画像生成部１３が、太矢印５６について、自動運転から遠隔運転に切り替わる際の前方画像４３に太矢印５６を重畳させて標示させたと仮定した場合の重畳画像に相当する。重畳画像生成部１３は、この仮定において、前方画像４３上に座標変換した遠隔自動運転車両２の周辺状況に基づいて、太矢印５６と信号機ＳＧ及び横断歩道ＣＲとが図７の前方画像４３中で干渉していると判定する。よって、重畳画像生成部１３は、図７の太矢印５６の重畳表示が不要と判定する。その結果、出力部３ａのディスプレイには、例えば、図７から太矢印５６を省いた前方画像４３が表示されることとなり、太矢印５６によって遠隔コマンダＲの信号機ＳＧ及び横断歩道ＣＲの認識が妨げられることを抑制できる。

図８は、重畳表示が不要となる経路認識補助画像を例示する重畳画像の仮想例である。図８では、遠隔自動運転車両２が片側１車線の直線道路を走行中であり、重畳経路を示す経路認識補助画像として二点鎖線矢印５７が示されている。二点鎖線矢印５７は、遠隔自動運転車両２が車線変更をせずそのままの車線を進行することを表す複数種類の経路認識補助画像のうちの一種である。

図８では、単に遠隔自動運転車両２が片側１車線の直線道路を走行中であることから、遠隔自動運転車両２の経路は自明であり、経路認識補助画像を省略できるといえる。そこで、重畳画像生成部１３は、遠隔自動運転車両２の位置情報及び地図情報に基づいて、図８の二点鎖線矢印５７の重畳表示が不要と判定する。その結果、図８では二点鎖線矢印５７が示されているが、出力部３ａのディスプレイには、図８から二点鎖線矢印５７を省いた前方画像４４が表示されることとなる。

図９は、重畳表示が不要となる経路認識補助画像を例示する重畳画像の仮想例である。図９では、遠隔自動運転車両２の前方で左方から合流する合流車線が存在する片側１車線の直線道路を遠隔自動運転車両２が走行中であり、図８と同種の経路認識補助画像として二点鎖線矢印５８が示されている。

図９では、図８と同様、遠隔自動運転車両２が片側１車線の直線道路を走行中であり、左方のような合流車線は一般的に一方通行であることから、遠隔自動運転車両２の経路は自明であり、経路認識補助画像を省略できるといえる。そこで、重畳画像生成部１３は、遠隔自動運転車両２の位置情報及び地図情報に基づいて、図９の二点鎖線矢印５８の重畳表示が不要と判定する。その結果、図９では二点鎖線矢印５８が示されているが、出力部３ａのディスプレイには、図９から二点鎖線矢印５８を省いた前方画像４５が表示されることとなる。

なお、図８及び図９のような直進路のほか、２車線のうち工事中で一方の車線が走行できない場合、当該工事中ではない車線を遠隔自動運転車両２が走行するときには、遠隔自動運転車両２の経路は自明であるといえる。反対に、交差点及び分岐など遠隔自動運転車両２の経路が複数存在し得る場合、遠隔自動運転車両２の経路は自明ではないといえる。

図１０は、重畳表示が不要となる経路認識補助画像を例示する重畳画像の仮想例である。図１０では、片側２車線の道路を走行する遠隔自動運転車両２の前方において、左折レーンは終端となり直進レーンのみが引き続き延在する交差点が存在している。遠隔自動運転車両２が直進レーンを走行中であるにもかかわらず、図８と同種の経路認識補助画像として二点鎖線矢印５９が前方画像４６上で左折レーン上に延びている。

図１０では、本来、二点鎖線矢印５９が直進レーン上に延びているべきである。しかしながら、例えば遠隔自動運転車両２のローカライズの不安定などにより、二点鎖線矢印５９の起点となる遠隔自動運転車両２の位置情報の精度が落ちている場合がある。このような場合、二点鎖線矢印５９を表示することは却って遠隔コマンダＲが遠隔自動運転車両２の経路を認識することの妨げとなるおそれがあるため、経路認識補助画像を省略することが一つの対応といえる。そこで、重畳画像生成部１３は、表示用情報（遠隔自動運転車両２の自動運転情報の信頼度）に基づいて、図１０の二点鎖線矢印５９の重畳表示が不要と判定する。その結果、図１０では二点鎖線矢印５９が前方画像４６上に示されているが、出力部３ａのディスプレイには、図１０から二点鎖線矢印５９を省いた前方画像４６が表示されてもよい。

ちなみに、重畳経路を示す経路認識補助画像として、矢印のような起点を必要とする画像で視覚的に情報を伝達するのではなく、単に情報としての経路を示す画像で伝達する対応も考えられる。この場合、重畳画像生成部１３は、図１０のように経路認識補助画像を省略することに代えて、種類を異ならせた経路認識補助画像を前方画像４６に重畳させて出力部３ａのディスプレイに表示されてもよい。

例えば、図１１は、重畳表示が要となる経路認識補助画像を例示する重畳画像例である。図１１では、図１０の状況において、図１０とは異なる種類の経路認識補助画像として、「直進」の文字列が枠で囲まれた画像６０が前方画像４６の上部に重畳表示されている。この場合、遠隔コマンダＲが遠隔自動運転車両２の経路を正しく認識することができるといえる。そこで、重畳画像生成部１３は、表示用情報（遠隔自動運転車両２の自動運転情報の信頼度）に基づいて、「直進」の文字列が枠で囲まれた画像６０のように起点を要しない種類の経路認識補助画像の重畳表示が要と判定してもよい。その結果、図１１では二点鎖線矢印５９が示されているが、出力部３ａのディスプレイには、図１１から二点鎖線矢印５９が省かれて、「直進」の文字列が枠で囲まれた画像６０が前方画像４６の上部に重畳表示されることとなる。

また例えば、図１２は、重畳表示が要となる経路認識補助画像を例示する重畳画像例である。図１２では、図１０及び図１１の状況において、図１１とは異なる種類の経路認識補助画像として、「直進」を表す大型矢印の画像６１が前方画像４６の上部に重畳表示されている。大型矢印の画像６１は、単に「直進」との経路の向きを表すものであるため、起点を要せず、遠隔自動運転車両２の位置情報によらず前方画像４６の上部に重畳表示される。この場合、遠隔コマンダＲが遠隔自動運転車両２の経路を正しく認識することができるといえる。そこで、重畳画像生成部１３は、表示用情報（遠隔自動運転車両２の自動運転情報の信頼度）に基づいて、大型矢印の画像６１のように起点を要しない種類の経路認識補助画像の重畳表示が要と判定してもよい。その結果、図１２では二点鎖線矢印５９が示されているが、出力部３ａのディスプレイには、図１１から二点鎖線矢印５９が省かれて、大型矢印の画像６１が前方画像４６の上部に重畳表示されることとなる。

情報提供部１４は、遠隔コマンダＲに対する各種の情報提供を行う。情報提供部１４は、遠隔指示要求受信部１１が遠隔指示の要求を受信した場合、コマンダインターフェース３を介して担当する遠隔コマンダＲに遠隔指示の入力を要求する。

また、情報提供部１４は、遠隔指示要求受信部１１の取得した遠隔自動運転車両２の表示用情報に基づいて、遠隔コマンダＲに遠隔自動運転車両２の情報を提供する。情報提供部１４は、例えばコマンダインターフェース３の出力部３ａのディスプレイに遠隔自動運転車両２の前方画像を表示する。

情報提供部１４は、例えば、重畳画像生成部１３によって重畳表示が要と判定された場合、遠隔自動運転車両２のカメラが撮像した遠隔自動運転車両２の前方画像に経路認識補助画像を重ね合わせた重畳画像を、出力部３ａのディスプレイに表示させる。

情報提供部１４は、視点変換により遠隔自動運転車両２の運転席付近から見た画像を表示してもよい。情報提供部１４は、遠隔自動運転車両２の側方及び後方の画像を表示してもよい。情報提供部１４は、遠隔自動運転車両２の周囲を撮像した画像を合成したパノラマ画像を表示してもよく、画像合成及び視点変換により遠隔自動運転車両２を見下ろすように生成された俯瞰画像を表示してもよい。情報提供部１４は、画像中の物体の強調表示（例えば他車両等を枠で囲む表示）を行ってもよい。情報提供部１４は、画像中に信号機が含まれる場合には、信号機の点灯状態の認識結果をディスプレイに表示してもよい。情報提供部１４は、遠隔コマンダＲが選択できる遠隔指示の種類（進行、待機等）をディスプレイに表示してもよい。

情報提供部１４は、例えば、重畳画像生成部１３によって重畳表示が不要と判定された場合、遠隔自動運転車両２のカメラが撮像した遠隔自動運転車両２の前方画像（経路認識補助画像が重畳されない前方画像）を、出力部３ａのディスプレイに表示する。

情報提供部１４は、コマンダインターフェース３の出力部３ａのスピーカにより音情報を遠隔コマンダＲに提供する。情報提供部１４は、遠隔自動運転車両２の状況（交差点の右折時、障害物のオフセット回避時等）を音声としてスピーカから出力してもよい。情報提供部１４は、遠隔自動運転車両２の周囲の他車両等の接近を音又は音声としてスピーカから出力してもよい。情報提供部１４は、遠隔自動運転車両２の周囲の音（雑音）をそのままスピーカから出力してもよい。情報提供部１４は、必要に応じて車室内の乗員の音声をスピーカから出力してもよい。なお、スピーカによる情報提供は必須ではない。

その他、情報提供部１４は、出力部３ａが振動アクチュエータを有している場合、振動により遠隔コマンダＲに情報提供を行ってもよい。この場合、情報提供部１４は、例えば、遠隔自動運転車両２に対する他車両の接近方向、歩行者の存在する方向等の注意すべき方向に応じた位置の振動アクチュエータを振動させることで遠隔コマンダＲに情報提供（注意喚起）を行うことができる。

遠隔指示送信部１５は、遠隔コマンダＲがコマンダインターフェース３の指示入力部３ｂに遠隔指示を入力した場合、入力された遠隔指示を遠隔自動運転車両２に送信する。情報提供部１４は、遠隔コマンダＲが入力した遠隔指示を遠隔自動運転車両２に送信した場合、遠隔自動運転車両２の情報を続けて遠隔コマンダＲに伝えてもよく、遠隔指示を要求する別の遠隔自動運転車両２の情報に切り換えてもよい。

［自動運転ＥＣＵ及び遠隔指示装置の処理］
次に、自動運転ＥＣＵ２０及び遠隔指示装置１の処理例について、図１３及び図１４のフローチャートを参照して説明する。図１３は、自動運転ＥＣＵ２０の処理例を示すフローチャートである。図１３に示される処理は、例えば、遠隔自動運転車両２の自動運転中に実行される。

図１３に示されるように、自動運転ＥＣＵ２０は、Ｓ０１において、遠隔指示判定部３４により、遠隔指示を要求すべきであるか否かを判定する。遠隔指示判定部３４は、例えば、遠隔自動運転車両２が遠隔指示対象状況になった場合に、遠隔指示を要求すべきであると判定する。自動運転ＥＣＵ２０は、遠隔指示を要求すべきであると判定した場合（Ｓ０１：ＹＥＳ）、Ｓ０２の処理に移行する。

自動運転ＥＣＵ２０は、Ｓ０２において、表示用情報取得部３５により、車両側の表示用情報の取得を行う。表示用情報取得部３５は、例えば、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の位置、目的地、走行状態（例えば車速）の情報、遠隔自動運転車両２の周辺状況、及び、遠隔自動運転車両２の自動運転情報の信頼度の情報を、遠隔自動運転車両２側の表示用情報として取得する。表示用情報取得部３５は、遠隔自動運転車両２の車両側経路の情報を、遠隔自動運転車両２側の表示用情報として取得してもよい。

自動運転ＥＣＵ２０は、Ｓ０３において、表示用情報送信部３６により、車両側の表示用情報の送信を行う。表示用情報送信部３６は、例えば、Ｓ０２で取得した表示用情報を、遠隔自動運転車両２側の表示用情報として遠隔指示装置１に送信する。表示用情報送信部３６は、表示用情報と併せて、遠隔指示の要求を遠隔指示装置１に送信する。なお、表示用情報送信部３６は、遠隔自動運転車両２と遠隔指示装置１との間の通信への負荷が所定負荷未満である場合には、車両側経路の情報を遠隔自動運転車両２側の表示用情報として遠隔指示装置１に送信もよい。その後、自動運転ＥＣＵ２０は、図１３の処理を終了する。

一方、自動運転ＥＣＵ２０は、遠隔指示を要求すべきではないと判定した場合（Ｓ０１：ＮＯ）、そのまま図１３の処理を終了する。

図１４は、遠隔指示装置１の処理例を示すフローチャートである。図１４に示される処理は、例えば、自動運転ＥＣＵ２０から送信された遠隔指示の要求が遠隔指示装置１の遠隔指示要求受信部１１により受信された場合に実行される。

図１４に示されるように、遠隔指示装置１は、Ｓ１１において、進路取得部１２により、車両側の表示用情報の受信を行う。進路取得部１２は、例えば、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の位置、目的地、走行状態（例えば車速）の情報、遠隔自動運転車両２の周辺状況、及び、遠隔自動運転車両２の自動運転情報の信頼度の情報を、遠隔自動運転車両２側の表示用情報として受信する。進路取得部１２は、例えば遠隔自動運転車両２と遠隔指示装置１との間の通信への負荷が所定負荷未満であって表示用情報送信部３６によって車両側経路の情報が送信された場合には、遠隔自動運転車両２側の車両側経路を表示用情報として受信してもよい。

遠隔指示装置１は、Ｓ１２において、重畳画像生成部１３により、重畳表示の要否を判定する。重畳画像生成部１３は、例えば、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の周辺状況と遠隔自動運転車両２の自動運転情報の信頼度の情報とに基づいて、経路認識補助画像の前方画像への重畳表示の要否を判定する。遠隔指示装置１は、重畳表示が要と判定した場合（Ｓ１２：ＹＥＳ）、Ｓ１３の処理に移行する。一方、遠隔指示装置１は、重畳表示が不要と判定した場合（Ｓ１２：ＮＯ）、Ｓ１８の処理に移行する。

遠隔指示装置１は、Ｓ１３において、進路取得部１２により、重畳経路の生成が必要であるか否かを判定する。進路取得部１２は、例えば車両側経路の情報が送信されなかった場合に、重畳経路の生成が必要であると判定する。遠隔指示装置１は、重畳経路の生成が必要であると判定した場合（Ｓ１３：ＹＥＳ）、Ｓ１４の処理に移行する。

遠隔指示装置１は、Ｓ１４において、進路取得部１２により、重畳経路の生成を行う。進路取得部１２は、例えば、遠隔指示を要求した遠隔自動運転車両２の位置から目的地までの当該遠隔自動運転車両２の経路を生成する。進路取得部１２は、生成した経路のうち自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の経路に相当する重畳経路として、例えば、図５，図６，図１１，図１２のような重畳経路を生成する。その後、Ｓ１６の処理に移行する。なお、進路取得部１２による遠隔自動運転車両２の経路の生成は、一旦生成された後、遠隔指示を要求した遠隔自動運転車両２の位置又は目的地の変化に基づいて経路に変化がない場合には、省かれてもよい。

一方、遠隔指示装置１は、重畳経路の生成が必要ではないと判定した場合（Ｓ１３：ＮＯ）、Ｓ１５の処理に移行する。遠隔指示装置１は、Ｓ１５において、進路取得部１２により、遠隔自動運転車両２側の経路の取得を行う。進路取得部１２は、例えば、Ｓ１１で受信した車両側経路を用いて（流用して）、車両側経路のうち自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の経路に相当する重畳経路を取得する。その後、Ｓ１６の処理に移行する。

遠隔指示装置１は、Ｓ１６において、重畳画像生成部１３により、重畳画像の生成を行う。重畳画像生成部１３は、例えば、図５，図６，図１１，図１２のようにして、経路認識補助画像を生成し、経路認識補助画像を含む重畳画像を生成する。遠隔指示装置１は、Ｓ１７において、情報提供部１４により、重畳画像の表示を行う。情報提供部１４は、例えば、Ｓ１６で生成した重畳画像を出力部３ａのディスプレイに表示する。その後、図１４の処理を終了する。

一方、遠隔指示装置１は、Ｓ１８において、情報提供部１４により、前方画像の表示を行う。情報提供部１４は、例えば、図７～図１０のようにして、遠隔自動運転車両２のカメラが撮像した遠隔自動運転車両２の前方画像（経路認識補助画像を含まない前方の景色の画像）を、出力部３ａのディスプレイに表示する。その後、図１４の処理を終了する。

以上のように、車両遠隔指示システム１００では、遠隔指示装置１は、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の周辺状況に基づいて、重畳画像を生成する重畳画像生成部１３を有する。重畳画像は、遠隔自動運転車両２の経路を遠隔コマンダＲに認識させるための経路認識補助画像が重畳された前方画像である。情報提供部１４は、重畳画像を出力部３ａのディスプレイに表示させて遠隔コマンダＲに対して情報提供を行う。これにより、遠隔コマンダＲは、自動運転から遠隔運転に切り替わる際、前方画像に重畳された経路認識補助画像を参照することで、遠隔自動運転車両２の周辺状況に応じた遠隔自動運転車両２の経路を認識することが容易となる。したがって、車両遠隔指示システム１００によれば、自動運転から遠隔運転に切り替わる際、遠隔コマンダＲが遠隔指示の判断を行うための遠隔自動運転車両２の経路の情報を、遠隔コマンダＲに対して適切に提供することが可能となる。

車両遠隔指示システム１００では、重畳画像生成部１３は、自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の周辺状況に基づいて、経路認識補助画像の前方画像への重畳表示の要否を判定し、情報提供部１４は、重畳画像生成部１３によって重畳表示が不要と判定された場合、経路認識補助画像が重畳されない前方画像を出力部に表示させて遠隔コマンダＲに対して情報提供を行う。これにより、例えば前方画像中において経路認識補助画像と交通情報物体とが干渉することが抑制されるため、遠隔コマンダＲによる交通情報物体の認識を経路認識補助画像が妨げることを抑制できる。

車両遠隔指示システム１００では、遠隔指示装置１は、経路認識補助画像の表示のために用いる遠隔自動運転車両２の位置及び目的地の情報を含む表示用情報を遠隔自動運転車両２からの送信に応じて取得すると共に、取得した表示用情報に基づいて遠隔自動運転車両２の経路を生成する進路取得部１２を有する。これにより、遠隔自動運転車両２側で生成した経路を用いずに経路認識補助画像を生成することができるため、遠隔自動運転車両２側で生成した経路の情報を送信することが通信負担となる場合に通信負担の増大を抑制することができる。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。

上記実施形態では、図１４において、Ｓ１２の重畳表示の要否の判断をしたが、この判断は必須ではなく、省略されてもよい。例えば、情報提供部１４は、重畳表示の要否の判定が省かれる場合には、自動運転から遠隔運転に切り替わる際にその都度、遠隔自動運転車両２のカメラが撮像した遠隔自動運転車両２の前方画像に経路認識補助画像を重ね合わせた重畳画像を、出力部３ａのディスプレイに表示させてもよい。

上記実施形態では、図１４において、Ｓ１３の重畳経路の生成の要否の判断をしたが、この判断は必須ではなく、省略されてもよい。例えば、Ｓ１３の判断を省き、Ｓ１４又はＳ１５のいずれかを行うようにしてもよい。例えば、進路取得部１２は、自動運転から遠隔運転に切り替わる際にその都度、遠隔指示を要求した遠隔自動運転車両２の位置から目的地までの当該遠隔自動運転車両２の経路を生成してもよい。あるいは、進路取得部１２は、自動運転から遠隔運転に切り替わる際にその都度、進路生成部３７で生成された車両側経路を用いて（流用して）、車両側経路のうち自動運転から遠隔運転に切り替わる際の遠隔自動運転車両２の経路に相当する重畳経路を取得してもよい。

要は、図１４において、少なくとも、Ｓ１１，Ｓ１４，Ｓ１６，Ｓ１７の処理を実行することで、自動運転から遠隔運転に切り替わる際、遠隔コマンダＲが遠隔指示の判断を行うための遠隔自動運転車両２の経路の情報を、遠隔コマンダＲに対して適切に提供することが可能となるという車両遠隔指示システム１００の上記作用効果を奏することができる。

なお、遠隔指示装置１は、遠隔自動運転車両２に搭載されていてもよい。この場合、遠隔コマンダＲも遠隔自動運転車両２に乗車している。遠隔指示サーバ１０は、複数台の遠隔自動運転車両２のＥＣＵから構成されたクラウドサーバであってもよい。

１…遠隔指示装置、２…遠隔自動運転車両、３ａ…出力部、１２…進路取得部、１３…重畳画像生成部、１４…情報提供部、１００…車両遠隔指示システム、Ｒ…遠隔コマンダ。

Claims (3)

1. 自動運転と、遠隔コマンダからの遠隔指示に基づいて走行する遠隔運転とを実行可能な遠隔自動運転車両と、
   前記遠隔自動運転車両の前方画像を出力する出力部を有し、前記前方画像を用いて前記遠隔コマンダが前記遠隔運転に関する遠隔指示を行う遠隔指示装置と、を備える車両遠隔指示システムであって、
   前記遠隔指示装置は、
   前記自動運転から前記遠隔運転に切り替わる際の前記遠隔自動運転車両の周辺状況に基づいて、前記遠隔自動運転車両の経路を前記遠隔コマンダに認識させるための経路認識補助画像が重畳された前記前方画像である重畳画像を生成する重畳画像生成部と、
   前記重畳画像を前記出力部に表示させて前記遠隔コマンダに対して情報提供を行う情報提供部と、
   を有する、車両遠隔指示システム。
2. 前記重畳画像生成部は、前記自動運転から前記遠隔運転に切り替わる際の前記遠隔自動運転車両の周辺状況に基づいて、前記経路認識補助画像の前記前方画像への重畳表示の要否を判定し、
   前記情報提供部は、前記重畳画像生成部によって前記重畳表示が不要と判定された場合、前記経路認識補助画像が重畳されない前記前方画像を前記出力部に表示させて前記遠隔コマンダに対して情報提供を行う、請求項１に記載の車両遠隔指示システム。
3. 前記遠隔指示装置は、前記経路認識補助画像の表示のために用いる前記遠隔自動運転車両の位置及び目的地の情報を含む表示用情報を前記遠隔自動運転車両からの送信に応じて取得すると共に、取得した前記表示用情報に基づいて前記遠隔自動運転車両の進路を取得する進路取得部を有する、請求項１又は２に記載の車両遠隔指示システム。

Images