JP2021158507A - 遠隔自動運転システム、遠隔操作装置、車載装置、遠隔自動運転方法及びコンピュータプログラム - Google Patents

Abstract

【課題】遠隔操作対象の車両等の自動運転装置と遠隔操作卓との間の通信遅延に起因する遠隔操作上の遠隔操作者の負担を軽減すること。【解決手段】遠隔操作装置は、遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置へ車両制御信号を送信する送信部と、車載装置が遠隔操作装置から受信した車両制御信号を遠隔操作装置へ送り返す返送信号と、車両の走行映像とを車載装置から受信する受信部と、遠隔操作装置から車載装置へ送信された車両制御信号と、車載装置から受信した返送信号との差分を抽出する情報管理部と、当該差分に基づいて車両の動きを計算する計算部と、車両の動きを示す情報を、車載装置から受信した走行映像の表示画面上に重畳表示させる映像表示部と、を備える。【選択図】図１

Description

本発明は、遠隔自動運転システム、遠隔操作装置、車載装置、遠隔自動運転方法及びコンピュータプログラムに関する。

従来、無人車両を遠隔で操作して走行させる遠隔操作技術が知られている（例えば、非特許文献１参照）。非特許文献１に記載の遠隔操作技術では、遠隔操作者が遠隔運転時に見る遠隔操作卓の表示画面上に、無人車両の車載カメラが撮像した映像に重畳させて、無人車両の予測経路および限界旋回経路を表示している。

高畠智、原田正範、"無人車両の遠隔操作支援システム"、自動車技術会論文集、Vol.43、No.1、pp.135-140、2012年

しかし、上述した非特許文献１に記載の遠隔操作技術では、無人車両の数秒後の予測経路が遠隔操作卓の表示画面上に表示されるが、当該表示画面上に表示される映像上の無人車両の位置は、少なくとも無人車両と遠隔操作卓との間の通信遅延分は遅れている。このため、遠隔操作者にとっては、通信遅延分の無人車両の動きを自分の中で推定して次の無人車両の遠隔操作を行わねばならないという負担があった。

本発明は、このような事情を考慮してなされたものであり、その目的は、遠隔操作対象の車両等の自動運転装置と遠隔操作卓との間の通信遅延に起因する遠隔操作上の遠隔操作者の負担を軽減することを図ることにある。

（１）本発明の一態様は、遠隔操作装置と、前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置とを備える遠隔自動運転システムにおいて、前記遠隔操作装置は、前記車両制御信号を前記車載装置へ送信する送信部と、前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像とを前記車載装置から受信する受信部と、前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理部と、前記差分に基づいて前記車両の動きを計算する計算部と、前記車両の動きを示す情報を、前記車載装置から受信した前記走行映像の表示画面上に重畳表示させる映像表示部と、を備え、前記車載装置は、前記車両制御信号を受信する車載受信部と、前記返送信号を生成する信号複製部と、前記返送信号と前記走行映像とを前記遠隔操作装置へ送信する車載送信部と、を備える、遠隔自動運転システムである。
（２）本発明の一態様は、前記車載送信部は、前記車両の走行状態を示す車両状態データをさらに前記遠隔操作装置へ送信し、前記受信部は、前記車載装置から前記車両状態データをさらに受信し、前記計算部は、前記差分と前記車両状態データとに基づいて、前記走行映像上の前記車両の位置を原点にした前記車両の推定位置を計算し、前記映像表示部は、前記車載装置から受信した前記走行映像の表示画面上に前記車両の推定位置を重畳表示させる、上記（１）の遠隔自動運転システムである。
（３）本発明の一態様は、前記情報管理部は、前記車載装置から受信した前記返送信号の中に含まれる最新の前記車両制御信号以降の前記車両制御信号のみを前記差分に含める、上記（１）又は（２）のいずれかの遠隔自動運転システムである。

（４）本発明の一態様は、遠隔操作装置と、前記遠隔操作装置が送信する運転制御信号に基づいて自動運転を行う自動運転装置に搭載される搭載装置とを備える遠隔自動運転システムにおいて、前記遠隔操作装置は、前記運転制御信号を前記搭載装置へ送信する送信部と、前記搭載装置が前記遠隔操作装置から受信した前記運転制御信号を前記遠隔操作装置へ送り返す返送信号と、前記自動運転装置の映像とを前記搭載装置から受信する受信部と、前記遠隔操作装置から前記搭載装置へ送信された前記運転制御信号と、前記搭載装置から受信した前記返送信号との差分を抽出する情報管理部と、前記差分に基づいて前記自動運転装置の動きを計算する計算部と、前記自動運転装置の動きを示す情報を、前記搭載装置から受信した前記映像の表示画面上に重畳表示させる映像表示部と、を備え、前記搭載装置は、前記運転制御信号を受信する搭載受信部と、前記返送信号を生成する信号複製部と、前記返送信号と前記映像とを前記遠隔操作装置へ送信する搭載送信部と、を備える、遠隔自動運転システムである。

（５）本発明の一態様は、遠隔操作装置において、前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置へ、前記車両制御信号を送信する送信部と、前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像とを前記車載装置から受信する受信部と、前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理部と、前記差分に基づいて前記車両の動きを計算する計算部と、前記車両の動きを示す情報を、前記車載装置から受信した前記走行映像の表示画面上に重畳表示させる映像表示部と、を備える遠隔操作装置である。

（６）本発明の一態様は、遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置において、前記車両制御信号を受信する車載受信部と、前記車載受信部が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号を生成する信号複製部と、前記車両の走行映像と前記返送信号とを前記遠隔操作装置へ送信する車載送信部と、を備える車載装置である。

（７）本発明の一態様は、遠隔操作装置と、前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置とを備える遠隔自動運転システムの遠隔自動運転方法であって、前記遠隔操作装置が、前記車両制御信号を前記車載装置へ送信する送信ステップと、前記車載装置が、前記遠隔操作装置から前記車両制御信号を受信する車載受信ステップと、前記車載装置が、前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号を生成する信号複製ステップと、前記車載装置が、前記車両の走行映像と前記返送信号とを前記遠隔操作装置へ送信する車載送信ステップと、前記遠隔操作装置が、前記走行映像と前記返送信号とを前記車載装置から受信する受信ステップと、前記遠隔操作装置が、前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理ステップと、前記遠隔操作装置が、前記差分に基づいて前記車両の動きを計算する計算ステップと、前記遠隔操作装置が、前記車両の動きを示す情報を、前記車載装置から受信した前記走行映像の表示画面上に重畳表示させる映像表示ステップと、を含む遠隔自動運転方法である。

（８）本発明の一態様は、遠隔操作装置のコンピュータに、前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置へ、前記車両制御信号を送信する送信ステップと、前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像とを前記車載装置から受信する受信ステップと、前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理ステップと、前記差分に基づいて前記車両の動きを計算する計算ステップと、前記車両の動きを示す情報を、前記車載装置から受信した前記走行映像の表示画面上に重畳表示させる映像表示ステップと、を実行させるためのコンピュータプログラムである。
（９）本発明の一態様は、遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置のコンピュータに、前記車両制御信号を受信する車載受信ステップと、前記車載受信ステップが前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号を生成する信号複製ステップと、前記車両の走行映像と前記返送信号とを前記遠隔操作装置へ送信する車載送信ステップと、を実行させるためのコンピュータプログラムである。

本発明によれば、遠隔操作対象の車両等の自動運転装置と遠隔操作卓との間の通信遅延に起因する遠隔操作上の遠隔操作者の負担を軽減することができるという効果が得られる。

一実施形態に係る遠隔自動運転システムの構成例を示すブロック図である。 遠隔操作卓と自動運転車との間の通信遅延を説明するためのシーケンス図である。 一実施形態に係る車両制御信号送信管理リストの構成例である。 一実施形態に係る返送信号受信管理リストの構成例である。 一実施形態に係る差分リストの構成例である。 一実施形態に係る走行映像表示画面の例である。 一実施形態に係る走行映像表示画面の例である。 一実施形態に係る遠隔自動運転方法の手順の例を示すフローチャートである。

以下、図面を参照し、本発明の実施形態について説明する。なお、以下に示す実施形態では、自動運転装置として車両の一例である自動車を例に挙げて説明する。

図１は、一実施形態に係る遠隔自動運転システムの構成例を示すブロック図である。図１に示す遠隔自動運転システム１は、遠隔操作卓１０と、自動車３に搭載される車載装置３０とを備える。遠隔操作卓１０は遠隔操作装置に対応する。自動車３は、遠隔操作卓１０が送信する車両制御信号に基づいて自動運転を行う車両（自動運転車）である。

遠隔操作卓１０と車載装置３０とは、通信ネットワークＮＷを介して通信を行う。通信ネットワークＮＷは、固定電話ネットワークや有線ＬＡＮ（Local Area Network）等の有線通信ネットワーク、携帯電話ネットワークや無線ＬＡＮ等の無線通信ネットワーク、インターネットなどを含んで構成されるものであってもよい。

遠隔操作卓１０は、通信ネットワークＮＷを介して、車両制御信号を車載装置３０へ送信する。車載装置３０は、遠隔操作卓１０から受信した車両制御信号に基づいて自動車３の自動運転制御を行う。自動車３は、車載装置３０の自動運転制御に従って自動運転を行う。車載装置３０は、自動車３に搭載された車載撮像装置が自動車３の進行方向を撮像した映像（以下、走行映像と称する）を、通信ネットワークＮＷを介して、遠隔操作卓１０へ常時配信する。遠隔操作卓１０は、車載装置３０から受信した走行映像を遠隔操作卓１０の表示画面に表示する。遠隔操作者は、遠隔操作卓１０の表示画面に表示された走行映像を見ながら、自動車３の遠隔操作を行う。遠隔操作者による自動車３の遠隔操作は、車両制御信号により車載装置３０へ伝達されて自動車３の自動運転に反映される。これにより、遠隔操作者は、遠隔操作卓１０により自動車３の遠隔操作を行うことにより、自動車３の自動運転を遠隔で操作することができる。

ここで、図２に示されるように、遠隔操作者が遠隔操作卓１０により自動車３（自動運転車）の遠隔操作Ａ１を行う時刻Ｔａから、遠隔操作Ａ１が自動車３の自動運転に反映された走行映像Ｂが遠隔操作卓１０の表示画面に表示される時刻Ｔｂまでには、少なくとも遠隔操作卓１０と自動車３（車載装置３０）との間の通信遅延Ｔｄが存在する。このままでは、遠隔操作者が、遠隔操作卓１０で表示されている走行映像に映る自動車３に対して通信遅延分の自動車３の動きを自分の中で推定し加味して次の自動車３の遠隔操作Ａ２を行うことになる。これは遠隔操作者にとって負担になり得る。

そこで本実施形態では、遠隔操作者が遠隔操作卓１０により行った遠隔操作のうち、遠隔操作卓１０の表示画面に表示される走行映像に映る自動車３の自動運転にまだ反映されていない遠隔操作を判断し、判断された遠隔操作に基づいて自動車３の動きを推定し、推定された自動車３の動きを示す情報を走行映像の表示画面上に重畳表示させる。これにより、遠隔操作者が通信遅延分の自動車３の動きを推定することを支援し、遠隔操作卓１０と自動車３との間の通信遅延に起因する遠隔操作上の遠隔操作者の負担を軽減することを図る。

以下、遠隔自動運転システム１について詳細に説明する。

［遠隔操作卓］
図１において、遠隔操作卓１０は、通信部１１と、遠隔操作部１２と、操作情報管理部１３と、車両位置計算部１４と、映像表示部１５とを備える。

遠隔操作卓１０の各機能は、遠隔操作卓１０がＣＰＵ（Central Processing Unit：中央演算処理装置）及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより実現される。なお、遠隔操作卓１０として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。

遠隔操作部１２は、遠隔操作者が自動車３の遠隔操作を行うためのユーザインタフェースを備える。当該ユーザインタフェースは、例えばステアリングやアクセルやブレーキなどの運転操作の車両制御信号を入力するためのユーザインタフェースである。遠隔操作部１２は、遠隔操作者による自動車３の遠隔操作の車両制御信号Ｓａを通信部１１及び操作情報管理部１３へ送信する。

通信部１１は、通信ネットワークＮＷを介して自動車３の車載装置３０と通信を行う。通信部１１は、遠隔操作部１２から受信した車両制御信号Ｓａを車載装置３０へ送信する送信機能を備える。また、通信部１１は、返送信号Ｒｂと車両状態データＲｄと走行映像Ｒｆとを車載装置３０から受信する受信機能を備える。返送信号Ｒｂは、車載装置３０が遠隔操作卓１０から受信した車両制御信号を遠隔操作卓１０へ送り返す返送信号であって、通信部１１が受信した信号である。車両状態データＲｄは、自動車３の走行状態を示すデータであって、通信部１１が受信したデータである。車両状態データＲｄは、例えば、自動車３の速度（車速）や舵角などの情報を含むデータである。走行映像Ｒｆは、車載装置３０から遠隔操作卓１０へ常時配信される走行映像であって、通信部１１が受信した映像である。通信部１１（受信機能）は、車載装置３０から走行映像Ｒｆを常時受信する。

通信部１１は、車載装置３０から受信した返送信号Ｒｂを操作情報管理部１３へ送信する。通信部１１は、車載装置３０から受信した車両状態データＲｄを車両位置計算部１４へ送信する。通信部１１は、車載装置３０から受信した走行映像Ｒｆを映像表示部１５へ送信する。

操作情報管理部１３は、遠隔操作部１２から受信した車両制御信号Ｓａと、通信部１１から受信した返送信号Ｒｂとを蓄積する。操作情報管理部１３は、車両制御信号Ｓａと返送信号Ｒｂとをそれぞれ時系列で管理する。操作情報管理部１３は、車両制御信号Ｓａと返送信号Ｒｂとの差分を抽出する。この差分抽出では、現在管理している車両制御信号Ｓａ及び返送信号Ｒｂを対象にして、車両制御信号Ｓａの管理対象には存在するが、返送信号Ｒｂの管理対象には存在しない車両制御信号を抽出する。操作情報管理部１３は、抽出した車両制御信号のリスト（差分リスト）Ｃを車両位置計算部１４へ送信する。

車両位置計算部１４は、操作情報管理部１３から受信した差分リストＣに基づいて、自動車３の動きを計算する。本実施形態では、自動車３の動きの計算の一例として、車両位置計算部１４は、操作情報管理部１３から受信した差分リストＣと、通信部１１から受信した車両状態データＲｄとに基づいて、自動車３の推定位置Ｅを計算する。この自動車３の推定位置Ｅは、自動車３の走行映像上の自動車３の位置を原点にした座標系における自動車３の推定の位置（座標）である。車両位置計算部１４は、計算結果の自動車３の推定位置Ｅを映像表示部１５へ送信する。推定位置Ｅは、差分リストＣに基づいた自動車３の動きを示す情報である。

映像表示部１５は、液晶表示装置等の表示装置を備える。映像表示部１５は、通信部１１から受信した走行映像Ｒｆを表示装置の表示画面に表示させる。また、映像表示部１５は、車両位置計算部１４から受信した推定位置Ｅを走行映像Ｒｆの表示画面上に重畳して表示させる。この重畳表示では、走行映像Ｒｆ上の自動車３の位置を原点にした座標系において、推定位置Ｅの座標上に所定の表示を行う。

［車載装置］
図１において、車載装置３０は、通信部３１と、信号複製部３２と、車両制御部３３と、映像取得部３４とを備える。

車載装置３０の各機能は、車載装置３０がＣＰＵ及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより実現される。

通信部３１は、通信ネットワークＮＷを介して遠隔操作卓１０と通信を行う。通信部３１は、遠隔操作卓１０が送信した車両制御信号Ｓａを受信する受信機能を備える。また、通信部３１は、返送信号Ｓｂと車両状態データＳｄと走行映像Ｓｆとを遠隔操作卓１０へ送信する送信機能を備える。

通信部３１は、遠隔操作卓１０から受信した車両制御信号Ｒａを信号複製部３２へ送信する。

信号複製部３２は、通信部３１から受信した車両制御信号Ｒａを車両制御部３３へ送信する。また、信号複製部３２は、通信部３１から受信した車両制御信号Ｒａをそのまま遠隔操作卓１０へ送り返す返送信号Ｓｂを生成する。信号複製部３２は、返送信号Ｓｂを通信部３１により遠隔操作卓１０へ送信する。返送信号Ｓｂを遠隔操作卓１０へ送信する送信タイミングは、信号複製部３２が車両制御信号Ｒａを車両制御部３３へ送信するタイミングに合わせる。

車両制御部３３は、信号複製部３２から受信した車両制御信号Ｒａに基づいて自動車３の自動運転制御を行う。自動車３は、車両制御部３３の自動運転制御に従って自動運転を行う。また、車両制御部３３は、自動車３の走行状態を示す車両状態データｓｄを取得する。車両状態データｓｄは、例えば、自動車３の速度（車速）や舵角などの情報を含むデータである。車両制御部３３は、車両状態データｓｄを通信部３１により遠隔操作卓１０へ送信する。

映像取得部３４は、自動車３に搭載された車載撮像装置が常時撮像する走行映像Ｓｆを取得する。映像取得部３４は、走行映像Ｓｆを通信部３１により遠隔操作卓１０へ常時送信する。

［車両制御信号］
遠隔操作部１２から送信される車両制御信号Ｓａは、一般に自動車を運転操作するために必要な運転操作情報を有する。運転操作情報は、例えば、ステアリング、アクセル、ブレーキ、ギア、ウインカーなどの操作を示す情報である。また、車両制御信号Ｓａには、時系列管理のための識別子（ＩＤ）や、遠隔運転状態を管理をするための遠隔運転管理情報をさらに付与してもよい。車両制御信号Ｓａが一定間隔で車載装置３０へ送信される場合、車両制御信号のＩＤとしてシーケンス番号を用いてもよい。又は、車両制御信号のＩＤとして、システム時刻を用いてもよい。遠隔運転管理情報は、例えば、遠隔操作対象の自動車３のＩＤ、遠隔操作の可否、緊急停止信号等の情報である。

［操作情報管理処理］
図３は、本実施形態に係る車両制御信号送信管理リストの構成例である。操作情報管理部１３は、図３に例示される車両制御信号送信管理リストＬＳａをメモリに保持する。操作情報管理部１３は、遠隔操作部１２から受信した車両制御信号Ｓａを、車両制御信号送信管理リストＬＳａに追加する。図３に例示されるように、車両制御信号送信管理リストＬＳａには、車両制御信号のＩＤの昇順（時系列の順）で車両制御信号Ｓａが記載されている。

図４は、本実施形態に係る返送信号受信管理リストの構成例である。操作情報管理部１３は、図４に例示される返送信号受信管理リストＬＲｂをメモリに保持する。操作情報管理部１３は、通信部１１から受信した返送信号Ｒｂを、返送信号受信管理リストＬＲｂに追加する。図４に例示されるように、返送信号受信管理リストＬＲｂには、車両制御信号のＩＤの昇順（時系列の順）で返送信号Ｒｂが記載されている。

図５は、本実施形態に係る差分リストの構成例である。操作情報管理部１３は、図３の車両制御信号送信管理リストＬＳａと図４の返送信号受信管理リストＬＲｂとの差分を抽出して、図５に例示される差分リストＣを作成する。図５の差分リストＣには、図３の車両制御信号送信管理リストＬＳａには存在するが、図４の返送信号受信管理リストＬＲｂには存在しない車両制御信号が記載される。図５に例示されるように、差分リストＣには、図３の車両制御信号送信管理リストＬＳａには存在するが、図４の返送信号受信管理リストＬＲｂには存在しないＩＤ「５０」及び「５１」の車両制御信号が記載されている。

なお、図５の差分リストＣには、図４の返送信号受信管理リストＬＲｂの中に含まれる最新の車両制御信号（ＩＤ「４９」）以降の車両制御信号のみを記載するようにしてもよい。これは、遠隔操作卓１０から自動車３（車載装置３０）に至る通信路において車両制御信号Ｓａのロスが発生することを想定した対策である。

差分リストＣには、遠隔操作卓１０が車載装置３０へ送信した車両制御信号Ｓａのうち、通信遅延により車載装置３０の車両制御部３３がまだ受信していない車両制御信号が記載されている。これは、差分リストＣに記載されている車両制御信号が、走行映像Ｒｆに映る自動車３の自動運転にまだ反映されていないことを意味する。このことから、車両位置計算部１４が差分リストＣに記載されている車両制御信号に基づいて計算した自動車３の動きは、走行映像Ｒｆに映る自動車３にはまだ反映されていないが、実際の自動車３には反映されている動きを推定したものである。したがって、その車両位置計算部１４が計算した自動車３の動きを示す情報が、映像表示部１５により走行映像Ｒｆの表示画面上に重畳して表示されることにより、遠隔操作者は、走行映像Ｒｆに映る自動車３にはまだ反映されていない実際の自動車３の動きを容易に推定することができる。本実施形態の一例では、推定位置Ｅが走行映像Ｒｆの表示画面上に重畳して表示されることにより、遠隔操作者は、走行映像Ｒｆに映る自動車３にはまだ反映されていない実際の自動車３の位置を容易に推定することができる。

なお、本実施形態の一例として、車両位置計算部１４は自動車３の動きとして推定位置Ｅを計算するが、これに限定されない。車両位置計算部１４が計算する自動車３の動きとして、差分リストＣに基づいて、自動車３の走行方向が変化する先の方向（走行変化先方向）や、車速が変化する方向「車速の上昇又は下降」などを計算してもよい。その車両位置計算部１４が計算した自動車３の走行変化先方向や車速の上昇又は下降などの情報が映像表示部１５により走行映像Ｒｆの表示画面上に重畳して表示されることにより、遠隔操作者は、走行映像Ｒｆに映る自動車３にはまだ反映されていない実際の自動車３の動きを容易に推定することができる。

［映像表示処理］
図６、図７は、本実施形態に係る走行映像表示画面の例である。図６に例示される走行映像表示画面１００には、走行映像Ｒｆに映る自動車３の車体の先頭部分が表示されている。さらに走行映像表示画面１００には、推定位置Ｅを示す破線１２０が重畳して表示されている。図６の例では、推定位置Ｅを示す破線１２０は、走行映像Ｒｆに映る自動車３の車幅Ｗで表示されている。

図７に例示される走行映像表示画面１００には、図６と同様に、走行映像Ｒｆに映る自動車３の車体の先頭部分が表示され、さらに推定位置Ｅを示す破線１３０が重畳して表示されている。図７の例では、推定位置Ｅを示す破線１３０は、走行映像Ｒｆに映る自動車３の車幅方向の中心で表示されている。

図６や図７に例示されるように、推定位置Ｅを示す情報（破線１２０や破線１３０）が走行映像Ｒｆの表示画面上に重畳して表示されることにより、遠隔操作者は、走行映像Ｒｆに映る自動車３にはまだ反映されていない実際の自動車３の位置を容易に推定することができる。これにより、遠隔操作卓１０と自動車３との間の通信遅延に起因する遠隔操作上の遠隔操作者の負担を軽減することができるという効果が得られる。

次に図８を参照して本実施形態に係る遠隔自動運転方法を説明する。図８は、本実施形態に係る遠隔自動運転方法の手順の例を示すフローチャートである。遠隔操作卓１０には、遠隔操作対象の自動車３のＩＤ等の自動車情報や、遠隔操作対象の自動車３に搭載されている車載装置３０の通信アドレス等の車載装置情報が予め登録される。遠隔操作者が遠隔操作対象の自動車３を指定して遠隔操作を開始すると、遠隔操作卓１０と遠隔操作対象の自動車３に搭載されている車載装置３０との間で、図８に示される遠隔自動運転方法の手順が開始される。

（ステップＳ１） 遠隔操作卓１０は、車両制御信号Ｓａを車載装置３０へ送信する。

（ステップＳ２） 車載装置３０は、遠隔操作卓１０から受信した車両制御信号Ｒａを遠隔操作卓１０へ送り返す返送信号Ｓｂを生成する。車載装置３０は、返送信号Ｓｂと車両状態データＳｄと走行映像Ｓｆとを遠隔操作卓１０へ送信する。遠隔操作卓１０は、車載装置３０から、返送信号Ｒｂと車両状態データＲｄと走行映像Ｒｆとを受信する。

（ステップＳ３） 遠隔操作卓１０は、遠隔操作卓１０から車載装置３０へ送信された車両制御信号Ｓａと、車載装置３０から受信した返送信号Ｒｂとの差分を抽出する。

（ステップＳ４） 遠隔操作卓１０は、抽出された差分に基づいて自動車３の動きを計算する。自動車３の動きの計算は、例えば、差分リストＣと車両状態データＲｄとに基づいて自動車３の推定位置Ｅを計算するものであってもよい。又は、自動車３の動きの計算は、例えば、差分リストＣに基づいて、自動車３の走行方向が変化する先の方向（走行変化先方向）や、車速が変化する方向「車速の上昇又は下降」を計算するものであってもよい。

（ステップＳ５） 遠隔操作卓１０は、走行映像Ｒｆを表示装置の表示画面に表示させる。また、映像表示部１５は、ステップＳ４で計算された自動車３の動きを示す情報を、走行映像Ｒｆの表示画面上に重畳して表示させる。これにより、例えば、図６や図７に例示されるように、推定位置Ｅを示す情報（破線１２０や破線１３０）が走行映像Ｒｆの表示画面上に重畳して表示される。

上述したように本実施形態によれば、走行映像Ｒｆに映る自動車３にはまだ反映されていないが、実際の自動車３には反映されている自動車３の動きを示す情報を走行映像Ｒｆの表示画面上に重畳して表示させることができる。遠隔操作者は、その走行映像Ｒｆの表示画面上に重畳して表示される自動車３の動きを示す情報によって、走行映像Ｒｆに映る自動車３にはまだ反映されていない実際の自動車３の動きを容易に推定することができる。これにより、遠隔操作卓１０と自動車３との間の通信遅延に起因する遠隔操作上の遠隔操作者の負担を軽減することができるという効果が得られる。

また、本実施形態では、遠隔操作卓１０と車載装置３０との間の通信遅延時間を予測して自動車３の動きを推定するのではなく、遠隔操作卓１０から車載装置３０へ送信した車両制御信号Ｓａと車載装置３０から返送された車両制御信号との差分に基づいて自動車３の動きを推定する。遠隔操作卓１０と車載装置３０との間の通信遅延時間を予測して自動車３の動きを推定する方法は、通信遅延時間が大きく変動する等の通信遅延時間の予測が難しい通信環境では適用することができない可能性がある。一方、本実施形態によれば、遠隔操作卓１０と車載装置３０との間の通信遅延時間が大きく変動する等の通信遅延時間の予測が難しい通信環境であっても、十分に適用することができる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

上述した実施形態では、自動運転装置として、車両の一例である自動車を例に挙げたが、鉄道車両等の自動車以外の他の車両にも適用可能である。

また、上述した実施形態は、自動運転装置として例えばクレーンやショベル等の建設機械に適用し、建設機械のアームやショベルなどの遠隔操作にも適用可能である。
建設機械等の自動運転装置に適用される遠隔自動運転システムの構成例を、以下に示す。
遠隔操作装置と、前記遠隔操作装置が送信する運転制御信号に基づいて自動運転を行う自動運転装置に搭載される搭載装置とを備える遠隔自動運転システムにおいて、
前記遠隔操作装置は、
前記運転制御信号を前記搭載装置へ送信する送信部と、
前記搭載装置が前記遠隔操作装置から受信した前記運転制御信号を前記遠隔操作装置へ送り返す返送信号と、前記自動運転装置の映像とを前記搭載装置から受信する受信部と、
前記遠隔操作装置から前記搭載装置へ送信された前記運転制御信号と、前記搭載装置から受信した前記返送信号との差分を抽出する情報管理部と、
前記差分に基づいて前記自動運転装置の動きを計算する計算部と、
前記自動運転装置の動きを示す情報を、前記搭載装置から受信した前記映像の表示画面上に重畳表示させる映像表示部と、を備え、
前記搭載装置は、
前記運転制御信号を受信する搭載受信部と、
前記返送信号を生成する信号複製部と、
前記返送信号と前記映像とを前記遠隔操作装置へ送信する搭載送信部と、を備える、
遠隔自動運転システム。

また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１…遠隔自動運転システム、３…自動車、１０…遠隔操作卓、１１…通信部、１２…遠隔操作部、１３…操作情報管理部、１４…車両位置計算部、１５…映像表示部、３０…車載装置、３１…通信部、３２…信号複製部、３３…車両制御部、３４…映像取得部、ＮＷ…通信ネットワーク

Claims (9)

1. 遠隔操作装置と、前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置とを備える遠隔自動運転システムにおいて、
   前記遠隔操作装置は、
   前記車両制御信号を前記車載装置へ送信する送信部と、
   前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像とを前記車載装置から受信する受信部と、
   前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理部と、
   前記差分に基づいて前記車両の動きを計算する計算部と、
   前記車両の動きを示す情報を、前記車載装置から受信した前記走行映像の表示画面上に重畳表示させる映像表示部と、を備え、
   前記車載装置は、
   前記車両制御信号を受信する車載受信部と、
   前記返送信号を生成する信号複製部と、
   前記返送信号と前記走行映像とを前記遠隔操作装置へ送信する車載送信部と、を備える、
   遠隔自動運転システム。
2. 前記車載送信部は、前記車両の走行状態を示す車両状態データをさらに前記遠隔操作装置へ送信し、
   前記受信部は、前記車載装置から前記車両状態データをさらに受信し、
   前記計算部は、前記差分と前記車両状態データとに基づいて、前記走行映像上の前記車両の位置を原点にした前記車両の推定位置を計算し、
   前記映像表示部は、前記車載装置から受信した前記走行映像の表示画面上に前記車両の推定位置を重畳表示させる、
   請求項１に記載の遠隔自動運転システム。
3. 前記情報管理部は、前記車載装置から受信した前記返送信号の中に含まれる最新の前記車両制御信号以降の前記車両制御信号のみを前記差分に含める、
   請求項１又は２のいずれか１項に記載の遠隔自動運転システム。
4. 遠隔操作装置と、前記遠隔操作装置が送信する運転制御信号に基づいて自動運転を行う自動運転装置に搭載される搭載装置とを備える遠隔自動運転システムにおいて、
   前記遠隔操作装置は、
   前記運転制御信号を前記搭載装置へ送信する送信部と、
   前記搭載装置が前記遠隔操作装置から受信した前記運転制御信号を前記遠隔操作装置へ送り返す返送信号と、前記自動運転装置の映像とを前記搭載装置から受信する受信部と、
   前記遠隔操作装置から前記搭載装置へ送信された前記運転制御信号と、前記搭載装置から受信した前記返送信号との差分を抽出する情報管理部と、
   前記差分に基づいて前記自動運転装置の動きを計算する計算部と、
   前記自動運転装置の動きを示す情報を、前記搭載装置から受信した前記映像の表示画面上に重畳表示させる映像表示部と、を備え、
   前記搭載装置は、
   前記運転制御信号を受信する搭載受信部と、
   前記返送信号を生成する信号複製部と、
   前記返送信号と前記映像とを前記遠隔操作装置へ送信する搭載送信部と、を備える、
   遠隔自動運転システム。
5. 遠隔操作装置において、
   前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置へ、前記車両制御信号を送信する送信部と、
   前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像とを前記車載装置から受信する受信部と、
   前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理部と、
   前記差分に基づいて前記車両の動きを計算する計算部と、
   前記車両の動きを示す情報を、前記車載装置から受信した前記走行映像の表示画面上に重畳表示させる映像表示部と、
   を備える遠隔操作装置。
6. 遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置において、
   前記車両制御信号を受信する車載受信部と、
   前記車載受信部が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号を生成する信号複製部と、
   前記車両の走行映像と前記返送信号とを前記遠隔操作装置へ送信する車載送信部と、
   を備える車載装置。
7. 遠隔操作装置と、前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置とを備える遠隔自動運転システムの遠隔自動運転方法であって、
   前記遠隔操作装置が、前記車両制御信号を前記車載装置へ送信する送信ステップと、
   前記車載装置が、前記遠隔操作装置から前記車両制御信号を受信する車載受信ステップと、
   前記車載装置が、前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号を生成する信号複製ステップと、
   前記車載装置が、前記車両の走行映像と前記返送信号とを前記遠隔操作装置へ送信する車載送信ステップと、
   前記遠隔操作装置が、前記走行映像と前記返送信号とを前記車載装置から受信する受信ステップと、
   前記遠隔操作装置が、前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理ステップと、
   前記遠隔操作装置が、前記差分に基づいて前記車両の動きを計算する計算ステップと、
   前記遠隔操作装置が、前記車両の動きを示す情報を、前記車載装置から受信した前記走行映像の表示画面上に重畳表示させる映像表示ステップと、
   を含む遠隔自動運転方法。
8. 遠隔操作装置のコンピュータに、
   前記遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置へ、前記車両制御信号を送信する送信ステップと、
   前記車載装置が前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号と、前記車両の走行映像とを前記車載装置から受信する受信ステップと、
   前記遠隔操作装置から前記車載装置へ送信された前記車両制御信号と、前記車載装置から受信した前記返送信号との差分を抽出する情報管理ステップと、
   前記差分に基づいて前記車両の動きを計算する計算ステップと、
   前記車両の動きを示す情報を、前記車載装置から受信した前記走行映像の表示画面上に重畳表示させる映像表示ステップと、
   を実行させるためのコンピュータプログラム。
9. 遠隔操作装置が送信する車両制御信号に基づいて自動運転を行う車両に搭載される車載装置のコンピュータに、
   前記車両制御信号を受信する車載受信ステップと、
   前記車載受信ステップが前記遠隔操作装置から受信した前記車両制御信号を前記遠隔操作装置へ送り返す返送信号を生成する信号複製ステップと、
   前記車両の走行映像と前記返送信号とを前記遠隔操作装置へ送信する車載送信ステップと、
   を実行させるためのコンピュータプログラム。

Images