JP2021018743A - 画像表示装置 - Google Patents

Abstract

【課題】遠隔オペレータに適切な情報を報知することができる画像表示装置を提供する。【解決手段】画像表示装置は、第１時刻の内部センサデータに基づいて遠隔オペレータによる遠隔指示に変化がない場合における第２時刻の車両の位置を決定する決定部と、第１時刻の外部センサデータに基づいて第１時刻の車両の周辺環境における車両からの距離を決定する距離決定部と、車両との通信の遅延時間を算出する算出部と、第１時刻の外部センサデータに基づいて車両の周辺を示す監視画像を表示部に表示させる表示制御部とを備え、表示制御部は、遅延度が閾値以上である場合には距離を示すオブジェクトを重畳させ、遅延度が閾値未満である場合には第２時刻の車両の位置を示すオブジェクトを重畳させる。【選択図】図１

Description

本開示は、画像表示装置に関する。

特許文献１は、遠隔指示可能な自動運転車両から受信したカメラ画像データに基づいてカメラ画像を遠隔オペレータに表示する装置を開示する。この装置は、車両の走行と関連する情報を重畳させたカメラ画像を表示部に表示させる。

特開２０１８−１８０７７１号公報

遠隔オペレータは、表示部に表示されたカメラ画像を確認し、自動運転車両を遠隔指示する。特許文献１記載の装置は、遠隔オペレータに判断材料としてさらに適切な情報を報知するという観点から改善の余地がある。本開示は、遠隔オペレータに適切な情報を報知することができる画像表示装置を提供する。

本開示の一側面に係る画像表示装置は、車両を遠隔指示する遠隔オペレータに情報を表示する表示部に接続される画像表示装置である。画像表示装置は、車両の外部センサにより第１時刻に検出された外部センサデータを、車両から通信を介して取得する外部センサデータ取得部と、車両の内部センサにより第１時刻に検出された内部センサデータを、車両から通信を介して取得する内部センサデータ取得部と、第１時刻の内部センサデータに基づいて、第１時刻から所定時間経過した将来の時刻である第２時刻まで遠隔オペレータによる遠隔指示に変化がない場合における第２時刻の車両の位置を決定する決定部と、第１時刻の外部センサデータに基づいて、第１時刻の車両の周辺環境における車両からの距離を決定する距離決定部と、車両との通信の遅延時間を算出する算出部と、第１時刻の外部センサデータに基づいて、車両の周辺を示す監視画像を表示部に表示させる表示制御部と、を備え、表示制御部は、遅延時間の絶対値及び所定時間内の分散値の少なくとも一方に基づいて定義された、値が大きくなるほど遅延が大きいことを示す遅延度が閾値以上である場合には、距離決定部により決定された周辺環境の距離に対応する監視画像上の位置に距離を示すオブジェクトを重畳させ、遅延度が閾値未満である場合には、決定部により決定された第２時刻の車両の位置に対応する監視画像上の位置に、第２時刻の車両の位置を示すオブジェクトを重畳させる。

本開示によれば、遠隔オペレータに適切な情報を報知することができる画像表示装置が提供される。

一実施形態に係る画像表示装置を含む車両遠隔指示システムの概要を示す図である。 遠隔指示装置のハードウェア構成の一例を示す図である。 画像表示装置の機能を示すブロック図である。 （Ａ）は将来の車両位置を示すガイド線のオブジェクトが重畳された監視画像の一例である。（Ｂ）は、距離を示すガイド線のオブジェクトが重畳された監視画像の一例である。 （Ａ）は将来の車両位置を示すガイド線のオブジェクトが重畳された監視画像の他の例である。（Ｂ）は、距離を示すガイド線のオブジェクトが重畳された監視画像の他の例である。 （Ａ）は将来の車両位置を示すガイド線のオブジェクトが重畳された監視画像の他の例である。（Ｂ）は、距離を示すガイド線のオブジェクトが重畳された監視画像の他の例である。 画像表示装置の表示処理の一例を示すフローチャートである。

以下、図面を参照して、実施形態について説明する。なお、以下の説明において、同一又は相当要素には同一符号を付し、重複する説明は繰り返さない。

図１は、一実施形態に係る画像表示装置を含む車両遠隔指示システムの概要を示す図である。図１に示される画像表示装置１は、車両遠隔指示システム１００に含まれる。車両遠隔指示システム１００は、遠隔オペレータＲによる遠隔指示に基づいて車両２を動作させるシステムである。遠隔指示とは、車両２の行動に関する遠隔オペレータＲの指示である。車両２は、特に限定されないが、一例として自動運転で走行する車両である。以下では、車両２が自動運転機能を有する車両であるとして説明する。遠隔指示には、交差点の右折開始の指示、信号機付き交差点の進入開始の指示、見通しの悪い交差点の進入開始の指示、車線変更の開始の指示、前方の障害物に対するオフセット回避の開始の指示、緊急退避のうち少なくとも一つが含まれてもよい。その他、遠隔指示には、駐車状態であった車両２の発進に対する指示が含まれてもよい。遠隔指示には、停車状態であった車両２の周囲に歩行者等が検出された場合における車両２の発進に対する指示が含まれていてもよい。遠隔指示には、車両２に対する乗員の乗り降りに関する指示（例えばドアの自動開閉の指示、降車の音声案内開始の指示）が含まれてもよい。

［車両遠隔指示システムの構成］
図１に示されるように、車両遠隔指示システム１００は、遠隔指示装置１０を備える。遠隔指示装置１０は、画像表示装置１を備え、オペレータインターフェース３に接続される。オペレータインターフェース３は、画像表示装置１の制御により、遠隔オペレータＲに情報を表示する。オペレータインターフェース３は、遠隔オペレータＲから遠隔指示を受け付けて、遠隔指示装置１０へ出力する。遠隔指示装置１０は、ネットワークＮを介して車両２と通信可能に接続される。ネットワークＮは無線通信ネットワークである。遠隔指示装置１０は、車両２から種々の情報を受信する。なお、遠隔指示装置１０は、ネットワークＮを介して他車両と通信可能に接続されてもよい。

車両遠隔指示システム１００においては、例えば車両２からの遠隔指示要求に応じて、遠隔オペレータＲに遠隔指示の入力が要求される。遠隔オペレータＲは、オペレータインターフェース３に遠隔指示を入力する。遠隔指示装置１０は、ネットワークＮを通じて車両２に遠隔指示を送信する。車両２は、遠隔指示に従って自動で走行する。

車両遠隔指示システム１００においては、遠隔オペレータＲの人数は限定されず、一人であってもよく、二人以上であってもよい。車両遠隔指示システム１００と通信可能な車両２の台数も特に限定されない。複数人の遠隔オペレータＲが交替して一台の車両２に対する遠隔指示を行う態様であってもよく、一人の遠隔オペレータＲが二台以上の車両２に対して遠隔指示を行う態様であってもよい。

車両２は、一例として、自動運転ＥＣＵ（Electronic ControlUnit）２０を有する。自動運転ＥＣＵ２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有する電子制御ユニットである。自動運転ＥＣＵ２０においては、例えば、ＲＯＭに記録されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより種々の機能を実現する。自動運転ＥＣＵ２０は、複数の電子ユニットから構成されてもよい。自動運転ＥＣＵ２０は、ＧＰＳ（Global Positioning System）受信部２１、外部センサ２２、内部センサ２３、地図データベース２４、車両通信部２５、及び、アクチュエータ２６に通信可能に接続される。

ＧＰＳ受信部２１は、３個以上のＧＰＳ衛星から信号を受信する機器である。ＧＰＳ受信部２１は、受信された信号に基づいて車両２の位置（例えば車両２の緯度及び経度）を測定する。ＧＰＳ受信部２１は、測定した位置に関する情報を出力する。ＧＰＳ受信部２１は、ＧＰＳの時刻体系で計測されたＧＰＳ時刻も出力する。

外部センサ２２は、車両２の外部環境を検出するセンサである。外部センサ２２は、検出結果を外部センサデータとして出力する。外部センサ２２は、カメラを含む。カメラは、車両２の外部環境を撮像する撮像機器である。カメラは、車両２の外部環境に関する画像データを出力する。画像データとは、画像を描画可能な情報である。カメラは、例えば車両２のフロントガラスの裏側に設けられ、車両前方を撮像する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。カメラは、複数台設けられてもよく、車両２の前方の他、左右の側方及び後方を撮像してもよい。

外部センサ２２は、レーダセンサを含んでもよい。レーダセンサは、電波（例えばミリ波）又は光を利用して車両２の周辺の物体を検出する検出機器である。レーダセンサには、例えば、ミリ波レーダ又はライダー（LIDAR：Light Detection and Ranging）が含まれる。レーダセンサは、電波又は光を車両２の周辺に送信し、物体で反射した電波又は光を受信することで物体を検出し、結果を出力する。物体には、ガードレール、建物などの固定物体の他、歩行者、自転車、他車両などの移動物体が含まれる。レーダセンサの検出結果は、３次元の画像データとして取り扱うことができる。

内部センサ２３は、車両２の走行状態を検出するセンサである。内部センサ２３は、検出結果を内部センサデータとして出力する。内部センサ２３は、車速センサ、加速度センサ、及びヨーレートセンサを含む。車速センサは、車両２の速度を検出する検出器である。車速センサとしては、車両２の車輪又は車輪と一体に回転するドライブシャフトなどに対して設けられた、各車輪の回転速度を検出する車輪速センサを用いることができる。

加速度センサは、車両２の加速度を検出する検出器である。加速度センサは、例えば、車両２の前後方向の加速度を検出する前後加速度センサを含む。加速度センサは、車両２の横加速度を検出する横加速度センサを含んでいてもよい。ヨーレートセンサは、車両２の重心の鉛直軸周りのヨーレート（回転角速度）を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。

地図データベース２４は、地図情報を記録するデータベースである。地図データベース２４は、例えば、車両２に搭載されたＨＤＤ（Hard Disk Drive）などの記録装置内に形成されている。地図情報には、道路の位置情報、道路形状の情報（例えば曲率情報）、交差点及び分岐点の位置情報などが含まれる。地図情報には、位置情報と関連付けられた法定速度などの交通規制情報が含まれてもよい。地図情報には、車両２の位置情報の取得に用いられる物標情報が含まれてもよい。物標としては、道路標識、路面標示、信号機、電柱などを用いることができる。地図データベース２４は、車両２と通信可能なサーバに構成されてもよい。

車両通信部２５は、車両２の外部との無線通信を制御する通信デバイスである。車両通信部２５は、ネットワークＮを介して遠隔指示装置１０と各種情報の送信及び受信を行う。車両通信部２５は、画像表示装置１の制御のために、外部センサデータ、内部センサデータ及びＧＰＳ時刻を遠隔指示装置１０へ送信する。

アクチュエータ２６は、車両２の制御に用いられる機器である。アクチュエータ２６は、駆動アクチュエータ、ブレーキアクチュエータ、及び操舵アクチュエータを含む。駆動アクチュエータは、自動運転ＥＣＵ２０からの制御信号に応じてエンジンに対する空気の供給量（スロットル開度）を制御し、車両２の駆動力を制御する。なお、車両２がハイブリッド車である場合には、エンジンに対する空気の供給量の他に、動力源としてのモータに自動運転ＥＣＵ２０からの制御信号が入力されて当該駆動力が制御される。車両２が電気自動車である場合には、動力源としてのモータに自動運転ＥＣＵ２０からの制御信号が入力されて当該駆動力が制御される。これらの場合における動力源としてのモータは、アクチュエータ２６を構成する。

ブレーキアクチュエータは、自動運転ＥＣＵ２０からの制御信号に応じてブレーキシステムを制御し、車両２の車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば、液圧ブレーキシステムを用いることができる。操舵アクチュエータは、電動パワーステアリングシステムのうち操舵トルクを制御するアシストモータの駆動を自動運転ＥＣＵ２０からの制御信号に応じて制御する。これにより、操舵アクチュエータは、車両２の操舵トルクを制御する。

自動運転ＥＣＵ２０は、上述した機器の出力結果又は機器が有する情報に基づいて、種々の機能を発揮する。自動運転ＥＣＵ２０は、車両位置取得部２００、外部環境認識部２０１、走行状態認識部２０２、遠隔指示要求判定部２０３、進路生成部２０４、自動運転制御部２０５、及び緊急ブレーキ判定部２０６を有する。

車両位置取得部２００は、ＧＰＳ受信部２１の位置情報及び地図データベース２４の地図情報に基づいて、車両２の位置情報を取得する。また、車両位置取得部２００は、地図データベース２４の地図情報に含まれた物標情報及び外部センサ２２の検出結果を利用して、ＳＬＡＭ（Simultaneous Localization and Mapping）技術により車両２の位置情報を取得してもよい。車両位置取得部２００は、車線の区画線と車両２の位置関係から、車線に対する車両２の横位置（車線幅方向における車両２の位置）を認識して位置情報に含めてもよい。車両位置取得部２００は、その他、周知の手法により車両２の位置情報を取得してもよい。

外部環境認識部２０１は、外部センサ２２の検出結果に基づいて、車両２の外部環境を認識する。外部環境には、車両２に対する周囲の物体の相対位置が含まれる。外部環境には、車両２に対する周囲の物体の相対速度及び移動方向が含まれてもよい。外部環境には、他車両、歩行者、自転車などの物体の種類が含まれてもよい。物体の種類は、パターンマッチングなどの周知の手法により識別することができる。外部環境には、車両２の周囲の区画線認識（白線認識）の結果が含まれてもよい。外部環境には、信号機の点灯状態の認識結果が含まれてもよい。外部環境認識部２０１は、例えば、外部センサ２２のカメラ画像に基づいて、車両２の前方の信号機の点灯状態を認識できる。

走行状態認識部２０２は、内部センサ２３の検出結果に基づいて、車両２の走行状態を認識する。走行状態には、車両２の車速、車両２の加速度、車両２のヨーレートが含まれる。具体的に、走行状態認識部２０２は、車速センサの車速情報に基づいて、車両２の車速を認識する。走行状態認識部２０２は、加速度センサの車速情報に基づいて、車両２の加速度を認識する。走行状態認識部２０２は、ヨーレートセンサのヨーレート情報に基づいて、車両２の向きを認識する。

遠隔指示要求判定部２０３は、遠隔オペレータＲに遠隔指示を要求すべきか否かを判定する。遠隔指示要求判定部２０３は、車両位置取得部２００により取得された車両２の位置情報及び地図データベース２４の地図情報と、外部環境認識部２０１により認識された外部環境と、後述する進路生成部２０４の生成した進路とのうち少なくとも一つに基づいて、遠隔指示を要求すべきか否かを判定する。

遠隔指示要求判定部２０３は、車両２が予め設定された遠隔指示を要求すべき状況になった場合に、遠隔指示を要求すべきと判定する。遠隔指示要求判定部２０３は、例えば、車両２が交差点を右折する状況になった場合、遠隔指示を要求すべきと判定する。遠隔指示要求判定部２０３は、車両２が信号機付き交差点又は見通しの悪い交差点に進入する状況になった場合に、遠隔指示を要求すべきと判定してもよい。遠隔指示要求判定部２０３は、車両２が目的地に至るために車線変更を開始する状況になった場合に、遠隔指示を要求すべきと判定してもよい。遠隔指示要求判定部２０３は、車両２の前方にオフセット回避すべき障害物が存在する場合に、遠隔指示を要求すべきと判定してもよい。

遠隔指示要求判定部２０３は、例えば、車両２の位置情報、地図情報、及び進路から、車両２が交差点を右折する状況になったこと、車両２が信号機付き交差点に進入する状況になったこと、又は車両２が車線変更を開始する状況になったことを認識できる。また、遠隔指示要求判定部２０３は、車両２の外部環境に基づいて、車両２の前方にオフセット回避すべき障害物が存在することを認識できる。

遠隔指示要求判定部２０３は、遠隔指示を要求すべきと判定した場合、遠隔指示装置１０に対して遠隔オペレータＲによる遠隔指示を要求する。遠隔指示の要求には、例えば車両２の識別情報が含まれる。なお、遠隔指示要求判定部２０３は、予め余裕をもって遠隔指示を要求してもよい。遠隔指示要求判定部２０３は、遠隔指示の対象となる交差点等と車両２との距離が一定距離以下になった場合に、遠隔指示を要求すべきと判定してもよい。距離ではなく到達残り時間を用いてもよい。

遠隔指示要求判定部２０３は、遠隔指示を要求すべきと判定した場合、車両２の走行状況情報を遠隔指示装置１０に送信する。車両２の走行状況情報には、遠隔オペレータＲが車両２の状況を認識するための情報が含まれる。

車両２の走行状況情報には、車両２の位置情報、外部センサ２２により検出された外部センサデータ、及び、内部センサ２３により検出された内部センサデータが含まれる。外部センサデータは、カメラ画像、レーザレーダの検出結果などが含まれる。内部センサデータは、車両２の車速、車両２のヨーレート、車両２の操舵角などが含まれる。車両２の走行状況情報には、乗員に関する情報（乗員の有無、乗員の人数）が含まれてもよい。車両２の走行状況情報には、遠隔オペレータＲの選択可能な遠隔指示に応じた進路の情報が含まれてもよい。

自動運転ＥＣＵ２０は、遠隔指示を要求すべきか否かの判定結果にかかわらず、予め設定されたタイミングで車両２の走行状況情報を遠隔指示装置１０に送信してもよい。予め設定されたタイミングは、一定時間毎であってもよく、地図上の道路のノード毎であってもよく、横断歩道接近時、交差点接近時などのイベント毎であってもよい。

進路生成部２０４は、車両２の自動運転に利用される進路（trajectory）を生成する。進路生成部２０４は、予め設定された走行ルート、地図情報、車両２の位置情報、車両２の外部環境、及び車両２の走行状態に基づいて、自動運転の進路を生成する。

走行ルートとは、自動運転において車両２が走行するルートである。進路生成部２０４は、例えば目的地、地図情報、及び車両２の位置情報に基づいて、自動運転の走行ルートを求める。走行ルートは、周知のナビゲーションシステムによって設定されてもよい。目的地は車両２の乗員によって設定されてもよく、自動運転ＥＣＵ２０又はナビゲーションシステム等が自動的に提案してもよい。

進路には、自動運転で車両が走行する経路（path）と自動運転における車速プロファイルとが含まれる。経路は、走行ルート上において自動運転中の車両が走行する予定の軌跡である。経路は、例えば走行ルート上の位置に応じた車両２の操舵角変化のデータ（操舵角プロファイル）とすることができる。走行ルート上の位置とは、例えば走行ルートの進行方向において所定間隔（例えば１ｍ）毎に設定された設定縦位置である。操舵角プロファイルとは、設定縦位置毎に目標操舵角が関連付けられたデータとなる。

進路生成部２０４は、例えば走行ルート、地図情報、車両２の外部環境、及び車両２の走行状態に基づいて、車両２が走行する経路を生成する。進路生成部２０４は、例えば車両２が走行ルートに含まれる車線の中央（車線幅方向における中央）を通るように経路を生成する。

車速プロファイルは、例えば設定縦位置毎に目標車速が関連付けられたデータである。設定縦位置は、距離ではなく車両２の走行時間を基準として設定されてもよい。設定縦位置は、車両の１秒後の到達位置、車両の２秒後の到達位置として設定されてもよい。

進路生成部２０４は、例えば経路と地図情報に含まれる法定速度等の交通規制情報に基づいて車速プロファイルを生成する。法定速度に代えて、地図上の位置又は区間に対して予め設定された設定速度を用いてもよい。進路生成部２０４は、経路及び車速プロファイルから自動運転の進路を生成する。なお、進路生成部２０４における進路の生成方法は上述した内容に限定されず、自動運転に関する周知の手法を採用することができる。進路の内容についても同様である。

進路生成部２０４は、遠隔指示要求判定部２０３により遠隔指示装置１０に対して遠隔指示が要求された場合、遠隔指示に応じた進路を予め生成する。車両２の状況に応じて、遠隔指示の内容は予め決定されている。例えば交差点の右折時における遠隔指示の内容には、右折開始（進行開始）の遠隔指示及び待機の遠隔指示が含まれる。交差点の右折時における遠隔指示の内容には、右折をやめて直進の遠隔指示が含まれてもよく、緊急退避の遠隔指示が含まれてもよい。

進路生成部２０４は、例えば、車両２が交差点を右折する状況において、右折開始の遠隔指示に対応するように、車両２が交差点を右折する進路を生成する。進路生成部２０４は、遠隔指示を受信するまでの間、外部環境の変化に応じて進路を更新してもよい。また、進路生成部２０４は、交差点の右折から交差点の直進に切り換える遠隔指示が存在する場合には、交差点を直進する進路を予め生成してもよい。

進路生成部２０４は、緊急退避の遠隔指示が存在する場合には、緊急退避用の進路を予め生成してもよい。緊急退避用の進路は、地図上に予め設定された退避スペースの何れかに、車両２を停車させるように生成される。進路生成部２０４は、例えば外部環境に基づいて各退避スペース上の障害物の有無を認識し、空いている退避スペースに停車するように緊急退避用の進路を生成する。なお、進路生成部２０４は、必ずしも進路を予め生成する必要はなく、遠隔指示を受信してから遠隔指示に対応する進路を生成してもよい。

自動運転制御部２０５は、車両２の自動運転を実行する。自動運転制御部２０５は、例えば車両２の外部環境、車両２の走行状態、及び進路生成部２０４の生成した進路に基づいて、車両２の自動運転を実行する。自動運転制御部２０５は、アクチュエータ２６に制御信号を送信することで、車両２の自動運転を行う。

自動運転制御部２０５は、遠隔指示要求判定部２０３により遠隔指示装置１０に対して遠隔指示が要求された場合、遠隔指示装置１０からの遠隔指示の受信を待つ。自動運転制御部２０５は、車両２が停車してから遠隔指示を要求した場合、遠隔指示を受信するまで停車状態を維持する。

自動運転制御部２０５は、運転免許を有する乗員が乗車している場合において、予め設定された待機時間が経過しても遠隔指示を受信しないときには、当該乗員による判断又は手動運転を求めてもよい。自動運転制御部２０５は、待機時間が経過しても遠隔指示を受信せず、乗員による判断又は手動運転も不能な場合には、自動で緊急退避を行ってもよい。

緊急ブレーキ判定部２０６は、車両２の外部環境又は外部センサ２２の検出結果（カメラの画像及び／又はレーダセンサの物体情報）に基づいて、緊急ブレーキの要否を判定する。緊急ブレーキ判定部２０６は、例えば車両２の前方の障害物と車両２との衝突余裕時間（TTC : Time To Collision）がＴＴＣ閾値未満となった場合に、緊急ブレーキが必要と判定する。ＴＴＣ閾値は予め設定された値の閾値である。なお、衝突余裕時間に代えて車間時間（THW : Time Headway）を用いてもよく、車両２と障害物との距離を用いてもよい。

緊急ブレーキ判定部２０６は、緊急ブレーキが必要と判定した場合、ブレーキアクチュエータに制御信号を送信して緊急ブレーキを実行する。緊急ブレーキの判定は、自動運転機能とは独立して実行される。緊急ブレーキ判定部２０６は、自動運転ＥＣＵ２０とは異なる電子ユニットに形成されてもよい。緊急ブレーキは、いわゆるＰＣＳ（Pre-Crash Safety）システムにおいて実行されてもよい。

［遠隔指示装置の構成］
図２は、遠隔指示装置のハードウェア構成の一例を示す図である。図２に示されるように、遠隔指示装置１０は、プロセッサ１０ａ、記録部１０ｂ、通信部１０ｃ及びユーザインターフェース１０ｄを備えた一般的なコンピュータとして構成されている。

プロセッサ１０ａは、各種オペレーティングシステムを動作させて遠隔指示装置１０を制御する。プロセッサ１０ａは、制御装置、演算装置、レジスタなどを含むＣＰＵなどの演算器である。プロセッサ１０ａは、記録部１０ｂ、通信部１０ｃ及びユーザインターフェース１０ｄを統括する。記録部１０ｂは、メモリ及びストレージのうち少なくとも一方を含む。メモリは、ＲＯＭ、ＲＡＭなどの記録媒体である。ストレージは、ＨＤＤなどの記録媒体である。

通信部１０ｃは、ネットワークＮを介した通信を行うための通信機器である。通信部１０ｃには、ネットワークデバイス、ネットワークコントローラ、ネットワークカードなどを用いることができる。ユーザインターフェース１０ｄは、管理者などのユーザのための入出力部である。ユーザインターフェース１０ｄは、ディスプレイ、スピーカなどの出力器、及び、タッチパネルなどの入力器を含む。遠隔指示装置１０は、必ずしも施設に設けられている必要はなく、車両などの移動体に搭載されてもよい。

［画像表示装置の構成及び機能］
画像表示装置１は、遠隔指示装置１０に備わるため、そのハードウェアは遠隔指示装置１０と同一である。画像表示装置１のハードウェアは、遠隔指示装置１０と同一又は共通な場合に限定されず、遠隔指示装置１０とは別体で図２の構成を備えてもよい。図３は、画像表示装置の機能を示すブロック図である。図３に示されるように、画像表示装置１は、通信機能として通信部１１を備える。通信部１１の機能は、プロセッサ１０ａ及び通信部１０ｃにより実現される。

通信部１１は、車両２の車両通信部２５とネットワークＮを介して接続される。車両２の車両通信部２５は、外部センサデータ、内部センサデータ及びＧＰＳ時刻を送信するために、外部センサデータ送信部２５０、内部センサデータ送信部２５１、及び、時間送信部２５２を有する。通信部１１は、外部センサデータ、内部センサデータ及びＧＰＳ時刻を受信するために、外部センサデータ受信部１１０（外部センサデータ取得部の一例）、内部センサデータ受信部１１１（内部センサデータ取得部の一例）、及び、時間受信部１１２を有する。外部センサデータ受信部１１０は、車両２の外部センサ２２により第１時刻に検出された外部センサデータを、車両２の外部センサデータ送信部２５０からネットワークＮを介して取得する。内部センサデータ受信部１１１は、車両２の内部センサ２３により第１時刻に検出された内部センサデータを、車両２の内部センサデータ送信部２５１からネットワークＮを介して取得する。第１時刻とは、外部センサ２２及び内部センサ２３の検出時刻である。時間受信部１１２は、ＧＰＳ時刻を車両２の時間送信部２５２からネットワークＮを介して取得する。

画像表示装置１は、通信部１１の他に、遅延時間算出部１２（算出部の一例）、車両位置決定部１３（決定部の一例）、距離決定部１４、及び、表示制御部１５を備える。

遅延時間算出部１２は、車両２との通信の遅延時間を算出する。遅延時間算出部１２は、時間受信部１１２により取得されたＧＰＳ時刻と、画像表示装置１の図示しないＧＰＳ受信部により取得されたＧＰＳ時刻とを比較して、通信の遅延時間を算出する。

車両位置決定部１３は、遠隔オペレータＲの判断を補助する情報を生成する。車両位置決定部１３は、第１時刻から所定時間経過した将来の時刻である第２時刻の車両２の位置を決定する。将来の時刻とは、現時刻よりも先の時刻のことである。画像表示装置１の処理時を基準とした場合、第１時刻は現時刻にほぼ近い過去の時刻であり、第２時刻は現時刻よりも先の将来の時刻となる。第２時刻は、複数設定されてもよい。車両位置決定部１３は、内部センサデータ受信部１１１により取得された第１時刻のセンサデータに基づいて、第２時刻の車両２の位置を決定する。一例として、車両位置決定部１３は、第１時刻から第２時刻まで遠隔オペレータＲによる遠隔指示に変化がないと仮定し、第１時刻のセンサデータに基づいて第２時刻の車両２の位置を決定する。例えば、車両位置決定部１３は、第１時刻の車速が６０ｋｍ/ｈである場合には、第２時刻まで車速６０ｋｍ/ｈが維持されると仮定する。例えば、車両位置決定部１３は、第１時刻において減速中である場合には、第２時刻まで同一加速度で減速すると仮定する。このように、車両位置決定部１３は、車両２の走行状態に変化がない場合の将来の車両２の位置を決定する。

車両位置決定部１３は、遅延時間算出部１２により算出された遅延時間に基づいて第２時刻の車両２の位置の取り得る範囲を決定してもよい。例えば、車速が６０ｋｍ/ｈで遅延時間が０．１秒である場合、１．７ｍ程度の誤差が生じる。車両位置決定部１３は、例えば、第１時刻のセンサデータに基づいて決定された第２時刻の車両２の位置から誤差分の距離を減算した最大遅延位置を決定する。車両位置決定部１３は、最大遅延位置から第２時刻の車両２の位置までの範囲を、取り得る範囲として決定してもよい。車両位置決定部１３は、第２時刻の車両２の位置と、誤差の距離と、正規分布とを利用して、取り得る範囲を決定してもよい。

距離決定部１４は、第１時刻の外部センサデータに基づいて、第１時刻の車両２の周辺環境における車両２からの距離（以下、周辺環境の距離ともいう。）を決定する。距離決定部１４は、例えばカメラ画像に基づいて、画角内の車両２から物体までの距離を、周知の手法を用いて決定することができる。距離決定部１４は、例えばレーダセンサの検出結果に基づいて、車両２から画角内の物体までの距離を決定してもよい。

表示制御部１５は、外部センサデータ受信部１１０により取得された第１時刻の外部センサデータに基づいて、車両２の周辺を示す監視画像をオペレータインターフェース３に表示させる。オペレータインターフェース３は、ディスプレイ装置３０（表示部の一例）を備える。表示制御部１５は、ディスプレイ装置３０に接続される。監視画像は、ディスプレイ装置３０の画面に表示される画像であり、車両２の周囲を示す画像であれば何でもよい。例えば監視画像は、車両２を真上から俯瞰した図又は車両２を斜めから俯瞰した鳥瞰図であってもよいし、外部センサ２２により取得されたカメラ画像又はレーダセンサの画像そのものであってもよい。なお、オペレータインターフェース３は、ディスプレイ装置３０の他に、遠隔オペレータＲの操作用の指示受付部３１を備えてもよい。

表示制御部１５は、車両位置決定部１３により決定された第２時刻の車両２の位置に対応する監視画像上の位置に、第２時刻の車両２の位置を示すオブジェクトを重畳させる。第２時刻の車両２の位置を示すオブジェクトは、一例としてガイド線のオブジェクトである。例えば、ガイド線のオブジェクトは、実線、破線、点線などのオブジェクトであり、種々の色を付与することができる。第２時刻の車両２の位置を示すオブジェクトは、これらに限定されない。例えば、第２時刻の車両２の位置を示すオブジェクトは、円形や矩形であってもよい。

図４の（Ａ）は将来の車両位置を示すガイド線のオブジェクトが重畳された監視画像の一例である。図４の（Ａ）の監視画像Ｇ１は、カメラ画像である。車両位置決定部１３は、一例として、現時刻から１秒後、２秒後、及び３秒後の３つの第２時刻の車両２の位置を生成する。表示制御部１５は、車両位置決定部１３により決定された３つの第２時刻の車両２の位置に基づいて、それぞれのガイド線のオブジェクトを監視画像Ｇ１上に重畳表示させる。例えば、表示制御部１５は、１秒後の車両２の位置を示す車両２の周囲を囲む線オブジェクトＯＬ１を監視画像Ｇ１上に重畳表示させる。表示制御部１５は、線オブジェクトＯＬ１と対応する画面位置に、第２時刻に関連する情報（例えば現時刻からの経過時間）を示すオブジェクトＭ１を重畳表示させることができる。同様に、表示制御部１５は、２秒後の車両２の位置を示す線オブジェクトＯＬ２及び対応する第２時刻に関連するオブジェクトＭ２を重畳表示させる。表示制御部１５は、３秒後の車両２の位置を示す線オブジェクトＯＬ３及び対応する第２時刻に関連するオブジェクトＭ３を重畳表示させる。

表示制御部１５は、遅延時間に関するオブジェクトを監視画像に重畳表示してもよい。例えば、表示制御部１５は、車両位置決定部１３により決定された取り得る範囲をオブジェクトとして監視画像に重畳表示させてもよい。取り得る範囲を示すオブジェクトは、透明度の高い図形であってもよいし、種々の色が付されてもよい。

表示制御部１５は、距離決定部１４により決定された第１時刻の車両２の周辺環境の距離に対応する監視画像上の位置に、第１時刻の車両２の周辺環境の距離を示すオブジェクトを重畳させる。第１時刻の車両２の周辺環境の距離を示すオブジェクトは、一例としてガイド線のオブジェクトである。例えば、ガイド線のオブジェクトは、実線、破線、点線などのオブジェクトであり、種々の色を付与することができる。第１時刻の車両２の周辺環境の距離を示すオブジェクトは、これらに限定されない。例えば、第１時刻の車両２の周辺環境の距離を示すオブジェクトは、円形や矩形であってもよい。

図４の（Ｂ）は、距離を示すガイド線のオブジェクトが重畳された監視画像の一例である。図４の（Ｂ）の監視画像Ｇ２は、カメラ画像である。距離決定部１４は、監視画像Ｇ２における車両２からの距離（５ｍ地点、１０ｍ地点、１５ｍ地点、２０ｍ地点）を決定する。表示制御部１５は、距離決定部１４から得られた車両２からの距離に基づいて、それぞれのオブジェクトを監視画像Ｇ２上に重畳表示させる。例えば、表示制御部１５は、５ｍ地点を示す線オブジェクトＯＬ１、１０ｍ地点を示す線オブジェクトＯＬ２、１５ｍ地点を示す線オブジェクトＯＬ３、２０ｍ地点を示す線オブジェクトＯＬ４を重畳表示させる。さらに、表示制御部１５は、線オブジェクトＯＬ１〜ＯＬ４それぞれに対応する距離の絶対値を示すオブジェクトＭ１〜Ｍ４を重畳表示させる。

表示制御部１５は、遅延の条件に応じて図４の（Ａ）の監視画像Ｇ１と図４の（Ｂ）の監視画像Ｇ２とを切り換えてもよい。画像の切り換えには、遅延度が用いられる。遅延度は、車両位置決定部１３により算出された遅延時間を用いて決定される。遅延度は、遅延時間が大きいほど遅延が大きいことを示す値である。遅延度は、遅延時間の絶対値であってもよい。遅延度は、分散値そのものであってもよい。あるいは、遅延度は、遅延時間の遅延度と分散値の遅延度との重み付け和や加重平均であってもよい。あるいは、遅延度は、遅延時間の絶対値と分散値との関係に基づいて決定されてもよい。具体的には、遅延度は、遅延時間の絶対値が所定閾値より小さい場合には、遅延時間の分散値に関わらず（遅延時間の分散値が大きくても）遅延度が小さく決定され、一方、遅延時間の絶対値が所定閾値以上の場合には、遅延時間の分散値が大きいほど遅延度が大きく決定され、遅延時間の分散値が小さいほど遅延度が小さくされてもよい。このように、遅延度は、遅延時間の絶対値及び所定時間内の分散値の少なくとも一方に基づいて定義される。

例えば、表示制御部１５は、遅延度が閾値未満である場合に図４の（Ａ）の監視画像Ｇ１をディスプレイ装置３０に表示させ、遅延度が閾値以上である場合に図４の（Ｂ）の監視画像Ｇ２をディスプレイ装置３０に表示させる。閾値は、遅延度の判定のために予め設定された値である。例えば、閾値は、監視画像に表示されるガイド線の間隔と設定比率によって決定されてもよい。例えば、遅延時間が遅延度である場合を例にすると、ガイド線の間隔か１秒である場合には、閾値は１秒に設定される。この場合、表示制御部１５は、遅延時間が１秒未満である場合に監視画像Ｇ１を表示し、遅延時間が１秒以上である場合に監視画像Ｇ２を表示する。

図５の（Ａ）は、将来の車両位置を示すガイド線のオブジェクトが重畳された監視画像の他の例である。図５の（Ａ）は、車両２を示す車両オブジェクトＯＶ１が画面中央に位置した俯瞰図である。上述したとおり、ガイド線のオブジェクトは種々の形態で表現され得る。図５の（Ａ）の監視画像Ｇ３では、車両オブジェクトＯＶ１の周囲を囲むように線オブジェクトＯＬ１〜ＯＬ３が表示され、対応するオブジェクトＭ１〜Ｍ３が表示される（到達位置の時刻表示）。図５の（Ｂ）は、距離を示すガイド線のオブジェクトが重畳された監視画像の他の例である。図５の（Ｂ）は、車両２を示す車両オブジェクトＯＶ１が画面中央に位置した俯瞰図である。上述したとおり、ガイド線のオブジェクトは種々の形態で表現され得る。図５の（Ｂ）の監視画像Ｇ４では、車両オブジェクトＯＶ１の周囲を囲むように線オブジェクトＯＬ１〜ＯＬ３が表示され、対応するオブジェクトＭ１〜Ｍ３が表示される（距離の絶対値の表示）。

図６の（Ａ）は将来の車両位置を示すガイド線のオブジェクトが重畳された監視画像の他の例である。図６の（Ａ）では、車両２を示す車両オブジェクトＯＶ１と、その予定経路ＰＡとが示される。このような表示のために、画像表示装置１は、通信部１１を介して車両２から予定経路を予め取得する。表示制御部１５は、車両位置決定部１３により決定された５つの第２時刻の車両２の位置に基づいて、それぞれのガイド線のオブジェクトを監視画像Ｇ１の予定経路ＰＡ上に重畳表示させる。例えば、表示制御部１５は、１秒後の車両２の位置を示す線オブジェクトＯＬ１を監視画像Ｇ５上に重畳表示させる。表示制御部１５は、線オブジェクトＯＬ１と対応する画面位置に、第２時刻に関連する情報（例えば現時刻からの経過時間）を示すオブジェクトＭ１を重畳表示させることができる。このとき、表示制御部１５は、オブジェクトの形状のために地図情報を参照してもよい。同様に、表示制御部１５は、２秒後の車両２の位置を示す線オブジェクトＯＬ２及び対応する第２時刻に関連するオブジェクトＭ２を重畳表示させる。表示制御部１５は、３秒後の車両２の位置を示す線オブジェクトＯＬ３及び対応する第２時刻に関連するオブジェクトＭ３を重畳表示させる。表示制御部１５は、４秒後の車両２の位置を示す線オブジェクトＯＬ４及び対応する第２時刻に関連するオブジェクトＭ４を重畳表示させる。表示制御部１５は、５秒後の車両２の位置を示す線オブジェクトＯＬ５及び対応する第２時刻に関連するオブジェクトＭ５を重畳表示させる。

図６の（Ｂ）は、距離を示すガイド線のオブジェクトが重畳された監視画像の他の例である。図６の（Ｂ）では、車両２を示す車両オブジェクトＯＶ１と、その予定経路ＰＡとが示される。このような表示のために、画像表示装置１は、通信部１１を介して車両２から予定経路を予め取得する。表示制御部１５は、距離決定部１４により決定された５つの距離に基づいて、それぞれのガイド線のオブジェクトを監視画像Ｇ６の予定経路ＰＡ上に重畳表示させる。例えば、表示制御部１５は、１ｍ地点を示す線オブジェクトＯＬ１を監視画像Ｇ１上に重畳表示させる。表示制御部１５は、線オブジェクトＯＬ１と対応する画面位置に、距離の絶対値を示すオブジェクトＭ１を重畳表示させることができる。このとき、表示制御部１５は、オブジェクトの形状のために地図情報を参照してもよい。同様に、表示制御部１５は、２ｍ地点を示す線オブジェクトＯＬ２及び距離の絶対値を示すオブジェクトＭ２を重畳表示させる。表示制御部１５は、４ｍ地点を示す線オブジェクトＯＬ３及び距離の絶対値を示すオブジェクトＭ３を重畳表示させる。表示制御部１５は、６ｍ地点を示す線オブジェクトＯＬ４及び距離の絶対値を示すオブジェクトＭ４を重畳表示させる。表示制御部１５は、１０ｍ地点を示す線オブジェクトＯＬ５及び距離の絶対値を示すオブジェクトＭ５を重畳表示させる。

［画像表示装置の動作］
図７は、画像表示装置の表示処理の一例を示すフローチャートである。図７に示されるフローチャートは、画像表示装置１の表示機能の開始指示がなされたタイミングで開始される。

最初に、データ取得処理（Ｓ１０）として、外部センサデータ受信部１１０は、第１時刻に検出された外部センサデータを車両２から取得する。内部センサデータ受信部１１１は、第１時刻の内部センサデータを車両２から取得する。

次に、ＧＰＳ時刻取得処理（Ｓ１２）として、時間受信部１１２は、ＧＰＳ時刻を車両２から取得する。また、遅延時間算出部１２は、画像表示装置１の図示しないＧＰＳ受信部から自身のＧＰＳ時刻を取得する。

次に、遅延度算出処理（Ｓ１４）として、遅延時間算出部１２は、車両２のＧＰＳ時刻と自身のＧＰＳ時刻とを比較して遅延度を算出する。一例として、遅延時間算出部１２は、車両２のＧＰＳ時刻と自身のＧＰＳ時刻との差分である遅延時間を遅延度として用いる。遅延時間算出部１２は、所定時間の間、車両２のＧＰＳ時刻と自身のＧＰＳ時刻との差分を算出し、その差の分散値を遅延度として用いてもよい。

次に、判定処理（Ｓ１６）として、表示制御部１５は、遅延度が閾値以上であるか否かを判定する。遅延度が閾値以上でない場合、車両位置決定部１３は、車両位置決定処理（Ｓ１８）として、第１時刻から第２時刻まで遠隔オペレータＲによる遠隔指示に変化がないと仮定して、第２時刻の車両２の位置を決定する。遅延度が閾値以上である場合、距離決定部１４は、距離決定処理（Ｓ２０）として、第１時刻の外部センサデータに基づいて、第１時刻の車両２の周辺環境の距離を決定する。

車両位置決定処理（Ｓ１８）又は距離決定処理（Ｓ２０）が終了すると、表示処理（Ｓ２２）として、表示制御部１５は、第１時刻の外部センサデータに基づいて車両２の周辺を示す監視画像をディスプレイ装置３０に表示させるとともに、車両位置または距離を示すオブジェクトを監視画像上に重畳表示させる。

表示処理（Ｓ２２）が終了すると、図７に示されるフローチャートが終了する。図７に示されるフローチャートが実行されることにより、画像表示装置１は、条件に応じて監視画面を切り換えることができる。フローチャート終了後、画像表示装置１は、表示機能の終了指示がなされるまで、フローチャートを最初から開始する。

［実施形態のまとめ］
一実施形態に係る画像表示装置１においては、車両２の内部センサ２３により検出された第１時刻の内部センサデータに基づいて、第１時刻から第２時刻まで遠隔オペレータＲによる遠隔指示に変化がない場合における第２時刻の車両２の位置が算出される。遅延度が閾値未満の場合には、算出された第２時刻の車両２の位置は、第１時刻の外部センサデータに基づいて表示された監視画像にオブジェクトとして重畳表示されて遠隔オペレータＲに提供される。遅延が小さい場合には、遅延が予測した車両２の位置に与える影響も小さい。このため、信頼性が担保された車両２の位置を提供することができる。遅延度が閾値以上の場合には、算出された第２時刻の車両２の位置は提示されず、第１時刻の外部センサデータに基づいて表示された監視画像の距離のみが提供される。遅延が大きい場合には、遅延が予測した車両２の位置に与える影響も大きい。このため、遅延が大きい場合には、信頼性が低い車両２の位置を提供することなく、遅延が発生しても検出結果に影響しない距離を代わりに提供することで、信頼性の低い情報を提供することを回避することができる。

以上、本開示の実施形態について説明したが、本開示は上述した実施形態に限定されるものではない。本開示は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

［変形例］
［他車両の表示］
画像表示装置１は、車両２の周辺に存在する他車両に関する情報をディスプレイ装置３０に表示してもよい。画像表示装置１は、外部センサ２２により検出された外部センサデータに基づいて他車両を認識し、他車両に関して上述した車両２の表示をしてもよい。

［表示の変形例］
実施形態においては、表示制御部１５は、ディスプレイ装置３０に俯瞰画像を表示させていたが、カメラ画像そのものを表示させてもよい。

他車両の表示に係る変形例においては、表示制御部１５は、将来の他車両の位置を示す線オブジェクトを表示させていたが、これに限定されない。例えば、表示制御部１５は、車両２と対象の他車両とのＴＴＣを示す線オブジェクトを表示させてもよい。この場合、他車両の時間については、地図データベースに含まれる制限速度を他車両の速度としてもよい。

［構成の変形例］
車両２は、遠隔指示が可能な車両であればよく、自動運転車両に限定されない。車両２は、地図データベースを備えなくてもよい。画像表示装置１は、ＧＰＳ時刻に替えてＮＴＰ（Network Time Protocol）サーバから取得された時刻を用いてもよい。

１…画像表示装置、２…車両、１２…遅延時間算出部、１３…車両位置決定部（決定部）、１４…距離決定部、１５…表示制御部、２２…外部センサ、２３…内部センサ、Ｒ…遠隔オペレータ。

Claims (1)

1. 車両を遠隔指示する遠隔オペレータに情報を表示する表示部に接続される画像表示装置であって、
   前記車両の外部センサにより第１時刻に検出された外部センサデータを、前記車両から通信を介して取得する外部センサデータ取得部と、
   前記車両の内部センサにより前記第１時刻に検出された内部センサデータを、前記車両から通信を介して取得する内部センサデータ取得部と、
   前記第１時刻の前記内部センサデータに基づいて、前記第１時刻から所定時間経過した将来の時刻である第２時刻まで前記遠隔オペレータによる遠隔指示に変化がない場合における前記第２時刻の前記車両の位置を決定する決定部と、
   前記第１時刻の前記外部センサデータに基づいて、前記第１時刻の前記車両の周辺環境における前記車両からの距離を決定する距離決定部と、
   前記車両との通信の遅延時間を算出する算出部と、
   前記第１時刻の前記外部センサデータに基づいて、前記車両の周辺を示す監視画像を前記表示部に表示させる表示制御部と、
   を備え、
   前記表示制御部は、
   前記遅延時間の絶対値及び所定時間内の分散値の少なくとも一方に基づいて定義された、値が大きくなるほど遅延が大きいことを示す遅延度が閾値以上である場合には、前記距離決定部により決定された前記周辺環境の距離に対応する前記監視画像上の位置に前記距離を示すオブジェクトを重畳させ、
   前記遅延度が閾値未満である場合には、前記決定部により決定された前記第２時刻の前記車両の位置に対応する前記監視画像上の位置に、前記第２時刻の前記車両の位置を示すオブジェクトを重畳させる、
   画像表示装置。

Images