JP2023030669A - 遠隔操作装置、遠隔運転システム、遠隔操作方法及び遠隔操作プログラム - Google Patents

Abstract

【課題】車両の旋回時でも遠隔運転操作中の操作者が車速感を得ることができる遠隔操作装置、遠隔運転システム、遠隔操作方法及び遠隔操作プログラムを得る。【解決手段】車外から操作することにより車両を運転する遠隔操作装置（１４）であって、車両の周辺画像を表示する表示装置４２の画像表示面４２Ａと、画像表示面４２Ａにおける中心視野領域５０を除く領域で、画像表示面４２Ａの上側及び下側に設けられ、中心視野領域５０側から幅方向両端部に向かって移動するオブジェクト５２を表示するオブジェクト表示領域５４Ｌ～５６Ｒと、を備えている。【選択図】図９

Description

本開示は遠隔操作装置、遠隔運転システム、遠隔操作方法及び遠隔操作プログラムに関する。

特許文献１には、車両のルーフの車室側面に前後方向に延在する延在する一対の液晶ディスプレイを配置し、そこに車速に応じた速度で移動するガウシアンブロブを表示することが提案されている。運転者が周辺視野でガウシアンブロブの運動を視認することで、運転操作を妨げることなく、車速を直感的に認識することができるとされている。

特開２０１０－１７３４９２号公報

近年、車外の運転操作室（オペレーションルーム）等で操作することにより、車両を遠隔地から操作する遠隔運転技術が求められている。運転操作室では、車両（の運転席）からの視野に対応する画像がモニタに表示されている。

遠隔運転時に、運転操作室の操作者が車速感を得るために、先行技術を採用することが考えられる。

しかし、上記先行技術を援用した場合、ガウシアンブロブを表示するための液晶ディスプレイが別途必要になること、また、車両の旋回時等、操作者の視線が正面から左右にずれた場合には、操作者の中心視野にガウシアンブロブが入ってきて、車速感を十分に認識することができないおそれがあつた。

本開示は上記事実を考慮して成されたもので、車両の旋回時でも遠隔運転操作中の操作者が車速感を得ることができる遠隔操作装置、遠隔運転システム、遠隔操作方法及び遠隔操作プログラムを得ることが目的である。

第１の態様に係る遠隔操作装置は、車外から遠隔操作することにより車両を運転する遠隔操作装置であって、前記車両から当該車両の周辺画像を取得する画像取得部と、前記車両の周辺画像を表示する第１表示部と、前記第１表示部の中心視野領域を除く周辺視野領域で、前記第１表示部の上側、又は下側、又は前記上側及び前記下側に設けられ、前記中心視野領域側から幅方向端部に向かって移動するオブジェクトを表示する第２表示部と、を備える。

第１の態様では、車外から車両を操作する遠隔操作装置において、車両から車両の周辺画像を取得する画像取得部と、車両の周辺映像を表示する第１表示部と、第１表示部における中心視野領域を除く周辺視野領域で第１表示部の上方又は下方又は上方及び下方に第２表示部が設けられている。この第２表示部に、中心視野領域から幅方向端部へ向かって移動するオブジェクトを表示する。

ここで、「第１表示部の上側、又下側、又は上側及び下側に設けられた第２表示部」には、第１表示部内の上部、又は下部、又は上部及び下部に設けられた第２表示部を含む。

また、「中心視野領域」とは、遠隔操作装置の操作者の中心視野に相当する第１表示部上の領域である

このように、第２表示部上で中心視野領域側から幅方向端部に向かってオブジェクトを移動させることにより、操作者に操作対象の車両の速度感を感じさせることができる。

特に、操作者の視線が左右に移動した場合でも、第１表示部上で中心視野領域を除いた周辺視野領域の上側、又は下側、又は上側及び下側に設けられた第２表示部にのみオブジェクトが表示されることになる。すなわち、第２表示部に表示されたオブジェクトが操作者の中心視野に入ることが防止され、操作者の周辺画像に対する視認性が低下することを防止又は抑制できると共に、操作者が車速感を得ることができる。

第２の態様に係る遠隔操作装置は、第１の態様に係る遠隔操作装置において、前記車両の舵角情報を取得する舵角情報取得部と、前記舵角情報に基づいて前記中心視野領域を決定する中心視野領域決定部と、を備える。

第２の態様によれば、舵角情報取得部で取得された車両の舵角情報に基づいて、第１表示部の中心視野領域を決定（変更）する。例えば、車両が左折する場合、操作者は車両前方よりも左側に視線を向けることによって、左折先の状況を把握する。すなわち、車両の左折時に、操作者の中心視野が左側に変位する。

そこで、本態様では、車両の舵角（情報）に基づいて第１表示部上の中心視野領域を決定し（幅方向に変位させ）、中心視野領域を除いた第１表示部の周辺視野領域の上側、又は下側、又は上側及び下側に第２表示部を設けている。これにより、例えば、車両の左折時に視線を左側に動かした操作者の中心視野に第２表示部に表示されたオブジェクトが入り、操作者の車両の周辺画像に対する視認性が低下することが防止又は抑制される。

第３の態様に係る遠隔操作装置は、第１の態様に係る遠隔操作装置において、前記遠隔操作装置の操作者の第１表示部に対する視線情報を取得する視線情報取得部と、前記視線情報に基づいて前記中心視野領域を決定する中心視野領域決定部と、を備える。

第３の態様によれば、視線情報取得部で取得された操作者の視線情報（視線方向）に基づいて、操作者の中心視野領域を決定（変更）する。例えば、車両が左折する場合、操作者は車両前方よりも左側に視線を向けることによって、左折先の状況を把握する。すなわち、車両の左折時に、操作者の中心視野が左側に変位する。

そこで、本態様では、操作者の視線（情報）に基づいて第１表示部上の中心視野領域を決定し（幅方向に変位させ）、中心視野領域を除いた第１表示部の周辺視野領域の上側、又は下側、又は上側及び下側に第２表示部を設けている。これにより、例えば、車両の左折時に視線を左側に動かした操作者の中心視野に第２表示部に表示されたオブジェクトが入り、操作者の車両の周辺画像に対する視認性が低下することが防止又は抑制される。

第４の態様に係る遠隔操作装置は、第２又は第３の態様に係る遠隔操作装置において、前記中心視野領域決定部は、前記遠隔操作装置の操作者のアイポイントから前記第１表示部までの距離に基づいて前記中心視野領域を決定する。

第４の態様によれば、第１表示部における中心視野領域は、操作者のアイポイントから第１表示部までの距離に基づいて中心視野領域を決定する。

操作者の中心視野は、操作者のアイポイントからの視線方向を中心として所定角度の範囲とされる。したがって、第１表示部上における中心視野領域は、操作者のアイポイントからの視線方向を中心とした所定角度と、操作者のアイポイントから第１表示部までの距離に基づいて精度良く決定することができる。

第５の態様に係る遠隔操作装置は、第１～第４のいずれか１態様に係る遠隔操作装置において、前記オブジェクトの移動速度は前記車両の車速に応じて変化する。

第５の態様によれば、第２表示部に表示されるオブジェクトの移動速度は車速に応じて変化する。したがって、操作者は第２表示部に表示されるオブジェクトを視認するだけで、車速（の変化）を実感することができる。

第６の態様に係る遠隔運転システムは、請求項１～５のいずれか一項記載の遠隔操作装置と、前記遠隔操作装置の操作により運転される車両と、を備える。

第６の態様によれば、遠隔操作システムは、上記遠隔操作装置と、上記遠隔操作装置で操作される車両を備えているので、操作者が車速感を得ながら車両を良好に操作することができる。

第７の態様に係る遠隔操作方法は、車外から遠隔操作することにより車両を運転する遠隔操作装置において、前記車両から当該車両の周辺画像を画像取得部に取得させ、前記車両の周辺画像を第１表示部に表示させ、前記第１表示部の中心視野領域を除く周辺視野領域で、前記第１表示部の上側、又は下側、又は前記上側及び前記下側に設けられた第２表示部に、前記中心視野領域側から幅方向端部に向かって移動するオブジェクトを表示させる、ことを含む処理をコンピュータによって実行させる。

第７の態様によれば、第１の態様と同様に、操作者に操作対象の車両の速度感を感じさせることができる。また、操作者の視線が左右に移動した場合でも、オブジェクトが操作者の中心視野に入ることが防止され、操作者の周辺画像に対する視認性が低下することを防止又は抑制できる。

第８の態様に係る遠隔操作プログラムは、コンピュータに、車外から遠隔操作することにより車両を運転する遠隔操作装置において、前記車両から当該車両の周辺画像を画像取得部に取得させ、前記車両の周辺画像を第１表示部に表示させ、前記第１表示部の中心視野領域を除く周辺視野領域で、前記第１表示部の上側、又は下側、又は前記上側及び前記下側に設けられた第２表示部に、前記中心視野領域側から幅方向端部に向かって移動するオブジェクトを表示させる、ことを含む処理を実行させる。

第８の態様によれば、第１の態様と同様に、操作者に操作対象の車両の速度感を感じさせることができる。また、操作者の視線が左右に移動した場合でも、オブジェクトが操作者の中心視野に入ることが防止され、操作者の周辺画像に対する視認性が低下することを防止又は抑制できる。

本開示は、車両の旋回時でも遠隔運転操作中の操作者が車速感を得ることができる、という効果を有する。

一実施形態に係る遠隔操作システムの概略構成を示す概念図である。 車両のハードウェア構成を示すブロック図である。 車両が備える車両制御装置の機能構成の一例を示すブロック図である。 遠隔操作装置のハードウェア構成を示すブロック図である。 遠隔操作装置が備える遠隔制御装置の機能構成の一例を示すブロック図である。 表示装置を上方から視た模式的な平面図である。 表示装置の画像表示面を展開した図である。 左折操作時の表示装置を上方から視た模式的な平面図である。 左折操作時の表示装置の画像表示面を展開した図である。 車両制御装置で実行される処理の流れを示すフローチャートである。 車両制御装置で実行される処理の流れを示すフローチャートである。 遠隔操作装置で実行される処理の流れを示すフローチャートである。 遠隔操作装置で実行される処理の流れを示すフローチャートである。 バリエーションに係る遠隔操作装置のハードウェア構成を示すブロック図である。 バリエーションに係る遠隔操作装置が備える遠隔制御装置の機能構成の一例を示すブロック図である。 その他の例に係る表示装置の画像表示面を展開した図である。 その他の例に係る表示装置を上方から視た模式的な平面図である。 その他の例に係る表示装置の画像表示面を展開した図である。

以下、図１～図１３を用いて一実施の形態に係る遠隔操作システム１０について説明する。

図１に示すように、本実施形態に係る遠隔操作システム１０は、車両１２と、遠隔操作装置１４とを含んで構成されている。

車両１２には、車両制御装置２０が搭載されている。また、遠隔操作装置１４は、遠隔制御装置４０を含んで構成されている。そして、上記の遠隔操作システム１０において、車両１２の車両制御装置２０と、遠隔操作装置１４の遠隔制御装置４０とは、ネットワークＮ１を介して相互に通信可能に接続されている。このネットワークＮ１は、一例としてインターネット等の公衆回線を用いた有線及び無線の通信網である。

（車両の構成）

車両１２は、該車両１２の乗員である運転者（ドライバ）の運転操作に基づく手動運転と、遠隔操作装置１４に対する操作者（リモートドライバ）の運転操作に基づく遠隔運転とを実行可能に構成されている。なお、この車両１２は、通常は手動運転のモードに設定されている。

図２は、車両１２に搭載される機器のハードウェア構成を示すブロック図である。車両１２は、上述した車両制御装置２０の他、外部センサ２４と、内部センサ２６と、入力装置２８と、アクチュエータ３０と、ユーザＩ／Ｆ（Ｉｎｔｅｒ Ｆａｃｅ）３２とを含んでいる。

車両制御装置２０は、図２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０Ｃ、ストレージ２０Ｄ、通信Ｉ／Ｆ（Ｉｎｔｅｒ Ｆａｃｅ）２０Ｅ及び入出力Ｉ／Ｆ２０Ｆを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、ストレージ２０Ｄ、通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆは、バス２０Ｇを介して相互に通信可能に接続されている。

ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。本実施形態では、ＲＯＭ２０Ｂにプログラムが記憶されている。ＣＰＵ２０Ａがプログラムを実行することで、車両制御装置２０は、図３に示すように、周辺情報取得部２００、挙動情報取得部２１０、操作受付部２２０、運転制御部２３０、及び権限付与部２４０として機能する。

図２に示すように、ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。ＲＡＭ２０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。ストレージ２０Ｄは、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶している。通信Ｉ／Ｆ２０Ｅは、遠隔制御装置４０と通信すべく、ネットワークＮ１に接続するためのインタフェースを含む。当該インタフェースとしては、例えば、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）等の通信規格が用いられる。

本実施形態の通信Ｉ／Ｆ２０Ｅは、ネットワークＮ１を介して、車両１２の外部の遠隔操作装置１４に向けてカメラ２４Ａによる撮像画像や内部センサ２６で検出された車両の走行状態に関する情報を送信し、遠隔操作装置１４から車両１２を操作させるための操作情報である遠隔操作情報を受信する。なお、上記のカメラ２４Ａには、図示しないマイクが付属しており、上記の撮像画像と一緒に収録された音のデータが上記の撮像画像のデータと一緒に送受信される。

入出力Ｉ／Ｆ２０Ｆは、車両１２に搭載される各装置と通信するためのインタフェースである。本実施形態の車両制御装置２０には、入出力Ｉ／Ｆ２０Ｆを介して外部センサ２４、内部センサ２６、入力装置２８、アクチュエータ３０及びユーザＩ／Ｆ３２が接続されている。なお、外部センサ２４、内部センサ２６、入力装置２８、アクチュエータ３０及びユーザＩ／Ｆ３２は、バス２０Ｇに対して直接接続されていてもよい。

外部センサ２４は車両１２の周辺の周辺情報を検出するセンサ群である。この外部センサ２４は、所定範囲を撮像するカメラ２４Ａを含む。

内部センサ２６は、車両１２の走行状態を検出するセンサ群である。この内部センサ２６は、ステアリングホイールの操作量を検出する舵角センサ２６Ａと、車両の速度を検出する車速センサ２６Ｂとを含む。

入力装置２８は車両１２に乗車している乗員が操作するためのスイッチ群である。入力装置２８は、車両１２の操舵輪を操舵させるスイッチとしてのステアリングホイール２８Ａと、車両１２を加速させるスイッチとしてのアクセルペダル２８Ｂと、車両１２を減速させるスイッチとしてのブレーキペダル２８Ｃと、を含む。

アクチュエータ３０は、車両１２の操舵輪を駆動させるステアリングホイールアクチュエータ、車両１２の加速を制御するアクセルアクチュエータ、車両１２の減速を制御するブレーキアクチュエータを含んでいる。

ユーザＩ／Ｆ３２は、ディスプレイ、及びスピーカ（何れも図示省略）を含んでいる。ディスプレイは、例えば車両１２のインストルメントパネルに配設されており、静電容量式のタッチパネルを構成している。スピーカは、例えば車両１２の左右のサイドドアにそれぞれ配設されている。

図３は、車両制御装置２０の機能構成の一例を示すブロック図である。図３に示すように、車両制御装置２０は、周辺情報取得部２００、挙動情報取得部２１０、操作受付部２２０、運転制御部２３０、及び権限付与部２４０を有している。各機能構成は、ＣＰＵ２０ＡがＲＯＭ２０Ｂに記憶されたプログラムを読み出し、これを実行することによって実現される。

周辺情報取得部２００は、車両１２の周辺の周辺情報を取得する機能を有している。周辺情報取得部２００は、入出力Ｉ／Ｆ２０Ｆを介して外部センサ２４から車両１２の周辺情報を取得する。この周辺情報には、カメラ２４Ａで撮像された車両１２の前方側周辺画像（以下、「周辺画像」という）が含まれる。

挙動情報取得部２１０は、車両１２の舵角情報、車速情報等、車両の挙動に関する挙動情報を取得する機能を有している。挙動情報取得部２１０は、入出力Ｉ／Ｆ２０Ｆを介して内部センサ２６から車両１２の挙動情報を取得する。

操作受付部２２０は、車両１２の乗員の操作に基づく手動運転が行われる場合に、各入力装置２８から出力された信号を受け付ける機能を有している。操作受付部２２０は、各入力装置２８から受け付けた信号を基にアクチュエータ３０を制御するための操作情報である車両操作情報を生成する。

運転制御部２３０は、遠隔操作装置１４から受信（取得）した遠隔操作情報に基づく遠隔運転、及び操作受付部２２０から受け付けた車両操作情報に基づく手動運転を制御する機能を有している。

権限付与部２４０は、遠隔操作装置１４を操作する操作者に対して、車両制御装置２０が搭載された車両１２を操作するための権限である操作権限を付与する機能を有している。操作者に操作権限を付与した場合、車両制御装置２０は、当該操作者が操作する遠隔操作装置１４に対して権限付与信号を送信する。操作権限が車両１２から遠隔操作装置１４に移ることにより、車両１２では、遠隔操作装置１４から受信した遠隔操作情報に基づいて車両１２を走行させる。すなわち、操作者による遠隔運転が行われる。

また、権限付与部２４０は、遠隔操作装置１４による遠隔運転を終了する場合、遠隔操作装置１４に対して、車両１２に操作権限を移すことを通知するための移譲通知信号を送信する。移譲通知信号を受信した遠隔操作装置１４では、遠隔運転を終了するための終了処理が実行される。

（遠隔操作装置）

図４は、本実施形態の遠隔操作装置１４に搭載される機器のハードウェア構成を示すブロック図である。遠隔操作装置１４は、上述した遠隔制御装置４０の他、表示装置４２と、スピーカ４４と、操作部としての入力装置４８とを含んでいる。

遠隔制御装置４０は、ＣＰＵ４０Ａ、ＲＯＭ４０Ｂ、ＲＡＭ４０Ｃ、ストレージ４０Ｄ、通信Ｉ／Ｆ４０Ｅ及び入出力Ｉ／Ｆ４０Ｆを含んで構成されている。ＣＰＵ４０Ａ、ＲＯＭ４０Ｂ、ＲＡＭ４０Ｃ、ストレージ４０Ｄ、通信Ｉ／Ｆ４０Ｅ及び入出力Ｉ／Ｆ４０Ｆは、バス４０Ｇを介して相互に通信可能に接続されている。ＣＰＵ４０Ａ、ＲＯＭ４０Ｂ、ＲＡＭ４０Ｃ、ストレージ４０Ｄ、通信Ｉ／Ｆ４０Ｅ及び入出力Ｉ／Ｆ４０Ｆの機能は、上述した車両制御装置２０のＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、ストレージ２０Ｄ、通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆと同じである。

ＣＰＵ４０Ａは、ＲＯＭ４０Ｂからプログラムを読み出し、ＲＡＭ４０Ｃを作業領域としてプログラムを実行する。本実施形態では、ＲＯＭ４０Ｂに、プログラムが記憶されている。ＣＰＵ４０Ａがプログラムを実行することで、遠隔制御装置４０は、図５に示す車両情報取得部４００、距離取得部４１０、中心視野領域決定部４２０、表示領域決定部４３０、速度決定部４４０、表示制御部４５０、操作情報生成部４６０、及び操作切替部４７０として機能する。

本実施形態の遠隔制御装置４０には、入出力Ｉ／Ｆ４０Ｆを介して表示装置４２、スピーカ４４、及び入力装置４８が接続されている。なお、表示装置４２、スピーカ４４、及び入力装置４８は、バス４０Ｇに対して直接接続されていてもよい。

表示装置４２は、車両１２のカメラ２４Ａにより撮像された車両１２の周辺画像や、車両１２に係る各種情報を表示させるための液晶ディスプレイである。表示装置４２は、図６に示すように、遠隔操作室（不図示）において操作シート（不図示）に着座した操作者Ｐ（頭部のみ図示）の正面に配置され、平面視で略円弧状に湾曲した形状とされている。すなわち、表示装置４２の画像表示面４２Ａは、操作者Ｐの一方の側方から正面を経て他方の側方まで延在している。したがって、正面を向いた操作者Ｐの視界の全範囲に車両１２の周辺画像が表示される構成である。

また、表示装置４２の内側の画像表示面４２Ａは、図７に示すように、平面に展開状態で矩形であり、その全面に周辺画像を表示可能とされると共に、その四隅に決定された後述するオブジェクト表示領域５４Ｌ、５４Ｒ、５６Ｌ、５６Ｒ（以下、「オブジェクト表示領域５４Ｌ～５６Ｒ」という場合がある）にオブジェクト５２及び背景５８が重畳して表示される構成である。なお、画像表示面４２Ａが「第１表示部」に相当する。また、オブジェクト表示領域５４Ｌ～５６Ｒが「第２表示部」に相当する。

スピーカ４４は、車両１２のカメラ２４Ａに付属するマイクにより撮像画像と一緒に収録された音を出力するものである。

入力装置４８は、遠隔操作装置１４を利用する操作者が操作するためのコントローラである。入力装置４８は、車両１２の操舵輪を操舵させるスイッチとしてのステアリングホイール４８Ａと、車両１２を加速させるスイッチとしてのアクセルペダル４８Ｂと、車両１２を減速させるスイッチとしてのブレーキペダル４８Ｃと、を含む。なお、各入力装置４８の形態はこの限りでない。例えば、ステアリングホイール４８Ａに替えてレバースイッチを設けてもよい。また例えば、アクセルペダル４８Ｂやブレーキペダル４８Ｃのペダルスイッチに替えて、押しボタンスイッチやレバースイッチを設けてもよい。

図５は、遠隔制御装置４０の機能構成の一例を示すブロック図である。図５に示すように、遠隔制御装置４０は、車両情報取得部４００、距離取得部４１０、中心視野領域決定部４２０、表示領域決定部４３０、速度決定部４４０、表示制御部４５０、操作情報生成部４６０、及び操作切替部４７０を有している。

車両情報取得部４００は、車両制御装置２０から送信されたカメラ２４Ａの撮像画像である車両１２の周辺画像（以下、「周辺画像」という）及び収録音、並びに車速情報、舵角情報等の車両情報を取得する機能を有している。取得された撮像画像は表示装置４２の画像表示面４２Ａに表示され、収録音はスピーカ４４から出力される。なお、車両情報取得部４００が「画像取得部」、「舵角情報取得部」、「車速情報取得部」に相当する。

距離取得部４１０は、遠隔操作室の操作シート（不図示）に着座した操作者Ｐのアイポイントから表示装置４２の画像表示面４２Ａまでの距離Ｌを取得するものである。本実施形態では距離Ｌを予め計測しておき、操作者Ｐ毎の数値をストレージ４０Ｄに記憶している。したがって、操作者Ｐが特定されることで、表示装置４２の画像表示面４２Ａまでの距離Ｌがストレージ４０Ｄから取得される。

なお、距離センサ等によって操作者Ｐのアイポイントから表示装置４２の画像表示面４２Ａまでの距離を検出しても良い。

中心視野領域決定部４２０は、平面視において操作者Ｐの正面方向から車両１２の舵角分左右に傾斜した方向を視線方向とみなし、その視線方向を中心として操作者Ｐのアイポイントから平面視で所定角度の範囲を中心視野領域５０と決定する。具体的には、図８に示すように、操作者の正面方向Ｃから舵角θ１分左右に傾斜した方向を視線方向ＬＶとし、操作者Ｐのアイポイントから表示装置４２の画像表示面４２Ａまでの距離Ｌと視線方向ＬＶを中心とした中心視野の視野角θ２（本実施形態では平面視で２０度）から表示装置４２の画像表示面４２Ａ上における中心視野領域５０（図９、ハッチング部分参照）を決定する。

表示領域決定部４３０は、表示装置４２の画像表示面４２Ａ上においてオブジェクト５２（図７参照）を表示する領域を決定する。具体的には、図７に示すように、画像表示面４２Ａ上で、中心視野領域５０を除いた左右両側の部分（周辺視野領域５１）で上端から所定距離の範囲を上側のオブジェクト表示領域５４Ｌ、５４Ｒと、下端から所定距離の範囲を下側のオブジェクト表示領域５６Ｌ、５６Ｒと、を決定する。

速度決定部４４０は、オブジェクト表示領域５４Ｌ～５６Ｒにおいてオブジェクト５２が車速に対応した一定速度で移動しているように操作者に見えるように、中心視野領域５０側から左右両端側に向かうオブジェクト５２の移動速度を決定する。具体的には、ストレージ４０Ｄに予め格納された、車速とオブジェクト５２の移動速度との対応関係を設定したテーブルから車速に対応するオブジェクト５２の移動速度を読み出す。

表示制御部４５０は、表示装置４２の画像表示面４２Ａの全面に取得した周辺画像を表示すると共に、画像表示面４２Ａのオブジェクト表示領域５４Ｌ～５６Ｒに車速に対応した所定速度で移動するオブジェクト５２を周辺画像に重畳して表示する。

なお、本実施形態では、表示制御部４５０は、オブジェクト表示領域５４Ｌ～５６Ｒの全域に単色の背景５８を周辺画像に重畳して表示する。

操作情報生成部４６０は、操作者の操作に基づく遠隔運転が行われる場合に、各入力装置４８から出力された信号を受け付ける機能を有している。また、操作情報生成部４６０は、各入力装置４８から受け付けた信号を基に車両制御装置２０に送信する遠隔操作情報を生成する。

操作切替部４７０は、車両１２の遠隔運転についての切り替えを制御する機能を有している。具体的に、操作切替部４７０は、車両１２から権限付与信号を取得した場合、車両１２の遠隔運転を行うための処理を実行する。また、操作切替部４７０は、車両１２から移譲通知信号を取得した場合、車両１２の遠隔運転を終了させる終了処理を実行する。

（制御の流れ）

次に、図１０～図１３を用いて、遠隔操作システム１０を構成する車両１２及び遠隔操作装置１４での制御の流れについて説明する。

（車両制御装置での処理）

先ず、車両１２の車両制御装置２０において実行される処理の流れについて、図１０及び図１１のフローチャートを用いて説明する。なお、この処理の説明では、一般的な遠隔操作、すなわち、遠隔操作装置１４の入力装置４８を操作することにより、遠隔制御装置４０から車両制御装置２０に遠隔操作情報が送信され、これに基づいて車両１２のアクチュエータ３０が制御される点については説明を省略している。すなわち、遠隔操作装置１４でオブジェクト５２を表示装置４２に表示させるための制御について説明する。

図１０のステップＳ１０において、ＣＰＵ２０Ａは、車両１２の乗員が遠隔運転を選択したか否かを判定する。具体的には、遠隔切替信号を受信したか否かを判定する。この判定が肯定された場合、次のステップＳ１２に進み、この判定が否定された場合、ステップＳ１０での処理が繰り返される。

ステップＳ１２に進んだ場合、ＣＰＵ２０Ａは、権限付与信号を遠隔制御装置４０に送信する。

ステップＳ１４において、ＣＰＵ２０Ａは、遠隔制御装置４０から権限受任信号を受信したか否かを判定する。この判定が肯定された場合、次のステップＳ１６に進み、この判定が否定された場合、ステップＳ１４での処理が繰り返される。

ステップＳ１６において、ＣＰＵ２０Ａは、カメラ２４Ａで撮影された周辺画像と、撮影タイミングにおいて舵角センサ２６Ａ及び車速センサ２６Ｂでそれぞれ検出された舵角情報と車速情報を含む挙動情報とからなる車両情報が生成される。

次に、ステップＳ１８において、ＣＰＵ２０Ａは、生成された車両情報を遠隔制御装置４０に送信する。

さらに、図１１のステップＳ２０において、ＣＰＵ２０Ａは、車両１２の乗員が手動運転を選択したか否かを判定する。具体的には、手動切替信号を受信したか否かを判定する。この判定が肯定された場合、ステップＳ２２に進むと共に、この判定が否定された場合、ステップＳ１６以下の処理が繰り返される。

ステップＳ２２に進んだ場合、ＣＰＵ２０Ａは、遠隔制御装置４０に対して移譲通知信号を送信して、一連の処理を終了する。

（遠隔操作装置での処理）

次に、遠隔操作装置１４において実行される処理の流れについて、図１２及び図１３のフローチャートを用いて説明する。

図１２のステップＳ３０において、ＣＰＵ４０Ａは、権限付与信号を受信したか否かを判定する。この判定が肯定された場合、次のステップＳ３２に進み、この判定が否定された場合、ステップＳ３０での処理が繰り返される。

ステップＳ３２において、ＣＰＵ４０Ａは、選定された操作者が遠隔運転の準備を完了すると、権限受任信号を車両制御装置２０に送信する。

ステップＳ３４において、ＣＰＵ４０Ａは、ストレージ４０Ｄから選定された操作者のアイポイントから表示装置４２の画像表示面４２Ａまでの距離Ｌ（図６参照）を取得する。

ステップＳ３６において、ＣＰＵ４０Ａは、車両制御装置２０から車両情報、すなわち、周辺画像、及び車両１２の挙動情報（車速情報、舵角情報等）を取得する。

次に、ステップＳ３８において、ＣＰＵ４０Ａは、距離Ｌと車両１２の舵角情報に基づいて中心視野領域５０を決定する。例えば、車両１２の左折時にステアリングホイールを操作した場合、図８に示すように、平面視で操作者Ｐの正面方向Ｃから舵角θ１分左側に傾斜した方向を視線方向ＬＶとし、操作者のアイポイントから視線方向ＬＶを中心として中心視野の視野角θ２（本実施形態では平面視で２０度（視線方向ＬＶを中心として左右１０度ずつ））の範囲を中心視野範囲ＣＡとする。なお、平面視において操作者のアイポイントから画像表示面４２Ａの全域を視る視角において、中心視野範囲ＣＡを除く左右の範囲（角度）を周辺視野範囲ＰＡとする（図６、図８参照）。

表示装置４２の画像表示面４２Ａ上における中心視野範囲ＣＡが中心視野領域５０とされる。具体的には、図８に示すように、操作者Ｐのアイポイントから表示装置４２の画像表示面４２Ａまでの距離Ｌと視線方向ＬＶを中心とした中心視野の視野角θ２（本実施形態では平面視で２０度）から画像表示面４２Ａ上の中心視野領域５０（図９、ハッチング部分参照）を決定する。なお、舵角が０度の場合には、図６及び図７に示すように、正面方向Ｃである視線方向ＬＶを中心として視野角θ２（本実施形態では２０度、左右１０度ずつ）の範囲が中心視野領域５０となる（図７、ハッチング部分参照）。

続いて、ステップＳ４０において、ＣＰＵ４０Ａは、図７、図９に示すように、表示装置４２の画像表示面４２Ａ上におけるオブジェクト表示領域５４Ｌ～５６Ｒを決定する。具体的には、図７、図９に示すように、画像表示面４２Ａ上で、中心視野領域５０を除いた左右両側の部分（周辺視野領域５１）で上端から所定距離の範囲である上側のオブジェクト表示領域５４Ｌ、５４Ｒと、下端から所定距離の範囲である下側のオブジェクト表示領域５６Ｌ、５６Ｒと、を決定する。

さらに、図１３のステップＳ４２において、ＣＰＵ４０Ａは、オブジェクト表示領域５４Ｌ～５６Ｒに表示するオブジェクト５２の移動速度を車速に基づいて決定する。この際、表示装置４２の画像表示面４２Ａ上でオブジェクト５２が一定速度に見えるように移動速度を決定する。なお、本実施形態では、ＣＰＵ４０Ａは、ストレージ４０Ｄに格納された車速とオブジェクト５２の移動速度の対応関係が設定されたテーブルから車速に応じたオブジェクト５２の移動速度を読み出し、それをオブジェクト５２の移動速度に決定している。

次に、ステップＳ４４において、ＣＰＵ４０Ａは、表示装置４２の画像表示面４２Ａの全域に周辺画像を表示すると共に、オブジェクト表示領域５４Ｌ～５６Ｒにオブジェクト５２と背景５８を周辺画像に重畳させて表示させる。その際、オブジェクト５２は、各オブジェクト表示領域５４Ｌ～５６Ｒで中心視野領域５０側から左右端部に向かって決定された移動速度で移動するように表示される（図７、図９矢印参照）。

ステップＳ４６において、ＣＰＵ４０Ａは、遠隔操作運転が終了したか、すなわち、移譲通知信号を受信したか否かを判定する。この判定が肯定された場合、一連の制御を終了し、この判定が否定された場合、ステップＳ３６以下の処理が繰り返される。

（本実施形態のまとめ）

本実施形態に係る遠隔操作システム１０では、遠隔操作装置１４の表示装置４２の画像表示面４２Ａのオブジェクト表示領域５４Ｌ～５６Ｒに中心視野領域５０側から左右両端部に向けて車速に応じた移動速度で移動するオブジェクト５２を周辺画像に重畳させて表示したため、操作者はオブジェクト５２の移動を視認することによって車速感を一層得ることができる。

特に、表示装置４２の画像表示面４２Ａにおいて、オブジェクト表示領域５４Ｌ～５６Ｒは、左右方向において中心視野領域５０を除く領域で、画像表示面４２Ａの上端又は下端から所定範囲に設定されている。したがって、オブジェクト表示領域５４Ｌ～５６Ｒに表示されるオブジェクト５２が操作者の中心視野に入ることが防止され、操作者の遠隔運転操作が妨げられることが抑制される。

また、中心視野領域５０は、舵角θ１の向きを操作者の視線方向とみなして、平面視で正面方向Ｃから舵角θ１だけ傾斜した向きの視線方向ＬＶを中心として中心視野の視野角θ２（本実施形態では２０度）の範囲である中心視野範囲ＣＡに基づいて決定している。この結果、操作者の視線が左右方向に向いた場合でも、それに追従して中心視野領域５０が左右に移動する。したがって、周辺視野領域５１に設けられたオブジェクト表示領域５４Ｌ～５６Ｒも中心視野領域５０の移動に伴って左右に変位するため、車両旋回時でもオブジェクト表示領域５４Ｌ～５６Ｒに表示されたオブジェクト５２が操作者の中心視野に入ることが防止され、操作者の遠隔運転操作を妨げることが防止又は抑制される。

さらに、本実施形態では、オブジェクト表示領域５４Ｌ～５６Ｒに単一色の背景５８を周辺画像に重畳して表示することにより、オブジェクト表示領域５４Ｌ～５６Ｒで操作者に周辺画像が視認されなくなる。すなわち、いずれのオブジェクト表示領域５４Ｌ～５６Ｒでも背景５８上にオブジェクト５２が表示されることになり、オブジェクト５２の見え方に差がつくことが防止される。この結果、各オブジェクト表示領域５４Ｌ～５６Ｒにおけるオブジェクト５２の見え方が同一となり、操作者が車両１２の速度感を一層感じやすくなる。

また、本実施形態では、周辺画像を表示する表示装置４２の画像表示面４２Ａの一部にオブジェクト表示領域５４Ｌ～５６Ｒを設定し、そのオブジェクト表示領域５４Ｌ～５６Ｒにオブジェクト５２を表示している。すなわち、既存の遠隔操作装置１４において、周辺画像を表示する表示装置４２に対する画像表示制御プログラムを変更するだけで、オブジェクト５２の表示を追加することができる。したがって、既存の遠隔操作装置１４において、表示装置を新たに追加することなく、低コストでオブジェクト５２を表示可能とすることができる。

さらに、本実施形態では、オブジェクト５２の移動速度を車速に対応させて変化させているため、操作者が車速の変化を直感的に認識することが容易になる。

（バリエーション）

本実施形態のバリエーションについて説明する。なお、上記実施形態と異なるのは、遠隔操作装置１４において、操作者の視線を検知するところのみなので、該当箇所のみを説明する。また、上記実施形態と同様の構成要素には同一の参照符号を付し、その詳細な説明を省略する。

図１４に示すように、遠隔操作装置１１４は、表示装置４２の画像表示面４２Ａの正面に着座した操作者の顔を撮影するカメラ１０２を有する。

また、遠隔制御装置４０のＣＰＵ４０Ａは、図１５に示すように、カメラ１０２が撮影した操作者の顔の撮像画像から操作者の視線方向ＬＶ（図８参照）を検知する視線検出部４８０を有する。

さらに、中心視野領域決定部４２０は、表示装置４２の画像表示面４２Ａ上で、上記視線検出部４８０で検出された視線方向ＬＶを中心として視野角θ２（本バリエーションでは２０度）の範囲を中心視野領域５０に決定する。

（本バリエーションの作用）

本バリエーションでは、遠隔操作装置１１４は、舵角に換えてカメラ１０２が撮像した操作者の顔の撮像画像に基づいて操作者の視線方向ＬＶを決定し、その視線方向ＬＶに基づいて中心視野領域５０、オブジェクト表示領域５４Ｌ～５６Ｒを決定する。

したがって、本バリエーションでは、表示装置４２の画像表示面４２Ａ上の中心視野領域５０が操作者の中心視野と一層一致する。

このように、遠隔操作装置１１４では、オブジェクト５２が操作者の中心視野に入ることが一層確実に防止でき、操作者は周辺視野を良好に視認できる（遠隔操作運転を良好に行うことができる）と共に、操作者が車速感を得ることができる。

（実施形態の補足説明）

上記実施形態では、遠隔操作装置１４の表示装置４２の画像表示面４２Ａの一部をオブジェクト表示領域５４Ｌ～５６Ｒとして、周辺画像にオブジェクト５２等を重畳して表示したが、周辺画像を表示する表示装置４２と別にオブジェクト表示用のディスプレイを設けることも考えられる。例えば、図１６に示すように、表示装置４２の上部と下部に隣接して所定高さで表示装置４２の全幅と同じ長さを有するオブジェクト表示装置１１０Ａ、１１０Ｂを設けることが考えられる。この場合も、各オブジェクト表示装置１１０Ａ、１１０Ｂにおいて、中心視野領域５０の左右にそれぞれオブジェクト表示領域５４Ｌ～５６Ｒが設けられることになる。

また、上記実施形態では、表示装置４２を湾曲した一枚のディスプレイとして説明しだか、これに限定されるものではない。例えば、図１７に示すように、平板状のディスプレイ３枚で構成された表示装置１２０、１２２、１２４から構成しても良い。この場合でも、図１８に示すように、３枚の表示装置１２０、１２２、１２４の画像表示面１２０Ａ、１２２Ａ、１２４Ａに連続した周辺画像が表示されると共に、中心視野領域５０を除いた所定位置にオブジェクト表示領域５４Ｌ～５６Ｒが設定される。

さらに、上記実施形態では、オブジェクト表示領域５４Ｌ～５６Ｒを表示装置４２の画像表示面４２Ａの上側及び下側に設けたが、いずれか一方でも良い。

また、上記実施形態では、オブジェクト表示領域５４Ｌ～５６Ｒの全域に単色である背景５８を重畳表示して周辺画像が操作者に視認されないようにしたが、これに限定されるものではない。周辺画像の上にオブジェクト５２のみを表示しても良い。

さらに、上記実施形態では、車両１２が手動運転及び遠隔運転を実行可能とされた構成にしたが、遠隔運転が可能であれば特に限定するものではない。例えば、車両１２が手動運転、自動運転及び遠隔運転を実行可能としても良いし、遠隔運転のみ実行可能としても良い。

また、上記実施形態では、中心視野の視野角θ２を平面視で２０度としたが、これに限定するものではない。

また、上記実施形態において、ＣＰＵ２０Ａ、４０Ａ、６０Ａ、８０Ａがソフトウェア（プログラム）を読み込んで実行した各処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、各処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記実施形態において、プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶（インストール）されている態様で説明した。例えば、遠隔操作システム１０においてプログラムは、ストレージ４０Ｄに予め記憶されている。しかしこれに限らず、プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、各プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

その他、本発明は、その要旨を逸脱しない範囲で種々変更して実施できる。また、本発明の権利範囲が上記実施形態に限定されないことは勿論である。

１０ 遠隔操作システム
１２ 車両
１４ 遠隔操作装置
４２Ａ 画像表示面（第１表示部）
５０ 中心視野領域
５１ 周辺視野領域
５２ オブジェクト
５４Ｌ、５４Ｒ、５６Ｌ、５６Ｒ オブジェクト表示領域（第２表示部）
４００ 車両情報取得部（画像取得部、舵角情報取得部、車両速度取得部）

Claims (8)

1. 車外から遠隔操作することにより車両を運転する遠隔操作装置であって、
   前記車両から当該車両の周辺画像を取得する画像取得部と、
   前記車両の周辺画像を表示する第１表示部と、
   前記第１表示部の中心視野領域を除く周辺視野領域で、前記第１表示部の上側、又は下側、又は前記上側及び前記下側に設けられ、前記中心視野領域側から幅方向端部に向かって移動するオブジェクトを表示する第２表示部と、
   を備える遠隔操作装置。
2. 前記車両の舵角情報を取得する舵角情報取得部と、
   前記舵角情報に基づいて前記中心視野領域を決定する中心視野領域決定部と、
   を備える請求項１記載の遠隔操作装置。
3. 前記遠隔操作装置の操作者の前記第１表示部に対する視線情報を取得する視線情報取得部と、
   前記視線情報に基づいて前記中心視野領域を決定する中心視野領域決定部と、
   を備える請求項１記載の遠隔操作装置。
4. 前記中心視野領域決定部は、前記遠隔操作装置の操作者のアイポイントから前記第１表示部までの距離に基づいて前記中心視野領域を決定する請求項２又は３記載の遠隔操作装置。
5. 前記オブジェクトの移動速度は前記車両の車速に応じて変化する請求項１～４のいずれか１項記載の遠隔操作装置。
6. 請求項１～５のいずれか一項記載の遠隔操作装置と、
   前記遠隔操作装置の操作により運転される車両と、
   を備える遠隔運転システム。
7. 車外から遠隔操作することにより車両を運転する遠隔操作装置において、
   前記車両から当該車両の周辺画像を画像取得部に取得させ、
   前記車両の周辺画像を第１表示部に表示させ、
   前記第１表示部の中心視野領域を除く周辺視野領域で、前記第１表示部の上側、又は下側、又は前記上側及び前記下側に設けられた第２表示部に、前記中心視野領域側から幅方向端部に向かって移動するオブジェクトを表示させる、
   ことを含む処理をコンピュータによって実行させる遠隔操作方法。
8. コンピュータに、
   車外から遠隔操作することにより車両を運転する遠隔操作装置において、
   前記車両から当該車両の周辺画像を画像取得部に取得させ、
   前記車両の周辺画像を第１表示部に表示させ、
   前記第１表示部の中心視野領域を除く周辺視野領域で、前記第１表示部の上側、又は下側、又は前記上側及び前記下側に設けられた第２表示部に、前記中心視野領域側から幅方向端部に向かって移動するオブジェクトを表示させる、
   ことを含む処理を実行させるための遠隔操作プログラム。

Images