JP2023078020A - 遠隔操縦装置、遠隔操縦方法、及び遠隔操縦プログラム - Google Patents

Abstract

【課題】適切に遠隔操縦することが可能となる。
【解決手段】遠隔操縦装置は、車両に搭載されたカメラにより撮影された撮影画像を受信する受信部と、オペレータの遠隔操作による前記車両の操縦信号を前記車両へ送信する送信部と、前記操縦信号を前記車両へ送信してから前記車両が前記操縦信号を受信するまでの第１の遅延時間と、前記撮影画像を前記車両が送信してから前記撮影画像を受信するまでの第２の遅延時間と、を合計した合計遅延時間に基づいて、前記車両の予測位置を算出する算出部と、前記撮影画像に基づいて、前記車両の予測位置における予測撮影画像を生成する生成部と、生成された前記予測撮影画像が表示部に表示されるように制御する制御部と、を備える。
【選択図】図１

Description

本開示は、遠隔操縦装置、遠隔操縦方法、及び遠隔操縦プログラムに関する。

従来から車両を遠隔操縦する技術が提案されている。例えば特許文献１には、移動領域の画像を取得する撮像部を搭載した移動体と、その撮像部によって取得した画像を表示する表示部、及びその表示部に表示された画像に基づいて移動体を遠隔操縦するための操縦部を備えた遠隔操縦装置とを含む遠隔操縦システムにおいて、上記移動体と遠隔操作装置との間における通信遅延時間を推定する遅延時間推定手段と、移動領域の画像を取得した時刻から所要時間経過後までの移動体の移動予定経路、移動速度及び推定遅延時間に基づいて、移動体が遠隔操縦装置によって操縦制御される時刻における移動体位置を推定する移動体位置推定手段と、推定した移動体位置に対応する旋回操作基準点を、表示部に表示されている画像に重畳表示する重畳表示手段とを設けたことを特徴とする遠隔操縦システムが開示されている。

また、非特許文献１には、ＲＴＫ－ＧＮＳＳから得られる現在の実車の座標とカメラ画像の遅延時間前の実車の座標とに基づいて視点移動先を決定し、透視投影変換によって視点移動画像を生成することにより実車に近い視点のカメラ映像を生成する技術が開示されている。

特開２０１０－６１３４６号公報

「２０２０ 年度森泰吉郎記念研究振興基金 成果報告書 映像の視点移動を用いた遠隔操縦支援システムの構築」、松原航大、慶應義塾大学大学院 政策・メディア研究科、＜URL:http://www.kri.sfc.keio.ac.jp/report/mori/2020/c-22.pdf＞

しかしながら、上記特許文献１記載の技術では、遠隔操縦の操作性が低下し、適切に遠隔操縦することが困難である、という問題があった。

また、非特許文献１記載の技術では、遠隔操縦を指示する信号が車両に到達するまでの遅延時間については考慮されておらず、適切に遠隔操縦することが困難である、という問題があった。

本開示は、適切に遠隔操縦することが可能となる遠隔操縦装置、遠隔操縦方法、及び遠隔操縦プログラムを提供することを目的とする。

本開示の第１態様に係る遠隔操縦装置は、車両に搭載されたカメラにより撮影された撮影画像を受信する受信部と、オペレータの遠隔操作による前記車両の操縦信号を前記車両へ送信する送信部と、前記操縦信号を前記車両へ送信してから前記車両が前記操縦信号を受信するまでの第１の遅延時間と、前記撮影画像を前記車両が送信してから前記撮影画像を受信するまでの第２の遅延時間と、を合計した合計遅延時間に基づいて、前記車両の予測位置を算出する算出部と、前記撮影画像に基づいて、前記車両の予測位置における予測撮影画像を生成する生成部と、生成された前記予測撮影画像が表示部に表示されるように制御する制御部と、を備える。

本開示の第２態様に係る遠隔操縦方法は、コンピュータが、車両に搭載されたカメラにより撮影された撮影画像を受信し、オペレータの遠隔操作による前記車両の操縦信号を前記車両へ送信し、前記操縦信号を前記車両へ送信してから前記車両が前記操縦信号を受信するまでの第１の遅延時間と、前記撮影画像を前記車両が送信してから前記撮影画像を受信するまでの第２の遅延時間と、を合計した合計遅延時間に基づいて、前記車両の予測位置を算出し、前記撮影画像に基づいて、前記車両の予測位置における予測撮影画像を生成し、生成された前記予測撮影画像が表示部に表示されるように制御することを含む処理を実行する。

本開示の第３態様に係る遠隔操縦プログラムは、コンピュータに、車両に搭載されたカメラにより撮影された撮影画像を受信し、オペレータの遠隔操作による前記車両の操縦信号を前記車両へ送信し、前記操縦信号を前記車両へ送信してから前記車両が前記操縦信号を受信するまでの第１の遅延時間と、前記撮影画像を前記車両が送信してから前記撮影画像を受信するまでの第２の遅延時間と、を合計した合計遅延時間に基づいて、前記車両の予測位置を算出し、前記撮影画像に基づいて、前記車両の予測位置における予測撮影画像を生成し、生成された前記予測撮影画像が表示部に表示されるように制御することを含む処理を実行させる。

本開示によれば、適切に遠隔操縦することが可能となる、という効果を有する。

遠隔支援システムの構成図である。 遠隔操縦装置のハードウェア構成を示す図である。 遠隔操縦装置の機能ブロック図である。 撮影画像の一例を示す図である。 撮影画像の一例を示す図である。 スミス予測器を用いたフィードバック制御系の構成図である。 遠隔操縦処理のフローチャートである。 先行車が存在する撮影画像の一例である。 先行車が存在する撮影画像の一例である。 先行車が存在する撮影画像の一例である。 先行車が存在する撮影画像の一例である。 バウンディングボックスのサイズ調整について説明するための図である。

以下、図面を参照して、本発明を実施するための形態を詳細に説明する。

図１に示すように、本実施形態の遠隔操縦システム１０は、遠隔操縦装置２０と車両３０とが無線のネットワーク４０を介して接続された構成である。

車両３０は、遠隔操縦装置２０からの指示に応じて走行可能な車両である。

遠隔操縦装置２０は、車両操作装置５０と接続されている。車両操作装置５０は、車両３０の操舵角を指示するためのステアリング５１、車両３０の加速度を指示するアクセル５２、及び車両３０の減速度、すなわち負の加速度を指示するブレーキ５３を備える。

オペレータがステアリング５１、アクセル５２、及びブレーキ５３の少なくとも１つを操作することにより、操舵角信号、加速度信号、及び減速度信号の少なくとも１つを含む操縦信号が遠隔操縦装置２０に出力される。遠隔操縦装置２０は、オペレータの操作によって車両操作装置５０から出力された操縦信号を、ネットワーク４０を介して車両３０に送信する。

車両３０は、操縦制御部３１、カメラ３２、及び現在位置取得部３３を含む。操縦制御部３１は、遠隔操縦装置２０から送信された操縦信号を受信すると、受信した操縦信号に従って車両３０の操縦を制御する。すなわち、操縦信号に操舵角信号が含まれる場合には、操舵角信号が示す操舵角で車両３０が操舵されるように車両３０を制御する。また、操縦信号に加速度信号が含まれる場合には、加速度信号が示す加速度で車両３０が加速されるように車両３０を制御する。また、操縦信号に減速度信号が含まれる場合には、減速度信号が示す減速度で車両３０が減速されるように車両３０を制御する。

カメラ３２は、車両３０の前方を撮影可能な位置に取り付けられる。カメラ３２で撮影された撮影画像は、ネットワーク４０を介して遠隔操縦装置２０に逐次送信される。

現在位置取得部３３は、車両３０の現在位置、例えば緯度及び経度で表される現在位置情報を取得し、ネットワーク４０を介して遠隔操縦装置２０に逐次送信する。現在位置取得部３３は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機又はＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機等を含んで構成される。

図２は、遠隔操縦装置２０のハードウェアの構成図である。図２に示すように、遠隔操縦装置２０は、コントローラ２１を備える。コントローラ２１は、一般的なコンピュータを含む装置で構成される。

図２に示すように、コントローラ２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１Ｃ、及び入出力インターフェース（Ｉ／Ｏ）２１Ｄを備える。そして、ＣＰＵ２１Ａ、ＲＯＭ２１Ｂ、ＲＡＭ２１Ｃ、及びＩ／Ｏ２１Ｄがバス２１Ｅを介して各々接続されている。バス２１Ｅは、コントロールバス、アドレスバス、及びデータバスを含む。

また、Ｉ／Ｏ２１Ｄには、操作部２２、表示部２３、通信部２４、及び記憶部２５が接続されている。

操作部２２は、例えばマウス及びキーボードを含んで構成される。

表示部２３は、例えば液晶ディスプレイ等で構成される。表示部２３には、車両３０のカメラ３２で撮影された撮影画像が表示される。オペレータは、表示部２３に表示された撮影画像に基づいて車両操作装置５０を操作することにより、車両３０を遠隔操縦する。なお、本実施形態では車両３０を操作するための車両操作装置５０を別個に設けているが、遠隔操縦装置２０の操作部２２をオペレータが操作することにより操縦信号が車両３０に送信されるように構成してもよい。

通信部２４は、車両３０等の外部装置とデータ通信を行うためのインターフェースである。

記憶部２５は、ハードディスク等の不揮発性の外部記憶装置で構成される。図２に示すように、記憶部２５は、遠隔操縦プログラム２５Ａ等を記憶する。

ＣＰＵ２１Ａは、コンピュータの一例である。ここでいうコンピュータとは、広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ）、又は、専用のプロセッサ（例えば、ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

なお、遠隔操縦プログラム２５Ａは、不揮発性の非遷移的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記録媒体に記憶して、又はネットワークを介して配布して、遠隔操縦装置２０に適宜インストールすることで実現してもよい。

不揮発性の非遷移的記録媒体の例としては、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、光磁気ディスク、ＨＤＤ（ハードディスクドライブ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード等が想定される。

図３は、遠隔操縦装置２０のＣＰＵ２１Ａの機能構成を示すブロック図である。図３に示すように、ＣＰＵ２１Ａは、機能的には、受信部６０、送信部６１、算出部６２、生成部６３、及び制御部６４の各機能部を備える。ＣＰＵ２１Ａは、記憶部２５に記憶された遠隔操縦プログラム２５Ａを読み込んで実行することにより各機能部として機能する。

受信部６０は、車両３０に搭載されたカメラ３２により撮影された撮影画像を受信する。

送信部６１は、オペレータの遠隔操作による車両３０の操縦信号を車両３０へ送信する。

算出部６２は、操縦信号を車両３０へ送信してから車両３０が操縦信号を受信するまでの第１の遅延時間ｔ１と、撮影画像を車両３０が送信してから撮影画像を受信するまでの第２の遅延時間ｔ２と、を合計した合計遅延時間ｔ３に基づいて、車両３０の予測位置を算出する。

第１の遅延時間ｔ１は、遠隔操縦装置２０が操縦信号を送信した時点から車両３０が操縦信号を受信する時点までの時間である。また、第２の遅延時間ｔ２は、車両３０が撮影画像を送信した時点から遠隔操縦装置２０が撮影画像を受信するまでの時間である。すなわち、遠隔操縦装置２０が操縦信号を送信した時点から第１の遅延時間ｔ１経過後に車両３０が操縦信号に基づいて動作し、その時点の撮影画像が車両３０から送信された時点から第２の遅延時間ｔ２経過後に遠隔操縦装置２０で受信される。

従って、遠隔操縦装置２０が操縦信号を送信した時点から、その操縦信号によって動作した車両３０によって撮影された撮影画像が遠隔操縦装置２０で受信されるまでの時間は、合計遅延時間ｔ３となる。例えば図４に示すように、遠隔操縦装置２０の表示部２３に撮影画像Ｇ１が表示されている場合、撮影画像Ｇ１は、合計遅延時間ｔ３分遅延した画像である。このため、オペレータが撮影画像Ｇ１に基づいて車両３０を遠隔操作しようとすると、適切な遠隔操作をすることが困難となる。

そこで、生成部６３は、撮影画像Ｇ１に基づいて、車両３０の予測位置における予測撮影画像を生成する。例えば、図４に示すように、合計遅延時間ｔ３経過後の車両３０の予測位置が予測位置Ｐ１であったとする。また、合計遅延時間ｔ３経過後の車両３０の予測角度（回転角度）が示す方向が矢印Ｄ１方向であったとすると、合計遅延時間ｔ３経過後の車両３０から視認可能な視野範囲は、図４の破線の枠で示す視野範囲Ｓ１となる。この場合、図５に示すように、撮影画像Ｇ１から視野範囲Ｓ１の画像Ｇ２を切り出し、切り出した画像Ｇ２を、あたかも予測位置Ｐ１から矢印Ｄ１方向を向いたときに視認される画像となるように透視投影変換処理を行い、変換後の画像を予測撮影画像とする。

制御部６４は、生成部６３によって生成された予測撮影画像が表示部２３に表示されるように制御する。

なお、算出部６２は、例えば操縦信号を入力とし、車両３０の予測位置及び予測角度等の車両３０の予測状態を出力とする車両運動モデルを用いて予測位置及び予測角度等の予測状態を算出する。具体的には、例えば車両運動モデルは、スミス法に基づくスミス予測器を用いたモデルを用いることができる。

図６にスミス法のフィードバック制御系の基本構成を示す。図６に示す基本構成は、コントローラＣ（ｓ）は入力信号Ｒ（ｓ）に基づいて制御対象Ｇ（ｓ）を制御する。制御対象Ｇ（ｓ）から出力された出力信号Ｙ（ｓ）はコントローラＣ（ｓ）の入力側にフィードバックされる。また、コントローラＣ（ｓ）から出力された制御信号は、スミス予測器Ｐ（ｓ）を介してコントローラＣ（ｓ）の入力側にフィードバックされる。

スミス予測器Ｐ（ｓ）を用いた車両運動モデルの線形状態方程式は次式で示される。なお、下記（１）、（２）式で表される線形状態方程式を第１の線形状態方程式と称する。

Ｘ［ｔ］＝ＡＸ［ｔ－１］＋ｂ（ｕ［ｔ－１］－ｕ［（ｔ－１）－（ｔ１＋ｔ２）］）
・・・（１）
Ｙ［ｔ］＝ｃＸ［ｔ］ ・・・（２）

ここで、上記（１）式のＸ［ｔ］は、ｔ時点の車両３０の状態を示す。車両３０の状態とは、車両３０の速度、角速度（ヨーレート）、位置、角度、加速度、及び角加速度である。また、Ｘ［ｔ－１］は、ｔ時点の直前のｔ－１時点における車両３０の状態を示す。また、ｕ［ｔ－１］は、ｔ－１時点における操縦信号、すなわち、操舵角、加速度、及び減速度を示す。また、上記（２）式のＹ［ｔ］は、ｔ－１時点において予測されたｔ時点における車両の予測状態を示す。予測状態とは、車両３０の予測速度、予測角速度（ヨーレート）、予測位置、及び予測角度である。また、Ａ、ｂ、ｃは、パラメータを含む行列又はベクトルであり、予め定められる。また、第１の遅延時間ｔ１及び第２の遅延時間ｔ２も予め定められるが、遅延時間の変動を考慮して可変としてもよい。

上記（１）式のｂ（ｕ［ｔ－１］－ｕ［（ｔ－１）－（ｔ１＋ｔ２）］）がスミス予測器Ｐ（ｓ）に相当する。

ｕ［ｔ－１］は、ｔ－１時点の操縦信号に対する車両３０の動きに相当する。また、ｕ［（ｔ－１）－（ｔ１＋ｔ２）］は、ｔ－１時点の操縦信号によって車両３０が動き、その時点で撮影された撮影画像、すなわち予測撮影画像の生成元となる撮影画像に相当する。従って、仮に合計遅延時間ｔ３（＝ｔ１＋ｔ２）が０、すなわち遅延が全く無かったとすると、スミス予測器に相当するｂ（ｕ［ｔ－１］－ｕ［（ｔ－１）－（ｔ１＋ｔ２）］）は０となるため、撮影画像と予測撮影画像とは同一となる。

上記（１）式にｔ－１時点における車両３０の操縦信号であるｕ［ｔ－１］を入力することにより、ｔ時点における車両３０の予測状態であるＹ［ｔ］を算出することができる。

また、生成部６３は、撮影画像を予め定めた時間以上取得できない場合、最新の撮影画像に基づいて予測撮影画像を生成する。

また、受信部６０は、撮影画像と共に車両の現在位置を示す現在位置情報を受信し、算出部６２は、現在位置情報に基づいて予測位置を補正してもよい。この場合、算出部６２は、カルマンフィルタを用いて予測位置を補正してもよい。

また、生成部６３は、撮影画像に先行車が含まれる場合は、先行車を移動させた予測撮影画像を生成してもよい。

次に、図７を参照して遠隔操縦装置２０のＣＰＵ２１Ａで実行される遠隔操縦処理について説明する。図７に示した遠隔操縦処理は、遠隔操縦装置２０が稼働している間、遠隔操縦装置２０において所定の周期で繰り返し実行される処理である。なお、車両３０の現在位置取得部３３で取得された現在位置情報は、逐次遠隔操縦装置２０に送信され、遠隔操縦装置２０で逐次受信しているものとする。

ステップＳ１００では、ＣＰＵ２１Ａが、車両３０から撮影画像を受信したか否かを判定する。ステップＳ１００の判定が肯定された場合はステップＳ１０２へ移行し、否定された場合はステップＳ１１２へ移行する。

ステップＳ１０２では、ＣＰＵ２１Ａが、第１の線形状態方程式により現在の車両３０の予測位置及び予測角度を算出する。具体的には、直前のｔ－１時点の操縦信号であるｕ［ｔ－１］を上記（１）式に代入すると共に、車両３０から送信された車両３０の現在位置に基づいてｔ－１時点の車両３０の状態を表すＸ［ｔ－１］を算出する。なお、Ｘ［ｔ－１］のうち、車両３０の速度、角速度、角度、加速度、及び角加速度は、過去の車両３０の位置を用いることにより算出することができる。

そして、Ｘ［ｔ－１］を上記（１）式に代入して、ｔ時点の車両３０の状態Ｘ［ｔ］を算出し、Ｘ［ｔ］を上記（２）式に代入して現在の車両３０の予測状態Ｙ［ｔ］を算出する。これにより、ｔ時点、すなわち現時点における車両３０の予測位置及び予測角度が得られる。

ステップＳ１０４では、ＣＰＵ２１Ａが、ステップＳ１００で受信した撮影画像に基づいて、ステップＳ１０２で算出した車両３０の予測位置をカメラ３２のカメラ座標系の座標に変換した予測位置における予測撮影画像を生成する。前述したように、ステップＳ１００で取得した撮影画像が図４に示すような撮影画像Ｇ１であり、ステップＳ１０２で算出した車両３０の予測位置をカメラ座標系の座標に変換した予測位置が図５に示すような予測位置Ｐ１であり、ステップＳ１０２で算出した車両３０の予測角度が示す方向が矢印Ｄ１方向であった場合、図５に示すように、撮影画像Ｇ１から視野範囲Ｓ１の画像Ｇ２を切り出す。そして、切り出した画像Ｇ２を、あたかも予測位置Ｐ１から矢印Ｄ１方向を向いたときに視認される画像となるように透視投影変換処理を行った画像を予測撮影画像として生成する。

ステップＳ１０６では、ＣＰＵ２１Ａが、ステップＳ１０４で生成した現在の車両３０の予測撮影画像を表示部２３に表示させる。オペレータは、表示部２３に表示された予測撮影画像を確認し、車両操作装置５０を操作して車両３０を遠隔操作する。

ステップＳ１０８では、ＣＰＵ２１Ａが、オペレータが車両操作装置５０を操作したことにより車両操作装置５０から出力された操縦信号が入力されたか否かを判定する。そして、ステップＳ１０８の判定が肯定された場合はステップＳ１１０へ移行し、否定された場合は本ルーチンを終了する。

ステップＳ１１０では、ＣＰＵ２１Ａが、ステップＳ１０８で入力された操縦信号を車両３０へ送信する。これにより、車両３０は遠隔操縦装置２０から送信された操縦信号に基づいて操縦される。

一方、ステップＳ１１２では、ＣＰＵ２１Ａが、ステップＳ１００で撮影画像を前回受信した時点から一定時間経過したか否かを判定する。そして、ステップＳ１１２の判定が肯定された場合、すなわち撮影画像が一定時間以上更新されていない場合はステップＳ１１４へ移行し、ステップＳ１１２の判定が否定された場合はステップＳ１００へ移行する。

ステップＳ１１４では、ＣＰＵ２１Ａが、ステップＳ１０２と同様に、第１の線形状態方程式、すなわち上記（１）、（２）式により車両３０の予測位置及び予測角度を算出する。

ステップＳ１１６では、ＣＰＵ２１Ａが、下記（３）式及び上記（２）式で表される第２の線形状態方程式により車両３０の予測位置及び予測角度を算出する。

Ｘ［ｔ］＝ＡＸ［ｔ－１］＋ｂｕ［ｔ－１］ ・・・（３）

上記（３）式は、上記（１）式からｕ［（ｔ－１）－（ｔ１＋ｔ２）］を除いた式である。すなわち、撮影画像を受信できていないので、予測撮影画像の生成元となる撮影画像に相当するｕ［（ｔ－１）－（ｔ１＋ｔ２）］を除いた上記（３）式を用いて車両３０の予測位置及び予測角度を算出する。これにより、撮影画像が一定時間以上受信できず、撮影画像が更新されていなくても、最新の撮影画像に基づいて第１の線形状態方程式及び第２の線形状態方程式による車両３０の予測位置及び予測角度の算出が継続される。

ステップＳ１１８では、ＣＰＵ２１Ａが、ステップＳ１０４と同様に予測撮影画像を生成するが、ステップＳ１０４と異なり、第２の線形状態方程式を用いて算出された予測位置及び予測角度に基づいて予測撮影画像を生成する。

このように、撮影画像の受信が途切れた場合でも第２の線形状態方程式によって車両３０の予測位置及び予測角度を算出し、予測撮影画像を生成する。また、撮影画像の受信が途切れた場合でも、第１の線形状態方程式による予測位置及び予測角度の算出は継続しているため、撮影画像の受信が再開し、予測撮影画像の生成に用いる予測位置及び予測角度が第１の線形状態方程式により算出された予測位置及び予測角度に切り替わった場合に、予測撮影画像に違和感が生じるのを抑制することができる。

ところで、例えば図８に示すように、撮影画像Ｇ３において、車両３０の前を走行する先行車７０が存在する場合において、車両３０の予測位置及び予測角度に基づいて視野範囲Ｓ２の画像を切り出して図９に示すような予測撮影画像Ｇ４として生成してしまうと、実際は、先行車７０は前方に進んでいるにもかかわらず、停車したままのような画像となり、車両３０と衝突寸前であるかのような画像となってしまう。このため、オペレータの遠隔操作に支障が生じる。

そこで、撮影画像に先行車が含まれている場合、先行車も移動させた予測撮影画像を生成することが好ましい。そこで、ステップＳ１０４、Ｓ１１８の予測撮影画像の生成において、先行車が移動した状態の予測撮影画像を生成し、表示するようにしてもよい。この場合、先行車との距離を測定可能な例えばＬｉｄａｒ（Ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）装置等の測距装置を車両３０が備えている必要がある。

例えば、ステップＳ１００で受信した撮影画像が、図１０に示すように先行車７０を含む撮影画像Ｇ３の場合について説明する。車両３０は、Ｌｉｄａｒ装置によって先行車７０との距離を測定し、測距データとして遠隔操縦装置２０に逐次送信する。

まず、車両３０から送信された測距データに基づいて、車両３０に対する先行車７０の左端及び右端を検出する。例えば図１０に示すように、測距データに基づいて先行車７０のバウンディングボックスＢ１を算出し、算出したバウンディングボックスＢ１の左下隅を左端Ｌ１とし、バウンディングボックスＢ１の右下隅を右端Ｒ１として検出する。バウンディングボックスＢ１の算出は、例えば公知のディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）等を用いて算出することができる。

なお、先行車７０の左後輪及び右後輪の位置を検出して、それぞれを先行車７０の左端Ｌ１及び右端Ｒ１としてもよいし、先行車７０の左右のバックライトを検出して、それぞれを先行車７０の左端Ｌ１及び右端Ｒ１としてもよい。

そして、車両３０から受信した時系列の測距データに基づいて、先行車７０の速度を算出する。

次に、車両３０から送信された測距データのうち、撮影画像Ｇ３を透視投影変換した画像における先行車７０の左端Ｌ１及び右端Ｒ１の座標と最も近い座標の測距データとを対応付けて記憶する。なお、先行車７０の左端Ｌ１及び右端Ｒ１は路面に接地していることが前提となるが、先行車７０の左右のバックライトを左端Ｌ１及び右端Ｒ１としている場合は、バックライトの位置を鉛直方向に路面まで下ろした位置の座標を先行車７０の左端Ｌ１及び右端Ｒ１とする。

そして、測距データに基づいて算出した先行車７０の速度に基づいて、遠隔操縦装置２０から操縦信号が送信された時点から合計遅延時間ｔ３経過後の先行車７０の左端及び右端の予測位置を等速直線運動モデルに基づいて算出する。

次に、先行車７０の左端Ｌ１及び右端Ｒ１の予測位置を逆透視投影変換によってカメラ座標系の座標に変換し、例えば図１１に示すように、撮影画像Ｇ３における先行車７０の左端及び右端の予測位置である左端Ｌ２及び右端Ｒ２を算出する。そして、算出した左端Ｌ２と右端Ｒ２との距離、すなわち横方向の長さに基づいてバウンディングボックスＢ１のサイズを拡大又は縮小することにより、図１１に示すようなバウンディングボックスＢ２を生成する。

例えば図１２に示すように、バウンディングボックスＢ１の横方向の長さをｘ１、縦方向の長さをｙ１とし、バウンディングボックスＢ２の横方向の長さをｘ２、縦方向の長さをｙ２とすると、算出したバウンディングボックスＢ２の横方向の長さｘ２と、バウンディングボックスＢ１の横方向の長さｘ１及び縦方向の長さｙ１と、に基づいて、バウンディングボックスＢ２の縦方向の長さｙ２は次式で算出することができる。

ｙ２＝（ｘ２／ｘ１）×ｙ１

そして、図１１に示すように、サイズを調整したバウンディングボックスＢ２の画像を撮影画像Ｇ３の予測位置に合成した画像から視野範囲Ｓ２の画像を切り出し、切り出した画像を透視投影変換処理して予測撮影画像とする。

これにより、先行車７０も速度に応じて移動した状態の予測撮影画像が表示されるため、オペレータは適切に遠隔操作を行うことが可能となる。

なお、図１０の例では先行車が１台であるが、複数の先行車が検出された場合は、検出された複数の先行車の各々について上記の処理を行う。

また、第１の線形状態方程式を用いて算出した車両３０の予測位置は、実際の車両３０の位置と比べて誤差が生じる。そこで、所謂カルマンフィルタ（下記参考文献参照）を用い予測位置を補正してもよい。

（参考文献） 「カルマンフィルタの基礎」、足立修一、計測と制御、第５６巻第９号ｐ．６３２～ｐ．６３７、２０１７年９月

カルマンフィルタは、過去の状態推定値と観測値とから現在の状態推定値を得るためのフィルタである。従って、第１の線形状態方程式を用いて算出した車両３０の予測位置を過去の状態推定値、車両３０から受信した現在位置情報における実際の車両３０の位置を観測値とし、これらの差を予測誤差として、予測誤差にカルマンゲインを乗じてカルマンフィルタにフィードバックする。なお、図１に示すように、車両３０から送信される現在位置情報は第４の遅延時間ｔ４が生じるため、これを考慮してカルマンフィルタを構成する。これにより、車両３０の予測位置が補正され、カルマンフィルタを用いない場合と比較して精度良く予測位置を算出することができる。

以上で説明した本実施形態の遠隔操縦装置２０によれば、操縦信号を車両３０へ送信してから車両３０が前記操縦信号を受信するまでの第１の遅延時間ｔ１と、撮影画像を車両３０が送信してから撮影画像を受信するまでの第２の遅延時間ｔ２と、を合計した合計遅延時間ｔ３に基づいて、車両３０の予測位置を算出し、算出した予測位置の予測撮影画像を生成して表示部２３に表示する。これにより、適切に遠隔操縦することが可能となる。

なお、本開示は、上述した各実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

その他、上記実施の形態で説明した遠隔操縦装置２０の構成（図２参照）は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりしてもよいことは言うまでもない。

また、上記実施の形態で説明した遠隔操縦プログラム２５Ａの処理の流れ（図７参照）も一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

１０ 遠隔操縦システム、２０ 遠隔操縦装置、２５Ａ 遠隔操縦プログラム、３０ 車両、３１ 操縦制御部、３２ カメラ、３３ 現在位置取得部、５０ 車両操作装置、５１ ステアリング、５２ アクセル、５３ ブレーキ、６０ 受信部、６１ 送信部、６２ 算出部、６３ 生成部、６４ 制御部、７０ 先行車

Claims (9)

1. 車両（３０）に搭載されたカメラ（３２）により撮影された撮影画像を受信する受信部（６０）と、
   オペレータの遠隔操作による前記車両の操縦信号を前記車両へ送信する送信部（６１）と、
   前記操縦信号を前記車両へ送信してから前記車両が前記操縦信号を受信するまでの第１の遅延時間と、前記撮影画像を前記車両が送信してから前記撮影画像を受信するまでの第２の遅延時間と、を合計した合計遅延時間に基づいて、前記車両の予測位置を算出する算出部（６２）と、
   前記撮影画像に基づいて、前記車両の予測位置における予測撮影画像を生成する生成部（６３）と、
   生成された前記予測撮影画像が表示部（２３）に表示されるように制御する制御部（６４）と、
   を備えた遠隔操縦装置（２０）。
2. 前記算出部は、前記操縦信号を入力とし、前記車両の予測位置を出力とする車両運動モデルを用いて前記予測位置を算出する
   請求項１記載の遠隔操縦装置。
3. 前記車両運動モデルは、スミス法に基づくスミス予測器を用いたモデルである
   請求項２記載の遠隔操縦装置。
4. 前記生成部は、前記撮影画像を予め定めた時間以上取得できない場合、最新の前記撮影画像に基づいて前記予測撮影画像を生成する
   請求項１～３の何れか１項に記載の遠隔操縦装置。
5. 前記受信部は、前記撮影画像と共に前記車両の現在位置を示す現在位置情報を受信し、
   前記算出部は、前記現在位置情報に基づいて前記予測位置を補正する
   請求項１～４の何れか１項に記載の遠隔操縦装置。
6. 前記算出部は、カルマンフィルタを用いて前記予測位置を補正する
   請求項５記載の遠隔操縦装置。
7. 前記生成部は、前記撮影画像に先行車が含まれる場合は、前記先行車を移動させた予測撮影画像を生成する
   請求項１～６の何れか１項に記載の遠隔操縦装置。
8. コンピュータ（２１Ａ）が、
   車両に搭載されたカメラにより撮影された撮影画像を受信し、
   オペレータの遠隔操作による前記車両の操縦信号を前記車両へ送信し、
   前記操縦信号を前記車両へ送信してから前記車両が前記操縦信号を受信するまでの第１の遅延時間と、前記撮影画像を前記車両が送信してから前記撮影画像を受信するまでの第２の遅延時間と、を合計した合計遅延時間に基づいて、前記車両の予測位置を算出し、
   前記撮影画像に基づいて、前記車両の予測位置における予測撮影画像を生成し、
   生成された前記予測撮影画像が表示部に表示されるように制御する
   ことを含む処理を実行する遠隔操縦方法。
9. コンピュータに、
   車両に搭載されたカメラにより撮影された撮影画像を受信し、
   オペレータの遠隔操作による前記車両の操縦信号を前記車両へ送信し、
   前記操縦信号を前記車両へ送信してから前記車両が前記操縦信号を受信するまでの第１の遅延時間と、前記撮影画像を前記車両が送信してから前記撮影画像を受信するまでの第２の遅延時間と、を合計した合計遅延時間に基づいて、前記車両の予測位置を算出し、
   前記撮影画像に基づいて、前記車両の予測位置における予測撮影画像を生成し、
   生成された前記予測撮影画像が表示部に表示されるように制御する
   ことを含む処理を実行させるための遠隔操縦プログラム（２５Ａ）。

Images