JP2023008490A - 遠隔運転装置 - Google Patents

Abstract

【課題】対象車両を遠隔運転するユーザが知覚する速度を、対象車両の実際の速度に近づける。【解決手段】遠隔運転装置（１０）は、対象車両（２０）を遠隔運転する。当該遠隔運転装置は、マイクロホン（２２）により収集された対象車両の周囲の音である外部環境音と、対象車両の走行音を疑似的に表す仮想走行音との少なくとも一方を含む合成音情報を生成する生成手段（１１３）を備える。生成手段は、対象車両の速度が高い場合は、対象車両の速度が低い場合に比べて、合成音情報に含まれる外部環境音の割合を大きくする。【選択図】図１

Description

本発明は、対象車両を遠隔運転する遠隔運転装置の技術分野に関する。

この種の装置として、例えば、車両に搭載された複数のカメラの映像を制御所に伝送し、該制御所のモニタに表示する装置が提案されている（特許文献１参照）。

特開平１０－１４５７７７号公報

対象車両を車外から遠隔運転するユーザは、対象車両に乗っていない。このため、該ユーザが、例えばモニタ上に表示された画像（映像）から知覚する速度と、対象車両の実際の速度との間に乖離が生じる可能性があるという技術的問題点がある。

本発明は、例えば上記問題点に鑑みてなされたものであり、対象車両を遠隔運転するユーザが知覚する速度を、対象車両の実際の速度に近づけることができる遠隔運転装置を提供することを課題とする。

本発明の一態様に係る遠隔運転装置は、対象車両を遠隔運転する遠隔運転装置であって、マイクロホンにより収集された前記対象車両の周囲の音である外部環境音と、前記対象車両の走行音を疑似的に表す仮想走行音との少なくとも一方を含む合成音情報を生成する生成手段を備え、前記生成手段は、前記対象車両の速度が高い場合は、前記対象車両の速度が低い場合に比べて、前記合成音情報に含まれる前記外部環境音の割合を大きくするというものである。

第１実施形態に係る遠隔運転システムの構成を示すブロック図である。 第１実施形態に係る車両のカメラの撮像範囲の一例を示す図である。 第１実施形態に係るディスプレイの一例を示す図である。 第１実施形態に係る配分器の一例を示す図である。 外部環境音と仮想走行音との割合を規定するマップの一例である。 第１実施形態に係る遠隔運転装置の動作を示すフローチャートである。 外部環境音と仮想走行音との割合を規定するマップの他の例である。 第２実施形態に係る遠隔運転装置の動作を示すフローチャートである。 実施形態に係るコンピュータの構成を示すブロック図である。

＜第１実施形態＞
遠隔運転装置に係る第１実施形態について図１乃至図６を参照して説明する。第１実施形態に係る遠隔運転装置１０は、遠隔運転システム１の一部を構成している。図１において、遠隔運転システム１は、遠隔運転装置１０と、該遠隔運転装置１０により遠隔運転される車両２０とを備えている。

遠隔運転装置１０は、例えば車両のコックピットを模した作りとなっている。遠隔運転装置１０には、当該遠隔運転装置１０を用いて対象車両（ここでは、車両２０）を遠隔運転するユーザが操作するステアリングホイール、アクセルペダル、ブレーキペダル（いずれも図示せず）が設けられている。

遠隔運転装置１０は、制御装置１１、通信部１２、操舵センサ１３、アクセルペダルセンサ１４、ブレーキペダルセンサ１５、ディスプレイ１６及びスピーカ１７を備えて構成されている。操舵センサ１３は、上記ステアリングホイールの操作量を検出する。アクセルペダルセンサ１４は、上記アクセルペダルの操作量を検出する。ブレーキペダルセンサ１５は、上記ブレーキペダルの操作量を検出する。

車両２０は、カメラ２１Ｌ、２１Ｃ及び２１Ｒ、マイクロホン２２（以降、”マイク２２”と表記する）、速度センサ２３、加速度センサ２４、ヨーレートセンサ２５並びに通信部２６を備えて構成されている。

マイク２２は、車両２０の周囲の音（以降、”外部環境音”と称する）を検出する。速度センサ２３は、車両２０の速度を検出する。加速度センサ２４は、車両２０の加速度を検出する。ヨーレートセンサ２５は、車両２０のヨーレートを検出する。マイク２２により検出された外部環境音、速度センサ２３により検出された速度、加速度センサ２４により検出された加速度及びヨーレートセンサ２５により検出されたヨーレートは、通信部２６を介して、遠隔運転装置１０に送信される。

カメラ２１Ｃは、車両２０の前方領域を撮像可能に車両２０に取り付けられている。カメラ２１Ｌは、車両２０の左側方領域を撮像可能に車両２０に取り付けられている。カメラ２１Ｒは、車両２０の右側方領域を撮像可能に車両２０に取り付けられている。カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々により撮像された画像は、通信部２６を介して、遠隔運転装置１０に送信される。

ここで、図２において、範囲ＩＲＬはカメラ２１Ｌの撮像範囲に相当し、範囲ＩＲＣはカメラ２１Ｃの撮像範囲に相当し、範囲ＩＲＲはカメラ２１Ｒの撮像範囲に相当する。尚、車両２０は、カメラ２１Ｌ、２１Ｃ及び２１Ｒに加えて、例えば車両２０の後方領域を撮像可能なカメラ等の他のカメラを備えていてよい。

遠隔運転装置１０の制御装置１１は、その内部に論理的に実現される論理ブロックとして、又は、物理的に実現される処理回路として、車両制御部１１１、表示制御部１１２及び音制御部１１３を有する。

車両制御部１１１は、通信部１２を介して、車両２０から送信された速度、加速度及びヨーレートを取得する。車両制御部１１１は、該取得された速度、加速度及びヨーレートと、操舵センサ１３により検出された操作量、アクセルペダルセンサ１４により検出された操作量及びブレーキペダルセンサ１５により検出された操作量とに基づいて、車両２０を制御するための指令値を演算する。車両制御部１１１は、該演算された指令値を、通信部１２を介して、車両２０に送信する。

表示制御部１１２は、通信部１２を介して、カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々により撮像された画像を取得する。ここでディスプレイ１６は、例えば図３に示すように、表示領域ＤＲＬ、ＤＲＣ及びＤＲＲを有する。表示制御部１１２は、カメラ２１Ｌにより撮像された画像を表示領域ＤＲＬに表示し、カメラ２１Ｃにより撮像された画像を表示領域ＤＲＣに表示し、カメラ２１Ｒにより撮像された画像を表示領域ＤＲＲに表示する。

尚、表示領域ＤＲＬ、ＤＲＣ及びＤＲＲ各々は、１つのディスプレイ内の部分領域として実現されてよい。表示領域ＤＲＬ、ＤＲＣ及びＤＲＲは、複数の（例えば３つの）ディスプレイにより実現されてよい。また、表示制御部１１２は、カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々により撮像された画像を個別に表示することに代えて、カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々により撮像された画像を合成した上で、合成された画像をディスプレイ１６に表示してよい。

音制御部１１３は、通信部１２を介して、車両２０から送信された外部環境音を取得する。音制御部１１３は、車両２０の走行音を疑似的に表す仮想走行音を生成する。音制御部１１３は、外部環境音と仮想走行音との少なくとも一方を含む合成音情報を生成する。音制御部１１３は、該生成された合成音情報により示される音が発せられるように、スピーカ１７を制御する。

ここで音制御部１１３は、配分器１１３１（図４参照）を有していてよい。合成音情報は、例えば、外部環境音と仮想走行音とが配分器１１３１に入力され、両者が配分器１１３１により合成されることにより生成されてよい。尚、仮想走行音の生成方法には、既存の各種態様を適用可能であるのでその詳細についての説明は省略する。

音制御部１１３は特に、車両２０の速度に応じて、合成音情報に含まれる外部環境音と仮想走行音との割合を変更する。音制御部１１３は、例えば図５に示すようなマップに従って、合成音情報に含まれる外部環境音と仮想走行音との割合を変更してよい。尚、車両２０の速度が比較的低速な場合、合成音情報には仮想走行音のみが含まれていてよい（即ち、仮想走行音の割合が１００％であってよい）。車両２０の速度が比較的高速な場合、合成音情報には外部環境音のみが含まれていてよい（即ち、外部環境音の割合が１００％であってよい）。

上述の如く構成された遠隔運転装置１０の動作について図６のフローチャートを参照して説明を加える。図６において、遠隔運転装置１０の制御装置１１は、通信部１２を介して、対象車両としての車両２０の速度を取得する（ステップＳ１０１）。制御装置１１の音制御部１１３は、ステップＳ１０１の処理において取得された速度に応じて、合成音情報に含まれる外部環境音及び仮想走行音の割合を決定する（ステップＳ１０２）。

ステップＳ１０２の処理において、音制御部１１３は、例えば図５に示すようなマップに従って、外部環境音及び仮想走行音の割合を決定してよい。或いは、音制御部１１３は、対象車両の速度が閾値より低い場合は、合成音情報に含まれる仮想走行音の割合を外部環境音の割合より大きくよい。音制御部１１３は、対象車両の速度が閾値より高い場合は、合成音情報に含まれる外部環境音の割合を仮想走行音の割合より大きくしてよい。

その後、音制御部１１３は、ステップＳ１０２の処理において決定された割合となるように、外部環境音と仮想走行音とから合成音情報を生成する。そして、音制御部１１３は、該生成された合成音情報により示される音が発せられるようにスピーカ１７を制御する（ステップＳ１０３）。

（技術的効果）
遠隔運転装置１０を用いて対象車両（ここでは、車両２０）を遠隔運転しているユーザは、例えば車両２０の挙動に起因する振動や加速度を体感することができない。遠隔運転しているユーザの臨場感を高めるために、例えばスピーカ１７から外部環境音が発せられる。しかしながら、車両２０の速度が比較的低い場合には、例えば車両２０のタイヤの振動音や摩擦音が比較的小さい。このため、スピーカ１７から外部環境音が発生られても、臨場感を向上する効果は期待するほど得られない。

そこで、当該遠隔運転装置１０では、車両２０の速度が比較的低い場合には、車両２０の速度が比較的高い場合に比べて、仮想走行音の割合が高い合成音情報が生成される。具体的には、車両２０の速度が比較的低い場合には、外部環境音より仮想走行音の割合が高い合成音情報が生成される。他方で、車両２０の速度が比較的高い場合には、仮想走行音より外部環境音の割合が高い合成音情報が生成される。車両２０の速度が比較的高い場合には、例えば車両２０のタイヤの振動音や摩擦音が十分に大きいからである。

当該遠隔運転装置１０によれば、対象車両を遠隔運転するユーザが知覚する速度を、対象車両の実際の速度に近づけることができる。

尚、音制御部１１３の機能のうち、外部環境音と仮想走行音とから合成音情報を生成する機能は、遠隔運転の対象車両（例えば車両２０）に設けられていてよい。

＜第２実施形態＞
遠隔運転装置に係る第２実施形態について図７及び図８を参照して説明する。第２実施形態では、音制御部１１３の動作が一部異なる以外は、上述した第１実施形態と同様である。従って、第２実施形態について、第１実施形態と重複する説明は適宜省略し、第１実施形態と異なる点について主に説明する。

音制御部１１３（図１参照）は、通信部１２を介して、車両２０（即ち、遠隔運転の対象車両）から送信された外部環境音を取得する。音制御部１１３は、該取得された外部環境音に緊急車両から発せられるサイレン音が含まれているか否かを判定する。音制御部１１３は、例えば外部環境音に所定の周波数解析を施してよい。そして、音制御部１１３は、周波数解析の結果に、緊急車両から発せられるサイレン音固有の周波数が含まれている場合に、外部環境音に緊急車両から発せられるサイレン音が含まれていると判定してよい。

外部環境音に緊急車両から発せられるサイレン音が含まれている場合、音制御部１１３は、車両２０の速度にかかわらず、合成音情報に含まれる外部環境音の割合を仮想走行音の割合より大きくする。具体的には、音制御部１１３は、例えば図７に示すようなマップに従って、外部環境音及び仮想走行音の割合を決定してよい。

この結果、外部環境音を比較的多く含む合成音情報により示される音がスピーカ１７から発せられる。このように構成すれば、遠隔運転装置１０により対象車両である車両２０を遠隔運転しているユーザに、車両２０の周囲に緊急車両が存在していることを気づかせることができる。上記ユーザが緊急車両の存在に気づけば、例えば車両２０を路肩等に退避させることができる。

尚、外部環境音に緊急車両から発せられるサイレン音が含まれていない場合、音制御部１１３は、上述した第１実施形態と同様の動作を行ってよい。つまり、音制御部１１３は、例えば図５に示すようなマップに従って、外部環境音及び仮想走行音の割合を決定してよい。

本実施形態に係る音制御部１１３の動作について図８のフローチャートを参照して説明を加える。尚、図８におけるステップＳ１０１、Ｓ１０２及びＳ１０３は、図６におけるステップＳ１０１、Ｓ１０２及びＳ１０３に相当する。

図８において、ステップＳ１０１の処理の後、音制御部１１３は、遠隔運転の対象車両としての車両２０の周囲に緊急車両が存在するか否かを判定する（ステップＳ２０１）。具体的には、音制御部１１３は、車両２０から送信された外部環境音に緊急車両から発せられるサイレン音が含まれているか否かを判定する。

ステップＳ２０１の処理において、車両２０の周囲に緊急車両が存在すると判定された場合（ステップＳ２０１：Ｙｅｓ）、音制御部１１３は、合成音情報に含まれる外部環境音の割合が仮想走行音の割合よりも大きくなるように、ステップＳ１０１の処理において取得された速度に応じて、合成音情報に含まれる外部環境音及び仮想走行音の割合を決定する（ステップＳ２０２）。

その後、音制御部１１３は、ステップＳ２０２の処理において決定された割合となるように、外部環境音と仮想走行音とから合成音情報を生成する。そして、音制御部１１３は、該生成された合成音情報により示される音が発せられるようにスピーカ１７を制御する（ステップＳ１０３）。

ステップＳ２０１の処理において、車両２０の周囲に緊急車両が存在しないと判定された場合（ステップＳ２０１：Ｎｏ）、音制御部１１３は、ステップＳ１０２の処理を行う。

（技術的効果）
当該遠隔運転装置１０によれば、対象車両を遠隔運転するユーザが知覚する速度を、対象車両の実際の速度に近づけつつ、緊急車両の存在をユーザに知覚させることができる。

＜コンピュータプログラム＞
コンピュータプログラムに係る実施形態について図９を参照して説明する。図９は、実施形態に係るコンピュータの構成を示すブロック図である。

図９において、コンピュータ５０は、遠隔運転装置の一部を構成する。コンピュータ５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１、ＲＡＭ５２、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）５３及びＩ／Ｏ５４を備えて構成されている。ＣＰＵ５１、ＲＡＭ５２、ＨＤＤ５３及びＩ／Ｏ５４は、バス５５により相互に接続されている。ＨＤＤ５３には、本実施形態に係るコンピュータプログラム５３１が予め格納されている。Ｉ／Ｏ５４により、上述した通信部１２が構成されていてよい。

コンピュータプログラム５３１によるＣＰＵ５１の処理について説明する。ＣＰＵ５１は、Ｉ／Ｏ５４を介して、車両２０から送信された速度、加速度及びヨーレートを取得する。ＣＰＵ５１は、Ｉ／Ｏ５４を介して、カメラ２１Ｌ、２１Ｃ及び２１Ｒ各々により撮像された画像を取得する。ＣＰＵ５１は、Ｉ／Ｏ５４を介して、車両２０から送信された外部環境音を取得する。

ＣＰＵ５１は、車両２０の走行音を疑似的に表す仮想走行音を生成する。ＣＰＵ５１は、外部環境音と仮想走行音との少なくとも一方を含む合成音情報を生成する。ＣＰＵ５１は、該生成された合成音情報により示される音が発せられるように、Ｉ／Ｏ５４を介してスピーカ（図示せず）を制御する。

ここで、ＣＰＵ５１は、車両２０の速度に応じて、合成音情報に含まれる外部環境音と仮想走行音との割合を変更する。ＣＰＵ５１は、例えば図５に示すようなマップに従って、合成音情報に含まれる外部環境音と仮想走行音との割合を変更してよい。尚、図５に示すようなマップは、ＨＤＤ５３に格納されていてよい。

ＣＰＵ５１は、外部環境音に緊急車両から発せられるサイレン音が含まれているか否かを判定してよい（即ち、車両２０の周囲に緊急車両が存在するか否かを判定してよい）。ＣＰＵ５１は、外部環境音に緊急車両から発せられるサイレン音が含まれている場合、車両２０の速度にかかわらず、合成音情報に含まれる外部環境音の割合を仮想走行音の割合より大きくしてよい。この場合、ＣＰＵ５１は、例えば図７に示すようなマップに従って、外部環境音及び仮想走行音の割合を決定してよい。尚、図７に示すようなマップは、ＨＤＤ５３に格納されていてよい。

尚、コンピュータ５０が、例えば、コンピュータプログラム５３１を格納するＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の光ディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、等の記録媒体から、コンピュータプログラム５３１を読み込むことにより、ＨＤＤ５３にコンピュータプログラム５３１が格納されてよい。或いは、コンピュータ５０が、例えばインターネット等のネットワークを介して、コンピュータプログラム５３１をダウンロードすることにより、ＨＤＤ５３にコンピュータプログラム５３１が格納されてよい。

コンピュータプログラム５３１によれば、上述した第１実施形態における遠隔運転装置１０と同様に、対象車両を遠隔運転するユーザが知覚する速度を、対象車両の実際の速度に近づけることができる。加えて、コンピュータプログラム５３１によれば、上述した第２実施形態における遠隔運転装置１０と同様に、緊急車両の存在を、対象車両を遠隔運転するユーザに知覚させることができる。コンピュータプログラム５３１によれば、上述した第１及び第２実施形態における遠隔運転装置１０を比較的容易に実現することができる。

以上に説明した実施形態から導き出される発明の各種態様を以下に説明する。

発明の一態様に係る遠隔運転装置は、対象車両を遠隔運転する遠隔運転装置であって、マイクロホンにより収集された前記対象車両の周囲の音である外部環境音と、前記対象車両の走行音を疑似的に表す仮想走行音との少なくとも一方を含む合成音情報を生成する生成手段を備え、前記生成手段は、前記対象車両の速度が高い場合は、前記対象車両の速度が低い場合に比べて、前記合成音情報に含まれる前記外部環境音の割合を大きくするというものである。上述の実施形態においては「音制御部１１３」が「生成手段」の一例に相当する。

当該遠隔運転装置では、前記対象車両の周囲に存在する緊急車両を検出する検出手段を備えてよく、前記生成手段は、前記検出手段により緊急車両が検出された場合、前記合成音情報に含まれる前記外部環境音の割合を、前記合成音情報に含まれる前記仮想走行音の割合よりも大きくしてよい。上述の実施形態においては「音制御部１１３」が「検出手段」の一例に相当する。

発明の一態様に係る遠隔運転方法は、対象車両を遠隔運転する遠隔運転装置における遠隔運転方法であって、マイクロホンにより収集された前記対象車両の周囲の音である外部環境音と、前記対象車両の走行音を疑似的に表す仮想走行音との少なくとも一方を含む合成音情報を生成する生成工程を含み、前記生成工程では、前記対象車両の速度が高い場合は、前記対象車両の速度が低い場合に比べて、前記合成音情報に含まれる前記外部環境音の割合が大きくされるというものである。

当該遠隔運転方法では、前記生成工程より前に、前記対象車両の周囲に存在する緊急車両を検出する検出工程を含んでよく、前記生成工程では、前記検出工程により緊急車両が検出された場合、前記合成音情報に含まれる前記外部環境音の割合が、前記合成音情報に含まれる前記仮想走行音の割合よりも大きくされてよい。

発明の一態様に係るコンピュータプログラムは、対象車両を遠隔運転する遠隔運転装置のコンピュータを、マイクロホンにより収集された前記対象車両の周囲の音である外部環境音と、前記対象車両の走行音を疑似的に表す仮想走行音との少なくとも一方を含む合成音情報を生成する生成手段であって、前記対象車両の速度が高い場合は、前記対象車両の速度が低い場合に比べて、前記合成音情報に含まれる前記外部環境音の割合を大きくする生成手段として機能させるというものである。

当該コンピュータプログラムは、前記コンピュータを更に前記対象車両の周囲に存在する緊急車両を検出する検出手段として機能させてよく、前記生成手段は、前記検出手段により緊急車両が検出された場合、前記合成音情報に含まれる前記外部環境音の割合を、前記合成音情報に含まれる前記仮想走行音の割合よりも大きくしてよい。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う遠隔運転装置もまた本発明の技術的範囲に含まれるものである。

１…遠隔運転システム、１０…遠隔運転装置、１１…制御装置、１２、２６…通信部、１３…操舵センサ、１４…アクセルペダルセンサ、１５…ブレーキペダルセンサ、１６…ディスプレイ、１７…スピーカ、２０…車両、２１Ｌ、２１Ｃ、２１Ｒ…カメラ、２２…マイクロホン、２３…速度センサ、２４…加速度センサ、２５…ヨーレートセンサ、１１１…車両制御部、１１２…表示制御部、１１３…音制御部

Claims (2)

1. 対象車両を遠隔運転する遠隔運転装置であって、
   マイクロホンにより収集された前記対象車両の周囲の音である外部環境音と、前記対象車両の走行音を疑似的に表す仮想走行音との少なくとも一方を含む合成音情報を生成する生成手段を備え、
   前記生成手段は、前記対象車両の速度が高い場合は、前記対象車両の速度が低い場合に比べて、前記合成音情報に含まれる前記外部環境音の割合を大きくする
   ことを特徴とする遠隔運転装置。
2. 前記対象車両の周囲に存在する緊急車両を検出する検出手段を備え、
   前記生成手段は、前記検出手段により緊急車両が検出された場合、前記合成音情報に含まれる前記外部環境音の割合を、前記合成音情報に含まれる前記仮想走行音の割合よりも大きくする
   ことを特徴とする請求項１に記載の遠隔運転装置。

Images