JP2023169054A - 遠隔支援システム、車両、及び遠隔支援方法 - Google Patents

Abstract

【課題】車両の走行を遠隔支援する遠隔支援システムにおいて、車両から管理施設に送信される画像データの送信時の遅延を低減することが可能な技術を提供する。【解決手段】遠隔支援システムは、遠隔支援の対象である車両と、遠隔オペレータによる前記車両の遠隔支援のための入力を受け付ける遠隔施設と、を含む。遠隔支援システムは、１又は複数のプロセッサを備える。１又は複数のプロセッサは、車両の周囲のカメラ画像の画像データを取得する処理と、車両の周囲の音声についての音声データを取得する処理と、画像データと音声データを遠隔施設に送信する処理と、遠隔オペレータが音声データを必要とする場面である音声必要シーンを検出する処理と、音声必要シーンが検出されない場合に、音声データの遠隔施設への送信を抑制する処理と、を実行する。【選択図】図５

Description

本開示は、車両の遠隔支援技術に関する。

特開２０２１－１７０８３号公報は、車両の遠隔運転を行う車両制御装置を開示する。この車両制御装置は、乗員の生体情報に基づいて、車両の手動運転が困難になることが予測された場合、乗員の安否を確認する確認情報を報知装置から報知させる。車両制御装置は、安否確認された乗員からの応答を受け付ける受付部を備え、乗員の意思を確認した上で、車両を遠隔運転に切り替える。

特開２０２１－１７０８３号公報 特開２０２０－７１５０５号公報 特開２００６－１９２９６７号公報

遠隔運転システムを含む車両の遠隔支援システムでは、車両を操作するための情報として、車両の周囲のカメラ画像や音声についての情報が遠隔オペレータに送られる。カメラ画像などの情報は通信システムにより送られるため、情報の送信には遅延が発生しやすい。遠隔オペレータが車両を操作する際には、操作性向上のために遅延を低減させることが望ましい。

本発明の１つの目的は、車両の遠隔支援システムにおいて、車両から遠隔オペレータへの情報の送信時の遅延を低減することが可能な技術を提供することにある。

第１の観点は、遠隔支援の対象である車両と、遠隔オペレータによる前記車両の遠隔支援のための入力を受け付ける遠隔施設と、を含む遠隔支援システムであり、次の特徴を有する。
遠隔支援システムは、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、
車両の周囲のカメラ画像の画像データを取得する処理と、
車両の周囲の音声についての音声データを取得する処理と、
画像データと音声データを遠隔施設に送信する処理と、
遠隔オペレータが音声データを必要とする場面である音声必要シーンを検出する処理と、
音声必要シーンが検出されない場合に、音声データの遠隔施設への送信を抑制する処理と、
を実行する。

第２の観点は、遠隔オペレータによる遠隔支援の対象である車両であり、次の特徴を有する。
車両は、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、
車両の周囲のカメラ画像の画像データを取得する処理と、
車両の周囲の音声についての音声データを取得する処理と、
画像データと音声データを遠隔オペレータによる車両の遠隔支援のための入力を受け付ける遠隔施設に送信する処理と、
遠隔オペレータが音声データを必要とする場面である音声必要シーンを検出する処理と、
音声必要シーンが検出されない場合に、音声データの遠隔施設への送信を抑制する処理と
を実行する。

第３の観点は、遠隔オペレータによる遠隔支援の対象である車両を制御する遠隔支援方法であって、次の特徴を有する。
車両の周囲のカメラ画像の画像データを取得することと、
車両の周囲の音声についての音声データを取得することと、
画像データと音声データを遠隔オペレータによる車両の遠隔支援のための入力を受け付ける遠隔施設に送信することと、
遠隔オペレータが音声データを必要とする場面である音声必要シーンを検出することと、
音声必要シーンが検出されない場合に、音声データの遠隔施設への送信を抑制することと、
を含む。

本開示の技術によれば、音声必要シーンが検出されない場合に、音声データの遠隔施設への送信が抑制される。この音声必要シーンは、遠隔オペレータが音声データを必要とする場面である。音声データの遠隔施設への送信を抑制することにより、音声データを送信する場合に比べて、車両から遠隔施設へ送信されるデータのデータ通信量を大幅に削減することが可能となる。データ通信量の削減により、情報の送信時の遅延が低減され、遠隔オペレータによる遠隔支援の操作快適性や安全性を向上させることができる。

また、画像データは、車両から遠隔施設へ常に送信される。更に、音声必要シーンが検出される場合には音声データの送信は抑制されない。そのため、遠隔オペレータが遠隔支援のために必要とする情報が不足することはない。

実施形態に係る遠隔支援システムの構成例を示すブロック図である。 車両のデータ処理装置の機能構成例を示すブロック図である 遠隔施設のデータ処理装置の機能構成例を示すブロック図である。 実施形態に係る遠隔支援システムにより実行される処理の流れを示すブロック図である。 実施形態に係る遠隔支援システムにより実行される処理の流れを示すフローチャートである。

以下、図面を参照しながら、本発明の実施形態に係る遠隔支援システムについて説明する。なお、各図において、同一又は相当する部分には同一符号を付してその説明を簡略化し又は省略する。

１．遠隔支援システムの構成例
図１は、実施形態に係る遠隔支援システムの構成例を示すブロック図である。図１に示されるように遠隔支援システム１は、車両２と、車両２と通信を行う遠隔施設３と、を備えている。車両２と遠隔施設３の間の通信は、ネットワーク４を介して行われる。

車両２は、例えば、ディーゼルエンジンやガソリンエンジンなどの内燃機関を動力源とする自動車、電動機を動力源とする電気自動車、内燃機関と電動機を備えるハイブリッド自動車である。電動機は、二次電池、水素燃料電池、金属燃料電池、アルコール燃料電池などの電池により駆動される。

車両２は、遠隔施設３に駐在する遠隔オペレータにより遠隔運転されても良い。あるいは、車両２の走行は、車両２に搭載された制御システムにより行われてもよい。この制御システムは、例えば、車両２の自動走行のための制御を行う。この制御システムが遠隔施設３に対して遠隔支援を要求した場合、車両２の走行は、遠隔施設３に駐在する遠隔オペレータの操作により遠隔支援される。

車両２は、カメラ２１と、マイク２２と、データベース２３と、通信装置２４と、データ処理装置２５と、を備えている。カメラ２１、マイク２２、データベース２３及び通信装置２４と、データ処理装置２５とは、車載のネットワーク（例えば、ＣＡＮ（Car Area Network））により接続されている。

カメラ２１は、車両２の周囲の画像（動画）を撮影する。カメラ２１は、車両２の少なくとも前方の画像を撮影するために、少なくとも１台設けられる。前方撮影用のカメラ２１は、例えば、車両２のフロントガラスの背面に設けられる。カメラ２１が取得したカメラ画像の画像データＩＭＧは、データ処理装置２５に送信される。

マイク２２は、車両２の周囲の音声を取得する。マイク２２は、少なくとも１台設けられる。少なくとも１台のマイクは、例えば、車両２のフロントバンパー又はルーフに設けられる。車両２の位置に対する音声の発生源（以下、「音源」とも称す。）の相対位置、又は、車両２から音源までの距離を測定する場合、少なくとも２台のマイク２２が設けられることが望ましい。少なくとも２台のマイクは、例えば、車両２のフロントバンパーの両側に設けられた２台のマイクと、車両２のリアバンパーの両側に設けられた２台のマイクと、を含む。マイク２２が取得した音声についての音声データＳＵＤは、データ処理装置２５に送信される。

データベース２３は、フラッシュメモリやＨＤＤ（Hard Disk Drive）といった不揮発性の記憶媒体である。データベース２３には、車両２の走行に必要な各種プログラム及び各種データが格納されている。各種データは、例えば、車両２のナビゲーションに使用される地図データを含んでいても良い。データベース２３には、また、車両２の走行の遠隔支援に必要な各種データも格納されている。

通信装置２４は、ネットワーク４に接続するための装置である。通信装置２４の通信先には、遠隔施設３が含まれる。遠隔施設３との通信において、通信装置２４は、データ処理装置２５から受け取った通信用データＣＯＭ２を、遠隔施設３に送信する。

データ処理装置２５は、車両２が取得した各種データを処理するためのコンピュータである。データ処理装置２５は、少なくともプロセッサ２６と、メモリ２７と、インターフェース２８と、を備える。メモリ２７は、ＤＤＲメモリなどの揮発性のメモリであり、プロセッサ２６が使用するプログラムの展開及び各種データの一時保存を行う。車両２が取得した各種データは、メモリ２７に格納される。この各種データには、上述した画像データＩＭＧ及び音声データＳＵＤが含まれる。インターフェース２８は、カメラ２１、マイク２２等の外部装置とのインターフェースである。

プロセッサ２６は、画像データＩＭＧをエンコードして、インターフェース２８を介して通信装置２４に出力する。エンコード処理に際し、画像データＩＭＧは圧縮されてもよい。エンコードされた画像データＩＭＧは、通信用データＣＯＭ２に含まれる。プロセッサ２６は、音声データＳＵＤをエンコードして、インターフェース２８を介して通信装置２４に出力する。エンコード処理に際し、音声データＳＵＤは圧縮されてもよい。エンコードされた音声データＳＵＤは、通信用データＣＯＭ２に含まれる。プロセッサ２６は、また、画像データＩＭＧの解析（画像解析）を行って、画像データＩＭＧに含まれる物体を識別する。プロセッサ２６は、音声データＳＵＤの解析（音声解析）を行って、音声データＳＵＤに含まれる音声を識別する。

ここで、プロセッサ２６が識別する、画像データＩＭＧに含まれる物体としては、踏切、緊急車両、及びライトの点滅が例示される。緊急車両とは、例えば、パトカー、救急車及び消防車である。ライトの点滅は、例えば、緊急車両に取り付けられたライトの点滅である。

プロセッサ２６が識別する、音声データＳＵＤに含まれる音声としては、クラクション音、踏切音、緊急車両音、交通信号機音、爆発音、及び銃声が例示される。クラクション音は、車両のクラクション（警音器）が作動した際に発生する音である。踏切音は、踏切に設置された警報機が作動した際に発生する音である。緊急車両音は、緊急車両の警報機が作動した際に発生する音である。交通信号機音は、横断歩道に隣接して設けられる信号機から、当該横断歩道を横断する歩行者等の安全を確保するために発せられる。

遠隔施設３は、入力装置３１と、データベース３２と、通信装置３３と、ディスプレイ３４と、ヘッドホン３５と、データ処理装置３６と、を備えている。入力装置３１、データベース３２、通信装置３３、ディスプレイ３４及びヘッドホン３５と、データ処理装置３６とは、専用のネットワークにより接続されている。

入力装置３１は、車両２の走行を遠隔支援する遠隔オペレータが操作する装置である。入力装置３１は、遠隔オペレータによる入力を受け付ける入力部と、この入力に基づいて入力信号を生成及び出力する制御回路と、を備えている。入力部としては、タッチパネル、マウス、キーボード、ボタン及びスイッチが例示される。遠隔オペレータによる入力としては、ディスプレイ３４に表示されたカーソルの移動操作と、ディスプレイ３４に表示されたボタンの選択操作と、が例示される。

なお、遠隔オペレータが車両２の遠隔運転を行う場合は、入力装置３１が走行用の入力装置を備えていてもよい。この走行用の入力装置としては、ステアリングホイール、シフトレバー、アクセルペダル及びブレーキペダルが例示される。

データベース３２は、フラッシュメモリやＨＤＤといった不揮発性の記憶媒体である。データベース３２には、車両２の走行の遠隔支援（又は車両２の遠隔運転）に必要な各種プログラム及び各種データが格納されている。

通信装置３３は、ネットワーク４に接続するための装置である。通信装置３３の通信先には、車両２が含まれる。車両２との通信において、通信装置３３は、データ処理装置３６から受け取った通信用データＣＯＭ３を、車両２に送信する。

ディスプレイ３４及びヘッドホン３５は、車両２の周囲の状況を遠隔施設３において再生する装置（再生装置）の一例である。ディスプレイ３４としては、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）及び有機ＥＬ（ＯＬＥＤ：Organic Light Emitting Diode）ディスプレイが例示される。ディスプレイ３４は、データ処理装置３６から受け取った再生用データＲＩＭＧに基づいて動作する。ヘッドホン３５は、音声信号を出力する装置である。ヘッドホン３５は、音源の位置を示す定位情報に基づいて立体音響信号を出力してもよい。ヘッドホン３５は、データ処理装置３６から受け取った再生用データＲＳＵＤに基づいて動作する。

データ処理装置３６は、各種データを処理するためのコンピュータである。データ処理装置３６は、少なくともプロセッサ３７と、メモリ３８と、インターフェース３９と、を備える。メモリ３８は、プロセッサ３７が使用するプログラムの展開及び各種データの一時保存を行う。入力装置３１からの入力信号や、遠隔施設３が取得した各種データは、メモリ３８に格納される。この各種データには、通信用データＣＯＭ２に含まれる画像データＩＭＧ及び音声データＳＵＤが含まれる。インターフェース３９は、入力装置３１、データベース３２等の外部装置とのインターフェースである。

プロセッサ３７は、画像データＩＭＧをデコードし、インターフェース３９を介してディスプレイ３４に出力する。画像データＩＭＧが圧縮されている場合、デコード処理において当該画像データＩＭＧが伸長される。デコードされた画像データＩＭＧは、再生用データＲＩＭＧに該当する。

プロセッサ３７は、音声データＳＵＤをデコードし、インターフェース３９を介してヘッドホン３５に出力する。音声データＳＵＤが圧縮されている場合、デコード処理において当該音声データＳＵＤが伸長される。デコードされた音声データＳＵＤは、再生用データＲＳＵＤに該当する。

２．車両のデータ処理装置の機能構成例
図２は、図１に示したデータ処理装置２５の機能構成例を示すブロック図である。図２に示されるように、データ処理装置２５は、データ取得部２５１と、データ処理部２５２と、通信処理部２５３と、を備えている。

データ取得部２５１は、車両２の周辺環境データ、走行状態データ、位置データ及び地図データを取得する。周辺環境データとしては、上述した画像データＩＭＧ及び音声データＳＵＤが例示される。走行状態データとしては、車両２の走行速度データ、加速度データ、ヨーレートデータが例示される。これらの走行状態データは、車両２に搭載された各種のセンサにより測定される。位置データは、ＧＮＳＳ（Global Navigation Satellite System）受信機により測定される。

データ処理部２５２は、データ取得部２５１が取得した各種データを処理する。各種データの処理には、上述した画像データＩＭＧ及び音声データＳＵＤのエンコード処理が含まれる。

通信処理部２５３は、データ処理部２５２によりエンコードされた画像データＩＭＧ及び音声データＳＵＤ（即ち、通信用データＣＯＭ２）を、通信装置２４を介して遠隔施設３（通信装置３３）に送信する。

３．遠隔施設のデータ処理装置の機能構成例
図３は、図１に示したデータ処理装置３６の機能構成例を示すブロック図である。図３に示されるように、データ処理装置３６は、データ取得部３６１と、データ処理部３６２と、表示制御部３６３と、音出力制御部３６４と、通信処理部３６５とを備えている。

データ取得部３６１は、遠隔オペレータの入力信号及び車両２からの通信用データＣＯＭ２を取得する。

データ処理部３６２は、データ取得部３６１が取得した各種データを処理する。各種データの処理には、遠隔オペレータの入力信号をエンコードする処理が含まれる。エンコードされた入力信号は、通信用データＣＯＭ３に含まれる。各種データの処理には、他に、上述した通信用データＣＯＭ２のデコード処理が含まれる。

４．音声データの送信の抑制
以上に説明したように、遠隔支援システム１では、車両２からの通信用データＣＯＭ２は、ネットワーク４を介して送信される。そのため、通信用データＣＯＭ２の送受信時には遅延が発生することが多くある。遅延が発生すると、遠隔オペレータが車両２の周囲の状況を正確に把握することができなくなり、遠隔オペレータによる遠隔支援の操作快適性や安全性に支障をきたす恐れがある。車両２の良好な制御のためにも、通信用データＣＯＭ２の送受信時の遅延を減らすことは重要である。

通信用データＣＯＭ２に含まれるデータの中でも、特に重要なデータは、画像データＩＭＧである。遠隔オペレータが遠隔支援のために車両２の周囲の状況を把握するとき、視覚から得られる情報に頼るところが大きい。そのため、通信用データＣＯＭ２の中でも特に、画像データＩＭＧは、常に遠隔施設３に送信されること、及び送受信時の遅延を低減させることが求められる。

逆に、通信用データＣＯＭ２に含まれるデータの中で、音声データＳＵＤは他のデータと比較すると重要度は高くない。上述のように、遠隔オペレータは画像データＩＭＧから情報を得ている部分が大きく、音声データＳＵＤにより得られる情報に頼って車両２の周囲の状況を把握する場面は少ない。例えば、車両２の走行中の多くのシーンでは、音声データＳＵＤに含まれる音声は、街の雑音やエンジンの走行音であり、画像データＩＭＧから得られる情報に付加的な情報を与えるものではない。そのため、音声データＳＵＤは、遠隔オペレータが音声データＳＵＤを必要とする特定の交通シーン以外においては、遠隔施設３へ送信する必要がない。

そこで、遠隔支援システム１は、遠隔オペレータが音声データＳＵＤを必要とする特定の交通シーン以外においては、音声データＳＵＤの遠隔施設３への送信を抑制する。

通信用データＣＯＭ２の送受信時における遅延の発生頻度及び遅延の大きさは、通信用データＣＯＭ２のデータ容量が大きいほど大きくなる。特定の交通シーン以外において、音声データＳＵＤの送信を抑制することにより、通信用データＣＯＭ２のデータ容量を減らすことができる。これにより、より重要な画像データＩＭＧを、少ない遅延量で送信することができる。遅延量の低減により、遠隔オペレータが車両２の周囲の状況を正確に認識することができるようになり、遠隔オペレータの操作の快適性や安全性を向上させることができる。

５．音声必要シーン
本実施の形態において、遠隔オペレータが音声データＳＵＤを必要とする特定の交通シーンを「音声必要シーン」と呼ぶ。遠隔支援システム１は、音声必要シーンを検出したときは、音声データＳＵＤの遠隔施設３への送信を抑制しない。遠隔支援システム１は、音声必要シーンを検出しないときは、音声データＳＵＤの遠隔施設３への送信を抑制する。つまり、音声必要シーンが検出されないとき、プロセッサ２６は、音声データＳＵＤの通信装置２４への出力を行わない。このとき、音声データＳＵＤは通信用データＣＯＭ２に含まれない。逆に、音声必要シーンが検出されたときは、画像データＩＭＧ及び音声データＳＵＤはいずれも通信用データＣＯＭ２として遠隔施設３へ送信される。

具体的には、音声必要シーンは、車両が取得した画像データＩＭＧ又は音声データＳＵＤに基づいて検出される。

音声必要シーンを画像データＩＭＧに基づいて検出するときは、画像データＩＭＧに特定の物体が含まれる場面を音声必要シーンとして検出することができる。この特定の物体を音声発生物体と呼ぶ。音声発生物体は、遠隔オペレータが音声データＳＵＤを必要とする音声を発する可能性がある物体である。音声発生物体の例としては、踏切、及び緊急車両が挙げられる。踏切は、警報機が作動して音声を発することがあり、安全のために遠隔オペレータが音声を確認することが求められる。緊急車両は、緊急の状態を伝えるために警報機を鳴らしながら走行することがあり、遠隔オペレータが音声を確認することが求められる。

音声発生物体が画像データＩＭＧに含まれるか否かは、例えば、プロセッサ２６の画像解析により判断することができる。なお、音声発生物体は、実際に音声を発している物体に限られず、例えば、遮断機が上がっていて警報機が作動していない状態の踏切も音声発生物体に含まれる。

音声必要シーンを音声データＳＵＤに基づいて検出するときは、音声データＳＵＤに、遠隔支援システム１の記憶媒体に予め登録された特定の音声が含まれる場面を音声必要シーンとして検出することができる。予め登録された特定の音声は、例えば、緊急車両音、銃声、又は爆発音である。これらの特定の音声が音声データＳＵＤに含まれる場合は、車両２の周囲の状況を正確に把握するためにも、遠隔オペレータが音声データＳＵＤから情報を得る必要がある。特定の音声は、例えば、データベース２３に予め登録しておくことができる。特定の音声が音声データＳＵＤに含まれるか否かは、例えば、プロセッサ２６の音声解析により判断することができる。

６．データ処理例
図４は、遠隔支援システム１による処理の流れを示すブロック図である。データ処理装置２５は、カメラ２１により画像データＩＭＧを取得し、マイク２２により音声データＳＵＤを取得する。データ処理装置２５は、画像解析及び音声解析により音声必要シーンを検出する。データ処理装置２５は、音声必要シーンが検出された場合は画像データＩＭＧ及び音声データＳＵＤを通信装置２４に出力し、音声必要シーンが検出されない場合は画像データＩＭＧのみを通信装置２４に出力する。出力されたデータから、通信用データＣＯＭ２が生成される。

通信装置２４及び通信装置３３を介して、車両２から遠隔施設３へ通信用データＣＯＭ２が送信される。送信された通信用データＣＯＭ２はディスプレイ３４及びヘッドホン３５を含む再生装置へ出力される。遠隔オペレータは、再生装置を見て車両２の周囲の状況を把握することができる。

このように、音声必要シーンが検出される場合は音声データＳＵＤを含むデータが通信用データＣＯＭ２として遠隔施設３に送信される。音声必要シーンが検出されない場合は音声データＳＵＤは遠隔施設３に送信されない。こうして、通信用データＣＯＭ２のデータ容量を削減し、画像データＩＭＧの送信時の遅延を低減することができる。

図５は、図１に示したデータ処理装置２５（プロセッサ２６）により実行されるデータ処理の流れを示すフローチャートである。図５に示されるルーチンは、例えば、プロセッサ３７が遠隔オペレータによる操作を受け付けているときに、所定の制御周期で繰り返し実行される。

図５に示されるルーチンでは、まず、画像データＩＭＧが取得される（ステップＳ１１）。画像データＩＭＧがカメラ２１により取得されることは既に説明したとおりである。

ステップＳ１１に続いて、画像解析が行われる（ステップＳ１２）。この画像解析では、例えば、ステップＳ１１で取得された画像データＩＭＧの特徴量が抽出される。特徴量の抽出は、一定の面積に区切られた画像データＩＭＧを１つのブロック単位として行われる。そして、ニューラルネットワーク、ガウシアンミクスチャーモデルなどの統計的手法を抽出された特徴量に適用する。これにより、特徴量に対応する物体が識別される。

ステップＳ１２に続いて、画像データＩＭＧに音声発生物体が含まれるか否かが判定される（ステップＳ１３）。ステップＳ１３の処理では、ステップＳ１２の処理において抽出された特徴量に対応する物体と、音声発生物体とが比較される。そして、ステップＳ１２の処理において抽出された特徴量に対応する物体と音声発生物体とが同じとき、画像データＩＭＧに音声発生物体が含まれると判定される。

画像データＩＭＧに音声発生物体が含まれると判定された場合、ステップＳ１８の処理が行われる。そうでないと判定された場合、ステップＳ１４の処理が行われる。ステップＳ１８の処理では、画像データＩＭＧ及び音声データＳＵＤがいずれも通信用データＣＯＭ２として遠隔施設３に送られる。ステップＳ１８の処理は、「音声必要シーンが検出された場合」の処理である。

ステップＳ１４の処理では、音声データＳＵＤが取得される。音声データＳＵＤがマイク２２により取得されることは既に説明したとおりである。

ステップＳ１４に続いて、音声解析が行われる（ステップＳ１５）。この音声解析では、例えば、ステップＳ１４で取得された音声データＳＵＤに含まれる周波数成分の時間変化量に関する特徴量が抽出される。特徴量の抽出は、一定の時間間隔に区切られた音声データＳＵＤを１つのブロック単位として行われる。そして、ニューラルネットワーク、ガウシアンミクスチャーモデルなどの統計的手法を抽出された特徴量に適用する。これにより、特徴量に対応する音の種類が識別される。

ステップＳ１５に続いて、音声データＳＵＤに、予め登録された特定の音声が含まれるか否かが判定される（ステップＳ１６）。ステップＳ１６の処理では、ステップＳ１５の処理において抽出された特徴量に対応する音声の種類と、予め登録された特定の音声の種類とが比較される。特徴量に対応する音声の種類と、予め登録された特定の音声の種類とが同じとき、音声データＳＵＤに予め登録された特定の音声が含まれると判定される。音声データＳＵＤに予め登録された特定の音声が含まれると判定されるとき、ステップＳ１８の処理が行われる。そうでないと判定された場合、ステップＳ１７の処理が行われる。ステップＳ１７の処理は、「音声必要シーンが検出されない場合」の処理である。

ステップＳ１７の処理では、音声データＳＵＤの送信が抑制される。つまり、画像データＩＭＧのみが通信用データＣＯＭ２として遠隔施設３に送信され、音声データＳＵＤは遠隔施設３に送信されない。ステップＳ１７及びステップＳ１８の処理が行われた後、処理は終了する。

７．効果
以上説明した実施形態によれば、音声必要シーンが検出されないときは、音声データＳＵＤの遠隔施設３への送信が抑制される。音声データＳＵＤの送信が抑制されることで、音声データＳＵＤが送信される場合に比べて、画像データＩＭＧを含む通信用データＣＯＭ２に関するデータ通信量を大幅に削減することが可能となる。データ通信量を削減することにより、画像データＩＭＧの送信に関する遅延を低減させることができ、遠隔オペレータによる遠隔支援の操作快適性や安全性を向上させることができる。

また、音声必要シーンが検出されるときは、画像データＩＭＧ及び音声データＳＵＤはいずれも遠隔施設３に送信される。従って、遠隔オペレータが必要な情報を受け取り損ねることはなく、遠隔オペレータによる遠隔支援が行われる場合における車両２の走行の安全性も担保される。

１ 遠隔支援システム
２ 車両
３ 遠隔施設
４ ネットワーク
２１ カメラ
２２ マイク
２３ データベース
２４ 通信装置
２５ データ処理装置
２６ プロセッサ
２７ メモリ
２８ インターフェース
３１ 入力装置
３２ データベース
３３ 通信装置
３４ ディスプレイ
３５ ヘッドホン
３６ データ処理装置
３７ プロセッサ
３８ メモリ
３９ インターフェース
２５１ データ取得部
２５２ データ処理部
２５３ 通信処理部
３６１ データ取得部
３６２ データ処理部
３６３ 表示制御部
３６４ 音出力制御部
３６５ 通信処理部
ＣＯＭ２ 通信用データ
ＣＯＭ３ 通信用データ
ＩＭＧ 画像データ
ＲＩＭＧ 再生用データ
ＲＳＵＤ 再生用データ
ＳＵＤ 音声データ

Claims (6)

1. 遠隔オペレータによる遠隔支援の対象である車両と、前記遠隔オペレータによる前記車両の遠隔支援のための入力を受け付ける遠隔施設と、を含む遠隔支援システムであって、
   １又は複数のプロセッサ、及び１又は複数の記憶媒体を備え、
   前記１又は複数のプロセッサは、
   前記車両の周囲のカメラ画像の画像データを取得する処理と、
   前記車両の周囲の音声についての音声データを取得する処理と、
   前記画像データと前記音声データを前記遠隔施設に送信する処理と、
   前記遠隔オペレータが前記音声データを必要とする場面である音声必要シーンを検出する処理と、
   前記音声必要シーンが検出されない場合に、前記音声データの前記遠隔施設への送信を抑制する処理と
   を実行するように構成された
   遠隔支援システム。
2. 請求項１に記載の遠隔支援システムであって、
   前記音声必要シーンは、
   前記画像データに、前記遠隔オペレータが前記音声データを必要とする音声を発する可能性のある物体である音声発生物体が含まれる場面である
   遠隔支援システム。
3. 請求項２に記載の遠隔支援システムであって、
   前記音声発生物体は、踏切及び緊急車両のうちの少なくとも一つである
   遠隔支援システム。
4. 請求項１乃至３のいずれか１項に記載の遠隔支援システムであって、
   前記音声必要シーンは、
   前記音声データに、前記１又は複数の記憶媒体に予め登録された特定の音声データが含まれる場面である
   遠隔支援システム。
5. 遠隔オペレータによる遠隔支援の対象である車両であって、
   １又は複数のプロセッサを備え、
   前記１又は複数のプロセッサは、
   前記車両の周囲のカメラ画像の画像データを取得する処理と、
   前記車両の周囲の音声についての音声データを取得する処理と、
   前記画像データと前記音声データを遠隔オペレータによる前記車両の遠隔支援のための入力を受け付ける遠隔施設に送信する処理と、
   前記遠隔オペレータが前記音声データを必要とする場面である音声必要シーンを検出する処理と、
   前記音声必要シーンが検出されない場合に、前記音声データの前記遠隔施設への送信を抑制する処理と
   を実行するように構成された
   車両。
6. 遠隔オペレータによる遠隔支援の対象である車両を制御する遠隔支援方法であって、
   前記車両の周囲のカメラ画像の画像データを取得することと、
   前記車両の周囲の音声についての音声データを取得することと、
   前記画像データと前記音声データを前記遠隔オペレータによる前記車両の遠隔支援のための入力を受け付ける遠隔施設に送信することと、
   前記遠隔オペレータが前記音声データを必要とする場面である音声必要シーンを検出することと、
   前記音声必要シーンが検出されない場合に、前記音声データの前記遠隔施設への送信を抑制することと
   を含む
   遠隔支援方法。

Images