JP2022160232A - 遠隔支援システム及び遠隔支援方法 - Google Patents

遠隔支援システム及び遠隔支援方法 Download PDF

Info

Publication number
JP2022160232A
JP2022160232A JP2021064864A JP2021064864A JP2022160232A JP 2022160232 A JP2022160232 A JP 2022160232A JP 2021064864 A JP2021064864 A JP 2021064864A JP 2021064864 A JP2021064864 A JP 2021064864A JP 2022160232 A JP2022160232 A JP 2022160232A
Authority
JP
Japan
Prior art keywords
data
vehicle
sound
processing
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2021064864A
Other languages
English (en)
Inventor
敏暢 渡辺
Toshinobu Watanabe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Woven by Toyota Inc
Original Assignee
Woven Planet Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Woven Planet Holdings Inc filed Critical Woven Planet Holdings Inc
Priority to JP2021064864A priority Critical patent/JP2022160232A/ja
Priority to US17/713,283 priority patent/US20220317686A1/en
Priority to CN202210353037.7A priority patent/CN115206119A/zh
Publication of JP2022160232A publication Critical patent/JP2022160232A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21—Direction finding using differential microphone array [DMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】車両の走行を遠隔支援する場合において、車両から管理施設に送信される音データのデータ通信量を削減することが可能な技術を提供する。【解決手段】遠隔支援システムは、車両と、前記車両の走行を支援する遠隔施設と、を備える。前記車両のプロセッサは、前記車両の周辺環境データのデータ処理と、当該データ処理による処理後のデータを示す通信用データの前記遠隔施設への送信処理と、を行う。前記周辺環境データは、前記車両の周辺環境の音データを含む。前記周辺環境データのデータ処理では、前記音データの音響解析により、当該音データに含まれる音源の種類が推定される。続いて、前記種類を用いた前記車両のデータベースの参照によって、当該種類に対応する識別データが特定され、これが前記通信用データに追加される。【選択図】図９

Description

本発明は、車両の走行を遠隔支援するシステム及び方法に関する。
特開２０１８－７７６４９号公報は、車両の遠隔運転を行うシステムを開示する。この従来のシステムは、遠隔運転を行うオペレータが駐在する管理施設を備える。オペレータによる遠隔運転は、車両からのリクエストに応じて開始される。遠隔運転中、車両から管理施設に対しては、各種データが送信される。各種データには、カメラ等の車載機器により取得された車両の周辺環境データが含まれる。周辺環境データには、画像データと音データが含まれる。周辺環境データは、管理施設のディスプレイを介してオペレータに提供される。
特開２０１８－７７６４９号公報 特開２０１９－１２１８８７号公報 特開２０１３－１２０４０９号公報 特開２００６－９２４８２号公報
車載機器により取得された周辺環境データを管理施設にそのまま送信すると、データ通信量が多くなる。そのため、この場合は、通信遅延やコストの増大が懸念される。この点、送信前に周辺環境データを圧縮すれば、データ通信量をある程度削減することができる。しかしながら、遠隔運転を含む車両の走行の遠隔支援では、オペレータの視覚による周辺環境の確認が特に重要である。よって、画像データの通信に通信資源を割くためにも、音データのデータ通信量を大幅に削減するための改良が求められる。
本発明の１つの目的は、車両の走行を遠隔支援する場合において、車両から管理施設に送信される音データのデータ通信量を削減することが可能な技術を提供することにある。
第１の発明は、車両の走行を遠隔支援するシステムであり、次の特徴を有する。
前記システムは、車両と、前記車両の走行を支援する遠隔施設と、を備える。
前記車両は、メモリと、プロセッサと、データベースと、を備える。
前記車両のメモリには、前記車両の周辺環境データが格納される。
前記車両のプロセッサは、前記周辺環境データのデータ処理と、当該データ処理による処理後のデータを示す通信用データの前記遠隔施設への送信処理と、を行う。
前記車両のデータベースには、環境音の種類に対応する識別データが格納される。
前記遠隔施設は、メモリと、プロセッサと、データベースと、を備える。
前記遠隔施設のメモリには、前記通信用データが格納される。
前記遠隔施設のプロセッサは、前記通信用データのデータ処理と、当該データ処理による処理後のデータを示す再生用データを前記遠隔施設の再生装置において再生するための制御処理と、を行う。
前記遠隔施設のデータベースには、前記環境音の代替データが格納される。
前記周辺環境データは、前記車両の周辺環境の音データを含む。
前記車両のプロセッサは、前記周辺環境データのデータ処理において、
前記音データの音響解析により、当該音データに含まれる音源の種類を推定し、
前記種類を用いた前記車両のデータベースの参照によって、当該種類に対応する識別データを特定して前記通信用データに追加する。
前記遠隔施設のプロセッサは、
前記通信用データのデータ処理において、前記識別データを用いた前記遠隔施設のデータベースの参照によって、前記種類に対応する代替データを特定し、
前記制御処理において、前記代替データを含む前記再生用データを前記再生装置に出力する。
第２の発明は、第１の発明において更に次の特徴を有する。
前記代替データは、前記種類に対応する音源アイコンデータを含む。
前記再生装置は、前記音源アイコンデータを出力するディスプレイを含む。
前記遠隔施設のプロセッサは、前記通信用データのデータ処理において、更に、
前記識別データを用いた前記遠隔施設のデータベースの参照によって、前記種類に対応する音源アイコンデータを選択する。
第３の発明は、第２の発明において更に次の特徴を有する。
前記代替データは、前記車両の位置に対する前記音源の相対位置を示す位置アイコンデータを更に含む。
前記ディスプレイは、位置アイコンデータを更に出力する。
前記車両のプロセッサは、前記周辺環境データのデータ処理において、更に、
前記音響解析により、前記音源の相対位置を推定し、
前記相対位置を示す相対位置データを前記通信用データに追加する。
前記遠隔施設のプロセッサは、前記制御処理において、更に、
前記相対位置データを用いて前記相対位置に対応する位置アイコンデータを選択する。
第４の発明は、第１～３の発明の何れか１つにおいて更に次の特徴を有する。
前記代替データは、前記種類に対応する疑似音データを含む。
前記再生装置は、前記疑似音データを出力するヘッドホンを含む。
前記遠隔施設のプロセッサは、前記制御処理において、更に、
前記識別データを用いた前記遠隔施設のデータベースの参照によって、前記種類に対応する疑似音データを選択する。
第５の発明は、第４の発明において更に次の特徴を有する。
前記車両のプロセッサは、前記周辺環境データのデータ処理において、更に、
前記音響解析により、前記車両の位置に対する前記音源の相対位置を推定し、
前記相対位置を示す相対位置データを前記通信用データに追加する。
前記遠隔施設のプロセッサは、前記制御処理において、更に、
前記相対位置データに基づいて、前記疑似音データを処理して立体音響信号に変換する。
第６の発明は、第４又は５の発明において更に次の特徴を有する。
前記車両のプロセッサは、前記周辺環境データのデータ処理において、更に、
前記音響解析により、前記車両から前記音源までの距離を推定し、
前記距離を示す距離データを前記通信用データに追加する。
前記遠隔施設のプロセッサは、前記制御処理において、更に、
前記距離データに基づいて、前記ヘッドホンから出力する前記疑似音データの出力レベルを調整する。
第７の発明は、車両の走行を遠隔支援する方法であって、次の特徴を有する。
前記車両のプロセッサは、
前記車両の周辺環境データのデータ処理と、
前記周辺環境データのデータ処理による処理後のデータを示す通信用データを、前記遠隔支援を行う遠隔施設に送信する送信処理と、
を行う。
前記遠隔施設のプロセッサは、
前記通信用データのデータ処理と、
前記通信用データのデータ処理による処理後のデータを示す再生用データを、前記遠隔施設の再生装置において再生するための制御処理と、
を行う。
前記周辺環境データは、前記車両の周辺環境の音データを含む。
前記車両のプロセッサは、前記周辺環境データのデータ処理において、
前記音データの音響解析により、当該音データの発生源の種類を推定し、
環境音の種類に対応する識別データが格納された前記車両のデータベースの参照を前記種類に基づいて行い、当該種類に対応する識別データを特定して前記通信用データに追加する。
前記遠隔施設のプロセッサは、
通信用データのデータ処理において、前記環境音の代替データが格納された前記遠隔施設のデータベースの参照を前記識別データに基づいて行い、前記種類に対応する代替データを特定し、
前記制御処理において、前記代替データを含む前記再生用データを前記再生装置に出力する。
第１又は７の発明によれば、車両から遠隔施設に音データが直接送信されるのではなく、識別データが送信される。この識別データは、音データの音響解析により推定された環境音の種類に対応するデータである。そのため、音データが送信される場合に比べて、音データに関するデータ通信量を大幅に削減することが可能となる。
また、遠隔施設では、識別データに基づいて代替データが特定され、この代替データを含む再生用データが再生装置に出力される。そのため、オペレータによる環境音の確認も可能となる。よって、オペレータによる遠隔支援が行われる場合における車両の走行の安全性を担保することも可能となる。
第２の発明によれば、音源アイコンデータがディスプレイに出力される。音源アイコンデータは、環境音の種類に対応するアイコンデータである。そのため、音源アイコンデータによれば、オペレータによる環境音の確認が視覚を通じて可能となる。よって、遠隔支援が行われる場合における車両の走行の安全性を高めることが可能となる。
第３の発明によれば、位置アイコンデータがディスプレイに出力される。位置アイコンデータは、車両の位置に対する音源の相対位置を示すアイコンデータである。従って、第２の発明による効果を高めることが可能となる。
第４の発明によれば、疑似音データがヘッドホンから出力される。疑似音データは、環境音の種類に対応する音データである。そのため、疑似音データによれば、オペレータによる環境音の確認が聴覚を通じて可能となる。よって、第２の発明による効果と同等の効果を得ることが可能となる。
第５の発明によれば、疑似音データの処理により得られた立体音響信号がヘッドホンから出力される。従って、第４の発明による効果を高めることが可能となる。
第６の発明によれば、距離データに基づいて、ヘッドホンから出力される疑似音データの出力レベルが調整される。従って、第４の発明による効果を高めることが可能となる。
実施形態に係る遠隔支援システムの構成例を示すブロック図である。 車両のデータ処理装置の機能構成例を示すブロック図である 車両から遠隔施設に送られる通信用データの第１の構成例を示す図である。 車両から遠隔施設に送られる通信用データの第２の構成例を示す図である。 車両から遠隔施設に送られる通信用データの第３の構成例を示す図である。 遠隔施設のデータ処理装置の機能構成例を示すブロック図である。 代替データの第１の構成例を示す図である。 代替データの第２の構成例を示す図である。 表示制御部による表示内容の制御が行われた場合のディスプレイの表示内容の一例を示す図である。 車両のデータ処理装置により実行される音データの処理の流れを示すフローチャートである。 遠隔施設のデータ処理装置により実行されるデータ処理の流れを示すフローチャートである。
以下、図面を参照しながら、本発明の実施形態に係る遠隔支援システム及び遠隔支援方法について説明する。なお、実施形態に係る遠隔支援方法は、実施形態に係る遠隔支援システムにおいて行われるコンピュータ処理により実現される。また、各図において、同一又は相当する部分には同一符号を付してその説明を簡略化し又は省略する。
１．遠隔支援システムの構成例
図１は、実施形態に係る遠隔支援システムの構成例を示すブロック図である。図１に示されるように遠隔支援システム１は、車両２と、車両２と通信を行う遠隔施設３と、を備えている。車両２と遠隔施設３の間の通信は、ネットワーク４を介して行われる。
車両２は、例えば、ディーゼルエンジンやガソリンエンジンなどの内燃機関を動力源とする自動車、電動機を動力源とする電気自動車、内燃機関と電動機を備えるハイブリッド自動車である。電動機は、二次電池、水素燃料電池、金属燃料電池、アルコール燃料電池などの電池により駆動される。
車両２は、車両２のドライバの操作により走行する。車両２の走行は、車両２に搭載された制御システムにより行われてもよい。この制御システムは、例えば、ドライバの操作による車両２の走行を支援し、又は、車両２の自動走行のための制御を行う。ドライバ又は制御システムが遠隔施設３に対して遠隔要求をした場合、車両２は、遠隔施設３に駐在するオペレータの操作により走行する。
車両２は、カメラ２１と、マイク２２と、データベース２３と、通信装置２４と、データ処理装置２５と、を備えている。カメラ２１、マイク２２、データベース２３及び通信装置２４と、データ処理装置２５とは、車載のネットワーク（例えば、ＣＡＮ（Car Area Network））により接続されている。
カメラ２１は、車両２の周辺環境の画像（動画）を撮影する。カメラ２１は、車両２の少なくとも前方の画像を撮影するために、少なくとも１台設けられる。前方撮影用のカメラ２１は、例えば、車両２のフロントガラスの背面に設けられる。カメラ２１が取得した画像データＩＭＧは、データ処理装置２５に送信される。
マイク２２は、車両２の周辺環境の音（環境音）を取得する。マイク２２は、少なくとも１台設けられる。少なくとも１台のマイクは、例えば、車両２のフロントバンパー又はルーフに設けられる。車両２の位置に対する音の発生源（以下、「音源」とも称す。）の相対位置、又は、車両２から音源までの距離を測定する場合、少なくとも２台のマイク２２が設けられることが望ましい。少なくとも２台のマイクは、例えば、車両２のフロントバンパーの両側に設けられた２台のマイクと、車両２のリアバンパーの両側に設けられた２台のマイクと、を含む。マイク２２が取得した音データＳＵＤは、データ処理装置２５に送信される。
データベース２３は、フラッシュメモリやＨＤＤ（Hard Disk Drive）といった不揮発性の記憶媒体である。データベース２３には、車両２の走行に必要な各種プログラム及び各種データが格納されている。この各種データとしては、車両２のナビゲーションに使用される地図データが例示される。データベース２３には、また、車両２の走行の遠隔支援に必要な各種データも格納されている。この各種データとしては、識別データＩＳＵＤが例示される。識別データＩＳＵＤは、車両２の走行に関連する各種の音に対応するデータである。各種の音については事前に設定されている。
ここで、各種の音としては、クラクション音、踏切音、緊急車両音、及び交通信号機音が例示される。クラクション音は、車両のクラクション（警音器）が作動した際に発生する音である。踏切音は、踏切に設置された警報機が作動した際に発生する音である。緊急車両音は、緊急車両（例えば、パトカー、救急車及び消防車）の警報機が作動した際に発生する音である。交通信号機音は、横断歩道に隣接して設けられる信号機から、当該横断歩道を横断する歩行者等の安全を確保するために発せられる。
通信装置２４は、ネットワーク４に接続するための装置である。通信装置２４の通信先には、遠隔施設３が含まれる。遠隔施設３との通信において、通信装置２４は、データ処理装置２５から受け取った通信用データＣＯＭ２を、遠隔施設３に送信する。
データ処理装置２５は、車両２が取得した各種データを処理するためのコンピュータである。データ処理装置２５は、少なくともプロセッサ２６と、メモリ２７と、インターフェース２８と、を備える。メモリ２７は、ＤＤＲメモリなどの揮発性のメモリであり、プロセッサ２６が使用するプログラムの展開及び各種データの一時保存を行う。車両２が取得した各種データは、メモリ２７に格納される。この各種データには、上述した画像データＩＭＧ及び音データＳＵＤが含まれる。インターフェース２８は、カメラ２１、マイク２２等の外部装置とのインターフェースである。
プロセッサ２６は、画像データＩＭＧをエンコードして、インターフェース２８を介して通信装置２４に出力する。エンコード処理に際し、画像データＩＭＧは圧縮されてもよい。エンコードされた画像データＩＭＧは、通信用データＣＯＭ２に含まれる。プロセッサ２６は、また、音データＳＵＤの解析（音響解析）を行って、音データＳＵＤに含まれる音の種類を識別する。プロセッサ２６は、更に、識別された音の種類を用いたデータベース２３の参照により、当該種類に対応する識別データＩＳＵＤを特定する。そして、プロセッサ２６は、この識別データＩＳＵＤをエンコードして、インターフェース２８を介して通信装置２４に出力する。つまり、通信用データＣＯＭ２には、エンコードされた識別データＩＳＵＤが追加されている。
なお、上述した画像データＩＭＧのエンコード処理、音データＳＵＤの解析処理、識別データＩＳＵＤの特定処理及び識別データＩＳＵＤのエンコード処理は、プロセッサ２６、メモリ２７及びデータベース２３を用いて実行されなくてもよい。例えば、ＧＰＵ（Graphics Processing Unit）やＤＳＰ（Digital Signal Processor）でのソフトウェア処理、又は、ＡＳＩＣやＦＰＧＡによるハードウェア処理により、上述した各種処理が実行されてもよい。
遠隔施設３は、入力装置３１と、データベース３２と、通信装置３３と、ディスプレイ３４と、ヘッドホン３５と、データ処理装置３６と、を備えている。入力装置３１、データベース３２、通信装置３３、ディスプレイ３４及びヘッドホン３５と、データ処理装置３６とは、専用のネットワークより接続されている。
入力装置３１は、車両２の走行を遠隔支援するオペレータが操作する装置である。入力装置３１は、オペレータによる入力を受け付ける入力部と、この入力に基づいて入力信号を生成及び出力する制御回路と、を備えている。入力部としては、タッチパネル、マウス、キーボード、ボタン及びスイッチが例示される。オペレータによる入力としては、ディスプレイ３４に表示されたカーソルの移動操作と、ディスプレイ３４に表示されたボタンの選択操作と、が例示される。
なお、オペレータが車両２の遠隔運転を行う場合は、入力装置３１が走行用の入力装置を備えていてもよい。この走行用の入力装置としては、ステアリングホイール、シフトレバー、アクセルペダル及びブレーキペダルが例示される。
データベース３２は、フラッシュメモリやＨＤＤといった不揮発性の記憶媒体である。データベース３２には、車両２の走行の遠隔支援（又は車両２の遠隔運転）に必要な各種プログラム及び各種データが格納されている。この各種データとしては、代替データＡＳＵＤが例示される。代替データＡＳＵＤは、車両２の走行に関連する各種の音に対応するデータである。この各種の音は、識別データＩＳＵＤの説明の際に例示した各種の音（即ち、クラクション音、踏切音、緊急車両音及び交通信号機音）と共通する。
通信装置３３は、ネットワーク４に接続するための装置である。通信装置３３の通信先には、車両２が含まれる。車両２との通信において、通信装置３３は、データ処理装置３６から受け取った通信用データＣＯＭ３を、車両２に送信する。
ディスプレイ３４及びヘッドホン３５は、車両２の周辺環境を遠隔施設３において再生する装置（再生装置）の一例である。ディスプレイ３４としては、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）及び有機ＥＬ（ＯＬＥＤ：Organic Light Emitting Diode）ディスプレイが例示される。ディスプレイ３４は、データ処理装置３６から受け取った再生用データＲＩＭＧに基づいて動作する。ヘッドホン３５は、音声信号を出力する装置である。ヘッドホン３５は、音源の位置を示す定位情報に基づいて立体音響信号を出力してもよい。ヘッドホン３５は、データ処理装置３６から受け取った再生用データＲＳＵＤに基づいて動作する。
データ処理装置３６は、各種データを処理するためのコンピュータである。データ処理装置３６は、少なくともプロセッサ３７と、メモリ３８と、インターフェース３９と、を備える。メモリ３８は、プロセッサ３７が使用するプログラムの展開及び各種データの一時保存を行う。入力装置３１からの入力信号や、遠隔施設３が取得した各種データは、メモリ３８に格納される。この各種データには、通信用データＣＯＭ２に含まれる画像データＩＭＧ及び識別データＩＳＵＤが含まれる。インターフェース３９は、入力装置３１、データベース３２等の外部装置とのインターフェースである。
プロセッサ３７は、画像データＩＭＧをデコードし、インターフェース３９を介してディスプレイ３４に出力する。画像データＩＭＧが圧縮されている場合、デコード処理に置いて当該画像データＩＭＧが伸長される。デコードされた画像データＩＭＧは、再生用データＲＩＭＧに該当する。
プロセッサ３７は、また、識別データＩＳＵＤをデコードする。そして、デコードされた識別データＩＳＵＤを用いたデータベース３２の参照により、当該識別データＩＳＵＤに対応する代替データＡＳＵＤを特定する。そして、プロセッサ３７は、この代替データＡＳＵＤを、再生用データＲＩＭＧ又はＲＳＵＤに追加する。
なお、上述した画像データＩＭＧ及び識別データＩＳＵＤのデコード処理、代替データＡＳＵＤの特定処理、及び、再生用データＲＩＭＧの出力処理は、プロセッサ３７、メモリ３８及びデータベース３２を用いて実行されなくてもよい。例えば、ＧＰＵやＤＳＰでのソフトウェア処理、又は、ＡＳＩＣやＦＰＧＡによるハードウェア処理により、上述した各種処理が実行されてもよい。
２．車両のデータ処理装置の機能構成例
図２は、図１に示したデータ処理装置２５の機能構成例を示すブロック図である。図２に示されるように、データ処理装置２５は、データ取得部２５１と、データ処理部２５２と、通信処理部２５３と、を備えている。
データ取得部２５１は、車両２の周辺環境データ、走行状態データ、位置データ及び地図データを取得する。周辺環境データとしては、上述した画像データＩＭＧ及び音データＳＵＤが例示される。走行状態データとしては、車両２の走行速度データ、加速度データ、ヨーレートデータが例示される。これらの走行状態データは、車両２に搭載された各種のセンサにより測定される。位置データは、ＧＮＳＳ（Global Navigation Satellite System）受信機により測定される。
データ処理部２５２は、データ取得部２５１が取得した各種データを処理する。各種データの処理には、上述した画像データＩＭＧのエンコード処理、音データＳＵＤの解析処理、識別データＩＳＵＤの特定処理及び識別データＩＳＵＤのエンコード処理が含まれる。なお、音データＳＵＤの解析処理では、音データＳＵＤに含まれる音の種類が識別される。この識別処理には、例えば、特開２０１１－８５８２４号公報の公知技術が適用される。音データＳＵＤの解析処理では、音源の相対位置、又は、車両２から音源までの距離が計算されてもよい。この計算処理には、例えば、特開２０１７－１５１２１６号公報の公知技術が適用される。
通信処理部２５３は、データ処理部２５２によりエンコードされた画像データＩＭＧ及び識別データＩＳＵＤ（即ち、通信用データＣＯＭ２）を、通信装置２４を介して遠隔施設３（通信装置３３）に送信する。
ここで、通信用データＣＯＭ２の構成例について、図３～５を参照して説明する。図３は、通信用データＣＯＭ２の第１の構成例を示す図である。この第１の例では、通信用データＣＯＭ２が、エンコードされた画像データＩＭＧ及び識別データＩＳＵＤを含む。
図４は、通信用データＣＯＭ２の第２の構成例を示す図である。この第２の例では、第１の例で説明した通信用データＣＯＭ２に、エンコードされた相対位置データＰＯＳが追加されている。相対位置データＰＯＳは、音源の相対位置を示すデータである。音データＳＵＤの解析処理において音源の相対位置が計算された場合は、相対位置データＰＯＳが生成されてこれがエンコードされる。そのため、この場合は、通信用データＣＯＭ２が、エンコードされた画像データＩＭＧ、識別データＩＳＵＤ及び相対位置データＰＯＳを含む。
図５は、通信用データＣＯＭ２の第３の構成例を示す図である。この第３の例では、第１の例で説明した通信用データＣＯＭ２に、エンコードされた距離データＤＩＳが追加されている。距離データＤＩＳは、車両２から音源までの距離を示すデータである。音データＳＵＤの解析処理において車両２から音源までの距離が計算された場合は、距離データＤＩＳが生成されてこれがエンコードされる。そのため、この場合は、通信用データＣＯＭ２が、エンコードされた画像データＩＭＧ、識別データＩＳＵＤ及び距離データＤＩＳを含む。
なお、第２の例と第３の例が組み合わされてもよい。この場合は、通信用データＣＯＭ２が、エンコードされた画像データＩＭＧ、識別データＩＳＵＤ、相対位置データＰＯＳ及び距離データＤＩＳを含む。
３．遠隔施設のデータ処理装置の機能構成例
図６は、図１に示したデータ処理装置３６の機能構成例を示すブロック図である。図６に示されるように、データ処理装置３６は、データ取得部３６１と、データ処理部３６２２と、表示制御部３６３と、音出力制御部３６４と、通信処理部３６５とを備えている。
データ取得部３６１は、オペレータの入力信号及び車両２からの通信用データＣＯＭ２を取得する。
データ処理部３６２は、データ取得部３６１が取得した各種データを処理する。各種データの処理には、オペレータの入力信号をエンコードする処理が含まれる。エンコードされた入力信号は、通信用データＣＯＭ３に含まれる車両２の走行の遠隔支援信号（又は遠隔運転信号）に該当する。各種データの処理には、上述した通信用データＣＯＭ２のデコード処理及び代替データＡＳＵＤの特定処理が含まれる。代替データＡＳＵＤの特定処理では、デコードされた識別データＩＳＵＤを用いたデータベース３２の参照により、当該識別データＩＳＵＤに対応する代替データＡＳＵＤが特定される。
ここで、代替データＡＳＵＤの構成例について、図７及び８を参照して説明する。図７は、代替データＡＳＵＤの第１の構成例を示す図である。この第１の例では、代替データＡＳＵＤが、音源アイコンデータＳＩＣＮ及び疑似音データＰＳＵＤを含む。音源アイコンデータＳＩＣＮは、車両２の走行に関連する各種の音（即ち、クラクション音、踏切音、緊急車両音及び交通信号機音）の発生源を示すアイコンデータである。例えば、クラクションが音源であれば、音源アイコンデータＳＩＣＮは「周辺車両がクラクションを発したこと」を示すアイコンデータとなる。疑似音データＰＳＵＤは、車両２の走行に関連する各種の音を模したデータであり、事前に設定されている。
図８は、代替データＡＳＵＤの第２の構成例を示す図である。この第２の例では、第１の例で説明した代替データＡＳＵＤに、位置アイコンデータＰＩＣＮが追加されている。位置アイコンデータＰＩＣＮは、音源の相対位置を矢印で示すアイコンデータである。位置アイコンデータＰＩＣＮは、デコードされた通信用データＣＯＭ２に相対位置データＰＯＳが含まれる場合（図４参照）に特定される。
表示制御部３６３は、オペレータに対して提供するディスプレイ３４の表示内容を制御する。この表示内容の制御は、デコードされた画像データＩＭＧ（即ち、再生用データＲＩＭＧ）に基づいて行われる。表示制御部３６３は、また、データ取得部３６１により取得されたオペレータの入力信号に基づいて、表示内容を制御する。入力信号に基づいた表示内容の制御では、例えば、入力信号に基づいて表示内容が拡大又は縮小され、又は、表示内容の切り替え（遷移）が行われる。別の例では、入力信号に基づいてディスプレイ３４上に表示されたカーソルが移動され、又は、ディスプレイ３４に表示されたボタンが選択される。
表示制御部３６３は、更に、代替データＡＳＵＤに基づいて、表示内容を制御する。代替データＡＳＵＤに基づいた表示内容の制御では、例えば、図７で説明した音源アイコンデータＳＩＣＮが再生用データＲＩＭＧに追加される。代替データＡＳＵＤに基づいた表示内容の制御では、図８で説明した位置アイコンデータＰＩＣＮが、音源アイコンデータＳＩＣＮと共に再生用データＲＩＭＧに追加される。
図９は、表示制御部３６３による表示内容の制御が行われた場合のディスプレイ３４の表示内容の一例を示す図である。図９に示される例では、ディスプレイ３４の全体に画像データＩＭＧが表示されている。また、この画像データＩＭＧに重畳して音源アイコンデータＳＩＣＮ及び位置アイコンデータＰＩＣＮが表示されている。音源アイコンデータＳＩＣＮは、「緊急車両が接近していること」を示している。位置アイコンデータＰＩＣＮは、音源（緊急車両）の相対位置が車両２の右後方であることを示している。
音出力制御部３６４は、代替データＡＳＵＤに基づいて、ヘッドホン３５からオペレータに対して提供する音声信号の出力を制御する。この出力の制御は、疑似音データＰＳＵＤ（即ち、再生用データＲＳＵＤ）に基づいて行われる。例えば、クラクションが音源であれば、クラクション音の疑似音信号がヘッドホン３５から出力される。
デコードされた通信用データＣＯＭ２に相対位置データＰＯＳが含まれる場合（図４参照）、音出力制御部３６４は、当該相対位置データＰＯＳに基づいて定位情報を生成してもよい。この場合、音出力制御部３６４は、この定位情報に従って疑似音信号を処理して立体音響信号に変換してもよい。この場合、ヘッドホン３５からは再生用データＲＳＵＤとしての立体音響信号が出力される。
デコードされた通信用データＣＯＭ２に距離データＤＩＳが含まれる場合（図５参照）、音出力制御部３６４は、当該距離データＤＩＳに基づいて疑似音信号の出力レベルを調整してもよい。この場合、音出力制御部３６４は、車両２から音源までの距離が近いほど音量が大きくなるように出力レベルを調整してもよい。
通信処理部３６５は、データ処理部３６２によりエンコードされたオペレータの入力信号（即ち、通信用データＣＯＭ３）を、通信装置３３を介して車両２（通信装置２４）に送信する。
４．車両のデータ処理装置（プロセッサ）によるデータ処理例
図１０は、図１に示したデータ処理装置２５（プロセッサ２６）により実行される音データＳＵＤの処理の流れを示すフローチャートである。図１０に示されるルーチンは、所定の制御周期で繰り返し実行される。
図１０に示されるルーチンでは、まず、音データＳＵＤが取得される（ステップＳ１１）。音データＳＵＤが周辺環境データに含まれることは既に説明したとおりである。
ステップＳ１１に続いて、音響解析が行われる（ステップＳ１２）。この音響解析では、例えば、ステップＳ１１で取得された音データＳＵＤに含まれる周波数成分の時間変化量に関する特徴量が抽出される。特徴量の抽出は、一定の時間間隔に区切られた音データＳＵＤを１つのブロック単位として行われる。そして、ニューラルネットワーク、ガウシアンミクスチャーモデルなどの統計的手法を抽出された特徴量に適用する。これにより、特徴量に対応する音の種類が識別される。
音響解析では、音源の相対位置の計算が行われてもよい。この場合は、識別された音データＳＵＤに、位相検波に基づく方法、相互相関係数に基づく方法、又は相関マトリックスの固有値解析に基づく方法を適用する。例えば、位相検波に基づく方法では、少なくとも２台のマイク２２でそれぞれ検出された音の同一周波数成分の間の位相差に基づいて、その周波数における音の到来方位が推定される。音源の相対位置は、推定された到来方位により推定される。
音響解析では、車両２から音源までの距離の計算が行われてもよい。例えば、位相検波に基づく方法では、音の到来方位がマイク２２ごとに推定される。そのため、基準座標系におけるマイク２２の各中心位置から推定到来方位に向かう延長線をそれぞれ描くことで、これらの延長線の交点の座標が計算される。車両２から音源までの距離は、この交点の座標から車両２の位置座標までの長さとして計算される。
ステップＳ１２に続いて、識別データＩＳＵＤが特定される（ステップＳ１３）。識別データＩＳＵＤの特定は、ステップＳ１２において識別された音の種類を用いたデータベース２３の参照により行われる。そして、特定された識別データＩＳＵＤはエンコードされてインターフェース２８に出力される。
５．遠隔施設のデータ処理装置（プロセッサ）によるデータ処理例
図１１は、図１に示したデータ処理装置３６（プロセッサ３７）により実行されるデータ処理の流れを示すフローチャートである。図１１に示されるルーチンは、例えば、遠隔施設３に対する遠隔要求信号をプロセッサ３７が受け付けた場合に、所定の制御周期で繰り返し実行される。なお、遠隔要求信号は、通信用データＣＯＭ２に含まれる。
図１１に示されるルーチンでは、まず、通信用データＣＯＭ２が取得される（ステップＳ２１）。ステップＳ２１で取得される通信用データＣＯＭ２は、エンコードされた画像データＩＭＧ及び識別データＩＳＵＤを含んでいる。エンコードされた相対位置データＰＯＳ及び距離データＤＩＳの少なくとも一方が通信用データＣＯＭ２に含まれていてもよい。
ステップＳ２１に続いて、代替データＡＳＵＤが特定される（ステップＳ２２）。代替データＡＳＵＤの特定に際しては、まず、ステップＳ２１において取得された通信用データＣＯＭ２（識別データＩＳＵＤ）がデコードされる。そして、この識別データＩＳＵＤを用いたデータベース３２の参照により、当該識別データＩＳＵＤに対応する代替データＡＳＵＤが特定される。
ステップＳ２２に続いて、表示制御処理が行われる（ステップＳ２３）。表示制御処理では、ステップＳ２１においてデコードされた通信用データＣＯＭ２（画像データＩＭＧ）に基づいて、再生用データＲＩＭＧが生成される。表示制御処理では、また、ステップＳ２２において特定された代替データＡＳＵＤ（音源アイコンデータＳＩＣＮ）が再生用データＲＩＭＧに追加される。音源アイコンデータＳＩＣＮが追加された再生用データＲＩＭＧは、インターフェース３９に出力される。
デコードされた通信用データＣＯＭ２に相対位置データＰＯＳが含まれる場合は、当該相対位置データＰＯＳに対応する代替データＡＳＵＤ（位置アイコンデータＰＩＣＮ）が特定される。そのため、この場合は、位置アイコンデータＰＩＣＮが再生用データＲＩＭＧに追加される。
ステップＳ２３に続いて、音出力制御処理が行われる（ステップＳ２４）。音出力制御処理では、ステップＳ２２において特定された代替データＡＳＵＤ（疑似音データＰＳＵＤ）に基づいて、再生用データＲＳＵＤが生成される。再生用データＲＳＵＤは、インターフェース３９に出力される。
デコードされた通信用データＣＯＭ２に相対位置データＰＯＳが含まれる場合は、当該相対位置データＰＯＳに基づいて定位情報が生成される。そして、この定位情報に基づいて再生用データＲＳＵＤが生成される。デコードされた通信用データＣＯＭ２に距離データＤＩＳが含まれる場合、当該距離データＤＩＳに基づいて再生用データＲＳＵＤの出力レベルが設定される。
６．効果
以上説明した実施形態によれば、車両２から遠隔施設３に音データＳＵＤが直接送信されるのではなく、識別データＩＳＵＤが送信される。この識別データＩＳＵＤは、音データＳＵＤの解析により識別された音の種類に対応するデータである。そのため、音データＳＵＤが送信される場合に比べて、音データＳＵＤに関するデータ通信量を大幅に削減することが可能となる。
また、遠隔施設３では、識別データＩＳＵＤに基づいて代替データＡＳＵＤが特定され、この代替データＡＳＵＤ（音源アイコンデータＳＩＣＮ）が再生用データＲＩＭＧに追加される。そのため、オペレータの視覚を通じた環境音の確認も可能となる。更には、識別データＩＳＵＤに基づいて特定された代替データＡＳＵＤ（疑似音データＰＳＵＤ）が、再生用データＲＳＵＤとして生成される。そのため、オペレータの聴覚を通じた環境音の確認も可能となる。従って、オペレータによる遠隔支援（又は遠隔運転）が行われる場合における車両２の走行の安全性も担保される。
１ 遠隔支援システム
２ 車両
３ 遠隔施設
４ ネットワーク
２３，３２ データベース
２５，３６ データ処理装置
２６，３７ プロセッサ
２７，３８ メモリ
３４ ディスプレイ
３５ ヘッドホン
ＩＭＧ 画像データ
ＳＵＤ 音データ
ＤＩＳ 距離データ
ＰＯＳ 相対位置データ
ＡＳＵＤ 代替データ
ＩＳＵＤ 識別データ
ＰＳＵＤ 疑似音データ
ＤＩＣＮ 位置アイコンデータ
ＳＩＣＮ 音源アイコンデータ
ＲＩＭＧ，ＲＳＵＤ 再生用データ
ＣＯＭ２，ＣＯＭ３ 通信用データ

Claims (7)

  1. 車両と、前記車両の走行を支援する遠隔施設と、を備える遠隔支援システムであって、
    前記車両は、
    前記車両の周辺環境データが格納されるメモリと、
    前記周辺環境データのデータ処理と、当該データ処理による処理後のデータを示す通信用データの前記遠隔施設への送信処理と、を行うプロセッサと、
    環境音の種類に対応する識別データが格納されたデータベースと、
    を備え、
    前記遠隔施設は、
    前記通信用データが格納されるメモリと、
    前記通信用データのデータ処理と、当該データ処理による処理後のデータを示す再生用データを前記遠隔施設の再生装置において再生するための制御処理と、を行うプロセッサと、
    前記環境音の代替データが格納されたデータベースと、
    を備え、
    前記周辺環境データは、前記車両の周辺環境の音データを含み、
    前記車両のプロセッサは、前記周辺環境データのデータ処理において、
    前記音データの音響解析により、当該音データに含まれる音源の種類を推定し、
    前記種類を用いた前記車両のデータベースの参照によって、当該種類に対応する識別データを特定して前記通信用データに追加し、
    前記遠隔施設のプロセッサは、
    前記通信用データのデータ処理において、前記識別データを用いた前記遠隔施設のデータベースの参照によって、前記種類に対応する代替データを特定し、
    前記制御処理において、前記代替データを含む前記再生用データを前記再生装置に出力する
    ことを特徴とする遠隔支援システム。
  2. 請求項１に記載の遠隔支援システムであって、
    前記代替データは、前記種類に対応する音源アイコンデータを含み、
    前記再生装置は、前記音源アイコンデータを出力するディスプレイを含み、
    前記遠隔施設のプロセッサは、前記通信用データのデータ処理において、更に、
    前記識別データを用いた前記遠隔施設のデータベースの参照によって、前記種類に対応する音源アイコンデータを選択する
    ことを特徴とする遠隔支援システム。
  3. 請求項２に記載の遠隔支援システムであって、
    前記代替データは、前記車両の位置に対する前記音源の相対位置を示す位置アイコンデータを更に含み、
    前記ディスプレイは、前記位置アイコンデータを更に出力し、
    前記車両のプロセッサは、前記周辺環境データのデータ処理において、更に、
    前記音響解析により、前記音源の相対位置を推定し、
    前記相対位置を示す相対位置データを前記通信用データに追加し、
    前記遠隔施設のプロセッサは、前記通信用データのデータ処理において、更に、
    前記相対位置データを用いた前記遠隔施設のデータベースの参照によって、前記相対位置に対応する位置アイコンデータを選択する
    ことを特徴とする遠隔支援システム。
  4. 請求項１～３の何れか１項に記載の遠隔支援システムであって、
    前記代替データは、前記種類に対応する疑似音データを含み、
    前記再生装置は、前記疑似音データを出力するヘッドホンを含み、
    前記遠隔施設のプロセッサは、前記通信用データのデータ処理において、更に、
    前記識別データを用いた前記遠隔施設のデータベースの参照によって、前記種類に対応する疑似音データを選択する
    ことを特徴とする遠隔支援システム。
  5. 請求項４に記載の遠隔支援システムであって、
    前記車両のプロセッサは、前記周辺環境データのデータ処理において、更に、
    前記音響解析により、前記車両の位置に対する前記音源の相対位置を推定し、
    前記相対位置を示す相対位置データを前記通信用データに追加し、
    前記遠隔施設のプロセッサは、前記制御処理において、更に、
    前記相対位置データに基づいて、前記疑似音データを処理して立体音響信号に変換する ことを特徴とする遠隔支援システム。
  6. 請求項４又は５に記載の遠隔支援システムであって、
    前記車両のプロセッサは、前記周辺環境データのデータ処理において、更に、
    前記音響解析により、前記車両から前記音源までの距離を推定し、
    前記距離を示す距離データを前記通信用データに追加し、
    前記遠隔施設のプロセッサは、前記制御処理において、更に、
    前記距離データに基づいて、前記ヘッドホンから出力する前記疑似音データの出力レベルを調整する
    ことを特徴とする遠隔支援システム。
  7. 車両の走行を遠隔支援する遠隔支援方法であって、
    前記車両のプロセッサが、
    前記車両の周辺環境データのデータ処理と、
    前記周辺環境データのデータ処理による処理後のデータを示す通信用データを、前記遠隔支援を行う遠隔施設に送信する送信処理と、
    を行い、
    前記遠隔施設のプロセッサが、
    前記通信用データのデータ処理と、
    前記通信用データのデータ処理による処理後のデータを示す再生用データを、前記遠隔施設の再生装置において再生するための制御処理と、
    を行い、
    前記周辺環境データは、前記車両の周辺環境の音データを含み、
    前記車両のプロセッサは、前記周辺環境データのデータ処理において、
    前記音データの音響解析により、当該音データに含まれる音源の種類を推定し、
    環境音の種類に対応する識別データが格納された前記車両のデータベースの参照を前記種類に基づいて行い、当該種類に対応する識別データを特定して前記通信用データに追加し、
    前記遠隔施設のプロセッサは、
    通信用データのデータ処理において、前記環境音の代替データが格納された前記遠隔施設のデータベースの参照を前記識別データに基づいて行い、前記種類に対応する代替データを特定し、
    前記制御処理において、前記代替データを含む前記再生用データを前記再生装置に出力する
    ことを特徴とする遠隔支援方法。
JP2021064864A 2021-04-06 2021-04-06 遠隔支援システム及び遠隔支援方法 Withdrawn JP2022160232A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021064864A JP2022160232A (ja) 2021-04-06 2021-04-06 遠隔支援システム及び遠隔支援方法
US17/713,283 US20220317686A1 (en) 2021-04-06 2022-04-05 Remote assistance system and remote assistance method
CN202210353037.7A CN115206119A (zh) 2021-04-06 2022-04-06 远程支援系统以及远程支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021064864A JP2022160232A (ja) 2021-04-06 2021-04-06 遠隔支援システム及び遠隔支援方法

Publications (1)

Publication Number Publication Date
JP2022160232A true JP2022160232A (ja) 2022-10-19

Family

ID=83449706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021064864A Withdrawn JP2022160232A (ja) 2021-04-06 2021-04-06 遠隔支援システム及び遠隔支援方法

Country Status (3)

Country Link
US (1) US20220317686A1 (ja)
JP (1) JP2022160232A (ja)
CN (1) CN115206119A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11965747B2 (en) * 2022-04-19 2024-04-23 Ford Global Technologies, Llc Multimodal route data collection for improved routing

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013120409A (ja) * 2011-12-06 2013-06-17 E-Sares Co Ltd 運行車両監視システム
JP2017151216A (ja) * 2016-02-23 2017-08-31 国立大学法人電気通信大学 音源方向推定装置、音源方向推定方法、およびプログラム
CN106850798B (zh) * 2017-01-24 2020-09-08 南京越博动力系统股份有限公司 一种基于远程无线控制的汽车监控、诊断和标定的方法及系统
JP2019121887A (ja) * 2017-12-28 2019-07-22 パナソニックＩｐマネジメント株式会社 音源検知システム及び音源検知方法
CN109808705B (zh) * 2019-01-23 2021-11-02 青岛慧拓智能机器有限公司 一种用于远程遥控驾驶控制的系统
CN110733300A (zh) * 2019-08-16 2020-01-31 上海能塔智能科技有限公司 车用远程实时监控胎压系统、方法及车用监测设备

Also Published As

Publication number Publication date
US20220317686A1 (en) 2022-10-06
CN115206119A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
JP6102117B2 (ja) 移動体、システム、プログラム、および情報処理装置
EP1729089A1 (en) Navigation device, navigation method, navigation program, and computer-readable recording medium
JP2013198065A (ja) 音声提示装置
CN110366852B (zh) 信息处理设备、信息处理方法和记录介质
CN106254426B (zh) 一种通过终端进行鸣笛的方法和装置
US20220317686A1 (en) Remote assistance system and remote assistance method
EP4115415A1 (en) Electronic device, method and computer program
CN110293977B (zh) 用于显示增强现实警示信息的方法和装置
CN114756700B (zh) 场景库建立方法、装置、车辆、存储介质及芯片
CN110134824B (zh) 呈现地理位置信息的方法、装置及系统
CN107908356B (zh) 基于智能设备的信息常驻的方法和装置
CN113997863B (zh) 数据处理方法、装置和车辆
JP2023169054A (ja) 遠隔支援システム、車両、及び遠隔支援方法
WO2018234848A1 (en) AFFECTIVE SOUND AMPLIFICATION FOR AUTOMOTIVE APPLICATIONS
US20230026188A1 (en) Remote support device, remote support system, and remote support method
JP2007183818A (ja) ソフトウェア部品の組合せ評価システム
WO2023204076A1 (ja) 音響制御方法及び音響制御装置
CN115535004B (zh) 距离生成方法、装置、存储介质及车辆
CN115303238B (zh) 辅助刹车和鸣笛方法、装置、车辆、可读存储介质及芯片
US11881065B2 (en) Information recording device, information recording method, and program for recording information
KR102443843B1 (ko) 차량 및 그 제어 방법
CN115179930B (zh) 车辆控制方法、装置、车辆及可读存储介质
JP2019121314A (ja) 判定装置、情報記録装置、判定方法、及び判定用プログラム
WO2023000206A1 (zh) 语音声源定位方法、装置及系统
JP2023028070A (ja) 遠隔運転装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210414

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230327

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20230724