JP2023138246A - Information processing system and information processing method - Google Patents
Information processing system and information processing method Download PDFInfo
- Publication number
- JP2023138246A JP2023138246A JP2022133181A JP2022133181A JP2023138246A JP 2023138246 A JP2023138246 A JP 2023138246A JP 2022133181 A JP2022133181 A JP 2022133181A JP 2022133181 A JP2022133181 A JP 2022133181A JP 2023138246 A JP2023138246 A JP 2023138246A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- unit
- voice
- call
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 80
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Landscapes
- Telephone Function (AREA)
Abstract
Description
本発明は、情報処理システムおよび情報処理方法に関する。 The present invention relates to an information processing system and an information processing method.
特許文献1には、複数の音声エージェント機能(音声アシスタント機能)、およびハンズフリー通話機能を搭載する情報処理装置が開示されている。
音声エージェント機能は、通常、マイクから取得される音声に所定の文言であるウェイクアップワードが含まれていたときに起動される。従って、マイクから取得される音声は、通常、それぞれの音声エージェント機能部に常に分配されて入力される。
このため、例えば、ハンズフリー通話等の実行時にも、マイクから取得される音声は、音声エージェント機能部へ入力されることとなり、通話音声にウェイクアップワードが含まれていた場合には、そのウェイクアップワードに対応する音声エージェント機能部が起動され得る。この場合、起動された音声エージェント機能部に通話内容が意図せず入力されてしまうこととなり、プライバシー保護の観点から望ましくない。
本発明は、プライバシーの保護性能を高めた情報処理システムを提供することである。
The voice agent function is normally activated when a wake-up word, which is a predetermined phrase, is included in the voice obtained from the microphone. Therefore, the voice acquired from the microphone is normally always distributed and input to each voice agent function unit.
Therefore, even when performing a hands-free call, for example, the voice acquired from the microphone will be input to the voice agent function section, and if the call voice contains a wake-up word, the wake-up word will be activated. A voice agent function corresponding to the upgrade may be activated. In this case, the contents of the call will be unintentionally input to the activated voice agent function section, which is undesirable from the viewpoint of privacy protection.
An object of the present invention is to provide an information processing system with improved privacy protection performance.
本発明の一の態様は、音声を取得する音声取得部と、音声を受信して処理を行う複数の音声処理部へ、前記音声取得部が取得した音声を入力する音声分配部と、少なくとも一つの前記音声処理部の動作状態を検知する検知部と、前記音声分配部の動作を制御する制御部と、を備え、前記制御部は、予め定めた一の前記音声処理部の所定の動作状態を前記検知部が検知したときに、他の前記音声処理部の少なくとも一部への前記音声の入力を停止する、情報処理システムである。
本発明の他の態様によると、前記他の音声処理部の少なくとも一部は、外部サーバとの通信により音声エージェントサービスを提供するエージェント機能部である。
本発明の他の態様によると、前記一の音声処理部は、ハンズフリー通話の通話を処理する通話処理部であり、前記制御部は、前記通話処理部におけるハンズフリー通話の開始を検知したときは、前記他の音声処理部の少なくとも一部への前記音声の入力を停止する。
本発明の他の態様によると、前記制御部は、前記通話処理部が前記ハンズフリー通話を実行しているときに、前記音声分配部から前記音声が入力されている前記音声処理部の情報を表示装置に表示する。
本発明の他の態様によると、前記制御部は、前記通話処理部が前記ハンズフリー通話を実行しているときに、ユーザから入力される切替指示に応じて、前記音声処理部のそれぞれについての、前記音声分配部からの前記音声の入力のオンオフを切り替える。
本発明の他の態様によると、前記音声処理部は、車両に搭載されたドライブレコーダにおいて音声を録音する録音部を含み、前記制御部は、前記通話処理部が前記ハンズフリー通話を実行しているときにも、前記音声分配部から前記録音部への前記音声の入力を継続する。
本発明の他の態様は、コンピュータが行う情報処理方法であって、音声を取得するステップと、音声を受信して処理を行う複数の音声処理部の少なくとも一つの動作状態を検知するステップと、前記取得するステップで取得した音声を前記音声処理部へ入力するステップと、を備え、前記入力するステップでは、予め定めた一の前記音声処理部の所定の動作状態が前記検知するステップにおいて検知されたときは、他の前記音声処理部の少なくとも一部への前記音声の入力を停止する、情報処理方法である。
One aspect of the present invention includes at least one audio acquisition unit that acquires audio, and an audio distribution unit that inputs audio acquired by the audio acquisition unit to a plurality of audio processing units that receive and process audio. a detection unit that detects the operating state of one of the audio processing units; and a control unit that controls the operation of the audio distribution unit, and the control unit detects a predetermined operating state of one of the audio processing units. The information processing system is configured to stop inputting the audio to at least some of the other audio processing units when the detection unit detects the audio processing unit.
According to another aspect of the present invention, at least a part of the other voice processing unit is an agent function unit that provides a voice agent service through communication with an external server.
According to another aspect of the present invention, the one voice processing unit is a call processing unit that processes a hands-free call, and the control unit is configured to control when the first voice processing unit detects the start of the hands-free call in the call processing unit. stops inputting the audio to at least a portion of the other audio processing unit.
According to another aspect of the present invention, when the call processing unit is executing the hands-free call, the control unit transmits information of the audio processing unit to which the audio is input from the audio distribution unit. Display on a display device.
According to another aspect of the present invention, the control unit controls each of the voice processing units in response to a switching instruction input from a user while the call processing unit is executing the hands-free call. , switches on/off the input of the audio from the audio distribution section.
According to another aspect of the present invention, the audio processing unit includes a recording unit that records audio in a drive recorder mounted on a vehicle, and the control unit is configured to control the call processing unit to perform the hands-free call. Even when the user is in the recording unit, the audio continues to be input from the audio distribution unit to the recording unit.
Another aspect of the present invention is an information processing method performed by a computer, which includes the steps of: acquiring audio; detecting the operating state of at least one of a plurality of audio processing units that receive and process audio; inputting the audio acquired in the acquiring step to the audio processing unit, and in the inputting step, a predetermined operating state of a predetermined one of the audio processing units is detected in the detecting step. In the information processing method, the information processing method stops inputting the audio to at least some of the other audio processing units when the audio processing unit 101 receives the audio processing unit.
本発明によれば、プライバシーの保護性能を高めた情報処理システムを提供することができる。 According to the present invention, it is possible to provide an information processing system with improved privacy protection performance.
図1は、車両の制御システム1を示す図である。
制御システム1は、車両の全般的な制御および情報処理を行うセントラルECU2を備えている。セントラルECU2は、OTA(Over The Air)管理を実行する機能を有してもよい。OTA管理は、車両が備える車載装置の更新プログラムを車外のサーバからダウンロードする処理、及び、ダウンロードした更新プログラムを車載装置に適用する処理に関する制御を含む。
FIG. 1 is a diagram showing a
The
セントラルECU2は、通信ライン3に接続されている。通信ライン3は、CAN、Ethernet(登録商標)等の規格に準拠した通信を行うバス、若しくは、P2P(Peer to Peer)通信を行う通信ラインで構成されている。なお、通信ライン3は、同一の規格に準拠した通信を行う複数の通信ラインで構成されてもよいし、異なる規格に準拠した通信を行う複数の通信ラインで構成されてもよい。
The
通信ライン3には、車内接続リンク5を介して、IVI(In-Vehicle Infotainment)6と、スピーカ8と、マイクロホン9とが接続されている。また、車内接続リンク5には、TCU(Telematics Control Unit)12と、タッチパネル15と、が接続されている。TCU12は、移動通信システムの通信規格に準拠する無線通信装置である。タッチパネル15は、ディスプレイ16と、タッチセンサ17とを備える。
An IVI (In-Vehicle Infotainment) 6, a speaker 8, and a
IVI6は、スピーカ8、マイクロホン9、及びタッチパネル15等を用いて、車両の搭乗者へ種々のインフォメーション及びエンターテイメントを提供する。
車内接続リンク5は、様々な通信規格に準拠した複数の通信伝送路により構成されている。車内接続リンク5は、例えば、複数のネットワーク伝送路を含んでもよい。この場合、複数のネットワーク伝送路は、ゲートウェイ機能を有する装置等を介して互いに接続されてもよい。また、車内接続リンク5は、P2P通信を行うための伝送路を含んでもよい。ネットワーク伝送路には、様々な規格に準拠してネットワーク通信を行う種々の通信バスを採用することができる。この種の規格としては、例えば、CAN、Ethernet、USB(Universal Serial Bus)、LIN(Local Interconnect Network)、LVDS(Low Voltage Differential Signaling)が挙げられるが、他の規格であってもよい。
The IVI 6 uses a speaker 8, a
The in-
制御システム1は、さらに、ドライブレコーダ38を含む。ドライブレコーダ38は、車内接続リンク5に接続され、マイクロホン9が取得した音声を、IVI6を介して取得し、取得した音声を録音する。以下、制御システム1を搭載した車両を自車両といい、自車両を利用するユーザを車両ユーザというものとする。
本実施形態に係る情報処理システム40は、図1に示す制御システム1のIVI6、スピーカ8、マイクロホン9、TCU12、タッチパネル15、およびドライブレコーダ38を含む。
The
図2は、情報処理システム40が有するIVI6およびドライブレコーダ38の構成を示す図である。
ドライブレコーダ38は、第1プロセッサ50と、第1メモリ51と、カメラ52と、を有する。第1メモリ51は、例えば、揮発性及び又は不揮発性の半導体メモリで構成される。カメラ52は、自車両の前方環境を含む自車両の周囲環境の画像を取得する。
FIG. 2 is a diagram showing the configuration of the
The
第1プロセッサ50は、例えば、CPUを備えるコンピュータである。第1プロセッサ50は、機能要素又は機能ユニットとして、録音部65aと、録画部53と、を備える。これらの機能要素は、コンピュータである第1プロセッサ50がプログラムを実行することにより実現され得る。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、第1プロセッサ50が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
The
録音部65aは、マイクロホン9が取得する音声を、IVI6を介して取得して録音する。具体的には、録音部65aは、取得した音声のデータを第1メモリ51に保存する。ここで、録音部65aは、本開示における、音声を受信して処理を行う複数の音声処理部の一つに相当する。
The
録画部53は、カメラ52が取得する自車両の周辺環境の画像を、動画像として取得する。録画部53は、取得した動画像のデータを、録音部65aが取得した音声のデータに関連付けて、第1メモリ51に保存する。これにより、録画部53は、上記周辺環境の画像を録画する。
The
IVI6は、本実施形態では、車両の搭乗者へのインフォメーションやエンターテイメントの提供を行うほか、マイクロホン9から取得される音声の分配を制御する情報処理装置としても機能する。
In this embodiment, the
IVI6は、第2プロセッサ60と、第2メモリ61と、を有する。第2メモリ61は、例えば、揮発性及び又は不揮発性の半導体メモリで構成される。第2プロセッサ60は、例えば、CPUを備えるコンピュータである。第2プロセッサ60は、機能要素又は機能ユニットとして、情報提供部62と、音声取得部63と、音声分配部64と、を備える。また、第2プロセッサ60は、機能要素又は機能ユニットとして、第1エージェント機能部65b1、第2エージェント機能部65b2、第3エージェント機能部65b3、及び通話処理部65cを備える。第2プロセッサ60は、さらに、機能要素又は機能ユニットとして、検知部66と、制御部67と、を備える。
The
これらの機能要素は、コンピュータである第2プロセッサ60が、例えば第2メモリ61に記憶されたプログラムを実行することにより実現され得る。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、第2プロセッサ60が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
These functional elements can be realized by the
ここで、第1エージェント機能部65b1、第2エージェント機能部65b2、第3エージェント機能部65b3、及び通話処理部65cは、上述した録音部65aと共に、本開示における、音声を受信して処理を行う複数の音声処理部に相当する。以下、第1エージェント機能部65b1、第2エージェント機能部65b2、および第3エージェント機能部65b3を総称してエージェント機能部65bともいうものとする。また、録音部65a、エージェント機能部65b、及び通話処理部65cを総称して、音声処理部65ともいうものとする。
Here, the first agent function section 65b1, the second agent function section 65b2, the third agent function section 65b3, and the
第2プロセッサ60が備える情報提供部62は、従来技術に従い、TCU12によりインターネット等の通信ネットワーク70を介して種々のウェブサーバ(不図示)と通信し、スピーカ8およびタッチパネル15等を介して自車両の搭乗者へ、種々のインフォメーション及びエンターテイメントを提供する。また、情報提供部62は、例えば、図示しないGNSSセンサと通信して自車両の位置情報を取得し、タッチパネル15等を介して経路案内を行う。
In accordance with the prior art, the
音声取得部63は、マイクロホン9から、車両ユーザの音声を含む車室内における音を取得する。
音声分配部64は、音声取得部63が取得した音声を、複数の音声処理部65へ分配して入力する。本実施形態では、特に、音声分配部64は、後述する制御部67の制御の下に、音声処理部65のそれぞれへの上記音声の入力のオンオフを切り替える。上述したように、本実施形態では、複数の音声処理部65とは、ドライブレコーダ38の録音部65a、第1エージェント機能部65b1、第2エージェント機能部65b2、第3エージェント機能部65b3、および通話処理部65cである。
The
The
第1エージェント機能部65b1、第2エージェント機能部65b2、および第3エージェント機能部65b3は、それぞれ、TCU12とインターネット等の通信ネットワーク70とを介して通信可能に接続されたエージェントサーバ71a、71b、および71cと協働して、車両ユーザに音声エージェントサービスを提供する。以下、エージェントサーバ71a、71b、および71cを総称してエージェントサーバ71ともいうものとする。ここで、エージェントサーバ71a、71b、および71cは、本開示における外部サーバに相当する。
The first agent function unit 65b1, the second agent function unit 65b2, and the third agent function unit 65b3 are connected to
音声エージェントサービスとは、音声アシスタントサービスともいいい、例えば、音声認識処理や自然言語処理等の処理を組み合わせて、ユーザからの話し言葉による問いかけや要求に対し、適切に回答したり、要求された動作を実行したりする機能やサービスのことをいう。エージェント機能部65bは、例えば、音声エージェントサービスのユーザインターフェースとして機能する。それぞれのエージェントサーバ71では、対応するエージェント機能部65bから入力される音声についての音声認識、文章理解、応答選択、及び又は指示実行等の処理を行って、処理の結果をそのエージェント機能部65bへ返信する。 A voice agent service is also known as a voice assistant service.For example, it combines processing such as voice recognition processing and natural language processing to appropriately respond to questions and requests in spoken language from users and perform requested actions. Refers to functions and services that are executed. The agent function unit 65b functions, for example, as a user interface for a voice agent service. Each agent server 71 performs processing such as voice recognition, text understanding, response selection, and/or instruction execution on the voice input from the corresponding agent function unit 65b, and sends the processing results to the agent function unit 65b. Reply.
第1エージェント機能部65b1、第2エージェント機能部65b2、および第3エージェント機能部65b3は、それぞれ、従来技術に従い、エージェントサーバ71a、71b、および71cと協働して、互いに異なる音声エージェントサービスを行う。例えば、第1エージェント機能部65b1、第2エージェント機能部65b2、および第3エージェント機能部65b3は、それぞれ、音声エージェントサービスとしてGoogleアシスタント(登録商標)、Alexa(登録商標)、およびCarPlay(登録商標)のサービスを提供する。
The first agent function unit 65b1, the second agent function unit 65b2, and the third agent function unit 65b3 cooperate with the
第1エージェント機能部65b1、第2エージェント機能部65b2、および第3エージェント機能部65b3が提供する音声エージェントサービスには、それぞれ異なるウェイクアップワードが定められている。車両ユーザが、利用したい音声エージェントサービスのウェイクアップワードを発声することにより、その音声エージェントサービスに対応するエージェント機能部65bが音声エージェント機能の処理を開始する。 Different wake-up words are defined for the voice agent services provided by the first agent function section 65b1, the second agent function section 65b2, and the third agent function section 65b3. When the vehicle user utters the wake-up word of the voice agent service he/she wishes to use, the agent function unit 65b corresponding to the voice agent service starts processing the voice agent function.
通話処理部65cは、従来技術に従い、スピーカ8、マイクロホン9、およびTCU12と協働して、ハンズフリー通話による電話機能を、車両ユーザに提供する。本実施形態では、特に、通話処理部65cは、マイクロホン9が取得する車両ユーザの通話音声を、音声取得部63および音声分配部64を介して取得して、ハンズフリー通話の処理を行う。
The
検知部66は、ドライブレコーダ38の録音部65a、第1エージェント機能部65b1、第2エージェント機能部65b2、第3エージェント機能部65b3、および通話処理部65cの、少なくとも一つの音声処理部65の動作状態を検知する。ここで動作状態とは、ドライブレコーダ38の録音部65aについては録音実行および録音停止の各状態を含み得る。また、エージェント機能部65bについての上記動作状態には、ウェイクアップワードの受信待機状態およびウェイクアップワード受信後の音声エージェントサービスのサービス実行状態が含まれ得る。また、通話処理部65cについての上記動作状態には、通話中状態および通話待機状態が含まれ得る。
The
制御部67は、検知部66が検知した音声処理部65の動作状態に基づき、音声分配部64の動作を制御する。本実施形態では、特に、制御部67は、予め定めた一の音声処理部65の所定の動作状態を検知部66が検知したときに、他の音声処理部65の少なくとも一部への音声の入力を停止する。ここで、上記他の音声処理部65の少なくとも一部には、音声エージェントサービスを提供するエージェント機能部65bの少なくとも一部を含み得る。
The
具体的には、制御部67は、検知部66が通話処理部65cにおける通話の開始、すなわち通話中状態の開始を検知したときは、音声分配部64に指示して、第1エージェント機能部65b1、第2エージェント機能部65b2、および第3エージェント機能部65b3への音声の入力を停止する。したがって、情報処理システム40では、通話処理部65cが提供するハンズフリー通話においてユーザの通話音声に上述したいずれかのウェイクアップワードが含まれることとなってしまった場合でも、対応するエージェント機能部65bが処理を開始してユーザ音声が車外へ送信されてしまうのを防止することができる。これにより、情報処理システム40では、プライバシーの保護性能を高めることができる。
Specifically, when the
また、本実施形態では、制御部67は、検知部66が通話処理部65cにおける通話中状態の開始および継続を検知しているときであっても、ドライブレコーダ38の録音部65aへの音声の入力を継続するように、音声分配部64に指示する。これにより、情報処理システム40では、音声を常に記録しておくことが必要なドライブレコーダ38については、ハンズフリー通話中であっても、音声録音を常時実行させておくことができる。
Furthermore, in the present embodiment, the
例えば、制御部67は、第2メモリ61に予め保存された優先度テーブル68に基づき、いずれかの音声処理部65の動作が開始されたときに音声入力を停止すべき他の音声処理部65を特定するものとすることができる。図3は、優先度テーブル68の一例を示す図である。図3において、最上行のタイトル行を除く第1行は、ドライブレコーダ38の録音部65aの優先度を示し、第2行は、通話処理部65cの優先度を示している。また、第3行から第5行は、それぞれ、3つの第1エージェント機能部65b1、第2エージェント機能部65b2、第3エージェント機能部65b3の優先度を示している。
For example, based on the priority table 68 stored in the
図3に示す例では、ドライブレコーダ38の録音部65aに、最も高い優先度“1”が付与され、通話処理部65cに、次に高い優先度“2”が付与されている。また、3つのエージェント機能部65bには、それぞれ、同じ優先度“3”が付与されている。
In the example shown in FIG. 3, the
制御部67は、検知部66がいずれかの音声処理部65における動作の開始を検知したときに、優先度テーブル68を参照し、動作を開始した音声処理部65に付与されている優先度を特定し、その優先度と同じか又はそれよりも低い優先度が与えられている音声処理部65への音声入力の停止を、音声分配部64へ指示する。これにより、制御部67は、上述した動作のほか、例えば、検知部66において第1エージェント機能部65b1の動作開始が検知されたときは、他の第2エージェント機能部65b2および第3エージェント機能部65b3への音声入力の停止を、音声分配部64に指示することとなる。
When the
制御部67は、また、通話処理部65cが通話処理を実行しているときは、音声分配部から音声が入力されている音声処理部65の情報を、表示装置であるタッチパネル15に表示する。図4は、制御部67がタッチパネル15のディスプレイ16に表示する、音声入力情報画面の一例を示す図である。
Furthermore, when the
図4に示す音声入力情報画面72では、ドライブレコーダ38の録音部65a、通話処理部65c、第1エージェント機能部65b1、第2エージェント機能部65b2、および第3エージェント機能部65b3に対応して、「ドライブレコーダ」、「ハンズフリー通話」、「第1エージェント」、「第2エージェント」、および「第3エージェント」と書かれたラベル73a、73b、73c、73d、および73eが表示されている。そして、現在において音声分配部64から音声が入力されていない第1エージェント機能部65b1、第2エージェント機能部65b2、および第3エージェント機能部65b3に対応するラベル73c、73d、および73eが、例えばグレイアウト表示(図示においては罫線で表示)されている。
In the voice
これにより、車両ユーザは、それぞれの音声処理部65への音声の入力状態を確認することができるので、車外への通話の漏洩を気にすることなく、安心して通話を行うことができる。 Thereby, the vehicle user can check the state of voice input to each voice processing section 65, and therefore can make a call with peace of mind without worrying about the call being leaked outside the vehicle.
図4に示す音声入力情報画面72には、また、ラベル73a、73b、73c、73d、および73eの図示右側に、それぞれ、対応する音声処理部65への音声分配部64からの音声入力の状態を切り替えるためのボタン74a、74b、74c、74d、74eが表示されている。車両ユーザは、これらのボタンを操作することにより、対応する音声処理部65への音声入力のオンオフの切替指示を入力することができる。
The audio
これにより、制御部67は、通話処理部65cが通話処理を実行しているときに、車両ユーザから入力される上記切替指示に応じて、音声処理部65のそれぞれについての、音声分配部64からの音声入力のオンオフを切り替えることができる。車両ユーザは、例えば、ハンズフリー通話を実行中に、いずれかの音声エージェントサービスを利用したい場合には、上記ボタンを用いた切替指示により、一時的にハンズフリー通話をミュート状態にすると共に所望のエージェント機能部65bへの音声入力をオンにすることができる。
As a result, when the
次に、情報処理システム40における、音声取得部63から音声処理部65への音声分配の動作の手順について説明する。図5は、情報処理システム40における音声分配処理の手順を示すフロー図である。図5の処理は、繰り返し実行される。
Next, the procedure for distributing audio from the
処理を開始すると、まず、音声分配部64は、音声取得部63がマイクロホン9から取得した音声の、音声処理部65への入力を開始する(S100)。次に、検知部66は、通話処理部65cにおけるハンズフリー通話の開始を検知したか否かを判断する(S102)そして、通話の開始が検知されたときは(S102、YES)、制御部67は、優先度テーブル68を参照し、通話処理部65cに付与されている優先度以下の優先度を持つエージェント機能部65bへの音声の入力を停止する(S104)。この音声入力の停止は、制御部67が音声分配部64に指示することで行われる。
When the process starts, first, the
次に、制御部67は、音声分配部から音声が入力されている音声処理部65の情報である音声入力情報を、タッチパネル15に表示する(S106)。この表示は、例えば、制御部67は、図4に示すような音声入力情報画面72をタッチパネル15に表示することで行われる。
Next, the
次に、制御部67は、車両ユーザから音声入力についての切替指示が入力されたか否かを判断する(S108)。この切替指示の入力は、例えば、図4に示す音声入力情報画面72におけるボタン74a、74b、74c、74d、74eの操作により行われ得る。そして、ステップS108において切替指示が入力されたときは(S108、YES)、制御部67は、入力された切替指示に応じて、対応する音声処理部65の音声入力のオンオフを切り替える(S110)。
Next, the
続いて、検知部66は、通話が終了したか否かを判断する(S112)。そして、通話が終了したときは(S112、YES)、制御部67は、すべての音声処理部65に対する音声入力をオンにして(S114)、処理を終了する。
Subsequently, the
一方、ステップS108において切替指示が入力されていないときは(S108、NO)、ステップS112に処理を移す。また、一方、ステップS112において通話が終了していないときは(S112、NO)、検知部66は、ステップS108に処理を戻す。
On the other hand, if the switching instruction is not input in step S108 (S108, NO), the process moves to step S112. On the other hand, if the call has not ended in step S112 (S112, NO), the
一方、ステップS102においてハンズフリー通話の開始が検知されないときは(S102、NO)、検知部66は、いずれかのエージェント機能部65bの動作開始を検知したか否かを判断する(S116)。そして、エージェント機能部65bの動作が開始していないときは(S116、NO)、検知部66は、ステップ102に戻って処理を繰り返す。
On the other hand, when the start of a hands-free call is not detected in step S102 (S102, NO), the
一方、いずれかのエージェント機能部65bの動作が開始したときは(S116、YES)、制御部67は、優先度テーブル68を参照し、他のエージェント機能部65bへの音声の入力を停止する(S118)。
On the other hand, when any of the agent function units 65b starts operating (S116, YES), the
次に、制御部67は、音声分配部64から音声が入力されている音声処理部65の情報である音声入力情報を、タッチパネル15に表示する(S120)。次に、制御部67は、車両ユーザから音声入力についての切替指示が入力されたか否かを判断する(S122)。そして、切替指示が入力されたときは(S122、YES)、制御部67は、入力された切替指示に応じて、対応する音声処理部65の音声入力のオンオフを切り替える(S124)。
Next, the
続いて、検知部66は、ステップS116において開始されたエージェント機能部65bにおける動作が終了したか否かを判断する(S126)。そして、上記動作が終了したときは(S126、YES)、制御部67は、ステップS114に処理を移す。
Subsequently, the
一方、ステップS122において切替指示が入力されないときは(S122、NO)、ステップS126に処理を移す。また、一方、ステップS126において、ステップS116で開始されたエージェント機能部65bにおける動作が終了していないときは(S126、NO)、検知部66は、ステップS122に処理を戻す。
On the other hand, if the switching instruction is not input in step S122 (S122, NO), the process moves to step S126. On the other hand, in step S126, if the operation in the agent function unit 65b started in step S116 has not been completed (S126, NO), the
なお、本発明は上記の実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。 Note that the present invention is not limited to the configuration of the above-described embodiments, and can be implemented in various forms without departing from the gist thereof.
[上記実施形態によりサポートされる構成]
上述した実施形態は、以下の構成をサポートする。
[Configurations supported by the above embodiment]
The embodiments described above support the following configurations.
(構成1)音声を取得する音声取得部と、音声を受信して処理を行う複数の音声処理部へ、前記音声取得部が取得した音声を入力する音声分配部と、少なくとも一つの前記音声処理部の動作状態を検知する検知部と、前記音声分配部の動作を制御する制御部と、を備え、前記制御部は、予め定めた一の前記音声処理部の所定の動作状態を前記検知部が検知したときに、他の前記音声処理部の少なくとも一部への前記音声の入力を停止する、情報処理システム。
構成1の情報処理システムによれば、一の音声処理部が動作を開始した際に、他の音声処理部へ意図せず音声が入力されるのを防止して、情報処理システムとしてのプライバシー保護性能を高めることができる。
(Configuration 1) An audio acquisition unit that acquires audio, an audio distribution unit that inputs audio acquired by the audio acquisition unit to a plurality of audio processing units that receive and process audio, and at least one of the audio processing units. and a control unit that controls the operation of the audio distribution unit. An information processing system that stops inputting the audio to at least some of the other audio processing units when the audio processing unit detects the audio processing unit.
According to the information processing system of
(構成2)前記他の音声処理部の少なくとも一部は、外部サーバとの通信により音声エージェントサービスを提供するエージェント機能部である、構成1に記載の情報処理システム。
構成2の情報処理システムによれば、例えば、ユーザ音声が車外のエージェントサーバへ意図せず漏れてしまうのを防止することができる。
(Configuration 2) The information processing system according to
According to the information processing system of
(構成3)前記一の音声処理部は、ハンズフリー通話の通話を処理する通話処理部であり、前記制御部は、前記通話処理部におけるハンズフリー通話の開始を検知したときは、前記他の音声処理部の少なくとも一部への前記音声の入力を停止する、構成1または2に記載の情報処理システム。
構成3の情報処理システムによれば、電話利用時における車両ユーザのプライベートな通話が車外へ意図せず漏洩してしまうのを防止することができる。
(Configuration 3) The one voice processing unit is a call processing unit that processes a hands-free call, and when the control unit detects the start of a hands-free call in the call processing unit, the one voice processing unit The information processing system according to
According to the information processing system of
(構成4)前記制御部は、前記通話処理部が前記ハンズフリー通話を実行しているときに、前記音声分配部から前記音声が入力されている前記音声処理部の情報を表示装置に表示する、構成3に記載の情報処理システム。
構成4の情報処理システムによれば、車両ユーザは、それぞれの音声処理部への音声の入力状態を確認することができるので、車外への通話の漏洩を気にすることなく、安心して通話を行うことができる。
(Configuration 4) The control unit displays information on the voice processing unit to which the voice is input from the voice distribution unit on a display device when the call processing unit is executing the hands-free call. , the information processing system according to
According to the information processing system of configuration 4, the vehicle user can check the state of voice input to each voice processing section, so he or she can talk with confidence without worrying about the voice being leaked outside the vehicle. It can be carried out.
(構成5)前記制御部は、前記通話処理部が前記ハンズフリー通話を実行しているときに、ユーザから入力される切替指示に応じて、前記音声処理部のそれぞれについての、前記音声分配部からの前記音声の入力のオンオフを切り替える、構成3または4に記載の情報処理システム。
構成5の情報処理システムによれば、車両ユーザは、例えば、ハンズフリー通話を実行中であっても、所望のタイミングで所望の音声エージェントサービスを利用することができる。
(Configuration 5) When the call processing unit is executing the hands-free call, the control unit controls the audio distribution unit for each of the audio processing units in response to a switching instruction input from a user. 5. The information processing system according to
According to the information processing system of
(構成6)前記音声処理部は、車両に搭載されたドライブレコーダにおいて音声を録音する録音部を含み、前記制御部は、前記通話処理部が前記ハンズフリー通話を実行しているときにも、前記音声分配部から前記録音部への前記音声の入力を継続する、構成3ないし5のいずれかに記載の情報処理システム。
構成6の情報処理システムによれば、音声を常に記録しておくことが必要なドライブレコーダについては、ハンズフリー通話中であっても、音声録音を常時実行させておくことができる。
(Structure 6) The audio processing unit includes a recording unit that records audio in a drive recorder mounted on the vehicle, and the control unit also controls when the call processing unit is executing the hands-free call. The information processing system according to any one of
According to the information processing system of
(構成7)コンピュータが行う情報処理方法であって、音声を取得するステップと、音声を受信して処理を行う複数の音声処理部の少なくとも一つの動作状態を検知するステップと、前記取得するステップで取得した音声を前記音声処理部へ入力するステップと、を備え、前記入力するステップでは、予め定めた一の前記音声処理部の所定の動作状態が前記検知するステップにおいて検知されたときは、他の前記音声処理部の少なくとも一部への前記音声の入力を停止する、情報処理方法。
構成7の情報処理方法によれば、一の音声処理部が動作を開始した際に、他の音声処理部へ意図せず音声が入力されるのを防止して、情報処理システムとしてのプライバシー保護性能を高めることができる。
(Configuration 7) An information processing method performed by a computer, including the steps of acquiring audio, detecting the operating state of at least one of a plurality of audio processing units that receive and process audio, and the acquiring step. inputting the acquired audio into the audio processing unit, and in the inputting step, when a predetermined operating state of one of the audio processing units is detected in the detecting step, An information processing method that stops inputting the audio to at least some of the other audio processing units.
According to the information processing method of configuration 7, when one audio processing unit starts operating, unintentional input of audio to other audio processing units is prevented, thereby protecting privacy as an information processing system. Performance can be improved.
1…制御システム、2…セントラルECU、3…通信ライン、5…車内接続リンク、6…IVI、8…スピーカ、9…マイクロホン、12…TCU、15…タッチパネル、16…ディスプレイ、17…タッチセンサ、38…ドライブレコーダ、40…情報処理システム、50…第1プロセッサ、51…第1メモリ、52…カメラ、53…録画部、60…第2プロセッサ、61…第2メモリ、62…情報提供部、63…音声取得部、64…音声分配部、65…音声処理部、65a…録音部、65b…エージェント機能部、65b1…第1エージェント機能部、65b2…第2エージェント機能部、65b3…第3エージェント機能部、65c…通話処理部、66…検知部、67…制御部、68…優先度テーブル、70…通信ネットワーク、71、71a、71b、71c…エージェントサーバ、72…音声入力情報画面、73a、73b、73c、73d、73e…ラベル、74a、74b、74c、74d、74e…ボタン。
1... Control system, 2... Central ECU, 3... Communication line, 5... In-vehicle connection link, 6... IVI, 8... Speaker, 9... Microphone, 12... TCU, 15... Touch panel, 16... Display, 17... Touch sensor, 38... Drive recorder, 40... Information processing system, 50... First processor, 51... First memory, 52... Camera, 53... Recording section, 60... Second processor, 61... Second memory, 62... Information providing section, 63...Audio acquisition section, 64...Audio distribution section, 65...Audio processing section, 65a...Recording section, 65b...Agent function section, 65b1...First agent function section, 65b2...Second agent function section, 65b3...Third agent Functional unit, 65c...Call processing unit, 66...Detection unit, 67...Control unit, 68...Priority table, 70...Communication network, 71, 71a, 71b, 71c...Agent server, 72...Voice input information screen, 73a, 73b, 73c, 73d, 73e...Label, 74a, 74b, 74c, 74d, 74e...Button.
Claims (7)
音声を受信して処理を行う複数の音声処理部へ、前記音声取得部が取得した音声を入力する音声分配部と、
少なくとも一つの前記音声処理部の動作状態を検知する検知部と、
前記音声分配部の動作を制御する制御部と、
を備え、
前記制御部は、予め定めた一の前記音声処理部の所定の動作状態を前記検知部が検知したときに、他の前記音声処理部の少なくとも一部への前記音声の入力を停止する、
情報処理システム。 an audio acquisition unit that acquires audio;
an audio distribution unit that inputs the audio acquired by the audio acquisition unit to a plurality of audio processing units that receive and process the audio;
a detection unit that detects the operating state of at least one of the audio processing units;
a control unit that controls the operation of the audio distribution unit;
Equipped with
The control unit stops inputting the audio to at least some of the other audio processing units when the detection unit detects a predetermined operating state of one of the audio processing units.
Information processing system.
請求項1に記載の情報処理システム。 At least a part of the other voice processing unit is an agent function unit that provides a voice agent service through communication with an external server.
The information processing system according to claim 1.
前記制御部は、前記通話処理部におけるハンズフリー通話の開始を検知したときは、前記他の音声処理部の少なくとも一部への前記音声の入力を停止する、
請求項1に記載の情報処理システム。 The first voice processing unit is a call processing unit that processes a hands-free call,
When the control unit detects the start of a hands-free call in the call processing unit, the control unit stops inputting the voice to at least a part of the other voice processing unit.
The information processing system according to claim 1.
請求項3に記載の情報処理システム。 The control unit displays information on the voice processing unit to which the voice is input from the voice distribution unit on a display device when the call processing unit is executing the hands-free call.
The information processing system according to claim 3.
請求項3に記載の情報処理システム。 The control unit is configured to control the voice output from the voice distribution unit for each of the voice processing units in response to a switching instruction input from a user while the call processing unit is executing the hands-free call. toggle input on/off,
The information processing system according to claim 3.
前記制御部は、前記通話処理部が前記ハンズフリー通話を実行しているときにも、前記音声分配部から前記録音部への前記音声の入力を継続する、
請求項3ないし5のいずれか一項に記載の情報処理システム。 The audio processing unit includes a recording unit that records audio on a drive recorder installed in the vehicle,
The control unit continues to input the voice from the voice distribution unit to the recording unit even when the call processing unit is executing the hands-free call.
The information processing system according to any one of claims 3 to 5.
音声を取得するステップと、
音声を受信して処理を行う複数の音声処理部の少なくとも一つの動作状態を検知するステップと、
前記取得するステップで取得した音声を前記音声処理部へ入力するステップと、
を備え、
前記入力するステップでは、予め定めた一の前記音声処理部の所定の動作状態が前記検知するステップにおいて検知されたときは、他の前記音声処理部の少なくとも一部への前記音声の入力を停止する、
情報処理方法。
An information processing method performed by a computer,
a step of obtaining audio;
detecting the operating state of at least one of the plurality of audio processing units that receive and process audio;
inputting the audio acquired in the acquiring step to the audio processing unit;
Equipped with
In the step of inputting, when a predetermined operating state of one of the audio processing units is detected in the detecting step, inputting the audio to at least some of the other audio processing units is stopped. do,
Information processing method.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310087474.3A CN116778952A (en) | 2022-03-17 | 2023-01-28 | Information processing system and information processing method |
US18/167,251 US20230294707A1 (en) | 2022-03-17 | 2023-02-10 | Information processing system and information processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022042292 | 2022-03-17 | ||
JP2022042292 | 2022-03-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023138246A true JP2023138246A (en) | 2023-10-02 |
Family
ID=88197490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022133181A Pending JP2023138246A (en) | 2022-03-17 | 2022-08-24 | Information processing system and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023138246A (en) |
-
2022
- 2022-08-24 JP JP2022133181A patent/JP2023138246A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8676270B2 (en) | Display apparatus, mobile communication terminal and display system | |
US8255007B2 (en) | In-vehicle handsfree apparatus | |
US8478358B2 (en) | In-vehicle apparatus having handsfree function and cellular phone having handsfree function | |
US8175657B2 (en) | In-vehicle apparatus with handsfree function | |
JP5298811B2 (en) | In-vehicle device and cooperative service control program | |
CN101552825B (en) | In-vehicle handsfree apparatus | |
US7257427B2 (en) | System and method for managing mobile communications | |
US8706034B2 (en) | On-vehicle information processing apparatus and method | |
CN110290441B (en) | Wireless earphone control method and device, wireless earphone and storage medium | |
US9924011B2 (en) | Manual bluetooth hands free transfer mode | |
JP2014175814A (en) | On-vehicle electronic device, on-vehicle system, hands-free call program, and hands-free call method | |
US20160065709A1 (en) | Manual bluetooth hands free transfer mode | |
US20190182331A1 (en) | Head Unit of Vehicle and Method for Controlling the Same | |
CA2984640A1 (en) | Manual bluetooth hands free transfer mode | |
JP2023138246A (en) | Information processing system and information processing method | |
CN105818759A (en) | Vehicle-mounted device and control method for display picture and output voice of vehicle-mounted device | |
CN116778952A (en) | Information processing system and information processing method | |
US20230294707A1 (en) | Information processing system and information processing method | |
KR102219224B1 (en) | Vehicle hands-free system | |
CN114979994B (en) | Vehicle-mounted telephone privacy protection method, system and computer readable storage medium | |
CN112153611B (en) | Wireless service configuration method, device, equipment and storage medium | |
KR20200105279A (en) | Multilingual translation system | |
JPH10203257A (en) | Automobile telephone system | |
JP2014086808A (en) | On-vehicle system | |
US11636857B2 (en) | Agent control device, agent control method, and storage medium storing program |