JP2012116442A - 車載端末装置 - Google Patents

車載端末装置 Download PDF

Info

Publication number
JP2012116442A
JP2012116442A JP2010270723A JP2010270723A JP2012116442A JP 2012116442 A JP2012116442 A JP 2012116442A JP 2010270723 A JP2010270723 A JP 2010270723A JP 2010270723 A JP2010270723 A JP 2010270723A JP 2012116442 A JP2012116442 A JP 2012116442A
Authority
JP
Japan
Prior art keywords
voice
output
audio
priority
call
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010270723A
Other languages
English (en)
Other versions
JP5652913B2 (ja
Inventor
Masao Sasaki
昌夫 佐々木
Takaharu Sakata
隆治 坂田
Takahisa Ozaki
貴久 尾▲崎▼
Soichi Saito
創一 斎藤
Takashi Matsushita
傑 松下
Shinichi Yamamoto
慎一 山本
Kazunari Hayashi
一成 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Denso Corp
Original Assignee
Aisin AW Co Ltd
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, Denso Corp filed Critical Aisin AW Co Ltd
Priority to JP2010270723A priority Critical patent/JP5652913B2/ja
Publication of JP2012116442A publication Critical patent/JP2012116442A/ja
Application granted granted Critical
Publication of JP5652913B2 publication Critical patent/JP5652913B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】通話音声と車両に関する案内音声とが重複して入力された場合に、通話先を考慮して、通話の確実性と運転の安全性とのバランスを図りつつ、音声を出力する。
【解決手段】無線通信を用いた車両外部との音声通話による通話音声である第一音声の信号が入力される第一音声入力部32と、車両に関する案内音声を含む音声であって第一音声以外の第二音声の信号が入力される第二音声入力部33と、第一音声及び第二音声の少なくとも一方の出力を行う音声出力部9と、音声出力部9により出力する音声の制御を行う出力制御部31と、を備えた車載端末装置1であって、出力制御部31は、第一音声と第二音声とが重複して入力されている場合に、音声通話の相手先に応じて、第一音声と第二音声との出力割合を決定する。
【選択図】図1

Description

本発明は、無線通信を用いた車両外部との音声通話による通話音声の出力を制御する車両に搭載される車載端末装置に関する。
無線通信を用いた車両外部との音声通話に関わる音声の出力を制御する機能を備えた車載端末装置として、例えば、下記の特許文献1に記載された装置が既に知られている。この車載端末装置では、オーディオ音声の出力中に、ナビゲーション装置の案内音声又は電話の着信音などの割込音声を出力する場合に、各音声の優先度を判定し、優先度の高い音声を出力するように制御している。
しかし、特許文献1の技術では、電話の着信があった場合は、着信音の出力優先度が他の音声よりも高いと判定し、他の音声をミュートして、着信音のみを出力している。従って、着信音の出力中は、ナビゲーション装置の案内音声が生じたとしても出力が禁止される。ナビゲーション装置の案内音声など、車両に関する案内音声には、運転に関する音声が含まれており、着信中に案内音声がミュートされてしまうと、運転の安全性が低下してしまう恐れがある。
一方、仮に、案内音声の出力中は着信音の出力を禁止するようにした場合は、着信先が重要な相手先であった場合でも、通話を開始することができないなど、重要な通話先との通話の確実性が低下してしまう恐れがある。
従って、通話に関わる音声と、案内音声との出力優先度を、通話先に関わらず、一律同じように判定しているのでは、重要な通話先との通話の確実性と運転の安全性とのバランスを取ることが困難であった。
特開2004−320582号公報
そこで、発明が解決しようとする課題は、通話音声と車両に関する案内音声とが重複して入力された場合に、通話先を考慮して、通話の確実性と運転の安全性とのバランスを図ることができる通話音声を出力する車載端末装置を提供することにある。
本発明に係る、無線通信を用いた車両外部との音声通話による通話音声である第一音声の信号が入力される第一音声入力部と、少なくとも車両に関する案内音声を含む音声であって前記第一音声以外の第二音声の信号が入力される第二音声入力部と、前記第一音声及び前記第二音声の少なくとも一方の出力を行う音声出力部と、前記音声出力部により出力する音声の制御を行う出力制御部と、を備えた車両に搭載される車載端末装置の特徴構成は、前記出力制御部が、前記第一音声と前記第二音声とが重複して入力されている場合に、前記音声通話の相手先に応じて、前記第一音声と前記第二音声との出力割合を決定する点にある。
上記の特徴構成によれば、通話先の重要度又は緊急性などに応じて、通話音声である第一音声の第二音声に対する出力割合を増加又は減少させることができる。例えば、通話先の重要度又は緊急度が高い場合などにおいて、通話音声の出力割合を高めることができ、車両内に出力される通話音声以外の音声を低減することができる。よって、通話先から伝達される音声を聞き取り易くでき、通話による情報伝達の確実性を高められる。あるいは、車両内に出力される通話音声以外の音声が、通話先に伝達されることを抑制することができる。
一方、第二音声に含まれる車両に関する案内音声には、例えば、車両周辺の道路情報や、車両の故障情報などの、車両を安全又は快適に運転する上で必要となる情報が含まれる場合がある。従って、通話先の重要度又は緊急度がそれほど高くない場合などは、通話音声の出力割合を適度に低下させて、車両に関する案内音声の出力割合を高めることができる。よって、通話中に、運転の安全性及び快適性が大幅に低下することを防止できると共に、通話に支障が生じることを抑制できる。
ここで、前記第一音声は、優先出力通話先として予め登録された相手先との通話音声である優先第一音声と、それ以外の相手先との通話音声である通常第一音声と、を含み、前記出力制御部は、前記優先第一音声の前記第二音声に対する出力割合を、前記通常第一音声の前記第二音声に対する出力割合よりも高くする構成とすると好適である。
この構成によれば、重要度又は緊急度が高い通話先などについては、優先出力通話先として予め登録することにより、通常の通話よりも通話音声の第二音声に対する出力割合を高めることができる。よって、重要度又は緊急度が高い通話先との、通話による情報伝達の確実性を高めることができる。
また、優先出力通話先に、車両又は搭乗者の緊急時に連絡する緊急通話先を含めた場合は、緊急時の通話による情報伝達を高めることができ、搭乗者の安全性を高めることができる。
また、通話先が優先出力通話先以外の通話先である場合は、優先出力通話先との通話よりも通話音声の第二音声に対する出力割合を低下させて、第二音声の出力をより高めることができる。また、第二音声に含まれる車両に関する案内音声には、車両を安全又は快適に運転する上で必要となる情報が含まれる場合がある。よって、優先出力通話先以外の通話先については通話中に、案内音声による運転の安全性及び快適性が大幅に低下することを防止できると共に、通話に支障が生じることを抑制できる。
ここで、前記出力制御部は、前記第一音声と前記第二音声とが重複して入力されている場合において、前記第一音声として前記優先第一音声を出力する場合には前記第二音声の出力を禁止して前記優先第一音声のみを出力し、前記第一音声として前記通常第一音声を出力する場合には当該通常第一音声と前記第二音声とを共に出力する構成とすると好適である。
この構成によれば、優先出力通話先として登録した通話先については、通話音声以外の音声の出力を禁止するので、通話による情報伝達の確実性を最大限に高めることができる。
一方、優先出力通話先以外の通話先については、通話音声と第二音声を共に出力するので、通話中に、案内音声による運転の安全性及び快適性の大幅な低下を抑制できると共に、通話に支障が生じることを抑制できる。
ここで、前記第二音声は、ナビゲーション装置から出力される音声を含む車両に関する案内音声と、オーディオ再生装置から出力されるオーディオ音声と、を含み、
前記出力制御部は、前記優先第一音声、前記通常第一音声、前記案内音声、及び前記オーディオ音声を含む複数の音声種別のそれぞれについて、音声の出力形態として通常出力及び当該通常出力に対して割り込んで出力する割込出力のいずれかを設定すると共に、同じ出力形態が設定された複数の音声種別のそれぞれに同形態内優先度を設定し、前記出力形態と前記同形態内優先度とに基づいて、各音声種別の音声の出力割合を決定する構成とすると好適である。
この構成によれば、第一音声について、通話先に応じて優先第一音声と通常第一音声とに音声種別を設定しているので、通話先の重要度などに応じた分類をすることができる。また、第二音声について、車両に関する案内音声と、オーディオ音声に音声種別を設定しているので、運転の安全性との関連性などに応じた分類をすることができる。また、案内音声には、ナビゲーション装置から出力される音声が含まれ、当該音声には運転支援を行う音声が含まれるので、案内音声は運転の安全性に大きく関連する。このように分類した各音声種別の音声の出力割合を決定しているので、通話の情報伝達の確実性などを優先して高めたい場合、通話中の案内音声による運転の安全性なども高めたい場合、及びそれ以外の場合に適合して、適切に出力割合を決定することができる。
また、音声には、オーディオ音声のように継続して出力される音声と、車両に関する案内音声のように所定期間だけ出力される音声がある。これらの音声が重複して入力された場合は、継続して出力されている音声に対して、割込んで他の音声を出力する形態となる。上記の構成によれば、各音声種別について、通常音声と、通常音声に割り込んで出力する割込音声との出力形態を設定しているので、音声が重複して入力された場合に適した出力形態に分類することができる。また、各出力形態に分類された音声種別のそれぞれについて同形態内優先度を設定しているので、各音声種別の出力形態毎にランク付けを行うことができ、同じ出力形態内での出力割合の決定が容易になる。
ここで、前記出力制御部は、前記通常第一音声及び前記オーディオ音声の出力形態として通常出力を設定すると共に、前記通常第一音声の出力優先度を前記オーディオ音声の出力優先度より高く設定し、前記優先第一音声及び前記案内音声の出力形態として割込出力を設定すると共に、前記優先第一音声の出力優先度を前記案内音声の出力優先度より高く設定している構成とすると好適である。
この構成によれば、通常第一音声又はオーディオ音声が出力されていても、優先第一音声又は案内音声を割り込んで出力させることができる。よって、優先出力通話先以外の通話先との通話中又はオーディオ音声の出力中においても、通話の情報伝達の確実性又は案内による運転の安全性を高めることができる。
また、通常出力の出力形態の中で、オーディオ音声よりも通常第一音声の出力優先度を高く設定しているので、入力されている第二音声がオーディオ音声である場合は、運転の安全性との関連性がないため、オーディオ音声よりも通常第一音声を優先して出力し、優先出力通話先以外の通話先であっても、通話の情報伝達の確実性を高めることができる。
また、割込出力の出力形態の中で、案内音声よりも優先第一音声の出力優先度を高く設定しているので、優先出力通話先との通話音声を最も優先して出力し、優先出力通話先との通話の情報伝達の確実性を高めることができる。
ここで、前記第二音声は、ナビゲーション装置から出力される音声を含む車両に関する案内音声と、オーディオ再生装置から出力されるオーディオ音声と、を含み、前記出力制御部は、前記オーディオ音声、前記通常第一音声、前記案内音声、前記優先第一音声の順に高くなる出力優先度に基づいて、これらの各音声種別の音声の出力割合を決定する構成とすると好適である。
この構成によれば、優先第一音声を最も優先して出力することができるので、重要度又は緊急度が高い通話先との通話の情報伝達の確実性を最も優先して高めることができる。また、通常第一音声よりも案内音声が優先して出力されるので、優先出力通話先以外の通話先との通話中であっても、車両に関する案内音声を優先して出力することができ、運転の安全性が低下することを防止することができる。また、案内音声には、ナビゲーション装置から出力される運転支援を行う音声が含まれるので、運転の安全性が低下することの防止効果は大きい。オーディオ音声は、通話の情報伝達の確実性又は運転の安全性に大きく関連しない、言うなれば娯楽に関連する音声であるので、出力優先度を最も低く設定しても支障がない。また、オーディオ音声以外の音声を優先して出力することで、通話の情報伝達の確実性又は運転の安全性を高めることができる。
ここで、前記出力制御部は、前記優先第一音声、前記通常第一音声、前記案内音声、及び前記オーディオ音声を含む複数の音声種別のそれぞれについて、前記音声出力部を占有する割合である出力占有率を設定し、当該出力占有率にも基づいて、各音声種別の音声の出力割合を決定する構成とすると好適である。
この構成によれば、各音声種別について、設定された出力占有率に基づいて、音声出力部における各音声種別の音声の出力割合を適切に決定することができる。従って、例えば、スピーカ等の音声出力部を複数備える場合であっても、各音声出力部における各音声種別の音声の出力割合を容易かつ適切に決定できる。
ここで、前記第二音声は、ナビゲーション装置から出力される音声を含む車両に関する案内音声と、オーディオ再生装置から出力されるオーディオ音声と、を含み、前記出力制御部は、前記オーディオ音声と前記案内音声とが重複して入力されている場合には、前記オーディオ音声と前記案内音声とを共に出力し、前記オーディオ音声と前記通常第一音声又は前記優先第一音声とが重複して入力されている場合には、前記オーディオ音声の出力を禁止して前記通常第一音声又は前記優先第一音声を出力し、前記案内音声と前記通常第一音声とが重複して入力されている場合には、前記案内音声と前記通常第一音声とを共に出力し、前記案内音声と前記優先第一音声とが重複して入力されている場合には、前記案内音声の出力を禁止して前記優先第一音声を出力する構成とすると好適である。
この構成によれば、通話先が優先出力通話先である場合は、優先第一音声以外の音声の出力を禁止するので、他の音声が入力されている場合であっても、重要度又は緊急度が高い通話先との通話の情報伝達の確実性を最大限に高めることができる。また、優先出力通話との通話がされていない場合は、オーディオ音声が入力されている場合であっても、入力されている通常第一音声及び案内音声を必ず出力するようにしているので、通話の情報伝達の確実性及び運転の安全性の双方を必ず維持することができる。また、オーディオ音声と通常第一音声が入力されている場合は、オーディオ音声の出力を禁止して、通常第一音声を出力するので、通話中に娯楽に関連するオーディオ音声が出力されることを防止でき、通話の情報伝達の確実性を最大限に高めることができる。一方、オーディオ音声と案内音声が入力されている場合は、オーディオ音声と案内音声とを共に出力し、娯楽と、案内による運転の安全性とを両立することができる。
ここで、前記音声出力部は、複数の出力ユニットを備え、前記出力制御部は、決定した各音声の出力割合に基づいて、複数の前記出力ユニットのそれぞれにおける、各音声の出力割合を設定する構成とすると好適である。
この構成によれば、各出力ユニットで、各音声の出力割合が異なるようにすることができる。よって、各音声について、例えば、各音声を必要とする搭乗者に近い出力ユニットにおいて、必要されている音声の出力割合を高めるなど、各搭乗者が必要としている音声の聞き易さを向上することができる。
もしくは、上記の構成によれば、全ての出力ユニットにおける各音声の出力割合を同じにすることもできる。このようにしても、搭乗者は、決定された出力割合で、車両の内の位置に依存せず各音声を聞くことができる。
本発明の実施形態に係る車載端末装置の構成を示すブロック図である。 本発明の実施形態に係る車載端末装置のハードウエア構成の一例を示すブロック図である。 本発明の本実施形態に係る出力制御部に用いられるテーブルデータである。 本発明の本実施形態に係る出力制御部に用いられるテーブルデータである。 本発明の本実施形態に係る出力制御部に用いられるテーブルデータである。 本発明の本実施形態に係る車載端末装置の処理を示すフローチャート図である。 本発明の本実施形態に係る車載端末装置の処理を示すシーケンス図である。 本発明の本実施形態に係る車載端末装置の処理を示すシーケンス図である。 本発明の別実施形態に係る出力制御部に用いられるテーブルデータである。 本発明の別実施形態に係る出力制御部に用いられるテーブルデータである。
〔第一の実施形態〕
本発明の第一の実施形態について図面に基づいて説明する。図1は、本実施形態に係る車両に搭載される車載端末装置1の構成を模式的に示すブロック図である。車載端末装置1は、無線通信を用いた車両外部との音声通話を行う音声通話装置21、ナビゲーション装置23、及びオーディオ再生装置24を備えており、各装置は、それぞれ、通話音声の信号、車両に関する案内音声の信号、及びオーディオ音声の信号を生成する。ここで、通話音声の信号は、無線通信により、通話の相手先(以下、通話先とも称す)から伝達される音声信号である。そして、車載端末装置1は、通話音声と、車両に関する案内音声と、オーディオ音声との間の出力割合を制御して音声を出力する音声出力装置20を備えている。このような構成において、本実施形態に係る音声出力装置20は、通話音声を第一音声として、案内音声及びオーディオ音声を第二音声として、音声通話の相手先に応じて、第一音声と第二音声との出力割合を決定することに特徴を有している。
1.車載端末装置の構成
このような車載端末装置1のハードウエア構成の一例を、図2に示す。
車載端末装置1は、制御装置2と、制御装置2に接続されている各種機器と、の複数の機器から構成されている。車載端末装置1は、制御装置2と、制御装置2に接続されている各種機器とが協働して、音声通話装置21、ナビゲーション装置23、オーディオ再生装置24、及び音声出力装置20などの各装置として機能する。
1―1.共通部
車載端末装置1のハードウエア構成の内、制御装置2、データ記憶装置4、操作入力装置5、及び表示装置11が、各種機能装置に共用されている共通部17である。
制御装置2は、演算処理装置であり、CPU、ROM、RAM、I/Oインターフェース、これらを接続するバスなどを備えて構成される。制御装置2は、各種プログラムを実行することにより、車載端末装置1の各機器の動作を統合的に制御し、各機能を発揮する。
データ記憶装置4は、制御装置2が用いる各種データを記憶する装置であり、フラッシュメモリや、ハードディスク(HDD)や、DVD−ROMや、CD−ROMなどから構成される。データ記憶装置4に記憶される各種データは、車載端末装置1が備える各種機能のためのプログラム及びデータなどである。なお、データ記憶装置4に記憶されるデータは、無線通信を用いた車両外部とのデータ通信、又は再生装置12にセットされるDVD−ROMなどにより更新可能である。
操作入力装置5は、搭乗者が車載端末装置1を操作する操作入力を受け付ける装置であり、リモコンスイッチや、表示装置11の周辺又は運転席の周辺に配置されたメカニカルスイッチや、表示装置11のディスプレイ上に形成されたタッチスイッチなどから構成される。
表示装置11は、車載端末装置1が備える各機能のメニュー表示画面や、ナビゲーション地図表示画面や、TV画面や、画像再生画面などの各種表示画面を表示する装置であり、例えばカラー液晶ディスプレイから構成される。
1―2.音声通話装置
音声通話装置21は、車両外部との無線通信により、搭乗者が通話先との音声通話を行う機能を備える装置である。また、音声通話装置21は、通常通話機能と緊急通報機能を備えており、緊急時に緊急通報先(通話先)に自動発信を行って音声通話を開始する。また、音声通話装置21は、ハンズフリー機能を備えており、マイクロフォン10、音声出力部9、及び操作入力装置5を用いて、搭乗者が携帯電話15を手に持つことなく音声通話を行うことができる。
まず、図2の例に示した音声通話装置21の機器構成について説明する。音声通話装置21は、共通部17に加えて、無線通信装置7、携帯電話接続装置8、マイクロフォン10、及び車両信号入出力装置6の機器から構成されている。
また、車載端末装置1は、携帯電話接続装置8を介して、車両内部に備えられた携帯電話15と無線又は有線通信により接続される。
データ記憶装置4には、音声通話プログラム、緊急通報プログラム、及び通話先データなどが記憶されている。
無線通信装置7及び携帯電話15は、車両外部に存在する携帯電話通信網などの通信網16との間で無線通信を行う装置であり、通話先への発信又は通話先からの着信により音声回線を接続して音声通信を行う。なお、無線通信装置7及び携帯電話15は、無線通信により通信網16との間で、データ回線を接続してデータ通信も行う。また、無線通信装置7及び携帯電話15が接続する通信網16は、携帯電話通信網に限られず、通信規格に応じて適宜変更可能である。例えば、無線LAN等の公知のインターネット通信網であってもよい。
携帯電話接続装置8は、車両内部に備えられた携帯電話15との間で無線又は有線通信を行う装置である。無線通信として、例えば、Bluetooth、又は無線LANなどの通信規格が用いられる。この通信により、車載端末装置1は、携帯電話15が備える無線通信機能を介して、上記のように、車両外部の通信網16との間で無線通信を行う。
マイクロフォン10は、車両に搭乗している搭乗者などの音声を電気信号に変換する装置である。搭乗者の音声は、マイクロフォン10により電気信号に変換されて車載端末装置1に入力され、無線通信を用いた車両外部との音声通話に用いられる。すなわち、車載端末装置1に入力された搭乗者の音声は、無線通信及び通信網16を介して、通話先に伝達される。なお、車載端末装置1に音声認識機能を備え、搭乗者の音声を、車載端末装置1の音声通話装置21などに対する操作入力とすることにより、マイクロフォン10を操作入力装置5として機能するようにしてもよい。
車両信号入出力装置6は、車両に搭載されているエアバック装置や、衝突検出センサや、その他の各種装置に接続されて、エアバック作動信号や、衝突検出信号や、車両の故障信号などを車載端末装置1に入力する装置であり、緊急通報機能に用いられる。
次に、音声通話装置21の本発明に係わる機能を説明する。
音声通話装置21は、搭乗者が操作入力装置5又は携帯電話15の操作により発信又は着信を行った場合に、無線通信を用いた通話先との音声通話を開始する。また、音声通話装置21は、緊急時に通話先である緊急通報先に自動発信を行った場合にも、無線通信を用いた緊急通報先との音声通話を開始する。
音声通話装置21は、音声通話を開始した場合に、通話先より伝達された音声信号である通話音声の信号を音声出力装置20に出力する。この際、音声通話装置21は、通話音声の信号に加えて、発信又は着信した通話先の電話番号などの通話先を特定できる情報も、音声出力装置20に出力する。また、音声通話装置21は、マイクロフォン10から入力された搭乗者の音声信号を、通話先に伝達する。
音声通話装置21が備える緊急通報機能は以下のようなものである。すなわち、音声通話装置21は、車両信号入出力装置6にエアバック作動信号、衝突検出信号、又は重大な故障検出信号が入力された場合など、車両の重大な事故又は不具合を検出した場合に、緊急通報センターなどの予め設定された通話先である緊急通報先に自動発信し、無線通信を用いた緊急通報先との音声通話を開始する。また、音声通話装置21は、搭乗者が操作入力装置5に備えられた緊急通報スイッチをオンにした場合にも、緊急通報先に自動発信し、音声通話を開始する。
また、音声通話装置21は、緊急通報先との通信が開始した場合に、位置検出装置3を用いて検出した車両の位置情報、及び車両の事故又は不具合の情報を、データ又は音声で緊急通報先に伝達するように構成されている。
緊急通報センターは、通報された状況に応じて適切な処置(サービス)を行うセンターである。緊急通報センターのサービスには、例えば、緊急通報センターのオペレータが、搭乗者との通話により把握した状況、もしくは車両の位置及び事故情報などの状況に応じて、救急機関に状況を連絡して、搭乗者に代わって救急の出動を要請する、あるいは通話回線を適当な救急機関に転送接続する。ここで、救急機関は、警察、消防、病院、又はロードサービス機関などである。
緊急通報センターと接続できない場合、又は緊急通報センターとのサービス契約がない場合などは、音声通話装置21は、救急機関などの緊急通報先に直接発信するようにしてもよい。この際、車両の衝突を検出した場合は、警察、消防に自動的に発信する構成や、搭乗者により緊急通報スイッチがオンにされた場合は、予め登録された複数の緊急通報先から発信先を選択可能に表示し、選択された1つの緊急通報先に発信する構成とすることができる。
1―3.ナビゲーション装置
ナビゲーション装置23は、車両の目的地までの誘導経路の案内を行ったり、車両の周辺の道路情報、規制情報、及び地点情報の案内を行ったりするナビゲーション機能を備える装置である。
まず、図2の例に示したナビゲーション装置23の機器構成について説明する。ナビゲーション装置23は、共通部17に加えて、位置検出装置3、及び車両信号入出力装置6の機器から構成されている。
データ記憶装置4には、ナビゲーションプログラム、地図データ、及び案内データなどが記憶されている。
位置検出装置3は、車両の位置を検出する装置であり、GPS受信機、加速センサ、方位センサ、ジャイロスコープセンサなどから構成される。制御装置2は、位置検出装置3から検出信号が入力されると、車両の現在位置、進行方向、車速などを検出する。なお、位置検出装置3は、車両の位置検出するための各種センサの任意の組み合わせで構成されてもよい。
車両信号入出力装置6は、車両に搭載されている車速検出センサ、ステアリング角度センサなどに接続されて車速検出信号、ステアリング角度信号などを車載端末装置1に入力する装置である。入力された車速検出信号、ステアリング角度信号は、車両の位置検出に用いられる。
次に、ナビゲーション装置23の本発明に係わる機能を説明する。
ナビゲーション装置23は、車両に関する各種案内音声の信号を生成して、生成した案内音声の信号を音声出力装置20に出力する。車両に関する各種案内音声の信号には、車両の目的地までの誘導経路に関する案内音声の信号や、車両の進路前方又は周辺の道路情報、規制情報、地点情報、渋滞情報に関する案内音声の信号などがある。車両に関する案内音声の信号は、車両の走行による位置移動に伴い、車両がイベント地点に到達したときに生成されたり、車両の周辺の渋滞状況などが変化したときに生成されたりする。例えば、ナビゲーション装置23は、車両が誘導経路上の進路変更点に近づいたときに、車両の進路変更に関する案内音声の信号を生成する。また、ナビゲーション装置23は、車両の進路上の渋滞情報を取得したときに、車両の進路上の渋滞情報に関する案内音声の信号を生成する。また、ナビゲーション装置23は、車両が、案内情報が記憶されている地点に近づいたときに、車両の周辺地点の案内情報に関する案内音声の信号を生成する。なお、車両に関する案内音声の信号は、車両信号入出力装置6に入力された車両の故障情報、車両状態情報、メンテナンス情報などに関する案内音声を含むようにしてもよい。また、車両に関する案内音声の信号には、ラジオ電波などによる交通渋滞放送の音声信号、緊急地震速報などの災害放送の音声信号などに関する案内音声を含むようにしてもよい。
1―4.オーディオ再生装置
オーディオ再生装置24は、例えば、再生装置により各種メディアを再生したり、TV又はラジオ電波を受信したり、文字データを読み上げたりして、オーディオ音声の信号を生成する装置である。
まず、図2の例に示したオーディオ再生装置24の機器構成について説明する。オーディオ再生装置24は、共通部17に加えて、再生装置12、チューナー13、及び外部機器接続装置14の機器から構成されている。
データ記憶装置4には、音声再生プログラム及び音声データや、TV及びラジオなどのチューナープログラムや、文字データ読み上げプログラム及び文字データなどが記憶されている。
再生装置12は、再生装置12に着脱可能にセットされるCD、DVDなどのディスクを再生する装置であり、CD、DVDなどに記憶されている音楽データ、動画データを読み取る。なお、再生装置12は、フラッシュメモリ、ハードディスクなどの各種データ記憶装置が着脱可能に接続されて、データ記憶装置に記憶されているデータを読み取るように構成されてもよい。
チューナー13は、TV電波、ラジオ電波などの各種放送用電波を受信する装置である。
外部機器接続装置14は、車載端末装置1と別体構成となっているオーディオ再生装置などの外部機器から出力される音声信号を、車載端末装置1に入力する接続装置である。外部機器接続装置14は、ライン音声入力端子、デジタル音声入力端子、USB接続端子などの各種接続端子を備えている。
次に、オーディオ再生装置24の本発明に係わる機能を説明する。
オーディオ再生装置24は、搭乗者が操作入力装置5を操作して、データ記憶装置4に記憶されている音声データや、再生装置12により読み取られる音楽データの再生指令が入力されている場合に、音声データを再生してオーディオ音声の信号を生成し、生成したオーディオ音声の信号を音声出力装置20に出力する。なお、音声データには、動画データに含まれる音声データも含む。
また、オーディオ再生装置24は、搭乗者が操作入力装置5を操作して、TV又はラジオなどの受信指令が入力されている場合に、チューナー13により受信したTV音声又はラジオ音声の信号からオーディオ音声の信号を生成して、生成したオーディオ音声の信号を音声出力装置20に出力する。
オーディオ再生装置24は、搭乗者が操作入力装置5を操作して、外部機器接続装置14に入力されている音声信号を出力する指令が入力されている場合に、外部機器接続装置14に入力されている音声信号をオーディオ音声の信号として生成し、生成したオーディオ音声の信号を音声出力装置20に出力する。
オーディオ再生装置24は、搭乗者が操作入力装置5を操作して、文字データの読み上げ指令が入力されている場合に、文字データを読み上げるオーディオ音声の信号を生成し、生成したオーディオ音声の信号を音声出力装置20に出力する。
1―5.音声出力装置
音声出力装置20は、各装置から入力された音声信号である、通話音声の信号と、車両に関する案内音声の信号と、オーディオ音声の信号との間の出力割合を制御して音声を出力する装置である。
音声出力装置20は、共通部17に加えて、音声出力部9の機器から構成されている。
データ記憶装置4には、音声出力プログラム、出力優先データ、及び優先通話先データなどが記憶されている。
音声出力部9は、音声出力装置20内で各音声信号の出力割合が制御されて合成された音声信号を、単数又は複数のスピーカから出力する装置である。なお、音声出力部9は、アンプ及びスピーカを備えずに、ライン音声出力端子、デジタル音声出力端子、ヘッドフォン音声出力端子などの音声出力端子を備えるようにして、アンプ及びスピーカを車載端末装置1と別体構成としてもよい。また、音声出力部9は、アンプ及びスピーカと、各種音声出力端子との双方を備えるようにしてもよい。
音声出力部9は、モノラル音声、ステレオ音声、サラウンド音声などの音声チャンネル数の仕様に応じて、アンプ及びスピーカ、もしくは音声出力端子の仕様が変化する。本発明では、各音声チャンネルに対応する、アンプ及びスピーカ、もしくは音声出力端子を出力ユニットとする。
以下、本実施形態に係る車載端末装置1が備える音声出力装置20について、詳細に説明する。
図1に示すように、本実施形態では、通常通信及び緊急通信の双方を含む通話音声が第一音声であり、案内音声及びオーディオ音声が第二音声である。
音声出力装置20は、無線通信を用いた車両外部との音声通話による通話音声である第一音声の信号が入力される第一音声入力部32と、少なくとも車両に関する案内音声を含む音声であって第一音声以外の第二音声の信号が入力される第二音声入力部33と、第一音声及び第二音声の少なくとも一方の出力を行う音声出力部9と、音声出力部9により出力する音声の制御を行う出力制御部31と、を備えている。
このような構成において、本実施形態に係る出力制御部31は、第一音声と第二音声とが重複して入力されている場合に、音声通話の相手先に応じて、第一音声と第二音声との出力割合を決定することに特徴を有している。
また、音声出力装置20は、第一音声を、音声通話の相手先に応じて、優先第一音声と、通常第一音声との二種類の音声種別に分類している。ここで、優先第一音声は、優先出力通話先37として予め登録された通話先からの通話音声であり、通常第一音声は、優先出力通話先37以外の通話先である通常出力通話先38との通話音声である。
そして、出力制御部31は、優先第一音声の第二音声に対する出力割合を、通常第一音声の第二音声に対する出力割合よりも高くする。
このように構成しているので、重要度又は緊急度が高い通話先などについては、優先出力通話先として予め登録することにより、通常の通話よりも通話音声の第二音声に対する出力割合を高めることができる。よって、車両内に出力される通話音声以外の音声を低減することができる。従って、通話先から伝達される音声を聞き取り易くでき、通話による情報伝達の確実性を高められる。
また、通話先が優先出力通話先以外の通話先である場合は、優先出力通話先との通話よりも通話音声の第二音声に対する出力割合を低下させて、第二音声の出力をより高めることができる。また、第二音声に含まれる車両に関する案内音声には、例えば、車両周辺の道路情報や、車両の故障情報などの、車両を安全又は快適に運転する上で必要となる情報が含まれる。よって、優先出力通話先以外の通話先については通話中に、案内による運転の安全性及び快適性が大幅に低下することを防止できると共に、通話に支障が生じることを抑制できる。
優先出力通話先37としては、好適には、車両又は搭乗者に重大な事故又は不具合が生じた場合などの緊急事態において連絡する通話先が登録される。本実施形態では、図4に示すように、優先出力通話先37としては、音声通話装置21における緊急通報先、例えば、緊急通報センター、もしくは警察、消防、病院、及びロードサービス機関などの救急機関が登録されている。このように構成することで、音声通話装置21の緊急通報機能により緊急時に緊急通報先に発信した場合に連動して、音声出力装置20は、緊急通報先からの通話音声である優先第一音声の第二音声に対する出力割合を、通常第一音声の第二音声に対する出力割合よりも高くすることになる。従って、緊急通報先からの通話音声を、通常通話時より明瞭にすることができ、緊急時の情報伝達をより確実にすることができる。
なお、優先出力通話先37は、搭乗者の入力、又は車載端末装置1のデータ更新により適宜変更可能であり、優先出力通話先37として登録されている緊急通報先を変更し、あるいは、優先出力通話先37に緊急通報先以外の通話先を登録することができる。この緊急通報先以外の通話先は、搭乗者が通話音声である第一音声の第二音声に対する出力割合を高くしたい通話先であり、仕事関係などの公用の通話先も好適である。
以下、上記のような、音声出力装置20の機能を実現するためのより具体的な構成について説明する。
1―5−1.第一音声入力部及び第二音声入力部
図1に示すように、音声通話装置21から出力された通話音声の信号は、第一音声の信号として音声出力装置20の第一音声入力部32に入力される。また、第一音声入力部32には、音声出力装置20から、通話先の情報も入力される。
また、ナビゲーション装置23から出力された車両に関する案内音声の信号は、第二音声の信号として音声出力装置20の第二音声入力部33に入力される。オーディオ再生装置24から出力されたオーディオ音声の信号も、第二音声の信号として第二音声入力部33に入力される。
本実施形態では、この音声信号の入出力は、同一の制御装置2内で行われており、第一音声入力部32及び第二音声入力部33は、ソフトウエアインターフェースである。なお、音声出力装置20と、音声通話装置21、ナビゲーション装置23、又はオーディオ再生装置24とが、それぞれ個別の制御装置を備える構成とした場合は、第一音声入力部32又は第二音声入力部33を、ハードウエアインターフェースとしてもよい。
1―5−2.出力制御部
図1に示すように、第一音声入力部32に入力された第一音声の信号及び通話先の情報と、第二音声入力部33に入力された単数又は複数の第二音声の信号とは、そのまま出力制御部31に入力される。
出力制御部31は、本実施形態では、出力優先決定部34、出力割合決定部35、及び出力音声合成部36の機能部から構成される。出力優先決定部34は、通話先に応じて入力された第一音声の信号と第二音声の信号との間の出力優先度を決定する。出力割合決定部35は、決定された出力優先度に基づき、入力された第一音声の信号と第二音声の信号との間の出力割合を決定する。出力音声合成部36は、決定した各音声の出力割合に基づき、第一音声の信号と第二音声音の信号とを合成し、音声出力部9から出力される出力音声用の音声信号を生成する。以下に、各機能部34、35、36を詳細に説明する。
1―5−2−1.出力優先決定部
出力優先決定部34は、入力されている第一音声信号の通話先に応じて、入力されている第一音声信号と第二音声信号との間の出力優先度を決定する。
また、出力優先決定部34は、入力されている第一音声信号の通話先が優先出力通話先である場合は、第一音声信号の音声種別を優先第一音声信号と決定し、第一音声信号の通話先が優先出力通話先以外の通話先である通常出力通話先の場合は、第一音声信号の音声種別を通常第一音声信号と決定する。そして、出力優先決定部34は、優先第一音声の第二音声に対する出力割合を、通常第一音声の第二音声に対する出力割合よりも高くする。なお、出力優先決定部34は、第二音声として入力されている案内音声信号又はオーディオ音声信号の音声種別を、それぞれの入力先に基づいて案内音声又はオーディオ音声と認識して決定する。
このように構成しているので、第一音声について、通話先に応じて優先第一音声と通常第一音声とに音声種別を設定しているので、通話先の重要度などに応じた分類をすることができる。また、第二音声について、車両に関する案内音声と、オーディオ音声に音声種別を設定しているので、運転の安全性との関連性に応じた分類をすることができる。また、案内音声には、ナビゲーション装置23から出力される音声が含まれ、当該音声には運転支援を行う音声が含まれるので、案内音声は運転の安全性に大きく関連する。このように分類した各音声種別の音声の出力割合を決定しているので、通話の情報伝達の確実性などを優先して高めたい場合、案内による運転の安全性なども高めたい場合、及びそれ以外の場合に適合して、適切に出力割合を決定することができる。
第一音声信号の音声種別の決定方法について、より具体的に説明する。
出力優先決定部34は、出力制御部31に入力された通話先の情報から、通話先が優先出力通話先であるか、通常出力通話先であるか判定する。ここで、入力された通話先の情報は、通話先を特定できる情報であり、通話先の電話番号、名称、又は分類などである。より具体的には、出力優先決定部34は、入力された通話先の電話番号、名称、又は分類が、予め登録されている優先出力通話先の電話番号、名称、又は分類に一致するか判定し、一致した場合は、通話先を優先出力通話先であると決定し、一致しなかった場合は、通話先を通常出力通話先であると決定する。
例えば、図4に示すように、少なくとも優先出力通話先の名称及び電話番号を登録したテーブルデータを(電話番号は不図示)、データ記憶装置4に記憶しておき、出力優先決定部34は、入力された通話先の名称及び電話番号に基づき、テーブルデータを検索することにより、通話先が優先出力通話先37であるか通常出力通話先38であるか判定する。なお、緊急通報先を優先出力通話先の登録データに含めるとよい。もしくは、出力優先決定部34は、入力された第一音声が緊急通報機能により発信された通話音声であると判定した場合は、通話先の情報を判定することなしに、通話先を優先出力通話先37と決定するようにしてもよい。また、データ記憶装置4に、公衆又は私用の電話帳データベースが記憶されるように構成し、優先出力通話先として登録した分類と一致する電話帳データベースの通話先を優先出力通話先としてもよい。例えば、登録した分類を、警察、消防、病院、ロードサービス機関とすると、電話帳データベースに登録されている全ての警察、消防、病院、ロードサービス機関の通話先が優先出力通話先とされる。
次に、出力優先度の決定方法について、より具体的に説明する。出力優先決定部34は、入力されている音声信号の音声種別に応じて、出力優先度を決定する。本実施形態では、出力優先決定部34は、図3に示すテーブルデータのように、全ての音声種別のそれぞれについて、音声の出力形態として、通常出力、及び当該通常出力に対して割り込んで出力する割込出力のいずれかを予め設定すると共に、同じ出力形態が設定された複数の音声種別のそれぞれに同形態内優先度を予め設定した優先度設定データを、データ記憶装置4に記憶している。そして、出力優先決定部34は、優先度設定データに記憶された、出力形態と、出力形態別に設定された同形態内優先度とに基づき、入力されている各音声信号の出力優先度を決定する。なお、出力形態として割込出力に設定された各音声種別の出力優先度は、出力形態として通常出力に設定された各音声種別の出力優先度より高く決定される。
ところで、音声には、オーディオ音声のように継続して出力される音声と、車両に関する案内音声のように所定期間だけ出力される音声がある。これらの音声が重複して入力された場合は、継続して出力されている音声に対して、割込んで他の音声を出力する形態となる。上記優先度設定データの構成によれば、各音声種別について、通常音声と、通常音声に割り込んで出力する割込音声との出力形態を設定しているので、音声が重複して入力された場合に適した出力形態に分類することができる。また、各出力形態に分類された音声種別のそれぞれについて同形態内優先度を設定しているので、各音声種別の出力形態毎にランク付けを行うことができ、同じ出力形態内での出力割合の決定が容易になる。
図3に示すように、出力優先決定部34は、通常第一音声及びオーディオ音声の音声種別については、出力形態として通常出力を設定すると共に、通常第一音声の出力優先度をオーディオ音声の出力優先度より高く設定している。なお、図3の例では、値が小さいほど出力優先度が高い。また、出力優先決定部34は、優先第一音声及び案内音声の音声種別については、出力形態として割込出力を設定すると共に、優先第一音声の出力優先度を案内音声の出力優先度より高く設定している。
例えば、案内音声と通常通話音声との音声種別の音声信号が重複して入力されている場合に、出力優先決定部34は、案内音声と通常通話音声とに設定されている出力形態が異なるため、出力形態に基づき、割込出力に設定されている案内音声の出力優先度を、通常出力に設定されている通常通話音声の出力優先度より高く決定する。
また、案内音声と優先通話音声との音声種別の音声信号が重複して入力されている場合に、出力優先決定部34は、案内音声と優先通話音声とに設定されている出力形態が同じ割込出力であるため、案内音声及び優先通話音声に設定されている出力優先度に基づき、優先通話音声の出力優先度を、案内音声の出力優先度より高く決定する。
また、オーディオ音声と優先通話音声との音声種別の音声信号が重複して入力されている場合に、出力優先決定部34は、オーディオ音声と優先通話音声とに設定されている出力形態が異なるため、出力形態に基づき、割込出力に設定されている優先通話音声の出力優先度を、通常出力に設定されているオーディオ音声の出力優先度より高く決定する。
また、オーディオ音声と通常通話音声との音声種別の音声信号が重複して入力されている場合に、出力優先決定部34は、オーディオ音声と通常通話音声とに設定されている出力形態が同じ通常出力であるため、オーディオ音声及び通常通話音声に設定されている出力優先度に基づき、通常通話音声の出力優先度を、オーディオ音声の出力優先度より高く決定する。
なお、4つの音声種別について考慮すると、出力優先度は、オーディオ音声、通常第一音声、案内音声、優先第一音声の順に高くなるように決定される。図5に示すように、各音声種別について出力形態及び同形態内優先度を設定せずに、出力優先度のみを設定するようにしてもよい。
1―5−2−2.出力割合決定部
出力割合決定部35は、出力優先決定部34により決定された出力優先度に基づいて、出力制御部31に入力されている第一音声信号と第二音声信号との出力割合を決定する。言いかえれば、出力制御部31は、出力形態と同形態内優先度とに基づいて、各音声種別の音声の出力割合を決定する。
上記のように、出力優先決定部34は、入力されている第一音声信号の通話先に応じて、入力されている第一音声信号と第二音声信号との間の出力優先度を決定する。よって、出力割合決定部35は、入力されている第一音声信号の通話先に応じて、入力されている第一音声信号と第二音声信号との出力割合を決定する。
また、上記のように、出力優先決定部34は、入力されている第一音声信号の通話先が優先出力通話先である場合は、通話先が通常出力通話先である場合に比べ、第一音声の第二音声に対する出力優先度をより高く決定する。よって、出力割合決定部35は、入力されている第一音声信号の通話先が優先出力通話先である場合は、通話先が通常出力通話先である場合に比べ、基本的に、第一音声の第二音声に対する出力割合をより高く設定する。
本実施形態では、出力割合決定部35は、図3に示すテーブルデータのように、全ての音声種別のそれぞれについて、音声出力部9から出力される音声である出力音声を優先的に占有する割合である出力占有率を予め設定した出力占有率設定データを、データ記憶装置4に記憶している。そして、出力割合決定部35は、入力されている各音声信号について決定された出力優先度に加え、出力占有率設定データに記憶された出力占有率にも基づいて、入力されている各音声種別の音声信号の出力割合を決定する。
出力割合の決定方法についてより具体的に説明する。出力割合決定部35は、入力されている各音声信号の中で、出力優先度がより高く決定されている音声信号から順番に、設定されている出力占有率を上限として、出力音声を占有していき、最終的に各音声信号が出力音声に対して占有した割合を、各音声信号の出力割合として決定する。
図3に示す例では、優先第一音声、案内音声、通常第一音声、オーディオ音声の各音声種別の出力占有率は、それぞれ100%、50%、100%、100%と設定されている。
例えば、優先第一音声と案内音声の音声信号が入力されている場合は、優先第一音声の出力優先度は案内音声の出力優先度より高く決定されるため、まず優先第一音声が設定された出力占有率である100%の出力音声を占有する。これにより、残りの占有可能な割合は0%となり、案内音声の出力音声の占有割合は0%となる。よって、優先第一音声と案内音声の音声信号の出力割合は、それぞれ100%、0%となる。
この例からもわかるように、優先第一音声の音声信号が入力されている場合は、案内音声及びオーディオ音声の第二音声信号が入力されていても優先第一音声の出力優先度が最も高くなるため、優先第一音声の音声信号の出力割合は、設定されている出力占有率の100%となり、第二音声信号の出力割合は残りの0%となる。よって、通話先が優先出力通話先であり、第一音声として優先第一音声を出力する場合には、出力割合決定部35は、案内音声及びオーディオ音声の第二音声の出力を禁止して優先第一音声のみを出力する。
また例えば、通常第一音声と案内音声の音声信号が入力されている場合は、案内音声の出力優先度は通常第一音声の出力優先度より高く決定されるため、まず案内音声が設定された出力占有率である50%を上限として出力音声を占有する。これにより、残りの占有可能な出力音声の割合は50%となる。次に出力優先度が高い通常第一音声に設定された出力占有率である100%を上限として、残りの出力音声を占有する。すなわち、通常第一音声の出力音声の占有割合は50%となる。よって、通常第一音声と案内音声の音声信号の出力割合は、それぞれ50%、50%となる。
この例からもわかるように、通常第一音声の音声信号が入力されていても案内音声の音声信号が入力される場合は、通常第一音声よりも案内音声の出力優先度の方が高くなるため、案内音声の音声信号の出力割合は、設定された出力占有率の50%分だけ優先的に確保され、通常第一音声の音声信号は、残りの出力割合の50%分となる。よって、通話先が優先出力通話先でなく、第一音声として通常第一音声を出力する場合には、出力割合決定部35は、通常第一音声と案内音声の第二音声とを共に出力する。
また例えば、案内音声とオーディオ音声の音声信号が入力されている場合は、案内音声の出力優先度はオーディオ音声の出力優先度より高く決定されるため、まず案内音声に設定された出力占有率である50%を上限として出力音声を占有する。これにより、残りの占有可能な出力音声の割合は50%となる。次に出力優先度が高いオーディオ音声に設定されている出力占有率である100%を上限として、残りの出力音声を占有する。すなわち、オーディオ音声の出力音声の占有割合は50%となる。よって、案内音声とオーディオ音声の音声信号の出力割合は、それぞれ50%、50%となる。
この例からもわかるように、オーディオ音声の音声信号が入力されていても案内音声の音声信号が入力される場合は、オーディオ音声よりも案内音声の出力優先度の方が高くなるため、案内音声の音声信号の出力割合は、設定された出力占有率の50%分だけ優先的に確保され、オーディオ音声の音声信号は、残りの出力割合の50%分となる。よって、オーディオ音声と案内音声とが重複して入力されている場合には、出力割合決定部35は、オーディオ音声と案内音声とを共に出力する。
また例えば、通常第一音声とオーディオ音声の音声信号が入力されている場合は、通常第一音声の出力優先度はオーディオ音声の出力優先度より高く決定されるため、まず通常第一音声が設定された出力占有率である100%の出力音声を占有する。これにより、残りの占有可能な割合は0%となり、オーディオ音声による出力音声の占有割合は0%となる。よって、通常第一音声とオーディオ音声の音声信号の出力割合は、それぞれ100%、0%となる。
この例からもわかるように、オーディオ音声の音声信号が入力されていても第一音声の音声信号が入力される場合は、オーディオ音声よりも第一音声の出力優先度の方が高くなるため、第一音声の音声信号の出力割合は、設定されている出力占有率の100%となり、オーディオ音声の出力割合は残りの0%となる。よって、オーディオ音声と通常第一音声又は優先第一音声とが重複して入力されている場合には、出力割合決定部35は、オーディオ音声の出力を禁止して通常第一音声又は前記優先第一音声を出力する。
このように構成しているので、通話先が優先出力通話先である場合は、優先第一音声以外の音声の出力を禁止するので、他の音声が入力されている場合であっても、重要度又は緊急度が高い通話先との通話の情報伝達の確実性を最大限に高めることができる。また、優先出力通話との通話がされていない場合は、オーディオ音声が入力されている場合であっても、入力されている通常第一音声及び案内音声を必ず出力するようにしているので、通話の情報伝達の確実性及び案内による運転の安全性の双方を必ず維持することができる。また、オーディオ音声と通常第一音声が入力されている場合は、オーディオ音声の出力を禁止して、通常第一音声を出力するので、通話中に娯楽に関連するオーディオ音声が出力されることを防止でき、通話の情報伝達の確実性を最大限に高めることができる。一方、オーディオ音声と案内音声が入力されている場合は、オーディオ音声と案内音声とを共に出力し、娯楽と運転の安全性とを両立することができる。
1―5−2−3.出力音声合成部
出力音声合成部36は、出力割合決定部35が決定した各音声の出力割合に基づき、第一音声の信号と第二音声音の信号とを合成し、音声出力部9から出力される出力音声用の音声信号を生成する。
出力音声合成部36は、決定した各音声の出力割合に、出力音声の全ての音声チャンネル(全ての出力ユニット)から出力される出力音声の合計での各音声の出力割合が一致するように、出力音声用の音声信号を生成する。
出力音声合成部36は、決定した各音声の出力割合に基づいて、複数の出力ユニットのそれぞれにおける各音声の出力割合を設定し、出力音声用の音声信号を生成する。より具体的には、第一の設定方法として、各出力ユニットそれぞれにおける各音声の出力割合の全てを、決定した各音声の出力割合に設定する方法がある。また、第二の設定方法として、各出力ユニットそれぞれにおける各音声の出力割合を互いに異なるように設定するともに、全ての出力ユニットから出力される出力音声の合計での各音声の出力割合が、決定した各音声の出力割合に一致するように設定する方法である。
本実施形態では、第二の設定方法を採用する。具体的には、出力割合決定部35は、図3に示すように、出力占有率設定データに、各音声種別について設定した出力占有率に加えて、各音声種別について、占有出力ユニットを設定する。ここで、占有出力ユニットは、複数の出力ユニットを備える場合に、各音声種別の音声により、優先的に占有する出力ユニットである。
ここでは、出力音声のチャンネル数をステレオ音声の2チャンネルとして、第一出力ユニット及び第二出力ユニットの2つの出力ユニットを備える構成を例に説明する。
例えば、通常第一音声信号と案内音声信号が重複して入力されており、図3に示す出力占有率設定データが設定されている場合には、上記のように、案内音声信号の出力優先度は、通常第一音声信号の出力優先度より高く決定される。そして、案内音声の占有出力ユニットが、第一出力ユニットに設定されているので、第一出力ユニットの出力音声が、案内音声100%の出力割合に設定され、第二出力ユニットの出力音声が、通常第一音声100%の出力割合に設定される。これにより、全ての出力ユニットから出力される出力音声の合計での各音声の出力割合が案内音声50%、通常第一音声50%に設定される。
また、オーディオ音声信号と案内音声信号が重複して入力されている場合には、上記のように、案内音声信号の出力優先度は、オーディオ音声信号の出力優先度より高く決定される。そして、案内音声の占有出力ユニットが、第一出力ユニットに設定されているので、第一出力ユニットの出力音声が、案内音声100%の出力割合に設定され、第二出力ユニットの出力音声が、オーディオ音声100%の出力割合に設定される。これにより、全ての出力ユニットから出力される出力音声の合計での各音声の出力割合が案内音声50%、オーディオ音声50%に設定される。
1―5−3.音声出力部
図1に示すように、出力制御部31により生成された出力音声用の音声信号は、音声出力部9に入力される。音声出力部9は、出力ユニット毎に生成された音声信号を、各出力ユニットから出力する。
2.車載端末装置の処理
次に、車載端末装置1の音声出力装置20における処理について、図6に示すフローチャートを参照して説明する。まず、出力制御部31は、通話音声の信号、案内音声の信号、及びオーディオ音声の信号の中で、複数の音声信号が音声出力装置20に入力されているか判定する(ステップ♯40)。複数の音声信号が入力されていると判定した場合には(ステップ#40:Yes)、出力制御部31は、出力優先決定部34により、通話先に応じて、第一音声としての通話音声が優先第一音声か通常第一音声かを判定し、音声出力装置20に入力されている優先第一音声の音声、通常第一音声の音声、案内音声の音声、又はオーディオ音声の信号の間の出力優先度を決定する(ステップ♯41)。次に、出力制御部31は、出力割合決定部35により、決定された出力優先度に基づき、入力されている優先第一音声の信号、通常第一音声の信号、案内音声の信号、又はオーディオ音声の信号の間の出力割合を決定する(ステップ♯42)。次に、出力制御部31は、出力音声合成部36により、決定した各音声の出力割合に基づき、入力されている優先第一音声の信号、通常第一音声の信号、案内音声の信号、又はオーディオ音声の信号を合成し、音声出力部9から出力される出力音声用の音声信号を生成する(ステップ♯43)。そして、音声出力部9は、生成された出力音声用の音声信号を音声出力する、すなわち、入力されている優先第一音声の信号、通常第一音声の信号、案内音声の信号、又はオーディオ音声の信号を決定された出力割合で出力する(ステップ♯44)。
次に、車載端末装置1の処理について、図7及び図8に示すシーケンス図の例に基づき説明する。図7及び図8は、車載端末装置1の処理のシーケンス図であり、縦軸は時間を示す。シーケンス図のオブジェクトに、音声通話装置21、ナビゲーション装置23、オーディオ再生装置24、出力制御部31、第一出力ユニット用の音声信号1及び第二出力ユニット用の音声信号2が設定されている。また、各オブジェクトについて示される矩形は、処理が起動中であることを示す。
図7は、通話先が通常出力通話先である場合における、通話音声と案内音声とオーディオ音声との間の出力優先についての処理を示している。
図8は、通話先が優先出力通話先である場合における、通話音声と案内音声とオーディオ音声との間の出力優先についての処理を示している。
最初に、図7に示す通話先が通常出力通話先である場合について説明する。
図7は、オーディオ再生装置24によるオーディオ音声の再生中に、音声通話装置21による通常出力通話先との音声通話が開始し、通常出力通話先との音声通話中にナビゲーション装置23による案内音声が生成された事例における処理を示している。
まず、オーディオ再生装置24が、搭乗者の操作指令により、音楽データの再生を開始する(ステップ♯51)。続いて、オーディオ再生装置24が、音声データを再生してオーディオ音声信号を生成する(ステップ♯52)。オーディオ音声信号が出力制御部31に入力された場合に、出力制御部31が、他の音声信号が入力されていないので、オーディオ音声の出力優先度が最も高いと決定し、オーディオ音声100%の出力割合で、各出力ユニット用の音声信号1及び音声信号2の生成を開始する(ステップ♯53)。続いて、出力制御部31が、オーディオ音声信号から出力音声用の音声信号1及び音声信号2を生成して、第一出力ユニット及び第二出力ユニットから音声出力させる(ステップ♯54、♯55)。
その後、音声通話装置21が、発信又は着信により、通常出力通話先との音声通話を開始する(ステップ♯56)。続いて、音声通話装置21が、通話音声信号を生成する(ステップ♯57)。通話音声信号が出力制御部31に入力された場合、出力制御部31が、通話先から通常通話音声であると判定する共に、通常通話音声の出力優先度は、オーディオ音声の出力優先度より高いと決定する(ステップ♯58)。続いて、出力制御部31が、決定した出力優先度に基づき、通常通話音声100%の出力割合を決定し、音声信号1及び音声信号2の生成を開始する(ステップ♯59)。続いて、出力制御部31が、オーディオ音声信号からの音声信号の生成を終了し、通常通話音声信号から音声信号1及び音声信号2を生成して、第一出力ユニット及び第二出力ユニットから音声出力させる(ステップ♯60、♯61)。
その後、ナビゲーション装置23が、イベント地点に到達したことなどにより、案内音声の信号の生成を開始する(ステップ♯62)。続いて、ナビゲーション装置23が、案内音声信号を生成する(ステップ♯63)。案内音声信号が出力制御部31に入力された場合、出力制御部31が、案内音声、通常通話音声、オーディオ音声の順に出力優先度が高くなると決定する(ステップ♯64)。続いて、出力制御部31が、決定した出力優先度に基づき、案内音声50%、通常通話音声50%の出力割合を決定し、音声信号1及び音声信号2の生成を開始する(ステップ♯65)。ここで、図7には、上記した、図3に示した出力占有率設定データに基づいて、各出力ユニット用の音声信号が生成される場合の例を示しており、音声信号1が案内音声100%の出力割合に設定され、音声信号2が通常第一音声100%の出力割合に設定されている。続いて、出力制御部31が、音声信号1については、通常通話音声からの音声信号の生成を終了し、案内音声からの音声信号を生成して、第一出力ユニットから音声出力させる(ステップ♯66)。なお、音声信号2については、引き続き、通常通話音声からの音声信号が生成される。
その後、ナビゲーション装置23が、案内が終了したことなどにより、案内音声の信号の生成を終了する(ステップ♯67)。案内音声信号が出力制御部31に入力されなくなった場合に、出力制御部31が、通常通話音声、オーディオ音声の順に出力優先度が高くなると決定し、決定した出力優先度に基づき、通常通話音声100%の出力割合を決定し、音声信号1及び音声信号2の生成を開始する(ステップ♯68)。続いて、出力制御部31が、音声信号1については、案内音声からの音声信号の生成を終了し、通常通話音声からの音声信号を生成して、第一出力ユニットから音声出力させる(ステップ♯69)。なお、音声信号2については、引き続き、通常通話音声からの音声信号が生成される。
その後、音声通話装置21が、通話が終了したことなどにより、通話音声の信号の生成を終了する(ステップ♯70)。通話音声の信号が出力制御部31に入力されなくなった場合に、出力制御部31が、オーディオ音声の出力優先度が最も高いと決定し、オーディオ音声100%の出力割合で、音声信号1及び音声信号2の生成を開始する(ステップ♯71)。続いて、出力制御部31が、オーディオ音声信号から音声信号1及び音声信号2を生成して、第一出力ユニット及び第二出力ユニットから音声出力させる(ステップ♯72、♯73)。
次に、図8に示す通話先が優先出力通話先である場合について説明する。
図8は、オーディオ再生装置24によるオーディオ音声の再生中に、音声通話装置21による優先出力通話先との音声通話が開始し、優先出力通話先との音声通話中にナビゲーション装置23による案内音声が生成された事例における処理を示している。
まず、オーディオ再生装置24が、音楽データの再生を開始する(ステップ♯101)。続いて、オーディオ再生装置24が、音声データを再生してオーディオ音声信号を生成する(ステップ♯102)。オーディオ音声信号が出力制御部31に入力された場合に、出力制御部31が、他の音声信号が入力されていないので、オーディオ音声の出力優先度が最も高いと決定し、オーディオ音声100%の出力割合で、音声信号1及び音声信号2の生成を開始する(ステップ♯103)。続いて、出力制御部31が、オーディオ音声信号から音声信号1及び音声信号2を生成して、第一出力ユニット及び第二出力ユニットから音声出力させる(ステップ♯104、♯105)。
その後、音声通話装置21が、救急通報機能による発信などにより、優先出力通話先との音声通話を開始する(ステップ♯106)。続いて、音声通話装置21が、通話音声信号を生成する(ステップ♯107)。通話音声信号が出力制御部31に入力された場合、出力制御部31が、通話先から優先通話音声であると判定する共に、優先通話音声の出力優先度は、オーディオ音声の出力優先度より高いと決定する(ステップ♯108)。続いて、出力制御部31が、決定した出力優先度に基づき、優先通話音声100%の出力割合を決定し、音声信号1及び音声信号2の生成を開始する(ステップ♯109)。続いて、出力制御部31が、オーディオ音声信号からの音声信号の生成を終了し、優先通話音声信号から音声信号1及び音声信号2を生成して、第一出力ユニット及び第二出力ユニットから音声出力させる(ステップ♯110、♯111)。
その後、ナビゲーション装置23が、案内音声の信号の生成を開始する(ステップ♯112)。続いて、ナビゲーション装置23が、案内音声信号を生成する(ステップ♯113)。案内音声信号が出力制御部31に入力された場合、出力制御部31が、優先通話音声、案内音声、オーディオ音声の順に出力優先度が高くなると決定し、決定した出力優先度に基づき、優先通話音声100%の出力割合を決定する。そして、出力制御部31が、決定前後で出力割合に変更がないと判定し、音声信号1及び音声信号2の生成の開始又は終了の処理を行うことなく処理を終了する(ステップ♯114)。
〔その他の実施形態〕
(1)上記の実施形態においては、装置20〜24が、共通部17として制御装置2、データ記憶装置4、操作入力装置5、及び表示装置11を備えた一体的な装置として構成されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、装置20〜24のそれぞれ、又は装置20〜24の任意の組み合わせのそれぞれが、制御装置2、データ記憶装置4、操作入力装置5、及び表示装置11を備えた、別体として構成されるようにすることも本発明の好適な実施形態の一つである。この場合、装置20〜24の間の音声信号などの信号の入出力は、上記のように、ハードウエアインターフェースを介して行なわれる。
(2)上記の実施形態においては、音声通話装置21における無線通信を行う装置として、携帯電話15に接続される携帯電話接続装置8、及び無線通信装置7を備える場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、音声通話装置21における無線通信を行う装置として、携帯電話15に接続される携帯電話接続装置8、又は無線通信装置7のいずれか一方を備えるようにすることも本発明の好適な実施形態の一つである。
(3)上記の実施形態においては、音声通話装置21は、携帯電話15又は無線通信装置7のいずれか一方により、音声通話を行う場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、携帯電話15及び無線通信装置7が重複して回線を接続している場合は、通話先が優先出力通話先である通話音声の信号が音声出力装置20から出力されるようにすることも本発明の好適な実施形態の一つである。また、携帯電話15及び無線通信装置7の通話先が共に優先出力通話先である場合は、先に回線を接続した方、あるいは優先出力通話先に登録された通話先の中でより優先度の高い通話先に回線を接続している方の通話音声が出力されるようにしてもよい。
(4)上記の実施形態においては、出力制御部31が、優先第一音声の信号と案内音声の信号が重複して入力される場合は、出力割合を優先通話音声100%、案内音声0%と決定し、通常第一音声の信号と案内音声の信号が重複して入力される場合は、出力割合を通常通話音声50%、案内音声50%と決定する場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、出力制御部31は、優先第一音声の案内音声に対する出力割合が、通常第一音声の案内音声に対する出力割合よりも高くなるように決定すればよく、例えば、それぞれの場合において、出力割合を優先通話音声90%、案内音声10%と決定し、通常通話音声60%、案内音声40%と決定することも本発明の好適な実施形態の一つである。また、この出力割合の変更のために、出力占有率の設定も変更される。例えば、優先通話音声、案内音声、通常通話音声の出力占有率は、それぞれ、90%、40%、90%に変更される。
(5)上記の実施形態においては、出力制御部31が、優先通話音声、案内音声、通常通話音声、及びオーディオ音声の種別毎に一括して出力割合を決定し、出力占有率を設定する場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、出力制御部31は、優先第一音声の案内音声に対する出力割合が、通常第一音声の案内音声に対する出力割合よりも高くなるように決定すればよく、例えば、優先通話先に登録された警察、会社などの通話先毎、または経路案内音声、渋滞案内音声などの案内音声の種類毎、通常通話先に登録された友人、家族などの通話先毎に各音声種別の出力割合を決定し、出力占有率を設定することも本発明の好適な実施形態の一つである。もしくは、緊急通報機能が検出した事故、故障の種類、又はオンにされた緊急通報スイッチに応じて、優先通話音声の出力割合を決定し、出力占有率を設定してもよい。
(6)上記の実施形態においては、通常通話音声の出力形態が、通常出力として設定されている場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、通常通話音声の出力形態を、割込出力として設定し、同形態内優先度を3に設定し、割込出力の出力形態内で、通常通話音声、案内音声、優先通話音声の順に同形態内優先度が高くなるように設定することも本発明の好適な実施形態の一つである。
(7)上記の実施形態においては、オーディオ音声の信号に、音声データの再生、TV電波の受信、文字データの読み上げなどにより生成される音声の信号が含まれる場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、オーディオ音声の信号に、通話音声及び車両に関する案内音声を除く音声信号であって、上記したオーディオ音声信号以外の音声信号が含まれてもよく、例えば、テレマティクスサービスによる各種情報サービスの音声信号を含むようにすることも本発明の好適な実施形態の一つである。テレマティクスサービスには、電子メールサービス、ニュース配信サービスなどがある。
(8)上記の実施形態においては、出力割合決定部35は、出力占有率設定データに、図3に示したように、各音声種別について、出力占有率及び占有出力ユニットを設定する場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、出力割合決定部35は、出力占有率設定データに、各音声種別について、出力占有率を設定せずに、占有出力ユニットのみを設定することも本発明の好適な実施形態の一つである。そして、出力割合決定部35は、入力されている各音声信号の中で、出力優先度がより高く決定されている音声信号から順番に、設定されている占有出力ユニットの出力音声を占有していき、この結果、複数の出力ユニットのそれぞれにおける各音声の出力割合が決定されるようにしてもよい。
例えば、図3に代えて、図9に示す出力占有率設定データに変更することができる。すなわち、図3において、100%の出力占有率が設定されていた音声種別については、図9において、占有出力ユニットとして「第一出力ユニット及び第二出力ユニット」が設定される。また、図3において、50%の出力占有率に加え、占有出力ユニットとして「第一出力ユニット」が設定されていた音声種別については、図9において、占有出力ユニットとして「第一出力ユニット」が設定される。
このようにしても、通常第一音声信号と案内音声信号が重複して入力された場合は、第一出力ユニットの出力音声が案内音声100%の出力割合に設定され、第二出力ユニットの出力音声が通常第一音声100%の出力割合に設定される。
(9)上記の実施形態においては、出力割合決定部35は、出力占有率設定データに、図3に示したように、各音声種別について、出力占有率及び占有出力ユニットを設定する場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、出力割合決定部35は、上記した第一の設定方法の場合では、図10に示すように、出力占有率設定データに、各音声種別について、占有出力ユニットを設定せずに出力占有率のみを設定することも本発明の好適な実施形態の一つである。そして、出力割合決定部35は、上記したように、図10に設定された出力占有率に基づき各音声の出力割合を決定し、各出力ユニットそれぞれにおける各音声の出力割合の全てを、決定した各音声の出力割合に設定する。
本発明は、無線通信を用いた車両外部との音声通話による通話音声の出力を制御する車両に搭載される車載端末装置に好適に利用することができる。
1:車載端末装置
2:制御装置
3:位置検出装置
4:データ記憶装置
5:操作入力装置
6:車両信号入出力装置
7:無線通信装置
8:携帯電話接続装置
9:音声出力部
10:マイクロフォン
11:表示装置
12:再生装置
13:チューナー
14:外部機器接続装置
15:携帯電話
16:通信網
20:音声出力装置
21:音声通話装置
23:ナビゲーション装置
24:オーディオ再生装置
31:出力制御部
32:第一音声入力部
33:第二音声入力部
34:出力優先決定部
35:出力割合決定部
36:出力音声合成部
37:優先出力通話先
38:通常出力通話先

Claims (9)

  1. 車両に搭載される車載端末装置であって、
    無線通信を用いた車両外部との音声通話による通話音声である第一音声の信号が入力される第一音声入力部と、
    少なくとも車両に関する案内音声を含む音声であって前記第一音声以外の第二音声の信号が入力される第二音声入力部と、
    前記第一音声及び前記第二音声の少なくとも一方の出力を行う音声出力部と、
    前記音声出力部により出力する音声の制御を行う出力制御部と、を備え、
    前記出力制御部は、前記第一音声と前記第二音声とが重複して入力されている場合に、前記音声通話の相手先に応じて、前記第一音声と前記第二音声との出力割合を決定する車載端末装置。
  2. 前記第一音声は、優先出力通話先として予め登録された相手先との通話音声である優先第一音声と、それ以外の相手先との通話音声である通常第一音声と、を含み、
    前記出力制御部は、前記優先第一音声の前記第二音声に対する出力割合を、前記通常第一音声の前記第二音声に対する出力割合よりも高くする請求項1に記載の車載端末装置。
  3. 前記出力制御部は、前記第一音声と前記第二音声とが重複して入力されている場合において、前記第一音声として前記優先第一音声を出力する場合には前記第二音声の出力を禁止して前記優先第一音声のみを出力し、前記第一音声として前記通常第一音声を出力する場合には当該通常第一音声と前記第二音声とを共に出力する請求項2に記載の車載端末装置。
  4. 前記第二音声は、ナビゲーション装置から出力される音声を含む車両に関する案内音声と、オーディオ再生装置から出力されるオーディオ音声と、を含み、
    前記出力制御部は、前記優先第一音声、前記通常第一音声、前記案内音声、及び前記オーディオ音声を含む複数の音声種別のそれぞれについて、音声の出力形態として通常出力及び当該通常出力に対して割り込んで出力する割込出力のいずれかを設定すると共に、同じ出力形態が設定された複数の音声種別のそれぞれに同形態内優先度を設定し、前記出力形態と前記同形態内優先度とに基づいて、各音声種別の音声の出力割合を決定する請求項2又は3に記載の車載端末装置。
  5. 前記出力制御部は、前記通常第一音声及び前記オーディオ音声の出力形態として通常出力を設定すると共に、前記通常第一音声の出力優先度を前記オーディオ音声の出力優先度より高く設定し、前記優先第一音声及び前記案内音声の出力形態として割込出力を設定すると共に、前記優先第一音声の出力優先度を前記案内音声の出力優先度より高く設定している請求項4に記載の車載端末装置。
  6. 前記第二音声は、ナビゲーション装置から出力される音声を含む車両に関する案内音声と、オーディオ再生装置から出力されるオーディオ音声と、を含み、
    前記出力制御部は、前記オーディオ音声、前記通常第一音声、前記案内音声、前記優先第一音声の順に高くなる出力優先度に基づいて、これらの各音声種別の音声の出力割合を決定する請求項2又は3に記載の車載端末装置。
  7. 前記出力制御部は、前記優先第一音声、前記通常第一音声、前記案内音声、及び前記オーディオ音声を含む複数の音声種別のそれぞれについて、前記音声出力部を占有する割合である出力占有率を設定し、当該出力占有率にも基づいて、各音声種別の音声の出力割合を決定する請求項4から6の何れか一項に記載の車載端末装置。
  8. 前記第二音声は、ナビゲーション装置から出力される音声を含む車両に関する案内音声と、オーディオ再生装置から出力されるオーディオ音声と、を含み、
    前記出力制御部は、
    前記オーディオ音声と前記案内音声とが重複して入力されている場合には、前記オーディオ音声と前記案内音声とを共に出力し、
    前記オーディオ音声と前記通常第一音声又は前記優先第一音声とが重複して入力されている場合には、前記オーディオ音声の出力を禁止して前記通常第一音声又は前記優先第一音声を出力し、
    前記案内音声と前記通常第一音声とが重複して入力されている場合には、前記案内音声と前記通常第一音声とを共に出力し、
    前記案内音声と前記優先第一音声とが重複して入力されている場合には、前記案内音声の出力を禁止して前記優先第一音声を出力する
    請求項2から7の何れか一項に記載の車載端末装置。
  9. 前記音声出力部は、複数の出力ユニットを備え、
    前記出力制御部は、決定した各音声の出力割合に基づいて、複数の前記出力ユニットのそれぞれにおける、各音声の出力割合を設定する請求項1から8の何れか一項に記載の車載端末装置。
JP2010270723A 2010-12-03 2010-12-03 車載端末装置 Active JP5652913B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010270723A JP5652913B2 (ja) 2010-12-03 2010-12-03 車載端末装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010270723A JP5652913B2 (ja) 2010-12-03 2010-12-03 車載端末装置

Publications (2)

Publication Number Publication Date
JP2012116442A true JP2012116442A (ja) 2012-06-21
JP5652913B2 JP5652913B2 (ja) 2015-01-14

Family

ID=46499807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010270723A Active JP5652913B2 (ja) 2010-12-03 2010-12-03 車載端末装置

Country Status (1)

Country Link
JP (1) JP5652913B2 (ja)

Cited By (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016519454A (ja) * 2013-03-14 2016-06-30 アップル インコーポレイテッド 割り込みのコンテクスト依存処理
JP2016188915A (ja) * 2015-03-30 2016-11-04 東芝テック株式会社 サイネージ端末、サイネージシステム及びプログラム
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274482A (ja) * 2002-03-15 2003-09-26 Alpine Electronics Inc 音声出力処理装置
JP2004320582A (ja) * 2003-04-18 2004-11-11 Toyota Motor Corp 車載用割込信号出力装置
JP2009004823A (ja) * 2007-06-19 2009-01-08 Nec Corp 自動車内通話環境制御システム,携帯端末,自動車内通話環境制御方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274482A (ja) * 2002-03-15 2003-09-26 Alpine Electronics Inc 音声出力処理装置
JP2004320582A (ja) * 2003-04-18 2004-11-11 Toyota Motor Corp 車載用割込信号出力装置
JP2009004823A (ja) * 2007-06-19 2009-01-08 Nec Corp 自動車内通話環境制御システム,携帯端末,自動車内通話環境制御方法およびプログラム

Cited By (198)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928604B2 (en) 2005-09-08 2024-03-12 Apple Inc. Method and apparatus for building an intelligent automated assistant
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11023513B2 (en) 2007-12-20 2021-06-01 Apple Inc. Method and apparatus for searching using an active ontology
US10381016B2 (en) 2008-01-03 2019-08-13 Apple Inc. Methods and apparatus for altering audio output signals
US9865248B2 (en) 2008-04-05 2018-01-09 Apple Inc. Intelligent text-to-speech conversion
US10108612B2 (en) 2008-07-31 2018-10-23 Apple Inc. Mobile device having human language translation capability with positional feedback
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10643611B2 (en) 2008-10-02 2020-05-05 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11080012B2 (en) 2009-06-05 2021-08-03 Apple Inc. Interface for a virtual digital assistant
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US10049675B2 (en) 2010-02-25 2018-08-14 Apple Inc. User profiling for voice input processing
US10692504B2 (en) 2010-02-25 2020-06-23 Apple Inc. User profiling for voice input processing
US10417405B2 (en) 2011-03-21 2019-09-17 Apple Inc. Device access using voice authentication
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11350253B2 (en) 2011-06-03 2022-05-31 Apple Inc. Active transport based notifications
US11069336B2 (en) 2012-03-02 2021-07-20 Apple Inc. Systems and methods for name pronunciation
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10079014B2 (en) 2012-06-08 2018-09-18 Apple Inc. Name recognition system
US9971774B2 (en) 2012-09-19 2018-05-15 Apple Inc. Voice-based media searching
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10714117B2 (en) 2013-02-07 2020-07-14 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
JP2016519454A (ja) * 2013-03-14 2016-06-30 アップル インコーポレイテッド 割り込みのコンテクスト依存処理
KR101762052B1 (ko) 2013-03-14 2017-07-26 애플 인크. 인터럽션들의 상황 감응 처리
EP2973542B1 (en) * 2013-03-14 2020-01-22 Apple Inc. Context-sensitive handling of interruptions
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9966060B2 (en) 2013-06-07 2018-05-08 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US10657961B2 (en) 2013-06-08 2020-05-19 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10769385B2 (en) 2013-06-09 2020-09-08 Apple Inc. System and method for inferring user intent from speech inputs
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11048473B2 (en) 2013-06-09 2021-06-29 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US11314370B2 (en) 2013-12-06 2022-04-26 Apple Inc. Method for extracting salient dialog usage from live data
US10497365B2 (en) 2014-05-30 2019-12-03 Apple Inc. Multi-command single utterance input method
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10083690B2 (en) 2014-05-30 2018-09-25 Apple Inc. Better resolution when referencing to concepts
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US10699717B2 (en) 2014-05-30 2020-06-30 Apple Inc. Intelligent assistant for home automation
US10714095B2 (en) 2014-05-30 2020-07-14 Apple Inc. Intelligent assistant for home automation
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10657966B2 (en) 2014-05-30 2020-05-19 Apple Inc. Better resolution when referencing to concepts
US10417344B2 (en) 2014-05-30 2019-09-17 Apple Inc. Exemplar-based natural language processing
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US10904611B2 (en) 2014-06-30 2021-01-26 Apple Inc. Intelligent automated assistant for TV user interactions
US10431204B2 (en) 2014-09-11 2019-10-01 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10438595B2 (en) 2014-09-30 2019-10-08 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10453443B2 (en) 2014-09-30 2019-10-22 Apple Inc. Providing an indication of the suitability of speech recognition
US9986419B2 (en) 2014-09-30 2018-05-29 Apple Inc. Social reminders
US10390213B2 (en) 2014-09-30 2019-08-20 Apple Inc. Social reminders
US11231904B2 (en) 2015-03-06 2022-01-25 Apple Inc. Reducing response latency of intelligent automated assistants
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US10311871B2 (en) 2015-03-08 2019-06-04 Apple Inc. Competing devices responding to voice triggers
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US10529332B2 (en) 2015-03-08 2020-01-07 Apple Inc. Virtual assistant activation
JP2016188915A (ja) * 2015-03-30 2016-11-04 東芝テック株式会社 サイネージ端末、サイネージシステム及びプログラム
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
US10681212B2 (en) 2015-06-05 2020-06-09 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10356243B2 (en) 2015-06-05 2019-07-16 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11010127B2 (en) 2015-06-29 2021-05-18 Apple Inc. Virtual assistant for media playback
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10354652B2 (en) 2015-12-02 2019-07-16 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US11069347B2 (en) 2016-06-08 2021-07-20 Apple Inc. Intelligent automated assistant for media exploration
US10733993B2 (en) 2016-06-10 2020-08-04 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US10942702B2 (en) 2016-06-11 2021-03-09 Apple Inc. Intelligent device arbitration and control
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US10580409B2 (en) 2016-06-11 2020-03-03 Apple Inc. Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10553215B2 (en) 2016-09-23 2020-02-04 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US10332518B2 (en) 2017-05-09 2019-06-25 Apple Inc. User interface for correcting recognition errors
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US10755703B2 (en) 2017-05-11 2020-08-25 Apple Inc. Offline personal assistant
US10847142B2 (en) 2017-05-11 2020-11-24 Apple Inc. Maintaining privacy of personal information
US10410637B2 (en) 2017-05-12 2019-09-10 Apple Inc. User-specific acoustic models
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US10789945B2 (en) 2017-05-12 2020-09-29 Apple Inc. Low-latency intelligent automated assistant
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US10791176B2 (en) 2017-05-12 2020-09-29 Apple Inc. Synchronization and task delegation of a digital assistant
US10810274B2 (en) 2017-05-15 2020-10-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10482874B2 (en) 2017-05-15 2019-11-19 Apple Inc. Hierarchical belief states for digital assistants
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US10909171B2 (en) 2017-05-16 2021-02-02 Apple Inc. Intelligent automated assistant for media exploration
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10403283B1 (en) 2018-06-01 2019-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US10684703B2 (en) 2018-06-01 2020-06-16 Apple Inc. Attention aware virtual assistant dismissal
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US11495218B2 (en) 2018-06-01 2022-11-08 Apple Inc. Virtual assistant operation in multi-device environments
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones

Also Published As

Publication number Publication date
JP5652913B2 (ja) 2015-01-14

Similar Documents

Publication Publication Date Title
JP5652913B2 (ja) 車載端末装置
JP3287281B2 (ja) メッセージ処理装置
US8275307B2 (en) Vehicle audio integrator
JP6501217B2 (ja) 情報端末システム
EP1494364A1 (en) Device for controlling audio data output
JP2009002850A (ja) 車載システム及び現在位置目印地点案内方法
JP5413321B2 (ja) 通信システム、車載端末、および携帯端末
RU2627127C2 (ru) Система и способ ослабления звука в транспортном средстве для прослушивания указаний от мобильных приложений
JP2010130223A (ja) 音声操作システムおよび音声操作方法
JP2006211365A (ja) ハンズフリー装置、ナビゲーション装置及び割り込み着信通知方法
US20220095046A1 (en) Hybrid in-car speaker and headphone based acoustical augmented reality system
JP5172875B2 (ja) 音声出力システム
JP2014219617A (ja) 音声案内システム及び音声案内方法
JP2003051896A (ja) 車載用通信装置及びその方法
JP2009023486A (ja) 車載用の音声処理装置、音声処理システム、及び音声処理方法
US20220210584A1 (en) Vehicle assistive hearing
WO2016092765A1 (ja) 音声制御システム、車載装置、音声制御方法
WO2020142600A1 (en) In-car headphone acoustical augmented reality system
JP5794971B2 (ja) 音声出力システム
JP3985668B2 (ja) ナビゲーション装置
JP4867624B2 (ja) 音声出力制御装置および車両用ナビゲーション装置
US11974103B2 (en) In-car headphone acoustical augmented reality system
JP6841536B1 (ja) 翻訳システム
JPH11338671A (ja) 電子メールの受信メッセージ出力方法
JP2012070155A (ja) 車載機器の出力音制御方法および車載機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141114

R150 Certificate of patent or registration of utility model

Ref document number: 5652913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250