JP2013167806A - 情報通知支援装置、情報通知支援方法、および、プログラム - Google Patents

情報通知支援装置、情報通知支援方法、および、プログラム Download PDF

Info

Publication number
JP2013167806A
JP2013167806A JP2012031752A JP2012031752A JP2013167806A JP 2013167806 A JP2013167806 A JP 2013167806A JP 2012031752 A JP2012031752 A JP 2012031752A JP 2012031752 A JP2012031752 A JP 2012031752A JP 2013167806 A JP2013167806 A JP 2013167806A
Authority
JP
Japan
Prior art keywords
message
user
unit
information
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2012031752A
Other languages
English (en)
Inventor
Hiroko Fujii
寛子 藤井
Masaru Suzuki
優 鈴木
Kazuo Sumita
一男 住田
Masaru Sakai
優 酒井
Masahide Arisei
政秀 蟻生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2012031752A priority Critical patent/JP2013167806A/ja
Priority to US13/729,687 priority patent/US10068575B2/en
Publication of JP2013167806A publication Critical patent/JP2013167806A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L15/222—Barge in, i.e. overridable guidance for interrupting prompts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)

Abstract


【課題】適切なタイミングで、メッセージをユーザーに通知することが可能な情報通知支援装置、情報通知支援方法およびプログラムを提供する。
【解決手段】実施形態の情報通知支援装置は、解析部と記憶部と出力部と出力制御部とを備える。解析部は、入力された音声を解析する。記憶部は、解析部による解析結果を示す音声情報を記憶する。出力部は、メッセージを出力する。出力制御部は、記憶部に記憶された音声情報を用いて、ユーザーがメッセージを聞き取ることが可能な状況であるか否かを判断し、ユーザーがメッセージを聞き取ることが可能な状況であると判断した場合は、メッセージを出力するように出力部を制御する。
【選択図】図２

Description

本発明の実施形態は、情報通知支援装置、情報通知支援方法およびプログラムに関する。
近年、スマートフォンなどの携帯端末の普及により、いつでも必要な時に情報検索サービスやチケット予約サービス等、ネットワーク上のサービスを利用できるようになってきた。また、音声認識技術および音声合成技術の性能向上により、音声入力や音声出力の機能を持つＰＣ（Personal Computer）や携帯端末等の電子機器も増えている。例えば音声認識による入力と、音声合成による出力のどちらも行えるヘッドセット等の入出力装置を用いることにより、携帯端末やＰＣなどの電子機器が離れた場所にあっても、当該電子機器に対して処理要求を出したり、処理結果を聞いたりすることが可能となる。このため、利用者は、両手がふさがっている場合や、他の作業を行っている場合にも必要な情報を得ることができる。
ところで、実際の処理を行う電子機器と離れていても操作が可能な状況は便利である一方、システム（電子機器）からのメッセージはいつ通知されるかわからない。このため、例えば、会話をしている最中に、次の会議予定の通知が来たり、スケジュール確認など、利用者の要求に対する応答が返ってくることがあり得る。会話の声(利用者自身の発話、あるいは対話する相手の発話)とシステムからのメッセージ（「システム応答」）が重なってしまうと、会話の妨げとなり、さらにシステム応答も聞き取りにくくなってしまう。このため、会話とシステム応答が重ならないよう、システム応答を出力するタイミングを制御する必要がある。
例えば特許文献１には、各ユーザーの業務状況をリアルタイムに把握しているサーバ装置が、各ユーザーのリアルタイムの業務状況を提示することにより、各ユーザーは、自分がコミュニケーションを取ろうとしている相手の状況を把握することができるという技術が開示されている。しかしながら、この技術は、各ユーザーのリアルタイムの業務状況を提示するのみであり、メッセージを出力するタイミングを制御することまでは行わない。また、例えば特許文献２には、ユーザーとシステムとが対話を行う場合に、ユーザーの発話とシステム応答が重ならないように制御する技術が開示されている。この技術では、ユーザーが発話すると、システム側はユーザーの発話意図を分類し、分類された発話意図に応じた応答候補を選定する。各応答候補には応答文のメッセージを出力するまでの待ち時間が設定されており、当該待ち時間の間にユーザーからの新たな発話がなかった場合にのみ応答文のメッセージが出力される。しかしながら、この技術では、ユーザーの現在の状況に関わらず、待ち時間が経過しない限り、応答文のメッセージは出力されないので、メッセージを出力するタイミングが適切でない場合も発生する。
特開２００９−２０６７２号公報 特開２０１０−１５２１１９号公報
上述の従来技術では、適切なタイミングで、メッセージをユーザーに通知することは困難であるという問題がある。本発明が解決しようとする課題は、適切なタイミングで、メッセージをユーザーに通知することが可能な情報通知支援装置、情報通知支援方法およびプログラムを提供することである。
実施形態の情報通知支援装置は、解析部と記憶部と出力部と出力制御部とを備える。解析部は、入力された音声を解析する。記憶部は、解析部による解析結果を示す音声情報を記憶する。出力部は、メッセージを出力する。出力制御部は、記憶部に記憶された音声情報を用いて、ユーザーがメッセージを聞き取ることが可能な状況であるか否かを判断し、ユーザーがメッセージを聞き取ることが可能な状況であると判断した場合は、メッセージを出力するように出力部を制御する。
実施形態の情報通知支援方法は、ユーザーに対してメッセージを通知する情報通知支援方法であって、入力された音声を解析し、その解析結果を示す音声情報を記憶部に記憶し、記憶部に記憶された音声情報を用いて、ユーザーがメッセージを聞き取ることが可能な状況であるか否かを判断し、ユーザーが前記メッセージを聞き取ることが可能な状況であると判断した場合は、メッセージを出力する。
実施形態のプログラムは、解析ステップと記憶ステップと出力制御ステップとをコンピュータに実行させるためのプログラムである。解析ステップは、入力された音声を解析する。記憶ステップは、解析ステップの解析結果を示す音声情報を記憶部に記憶する。出力制御ステップは、記憶部に記憶された音声情報を用いて、ユーザーがメッセージを聞き取ることが可能な状況であるか否かを判断し、ユーザーがメッセージを聞き取ることが可能な状況であると判断した場合は、メッセージを出力する。
第１実施形態のシステムの構成例を示すブロック図。 第１実施形態の情報通知支援装置の機能構成例を示すブロック図。 第１実施形態の情報通知支援装置による処理動作の一例を示す図。 第１実施形態の情報通知支援装置による処理動作の一例を示す図。 第１実施形態におけるユーザーの会話の一例を示す図。 第１実施形態の音声入力履歴情報の一例を示す図。 第１実施形態の判定部による判定方法の一例を示すフローチャート。 第１実施形態の判定表の一例を示す図。 第１実施形態の受信メッセージリストの一例を示す図。 第２実施形態の情報通知支援装置の機能構成例を示すブロック図。 第２実施形態の判定部による判定方法の一例を説明するための図。
以下、添付図面を参照しながら、本発明に係る情報通知支援装置、情報通知支援方法およびプログラムの実施の形態を詳細に説明する。以下の各実施形態では、ユーザーの耳に装着されるとともに遠隔のシステム本体と連携する情報通知支援装置を介して、ユーザーへの情報提供サービスを行うシステム形態を前提として説明する。このシステムでは、例えばスケジュール情報を示すメッセージをユーザーに通知することもできるし、ユーザーからの音声による要求に対する処理結果を示すメッセージをユーザーに通知することもできる。
（第１実施形態）
図１は、本実施形態のシステム１の概略構成例を示すブロック図である。図１に示すように、システム１は、ユーザーＡの耳に装着可能な情報通知支援装置１０１と、情報通知支援装置１０１と接続されるシステム本体１００１と、ユーザーＢの耳に装着可能な情報通知支援装置１０２と、情報通知支援装置１０２と接続されるシステム本体１００２とを備える。図１の例では、システム１に含まれる情報通知支援装置およびシステム本体の各々の数は２つである形態を例示しているが、これに限らず、システム１に含まれる情報通知支援装置およびシステム本体の各々の数は任意である。以下の説明では、ユーザーＡの耳に装着可能な情報通知支援装置１０１と、情報通知支援装置１０１と接続されるシステム本体１００１に着目して説明するが、ユーザーＢの耳に装着可能な情報通知支援装置１０２、情報通知支援装置１０２と接続されるシステム本体１００２の構成も同様である。
情報通知支援装置１０１は、無線ＬＡＮ等を介して、遠隔にあるシステム本体１００１と接続されている。システム本体１００１は、例えばＰＣ（Personal Computer）やスマートフォンなどで構成され得る。システム本体１００１は、インターネット等を介して、検索やチケット予約などの各種サービスを提供することができる。情報通知支援装置１０１は、システム本体１００１から受信したメッセージを、ユーザーＡに通知する。つまり、ユーザーＡは、情報通知支援装置１０１を通じて、システム本体１００１からのメッセージを聞くことができる。例えば、ユーザーＡは、次の会議の開始時刻前に、もうすぐ会議が始まる旨のメッセージを聞くこともできる。また、ユーザーＡは、システム本体１００１に対する要求の結果を示すメッセージを聞くこともできる。例えば、知らない単語の意味を検索するようユーザーＡが要求した場合は、その結果を聞くこともできる。
図２は、情報通知支援装置１０１の機能構成例を示すブロック図である。図２に示すように、情報通知支援装置１０１は、音声入力部２０１と、解析部２０２と、判定部２０３と、通信部２０４と、通信制御部２０５と、記憶部２０６と、出力制御部２０７と、受信通知部２０８と、出力部２０９とを備える。
音声入力部２０１は、例えばマイクなどによって取り込まれた、ユーザーＡの周囲の音声を受理する。音声入力部２０１は、情報通知支援装置１０１を装着したユーザーＡの音声だけでなく、その周囲に存在する他のユーザーＢの音声も入力として受理する。
解析部２０２は、音声入力部２０１で受理された音声（入力された音声）を解析する。より具体的には、解析部２０２は、音声入力部２０１で音声を受理した時刻や、その音声が、ユーザーＡの音声であるか否か等の解析を行う。そして、解析部２０２は、解析結果を示す音声情報を記憶部２０６に登録する。後述するように、音声情報には、発話が開始される時刻を示す発話開始時刻と、発話が行われる時間を示す発話時間とが少なくとも含まれる。
判定部２０３は、記憶部２０６に記憶された音声情報を用いて、ユーザーの現在の状況を判定する。そして、その判定結果を示す状況情報を記憶部２０６に登録する。この詳細な内容については後述する。
通信部２０４は、システム本体１００１と通信する。例えば、通信部２０４は、システム本体１００１に対するユーザーの要求を示す情報をシステム本体１００１へ送信することもできるし、システム本体１００１からのメッセージを受信することもできる。
通信制御部２０５は、通信部２０４による情報の送受信に関する制御を行う。例えば通信制御部２０５は、メッセージの発行者や発行時刻、メッセージの内容等を解析する処理を行うこともできる。
記憶部２０６は各種の情報を記憶する。より具体的には、記憶部２０６は、解析部２０２による解析結果を示す音声情報、および、判定部２０３による判定結果を示す状況情報を記憶する。また、記憶部２０６は、音声情報および状況情報に加えて、ユーザーＡのスケジュール情報や、ＧＰＳを利用するなどして得たユーザーＡの位置情報を記憶することもできるし、情報通知支援装置１０１とシステム本体１００１との間で行われた通信の結果を時間情報とともに記憶することもできる。
出力制御部２０７は、通信部２０４で受信したシステム本体１００１からのメッセージをユーザーＡに通知するタイミングを決定する。詳細な内容は後述するが、システム本体１００１からのメッセージを通信部２０４で受信した場合、出力制御部２０７は、記憶部２０６に記憶された状況情報を用いて、ユーザーが、システム本体１００１からのメッセージを聞き取ることが可能な状況であるか否かを判断する。そして、ユーザーが、システム本体１００１からのメッセージを聞き取ることが可能な状況であると判断した場合、出力制御部２０７は、通信部２０４で受信したメッセージを出力するように出力部２０９を制御する。一方、ユーザーが、システム本体１００１からのメッセージを聞き取ることが可能な状況ではないと判断した場合、出力制御部２０７は、まずはメッセージを受信したことを知らせる通知音を出力するように受信通知部２０８を制御し、受信したメッセージとユーザーの現在の状況との関連度やメッセージの重要度に応じて、メッセージの内容を出力するタイミングを制御する。
受信通知部２０８は、出力制御部２０７の制御の下、メッセージを受信したことを知らせる通知音を出力する。受信通知部２０８による通知音のパターンは、受信したメッセージとユーザーの現在の状況との関連度やメッセージの重要度に応じて異なる。
出力部２０９は、メッセージの内容を示す音声を出力する。より具体的には、出力部２０９は、出力制御部２０７の制御の下、通信部２０４で受信したシステム本体１００１からのメッセージの内容を示す音声をユーザーＡに対して出力する。
次に、図３および図４を参照しながら、本実施形態の情報通知支援装置１０１による処理動作の一例を説明する。図３は、情報通知支援装置１０１が音声入力を受理した場合、および、ユーザーＡの現在の状況を判定する場合の処理動作の一例を示す図である。図３に示すように、まず音声入力受理ステップＳ４０１で、音声入力部２０１は、ユーザーＡの周囲の音声の入力を受理する。例えば、ユーザーＡとユーザーＢが、図５に示すような会話を行っている場合、音声入力部２０１は、ユーザーＡの発話を示す「お久しぶり」「そうそう、それがね．．．．．」だけでなく、ユーザーＢの発話を示す「連休はバリへ旅行に行ったんだって？」も受理する。
次に、音声解析ステップＳ４０２で、解析部２０２は、音声入力受理ステップＳ４０１で受理した音声の解析を行う。本実施形態では、解析部２０２は、音声入力受理ステップＳ４０１で受理した音声から、発話が開始される時刻を示す発話開始時刻、発話が行われる時間（音声入力が継続する時間と捉えることもできる）を示す発話時間を特定する。また、解析部２０２は、受理した音声が、ユーザーＡ本人の発話による音声であるか否かを判定する。本人の発話による音声であるか否かは、例えば記憶部２０６に予め登録されたユーザーＡの音声サンプルと、受理した音声とを比較することにより判断することができるが、これに限らず、公知の様々な判断方法を用いることができる。そして、解析部２０２は、音声解析ステップＳ４０２の解析結果を、記憶部２０６に記録する（解析結果蓄積ステップＳ４０３）。
より具体的には以下のとおりである。解析部２０２は、新たな音声入力を検知すると、その新たな音声入力が検知された時刻を発話開始時刻として記憶部２０６の音声入力履歴情報に登録する。その後、発話を識別する発話ＩＤ、発話者を識別する発話者ＩＤ、発話時間を対応付けて随時追加する。図６は、音声入力履歴情報の一例を示す図である。音声入力履歴情報は、発話ＩＤと発話開始時刻と発話時間と発話者ＩＤとが対応付けられた単位情報が順次に登録されて構成される。ここでは、音声入力履歴情報が、解析部２０２による解析結果を示す音声情報であると捉えることもできる。図６の例では、図５に示すユーザーＡの最初の発話を示す「お久しぶり」に相当する音声入力の情報が、第１行目の単位情報として記録されている。つまり、図５に示すユーザーＡの最初の発話を示す「お久しぶり」を識別する発話ＩＤは「１」である。そして、発話ＩＤ「１」に対応する発話開始時刻は「２０１１年９月８日午前９時４０分５０秒」であり、「お久しぶり」の音声入力を受理した時刻に相当する。また、発話ＩＤ「１」に対応する発話時間は「５秒」であり、「お久しぶり」の音声入力が継続した時間に相当する。さらに、発話ＩＤ「１」に対応する発話者ＩＤは「０００１」であり、ユーザーＡ本人を示す発話者ＩＤに相当する。
また、図６の例では、図５に示すユーザーＢの「連休はバリへ旅行に行ったんだって？」に相当する音声入力の情報が、第２行目の単位情報として記録されている。つまり、図５に示すユーザーＢの発話を示す「連休はバリへ旅行に行ったんだって？」を識別する発話ＩＤは「２」である。そして、発話ＩＤ「２」に対応する発話開始時刻は「２０１１年９月８日午前９時４０分５７秒」であり、「連休はバリへ旅行に行ったんだって？」の音声入力を受理した時刻に相当する。また、発話ＩＤ「２」に対応する発話時間は「１２秒」であり、「連休はバリへ旅行に行ったんだって？」の音声入力が継続した時間に相当する。さらに、発話ＩＤ「２」に対応する発話者ＩＤは「０００２」であり、ユーザーＡ以外の発話者（この場合はユーザーＢ）を示す発話者ＩＤに相当する。
また、図６の例では、図５に示すユーザーＡの「そうそう、それがね．．．．．」に相当する音声入力の情報が、第３行目の単位情報として記録されている。つまり、図５に示すユーザーＡの発話を示す「そうそう、それがね．．．．．」を識別する発話ＩＤは「３」である。そして、発話ＩＤ「３」に対応する発話開始時刻は「２０１１年９月８日午前９時４１分１５秒」であり、「そうそう、それがね．．．．．」の音声入力を受理した時刻に相当する。また、発話ＩＤ「３」に対応する発話時間は「１５秒」であり、「そうそう、それがね．．．．．」の音声入力が継続した時間に相当する。さらに、発話ＩＤ「３」に対応する発話者ＩＤは「０００１」であり、ユーザーＡ本人を示す発話者ＩＤに相当する。以上が、図３の音声解析ステップＳ４０２および解析結果蓄積ステップＳ４０３の具体的な内容の一例である。
再び図３に戻って説明を続ける。ユーザーの現在の状況を判定する処理は、音声入力の受理とは別に、定期的に実行される。つまり、図３の状況判定ステップＳ４０４は、予め定められた一定時間が経過するたびに行われる。状況判定ステップＳ４０４では、判定部２０３は、記憶部２０６に蓄積された音声入力履歴情報を参照し、直近のユーザーＡ本人、あるいは他の人物の発話の有無や頻度を調べる。
本実施形態では、判定部２０３は、発話の有無（発話が開始されているか否か）、および、直前の発話が終了してから経過した時間を示す発話間隔に基づいて、ユーザーＡが「会話中」であるか否かを判定する。ここでは、「会話中」とは、閾値以下の発話間隔で発話が繰り返される状況であると捉えることができる。つまり、判定部２０３は、発話が開始されていることを検出しても、直前の発話との間隔（発話間隔）が閾値よりも大きい場合は、「会話中」であるとは判定しない。判定部２０３は、発話が開始されていることを検出し、次の発話との発話間隔が閾値以下の場合は、「会話中」であると判定する。
判定部２０３は、ユーザーＡが「会話中」ではないと判定した場合、現在の時刻、ユーザーＡのスケジュール情報、および、ユーザーＡの位置情報などを利用することで、ユーザーＡの現在の状況（例えば「就寝中」、「作業中（メッセージ通知可能）」など）を詳細に判定することができる。
次に、蓄積情報更新ステップＳ４０５で、判定部２０３は、状況判定ステップＳ４０４の判定結果を示す状況情報を記憶部２０６に記録する。例えば状況判定ステップＳ４０４で、ユーザーＡが「会話中」であると判定した場合、判定部２０３は、「会話中」を示す状況情報と、判定を行った時刻を示す時間情報とを対応付けて記憶部２０６に記録することもできる。これにより、記憶部２０６に記憶された状況情報と、対応する時間情報とを参照することで、ユーザーＡの状況が「会話中」に変化した時点、および、その「会話中」の状況が継続している時間長を把握することもできる。
図４は、情報通知支援装置１０１が、システム本体１００１からのメッセージを受信した場合の処理動作の一例を示す図である。まずメッセージ受信ステップＳ５０１では、通信部２０４は、システム本体１００１からのメッセージを受信する。ここでは、図５に例示された、次の会議が始まることを通知するメッセージ（「まもなく次の会議が始まります」）を受信する場合を想定する。この例では、システム本体１００１は、情報通知支援装置１０１に対してメッセージを送信する際に、当該メッセージの優先度（メッセージの内容の優先度合いを示す指標であり、値が大きいほど優先度合いも高くなる）に応じて決定される重要度を当該メッセージに付与するので、メッセージ受信ステップＳ５０１において、通信部２０４は、システム本体１００１からのメッセージと、当該メッセージの重要度とを受信する。
本実施形態では、上述の重要度は、「高」、「中」、「低」の３段階に分類される。また、メッセージの優先度と重要度との対応関係は、予め設定されている。システム本体１００１は、情報通知支援装置１０１に対して送信すべきメッセージの優先度が第１基準値以上の場合は、「高」を示す重要度を当該メッセージに付与して情報通知支援装置１０１へ送信する。また、システム本体１００１は、情報通知支援装置１０１に対して送信すべきメッセージの優先度が第１基準値未満の場合は、「中」あるいは「低」を示す重要度を当該メッセージに付与して情報通知支援装置１０１へ送信する。さらに詳述すれば、システム本体１００１は、情報通知支援装置１０１に対して送信すべきメッセージの優先度が、第１基準値よりも小さい第２基準値以上の場合は、「中」を示す重要度を当該メッセージに付与して情報通知支援装置１０１へ送信する。また、システム本体１００１は、情報通知支援装置１０１に対して送信すべきメッセージの優先度が、第２基準値未満の場合は、「低」を示す重要度を当該メッセージに付与して情報通知支援装置１０１へ送信する。
この例では、次の会議が始まることを通知するメッセージに対応する優先度は、第２基準値以上、かつ、第１基準値未満に設定されるので、「中」を示す重要度が当該メッセージに付与される。
次に、メッセージ関連情報取得ステップＳ５０２では、通信制御部２０５は、メッセージ受信ステップＳ５０１で受信したメッセージに関連する情報を取得する。より具体的には、通信制御部２０５は、受信したメッセージに付与された重要度、受信したメッセージに対応する要求の送信者、受信したメッセージに対応する要求を送信した時刻を示す要求送信時刻などの情報を取得する。そして、通信制御部２０５は、その取得した情報を判定部２０３に渡す。
ここで、本実施形態では、システム本体１００１が実行可能な処理ごとに、当該処理の実行を要求するとともに、その処理結果を示すメッセージの送信を要求することを示す音声パターンが予め設定されている。記憶部２０６には、複数種類の音声パターンが登録されており、音声入力部２０１で受理された音声入力の少なくとも一部が、記憶部２０６に登録された音声パターンと一致する場合は、その音声パターンに対応する要求（ユーザーの明示的な要求、「ユーザー要求」と呼ぶ）がシステム本体１００１へ送信される。そして、システム本体１００１は、受信したユーザー要求によって要求された処理を実行し、その処理結果を示すメッセージを情報通知支援装置１０１へ送信する。また、システム本体１００１は、情報通知支援装置１０１からユーザー要求を受信しない場合であっても、ユーザーＡのスケジュール情報を参照して、予め定められた時刻に到達すると、当該時刻で通知すべきメッセージを情報通知支援装置１０１に対して送信する。ここでは、ユーザーＡのスケジュール情報に応じて、メッセージを通知する時刻と、当該メッセージの内容とが予め設定される。
図５に例示された、次の会議が始まることを通知するメッセージは、ユーザーの明示的な要求（「ユーザー要求」）に対する応答ではなく、ユーザーＡのスケジュール情報に基づいて、システム本体１００１が通知してきたメッセージなので、このメッセージに対応する要求の送信者は「システム」となる。また、ユーザーの明示的な要求はないので、要求送信時刻も「なし」となる。
図４に戻って説明を続ける。メッセージタイプ判定ステップＳ５０３で、判定部２０３は、ユーザーＡの現在の状況と、受信したメッセージとの関連度、および、受信したメッセージに付与された重要度に基づいて、その受信したメッセージが、予め定義された複数種類のメッセージタイプのうちの何れのメッセージタイプのメッセージであるのかを判定する。より具体的には以下のとおりである。
まず、図７を参照しながら、ユーザーＡの現在の状況と、受信したメッセージとの関連度を判定する方法を説明する。図７の例では、ステップＳ７０１において、判定部２０３は、受信したメッセージが、ユーザー要求に対する応答であるか否かを判定する。受信したメッセージが、ユーザー要求に対する応答ではないと判定した場合（ステップＳ７０１の結果：ＮＯ）、判定部２０３は、受信したメッセージは、システム本体１００１からの何らかの通知であり、ユーザーＡの現在の状況とは無関係なメッセージであると判定する（ステップＳ７０２）。この場合、ユーザーＡの現在の状況と、受信したメッセージとの関連度は、ユーザーＡの現在の状況と、受信したメッセージとは関連しないことを示す「なし」に設定される。
一方、受信したメッセージが、ユーザー要求に対する応答であると判定した場合（ステップＳ７０１の結果：ＹＥＳ）、判定部２０３は、そのユーザー要求が、ユーザーＡの現在の状況下で出されたものであるか否かを判定する（ステップＳ７０３）。より具体的には、判定部２０３は、記憶部２０６に記録された情報を参照し、状況情報が示すユーザーＡの現在の状況において、受信したメッセージに対応するユーザー要求がシステム本体１００１に対して送信されていたか否かを判定する。例えばユーザーＡの現在の状況が「会話中」であり、かつ、その会話の途中でユーザーが明示的に出した要求は、現在の会話の内容と関連している可能性が高い。このため、ユーザーＡの現在の状況下で、受信したメッセージに対応するユーザー要求がシステム本体１００１に対して送信されていた場合（ステップＳ７０３の結果：ＹＥＳ）、判定部２０３は、受信したメッセージは、ユーザーＡの現在の状況と関連があるメッセージであると判定する（ステップＳ７０４）。この場合、ユーザーＡの現在の状況（状況情報が示すユーザーＡの現在の状況）と、受信したメッセージとの関連度は、ユーザーＡの現在の状況と受信したメッセージとが関連することを示す「あり」に設定される。一方、ユーザーＡの現在の状況下で、受信したメッセージに対応するユーザー要求がシステム本体１００１に対して送信されていなかった場合（ステップＳ７０３の結果：ＮＯ）、判定部２０３は、受信したメッセージは、ユーザーＡの現在の状況とは無関係なメッセージであると判定する（ステップＳ７０２）。
図５に例示された、次の会議が始まることを通知するメッセージは、ユーザー要求に対する応答ではないので、図７のステップＳ７０１の結果は「ＮＯ」となり、このメッセージは、ユーザーＡの現在の状況とは無関係なメッセージであると判定され、ユーザーＡの現在の状況と、受信したメッセージとの関連度は「なし」に設定される。
以上のようにして、ユーザーＡの現在の状況と受信したメッセージとの関連度を判定した後、判定部２０３は、受信したメッセージの重要度、および、ユーザーＡの現在の状況と受信したメッセージとの関連度を用いて、受信したメッセージが、予め定義された複数種類のメッセージタイプのうちの何れのメッセージタイプのメッセージであるのかを判定する。図８は、メッセージタイプの分類に用いられる判定表の一例を示す図であり、この判定表は記憶部２０６に記憶される。判定部２０３は、記憶部２０６から読み出した判定表を参照しながら、受信したメッセージのメッセージタイプを判定する。図８の例の判定表では、メッセージタイプを識別するメッセージタイプＩＤと、メッセージの重要度と、ユーザーＡの現在の状況と受信したメッセージとの関連度と、メッセージを受信したことを示す通知音の種類を識別する通知音タイプと、メッセージを出力するタイミングの種類を識別するメッセージ出力タイミングとが対応付けられている。前述したように、図５に例示された、次の会議が始まることを示すメッセージの重要度は「中」であり、ユーザーＡの現在の状況と受信したメッセージとの関連度は「なし」なので、受信したメッセージは、メッセージタイプＩＤ「４」のメッセージであると判定される。そして、判定部２０３は、以上のメッセージタイプ判定ステップＳ５０３による判定結果を通信制御部２０５へ渡す。
再び図４に戻って説明を続ける。メッセージタイプ判定ステップＳ５０３の後の受信メッセージ情報蓄積ステップＳ５０４で、通信制御部２０５は、受信したメッセージに関するメッセージ情報を、記憶部２０６の受信メッセージリストに記録する。メッセージ情報には、例えば、メッセージを識別するメッセージＩＤ、メッセージを受信した時刻を示す受信時刻、メッセージに対応する要求を送信した要求送信者、メッセージタイプＩＤなどが含まれる。
図９は、受信メッセージリストの一例である。受信メッセージリストは、メッセージＩＤと、要求送信者と、要求送信時刻と、受信時刻と、メッセージタイプＩＤと、メッセージ内容と、メッセージを受信したことの通知を行ったか否かを示す受信通知と、メッセージ内容の通知を行ったか否かを示す内容通知とが対応付けられた単位情報が順次に登録されて構成される。図９の例では、メッセージＩＤ「０００３」で識別されるメッセージが、受信メッセージ情報蓄積ステップＳ５０４により記録された最新のメッセージ（図５に例示された、次の会議が始まることを示すメッセージ）に対応する。また、通信制御部２０５は、新たなメッセージを受信したことを出力制御部２０７に対して通知する。
再び図４に戻って説明を続ける。受信メッセージ情報蓄積ステップＳ５０４の後のメッセージ通知タイミング判定ステップＳ５０５は、出力制御部２０７が、新たなメッセージを受信したことの通知を通信制御部２０５から受けるたび、あるいは、予め定められた一定期間が経過するたびに実行される。新たなメッセージを受信したことの通知を受けた場合、出力制御部２０７は、図８の判定表を参照して、受信したメッセージのメッセージタイプＩＤ（受信メッセージリストに記録された最新のメッセージタイプＩＤ）に対応する通知音タイプおよびメッセージ出力タイミングを決定する。一方、予め定められた一定期間が経過してメッセージ通知タイミング判定ステップＳ５０５が開始される場合は、出力制御部２０７は、記憶部２０６に保持された受信メッセージリストの中で、まだメッセージの出力が完了していないメッセージの中から最も優先度の高いメッセージを選択して処理を行う。
ここでは、図５に例示された、次の会議が始まることを示すメッセージ（「まもなく次の会議が始まります」）を受信した場合を想定しているので、受信したメッセージのメッセージタイプＩＤは「４」であり、出力制御部２０７は、図８の判定表を参照して、メッセージタイプＩＤ「４」に対応する通知音タイプおよびメッセージ出力タイミングを決定する。この例では、通知音タイプは「５」、メッセージ出力タイミングは「通常」に決定される。通知音タイプ「５」の通知音は、図５の「ピピピッ」という音に対応している。
次に、図４のメッセージ受信通知ステップＳ５０６では、出力制御部２０７は、メッセージ通知タイミング判定ステップＳ５０５で決定した通知音を出力するように受信通知部２０８を制御する。この例では、出力制御部２０７は、メッセージ通知タイミング判定ステップ５０５で決定した通知音タイプ「５」に対応する「ピピピッ」という通知音を出力するように受信通知部２０８を制御する。これにより、「ピピピッ」という通知音がユーザーに通知され、ユーザーＡは、メッセージを受信したことを認識できる。本実施形態では、受信したメッセージのタイプごとに（メッセージタイプＩＤごとに）、通知音の種類を異ならせている、言い換えれば、受信したメッセージの重要度、および、ユーザーＡの現在の状況と受信したメッセージとの関連度の組み合わせに応じて通知音の種類を異ならせているので、通知音を聞いたユーザーＡは、受信したメッセージの重要度や、ユーザーＡの現在の状況と受信したメッセージとの関連度を予測することができる。この例では、ユーザーＡは、通知音タイプ「５」に対応する「ピピピッ」という通知音を聞くことで、重要度が「中」で、現在の状況とは無関係なメッセージを受信したことを把握できる。ここで、ユーザーＡが、受信したメッセージを聞きたい場合は、発話の開始を少し遅らせるなどして、そのメッセージを聞くための間を作ることで、メッセージを出力させることもできる。もし、会話を優先したい場合は、間を作らずに会話を続けることで、メッセージの出力を後回しにすることもできる。
メッセージ受信通知ステップＳ５０６の後のメッセージ出力ステップＳ５０７では、まず、出力制御部２０７は、受信したメッセージの内容を出力することが可能であるか否かを判定する。例えば、出力制御部２０７は、記憶部２０６に記憶された状況情報を用いて、ユーザーＡがメッセージを聞き取ることが可能な状況であるか否かを判断する。より具体的には、出力制御部２０７は、記憶部２０６に記憶された状況情報が示すユーザーＡの現在の状況が「会話中」である場合は、ユーザーＡがメッセージを聞き取ることが可能な状況ではないと判断する一方、状況情報が示すユーザーＡの現在の状況が「会話中」以外の状況である場合は、ユーザーＡがメッセージを聞き取ることが可能な状況であると判断することもできる。なお、前述したように、状況情報は、記憶部２０６に記憶された音声情報に基づく判定結果（判定部２０３による判定結果）を示すものなので、見方を変えれば、出力制御部２０７は、記憶部２０６に記憶された音声情報を用いて（音声情報に基づいて）、ユーザーＡがメッセージを聞き取ることが可能な状況であるか否かを判断していると捉えることもできる。そして、出力制御部２０７は、ユーザーＡがメッセージを聞き取ることが可能な状況であると判断した場合は、受信したメッセージの内容を出力するように出力部２０９を制御する。この例では、出力制御部２０７は、図５に例示された、次の会議が始まることを示すメッセージ（「まもなく次の会議が始まります」）を出力するように出力部２０９を制御する。
一方、出力制御部２０７は、ユーザーＡがメッセージを聞き取ることが可能な状況ではないと判断した場合、受信したメッセージの重要度、および、ユーザーＡの現在の状況と受信したメッセージとの関連度を用いて、その受信したメッセージを出力するタイミングを制御する。より具体的には、出力制御部２０７は、受信したメッセージに対応するメッセージ出力タイミングに従った処理を行う。図８に例示した判定表では、メッセージ出力タイミングの種類は、「優先」、「通常」、「遅延」の３種類であり、受信したメッセージに対応するメッセージ出力タイミングは、その受信したメッセージの重要度、および、ユーザーＡの現在の状況と受信したメッセージとの関連度の組み合わせに応じて決まる。
図８からも理解されるように、本実施形態では、受信したメッセージの重要度が「高」、つまりは、メッセージの優先度が第１基準値以上の場合は、ユーザーＡの現在の状況と受信したメッセージとの関連度に関わらずに、メッセージ出力タイミングは「優先」に設定される。また、受信したメッセージの重要度が「中」または「低」、つまりは、メッセージの優先度が第１基準値未満であって、ユーザーＡの現在の状況と受信したメッセージとが関連している場合は、メッセージ出力タイミングは「通常」に設定される。さらに、受信したメッセージの重要度が「低」、つまりは、メッセージの優先度が第２基準値未満であって、ユーザーＡの現在の状況と受信したメッセージとが関連していない場合は、メッセージ出力タイミングは「遅延」に設定されると捉えることができる。なお、これに限らず、メッセージ出力タイミングを決定するための、受信したメッセージの重要度、および、ユーザーＡの現在の状況と受信したメッセージとの関連度の組み合わせは任意に変更可能である。
この例では、受信したメッセージの重要度が「高」を示す場合は、ユーザーＡの現在の状況と受信したメッセージとの関連度に関わらず、受信したメッセージに対応するメッセージ出力タイミングは「優先」に設定されるが、これに限らず、例えば受信したメッセージが、ユーザーＡの現在の状況と関連する場合は、受信したメッセージの重要度に関わらず、受信したメッセージに対応するメッセージ出力タイミングは「優先」に設定されてもよい。つまり、受信したメッセージが、現在の会話に優先して通知されるべきメッセージである場合は、当該メッセージに対応するメッセージ出力タイミングは「優先」に設定されるものであればよく、この限りにおいて、メッセージ出力タイミングを決定するための、受信したメッセージの重要度、および、ユーザーＡの現在の状況と受信したメッセージとの関連度の組み合わせは任意に設定可能である。また、例えば、受信したメッセージに対応するメッセージ出力タイミングが、受信したメッセージの重要度、および、ユーザーＡの現在の状況と受信したメッセージとの関連度のうちの一方のみに応じて決定されてもよい。要するに、ユーザーＡがメッセージを聞き取ることが可能な状況ではない場合、出力制御部２０７は、受信したメッセージの重要度を用いて、メッセージを出力するタイミングを制御してもよいし、ユーザーＡの現在の状況と受信したメッセージとの関連度を用いて、メッセージを出力するタイミングを制御してもよい。
メッセージ出力タイミングが「優先」のメッセージは、現在の会話よりも優先してユーザーＡに通知すべきメッセージである。出力制御部２０７は、受信したメッセージに対応するメッセージ出力タイミングが「優先」の場合は、新たな発話が既に開始されていても、受信したメッセージの内容を出力させる（メッセージの内容を出力するように出力部２０９を制御する）。つまり、本実施形態では、出力制御部２０７は、ユーザーＡがメッセージを聞き取ることが可能な状況ではないと判断し、受信したメッセージの優先度が第１基準値以上（受信したメッセージの重要度が「高」）である場合は、ユーザーの現在の状況に関わらず、メッセージを出力させる。この場合、システム本体１００１から受信したメッセージの内容は、会話に割り込む形でユーザーＡに通知されるが、例えばメッセージ受信通知ステップＳ５０６において、会話よりも優先するメッセージを受信したことを示す通知音タイプ「１」に対応する通知音をユーザーＡに通知するとともに、会話の相手（例えばユーザーＢ）にも、現在の会話よりも優先するメッセージが届いていることが予め分かるようにしておく。これにより、会話とメッセージの音声出力との重なりを回避することができる。例えば通知音を、会話の相手にも聞こえるように出力する、あるいは、ユーザーＡの情報通知支援装置１０１の一部を光らせるなどすることにより、現在の会話よりも優先するメッセージがユーザーＡに届いていることを会話の相手に通知することもできる。
メッセージ出力タイミングが「通常」のメッセージは、現在の会話の妨げにならないように会話の間を利用してユーザーＡに通知すべきメッセージである。出力制御部２０７は、受信したメッセージに対応するメッセージ出力タイミングが「通常」の場合は、受信したメッセージを出力するタイミングを遅らせる（受信したメッセージを直ちには出力しない）。受信したメッセージに対応するメッセージ出力タイミングが「通常」の場合、出力制御部２０７は、ユーザーＡの現在の状況が他の状況に変化する前に、受信したメッセージを出力するように出力部２０９を制御することが好ましい。つまり、出力制御部２０７は、ユーザーＡがメッセージを聞き取ることが可能な状況ではないと判断し、受信したメッセージの優先度が第１基準値未満（受信したメッセージの重要度が「中」または「低」）であり、かつ、ユーザーＡの現在の状況と受信したメッセージとが関連する場合は、ユーザーＡの現在の状況が他の状況に変化する前に、メッセージを出力させることが好ましい。本実施形態では、出力制御部２０７は、新たな発話が終了してから所定期間（前述の発話間隔の閾値よりも小さい値）が経過するまでの間において、さらに新たな発話が開始されない場合は、受信したメッセージを出力させる。一方、出力制御部２０７は、新たな発話が終了してから所定期間が経過するまでの間において、さらに新たな発話が開始された場合は、受信したメッセージを出力させない。この例では、受信したメッセージに対応するメッセージ出力タイミングは「通常」なので、出力制御部２０７は、現在の会話の間を利用して、図５に例示された、次の会議が始まることを示すメッセージ（「まもなく次の会議が始まります」）を出力するように出力部２０９を制御する。
メッセージ出力タイミングが「遅延」のメッセージは、現在の会話が終了した後にユーザーＡに通知してもよいメッセージである。つまり、ユーザーＡがメッセージを聞き取ることが可能な状況に変化するのを待って、ユーザーＡに通知してもよいメッセージである。出力制御部２０７は、受信したメッセージに対応するメッセージ出力タイミングが「遅延」の場合は、受信したメッセージを出力するタイミングを「通常」の場合よりもさらに遅らせる。本実施形態では、出力制御部２０７は、ユーザーＡがメッセージを聞き取ることが可能な状況ではないと判断し、メッセージの優先度が第２基準値未満（受信したメッセージの重要度が「低」）であり、かつ、ユーザーＡの現在の状況と受信したメッセージとが関連しないことを示す場合は、ユーザーＡがメッセージを聞き取ることが可能な状況に変化した後に、その受信したメッセージを出力させる。より具体的には、出力制御部２０７は、発話が終了してから経過した時間長が閾値（前述の発話間隔の閾値）を超えた場合は、会話が終了したと判断する。この場合、ユーザーＡの現在の状況は「会話中」ではないため、出力制御部２０７は、ユーザーＡはメッセージを聞き取ることが可能な状況に変化したと判断し、受信したメッセージを出力するように出力部２０９を制御する。
以上のメッセージ出力ステップＳ５０７の後の受信メッセージ情報更新ステップＳ５０８において、出力制御部２０７は、記憶部２０６に保持された受信メッセージリストにおける「受信通知」および「内容通知」の記録を行うことで、受信メッセージリストを更新する。図９に例示された受信メッセージリストでは、図５に例示された、次の会議が始まることを示すメッセージを識別するメッセージＩＤ「０００３」に対応する受信通知のエントリには、メッセージを受信したことの通知（通知音の通知）を行ったことを示す「ＯＫ」が記録されている。また、メッセージＩＤ「０００３」に対応する内容通知のエントリには、メッセージ内容の通知（メッセージ内容の出力）を行ったことを示す「ＯＫ」が記録されている。なお、受信メッセージリストのうち、「受信通知」あるいは「内容通知」のエントリに「ＯＫ」が記録されていないメッセージについては、以後のメッセージ通知タイミング判定ステップＳ５０５におけるタイミング判定の対象となる。どのメッセージを対象とするかは、予め定められたルールに従って決定されるものとする。
以上に説明したように、本実施形態では、システム本体１００１からのメッセージを受信した場合、まず出力制御部２０７は、記憶部２０６に記憶された音声情報を用いて、ユーザーＡがメッセージを聞き取ることが可能な状況であるか否かを判断する。そして、ユーザーＡがメッセージを聞き取ることが可能な状況であると判断した場合、出力制御部２０７は、受信したメッセージを直ちに出力させるので、ユーザーＡの現在の状況に関わらず、待ち時間が経過しない限りは受信したメッセージを出力させない構成に比べて、適切なタイミングで、メッセージをユーザーＡに通知することができるという有利な効果を奏する。
一方、ユーザーＡがメッセージを聞き取ることが可能な状況ではないと判断した場合、出力制御部２０７は、受信したメッセージの重要度、および、ユーザーＡの現在の状況と受信したメッセージとの関連度に応じて設定されるメッセージ出力タイミングに従って、受信したメッセージを出力するように出力部２０９を制御する。例えば、受信したメッセージに対応するメッセージ出力タイミングが、現在の会話に優先してメッセージを出力することを示す「優先」に設定された場合、出力制御部２０７は、ユーザーＡの現在の状況に関わらず、受信したメッセージを直ちに出力させる。また、例えば、受信したメッセージに対応するメッセージ出力タイミングが、メッセージの出力を遅延させてもよいことを示す「通常」あるいは「遅延」に設定された場合、出力制御部２０７は、受信したメッセージを出力するタイミングを遅らせる。すなわち、本実施形態では、受信したメッセージの重要度、および、ユーザーＡの現在の状況と受信したメッセージとの関連度に応じて、そのメッセージを出力するタイミングを可変に制御することで、受信したメッセージをユーザーに通知するタイミングを適切に制御できるという有利な効果を奏する。
（第２実施形態）
次に、第２実施形態について説明する。本実施形態では、音声入力部２０１で受理された音声に対して音声認識処理を行ってテキスト化することで、システム本体１００１から受信したメッセージと、ユーザーＡの現在の状況とが関連しているか否かの判断をより詳細に行うことができる点で上述の第１実施形態と相違する。以下、第１実施形態との相違点を中心に説明するが、第１実施形態と同様の機能を有する要素については同一の符号を付して、重複する説明を適宜省略する。
図１０は、本実施形態の情報通知支援装置の機能構成例を示すブロック図である。図１０に示すように、情報通知支援装置は、音声認識部３１０をさらに備える点で第１実施形態と相違する。音声認識部３１０は、音声入力部２０１で受理された入力音声に対して音声認識処理を行うことでテキスト化し、その音声認識処理により得られたテキストを記憶部２０６に登録する。例えば、発話が行われた時間を示す時間情報（例えば発話が開始された時刻と発話が終了した時刻でもよい）と、音声認識処理により得られたテキストとが対応付けられて順次に（時系列的に）記憶部２０６に登録される構成であってもよい。
いま、記憶部２０６に記憶された状況情報が示すユーザーＡの現在の状況が「会話中」である場合を想定する。この場合、判定部３１１は、上述のメッセージタイプ判定ステップＳ５０３において、受信したメッセージと、記憶部２０６に記憶された、現在の会話内容を示すテキストとを比較し、予め定められたキーワードが一致しているか否かを判定する。そして、予め定められたキーワードが一致している場合は、現在の会話内容と、受信したメッセージとが関連していると判定する。
図１１は、判定部３１１による、受信したメッセージと、ユーザーＡの現在の状況との関連度を判定する方法の一例を説明するための図である。まず、ユーザー要求の送信者がユーザー本人（この例ではユーザーＡ）である場合について説明する。図１１に示すように、判定部３１１は、ユーザー要求の送信者がユーザー本人であり、ユーザー要求を出したタイミング（システム本体１００１に対してユーザー要求を送信したタイミング）がユーザーＡの現在の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連している場合は、受信したメッセージと、ユーザーＡの現在の状況とが関連していると判定する。また、判定部３１１は、ユーザー要求の送信者がユーザー本人であり、ユーザー要求を出したタイミングがユーザーＡの現在の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連していない場合は、受信したメッセージと、ユーザーＡの現在の状況とが関連していないと判定する。
また、図１１に示すように、判定部３１１は、ユーザー要求の送信者がユーザー本人であり、ユーザー要求を出したタイミングがユーザーＡの現在の状況よりも前の状況を示す以前の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連している場合は、受信したメッセージと、ユーザーＡの現在の状況とが関連していると判定する。また、判定部３１１は、ユーザー要求の送信者がユーザー本人であり、ユーザー要求を出したタイミングがユーザーＡの以前の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連していない場合は、受信したメッセージと、ユーザーＡの現在の状況とが関連していないと判定する。
次に、ユーザー要求の送信者がシステム（この例ではシステム本体１００１）である場合について説明する。この場合は、ユーザー要求を出したタイミングとは、システム本体１００１が、情報通知支援装置１０１に対してメッセージを送信したタイミング（つまり、情報通知支援装置１０１が、システム本体１００１からメッセージを受信したタイミング）であると捉えることができる。判定部３１１は、ユーザー要求の送信者がシステムであり、ユーザー要求を出したタイミングがユーザーＡの現在の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連している場合は、受信したメッセージと、ユーザーＡの現在の状況とが関連していると判定する。また、判定部３１１は、ユーザー要求の送信者がシステムであり、ユーザー要求を出したタイミングがユーザーＡの現在の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連していない場合は、受信したメッセージと、ユーザーＡの現在の状況とが関連していないと判定する。
また、図１１に示すように、判定部３１１は、ユーザー要求の送信者がシステムであり、ユーザー要求を出したタイミングがユーザーＡの以前の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連している場合は、受信したメッセージと、ユーザーＡの現在の状況とが関連していると判定する。また、判定部３１１は、ユーザー要求の送信者がシステムであり、ユーザー要求を出したタイミングがユーザーＡの以前の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連していない場合は、受信したメッセージと、ユーザーＡの現在の状況とが関連していないと判定する。
要するに、判定部３１１は、ユーザーＡの現在の状況が「会話中」であり、現在の会話内容と、受信したメッセージとが関連していると判定した場合は、受信したメッセージと、ユーザーＡの現在の状況とが関連していると判定する。
また、本実施形態では、システム本体１００１が実行可能な処理ごとに、当該処理の実行を要求するとともに、その処理結果を示すメッセージの送信を要求することを示すキーワードまたはキーフレーズ（テキスト）が予め設定されている。より具体的には、記憶部２０６には、複数種類のキーワード（またはキーフレーズ）のテキストデータが登録されている。そして、音声入力部２０１で受理された入力音声の認識結果（音声認識部３１０による音声認識処理の結果）の少なくとも一部が、記憶部２０６に登録されたキーワードと一致する場合は、そのキーワードに対応する要求（ユーザーの明示的な要求、「ユーザー要求」）がシステム本体１００１へ送信される。そして、システム本体１００１は、受信したユーザー要求によって要求された処理を実行し、その処理結果を示すメッセージを情報通知支援装置へ送信する。
以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
本発明の情報通知支援装置は、上述の各機能のうちの少なくとも解析部２０２、判定部２０３、記憶部２０６、出力制御部２０７、および、出力部２０９を備える装置であればよい。例えば、上述のシステム本体が、解析部２０２、判定部２０３、記憶部２０６、出力制御部２０７、および、出力部２０９を少なくとも備えることで、本発明の情報通知支援装置として機能する構成であってもよい。
上述の情報通知支援装置は、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを含んだハードウェア構成となっている。上述の音声入力部２０１、通信部２０４、記憶部２０６は、ハードウェア要素である一方、上述の解析部２０２、判定部２０３、通信制御部２０５、出力制御部２０７、受信通知部２０８、出力部２０９の機能は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、上述の解析部２０２、判定部２０３、通信制御部２０５、出力制御部２０７、受信通知部２０８、出力部２０９の機能のうちの少なくとも一部を個別の回路（ハードウェア）で実現することもできる。
また、上述の情報通知支援装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の情報通知支援装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の情報通知支援装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。
１ システム
１０１ 情報通知支援装置
１０２ 情報通知支援装置
２０１ 音声入力部
２０２ 解析部
２０３ 判定部
２０４ 通信部
２０５ 通信制御部
２０６ 記憶部
２０７ 出力制御部
２０８ 受信通知部
２０９ 出力部
３１０ 音声認識部
３１１ 判定部
１００１ システム本体
１００２ システム本体
実施形態の情報通知支援装置は、解析部と記憶部と出力部と出力制御部とを備える。解析部は、入力された音声を解析して、発話に関する情報を示す音声情報を特定する。記憶部は、音声情報の履歴を記憶する。出力制御部は、音声情報の履歴を用いて、ユーザーが、ユーザーに通知すべき音声を示すメッセージを聞き取ることが可能であるか否かを判断する。出力部は、ユーザーがメッセージを聞き取ることが可能な状況であると判断された場合は、メッセージを出力する。
実施形態の情報通知支援方法は、入力された音声を解析して、発話に関する情報を示す音声情報を特定し、音声情報の履歴を用いて、ユーザーが、ユーザーに通知すべき音声を示すメッセージを聞き取ることが可能であるか否かを判断し、ユーザーがメッセージを聞き取ることが可能な状況であると判断された場合は、メッセージを出力する。
実施形態のプログラムは、コンピュータを、入力された音声を解析して、発話に関する情報を示す音声情報を特定する解析手段と、音声情報の履歴を用いて、ユーザーが、ユーザーに通知すべき音声を示すメッセージを聞き取ることが可能であるか否かを判断する出力制御手段と、ユーザーがメッセージを聞き取ることが可能な状況であると判断された場合は、メッセージを出力する出力手段として機能させる。

Claims (14)

  1. ユーザーに対してメッセージを通知する情報通知支援装置であって、
    入力された音声を解析する解析部と、
    前記解析部による解析結果を示す音声情報を記憶する記憶部と、
    前記メッセージを出力する出力部と、
    前記記憶部に記憶された前記音声情報を用いて、前記ユーザーが前記メッセージを聞き取ることが可能な状況であるか否かを判断し、前記ユーザーが前記メッセージを聞き取ることが可能な状況であると判断した場合は、前記メッセージを出力するように前記出力部を制御する出力制御部と、を備える、
    情報通知支援装置。
  2. 前記出力制御部は、前記ユーザーが前記メッセージを聞き取ることが可能な状況ではないと判断した場合は、前記メッセージの優先度を用いて、前記メッセージを出力するタイミングを制御する、
    請求項１の情報通知支援装置。
  3. 前記出力制御部は、前記優先度が第１基準値以上の場合は、前記ユーザーの現在の状況に関わらず、前記メッセージを出力させる一方、前記優先度が前記第１基準値未満の場合は、前記メッセージを出力するタイミングを遅らせる、
    請求項２の情報通知支援装置。
  4. 前記記憶部に記憶された前記音声情報を用いて、前記ユーザーの現在の状況を判定し、その判定結果を示す状況情報を前記記憶部に記憶する判定部をさらに備え、
    前記出力制御部は、前記ユーザーが前記メッセージを聞き取ることが可能な状況ではないと判断し、前記優先度が前記第１基準値未満であり、かつ、前記状況情報が示す前記ユーザーの現在の状況と前記メッセージとが関連するか否かを示す関連度が、前記ユーザーの現在の状況と前記メッセージとが関連することを示す場合は、前記ユーザーの現在の状況が他の状況に変化する前に、前記メッセージを出力させる、
    請求項３の情報通知支援装置。
  5. 前記出力制御部は、前記ユーザーが前記メッセージを聞き取ることが可能な状況ではないと判断し、前記優先度が前記第１基準値よりも低い第２基準値未満であり、かつ、前記関連度が、前記ユーザーの現在の状況と前記メッセージとが関連しないことを示す場合は、前記ユーザーが前記メッセージを聞き取ることが可能な状況に変化した後に、前記メッセージを出力させる、
    請求項４の情報通知支援装置。
  6. 前記記憶部に記憶された前記音声情報を用いて、前記ユーザーの現在の状況を判定し、その判定結果を示す状況情報を前記記憶部に記憶する判定部をさらに備え、
    前記出力制御部は、前記ユーザーが前記メッセージを聞き取ることが可能な状況ではないと判断した場合は、前記状況情報が示す前記ユーザーの現在の状況と、前記メッセージとが関連するか否かを示す関連度を用いて、前記メッセージを出力するタイミングを制御する、
    請求項１の情報通知支援装置。
  7. 前記判定部は、前記メッセージが、前記ユーザーからの要求を示すユーザー要求に対する応答であり、かつ、前記状況情報が示す前記ユーザーの現在の状況の下で、前記ユーザー要求が発行されていた場合は、前記ユーザーの現在の状況と、前記メッセージとが関連すると判定する、
    請求項４または請求項６の情報通知支援装置。
  8. 入力された音声に対して音声認識処理を行い、その音声認識処理により得られたテキストを前記記憶部に登録する音声認識部をさらに備え、
    前記判定部は、前記状況情報が示す前記ユーザーの現在の状況が会話中である場合、現在の会話内容を示す前記テキストと、前記メッセージとを比較することで、前記ユーザーの現在の状況と、前記メッセージとが関連するか否かを判定する、
    請求項４または請求項６の情報通知支援装置。
  9. 前記判定部は、現在の会話内容を示す前記テキスト、および、前記メッセージの各々に、予め定められたキーワードが含まれている場合、前記ユーザーの現在の状況と前記メッセージとが関連すると判定する、
    請求項８の情報通知支援装置。
  10. 外部装置から前記メッセージを受信する受信部と、
    前記受信部で前記メッセージを受信した場合は、前記メッセージを受信したことを前記ユーザーに知らせる受信通知部と、をさらに備える、
    請求項２または請求項６の情報通知支援装置。
  11. 前記受信通知部による通知のパターンは、前記関連度に応じて異なる、
    請求項１０の情報通知支援装置。
  12. 前記受信通知部による通知のパターンは、前記メッセージの優先度に応じて異なる、
    請求項１０の情報通知支援装置。
  13. ユーザーに対してメッセージを通知する情報通知支援方法であって、
    入力された音声を解析し、その解析結果を示す音声情報を記憶部に記憶し、
    前記記憶部に記憶された前記音声情報を用いて、前記ユーザーが前記メッセージを聞き取ることが可能な状況であるか否かを判断し、前記ユーザーが前記メッセージを聞き取ることが可能な状況であると判断した場合は、前記メッセージを出力する、
    情報通知支援方法。
  14. 入力された音声を解析する解析ステップと、
    前記解析ステップの解析結果を示す音声情報を記憶部に記憶する記憶ステップと、
    前記記憶部に記憶された前記音声情報を用いて、前記ユーザーが前記メッセージを聞き取ることが可能な状況であるか否かを判断し、前記ユーザーが前記メッセージを聞き取ることが可能な状況であると判断した場合は、前記メッセージを出力する出力制御ステップと、をコンピュータに実行させるためのプログラム。
JP2012031752A 2012-02-16 2012-02-16 情報通知支援装置、情報通知支援方法、および、プログラム Abandoned JP2013167806A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012031752A JP2013167806A (ja) 2012-02-16 2012-02-16 情報通知支援装置、情報通知支援方法、および、プログラム
US13/729,687 US10068575B2 (en) 2012-02-16 2012-12-28 Information notification supporting device, information notification supporting method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012031752A JP2013167806A (ja) 2012-02-16 2012-02-16 情報通知支援装置、情報通知支援方法、および、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015200062A Division JP6143822B2 (ja) 2015-10-08 2015-10-08 情報通知支援装置、情報通知支援方法、および、プログラム

Publications (1)

Publication Number Publication Date
JP2013167806A true JP2013167806A (ja) 2013-08-29

Family

ID=48982941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012031752A Abandoned JP2013167806A (ja) 2012-02-16 2012-02-16 情報通知支援装置、情報通知支援方法、および、プログラム

Country Status (2)

Country Link
US (1) US10068575B2 (ja)
JP (1) JP2013167806A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014038228A (ja) * 2012-08-17 2014-02-27 Ricoh Co Ltd 処理装置、処理システム、出力方法及びプログラム
US9280539B2 (en) 2013-09-19 2016-03-08 Kabushiki Kaisha Toshiba System and method for translating speech, and non-transitory computer readable medium thereof
JP2016126759A (ja) * 2015-01-05 2016-07-11 アバウト タイム コーポレーション 端末内の情報分析に基づいたメッセージ提供方法、装置およびそれに対するコンピュータプログラム
JP2017046103A (ja) * 2015-08-25 2017-03-02 株式会社東芝 コミュニケーション支援装置、コミュニケーション支援方法、および、プログラム
JP2017067852A (ja) * 2015-09-28 2017-04-06 株式会社デンソー 情報提供装置及び情報提供制御プログラム

Families Citing this family (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US8935154B1 (en) * 2012-04-13 2015-01-13 Symantec Corporation Systems and methods for determining authorship of an unclassified notification message
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
JP5759497B2 (ja) * 2013-02-25 2015-08-05 シャープ株式会社 メッセージ通知装置、制御方法、および制御プログラム
US9368114B2 (en) * 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US20140288939A1 (en) * 2013-03-20 2014-09-25 Navteq B.V. Method and apparatus for optimizing timing of audio commands based on recognized audio patterns
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
KR101478459B1 (ko) * 2013-09-05 2014-12-31 한국과학기술원 언어 지연 치료 시스템 및 그 시스템 제어 방법
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10498687B2 (en) * 2015-04-23 2019-12-03 Teleport Med, LLC Priority based communication and organization system
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US20160344669A1 (en) * 2015-05-20 2016-11-24 Ryan Bonham Managing government messages
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10248379B2 (en) 2017-07-27 2019-04-02 Motorola Solutions, Inc. Automatic and selective context-based gating of a speech-output function of an electronic digital assistant
US10292045B2 (en) * 2017-08-24 2019-05-14 Nanning Fugui Precision Industrial Co., Ltd. Information obtaining method and information obtaining device
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
JP2019101385A (ja) * 2017-12-08 2019-06-24 富士通株式会社 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
JP2020052445A (ja) * 2018-09-21 2020-04-02 シャープ株式会社 発話装置、サーバ、制御システム、制御方法、およびプログラム
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11474838B2 (en) * 2018-10-31 2022-10-18 Verizon Patent And Licensing Inc. Modifying content interface based upon level of activity
CN111429895B (zh) * 2018-12-21 2023-05-05 广东美的白色家电技术创新中心有限公司 多轮交互的语义理解方法、装置及计算机存储介质
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US20230254401A1 (en) * 2020-04-27 2023-08-10 Sony Group Corporation Information processing apparatus, information processing method, outputting apparatus, outputting method, program, and notification system
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
CN114089943A (zh) * 2020-07-17 2022-02-25 阿尔卑斯阿尔派株式会社 声音输出装置及声音输出方法
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08146989A (ja) * 1994-11-17 1996-06-07 Canon Inc 情報処理装置及びその制御方法
JP2002082682A (ja) * 2000-09-05 2002-03-22 Victor Co Of Japan Ltd 音響発生装置
JP2002156241A (ja) * 2000-11-16 2002-05-31 Matsushita Electric Ind Co Ltd ナビゲーション装置およびプログラムを記録した記録媒体

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06100959B2 (ja) 1985-08-16 1994-12-12 株式会社東芝 音声対話装置
JPH1021049A (ja) 1996-06-28 1998-01-23 Ricoh Co Ltd 音声合成装置
US6791580B1 (en) * 1998-12-18 2004-09-14 Tangis Corporation Supplying notifications related to supply and consumption of user context data
US7844666B2 (en) * 2000-12-12 2010-11-30 Microsoft Corporation Controls and displays for acquiring preferences, inspecting behavior, and guiding the learning and decision policies of an adaptive communications prioritization and routing system
US7194411B2 (en) * 2001-02-26 2007-03-20 Benjamin Slotznick Method of displaying web pages to enable user access to text information that the user has difficulty reading
US20090125380A1 (en) * 2001-11-14 2009-05-14 Retaildna, Llc System and method for location based suggestive selling
US7123695B2 (en) * 2002-05-21 2006-10-17 Bellsouth Intellectual Property Corporation Voice message delivery over instant messaging
US7523397B2 (en) * 2002-09-30 2009-04-21 Microsoft Corporation Centralized alert and notifications repository, manager, and viewer
US20060210034A1 (en) * 2005-03-17 2006-09-21 Beadle Bruce A Enabling a user to store a messaging session entry for delivery when an intended recipient is next available
JP2006331251A (ja) 2005-05-30 2006-12-07 Matsushita Electric Ind Co Ltd 音声案内装置、音声案内方法及び音声案内システム
US7673055B2 (en) * 2005-06-23 2010-03-02 Research In Motion Limited System and method for automatically responding to a received communication
US8107610B2 (en) * 2006-06-06 2012-01-31 At&T Intellectual Property I, L.P. Callback processing of interactive voice response requests
US7962342B1 (en) * 2006-08-22 2011-06-14 Avaya Inc. Dynamic user interface for the temporarily impaired based on automatic analysis for speech patterns
JP5028170B2 (ja) 2007-07-11 2012-09-19 株式会社日立製作所 ユーザ連携システムおよびサーバ装置
US8275398B2 (en) * 2007-11-02 2012-09-25 Hewlett-Packard Development Company, L.P. Message addressing techniques for a mobile computing device
US8166119B2 (en) * 2008-04-25 2012-04-24 T-Mobile Usa, Inc. Messaging device for delivering messages to recipients based on availability and preferences of recipients
JP2010128099A (ja) 2008-11-26 2010-06-10 Toyota Infotechnology Center Co Ltd 車載用音声情報提供システム
JP5195405B2 (ja) 2008-12-25 2013-05-08 トヨタ自動車株式会社 応答生成装置及びプログラム
TWI399739B (zh) * 2009-11-13 2013-06-21 Ind Tech Res Inst 語音留言與傳達之系統與方法
WO2011081584A1 (en) * 2009-12-30 2011-07-07 Telefonaktiebolaget L M Ericsson (Publ) Call-tracking
US9760682B2 (en) * 2010-02-12 2017-09-12 Hinsight-Mobile Heartbeat Holdings, Llc Workflow and resource management system with integrated bi-directional communications
US8831677B2 (en) * 2010-11-17 2014-09-09 Antony-Euclid C. Villa-Real Customer-controlled instant-response anti-fraud/anti-identity theft devices (with true-personal identity verification), method and systems for secured global applications in personal/business e-banking, e-commerce, e-medical/health insurance checker, e-education/research/invention, e-disaster advisor, e-immigration, e-airport/aircraft security, e-military/e-law enforcement, with or without NFC component and system, with cellular/satellite phone/internet/multi-media functions
US8430302B2 (en) * 2011-02-03 2013-04-30 Echostar Technologies L.L.C. Enabling interactive activities for content utilizing matrix codes
US20120278408A1 (en) * 2011-04-29 2012-11-01 Crestron Electronics Inc. Meeting Management System Including Automated Equipment Setup
US9710765B2 (en) * 2011-05-26 2017-07-18 Facebook, Inc. Browser with integrated privacy controls and dashboard for social network data
US9292835B2 (en) * 2011-06-30 2016-03-22 International Business Machines Corporation Determining communication recipient availability

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08146989A (ja) * 1994-11-17 1996-06-07 Canon Inc 情報処理装置及びその制御方法
JP2002082682A (ja) * 2000-09-05 2002-03-22 Victor Co Of Japan Ltd 音響発生装置
JP2002156241A (ja) * 2000-11-16 2002-05-31 Matsushita Electric Ind Co Ltd ナビゲーション装置およびプログラムを記録した記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG201100305031; 矢高 真一: 'ウェアラブルコンピューティングのための主観的音量に基づく音声情報提示手法' 情報処理学会研究報告 ２０１１-ＵＢＩ-２９（３８）, 20110415, ｐｐ１-８, 一般社団法人情報処理学会 *
JPN6014016528; 矢高 真一: 'ウェアラブルコンピューティングのための主観的音量に基づく音声情報提示手法' 情報処理学会研究報告 ２０１１-ＵＢＩ-２９（３８）, 20110415, ｐｐ１-８, 一般社団法人情報処理学会 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014038228A (ja) * 2012-08-17 2014-02-27 Ricoh Co Ltd 処理装置、処理システム、出力方法及びプログラム
US9280539B2 (en) 2013-09-19 2016-03-08 Kabushiki Kaisha Toshiba System and method for translating speech, and non-transitory computer readable medium thereof
JP2016126759A (ja) * 2015-01-05 2016-07-11 アバウト タイム コーポレーション 端末内の情報分析に基づいたメッセージ提供方法、装置およびそれに対するコンピュータプログラム
JP2017046103A (ja) * 2015-08-25 2017-03-02 株式会社東芝 コミュニケーション支援装置、コミュニケーション支援方法、および、プログラム
US10601757B2 (en) 2015-08-25 2020-03-24 Kabushiki Kaisha Toshiba Multi-output mode communication support device, communication support method, and computer program product
JP2017067852A (ja) * 2015-09-28 2017-04-06 株式会社デンソー 情報提供装置及び情報提供制御プログラム

Also Published As

Publication number Publication date
US10068575B2 (en) 2018-09-04
US20130218553A1 (en) 2013-08-22

Similar Documents

Publication Publication Date Title
JP2013167806A (ja) 情報通知支援装置、情報通知支援方法、および、プログラム
KR102582517B1 (ko) 공유된 음성 작동 디바이스상의 호출 핸들링
JP7354210B2 (ja) 複数のデバイス上でのホットワード検出
US9571638B1 (en) Segment-based queueing for audio captioning
US9444934B2 (en) Speech to text training method and system
CN102292766A (zh) 用于提供用于语音识别自适应的复合模型的方法、装置和计算机程序产品
WO2009105639A1 (en) System and method for treating homonyms in a speech recognition system
CN113412516A (zh) 基于客户端计算的内容元数据的话音查询QoS
KR20200013774A (ko) 보이스 가능 디바이스를 디스플레이 디바이스와 페어링
KR101584887B1 (ko) 통신 단말기에서 음성 인식 서비스의 멀티태스킹을 지원하는 방법 및 시스템
WO2015083741A1 (ja) 中継装置、表示装置および通信システム
CN116436715A (zh) 视频会议控制方法、装置、设备及计算机可读存储介质
JP2010199741A (ja) 携帯電話端末装置
KR20150103855A (ko) 어플리케이션과 서버 간의 연동을 이용한 음성 서비스 제공 방법 및 그 시스템
JP6143822B2 (ja) 情報通知支援装置、情報通知支援方法、および、プログラム
JP2014109998A (ja) 対話装置及びコンピュータ対話方法
EP3089160B1 (en) Method and apparatus for voice control of a mobile device
WO2018207482A1 (ja) 発話制御装置、電子機器、プログラムおよび発話制御装置の制御方法
JP6523974B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法、および、プログラム
JP6842227B1 (ja) グループ通話システム、グループ通話方法及びプログラム
JP6697172B1 (ja) 情報処理装置および情報処理プログラム
JP2023103287A (ja) 音声処理装置、会議システム、及び音声処理方法
JP2020113938A (ja) 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP2011097161A (ja) メッセージ送信装置及びメッセージ送信方法
JP2015007665A (ja) 情報提示方法、及び情報提示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20151008