JP2016040609A - Information notification support apparatus, information notification support method and program - Google Patents
Information notification support apparatus, information notification support method and program Download PDFInfo
- Publication number
- JP2016040609A JP2016040609A JP2015200062A JP2015200062A JP2016040609A JP 2016040609 A JP2016040609 A JP 2016040609A JP 2015200062 A JP2015200062 A JP 2015200062A JP 2015200062 A JP2015200062 A JP 2015200062A JP 2016040609 A JP2016040609 A JP 2016040609A
- Authority
- JP
- Japan
- Prior art keywords
- message
- user
- information
- unit
- situation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明の実施形態は、情報通知支援装置、情報通知支援方法およびプログラムに関する。 Embodiments described herein relate generally to an information notification support apparatus, an information notification support method, and a program.
近年、スマートフォンなどの携帯端末の普及により、いつでも必要な時に情報検索サービスやチケット予約サービス等、ネットワーク上のサービスを利用できるようになってきた。また、音声認識技術および音声合成技術の性能向上により、音声入力や音声出力の機能を持つPC(Personal Computer)や携帯端末等の電子機器も増えている。例えば音声認識による入力と、音声合成による出力のどちらも行えるヘッドセット等の入出力装置を用いることにより、携帯端末やPCなどの電子機器が離れた場所にあっても、当該電子機器に対して処理要求を出したり、処理結果を聞いたりすることが可能となる。このため、利用者は、両手がふさがっている場合や、他の作業を行っている場合にも必要な情報を得ることができる。 In recent years, with the spread of mobile terminals such as smartphones, it has become possible to use services on the network such as an information search service and a ticket reservation service whenever necessary. In addition, due to improved performance of speech recognition technology and speech synthesis technology, the number of electronic devices such as PCs (Personal Computers) and mobile terminals having speech input and speech output functions is increasing. For example, by using an input / output device such as a headset that can perform both input by voice recognition and output by voice synthesis, even when an electronic device such as a portable terminal or a PC is at a remote location, It is possible to issue a processing request and listen to the processing result. For this reason, the user can obtain necessary information even when both hands are occupied or when other work is performed.
ところで、実際の処理を行う電子機器と離れていても操作が可能な状況は便利である一方、システム(電子機器)からのメッセージはいつ通知されるかわからない。このため、例えば、会話をしている最中に、次の会議予定の通知が来たり、スケジュール確認など、利用者の要求に対する応答が返ってくることがあり得る。会話の声(利用者自身の発話、あるいは対話する相手の発話)とシステムからのメッセージ(「システム応答」)が重なってしまうと、会話の妨げとなり、さらにシステム応答も聞き取りにくくなってしまう。このため、会話とシステム応答が重ならないよう、システム応答を出力するタイミングを制御する必要がある。 By the way, the situation where the operation is possible even if it is away from the electronic device that performs the actual processing is convenient, but it is not known when the message from the system (electronic device) is notified. For this reason, for example, during a conversation, a notification of the next meeting schedule may be received or a response to a user request such as a schedule confirmation may be returned. If the conversation voice (user's own utterance or the conversation partner's utterance) and the message from the system ("system response") overlap, the conversation will be hindered, and the system response will also be difficult to hear. For this reason, it is necessary to control the timing of outputting the system response so that the conversation and the system response do not overlap.
例えば特許文献1には、各ユーザーの業務状況をリアルタイムに把握しているサーバ装置が、各ユーザーのリアルタイムの業務状況を提示することにより、各ユーザーは、自分がコミュニケーションを取ろうとしている相手の状況を把握することができるという技術が開示されている。しかしながら、この技術は、各ユーザーのリアルタイムの業務状況を提示するのみであり、メッセージを出力するタイミングを制御することまでは行わない。また、例えば特許文献2には、ユーザーとシステムとが対話を行う場合に、ユーザーの発話とシステム応答が重ならないように制御する技術が開示されている。この技術では、ユーザーが発話すると、システム側はユーザーの発話意図を分類し、分類された発話意図に応じた応答候補を選定する。各応答候補には応答文のメッセージを出力するまでの待ち時間が設定されており、当該待ち時間の間にユーザーからの新たな発話がなかった場合にのみ応答文のメッセージが出力される。しかしながら、この技術では、ユーザーの現在の状況に関わらず、待ち時間が経過しない限り、応答文のメッセージは出力されないので、メッセージを出力するタイミングが適切でない場合も発生する。
For example, in
上述の従来技術では、適切なタイミングで、メッセージをユーザーに通知することは困難であるという問題がある。本発明が解決しようとする課題は、適切なタイミングで、メッセージをユーザーに通知することが可能な情報通知支援装置、情報通知支援方法およびプログラムを提供することである。 The above-described conventional technique has a problem that it is difficult to notify a user of a message at an appropriate timing. The problem to be solved by the present invention is to provide an information notification support apparatus, an information notification support method, and a program capable of notifying a user of a message at an appropriate timing.
実施形態の情報通知支援装置は、判定部と出力制御部とを備える。判定部は、ユーザーの音声情報、状況情報または位置情報の少なくとも一つを用いて、ユーザーがメッセージを聞き取ることが可能な状況であるか否かを判定する。出力制御部は、ユーザーがメッセージを聞き取ることが可能な状況ではないと判定された場合は、ユーザーの現在の状況と、メッセージとが関連するか否かに基づいて、メッセージを出力するタイミングを制御する。 The information notification support apparatus according to the embodiment includes a determination unit and an output control unit. The determination unit determines whether or not the user can listen to the message using at least one of the voice information, the situation information, and the position information of the user. When it is determined that the situation is not such that the user can hear the message, the output control unit controls the timing of outputting the message based on whether or not the message is related to the current situation of the user. To do.
実施形態の情報通知支援方法は、ユーザーに対してメッセージを通知する情報通知支援方法であって、ユーザーの音声情報、状況情報または位置情報の少なくとも一つを用いて、ユーザーがメッセージを聞き取ることが可能であるか否かを判定し、ユーザーがメッセージを聞き取ることが可能な状況ではないと判定された場合は、ユーザーの現在の状況と、メッセージとが関連するか否かに基づいて、メッセージを出力するタイミングを制御する。 The information notification support method of the embodiment is an information notification support method for notifying a user of a message, and the user can listen to the message using at least one of the user's voice information, status information, or position information. If it is determined that it is not possible for the user to listen to the message, the message is determined based on whether the user's current status is related to the message. Control the output timing.
実施形態のプログラムは、判定ステップと出力制御ステップとをコンピュータに実行させるためのプログラムである。判定ステップは、ユーザーの音声情報、状況情報または位置情報の少なくとも一つを用いて、ユーザーがメッセージを聞き取ることが可能な状況であるか否かを判定する。出力制御部ステップは、ユーザーがメッセージを聞き取ることが可能な状況ではないと判定された場合は、ユーザーの現在の状況と、メッセージとが関連するか否かに基づいて、メッセージを出力するタイミングを制御する。 The program according to the embodiment is a program for causing a computer to execute the determination step and the output control step. In the determination step, it is determined whether or not the user can listen to the message using at least one of the voice information, the situation information, and the position information of the user. If it is determined that the message is not in a situation where the user can hear the message, the output control unit step determines the timing for outputting the message based on whether the message is related to the user's current situation. Control.
以下、添付図面を参照しながら、本発明に係る情報通知支援装置、情報通知支援方法およびプログラムの実施の形態を詳細に説明する。以下の各実施形態では、ユーザーの耳に装着されるとともに遠隔のシステム本体と連携する情報通知支援装置を介して、ユーザーへの情報提供サービスを行うシステム形態を前提として説明する。このシステムでは、例えばスケジュール情報を示すメッセージをユーザーに通知することもできるし、ユーザーからの音声による要求に対する処理結果を示すメッセージをユーザーに通知することもできる。 Hereinafter, embodiments of an information notification support apparatus, an information notification support method, and a program according to the present invention will be described in detail with reference to the accompanying drawings. Each of the following embodiments will be described on the premise of a system configuration that provides an information providing service to a user via an information notification support device that is worn on the user's ear and that cooperates with a remote system body. In this system, for example, a message indicating schedule information can be notified to the user, and a message indicating a processing result in response to a voice request from the user can be notified to the user.
(第1実施形態)
図1は、本実施形態のシステム1の概略構成例を示すブロック図である。図1に示すように、システム1は、ユーザーAの耳に装着可能な情報通知支援装置101と、情報通知支援装置101と接続されるシステム本体1001と、ユーザーBの耳に装着可能な情報通知支援装置102と、情報通知支援装置102と接続されるシステム本体1002とを備える。図1の例では、システム1に含まれる情報通知支援装置およびシステム本体の各々の数は2つである形態を例示しているが、これに限らず、システム1に含まれる情報通知支援装置およびシステム本体の各々の数は任意である。以下の説明では、ユーザーAの耳に装着可能な情報通知支援装置101と、情報通知支援装置101と接続されるシステム本体1001に着目して説明するが、ユーザーBの耳に装着可能な情報通知支援装置102、情報通知支援装置102と接続されるシステム本体1002の構成も同様である。
(First embodiment)
FIG. 1 is a block diagram illustrating a schematic configuration example of a
情報通知支援装置101は、無線LAN等を介して、遠隔にあるシステム本体1001と接続されている。システム本体1001は、例えばPC(Personal Computer)やスマートフォンなどで構成され得る。システム本体1001は、インターネット等を介して、検索やチケット予約などの各種サービスを提供することができる。情報通知支援装置101は、システム本体1001から受信したメッセージを、ユーザーAに通知する。つまり、ユーザーAは、情報通知支援装置101を通じて、システム本体1001からのメッセージを聞くことができる。例えば、ユーザーAは、次の会議の開始時刻前に、もうすぐ会議が始まる旨のメッセージを聞くこともできる。また、ユーザーAは、システム本体1001に対する要求の結果を示すメッセージを聞くこともできる。例えば、知らない単語の意味を検索するようユーザーAが要求した場合は、その結果を聞くこともできる。
The information
図2は、情報通知支援装置101の機能構成例を示すブロック図である。図2に示すように、情報通知支援装置101は、音声入力部201と、解析部202と、判定部203と、通信部204と、通信制御部205と、記憶部206と、出力制御部207と、受信通知部208と、出力部209とを備える。
FIG. 2 is a block diagram illustrating a functional configuration example of the information
音声入力部201は、例えばマイクなどによって取り込まれた、ユーザーAの周囲の音声を受理する。音声入力部201は、情報通知支援装置101を装着したユーザーAの音声だけでなく、その周囲に存在する他のユーザーBの音声も入力として受理する。
The
解析部202は、音声入力部201で受理された音声(入力された音声)を解析する。より具体的には、解析部202は、音声入力部201で音声を受理した時刻や、その音声が、ユーザーAの音声であるか否か等の解析を行う。そして、解析部202は、解析結果を示す音声情報を記憶部206に登録する。後述するように、音声情報には、発話が開始される時刻を示す発話開始時刻と、発話が行われる時間を示す発話時間とが少なくとも含まれる。
The
判定部203は、記憶部206に記憶された音声情報を用いて、ユーザーの現在の状況を判定する。そして、その判定結果を示す状況情報を記憶部206に登録する。この詳細な内容については後述する。
The
通信部204は、システム本体1001と通信する。例えば、通信部204は、システム本体1001に対するユーザーの要求を示す情報をシステム本体1001へ送信することもできるし、システム本体1001からのメッセージを受信することもできる。
The
通信制御部205は、通信部204による情報の送受信に関する制御を行う。例えば通信制御部205は、メッセージの発行者や発行時刻、メッセージの内容等を解析する処理を行うこともできる。
The
記憶部206は各種の情報を記憶する。より具体的には、記憶部206は、解析部202による解析結果を示す音声情報、および、判定部203による判定結果を示す状況情報を記憶する。また、記憶部206は、音声情報および状況情報に加えて、ユーザーAのスケジュール情報や、GPSを利用するなどして得たユーザーAの位置情報を記憶することもできるし、情報通知支援装置101とシステム本体1001との間で行われた通信の結果を時間情報とともに記憶することもできる。
The
出力制御部207は、通信部204で受信したシステム本体1001からのメッセージをユーザーAに通知するタイミングを決定する。詳細な内容は後述するが、システム本体1001からのメッセージを通信部204で受信した場合、出力制御部207は、記憶部206に記憶された状況情報を用いて、ユーザーが、システム本体1001からのメッセージを聞き取ることが可能な状況であるか否かを判断する。そして、ユーザーが、システム本体1001からのメッセージを聞き取ることが可能な状況であると判断した場合、出力制御部207は、通信部204で受信したメッセージを出力するように出力部209を制御する。一方、ユーザーが、システム本体1001からのメッセージを聞き取ることが可能な状況ではないと判断した場合、出力制御部207は、まずはメッセージを受信したことを知らせる通知音を出力するように受信通知部208を制御し、受信したメッセージとユーザーの現在の状況との関連度やメッセージの重要度に応じて、メッセージの内容を出力するタイミングを制御する。
The
受信通知部208は、出力制御部207の制御の下、メッセージを受信したことを知らせる通知音を出力する。受信通知部208による通知音のパターンは、受信したメッセージとユーザーの現在の状況との関連度やメッセージの重要度に応じて異なる。
The
出力部209は、メッセージの内容を示す音声を出力する。より具体的には、出力部209は、出力制御部207の制御の下、通信部204で受信したシステム本体1001からのメッセージの内容を示す音声をユーザーAに対して出力する。
The
次に、図3および図4を参照しながら、本実施形態の情報通知支援装置101による処理動作の一例を説明する。図3は、情報通知支援装置101が音声入力を受理した場合、および、ユーザーAの現在の状況を判定する場合の処理動作の一例を示す図である。図3に示すように、まず音声入力受理ステップS401で、音声入力部201は、ユーザーAの周囲の音声の入力を受理する。例えば、ユーザーAとユーザーBが、図5に示すような会話を行っている場合、音声入力部201は、ユーザーAの発話を示す「お久しぶり」「そうそう、それがね.....」だけでなく、ユーザーBの発話を示す「連休はバリへ旅行に行ったんだって?」も受理する。
Next, an example of a processing operation performed by the information
次に、音声解析ステップS402で、解析部202は、音声入力受理ステップS401で受理した音声の解析を行う。本実施形態では、解析部202は、音声入力受理ステップS401で受理した音声から、発話が開始される時刻を示す発話開始時刻、発話が行われる時間(音声入力が継続する時間と捉えることもできる)を示す発話時間を特定する。また、解析部202は、受理した音声が、ユーザーA本人の発話による音声であるか否かを判定する。本人の発話による音声であるか否かは、例えば記憶部206に予め登録されたユーザーAの音声サンプルと、受理した音声とを比較することにより判断することができるが、これに限らず、公知の様々な判断方法を用いることができる。そして、解析部202は、音声解析ステップS402の解析結果を、記憶部206に記録する(解析結果蓄積ステップS403)。
Next, in the voice analysis step S402, the
より具体的には以下のとおりである。解析部202は、新たな音声入力を検知すると、その新たな音声入力が検知された時刻を発話開始時刻として記憶部206の音声入力履歴情報に登録する。その後、発話を識別する発話ID、発話者を識別する発話者ID、発話時間を対応付けて随時追加する。図6は、音声入力履歴情報の一例を示す図である。音声入力履歴情報は、発話IDと発話開始時刻と発話時間と発話者IDとが対応付けられた単位情報が順次に登録されて構成される。ここでは、音声入力履歴情報が、解析部202による解析結果を示す音声情報であると捉えることもできる。図6の例では、図5に示すユーザーAの最初の発話を示す「お久しぶり」に相当する音声入力の情報が、第1行目の単位情報として記録されている。つまり、図5に示すユーザーAの最初の発話を示す「お久しぶり」を識別する発話IDは「1」である。そして、発話ID「1」に対応する発話開始時刻は「2011年9月8日午前9時40分50秒」であり、「お久しぶり」の音声入力を受理した時刻に相当する。また、発話ID「1」に対応する発話時間は「5秒」であり、「お久しぶり」の音声入力が継続した時間に相当する。さらに、発話ID「1」に対応する発話者IDは「0001」であり、ユーザーA本人を示す発話者IDに相当する。
More specifically, it is as follows. When the
また、図6の例では、図5に示すユーザーBの「連休はバリへ旅行に行ったんだって?」に相当する音声入力の情報が、第2行目の単位情報として記録されている。つまり、図5に示すユーザーBの発話を示す「連休はバリへ旅行に行ったんだって?」を識別する発話IDは「2」である。そして、発話ID「2」に対応する発話開始時刻は「2011年9月8日午前9時40分57秒」であり、「連休はバリへ旅行に行ったんだって?」の音声入力を受理した時刻に相当する。また、発話ID「2」に対応する発話時間は「12秒」であり、「連休はバリへ旅行に行ったんだって?」の音声入力が継続した時間に相当する。さらに、発話ID「2」に対応する発話者IDは「0002」であり、ユーザーA以外の発話者(この場合はユーザーB)を示す発話者IDに相当する。 In the example of FIG. 6, voice input information corresponding to the user B's “Did you travel to Bali?” Is recorded as unit information in the second row shown in FIG. 5. That is, the utterance ID for identifying the utterance of the user B shown in FIG. 5 that identifies “Did you go to Bali for consecutive holidays?” Is “2”. And the utterance start time corresponding to the utterance ID “2” is “09:40:57 am on September 8, 2011”, and the voice input “Did you travel to Bali during the consecutive holidays?” Was accepted. Corresponds to time. Further, the utterance time corresponding to the utterance ID “2” is “12 seconds”, which corresponds to the time during which the voice input “Did you travel to Bali for consecutive holidays?” Continues. Furthermore, the speaker ID corresponding to the speech ID “2” is “0002”, which corresponds to a speaker ID indicating a speaker other than the user A (in this case, the user B).
また、図6の例では、図5に示すユーザーAの「そうそう、それがね.....」に相当する音声入力の情報が、第3行目の単位情報として記録されている。つまり、図5に示すユーザーAの発話を示す「そうそう、それがね.....」を識別する発話IDは「3」である。そして、発話ID「3」に対応する発話開始時刻は「2011年9月8日午前9時41分15秒」であり、「そうそう、それがね.....」の音声入力を受理した時刻に相当する。また、発話ID「3」に対応する発話時間は「15秒」であり、「そうそう、それがね.....」の音声入力が継続した時間に相当する。さらに、発話ID「3」に対応する発話者IDは「0001」であり、ユーザーA本人を示す発話者IDに相当する。以上が、図3の音声解析ステップS402および解析結果蓄積ステップS403の具体的な内容の一例である。 In the example of FIG. 6, voice input information corresponding to “Yes, it is ...” of user A shown in FIG. 5 is recorded as unit information on the third line. That is, the utterance ID for identifying “Yes, that is ...” indicating the utterance of the user A shown in FIG. 5 is “3”. Then, the utterance start time corresponding to the utterance ID “3” is “09:41:15 am on September 8, 2011”, and the voice input “Yes, that is…” was accepted. Corresponds to time. Further, the utterance time corresponding to the utterance ID “3” is “15 seconds”, which corresponds to the time during which the voice input of “Yes, that is ...” is continued. Furthermore, the speaker ID corresponding to the speech ID “3” is “0001”, which corresponds to the speaker ID indicating the user A himself / herself. The above is an example of specific contents of the voice analysis step S402 and the analysis result accumulation step S403 in FIG.
再び図3に戻って説明を続ける。ユーザーの現在の状況を判定する処理は、音声入力の受理とは別に、定期的に実行される。つまり、図3の状況判定ステップS404は、予め定められた一定時間が経過するたびに行われる。状況判定ステップS404では、判定部203は、記憶部206に蓄積された音声入力履歴情報を参照し、直近のユーザーA本人、あるいは他の人物の発話の有無や頻度を調べる。
Returning to FIG. 3 again, the description will be continued. The process for determining the current state of the user is periodically executed separately from the reception of the voice input. That is, the situation determination step S404 in FIG. 3 is performed every time a predetermined time has elapsed. In the situation determination step S404, the
本実施形態では、判定部203は、発話の有無(発話が開始されているか否か)、および、直前の発話が終了してから経過した時間を示す発話間隔に基づいて、ユーザーAが「会話中」であるか否かを判定する。ここでは、「会話中」とは、閾値以下の発話間隔で発話が繰り返される状況であると捉えることができる。つまり、判定部203は、発話が開始されていることを検出しても、直前の発話との間隔(発話間隔)が閾値よりも大きい場合は、「会話中」であるとは判定しない。判定部203は、発話が開始されていることを検出し、次の発話との発話間隔が閾値以下の場合は、「会話中」であると判定する。
In the present embodiment, the
判定部203は、ユーザーAが「会話中」ではないと判定した場合、現在の時刻、ユーザーAのスケジュール情報、および、ユーザーAの位置情報などを利用することで、ユーザーAの現在の状況(例えば「就寝中」、「作業中(メッセージ通知可能)」など)を詳細に判定することができる。
When the
次に、蓄積情報更新ステップS405で、判定部203は、状況判定ステップS404の判定結果を示す状況情報を記憶部206に記録する。例えば状況判定ステップS404で、ユーザーAが「会話中」であると判定した場合、判定部203は、「会話中」を示す状況情報と、判定を行った時刻を示す時間情報とを対応付けて記憶部206に記録することもできる。これにより、記憶部206に記憶された状況情報と、対応する時間情報とを参照することで、ユーザーAの状況が「会話中」に変化した時点、および、その「会話中」の状況が継続している時間長を把握することもできる。
Next, in accumulated information update step S405, the
図4は、情報通知支援装置101が、システム本体1001からのメッセージを受信した場合の処理動作の一例を示す図である。まずメッセージ受信ステップS501では、通信部204は、システム本体1001からのメッセージを受信する。ここでは、図5に例示された、次の会議が始まることを通知するメッセージ(「まもなく次の会議が始まります」)を受信する場合を想定する。この例では、システム本体1001は、情報通知支援装置101に対してメッセージを送信する際に、当該メッセージの優先度(メッセージの内容の優先度合いを示す指標であり、値が大きいほど優先度合いも高くなる)に応じて決定される重要度を当該メッセージに付与するので、メッセージ受信ステップS501において、通信部204は、システム本体1001からのメッセージと、当該メッセージの重要度とを受信する。
FIG. 4 is a diagram illustrating an example of a processing operation when the information
本実施形態では、上述の重要度は、「高」、「中」、「低」の3段階に分類される。また、メッセージの優先度と重要度との対応関係は、予め設定されている。システム本体1001は、情報通知支援装置101に対して送信すべきメッセージの優先度が第1基準値以上の場合は、「高」を示す重要度を当該メッセージに付与して情報通知支援装置101へ送信する。また、システム本体1001は、情報通知支援装置101に対して送信すべきメッセージの優先度が第1基準値未満の場合は、「中」あるいは「低」を示す重要度を当該メッセージに付与して情報通知支援装置101へ送信する。さらに詳述すれば、システム本体1001は、情報通知支援装置101に対して送信すべきメッセージの優先度が、第1基準値よりも小さい第2基準値以上の場合は、「中」を示す重要度を当該メッセージに付与して情報通知支援装置101へ送信する。また、システム本体1001は、情報通知支援装置101に対して送信すべきメッセージの優先度が、第2基準値未満の場合は、「低」を示す重要度を当該メッセージに付与して情報通知支援装置101へ送信する。
In the present embodiment, the above-described importance is classified into three levels, “high”, “medium”, and “low”. Also, the correspondence between the priority and importance of the message is set in advance. When the priority of a message to be transmitted to the information
この例では、次の会議が始まることを通知するメッセージに対応する優先度は、第2基準値以上、かつ、第1基準値未満に設定されるので、「中」を示す重要度が当該メッセージに付与される。 In this example, since the priority corresponding to the message notifying that the next meeting starts is set to be equal to or higher than the second reference value and lower than the first reference value, the importance indicating “medium” is the message. To be granted.
次に、メッセージ関連情報取得ステップS502では、通信制御部205は、メッセージ受信ステップS501で受信したメッセージに関連する情報を取得する。より具体的には、通信制御部205は、受信したメッセージに付与された重要度、受信したメッセージに対応する要求の送信者、受信したメッセージに対応する要求を送信した時刻を示す要求送信時刻などの情報を取得する。そして、通信制御部205は、その取得した情報を判定部203に渡す。
Next, in message related information acquisition step S502, the
ここで、本実施形態では、システム本体1001が実行可能な処理ごとに、当該処理の実行を要求するとともに、その処理結果を示すメッセージの送信を要求することを示す音声パターンが予め設定されている。記憶部206には、複数種類の音声パターンが登録されており、音声入力部201で受理された音声入力の少なくとも一部が、記憶部206に登録された音声パターンと一致する場合は、その音声パターンに対応する要求(ユーザーの明示的な要求、「ユーザー要求」と呼ぶ)がシステム本体1001へ送信される。そして、システム本体1001は、受信したユーザー要求によって要求された処理を実行し、その処理結果を示すメッセージを情報通知支援装置101へ送信する。また、システム本体1001は、情報通知支援装置101からユーザー要求を受信しない場合であっても、ユーザーAのスケジュール情報を参照して、予め定められた時刻に到達すると、当該時刻で通知すべきメッセージを情報通知支援装置101に対して送信する。ここでは、ユーザーAのスケジュール情報に応じて、メッセージを通知する時刻と、当該メッセージの内容とが予め設定される。
Here, in this embodiment, for each process that can be executed by the system
図5に例示された、次の会議が始まることを通知するメッセージは、ユーザーの明示的な要求(「ユーザー要求」)に対する応答ではなく、ユーザーAのスケジュール情報に基づいて、システム本体1001が通知してきたメッセージなので、このメッセージに対応する要求の送信者は「システム」となる。また、ユーザーの明示的な要求はないので、要求送信時刻も「なし」となる。
The message notifying that the next meeting is started as exemplified in FIG. 5 is not a response to the user's explicit request (“user request”), but is notified by the system
図4に戻って説明を続ける。メッセージタイプ判定ステップS503で、判定部203は、ユーザーAの現在の状況と、受信したメッセージとの関連度、および、受信したメッセージに付与された重要度に基づいて、その受信したメッセージが、予め定義された複数種類のメッセージタイプのうちの何れのメッセージタイプのメッセージであるのかを判定する。より具体的には以下のとおりである。
Returning to FIG. 4, the description will be continued. In the message type determination step S503, the
まず、図7を参照しながら、ユーザーAの現在の状況と、受信したメッセージとの関連度を判定する方法を説明する。図7の例では、ステップS701において、判定部203は、受信したメッセージが、ユーザー要求に対する応答であるか否かを判定する。受信したメッセージが、ユーザー要求に対する応答ではないと判定した場合(ステップS701の結果:NO)、判定部203は、受信したメッセージは、システム本体1001からの何らかの通知であり、ユーザーAの現在の状況とは無関係なメッセージであると判定する(ステップS702)。この場合、ユーザーAの現在の状況と、受信したメッセージとの関連度は、ユーザーAの現在の状況と、受信したメッセージとは関連しないことを示す「なし」に設定される。
First, a method for determining the degree of association between the current situation of user A and the received message will be described with reference to FIG. In the example of FIG. 7, in step S <b> 701, the
一方、受信したメッセージが、ユーザー要求に対する応答であると判定した場合(ステップS701の結果:YES)、判定部203は、そのユーザー要求が、ユーザーAの現在の状況下で出されたものであるか否かを判定する(ステップS703)。より具体的には、判定部203は、記憶部206に記録された情報を参照し、状況情報が示すユーザーAの現在の状況において、受信したメッセージに対応するユーザー要求がシステム本体1001に対して送信されていたか否かを判定する。例えばユーザーAの現在の状況が「会話中」であり、かつ、その会話の途中でユーザーが明示的に出した要求は、現在の会話の内容と関連している可能性が高い。このため、ユーザーAの現在の状況下で、受信したメッセージに対応するユーザー要求がシステム本体1001に対して送信されていた場合(ステップS703の結果:YES)、判定部203は、受信したメッセージは、ユーザーAの現在の状況と関連があるメッセージであると判定する(ステップS704)。この場合、ユーザーAの現在の状況(状況情報が示すユーザーAの現在の状況)と、受信したメッセージとの関連度は、ユーザーAの現在の状況と受信したメッセージとが関連することを示す「あり」に設定される。一方、ユーザーAの現在の状況下で、受信したメッセージに対応するユーザー要求がシステム本体1001に対して送信されていなかった場合(ステップS703の結果:NO)、判定部203は、受信したメッセージは、ユーザーAの現在の状況とは無関係なメッセージであると判定する(ステップS702)。
On the other hand, when it is determined that the received message is a response to the user request (the result of step S701: YES), the
図5に例示された、次の会議が始まることを通知するメッセージは、ユーザー要求に対する応答ではないので、図7のステップS701の結果は「NO」となり、このメッセージは、ユーザーAの現在の状況とは無関係なメッセージであると判定され、ユーザーAの現在の状況と、受信したメッセージとの関連度は「なし」に設定される。 Since the message notifying that the next meeting starts illustrated in FIG. 5 is not a response to the user request, the result of step S701 in FIG. 7 is “NO”, and this message indicates the current status of the user A. And the degree of association between the current situation of user A and the received message is set to “none”.
以上のようにして、ユーザーAの現在の状況と受信したメッセージとの関連度を判定した後、判定部203は、受信したメッセージの重要度、および、ユーザーAの現在の状況と受信したメッセージとの関連度を用いて、受信したメッセージが、予め定義された複数種類のメッセージタイプのうちの何れのメッセージタイプのメッセージであるのかを判定する。図8は、メッセージタイプの分類に用いられる判定表の一例を示す図であり、この判定表は記憶部206に記憶される。判定部203は、記憶部206から読み出した判定表を参照しながら、受信したメッセージのメッセージタイプを判定する。図8の例の判定表では、メッセージタイプを識別するメッセージタイプIDと、メッセージの重要度と、ユーザーAの現在の状況と受信したメッセージとの関連度と、メッセージを受信したことを示す通知音の種類を識別する通知音タイプと、メッセージを出力するタイミングの種類を識別するメッセージ出力タイミングとが対応付けられている。前述したように、図5に例示された、次の会議が始まることを示すメッセージの重要度は「中」であり、ユーザーAの現在の状況と受信したメッセージとの関連度は「なし」なので、受信したメッセージは、メッセージタイプID「4」のメッセージであると判定される。そして、判定部203は、以上のメッセージタイプ判定ステップS503による判定結果を通信制御部205へ渡す。
After determining the relevance between the current situation of user A and the received message as described above, the
再び図4に戻って説明を続ける。メッセージタイプ判定ステップS503の後の受信メッセージ情報蓄積ステップS504で、通信制御部205は、受信したメッセージに関するメッセージ情報を、記憶部206の受信メッセージリストに記録する。メッセージ情報には、例えば、メッセージを識別するメッセージID、メッセージを受信した時刻を示す受信時刻、メッセージに対応する要求を送信した要求送信者、メッセージタイプIDなどが含まれる。
Returning to FIG. 4 again, the description will be continued. In received message information accumulation step S504 after message type determination step S503, the
図9は、受信メッセージリストの一例である。受信メッセージリストは、メッセージIDと、要求送信者と、要求送信時刻と、受信時刻と、メッセージタイプIDと、メッセージ内容と、メッセージを受信したことの通知を行ったか否かを示す受信通知と、メッセージ内容の通知を行ったか否かを示す内容通知とが対応付けられた単位情報が順次に登録されて構成される。図9の例では、メッセージID「0003」で識別されるメッセージが、受信メッセージ情報蓄積ステップS504により記録された最新のメッセージ(図5に例示された、次の会議が始まることを示すメッセージ)に対応する。また、通信制御部205は、新たなメッセージを受信したことを出力制御部207に対して通知する。
FIG. 9 is an example of the received message list. The received message list includes a message ID, a request sender, a request transmission time, a reception time, a message type ID, a message content, and a reception notification indicating whether or not a message has been received, Unit information associated with a content notification indicating whether or not a message content has been notified is sequentially registered and configured. In the example of FIG. 9, the message identified by the message ID “0003” is the latest message recorded in the received message information accumulation step S504 (the message illustrated in FIG. 5 indicating that the next meeting starts). Correspond. In addition, the
再び図4に戻って説明を続ける。受信メッセージ情報蓄積ステップS504の後のメッセージ通知タイミング判定ステップS505は、出力制御部207が、新たなメッセージを受信したことの通知を通信制御部205から受けるたび、あるいは、予め定められた一定期間が経過するたびに実行される。新たなメッセージを受信したことの通知を受けた場合、出力制御部207は、図8の判定表を参照して、受信したメッセージのメッセージタイプID(受信メッセージリストに記録された最新のメッセージタイプID)に対応する通知音タイプおよびメッセージ出力タイミングを決定する。一方、予め定められた一定期間が経過してメッセージ通知タイミング判定ステップS505が開始される場合は、出力制御部207は、記憶部206に保持された受信メッセージリストの中で、まだメッセージの出力が完了していないメッセージの中から最も優先度の高いメッセージを選択して処理を行う。
Returning to FIG. 4 again, the description will be continued. The message notification timing determination step S505 after the received message information accumulation step S504 is performed every time the
ここでは、図5に例示された、次の会議が始まることを示すメッセージ(「まもなく次の会議が始まります」)を受信した場合を想定しているので、受信したメッセージのメッセージタイプIDは「4」であり、出力制御部207は、図8の判定表を参照して、メッセージタイプID「4」に対応する通知音タイプおよびメッセージ出力タイミングを決定する。この例では、通知音タイプは「5」、メッセージ出力タイミングは「通常」に決定される。通知音タイプ「5」の通知音は、図5の「ピピピッ」という音に対応している。
Here, since it is assumed that the message illustrated in FIG. 5 indicating that the next meeting starts (“the next meeting will start soon”) is received, the message type ID of the received message is “ 4 ”, the
次に、図4のメッセージ受信通知ステップS506では、出力制御部207は、メッセージ通知タイミング判定ステップS505で決定した通知音を出力するように受信通知部208を制御する。この例では、出力制御部207は、メッセージ通知タイミング判定ステップ505で決定した通知音タイプ「5」に対応する「ピピピッ」という通知音を出力するように受信通知部208を制御する。これにより、「ピピピッ」という通知音がユーザーに通知され、ユーザーAは、メッセージを受信したことを認識できる。本実施形態では、受信したメッセージのタイプごとに(メッセージタイプIDごとに)、通知音の種類を異ならせている、言い換えれば、受信したメッセージの重要度、および、ユーザーAの現在の状況と受信したメッセージとの関連度の組み合わせに応じて通知音の種類を異ならせているので、通知音を聞いたユーザーAは、受信したメッセージの重要度や、ユーザーAの現在の状況と受信したメッセージとの関連度を予測することができる。この例では、ユーザーAは、通知音タイプ「5」に対応する「ピピピッ」という通知音を聞くことで、重要度が「中」で、現在の状況とは無関係なメッセージを受信したことを把握できる。ここで、ユーザーAが、受信したメッセージを聞きたい場合は、発話の開始を少し遅らせるなどして、そのメッセージを聞くための間を作ることで、メッセージを出力させることもできる。もし、会話を優先したい場合は、間を作らずに会話を続けることで、メッセージの出力を後回しにすることもできる。
Next, in message reception notification step S506 in FIG. 4, the
メッセージ受信通知ステップS506の後のメッセージ出力ステップS507では、まず、出力制御部207は、受信したメッセージの内容を出力することが可能であるか否かを判定する。例えば、出力制御部207は、記憶部206に記憶された状況情報を用いて、ユーザーAがメッセージを聞き取ることが可能な状況であるか否かを判断する。より具体的には、出力制御部207は、記憶部206に記憶された状況情報が示すユーザーAの現在の状況が「会話中」である場合は、ユーザーAがメッセージを聞き取ることが可能な状況ではないと判断する一方、状況情報が示すユーザーAの現在の状況が「会話中」以外の状況である場合は、ユーザーAがメッセージを聞き取ることが可能な状況であると判断することもできる。なお、前述したように、状況情報は、記憶部206に記憶された音声情報に基づく判定結果(判定部203による判定結果)を示すものなので、見方を変えれば、出力制御部207は、記憶部206に記憶された音声情報を用いて(音声情報に基づいて)、ユーザーAがメッセージを聞き取ることが可能な状況であるか否かを判断していると捉えることもできる。そして、出力制御部207は、ユーザーAがメッセージを聞き取ることが可能な状況であると判断した場合は、受信したメッセージの内容を出力するように出力部209を制御する。この例では、出力制御部207は、図5に例示された、次の会議が始まることを示すメッセージ(「まもなく次の会議が始まります」)を出力するように出力部209を制御する。
In a message output step S507 after the message reception notification step S506, first, the
一方、出力制御部207は、ユーザーAがメッセージを聞き取ることが可能な状況ではないと判断した場合、受信したメッセージの重要度、および、ユーザーAの現在の状況と受信したメッセージとの関連度を用いて、その受信したメッセージを出力するタイミングを制御する。より具体的には、出力制御部207は、受信したメッセージに対応するメッセージ出力タイミングに従った処理を行う。図8に例示した判定表では、メッセージ出力タイミングの種類は、「優先」、「通常」、「遅延」の3種類であり、受信したメッセージに対応するメッセージ出力タイミングは、その受信したメッセージの重要度、および、ユーザーAの現在の状況と受信したメッセージとの関連度の組み合わせに応じて決まる。
On the other hand, when the
図8からも理解されるように、本実施形態では、受信したメッセージの重要度が「高」、つまりは、メッセージの優先度が第1基準値以上の場合は、ユーザーAの現在の状況と受信したメッセージとの関連度に関わらずに、メッセージ出力タイミングは「優先」に設定される。また、受信したメッセージの重要度が「中」または「低」、つまりは、メッセージの優先度が第1基準値未満であって、ユーザーAの現在の状況と受信したメッセージとが関連している場合は、メッセージ出力タイミングは「通常」に設定される。さらに、受信したメッセージの重要度が「低」、つまりは、メッセージの優先度が第2基準値未満であって、ユーザーAの現在の状況と受信したメッセージとが関連していない場合は、メッセージ出力タイミングは「遅延」に設定されると捉えることができる。なお、これに限らず、メッセージ出力タイミングを決定するための、受信したメッセージの重要度、および、ユーザーAの現在の状況と受信したメッセージとの関連度の組み合わせは任意に変更可能である。 As can be understood from FIG. 8, in the present embodiment, when the importance of the received message is “high”, that is, when the priority of the message is equal to or higher than the first reference value, The message output timing is set to “priority” regardless of the degree of association with the received message. Further, the importance level of the received message is “medium” or “low”, that is, the message priority is less than the first reference value, and the current status of the user A is related to the received message. In this case, the message output timing is set to “normal”. Further, if the received message has a low importance level, that is, if the message priority is less than the second reference value and the current status of the user A is not related to the received message, the message It can be understood that the output timing is set to “delay”. However, the present invention is not limited to this, and the combination of the importance level of the received message and the degree of association between the current situation of the user A and the received message for determining the message output timing can be arbitrarily changed.
この例では、受信したメッセージの重要度が「高」を示す場合は、ユーザーAの現在の状況と受信したメッセージとの関連度に関わらず、受信したメッセージに対応するメッセージ出力タイミングは「優先」に設定されるが、これに限らず、例えば受信したメッセージが、ユーザーAの現在の状況と関連する場合は、受信したメッセージの重要度に関わらず、受信したメッセージに対応するメッセージ出力タイミングは「優先」に設定されてもよい。つまり、受信したメッセージが、現在の会話に優先して通知されるべきメッセージである場合は、当該メッセージに対応するメッセージ出力タイミングは「優先」に設定されるものであればよく、この限りにおいて、メッセージ出力タイミングを決定するための、受信したメッセージの重要度、および、ユーザーAの現在の状況と受信したメッセージとの関連度の組み合わせは任意に設定可能である。また、例えば、受信したメッセージに対応するメッセージ出力タイミングが、受信したメッセージの重要度、および、ユーザーAの現在の状況と受信したメッセージとの関連度のうちの一方のみに応じて決定されてもよい。要するに、ユーザーAがメッセージを聞き取ることが可能な状況ではない場合、出力制御部207は、受信したメッセージの重要度を用いて、メッセージを出力するタイミングを制御してもよいし、ユーザーAの現在の状況と受信したメッセージとの関連度を用いて、メッセージを出力するタイミングを制御してもよい。
In this example, when the importance level of the received message indicates “high”, the message output timing corresponding to the received message is “priority” regardless of the degree of association between the current situation of the user A and the received message. However, the present invention is not limited to this. For example, when the received message is related to the current situation of the user A, the message output timing corresponding to the received message is “regardless of the importance of the received message”. It may be set to “priority”. In other words, if the received message is a message to be notified with priority over the current conversation, the message output timing corresponding to the message may be set to “priority”. The combination of the importance of the received message and the degree of association between the current situation of the user A and the received message for determining the message output timing can be arbitrarily set. Further, for example, the message output timing corresponding to the received message may be determined according to only one of the importance of the received message and the degree of association between the current situation of the user A and the received message. Good. In short, when it is not a situation in which the user A can hear the message, the
メッセージ出力タイミングが「優先」のメッセージは、現在の会話よりも優先してユーザーAに通知すべきメッセージである。出力制御部207は、受信したメッセージに対応するメッセージ出力タイミングが「優先」の場合は、新たな発話が既に開始されていても、受信したメッセージの内容を出力させる(メッセージの内容を出力するように出力部209を制御する)。つまり、本実施形態では、出力制御部207は、ユーザーAがメッセージを聞き取ることが可能な状況ではないと判断し、受信したメッセージの優先度が第1基準値以上(受信したメッセージの重要度が「高」)である場合は、ユーザーの現在の状況に関わらず、メッセージを出力させる。この場合、システム本体1001から受信したメッセージの内容は、会話に割り込む形でユーザーAに通知されるが、例えばメッセージ受信通知ステップS506において、会話よりも優先するメッセージを受信したことを示す通知音タイプ「1」に対応する通知音をユーザーAに通知するとともに、会話の相手(例えばユーザーB)にも、現在の会話よりも優先するメッセージが届いていることが予め分かるようにしておく。これにより、会話とメッセージの音声出力との重なりを回避することができる。例えば通知音を、会話の相手にも聞こえるように出力する、あるいは、ユーザーAの情報通知支援装置101の一部を光らせるなどすることにより、現在の会話よりも優先するメッセージがユーザーAに届いていることを会話の相手に通知することもできる。
The message whose message output timing is “priority” is a message to be notified to the user A in preference to the current conversation. When the message output timing corresponding to the received message is “priority”, the
メッセージ出力タイミングが「通常」のメッセージは、現在の会話の妨げにならないように会話の間を利用してユーザーAに通知すべきメッセージである。出力制御部207は、受信したメッセージに対応するメッセージ出力タイミングが「通常」の場合は、受信したメッセージを出力するタイミングを遅らせる(受信したメッセージを直ちには出力しない)。受信したメッセージに対応するメッセージ出力タイミングが「通常」の場合、出力制御部207は、ユーザーAの現在の状況が他の状況に変化する前に、受信したメッセージを出力するように出力部209を制御することが好ましい。つまり、出力制御部207は、ユーザーAがメッセージを聞き取ることが可能な状況ではないと判断し、受信したメッセージの優先度が第1基準値未満(受信したメッセージの重要度が「中」または「低」)であり、かつ、ユーザーAの現在の状況と受信したメッセージとが関連する場合は、ユーザーAの現在の状況が他の状況に変化する前に、メッセージを出力させることが好ましい。本実施形態では、出力制御部207は、新たな発話が終了してから所定期間(前述の発話間隔の閾値よりも小さい値)が経過するまでの間において、さらに新たな発話が開始されない場合は、受信したメッセージを出力させる。一方、出力制御部207は、新たな発話が終了してから所定期間が経過するまでの間において、さらに新たな発話が開始された場合は、受信したメッセージを出力させない。この例では、受信したメッセージに対応するメッセージ出力タイミングは「通常」なので、出力制御部207は、現在の会話の間を利用して、図5に例示された、次の会議が始まることを示すメッセージ(「まもなく次の会議が始まります」)を出力するように出力部209を制御する。
The message whose message output timing is “normal” is a message that should be notified to the user A using the interval between conversations so as not to disturb the current conversation. When the message output timing corresponding to the received message is “normal”, the
メッセージ出力タイミングが「遅延」のメッセージは、現在の会話が終了した後にユーザーAに通知してもよいメッセージである。つまり、ユーザーAがメッセージを聞き取ることが可能な状況に変化するのを待って、ユーザーAに通知してもよいメッセージである。出力制御部207は、受信したメッセージに対応するメッセージ出力タイミングが「遅延」の場合は、受信したメッセージを出力するタイミングを「通常」の場合よりもさらに遅らせる。本実施形態では、出力制御部207は、ユーザーAがメッセージを聞き取ることが可能な状況ではないと判断し、メッセージの優先度が第2基準値未満(受信したメッセージの重要度が「低」)であり、かつ、ユーザーAの現在の状況と受信したメッセージとが関連しないことを示す場合は、ユーザーAがメッセージを聞き取ることが可能な状況に変化した後に、その受信したメッセージを出力させる。より具体的には、出力制御部207は、発話が終了してから経過した時間長が閾値(前述の発話間隔の閾値)を超えた場合は、会話が終了したと判断する。この場合、ユーザーAの現在の状況は「会話中」ではないため、出力制御部207は、ユーザーAはメッセージを聞き取ることが可能な状況に変化したと判断し、受信したメッセージを出力するように出力部209を制御する。
The message whose message output timing is “delayed” is a message that may be notified to the user A after the current conversation ends. That is, the message may be notified to the user A after waiting for the user A to change to a situation where the message can be heard. When the message output timing corresponding to the received message is “delayed”, the
以上のメッセージ出力ステップS507の後の受信メッセージ情報更新ステップS508において、出力制御部207は、記憶部206に保持された受信メッセージリストにおける「受信通知」および「内容通知」の記録を行うことで、受信メッセージリストを更新する。図9に例示された受信メッセージリストでは、図5に例示された、次の会議が始まることを示すメッセージを識別するメッセージID「0003」に対応する受信通知のエントリには、メッセージを受信したことの通知(通知音の通知)を行ったことを示す「OK」が記録されている。また、メッセージID「0003」に対応する内容通知のエントリには、メッセージ内容の通知(メッセージ内容の出力)を行ったことを示す「OK」が記録されている。なお、受信メッセージリストのうち、「受信通知」あるいは「内容通知」のエントリに「OK」が記録されていないメッセージについては、以後のメッセージ通知タイミング判定ステップS505におけるタイミング判定の対象となる。どのメッセージを対象とするかは、予め定められたルールに従って決定されるものとする。
In the received message information update step S508 after the message output step S507 described above, the
以上に説明したように、本実施形態では、システム本体1001からのメッセージを受信した場合、まず出力制御部207は、記憶部206に記憶された音声情報を用いて、ユーザーAがメッセージを聞き取ることが可能な状況であるか否かを判断する。そして、ユーザーAがメッセージを聞き取ることが可能な状況であると判断した場合、出力制御部207は、受信したメッセージを直ちに出力させるので、ユーザーAの現在の状況に関わらず、待ち時間が経過しない限りは受信したメッセージを出力させない構成に比べて、適切なタイミングで、メッセージをユーザーAに通知することができるという有利な効果を奏する。
As described above, in this embodiment, when a message from the system
一方、ユーザーAがメッセージを聞き取ることが可能な状況ではないと判断した場合、出力制御部207は、受信したメッセージの重要度、および、ユーザーAの現在の状況と受信したメッセージとの関連度に応じて設定されるメッセージ出力タイミングに従って、受信したメッセージを出力するように出力部209を制御する。例えば、受信したメッセージに対応するメッセージ出力タイミングが、現在の会話に優先してメッセージを出力することを示す「優先」に設定された場合、出力制御部207は、ユーザーAの現在の状況に関わらず、受信したメッセージを直ちに出力させる。また、例えば、受信したメッセージに対応するメッセージ出力タイミングが、メッセージの出力を遅延させてもよいことを示す「通常」あるいは「遅延」に設定された場合、出力制御部207は、受信したメッセージを出力するタイミングを遅らせる。すなわち、本実施形態では、受信したメッセージの重要度、および、ユーザーAの現在の状況と受信したメッセージとの関連度に応じて、そのメッセージを出力するタイミングを可変に制御することで、受信したメッセージをユーザーに通知するタイミングを適切に制御できるという有利な効果を奏する。
On the other hand, if it is determined that the situation is not such that the user A can hear the message, the
(第2実施形態)
次に、第2実施形態について説明する。本実施形態では、音声入力部201で受理された音声に対して音声認識処理を行ってテキスト化することで、システム本体1001から受信したメッセージと、ユーザーAの現在の状況とが関連しているか否かの判断をより詳細に行うことができる点で上述の第1実施形態と相違する。以下、第1実施形態との相違点を中心に説明するが、第1実施形態と同様の機能を有する要素については同一の符号を付して、重複する説明を適宜省略する。
(Second Embodiment)
Next, a second embodiment will be described. In the present embodiment, whether the message received from the system
図10は、本実施形態の情報通知支援装置の機能構成例を示すブロック図である。図10に示すように、情報通知支援装置は、音声認識部310をさらに備える点で第1実施形態と相違する。音声認識部310は、音声入力部201で受理された入力音声に対して音声認識処理を行うことでテキスト化し、その音声認識処理により得られたテキストを記憶部206に登録する。例えば、発話が行われた時間を示す時間情報(例えば発話が開始された時刻と発話が終了した時刻でもよい)と、音声認識処理により得られたテキストとが対応付けられて順次に(時系列的に)記憶部206に登録される構成であってもよい。
FIG. 10 is a block diagram illustrating a functional configuration example of the information notification support apparatus according to the present embodiment. As shown in FIG. 10, the information notification support apparatus is different from the first embodiment in that it further includes a
いま、記憶部206に記憶された状況情報が示すユーザーAの現在の状況が「会話中」である場合を想定する。この場合、判定部311は、上述のメッセージタイプ判定ステップS503において、受信したメッセージと、記憶部206に記憶された、現在の会話内容を示すテキストとを比較し、予め定められたキーワードが一致しているか否かを判定する。そして、予め定められたキーワードが一致している場合は、現在の会話内容と、受信したメッセージとが関連していると判定する。
Assume that the current situation of user A indicated by the situation information stored in the
図11は、判定部311による、受信したメッセージと、ユーザーAの現在の状況との関連度を判定する方法の一例を説明するための図である。まず、ユーザー要求の送信者がユーザー本人(この例ではユーザーA)である場合について説明する。図11に示すように、判定部311は、ユーザー要求の送信者がユーザー本人であり、ユーザー要求を出したタイミング(システム本体1001に対してユーザー要求を送信したタイミング)がユーザーAの現在の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連している場合は、受信したメッセージと、ユーザーAの現在の状況とが関連していると判定する。また、判定部311は、ユーザー要求の送信者がユーザー本人であり、ユーザー要求を出したタイミングがユーザーAの現在の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連していない場合は、受信したメッセージと、ユーザーAの現在の状況とが関連していないと判定する。
FIG. 11 is a diagram for explaining an example of a method by which the
また、図11に示すように、判定部311は、ユーザー要求の送信者がユーザー本人であり、ユーザー要求を出したタイミングがユーザーAの現在の状況よりも前の状況を示す以前の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連している場合は、受信したメッセージと、ユーザーAの現在の状況とが関連していると判定する。また、判定部311は、ユーザー要求の送信者がユーザー本人であり、ユーザー要求を出したタイミングがユーザーAの以前の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連していない場合は、受信したメッセージと、ユーザーAの現在の状況とが関連していないと判定する。
Further, as shown in FIG. 11, the
次に、ユーザー要求の送信者がシステム(この例ではシステム本体1001)である場合について説明する。この場合は、ユーザー要求を出したタイミングとは、システム本体1001が、情報通知支援装置101に対してメッセージを送信したタイミング(つまり、情報通知支援装置101が、システム本体1001からメッセージを受信したタイミング)であると捉えることができる。判定部311は、ユーザー要求の送信者がシステムであり、ユーザー要求を出したタイミングがユーザーAの現在の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連している場合は、受信したメッセージと、ユーザーAの現在の状況とが関連していると判定する。また、判定部311は、ユーザー要求の送信者がシステムであり、ユーザー要求を出したタイミングがユーザーAの現在の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連していない場合は、受信したメッセージと、ユーザーAの現在の状況とが関連していないと判定する。
Next, a case where the sender of the user request is a system (in this example, the system main body 1001) will be described. In this case, the timing at which the user request is issued is the timing at which the system
また、図11に示すように、判定部311は、ユーザー要求の送信者がシステムであり、ユーザー要求を出したタイミングがユーザーAの以前の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連している場合は、受信したメッセージと、ユーザーAの現在の状況とが関連していると判定する。また、判定部311は、ユーザー要求の送信者がシステムであり、ユーザー要求を出したタイミングがユーザーAの以前の状況の下であり、かつ、現在の会話内容と受信したメッセージとが関連していない場合は、受信したメッセージと、ユーザーAの現在の状況とが関連していないと判定する。
Further, as shown in FIG. 11, the
要するに、判定部311は、ユーザーAの現在の状況が「会話中」であり、現在の会話内容と、受信したメッセージとが関連していると判定した場合は、受信したメッセージと、ユーザーAの現在の状況とが関連していると判定する。
In short, if the
また、本実施形態では、システム本体1001が実行可能な処理ごとに、当該処理の実行を要求するとともに、その処理結果を示すメッセージの送信を要求することを示すキーワードまたはキーフレーズ(テキスト)が予め設定されている。より具体的には、記憶部206には、複数種類のキーワード(またはキーフレーズ)のテキストデータが登録されている。そして、音声入力部201で受理された入力音声の認識結果(音声認識部310による音声認識処理の結果)の少なくとも一部が、記憶部206に登録されたキーワードと一致する場合は、そのキーワードに対応する要求(ユーザーの明示的な要求、「ユーザー要求」)がシステム本体1001へ送信される。そして、システム本体1001は、受信したユーザー要求によって要求された処理を実行し、その処理結果を示すメッセージを情報通知支援装置へ送信する。
In the present embodiment, for each process that can be executed by the system
以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although embodiment of this invention was described, each above-mentioned embodiment was shown as an example and is not intending limiting the range of invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
本発明の情報通知支援装置は、上述の各機能のうちの少なくとも解析部202、判定部203、記憶部206、出力制御部207、および、出力部209を備える装置であればよい。例えば、上述のシステム本体が、解析部202、判定部203、記憶部206、出力制御部207、および、出力部209を少なくとも備えることで、本発明の情報通知支援装置として機能する構成であってもよい。
The information notification support apparatus of the present invention may be an apparatus including at least the
上述の情報通知支援装置は、CPU(Central Processing Unit)、ROM、RAM、および、通信I/F装置などを含んだハードウェア構成となっている。上述の音声入力部201、通信部204、記憶部206は、ハードウェア要素である一方、上述の解析部202、判定部203、通信制御部205、出力制御部207、受信通知部208、出力部209の機能は、CPUがROMに格納されたプログラムをRAM上で展開して実行することにより実現される。また、これに限らず、上述の解析部202、判定部203、通信制御部205、出力制御部207、受信通知部208、出力部209の機能のうちの少なくとも一部を個別の回路(ハードウェア)で実現することもできる。
The information notification support apparatus described above has a hardware configuration including a CPU (Central Processing Unit), ROM, RAM, and a communication I / F device. The
また、上述の情報通知支援装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の情報通知支援装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の情報通知支援装置で実行されるプログラムを、ROM等に予め組み込んで提供するようにしてもよい。 The program executed by the information notification support apparatus described above may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. The program executed by the information notification support apparatus described above may be provided or distributed via a network such as the Internet. Further, the program executed by the information notification support apparatus described above may be provided by being incorporated in advance in a ROM or the like.
1 システム
101 情報通知支援装置
102 情報通知支援装置
201 音声入力部
202 解析部
203 判定部
204 通信部
205 通信制御部
206 記憶部
207 出力制御部
208 受信通知部
209 出力部
310 音声認識部
311 判定部
1001 システム本体
1002 システム本体
1
Claims (16)
前記ユーザーが前記メッセージを聞き取ることが可能な状況ではないと判定された場合は、前記ユーザーの現在の状況と、前記メッセージとが関連するか否かに基づいて、前記メッセージを出力するタイミングを制御する出力制御部と、を備える、
情報通知支援装置。 A determination unit that determines whether or not the user can listen to the message using at least one of the user's voice information, situation information, or position information;
When it is determined that the user is not in a situation where the message can be heard, the timing of outputting the message is controlled based on whether the user's current situation is related to the message. An output control unit for
Information notification support device.
請求項1の情報通知支援装置。 When it is determined that the user is not in a situation where the user can hear the message, the output control unit uses a relevance level indicating whether the current situation of the user is related to the message. To control the timing of outputting the message,
The information notification support apparatus according to claim 1.
請求項2の情報通知支援装置。 When it is determined that the user is not in a situation where the user can hear the message, the output control unit outputs the message, the degree of importance determined according to the priority of the message, and the message With reference to the correspondence table in which the timing is associated in advance, the user's current situation and the degree of association between the received message and the importance of the received message are used to receive the received Control when messages are output,
The information notification support apparatus according to claim 2.
請求項1乃至3のうちの何れか1項に記載の情報通知支援装置。 When the output control unit determines that the user can hear the message, the output control unit performs control to output the message.
The information notification support apparatus according to any one of claims 1 to 3.
請求項3の情報通知支援装置。 When the priority is equal to or higher than the first reference value, the output control unit causes the output unit to output the message to output the message regardless of the current situation of the user, while the priority is the first reference value. If it is less than one reference value, the output unit delays the output timing of the message,
The information notification support apparatus according to claim 3.
前記判定部は、前記記憶部に記憶された前記音声情報を用いて、前記ユーザーの現在の状況を判定し、その判定結果を示す前記状況情報を前記記憶部に記憶し、
前記出力制御部は、前記ユーザーが前記メッセージを聞き取ることが可能な状況ではないと判定され、前記優先度が第1基準値未満であり、かつ、前記状況情報が示す前記ユーザーの現在の状況と、受信した前記メッセージとが関連する場合は、前記ユーザーの現在の状況が他の状況に変化する前に、前記メッセージを出力する出力部に前記メッセージを出力させる、
請求項3の情報通知支援装置。 A storage unit for storing the history of the voice information;
The determination unit determines the current situation of the user using the voice information stored in the storage unit, stores the situation information indicating the determination result in the storage unit,
The output control unit is determined not to be a situation in which the user can hear the message, the priority is less than a first reference value, and the current situation of the user indicated by the situation information When the received message is related, the message is output to an output unit that outputs the message before the current status of the user changes to another status.
The information notification support apparatus according to claim 3.
請求項6の情報通知支援装置。 The output control unit is determined not to be in a situation where the user can hear the message, the priority is less than a second reference value lower than the first reference value, and the user's current If the situation is not related to the received message, the message is output to the output unit after the user changes to a situation where the message can be heard.
The information notification support device according to claim 6.
請求項6または7の情報通知支援装置。 In the determination unit, the received message is a response to a user request indicating a request from the user, the current status of the user indicated by the status information is in conversation, and in the middle of the conversation If the user request has been issued, determine that the current status of the user is associated with the received message;
The information notification support device according to claim 6 or 7.
前記判定部は、前記状況情報が示す前記ユーザーの現在の状況が会話中である場合、現在の会話内容を示す前記テキストと、前記メッセージとを比較することで、前記ユーザーの現在の会話内容と、前記メッセージとが関連するか否かを判定する、
請求項6の情報通知支援装置。 A speech recognition unit that performs speech recognition processing on the input speech and registers the text obtained by the speech recognition processing in the storage unit;
When the current status of the user indicated by the status information is in conversation, the determination unit compares the text indicating the current conversation content with the message, thereby comparing the current conversation content of the user. Determining whether the message is associated with the message;
The information notification support device according to claim 6.
請求項9の情報通知支援装置。 The determination unit determines that the current conversation content of the user is related to the message when a predetermined keyword is included in each of the text indicating the current conversation content and the message. ,
The information notification support apparatus according to claim 9.
前記受信部で前記メッセージを受信した場合は、前記メッセージを受信したことを前記ユーザーに知らせる受信通知部と、をさらに備える、
請求項3の情報通知支援装置。 A receiving unit for receiving the message from an external device;
A reception notifying unit for notifying the user that the message has been received when the receiving unit receives the message;
The information notification support apparatus according to claim 3.
請求項11の情報通知支援装置。 The notification pattern by the reception notification unit varies depending on the degree of association.
The information notification support apparatus according to claim 11.
請求項12の情報通知支援装置。 The notification pattern by the reception notification unit is different depending on the importance.
The information notification support apparatus according to claim 12.
請求項1の情報通知支援装置。 An analysis unit for analyzing the input voice and identifying the voice information indicating information related to the utterance;
The information notification support apparatus according to claim 1.
前記ユーザーが前記メッセージを聞き取ることが可能な状況ではないと判定された場合は、前記ユーザーの現在の状況と、前記メッセージとが関連するか否かに基づいて、前記メッセージを出力するタイミングを制御する、
情報通知支援方法。 Using at least one of the user's voice information, status information or location information to determine whether the user can hear the message;
When it is determined that the user is not in a situation where the message can be heard, the timing of outputting the message is controlled based on whether the user's current situation is related to the message. To
Information notification support method.
ユーザーの音声情報、状況情報または位置情報の少なくとも一つを用いて、前記ユーザーがメッセージを聞き取ることが可能であるか否かを判定する判定手段と、
前記ユーザーが前記メッセージを聞き取ることが可能な状況ではないと判定された場合は、前記ユーザーの現在の状況と、前記メッセージとが関連するか否かに基づいて、前記メッセージを出力するタイミングを制御する出力制御手段として機能させる、
情報通知支援プログラム。 Computer
Determination means for determining whether or not the user can listen to the message using at least one of the user's voice information, status information, or position information;
When it is determined that the user is not in a situation where the message can be heard, the timing of outputting the message is controlled based on whether the user's current situation is related to the message. Function as output control means
Information notification support program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015200062A JP6143822B2 (en) | 2015-10-08 | 2015-10-08 | Information notification support apparatus, information notification support method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015200062A JP6143822B2 (en) | 2015-10-08 | 2015-10-08 | Information notification support apparatus, information notification support method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012031752A Division JP2013167806A (en) | 2012-02-16 | 2012-02-16 | Information notification supporting device, information notification supporting method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016040609A true JP2016040609A (en) | 2016-03-24 |
JP6143822B2 JP6143822B2 (en) | 2017-06-07 |
Family
ID=55540943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015200062A Active JP6143822B2 (en) | 2015-10-08 | 2015-10-08 | Information notification support apparatus, information notification support method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6143822B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021049A (en) * | 1996-06-28 | 1998-01-23 | Ricoh Co Ltd | Voice synthesizer |
JP2002156241A (en) * | 2000-11-16 | 2002-05-31 | Matsushita Electric Ind Co Ltd | Navigation apparatus and recording medium with program recorded thereon |
JP2006331251A (en) * | 2005-05-30 | 2006-12-07 | Matsushita Electric Ind Co Ltd | Voice guidance device, voice guidance method and voice guidance system |
JP2010128099A (en) * | 2008-11-26 | 2010-06-10 | Toyota Infotechnology Center Co Ltd | In-vehicle voice information providing system |
-
2015
- 2015-10-08 JP JP2015200062A patent/JP6143822B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1021049A (en) * | 1996-06-28 | 1998-01-23 | Ricoh Co Ltd | Voice synthesizer |
JP2002156241A (en) * | 2000-11-16 | 2002-05-31 | Matsushita Electric Ind Co Ltd | Navigation apparatus and recording medium with program recorded thereon |
JP2006331251A (en) * | 2005-05-30 | 2006-12-07 | Matsushita Electric Ind Co Ltd | Voice guidance device, voice guidance method and voice guidance system |
JP2010128099A (en) * | 2008-11-26 | 2010-06-10 | Toyota Infotechnology Center Co Ltd | In-vehicle voice information providing system |
Also Published As
Publication number | Publication date |
---|---|
JP6143822B2 (en) | 2017-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013167806A (en) | Information notification supporting device, information notification supporting method, and program | |
KR102582517B1 (en) | Handling calls on a shared speech-enabled device | |
JP7354210B2 (en) | Hotword detection on multiple devices | |
US9571638B1 (en) | Segment-based queueing for audio captioning | |
WO2015125549A1 (en) | Information processing device | |
KR20190075800A (en) | Intelligent personal assistant interface system | |
US9444934B2 (en) | Speech to text training method and system | |
CN113412516A (en) | Voice query QoS based on client-computed content metadata | |
KR20200013774A (en) | Pair a Voice-Enabled Device with a Display Device | |
WO2015083741A1 (en) | Relay device, display device, and communication system | |
KR20150104930A (en) | Method and system of supporting multitasking of speech recognition service in in communication device | |
JPWO2018180571A1 (en) | Information processing apparatus, information processing method, and program | |
JP6143822B2 (en) | Information notification support apparatus, information notification support method, and program | |
JP2010199741A (en) | Portable telephone terminal device | |
KR20150103855A (en) | Method and system of providing voice service using interoperation between application and server | |
JP2005190388A (en) | Method for executing program, electronic device and personal digital assistant | |
KR20210114480A (en) | automatic call system | |
JP6842227B1 (en) | Group calling system, group calling method and program | |
JP2014109998A (en) | Interactive apparatus and computer interactive method | |
KR20190043576A (en) | Communication device | |
WO2018207482A1 (en) | Utterance control device, electronic apparatus, program and control method for utterance control device | |
JP6697172B1 (en) | Information processing apparatus and information processing program | |
JP2017123517A (en) | Communication support device, communication support method and program | |
JP2023103287A (en) | Audio processing apparatus, conference system, and audio processing method | |
WO2014069444A1 (en) | Complaint conversation determination device and complaint conversation determination method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170509 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6143822 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |