JP2021117372A - 情報処理装置、情報処理システム、情報処理方法および情報処理プログラム - Google Patents

Abstract

【課題】話者の発話の意図に沿って対話エージェントの対話に関する動作を制御する。【解決手段】実施形態に係る情報処理装置は、端末装置により取得された対象となる話者の言語情報の終端を検出する終端検出部と、終端検出部によって検出された終端に関する情報に基づいて、端末装置の動作を制御する処理を行う動作制御部とを備える。【選択図】図６

Description

本開示は、情報処理装置、情報処理システム、情報処理方法および情報処理プログラムに関する。

近年、音声の認識精度の向上により、ユーザ（話者）の発話を理解し、話者と対話を行うシステムが普及してきている。例えば、話者の発話の理解度を示すために、入力された発話をテキスト化して表示するシステムが一般化してきている。このシステムは、例えば、スマートスピーカ等のスピーカ型やＰｅｐｐｅｒ（登録商標）等の人型の対話エージェントとして実現されている。

特開２０１８−４０８９７号公報

しかしながら、発話が複雑な場合、テキストが長々と表示されてしまう場合もあり、話者の発話を理解していることが伝わりにくかった。また、表示デバイスに話者の発話の認識結果をそのまま表示することは不自然でもあり、発話を理解しているかどうか話者を不安にさせてしまう可能性も生じ得る。

また、命令や依頼等の目的的な発話ではなく、日常会話等の非目的的な発話を傾聴するようなユースケースでは、発話を理解しているかどうか分からないと、話者が発話を十分に楽しむことができない可能性も生じ得る。

このように、従来技術に係る対話エージェントにおいては、話者の発話の意図に沿った自然な対話を実現することが困難であった。

そこで、本開示では、話者の発話の意図に沿った自然な対話を実現することが可能な、新規かつ改良された情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムを提案する。

本開示によれば、端末装置により取得された対象となる話者の言語情報の終端を検出する終端検出部と、前記終端検出部によって検出された終端に関する情報に基づいて、前記端末装置の動作を制御する処理を行う動作制御部とを備える、情報処理装置が提供される。

実施形態に係る情報処理システムの構成例を示す図である。 実施形態に係る情報処理システムの機能の概要を示す図である。 実施形態に係る情報処理システムの機能の概要を示す図である。 実施形態に係る情報処理システムの機能の概要を示す図である。 実施形態に係る情報処理システムの機能の概要を示す図である。 実施形態に係る情報処理システムの構成例を示すブロック図である。 実施形態に係る記憶部の一例を示す図である。 実施形態に係る情報処理装置における処理の流れを示すフローチャートである。 実施形態に係る情報処理装置における処理の流れを示すフローチャートである。 実施形態に係る情報処理システムの機能の概要を示す図である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態
１．１．概要
１．２．情報処理システムの構成
２．情報処理システムの機能
２．１．機能の概要
２．２．機能構成例
２．３．情報処理システムの処理
２．４．処理のバリエーション
３．応用例
３．１．業務のサポート
３．２．認知症の検出
３．３．遠隔対話者へのサポート
４．ハードウェア構成例
５．まとめ

＜＜１．本開示の一実施形態＞＞
＜１．１．概要＞
近年、音声の認識精度の向上により、話者の発話を理解し、話者と対話を行うシステムが普及してきている。例えば、話者の発話の理解度を示すために、入力された発話をテキスト化して表示するシステムが一般化してきている。このシステムは、例えば、スマートスピーカ等のスピーカ型やＰｅｐｐｅｒ（登録商標）等の人型の対話エージェントとして実現されている。

しかしながら、発話が複雑な場合、テキストが長々と表示されてしまう場合もあり、話者の発話を理解していることが伝わりにくかった。また、表示デバイスに話者の発話の認識結果をそのまま表示することは不自然でもあり、発話を理解しているかどうか話者を不安にさせてしまう可能性も生じ得る。

また、命令や依頼等の目的的な発話ではなく、日常会話等の非目的的な発話を傾聴するようなユースケースでは、発話を理解しているかどうか分からないと、話者が発話を十分に楽しむことができない可能性も生じ得る。

話者の発話において、例えば、発話内容とは関係のない繋ぎ言葉であるフィラーや、頷きや相槌等を行うことができれば、対話エージェントが発話を理解していると話者に感じさせることができ得る。そこで、話者の発話において、フィラーや頷きや相槌等を行う対話エージェントに関する技術が進められている。

上述の対話エージェントの技術に関連し、例えば、特許文献１には、話者からの発話を待つべきとも、発話を実行すべきとも推定できなかった場合に、対話エージェントの動作を制御する技術が開示されている。

しかしながら、上述の対話エージェントの技術では、話者の発話の意図と関係なく、対話エージェントの対話に関する動作を制御するため、例えば、対話エージェントの動作が話者の発話の邪魔となる可能性も生じ得る。

本開示の一実施形態では、上記の点に着目して発想されたものであり、話者の発話の意図に沿って対話エージェントの対話に関する動作を制御することが可能な技術を提案する。以下、本実施形態について順次詳細に説明する。以下、言語情報の一例として、発話データを用いて説明する。また、以下、対話エージェントの一例として、端末装置２０を用いて説明する。

＜１．２．情報処理システムの構成＞
まず、実施形態に係る情報処理システム１の構成について説明する。図１は、情報処理システム１の構成例を示す図である。図１に示したように、情報処理システム１は、情報処理装置１０及び端末装置２０を備える。情報処理装置１０には、多様な装置が接続され得る。例えば、情報処理装置１０には、端末装置２０が接続され、各装置間で情報の連携が行われる。情報処理装置１０には、端末装置２０が無線で接続される。例えば、情報処理装置１０は、端末装置２０とＢｌｕｅｔｏｏｔｈ（登録商標）を用いた近距離無線通信を行う。なお、情報処理装置１０には、情報処理装置１０及び端末装置２０が、有線と無線とを問わず、Ｉ２Ｃ（Inter-Integrated Circuit）やＳＰＩ（Serial Peripheral Interface）などの各種インタフェースや、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）やインターネットや移動体通信網などの各種ネットワークを介して接続されてもよい。

（１）情報処理装置１０
情報処理装置１０は、話者の発話（音声）に関する発話（音声）データに応じて、例えば、端末装置２０の対話に関する動作を制御する情報処理装置である。具体的には、情報処理装置１０は、話者の発話データの終端に関する情報に基づいて、端末装置２０の対話に関する動作を制御する。また、情報処理装置１０は、話者の発話を認識する認識処理が可能な情報処理装置である。例えば、情報処理装置１０は、端末装置２０により取得された発話データに対して認識処理を行う。

また、情報処理装置１０は、情報処理システム１の動作全般を制御する機能も有する。例えば、情報処理装置１０は、各装置間で連携される情報に基づき、情報処理システム１の動作全般を制御する。具体的に、情報処理装置１０は、端末装置２０から受信する情報に基づき、端末装置２０の動作を制御する。

情報処理装置１０は、ＰＣ（Ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ＷＳ（Ｗｏｒｋ ｓｔａｔｉｏｎ）等により実現される。なお、情報処理装置１０は、ＰＣ、ＷＳ等に限定されない。例えば、情報処理装置１０は、情報処理装置１０としての機能をアプリケーションとして実装したＰＣ、ＷＳ等の情報処理装置であってもよい。

（２）端末装置２０
端末装置２０は、制御対象となる情報処理装置である。

端末装置２０は、話者の発話の際の発話データを取得する。そして、端末装置２０は、取得した発話データを情報処理装置１０へ送信する。

端末装置２０は、どのような装置として実現されてもよい。例えば、端末装置２０は、スピーカ型の装置として実現されてもよいし、人型の装置として実現されてもよい。

＜＜２．情報処理システムの機能＞＞
以上、情報処理システム１の構成について説明した。続いて、情報処理システム１の機能について説明する。

＜２．１．機能の概要＞
（発話に動作依頼が含まれる場合）
図２は、実施形態に係る情報処理システム１の機能の概要を示す図である。端末装置２０は、まず、話者Ｕ１２の発話ＴＫ１１を検出する。端末装置２０は、話者Ｕ１２の発話中、視線を話者Ｕ１２に向くような動作を行うように制御される（Ｓ１１）。情報処理システム１は、発話ＴＫ１１の終端を検出すると、発話ＴＫ１１の意図をメモする動作を行うように端末装置２０を制御する（Ｓ１２）。Ｓ１２では、情報処理システム１は、発話ＴＫ１１の意図として、「来月」と「出張」の言語情報をメモする動作を行うように制御する。次いで、端末装置２０は、話者Ｕ１２の発話ＴＫ１２を検出する。そして、Ｓ１１を行う。情報処理システム１は、発話ＴＫ１２の終端を検出すると、発話ＴＫ１２の意図をメモする動作を行うように端末装置２０を制御する（Ｓ１３）。Ｓ１３では、情報処理システム１は、発話ＴＫ１２の意図として、「１０月」と「出張」と「札幌」の言語情報をメモする動作を行うように制御する。このように、端末装置２０は、話者Ｕ１２の発話中、視線を話者Ｕ１２に向くような動作を行い、発話ＴＫ１１の終端でメモする動作を行う。これにより、情報処理システム１は、話者にとって、端末装置２０が、発話認識や意味解析を適切に行っていることを伝えやすくすることができる。例えば、情報処理システム１は、端末装置２０が、文単位で話者の言語情報を理解していることを伝えやすくすることができる。そして、端末装置２０は、話者Ｕ１２の発話ＴＫ１３を検出する。そして、Ｓ１１を行う。情報処理システム１は、発話ＴＫ１３の終端を検出すると、発話ＴＫ１３の意図をメモする動作を行うように端末装置２０を制御する（Ｓ１４）。Ｓ１４では、情報処理システム１は、発話ＴＫ１３の意図として、「来月」と「出張」と「札幌」と「ホテル予約」の言語情報をメモする動作を行うように制御する。また、情報処理システム１は、発話ＴＫ１３に話者Ｕ１２の動作依頼が含まれる場合、例えば、その動作依頼に関する情報を、端末装置２０のスケジューラＴＤ１１に追加する。そして、情報処理システム１は、スケジューラＴＤ１１に追加された情報に対応する動作を行うように端末装置２０を制御する。Ｓ１４では、情報処理システム１は、「１０月依頼がないとき教える」に対応する動作を行うように端末装置２０の動作を制御する。

（発話に修正依頼が含まれる場合）
図３では、話者Ｕ１２が図２と異なる発話を行う場合を例に挙げて、情報処理システム１の機能の概要を説明する。端末装置２０は、まず、話者Ｕ１２の発話ＴＫ２１を検出する。端末装置２０は、話者Ｕ１２の発話中、視線を話者Ｕ１２に向くような動作を行うように制御される（Ｓ２１）。情報処理システム１は、発話ＴＫ２１の終端を検出すると、発話ＴＫ２１の意図をメモする動作を行うように端末装置２０を制御する（Ｓ２２）。Ｓ２２では、情報処理システム１は、発話ＴＫ２１の意図として、「買い物」と「買うもの」の言語情報をメモする動作を行うように制御する。次いで、端末装置２０は、話者Ｕ１２の発話ＴＫ２２を検出する。そして、Ｓ２１を行う。情報処理システム１は、発話ＴＫ２２の終端を検出すると、発話ＴＫ２２の意図をメモする動作を行うように端末装置２０を制御する（Ｓ２３）。Ｓ２３では、情報処理システム１は、発話の意図として、「牛乳」と「玉ねぎ」の言語情報のメモを追加する動作を行うように制御する。次いで、端末装置２０は、話者Ｕ１２の発話ＴＫ２３を検出する。そして、Ｓ２１を行う。情報処理システム１は、発話ＴＫ２３の終端を検出すると、発話ＴＫ２３の意図をメモする動作を行うように端末装置２０を制御する（Ｓ２４）。Ｓ２４では、情報処理システム１は、発話ＴＫ２３の意図として、「シャンプー」の言語情報のメモを追加する動作を行うように制御する。また、情報処理システム１は、その後の発話ＴＫ２４に発話の修正依頼が含まれる場合、その修正依頼に関する情報に応じて、メモした言語情報を修正する動作を行うように制御する（Ｓ２５）。例えば、情報処理システム１は、修正依頼前にメモした言語情報を削除して、新たな言語情報をメモする動作を行うように制御する。Ｓ２５では、情報処理システム１は、Ｓ２４でメモした「シャンプー」の言語情報を削除する取消し線を引いて、「リンス」の言語情報のメモを新たに追加する動作を行うように制御する。このように、情報処理システム１は、話者が言語情報を修正するように指示した場合には、修正に対応する修正前の言語情報を残しつつ、修正に対応する新たな言語情報を追記する動作を行うように制御してもよい。これにより、情報処理システム１は、発話認識や意味解析に誤認識があった場合でも、誤認識された言語情報から正解の言語情報への変化を、話者に伝え易くすることができる。

（発話後に長い間がある場合）
図４では、話者Ｕ１２が図２及び３と異なる発話を行う場合を例に挙げて、情報処理システム１の機能の概要を説明する。端末装置２０は、まず、話者Ｕ１２の発話ＴＫ３１を検出する。端末装置２０は、話者Ｕ１２の発話中、視線を話者Ｕ１２に向くような動作を行うように制御される（Ｓ３１）。情報処理システム１は、発話ＴＫ３１の終端を検出すると、発話ＴＫ３１の意図をメモする動作を行うように端末装置２０を制御する（Ｓ３２）。Ｓ３２では、情報処理システム１は、発話ＴＫ３１の意図として、「今日やること」の言語情報をメモする動作を行うように制御する。次いで、端末装置２０は、話者Ｕ１２の発話ＴＫ３２を検出する。そして、Ｓ３１を行う。情報処理システム１は、発話ＴＫ３２の終端を検出すると、発話ＴＫ３２の意図をメモする動作を行うように端末装置２０を制御する（Ｓ３３）。Ｓ３３では、情報処理システム１は、発話ＴＫ３２の意図として、「ＤＶＤ返却と銀行振り込み」の言語情報のメモを追加する動作を行うように制御する。端末装置２０は、言語情報をメモした後、視線を話者Ｕ１２に向くような動作を行うように制御される（Ｓ３１）。また、情報処理システム１は、その後所定の期間（時間）、話者Ｕ１２の発話がない場合、新たな白紙の媒体（例えば、ページ）を表示する動作を行うように制御する（Ｓ３４）。情報処理システム１は、例えば、終端が検出されてから次の言語情報が検出されるまでに所定の期間が経過した場合には、新たな白紙の媒体を表示する動作を行うように制御する。例えば、情報処理システム１は、新たな白紙の媒体を表示する動作として、メモした媒体を捲る動作を行うように制御する。具体的には、情報処理システム１は、話題（トピック）が変化するところで媒体を捲る動作を行い、新たな白紙の媒体に言語情報を表示するように制御する。これにより、情報処理システム１は、トピック毎にメモ情報を区切ることができるため、話者にとって、メモ情報を参照し易くすることができる。なお、情報処理システム１は、終端が検出された後の言語情報が、例えば、「次は」や「別の話題は」等の話者の言語情報のトピックの変化を示す言語情報であると解釈された場合にも、新たな白紙の媒体に言語情報を表示するように制御してもよい。他の例として、情報処理システム１は、終端が検出された後の言語情報が、例えば、「ページを捲って」や「次のページにメモして」等の動作を指示する言語情報であると解釈された場合にも、指示された言語情報に基づいて、新たな白紙の媒体に言語情報を表示するように制御してもよい。

（発話に他のページの修正依頼が含まれる場合）
図５では、話者Ｕ１２が図２乃至４と異なる発話を行う場合を例に挙げて、情報処理システム１の機能の概要を説明する。図５に示すＳ４１乃至Ｓ４４は、図４に示すＳ３１乃至Ｓ３４と同様であるため、説明を省略する。端末装置２０は、Ｓ４４の後、話者Ｕ１２の発話ＴＫ４３を検出する。そして、Ｓ４１を行う。情報処理システム１は、発話ＴＫ４３の終端を検出すると、発話ＴＫ４３の意図をメモする動作を行うように端末装置２０を制御する（Ｓ４５）。Ｓ４５では、情報処理システム１は、発話ＴＫ４３の意図として、「明日の学校の用意」と「体操着」と「お弁当」の言語情報のメモを追加する動作を行うように制御する。次いで、端末装置２０は、話者Ｕ１２の発話ＴＫ４４を検出する。そして、Ｓ４１を行う。また、情報処理システム１は、発話ＴＫ４４に他の媒体にメモした言語情報の修正依頼が含まれる場合、その修正依頼に関する情報に応じて、メモした言語情報を修正する動作を行うように制御する（Ｓ４６）。例えば、情報処理システム１は、他の媒体を表示して、表示した他の媒体に新たな言語情報を追加する動作を行うように制御する。Ｓ４６では、情報処理システム１は、メモＭ４２に、「アイロンがけ」の言語情報を追加する動作を行うように制御する。

＜２．２．機能構成例＞
図６は、実施形態に係る情報処理システム１の機能構成例を示すブロック図である。

（１）情報処理装置１０
図６に示したように、情報処理装置１０は、通信部１００、制御部１１０、及び記憶部１２０を備える。なお、情報処理装置１０は、少なくとも制御部１１０を有する。

（１−１）通信部１００
通信部１００は、外部装置と通信を行う機能を有する。例えば、通信部１００は、外部装置との通信において、外部装置から受信する情報を制御部１１０へ出力する。具体的には、通信部１００は、端末装置２０から受信する発話データを制御部１１０へ出力する。

通信部１００は、外部装置との通信において、制御部１１０から入力される情報を外部装置へ送信する。具体的には、通信部１００は、制御部１１０から入力される発話データの取得に関する情報を端末装置２０へ送信する。

（１−２）制御部１１０
制御部１１０は、情報処理装置１０の動作を制御する機能を有する。例えば、制御部１１０は、発話データの終端を検出する。また、制御部１１０は、検出された終端に関する情報に基づいて、端末装置２０の動作を制御する処理を行う。

上述の機能を実現するために、制御部１１０は、図６に示すように、話者識別部１１１、発話認識部１１２、終端検出部１１３、動作制御部１１４、意味解析部１１５、及びメモ内容制御部１１６を有する。

・話者識別部１１１
話者識別部１１１は、話者の識別処理を行う機能を有する。例えば、話者識別部１１１は、記憶部１２０にアクセスして話者情報を用いた識別処理を行う。具体的には、話者識別部１１１は、通信部２００を介して、撮像部２１２から送信された撮像情報と、記憶部１２０に記憶された話者情報とを比較して、話者を識別する。

・発話認識部１１２
発話認識部１１２は、話者の発話（音声）認識処理を行う機能を有する。例えば、発話認識部１１２は、通信部２００を介して、発話取得部２１１から送信された発話データに対する発話認識処理を行う。具体的には、発話認識部１１２は、発話データを、言語情報に変換する。

・終端検出部１１３
終端検出部１１３は、発話データの終端を検出する処理を行う機能を有する。例えば、終端検出部１１３は、発話認識部１１２により発話認識された発話データの終端を検出する処理を行う。具体的には、終端検出部１１３は、発話認識部１１２により変換された言語情報の終端を検出する。

・動作制御部１１４
動作制御部１１４は、端末装置２０の動作を制御するための処理を行う機能を有する。例えば、動作制御部１１４は、端末装置２０の動作として、言語情報を媒体にメモする動作や、言語情報をメモした媒体を捲る等の動作を制御するための処理を行う。動作制御部１１４は、図６に示すように、動作生成部１１４１及び動作提示部１１４２を有する。

・動作生成部１１４１
動作生成部１１４１は、端末装置２０の動作を制御するための制御情報を生成する処理を行う機能を有する。例えば、動作生成部１１４１は、終端検出部１１３により検出された終端に関する情報に基づいて、端末装置２０の動作を制御するための制御情報を生成する。

・動作提示部１１４２
動作提示部１１４２は、端末装置２０の動作を制御するための制御情報を提示する処理を行う機能を有する。例えば、動作提示部１１４２は、動作生成部１１４１により生成された制御情報を、通信部１００を介して、端末装置２０へ送信する。

動作提示部１１４２は、端末装置２０がメモする内容を示すメモ情報を提示する。例えば、動作提示部１１４２は、メモ内容制御部１１６により決定されたメモ情報を、通信部１００を介して、端末装置２０へ送信する。

・意味解析部１１５
意味解析部１１５は、話者の発話の解析処理を行う機能を有する。例えば、意味解析部１１５は、発話認識部１１２により発話認識された発話データの言語情報の解析処理を行う。具体的には、意味解析部１１５は、発話データの言語情報を、名詞や動詞や修飾語等に分類する。

意味解析部１１５は、話者の発話の意図を解析する処理を行う。例えば、意味解析部１１５は、発話データの言語情報に基づいて、話者の発話にメモの修正依頼等が含まれるか等を解析する。

・メモ内容制御部１１６
メモ内容制御部１１６は、メモ情報を制御するための処理を行う機能を有する。例えば、メモ内容制御部１１６は、話者の発話の解析処理の結果に基づき、メモ情報を決定する。

（１−３）記憶部１２０
記憶部１２０は、情報処理装置１０における処理に関するデータを記憶する機能を有する。例えば、記憶部１２０は、メモ内容制御部１１６により決定されたメモ情報を記憶する。また、記憶部１２０は、情報処理装置１０に入力された話者情報を記憶する。制御部１１０は、話者を識別する際に、記憶部１２０にアクセスして話者情報を利用する。なお、記憶部１２０が記憶するデータは、上述の例に限定されない。例えば、記憶部１２０は、各種アプリケーション等のプログラムを記憶してもよい。

図７は、記憶部１２０の一例を示す。図７に示す記憶部１２０は、メモ情報の対応付けを記憶する。図７に示すように、記憶部１２０は、「メモＩＤ」、「メモ情報」、「関連メモ情報」といった項目を有してもよい。

「メモＩＤ」は、メモ情報を識別するための識別情報を示す。「メモ情報」は、メモ情報を示す。「関連メモ情報」は、メモ情報に関連するメモ情報を示す。具体的には、「関連メモ情報」は、メモ情報に示す言語情報と共に、過去に頻出した言語情報を含むメモ情報を示す。

（２）端末装置２０
図６に示したように、端末装置２０は、通信部２００、制御部２１０、及び提示部２２０を有する。

（２−１）通信部２００
通信部２００は、外部装置と通信を行う機能を有する。例えば、通信部２００は、外部装置との通信において、外部装置から受信する情報を制御部２１０へ出力する。具体的に、通信部２００は、情報処理装置１０から受信する発話データの取得に関する情報を制御部２１０へ出力する。また、通信部２００は、情報処理装置１０から受信する制御情報を制御部２１０へ出力する。

また、通信部２００は、情報処理装置１０から受信するメモ情報を提示部２２０へ出力する。

また、通信部２００は、外部装置との通信において、制御部２１０から入力される情報を外部装置へ送信する。具体的に、通信部２００は、制御部２１０から入力される発話データを情報処理装置１０へ送信する。

（２−２）制御部２１０
制御部２１０は、端末装置２０の動作全般を制御する機能を有する。例えば、制御部２１０は、発話取得部２１１による発話データの取得処理を制御する。また、制御部２１０は、発話取得部２１１により取得された発話データを、通信部２００が情報処理装置１０へ送信する処理を制御する。

・発話取得部２１１
発話取得部２１１は、話者の発話データを取得する機能を有する。例えば、発話取得部２１１は、端末装置２０に備えられた発話（音声）検出器を用いて発話データを取得する。

・撮像部２１２
撮像部２１２は、話者を撮像する機能を有する。

・動作制御部２１３
動作制御部２１３は、端末装置２０の動作を制御する機能を有する。例えば、動作制御部２１３は、取得した制御情報に応じて、端末装置２０の動作を制御する。具体的には、動作制御部２１３は、取得した制御情報に応じて、話者が発話中、視線を話者に向けるように端末装置２０の動作を制御する。

（２−３）提示部２２０
提示部２２０は、メモ情報の提示全般を制御する機能を有する。例えば、提示部２２０は、取得したメモ情報に応じて、対応する媒体にメモされたメモ情報を提示する。

＜２．３．情報処理システムの処理＞
以上、実施形態に係る情報処理システム１の機能について説明した。続いて、情報処理システム１の処理について説明する。

（１）情報処理装置１０における処理
図８は、実施形態に係る情報処理装置１０における処理の流れを示すフローチャートである。まず、情報処理装置１０は、話者の発話データを取得する（Ｓ１００）。また、情報処理装置１０は、取得した発話データに対して発話認識処理を行う（Ｓ１０２）。次いで、情報処理装置１０は、発話にメモ情報の修正依頼が含まれるか否かを判定する（Ｓ１０４）。そして、情報処理装置１０は、発話にメモ情報の修正依頼が含まれない場合（Ｓ１０４；ＮＯ）、発話に含まれる言語情報を抽出する（Ｓ１０６）。そして、情報処理装置１０は、発話の言語情報に基づいて、メモ情報を追加する（Ｓ１０８）。また、情報処理装置１０は、発話にメモ情報の修正依頼が含まれる場合（Ｓ１０４；ＹＥＳ）、発話に含まれる言語情報を抽出する（Ｓ１１０）。そして、情報処理装置１０は、発話の言語情報に基づいて、メモ情報を修正する（Ｓ１１２）。次いで、情報処理装置１０は、発話の終端であるか否かを判定する（Ｓ１１４）。そして、情報処理装置１０は、発話の終端である場合（Ｓ１１４；ＹＥＳ）、メモ情報が提示されるように端末装置２０を制御する（Ｓ１１６）。また、情報処理装置１０は、発話の終端でない場合（Ｓ１１４；ＮＯ）、視線が提示されるように端末装置２０を制御する（Ｓ１１８）。

（２）情報処理システム１における処理
図９は、実施形態に係る情報処理システム１における処理の流れを示すフローチャートである。まず、端末装置２０は、視線のデフォルトを提示する（Ｓ２００）。また、端末装置２０は、音声信号を受信する（Ｓ２０２）。次いで、端末装置２０は、話者の発話を検出する（Ｓ２０４）。そして、端末装置２０は、話者の位置を特定する（Ｓ２０６）。そして、端末装置２０は、話者の方向に視線を変更する（Ｓ２０８）。

一方、情報処理装置１０は、Ｓ２０４の処理において検出された発話に基づいて、発話認識の処理を行う（Ｓ２１０）。次いで、情報処理装置１０は、意味解析の処理を行う（Ｓ２１２）。そして、情報処理装置１０は、終端検出の処理を行う（Ｓ２１４）。

端末装置２０は、Ｓ２１４の処理において終端が検出されると、視線をメモの方向に変更する（Ｓ２１６）。次いで、端末装置２０は、動作提示の処理を行う（Ｓ２１８）。そして、端末装置２０は、話者の方向に視線を変更する（Ｓ２２０）。また、端末装置２０は、発話が新たに検出されたか否かを判定する（Ｓ２２２）。そして、端末装置２０は、発話が新たに検出された場合（Ｓ２２２；Ｙｅｓ）、Ｓ２０４の処理に戻る。また、端末装置２０は、発話が新たに検出されない場合（Ｓ２２２；ＮＯ）、情報処理を終了する。

＜２．４．処理のバリエーション＞
以上、本開示の実施形態について説明した。続いて、本開示の実施形態の処理のバリエーションを説明する。なお、以下に説明する処理のバリエーションは、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、処理のバリエーションは、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。

（１）メモ情報
上記実施形態では、情報処理装置１０が、メモ情報として、名詞をメモするように端末装置２０を制御する場合を示した。図２では、情報処理装置１０が、来月や出張や札幌等の名詞をメモするように制御した。ここで、情報処理装置１０は、名詞に限らず、他の分類に属する言語情報をメモするように制御してもよい。修正発話の場合には、修正の内容を強調するために、副詞や動詞等が話者の意図になり得る可能性が高まる。情報処理装置１０は、修正発話の場合には、副詞や形容詞等の修飾語や動詞等をメモするように制御してもよい。

また、話者が発話を言い直すことや、発音を強調すること等によって発話を強調する場合には、強調された発話に含まれる修飾語等も話者の意図になり得る可能性が高まる。情報処理装置１０は、強調された発話に含まれる名詞と共に、強調された修飾語等もメモするように制御してもよい。また、話者がメモすることを指示した言語情報は、名詞以外でも、話者の意図になり得る可能性が高まる。話者がメモすることを指示した言語情報の一例としては、「大容量の洗剤って書いて」や「急いで手配ってメモして」等のメモの動作を指示するものであっても、「シャンプーはいつものシャンプーね」等のメモの内容を指示するものである。例えば、情報処理装置１０は、話者がメモするように指示した言語情報をメモするような制御を行ってもよい。

また、情報処理装置１０は、話者が名詞を連続して発言した場合には、連続した名詞を一つの名詞として処理を行ってもよい。

（２）メモ情報の修正
上記実施形態では、情報処理装置１０が、修正発話の場合には、メモ情報の追加と同様の速度や動作の大きさ等で、メモ情報を修正するように制御する場合を示した。ここで、情報処理装置１０は、修正前後の遷移を話者が認識可能な速度でメモ情報を修正するように制御してもよい。例えば、情報処理装置１０は、修正の遷移の速度が所定の閾値以下となるような速度でメモ情報を修正するように制御してもよい。また、情報処理装置１０は、メモ情報の修正を、メモ情報の追加よりも大きな動作で行うように制御してもよい。また、情報処理装置１０は、申し訳ない表情でメモ情報を修正するように制御してもよい。これにより、情報処理装置１０は、話者に対して、メモ情報の修正を、より明確に認識させることができる。

（３）メモ情報の補足機能１：他の情報源を用いた補足
上記実施形態では、情報処理装置１０が、発話に含まれる言語情報を用いてメモ情報を生成する場合を示した。ここで、情報処理装置１０は、発話に含まれる言語情報に応じて、情報を補ったメモ情報を生成してもよい。例えば、メモ内容制御部１１６は、「来月」等の抽象的な日時の発言や、「ここ」等の抽象的な指示語等が含まれる場合、情報を補ったメモ情報を生成してもよい。メモ内容制御部１１６は、情報を補ったメモ情報として、例えば、カッコ書き等の所定の態様で表示するための情報を付加したメモ情報を生成してもよい。例えば、「来月（２０１９年１０月）」や「ここ（場所Ａ１１）」である。この場合、「来月」や「ここ」が話者の発言であり、「（２０１９年１０月）」や「（場所Ａ１１）」が補足情報である。

また、情報処理装置１０は、抽象的な発言以外の他の発言に基づいて、対応する情報を記憶した情報源にアクセスして、補足情報を取得してもよい。具体的な例を挙げると、メモ内容制御部１１６は、話者のスケジュールを記憶した情報源にアクセスして、所定の日時に対応する場所の情報を取得してもよい。他の例として、メモ内容制御部１１６は、話者の勤務先情報を記憶した情報源にアクセスして、勤務地に対応する場所の情報を取得してもよい。そして、メモ内容制御部１１６は、他の情報源から取得した情報にカッコを付加したメモ情報を生成してもよい。例えば、「来月もここで打ち合わせ（会議室Ａ１２）」や「○○さんの勤務地もここ（勤務先Ａ１３）」である。この場合、「来月もここで打ち合わせ」や「○○さんの勤務地もここ」が話者の発言であり、「（会議室Ａ１２）」や「（勤務先Ａ１３）」が補足情報である。メモ内容制御部１１６は、例えば、「来月もここで打ち合わせ」の「ここ」に対応する補足情報として、話者のスケジュールを記憶した情報源にアクセスして、「来月」と「打ち合わせ」とに対応する場所の情報である「会議室Ａ１２」を取得する。また、メモ内容制御部１１６は、例えば、「○○さんの勤務地もここ」の「ここ」に対応する補足情報として、話者の勤務先情報を記憶した情報源にアクセスして、「○○さん」と「勤務地」とに対応する勤務先の情報である「勤務先Ａ１３」を取得する。

（３）メモ情報の補足機能２：話者の発話に応じた補足
情報処理システム１は、話者の発話の言語情報と共に、話者の発話の態様に関する情報もメモ情報として提示してもよい。例えば、情報処理システム１は、話者の発話の抑揚や速度等に関する情報を、メモ情報の態様を変化させることで、メモ情報として提示してもよい。具体的には、情報処理システム１は、話者の発話音量が大きい言語情報や、話者の発話のピッチが高い言語情報等を、強調文字（ボールド）にして提示してもよい。他の例として、情報処理システム１は、話者の発話音量が大きい言語情報や、話者の発話のピッチが高い言語情報等を、話者の発話音量が平均的な言語情報や話者の発話のピッチが平均的な言語情報等で用いる色とは異なる色（例えば、赤字等の強調に用いる色等）にして提示してもよい。この場合、メモ内容制御部１１６が、話者の発話の態様に関する情報を、メモ情報とするための処理を行う。

また、情報処理システム１は、話者の発話の抑揚から話者の感情を推定して、推定した感情に応じた色になるように、メモ情報を提示してもよい。例えば、情報処理システム１は、話者の悲しい感情を推定した場合には、対応する言語情報の色が青くなるように、メモ情報を提示してもよい。また、情報処理システム１は、話者の発話の抑揚に限らず、話者の発話に含まれる言語情報の属性に基づいて、話者の感情を推定して、推定した感情に応じた色になるように、メモ情報を提示してもよい。例えば、情報処理システム１は、「困った」や「うれしい」等の話者の感情を推定し得る言語情報には、対応する色を付加することにより、メモ情報を提示してもよい。他の例として、情報処理システム１は、話者の感情を推定し得る言語情報には、対応するフォントに変更することにより、メモ情報を提示してもよい。

（４）動作依頼
上記実施形態では、情報処理システム１が、話者の発話に動作依頼が含まれる場合、その動作依頼に関する情報を、端末装置２０のスケジューラＴＤ１１に追加する場合を示した。ここで、情報処理システム１は、動作依頼に関する情報を、端末装置２０のスケジューラＴＤ１１に追加しなくてもよい。この場合、情報処理システム１は、話者の発話に含まれる動作依頼を記憶した外部装置にアクセスして、その動作依頼に対応する動作を行うように、端末装置２０を制御する。

また、動作依頼の内容は、図２に示す例に限らず、端末装置２０が実現可能なものであれば、どのようなものであってもよい。

（５）修正依頼
上記実施形態では、情報処理システム１が、話者の発話に修正依頼が含まれる場合、その修正依頼に関する情報に応じて、メモした言語情報を修正する動作を行うように制御する場合を示した。図２では、情報処理システム１が、修正依頼前にメモした言語情報を削除して、新たな言語情報をメモする動作を行うように制御する場合を示した。また、図４では、情報処理システム１が、他の媒体を表示して、表示した他の媒体に新たな言語情報を追加する動作を行うように制御する場合を示した。ここで、情報処理システム１は、上述した例に限らず、言語情報を修正する動作であれば、どのような動作を行うように制御してもよい。例えば、情報処理システム１は、修正依頼前にメモした言語情報を削除するのみの動作を行うように制御してもよい。他の例として、情報処理システム１は、他の媒体を表示せずに、他の媒体に新たな言語情報を追加する動作を行うように制御してもよい。

（６）外部サービスを用いる場合
上記実施形態では、実施形態に係る機能を実現するために、制御部１１０が、発話認識部１１２、及び意味解析部１１５を有する場合を示したが、この例に限られない。すなわち、制御部１１０は、発話認識部１１２、及び意味解析部１１５を有さなくてもよい。この場合、情報処理システム１は、外部の情報処理装置を介して、上述した発話認識及び意味解析の処理を行ってもよい。具体的には、制御部１１０は、通信部１００を介して、発話取得部２１１から送信された発話データを外部の情報処理装置に送信することにより、上述した発話認識及び意味解析の処理を行ってもよい。

（７）終端検出
情報処理システム１は、終端の検出の遅延がなくなるように、話者の発話の履歴を学習し、終端のタイミングを予測して動作を制御してもよい。例えば、動作生成部１１４１は、記憶部１２０にアクセスして、終端に関する情報の履歴を学習することで、終端のタイミングで端末装置２０が動作するように制御するための制御情報を生成してもよい。また、情報処理システム１は、終端のタイミングを予測して動作を制御する場合には、話者の発話の終端が予測通りのタイミングとは限らないため、動作が小さくなるように制御してもよい。これにより、情報処理システム１は、より適切に話者の発話を邪魔することなく動作を行うように制御することができる。

（８）話者の行動情報
情報処理システム１は、終端が検出された後の話者の行動情報が所定の条件を満たす場合には、端末装置２０の動作を制御してもよい。例えば、動作制御部１１４は、終端が検出された後の話者の頷きや相槌を示す行動情報が所定の閾値以上である場合には、端末装置２０の動作を制御するための処理を行ってもよい。具体的には、動作制御部１１４は、話者の頷きの大きさや相槌の音量が所定の閾値以上である場合には、端末装置２０の動作を制御するための処理を行ってもよい。

＜＜３．応用例＞＞
以上、本開示の実施形態について説明した。続いて、本開示の実施形態に係る情報処理システム１の応用例を説明する。

＜３．１．業務のサポート＞
話者の発話が業務等におけるサポート（ヘルプ）に関する場合には、過去のメモ情報が話者の発話の意図になり得る。情報処理装置１０は、話者の発話に含まれる言語情報が、過去のメモ情報にも含まれる場合には、過去のメモ情報を、メモ情報を表示する画面の所定の領域内に表示されるように制御してもよい。この場合、動作生成部１１４１が、例えば、メモ情報を表示する画面の所定の領域内に表示されるように制御する制御情報を生成する。提示部２２０は、通信部１００を介して、情報処理装置１０から送信された制御情報に基づいて、メモ情報を表示する画面の所定の領域内に表示する。これにより、話者は、過去の発話のメモ情報を参照しながら、話者の発話のメモ情報を確認することができる。

＜３．２．認知症の検出＞
上記実施形態は、認知症等の医療分野においても応用し得る。認知症の患者には、繰り返しの発言を多く行う傾向や、事実と異なる発言を行う傾向等がある。図１０では、話者Ｕ１２の過去の発話と比較して、話者Ｕ１２が事実と異なる発言を行う場合を例に挙げて、情報処理システム１が認知症の患者を検出する場合の機能の概要を説明する。情報処理システム１は、話者Ｕ１２の発話ＴＫ５１の意図をメモする動作を行うように端末装置２０を制御する（Ｓ５１）。Ｓ５１では、情報処理システム１は、発話ＴＫ５１の意図として、「病院」と「来週水曜（１１月１１日）」の言語情報をメモする動作を行うように制御する。情報処理システム１は、メモ情報Ｍ４１を記憶部１２０に記憶する（Ｓ５２）。次いで、情報処理システム１は、話者Ｕ１２と端末装置２０との発話ＴＫ５２乃至ＴＫ５４に基づいて、話者Ｕ１２の発話ＴＫ５４が事実に沿うか否かを判定するために、例えば、話者Ｕ１２のスケジュールを記憶したスケジュールアプリＡＰ１にアクセスする（Ｓ５３）。そして、情報処理システム１は、話者Ｕ１２のスケジュール情報を取得する。話者Ｕ１２の発話ＴＫ５４が事実と異なる場合、情報処理システム１は、例えば、話者Ｕ１２の家族Ｕ１３へ話者Ｕ１２が認知症の傾向にあり得る旨の情報を通知するメッセージングアプリＡＰ２にアクセスする（Ｓ５４）。そして、情報処理システム１は、話者Ｕ１２の家族Ｕ１３へ通知する。

＜３．３．遠隔対話者へのサポート＞
上記実施形態は、テレカン（Ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ）等の対話者が遠隔の場合のやりとりにも応用し得る。情報処理装置１０は、複数の話者間でやりとりする電話やテレカン等において、例えば、要点が提示されるように端末装置２０を制御してもよい。この場合、メモ内容制御部１１６が、例えば、発話データに基づく要点を生成する。提示部２２０は、通信部１００を介して、情報処理装置１０から送信された要点を提示する。また、情報処理装置１０は、複数の話者のうち、どの話者が話す番であるか（ターンテイク）を示す動作を行うように端末装置２０を制御してもよい。この場合、動作生成部１１４１が、例えば、終端検出部１１３により検出された終端に関する情報や、メモ内容制御部１１６により制御されたメモ情報に基づいて、次に話す話者を推定して、ターンテイクを示す動作を行うための制御情報を生成する。

＜＜４．ハードウェア構成例＞＞
最後に、図１１を参照しながら、実施形態に係る情報処理装置のハードウェア構成例について説明する。図１１は、実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。なお、図１１に示す情報処理装置９００は、例えば、図６に示した情報処理装置１０及び端末装置２０を実現し得る。実施形態に係る情報処理装置１０及び端末装置２０による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図１１に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３を備える。また、情報処理装置９００は、ホストバス９０４ａ、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１０、及び通信装置９１１を備える。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ハードウェア構成は、ここで示される構成要素以外の構成要素をさらに含んでもよい。

ＣＰＵ９０１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、又はストレージ装置９０８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０３には、例えば、ＣＰＵ９０１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。ＣＰＵ９０１、ＲＯＭ９０２およびＲＡＭ９０３は、例えば、ソフトウェアとの協働により、図６を参照して説明した制御部１１０及び制御部２１０の機能を実現し得る。

ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、例えば、高速なデータ伝送が可能なホストバス９０４ａを介して相互に接続される。一方、ホストバス９０４ａは、例えば、ブリッジ９０４を介して比較的データ伝送速度が低速な外部バス９０４ｂに接続される。また、外部バス９０４ｂは、インタフェース９０５を介して種々の構成要素と接続される。

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、話者によって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いて話者により入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００の話者は、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

他にも、入力装置９０６は、話者に関する情報を検知する装置により形成され得る。例えば、入力装置９０６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ（例えば、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ）、力センサ等の各種のセンサを含み得る。また、入力装置９０６は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得してもよい。また、入力装置９０６は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。また、位置情報に関しては、入力装置９０６は、Ｗｉ−Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置９０６は、例えば、図６を参照して説明した発話取得部２１１の機能を実現し得る。

出力装置９０７は、取得した情報を話者に対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、図６を参照して説明した提示部２２０の機能を実現し得る。

ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図６を参照して説明した記憶部１２０の機能を実現し得る。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート９１０は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器を接続するためのポートである。

通信装置９１１は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１１は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１１は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１１は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１１は、例えば、図６を参照して説明した通信部１００及び通信部２００の機能を実現し得る。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

以上、実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

＜＜５．まとめ＞＞
以上説明したように、実施形態に係る情報処理装置１０は、対象となる話者の言語情報の終端に関する情報に基づいて、端末装置２０の動作を制御する処理を行う。これにより、情報処理装置１０は、話者の発話の終端で、端末装置２０が動作を行うように制御することができる。

よって、話者の発話の意図に沿って対話エージェントの対話に関する動作を制御することが可能な、新規かつ改良された情報処理装置及び情報処理方法を提供することが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本
開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図６に示した情報処理装置１０及び端末装置２０は、それぞれ単独の装置として実現されてもよい。また、例えば、情報処理装置１０及び端末装置２０とネットワーク等で接続されたサーバ装置として実現されてもよい。また、情報処理装置１０が有する制御部１１０の機能をネットワーク等で接続されたサーバ装置が有する構成であってもよい。

また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（非一時的な媒体：ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
端末装置により取得された対象となる話者の言語情報の終端を検出する終端検出部と、
前記終端検出部によって検出された終端に関する情報に基づいて、前記端末装置の動作を制御する処理を行う動作制御部と、
を備える、情報処理装置。
（２）
前記動作制御部は、
前記終端が検出された前後の前記言語情報が所定の条件を満たす場合、前記端末装置の動作を制御する処理を行う、
前記（１）に記載の情報処理装置。
（３）
前記動作制御部は、
前記終端が検出されてから次の前記言語情報が検出されるまでに所定の時間が経過した場合、前記端末装置の動作を制御する処理を行う、
前記（２）に記載の情報処理装置。
（４）
前記動作制御部は、
前記終端が検出された後の前記言語情報が、前記話者の言語情報のトピックの変化を示す言語情報であると解釈される場合、前記端末装置の動作を制御する処理を行う、
前記（２）に記載の情報処理装置。
（５）
前記動作制御部は、
前記終端が検出された後の前記言語情報が、前記端末装置の前記動作を指示する言語情報であると解釈される場合、前記言語情報に基づいて当該端末装置の動作を制御する処理を行う、
前記（４）に記載の情報処理装置。
（６）
前記動作制御部は、
前記終端が検出された後の前記話者の行動情報が所定の条件を満たす場合、前記端末装置の動作を制御する処理を行う、
前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記動作制御部は、
前記終端が検出された後の前記話者の頷き又は相槌を示す行動情報が所定の閾値以上である場合、前記端末装置の動作を制御する処理を行う、
前記（６）に記載の情報処理装置。
（８）
前記動作制御部は、
前記端末装置の動作として、前記言語情報を記録する手段であるメモに関する動作を制御する処理を行う、
前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記動作制御部は、
前記言語情報に名詞が含まれる場合、前記メモに関する動作を制御する処理を行う、
前記（８）に記載の情報処理装置。
（１０）
前記動作制御部は、
前記言語情報に、前記話者が強調したと解釈される修飾語又は動詞が含まれる場合、前記メモに関する動作を制御する処理を行う、
前記（８）又は（９）に記載の情報処理装置。
（１１）
前記動作制御部は、
前記話者が前記言語情報を修正するように指示した場合、当該修正に対応する言語情報に対して、前記メモに関する動作を制御する処理を行う、
前記（８）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記動作制御部は、
前記修正の遷移の速さが所定の閾値以下となるように、前記メモに関する動作を制御する処理を行う、
前記（１１）に記載の情報処理装置。
（１３）
前記動作制御部は、
前記話者が前記言語情報を修正するように指示した場合、当該修正に対応する修正前の言語情報を残しつつ、当該修正に対応する新たな言語情報を追記する動作を制御する処理を行う、
前記（１１）又は（１２）に記載の情報処理装置。
（１４）
前記動作制御部は、
前記メモに関する動作として、前記言語情報を媒体にメモする動作、又は、当該言語情報をメモした媒体を捲る動作を制御する処理を行う、
前記（８）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記端末装置は、前記話者を撮像する撮像部を有し、
前記動作制御部は、
前記話者が発話中の場合、前記端末装置の視線を当該話者に向けるように前記端末装置の動作を制御する処理を行う、
前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
端末装置と、当該端末装置の動作を制御する処理に使われるソフトウェアとを含んで構成される情報処理システムであって、
前記ソフトウェアは、情報処理装置に搭載されており、
前記端末装置に取得された対象となる話者の言語情報の終端に関する情報に基づいて、当該端末装置の動作を制御する処理を行う、
情報処理システム。
（１７）
コンピュータが、
端末装置により取得された対象となる話者の言語情報の終端を検出し、
検出された終端に関する情報に基づいて、前記端末装置の動作を制御する処理を行う、
情報処理方法。
（１８）
端末装置により取得された対象となる話者の言語情報の終端を検出する終端検出手順と、
前記終端検出手順によって検出された終端に関する情報に基づいて、前記端末装置の動作を制御する処理を行う動作制御手順と、
をコンピュータに実行させることを特徴とする情報処理プログラム。

１ 情報処理システム
１０ 情報処理装置
２０ 端末装置
１００ 通信部
１１０ 制御部
１１１ 話者識別部
１１２ 発話認識部
１１３ 終端検出部
１１４ 動作制御部
１１４１ 動作生成部
１１４２ 動作提示部
１１５ 意味解析部
１１６ メモ内容制御部
１２０ 記憶部
２００ 通信部
２１０ 制御部
２１１ 発話取得部
２１２ 撮像部
２１３ 動作制御部
２２０ 提示部

Claims (18)

1. 端末装置により取得された対象となる話者の言語情報の終端を検出する終端検出部と、
   前記終端検出部によって検出された終端に関する情報に基づいて、前記端末装置の動作を制御する処理を行う動作制御部と、
   を備える、情報処理装置。
2. 前記動作制御部は、
   前記終端が検出された前後の前記言語情報が所定の条件を満たす場合、前記端末装置の動作を制御する処理を行う、
   請求項１に記載の情報処理装置。
3. 前記動作制御部は、
   前記終端が検出されてから次の前記言語情報が検出されるまでに所定の時間が経過した場合、前記端末装置の動作を制御する処理を行う、
   請求項２に記載の情報処理装置。
4. 前記動作制御部は、
   前記終端が検出された後の前記言語情報が、前記話者の言語情報のトピックの変化を示す言語情報であると解釈される場合、前記端末装置の動作を制御する処理を行う、
   請求項２に記載の情報処理装置。
5. 前記動作制御部は、
   前記終端が検出された後の前記言語情報が、前記端末装置の前記動作を指示する言語情報であると解釈される場合、前記言語情報に基づいて当該端末装置の動作を制御する処理を行う、
   請求項４に記載の情報処理装置。
6. 前記動作制御部は、
   前記終端が検出された後の前記話者の行動情報が所定の条件を満たす場合、前記端末装置の動作を制御する処理を行う、
   請求項１に記載の情報処理装置。
7. 前記動作制御部は、
   前記終端が検出された後の前記話者の頷き又は相槌を示す行動情報が所定の閾値以上である場合、前記端末装置の動作を制御する処理を行う、
   請求項６に記載の情報処理装置。
8. 前記動作制御部は、
   前記端末装置の動作として、前記言語情報を記録する手段であるメモに関する動作を制御する処理を行う、
   請求項１に記載の情報処理装置。
9. 前記動作制御部は、
   前記言語情報に名詞が含まれる場合、前記メモに関する動作を制御する処理を行う、
   請求項８に記載の情報処理装置。
10. 前記動作制御部は、
    前記言語情報に、前記話者が強調したと解釈される修飾語又は動詞が含まれる場合、前記メモに関する動作を制御する処理を行う、
    請求項８に記載の情報処理装置。
11. 前記動作制御部は、
    前記話者が前記言語情報を修正するように指示した場合、当該修正に対応する言語情報に対して、前記メモに関する動作を制御する処理を行う、
    請求項８に記載の情報処理装置。
12. 前記動作制御部は、
    前記修正の遷移の速さが所定の閾値以下となるように、前記メモに関する動作を制御する処理を行う、
    請求項１１に記載の情報処理装置。
13. 前記動作制御部は、
    前記話者が前記言語情報を修正するように指示した場合、当該修正に対応する修正前の言語情報を残しつつ、当該修正に対応する新たな言語情報を追記する動作を制御する処理を行う、
    請求項１１に記載の情報処理装置。
14. 前記動作制御部は、
    前記メモに関する動作として、前記言語情報を媒体にメモする動作、又は、当該言語情報をメモした媒体を捲る動作を制御する処理を行う、
    請求項８に記載の情報処理装置。
15. 前記端末装置は、前記話者を撮像する撮像部を有し、
    前記動作制御部は、
    前記話者が発話中の場合、前記端末装置の視線を当該話者に向けるように前記端末装置の動作を制御する処理を行う、
    請求項１に記載の情報処理装置。
16. 端末装置と、当該端末装置の動作を制御する処理に使われるソフトウェアとを含んで構成される情報処理システムであって、
    前記ソフトウェアは、情報処理装置に搭載されており、
    前記端末装置に取得された対象となる話者の言語情報の終端に関する情報に基づいて、当該端末装置の動作を制御する処理を行う、
    情報処理システム。
17. コンピュータが、
    端末装置により取得された対象となる話者の言語情報の終端を検出し、
    検出された終端に関する情報に基づいて、前記端末装置の動作を制御する処理を行う、
    情報処理方法。
18. 端末装置により取得された対象となる話者の言語情報の終端を検出する終端検出手順と、
    前記終端検出手順によって検出された終端に関する情報に基づいて、前記端末装置の動作を制御する処理を行う動作制御手順と、
    をコンピュータに実行させることを特徴とする情報処理プログラム。

Images