JP2019016061A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】ＵＩ画面を切り替えなくても特定のユーザに関する各種情報を見ることができる情報処理装置及びプログラムを提供する。【解決手段】認知症予防システム１において、サーバ装置１０の音声情報生成部は、対象ユーザへの伝達事項を表す音声情報を生成し、音声情報出力部は、生成された音声情報を音声端末に出力する。周辺音取得部は、伝達事項の音声に応答した対象ユーザの発話音声を含む周辺音を取得する。音声認識部は、取得された周辺音から対象ユーザの音声を認識して、対象ユーザによる発話内容を取得する。統合ＵＩ情報生成部は、対象ユーザへの伝達事項と、取得された対象ユーザの発話内容とを含む対話形式の画像を表示するための統合ＵＩ情報を生成する。統合ＵＩ情報出力部は、生成された統合ＵＩ情報を表示用端末に出力する。第２ユーザ端末４０の統合ＵＩ表示制御部は、統合ＵＩ情報が示す対話形式の画像を自装置の表示部に表示させる。【選択図】図３

Description

本発明は、ユーザインターフェースの技術に関する。

特許文献１には、複数の家電機器から取得される動作及び状態情報に基づく対話形式の画像を表示する共通ＵＩ（ユーザインターフェース）の技術が開示されている。

特許２００６−７２９９２号公報

特許文献１の技術では、ＵＩ画面を切り替えなくても特定の機械（各家電機器）の各種情報（動作及び状態の情報）を知ることができる。同じように、例えば高齢者をその家族が見守りたいという場合などに、特定のユーザに関する各種情報を、ＵＩ画面を切り替えなくても見られるようにしたい場合がある。
そこで、本発明は、ＵＩ画面を切り替えなくても特定のユーザに関する各種情報を見ることができるようにすることを目的とする。

上記目的を達成するために、本発明は、第１ユーザへの伝達事項を音声で示す音声情報を、音声の出力機能を有する音声端末に出力する第１出力部と、前記第１ユーザによる発話内容を取得する発話取得部と、第２ユーザが利用する表示用端末に、前記伝達事項と、取得された前記発話内容とを含む対話形式の画像を表示するための表示用情報を出力する第２出力部とを備える情報処理装置を提供する。

また、前記第２出力部は、前記第２ユーザが自装置に対して指示した内容を含む前記対話形式の画像を表示するための情報を前記表示用情報として出力してもよい。
さらに、前記第１出力部は、前記第１ユーザへの所定の動作の指示を前記伝達事項として示す音声情報を出力し、前記第１ユーザの動作を示す動作情報を検出する機能を有する検出用端末を介して、前記指示に基づき行われた前記第１ユーザの動作の前記動作情報を取得する動作取得部を備え、前記第２出力部は、取得された前記動作情報を含む前記画像を表示するための情報を前記表示用情報として出力してもよい。

また、出力された前記音声情報が示す動作の指示と取得された前記動作情報が示す動作とを比較して、前記第１ユーザに関する判定を行う第１判定部を備え、前記第２出力部は、前記第１判定部による判定の結果を含む画像を表示するための情報を前記表示用情報として出力してもよい。
さらに、録音機能を有する録音端末から当該録音端末の周辺の音を取得する録音取得部と、取得された前記周辺の音に所定の状況を表す音が含まれているか否かを判定する第２判定部を備え、前記第２出力部は、前記状況を表す音が含まれていると判定された場合に、当該判定の結果を表す前記対話形式の画像を表示するための情報を前記表示用情報として出力してもよい。

また、前記周辺の音に含まれていると判定された前記状況を表す音を少なくとも示す音データを、外部装置からアクセス可能な記憶手段に格納する格納部を備え、前記第２出力部は、前記音データが格納された場合に当該音データへのリンクを含む前記画像を表示するための情報を前記表示用情報として出力してもよい。
さらに、前記第２出力部は、前記対話形式の画像が示す対話を行っている主体を識別可能に表示するための情報を前記表示用情報として出力してもよい。
また、前記第２出力部は、２つの前記画像にそれぞれ含まれる情報同士の相関関係が強いほど当該２つの画像を近くに配置する情報を前記表示用情報として出力してもよい。

また、本発明は、表示部及び操作部を備えるコンピュータを、音声の出力機能を有する音声端末に第１ユーザへの伝達事項を示す音声情報を出力し、当該音声端末に入力された前記第１ユーザの音声が示す発話内容を取得する情報処理装置に対し、前記伝達事項を指示する指示部と、前記情報処理装置から、前記伝達事項と、取得された前記発話内容とを含む対話形式の画像を表示するための情報が出力されてきた場合に、当該画像を前記表示部に表示させる表示制御部として機能させるプログラムを提供する。

本発明によれば、ＵＩ画面を切り替えなくても特定のユーザに関する各種情報を見ることができるようにすることができる。

実施例に係る認知症予防システムの全体構成を表す図 サーバ装置等のハードウェア構成を表す図 認知症予防システムが実現する機能構成を表す図 表示された統合ＵＩの一例を表す図 表示された統合ＵＩの一例を表す図 表示された統合ＵＩの一例を表す図 第１判定テーブルの一例を表す図 第２判定テーブルの一例を表す図 第３判定テーブルの一例を表す図 表示された統合ＵＩの一例を表す図 表示された統合ＵＩの一例を表す図 表示処理における各装置の動作手順の一例を表す図 変形例で表示された統合ＵＩの一例を表す図 表示された統合ＵＩの一例を表す図

［１］実施例
図１は実施例に係る認知症予防システム１の全体構成を表す。認知症予防システム１は、認知症の予防を支援するシステムである。認知症予防システム１は、例えば、認知症を予防する対象となるユーザ（年配の方など。以下「対象ユーザ」という）と、対象ユーザを見守りながら予防に関する活動を支援するユーザ（対象ユーザの家族など。以下「支援ユーザ」という）によって利用される。対象ユーザは本発明の「第１ユーザ」の一例であり、支援ユーザは本発明の「第２ユーザ」の一例である。

対象ユーザには、認知症の発症前の者と認知症を発症した者との両方が含まれる。認知症の予防には、認知症の発症を防ぐことだけでなく、発症した認知症の進行を食い止めること及び症状を改善させることも含まれるからである。認知症予防システム１は、ネットワーク２と、固定電話機３と、サーバ装置１０と、ホームルータ２０と、第１ユーザ端末３０と、第２ユーザ端末４０とを備える。

ネットワーク２は、移動体通信網及びインターネット等を含む通信システムであり、自システムにアクセスする装置同士のデータのやり取りを中継する。ネットワーク２には、サーバ装置１０及びホームルータ２０が有線通信でアクセスしており、第１ユーザ端末３０及び第２ユーザ端末４０が無線通信でアクセスしている。なお、ネットワーク２とのアクセスは有線通信及び無線通信のどちらでもよい。

サーバ装置１０は、認知症予防に関する処理を行う情報処理装置である。ホームルータ２０は、対象ユーザの自宅に設置される通信装置である。ホームルータ２０は、ネットワーク２との通信機能と、無線ＬＡＮ（Local Area Network）の規格に準拠した通信機能と、固定電話回線による通話を中継する機能とを有し、固定電話機３が接続されている。第１ユーザ端末３０は、対象ユーザが利用するスマートフォン等の端末装置であり、移動体通信による電話又はＩＰ（Internet Protocol）電話の機能を有する。第２ユーザ端末４０は、支援ユーザが利用するスマートフォン等の端末装置である。

図２はサーバ装置１０等のハードウェア構成を表す。サーバ装置１０等（サーバ装置１０、ホームルータ２０、第１ユーザ端末３０、第２ユーザ端末４０）は、いずれも、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信装置１４と、入力装置１５と、出力装置１６と、バス１７という各装置を備えるコンピュータである。なお、ここでいう「装置」という文言は、回路、デバイス及びユニット等に読み替えることができる。また、各装置は、１つ又は複数含まれていてもよいし、一部の装置が含まれていなくてもよい。

プロセッサ１１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。また、プロセッサ１１は、プログラム（プログラムコード）、ソフトウェアモジュール及びデータ等を、ストレージ１３及び／又は通信装置１４からメモリ１２に読み出し、これらに従って各種の処理を実行する。

各種処理を実行するプロセッサ１１は１つでもよいし、２以上であってもよく、２以上のプロセッサ１１は、同時又は逐次に各種処理を実行してもよい。また、プロセッサ１１は、１以上のチップで実装されてもよい。プログラムは、電気通信回線を介してネットワークから送信されてもよい。

メモリ１２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）及びＲＡＭ（Random Access Memory）等の少なくとも１つで構成されてもよい。メモリ１２は、レジスタ、キャッシュ及びメインメモリ（主記憶装置）等と呼ばれてもよい。メモリ１２は、前述したプログラム（プログラムコード）、ソフトウェアモジュール及びデータ等を保存することができる。

ストレージ１３は、コンピュータが読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。

ストレージ１３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１２及び／又はストレージ１３を含むデータベース、サーバその他の適切な媒体であってもよい。通信装置１４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。例えばホームルータ２０及び第１ユーザ端末３０は、周辺で発生した音（周辺音）を収集するマイクロフォンを入力デバイスとして備えている。また、第１ユーザ端末３０は、自装置の加速度又は角速度を測定するセンサを入力デバイスとして備えている。また、第２ユーザ端末４０は、支援ユーザの操作を受け付けるボタン及びタッチセンサ（本発明の「操作部」の一例）を入力デバイスとして備えている。

出力装置１６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカ、ＬＥＤランプなど）である。例えばホームルータ２０及び第１ユーザ端末３０は、音を出力するスピーカを出力デバイスとして備えている。また、第２ユーザ端末４０は、画像を表示するディスプレイ（本発明の「表示部」の一例）を出力デバイスとして備えている。なお、入力装置１５及び出力装置１６は、一体となった構成（例えば、タッチスクリーン）であってもよい。また、プロセッサ１１及びメモリ１２等の各装置は、情報を通信するためのバス１７を介して互いにアクセス可能となっている。バス１７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、サーバ装置１０等は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及び、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１１は、これらのハードウェアの少なくとも１つで実装されてもよい。

認知症予防システム１が備えるサーバ装置１０、ホームルータ２０、第１ユーザ端末３０及び第２ユーザ端末４０には、本システムで提供されるプログラムが記憶されており、各装置のプロセッサがプログラムを実行して各部を制御することで以下に述べる機能群が実現される。

図３は認知症予防システム１が実現する機能構成を表す。サーバ装置１０は、音声情報生成部１０１と、音声情報出力部１０２と、周辺音取得部１０３と、音声認識部１０４と、対話内容決定部１０５と、統合ＵＩ情報生成部１０６と、統合ＵＩ情報出力部１０７と、指示受付部１０８と、測定結果取得部１１１と、認知症関連判定部１１２と、回答内容蓄積部１１３とを備える。

ホームルータ２０は、音声情報取得部２０１と、音声出力部２０２と、周辺音録音部２０３と、周辺音送信部２０４とを備える。第１ユーザ端末３０は、センサ測定部３０１と、測定結果送信部３０２とを備える。第２ユーザ端末４０は、統合ＵＩ表示制御部４０１と、サーバ指示部４０２とを備える。

認知症予防システム１においては、対象ユーザの氏名（本実施例では「Ａさん」とする）及び支援ユーザの氏名（本実施例では「Ｂさん」とする）等が登録されており、各ユーザを識別するユーザＩＤが発行されている。また、対象ユーザが利用する端末として固定電話機３、ホームルータ２０及び第１ユーザ端末３０が登録され、支援ユーザが利用する端末として第２ユーザ端末４０が登録されており、サーバ装置１０は、各端末に情報を出力する際の宛先情報（電話番号及びＩＰアドレス等）を記憶している。

サーバ装置１０の音声情報生成部１０１は、対象ユーザへの伝達事項を表す音声情報を生成する。音声情報生成部１０１は、例えば、対象ユーザへの挨拶及び日常会話等を伝達事項として示す音声情報を生成する。これらの伝達事項は、予めサーバ装置１０にテキストデータの形式又は音データの形式で記憶されている。音声情報生成部１０１は、テキストデータであれば周知の音声合成技術を用いてその伝達事項を示す音声情報を生成する。

また、音声情報生成部１０１は、音データであればそれらを結合又は分離して伝達事項を示す音声情報を生成する。伝達事項が挨拶及び日常会話等である場合、音声情報生成部１０１は、一日のうちの決められた時刻になったときに音声情報を生成する。音声情報生成部１０１は、例えば朝の７時になると「Ａさん、おはようございます」という音声を示す音声情報を生成する。音声情報生成部１０１は、生成した音声情報を音声情報出力部１０２に供給する。

サーバ装置１０の音声情報出力部１０２は、対象ユーザへの伝達事項を表す音声情報を、音声の出力機能を有する音声端末に出力する。音声情報出力部１０２は本発明の「第１出力部」の一例である。音声情報出力部１０２は、本実施例では、音声情報生成部１０１により生成された音声情報を、音声端末である固定電話機３又はホームルータ２０のいずれかに対して出力する。以下ではまずホームルータ２０に音声情報が出力された場合を説明する。

ホームルータ２０の音声情報取得部２０１は、サーバ装置１０から出力されてきた音声情報を取得する。音声情報取得部２０１は、取得した音声情報を音声出力部２０２に供給すると共に、周辺音録音部２０３に音声情報を取得した旨を通知する。

音声出力部２０２は、音声情報取得部２０１から供給された音声情報が示す音声を出力（放音）する。音声出力部２０２はホームルータ２０が有する音声の出力機能である。なお、音声情報は、音データ以外の形式のデータであってもよい。例えば音声出力部２０２がテキストデータを音声として読み上げる機能を有していれば、テキストデータ形式の音声情報が用いられてもよい。

周辺音録音部２０３は、自装置のマイクロフォンが収集する周辺の音（周辺音）を録音する。周辺音録音部２０３は、音声情報取得部２０１からの通知を受け取ると、それから録音を開始して、例えば一定の時間だけ録音を行う。これにより、伝達事項（例えば挨拶）の音声を聞いた対象ユーザが口頭で返答をした（例えば挨拶を返した）場合に、周辺音録音部２０３が、その発話音声を含む周辺音を録音することになる。

周辺音録音部２０３は、周辺音を録音すると、録音した周辺音を示す周辺音データを周辺音送信部２０４に供給する。周辺音送信部２０４は、供給された周辺音データを、対象ユーザのユーザＩＤと共にサーバ装置１０に送信する。サーバ装置１０の周辺音取得部１０３は、送信されてきた周辺音データ及びユーザＩＤを受け取ることで、伝達事項の音声に応答した対象ユーザ（受け取ったユーザＩＤが示すユーザ）の発話音声を含む周辺音を取得する。

次に、固定電話機３に音声情報が出力された場合を説明する。本実施例の固定電話機３は、ホームルータ２０を介して固定電話回線にアクセスするため、音声情報出力部１０２が出力した音声情報は、音声情報取得部２０１を介して固定電話機３に到達する。音声情報取得部２０１は、この音声情報を中継した際に、その旨を周辺音録音部２０３に通知する。周辺音録音部２０３は、この通知を受け取ることで上記同様に録音を行う。

これにより、固定電話機３で話す声が聞こえる位置にホームルータ２０が設置されていれば、周辺音録音部２０３が、対象ユーザの発話音声を含む周辺音を録音することになる。なお、固定電話機３がホームルータ２０を介さず固定電話回線にアクセスする場合には、例えば周辺音録音部２０３が常時周辺音を録音することで、対象ユーザの発話音声を含む周辺音を録音してもよい。

いずれの場合も、周辺音取得部１０３は、伝達事項の音声に応答した対象ユーザの発話音声を含む周辺音を取得する。周辺音取得部１０３は、取得した周辺音を、その取得日時と共に音声認識部１０４に供給する。音声認識部１０４は、供給された周辺音から、対象ユーザの音声を例えば周知の音声認識技術を用いて認識して、対象ユーザによる発話内容を取得する。音声認識部１０４は本発明の「発話取得部」の一例である。音声認識部１０４は、取得した発話内容を対話内容決定部１０５に供給する。

対話内容決定部１０５は、供給された発話内容、すなわち対象ユーザの発話内容に基づいて、次の対話内容を決定する。対話内容決定部１０５は、例えば、音声情報生成部１０１が生成する音声情報が示す伝達事項（挨拶及び日常会話等）に対して想定される対象ユーザの発話内容のパターンと、各パターンに対する対話内容の候補を予め記憶しておく。例えば「こんにちは」という挨拶と、その挨拶に対して、今日の晩御飯を尋ねる、午後の予定を尋ねる、及び、午前中にしていたことを尋ねる等の対話内容の候補を記憶しておく。

対話内容決定部１０５は、供給された対象ユーザの発話内容に最も近いパターンを判断し、そのパターンに対応する候補のいずれかを対話内容として決定する。対話内容決定部１０５は、決定した対話内容を音声情報生成部１０１に供給する。音声情報生成部１０１は、供給された対話内容を伝達事項として表す音声情報を生成する。こうして生成された音声情報が示す音声の出力と、対象ユーザによる発話とが繰り返されることで、サーバ装置１０と対象ユーザとの対話が進んでいく。なお、対話内容の決定には、周知の会話アルゴリズム又は会話用のＡＩ（Artificial Intelligence）が用いられてもよい。

音声認識部１０４は、取得した発話内容を、音声認識をした周辺音の取得日時と共に統合ＵＩ情報生成部１０６に供給する。統合ＵＩ情報生成部１０６には、音声情報生成部１０１が、出力された音声情報をテキストデータの形式で表した情報を供給する。音声情報が音データである場合は、音声情報生成部１０１は、周知の音声認識技術でテキストデータの形式に変換してから統合ＵＩ情報生成部１０６に供給する。

また、音声情報生成部１０１は、その音声情報の出力日時を音声情報出力部１０２から取得して、統合ＵＩ情報生成部１０６に供給する。この出力日時は、出力された音声情報が音声端末で出力（放音）される日時とほぼ変わらないものとする。統合ＵＩ情報生成部１０６は、対象ユーザへの伝達事項と、周辺音取得部１０３により取得された対象ユーザの発話内容とを含む対話形式の画像を表示するための統合ＵＩ（User Interface）情報を生成する。統合ＵＩ情報は本発明の「表示用情報」の一例である。

統合ＵＩ情報生成部１０６は、生成した統合ＵＩ情報を統合ＵＩ情報出力部１０７に供給する。統合ＵＩ情報出力部１０７は、供給された統合ＵＩ情報を、支援ユーザが利用する表示用端末に出力する。統合ＵＩ情報出力部１０７は本発明の「第２出力部」の一例である。第２ユーザ端末４０の統合ＵＩ表示制御部４０１は、サーバ装置１０から統合ＵＩ情報が出力されてきた場合に、その統合ＵＩ情報が示す対話形式の画像を自装置の表示部に表示させる。統合ＵＩ表示制御部４０１は本発明の「表示制御部」の一例である。

図４は表示された統合ＵＩの一例を表す。統合ＵＩ表示制御部４０１は、認知症予防システム画面に、サーバ装置１０を擬人化した「サーバ」の人物画像Ｇ１と、対象ユーザである「Ａさん」の人物画像Ｇ２とを表示させている。また、統合ＵＩ表示制御部４０１は、「Ａさん、こんにちは。」及び「今日の晩御飯は何ですか？」という音声情報が示す音声を、「サーバ」のセリフとして表す吹き出し画像Ｆ１−１及びＦ１−２を表示させている。

また、統合ＵＩ表示制御部４０１は、「ああ、こんにちは。」及び「えーと、肉じゃがだね。」という対象ユーザである「Ａさん」による実際の発話内容を表す吹き出し画像Ｆ２−１及びＦ２−２を表示させている。これらの人物画像及び吹き出し画像は、対話形式の画像の一例である。このように、対話形式の画像とは、複数の主体が対話していることを示す画像である。ここでいう主体には、実在の人物以外に、サーバ装置等の機械又はそれらを擬人化したキャラクタ等が含まれる。統合ＵＩ情報生成部１０６は、これらの対話形式の画像を、元になる情報（音声情報及び周辺音）の出力日時又は取得日時の順番に並べている（図４の例では新しい情報ほど下になるように並べている）。

また、統合ＵＩ情報生成部１０６は、これらの対話形式の画像（吹き出し画像）に、元になる情報の出力日時又は取得日時を含めている。例えば吹き出し画像Ｆ１−１には「０５／０１ １３：０１：１５」という出力日時を含め、吹き出し画像Ｆ２−１には「０５／０１ １３：０１：２２」という取得日時を含めている。

統合ＵＩ表示制御部４０１は、例えば支援ユーザが認知症予防システム画面を表示させる操作を行った場合に、対話形式の画像をサーバ装置１０に要求する。統合ＵＩ情報出力部１０７は、この要求を受け取ると、統合ＵＩ情報生成部１０６から最新の対話形式の画像を受け取って出力する。統合ＵＩ表示制御部４０１は、こうして出力されてきた最新の対話形式の画像を表示させる。

統合ＵＩ情報生成部１０６は、例えば、対話形式の画像の全体を１つの画像で示す画像データを統合ＵＩ情報として生成する。なお、統合ＵＩ情報生成部１０６は、これに限らず、例えば人物画像及びセリフの入っていない吹き出し画像を第２ユーザ端末４０が記憶していれば、統合ＵＩとして表示する人物画像及び吹き出し画像の配置を指定する情報と、吹き出し画像の中に表すセリフを指定する情報とを含む統合ＵＩ情報を生成してもよい。その場合、統合ＵＩ表示制御部４０１は、統合ＵＩ情報により指定された配置で人物画像及び吹き出し画像を表示させ、吹き出し画像の中に指定されたセリフを表示させる。

また、統合ＵＩ情報生成部１０６は、上述した対話形式の画像が示す対話を行っている主体を識別可能に表示するための情報を統合ＵＩ情報として生成する。統合ＵＩ情報生成部１０６は、図４の例では、対話を行っている主体がサーバ装置１０を擬人化した人物（サーバ）である画像として、ロボット型の人物画像Ｇ１と、通常の太さの線で囲まれ且つ角が尖った吹き出し画像Ｆ１−１及びＦ１−２とを表示するための統合ＵＩ情報を生成している。

また、統合ＵＩ情報生成部１０６は、対話を行っている主体が対象ユーザ（Ａさん）である画像として、人の顔を簡略化した人物画像Ｇ２と、通常の太さの線で囲まれ且つ角が丸い吹き出し画像Ｆ２−１及びＦ２−２とを表示するための統合ＵＩ情報を生成している。このように対話を行っている主体（この例ではサーバ装置１０及び対象ユーザ）を識別可能に表すことで、それらを識別可能に表さない場合に比べて、例えば対象ユーザの発話内容を他の対話内容と容易に見分けることができる。なお、各主体を識別可能に表す方法としては、図４の例以外に、画像の色、背景又は動き等を異ならせる方法が用いられてもよい。

ここまでは、対象ユーザが発話した内容が対話形式の画像で表示される際に関係する構成を説明した。次に、支援ユーザに関する対話形式の画像が表示される際に関係する構成を説明する。第２ユーザ端末４０のサーバ指示部４０２は、サーバ装置１０に対して指示を行う。サーバ指示部４０２は、支援ユーザが行う自装置に対する操作に応じた指示を示す指示データをサーバ装置１０に送信することでその指示を行う。

サーバ指示部４０２は、例えば、支援ユーザの操作により入力されたメッセージを対象ユーザへの伝達事項とする指示をサーバ装置１０に対して行う。このメッセージの入力は、タッチパネルを用いた手の操作により行われてもよいし（メッセージを示すテキストの手入力）、メッセージを示す音声をマイクロフォンで収音させて音声認識させることにより行われてもよい。サーバ指示部４０２は本発明の「指示部」の一例である。

サーバ装置１０の指示受付部１０８は、送信されてきた指示データを受け取ると、その指示データが示す指示の内容を受け付ける。指示受付部１０８は、例えば前述したメッセージを表示させる指示を受け付けた場合は、そのメッセージを音声情報生成部１０１及び統合ＵＩ情報生成部１０６に供給する。音声情報生成部１０１は、供給されたメッセージを対象ユーザへの伝達事項として表す音声情報を生成する。

この音声情報が出力されることで、例えばホームルータ２０の音声出力部２０２からメッセージを表す音声が出力される。一方、統合ＵＩ情報生成部１０６は、供給されたメッセージを対象ユーザへの伝達事項として含む対話形式の画像を表示するための情報を統合ＵＩ情報として生成する。統合ＵＩ表示制御部４０１は、この統合ＵＩ情報が示す対話形式の画像を表示させる。

図５は表示された統合ＵＩの一例を表す。統合ＵＩ表示制御部４０１は、認知症予防システム画面に、支援ユーザである「Ｂさん」の人物画像Ｇ３（人物画像Ｇ２とは目鼻立ち等を変えて見分けがつくようにしたもの）と、「お母さんの肉じゃが、おいしいんだよね〜。」及び「今度帰ったら食べさせてね。」という指示情報が示すメッセージを「Ｂさん」のセリフとして表す吹き出し画像Ｆ３−１及びＦ３−２を表示させている。これらの吹き出し画像は、通常よりも太い線で囲まれ且つ角が丸くなっていて、図４に表す吹き出し画像と見分けがつくようになっている。図５に表す人物画像及び吹き出し画像は、支援ユーザに関する対話形式の画像の一例である。

対話内容決定部１０５は、対象ユーザの発話内容によっては、対象ユーザに対する対話内容ではなく、支援ユーザに対する対話内容を決定する。その場合、対話内容を音声で出力することはしないので、対話内容決定部１０５は、決定した対話内容を統合ＵＩ情報生成部１０６に供給する。統合ＵＩ情報生成部１０６は、供給された対話内容を含む対話形式の画像を表示するための情報を統合ＵＩ情報として生成する。統合ＵＩ表示制御部４０１は、この統合ＵＩ情報が示す対話形式の画像を表示させる。

図６は表示された統合ＵＩの一例を表す。図６（ａ）の例では、統合ＵＩ表示制御部４０１は、認知症予防システム画面に、対象ユーザである「Ａさん」の「行ってきます。９時頃に戻るよ。」という発話内容を表す吹き出し画像Ｆ２−３を表示させている。また、統合ＵＩ表示制御部４０１は、サーバ装置１０を擬人化した「サーバ」の「Ａさんが外出されました。お戻りは９時です。アラームをセットしますか？」という対話内容（対話内容決定部１０５が決定した対話内容）を表す吹き出し画像Ｆ１−３を表示させている。

この吹き出し画像Ｆ１−３のセリフは実際の音声では出力されない。統合ＵＩ情報生成部１０６は、このように音声で出力されないセリフの吹き出し画像を、音声で出力されるセリフの吹き出し（実線）とは異なる態様（破線）で表す統合ＵＩ情報を生成している。統合ＵＩ表示制御部４０１は、吹き出し画像Ｆ１−３の下にはいボタンといいえボタンとを表示させている。はいボタンを押す操作を支援ユーザが行うと、サーバ指示部４０２は、アラームのセットを指示する指示データをサーバ装置１０に送信する。

指示受付部１０８は、この指示データを受け取ると、アラームをセットするよう指示された旨を統合ＵＩ情報生成部１０６及び対話内容決定部１０５に供給する。統合ＵＩ情報生成部１０６は、「Ｂさん」がアラームのセットを指示したことを示す「セットします。」というセリフを表す吹き出し画像Ｆ３−３を表示する統合ＵＩ情報を生成する。この場合、統合ＵＩ情報出力部１０７は、支援ユーザが自装置（サーバ装置１０）に対して指示した内容（アラームのセット）を含む対話形式の画像を表示するための情報を統合ＵＩ情報として出力する。

この場合、対話内容決定部１０５は、支援ユーザの指示内容に基づいて、次の対話内容を決定する。対話内容決定部１０５は、例えば、支援ユーザによる指示内容のパターンと、各パターンに対する対話内容の候補を予め記憶しておく。例えばアラームをセットするという指示内容であれば、アラーム時刻になったら必ず連絡する、アラーム時刻になっても予定が済んでいない（この例ではＡさんが帰宅していない）場合に連絡する、アラームだけは鳴らすが連絡はしない等の対話内容の候補を記憶しておく。

図６（ｂ）の例では、対話内容決定部１０５は、この指示に対して、「かしこまりました。それでは９時になっても帰宅されない場合はご連絡いたします。」という対話内容を決定する。また、対話内容決定部１０５は、アラーム時刻になっても「Ａさん」の音声が認識されていない場合、予定が済んでいないと判断し、その場合の支援ユーザへの連絡を表す「Ａさんはまだお戻りになりません。いかがされますか？」という対話内容（これも予め記憶しておく）を決定する。

統合ＵＩ情報生成部１０６は、「サーバ」がそれらの対話内容を表す吹き出し画像Ｆ１−４及びＦ１−５と、アラーム時刻が来たことを表すアラーム画像Ａ１とを表示する統合ＵＩ情報を生成する。続いて、ユーザに関する判定を行う構成について説明する。音声情報生成部１０１は、対象ユーザへの所定の動作の指示を伝達事項として音声で示す音声情報を生成し、音声情報出力部１０２は、生成されたその音声情報を出力する。

音声情報出力部１０２は、例えば、所定の回数だけ第１ユーザ端末３０を振る第１動作を指示する音声情報（例えば「スマートフォンを１秒間隔で１０回振ってください」という音声情報）を出力する。この音声情報が示す音声は、固定電話機３又はホームルータ２０によって出力（放音）される。

第１ユーザ端末３０のセンサ測定部３０１は、自装置のセンサを用いた加速度又は角速度の測定結果を取得する。対象ユーザが前述した指示に従って、第１動作、すなわちスマートフォンである第１ユーザ端末３０を１０回振る動作を行った場合、センサ測定部３０１は、加速方向又は角速度の方向が１９回反対向きに切り替わる測定結果を取得する。

この測定結果は、対象ユーザが第１ユーザ端末３０を１０回振るという動作を示しており、対象ユーザの動作を示す動作情報の一例である。センサ測定部３０１は、このような動作情報を検出する機能の一例であり、そのセンサ測定部３０１を備える第１ユーザ端末３０は、本発明の「検出用端末」の一例である。センサ測定部３０１は、取得した測定結果を測定結果送信部３０２に供給する。

測定結果送信部３０２は、供給されてきた測定結果をサーバ装置１０に送信する。測定結果送信部３０２は、自装置を利用する対象ユーザのユーザＩＤを記憶しており、測定結果と共にユーザＩＤも送信する。

サーバ装置１０の測定結果取得部１１１は、第１ユーザ端末３０から送信されてきた測定結果を、共に送信されてきたユーザＩＤが示す対象ユーザが行った動作、すなわち音声情報出力部１０２により出力された音声情報が示す指示に基づき行われた対象ユーザの動作を示す動作情報として取得する。測定結果取得部１１１は本発明の「動作取得部」の一例である。

測定結果取得部１１１は、取得した測定結果及びユーザＩＤを認知症関連判定部１１２に供給する。認知症関連判定部１１２には、音声情報生成部１０１からも、対象ユーザへの動作の指示内容と、対象ユーザのユーザＩＤとが供給される。認知症関連判定部１１２は、音声情報出力部１０２により出力された音声情報が示す動作の指示と、測定結果取得部１１１により取得された測定結果（動作情報）とを比較して、対象ユーザについての認知症に関連する判定を行う。

認知症関連判定部１１２は、本実施例では、対象ユーザの認知症に関連する症状の状況について判定する。「認知症に関連する症状」としてあるのは、認知症の発症者に見られる症状だけでなく、認知症が発症していない者に現れる認知症の予兆とみられる症状も含むからである。この認知症に関連する判定は本発明の「ユーザに関する判定」の一例であり、認知症関連判定部１１２は本発明の「第１判定部」の一例である。

認知症関連判定部１１２は、第１動作（スマートフォンを所定の間隔で所定の回数振る動作）が行われた場合、対象ユーザがスマートフォンを振った間隔と所定の間隔との差分を合計した時間に応じて判定を行う。認知症関連判定部１１２は、例えば差分の合計時間と症状の状況とを次のように対応付けた第１判定テーブルを記憶しておき、それを用いて判定を行う。

図７は第１判定テーブルの例を表す。図７（ａ）の第１判定テーブルでは、「Ｔ１未満」、「Ｔ１以上Ｔ２未満」及び「Ｔ２以上」（Ｔ１＜Ｔ２）という差分の合計時間に、「なし」、「軽微」及び「要注意」という症状の度合い（症状の状況の一例）が対応付けられている。認知症関連判定部１１２は、動作の指示と測定結果とを比較して差分の合計時間を算出し、算出した合計時間に第１判定テーブルで対応付けられている症状の度合いを、対象ユーザの症状の度合いとして判定する。

この判定には、上述した第１動作だけでなく、例えば、所定の間隔で手拍子を行う第２動作と、所定の歌を歌わせる第３動作とが用いられる。音声情報出力部１０２が出力した音声情報により第２動作が指示された場合、例えば「１秒間隔で１０回手拍子をしてください」という音声が出力される。また、同様に第３動作が指示された場合、例えば「『春が来た』を歌ってください」という音声が出力される。対象ユーザにより第２動作及び第３動作が行われた場合は、ホームルータ２０の周辺音録音部２０３がそれらの動作により発せられる音（手拍子の音及び歌唱音声）を含む周辺音を録音する。

この周辺音は、対象ユーザによる第２動作（所定の間隔での手拍子）及び第３動作（所定の歌の歌唱）を示す情報であり、対象ユーザの動作を示す動作情報の一例である。周辺音録音部２０３は、このような動作情報を検出する機能の一例であり、その周辺音録音部２０３を備えるホームルータ２０は、本発明の「検出用端末」の一例である。周辺音送信部２０４は、上記と同様に、録音された周辺音を示す周辺音データを、対象ユーザのユーザＩＤと共にサーバ装置１０に送信する。

サーバ装置１０の周辺音取得部１０３は、ホームルータ２０から送信されてきた周辺音データ及びユーザＩＤを受け取ることで、対象ユーザが行った動作、すなわち音声情報出力部１０２により出力された音声情報が示す指示に基づき行われた対象ユーザの動作を示す動作情報を取得する。周辺音取得部１０３は本発明の「動作取得部」の一例である。

周辺音取得部１０３は取得した周辺音を認知症関連判定部１１２に供給する。認知症関連判定部１１２は、第２動作（所定の間隔での手拍子）が行われた場合であれば、対象ユーザによって行われた手拍子の間隔と所定の間隔との差分を合計した時間に応じて判定を行う。認知症関連判定部１１２は、例えば図７に表す第１判定テーブルを用いて、第１動作と同様に対象ユーザの症状の度合いを判定する。

認知症関連判定部１１２は、第３動作（所定の歌の歌唱）が行われた場合であれば、例えばカラオケの採点技術を用いて、対象ユーザの歌唱音声の音高及び歌唱タイミングと所定の歌の音高及び歌唱すべきタイミングとのずれの大きさを示す値の合計値（「歌唱ずれ値」という）に応じて判定を行う。認知症関連判定部１１２は、例えば歌唱ずれ値と症状の状況とを次のように対応付けた第２判定テーブルを記憶しておき、それを用いて判定を行う。

図８は第２判定テーブルの例を表す。図８（ａ）の第２判定テーブルでは、「Ｃ１未満」、「Ｃ１以上Ｃ２未満」及び「Ｃ２以上」（Ｃ１＜Ｃ２）という歌唱ずれ値に、「なし」、「軽微」及び「要注意」という症状の度合いが対応付けられている。認知症関連判定部１１２は、指示の内容と動作情報とを比較して歌唱ずれ値を算出し、算出した歌唱ずれ値に第２判定テーブルで対応付けられている症状の度合いを、対象ユーザの症状の度合いとして判定する。

また、所定の質問に回答するという第４動作の指示も行われる。音声情報出力部１０２が出力した音声情報により第４動作が指示された場合、例えば「今日は何曜日？」、「江戸幕府の８代将軍は？」及び「ゴルフの前半９ホールを何という？」等の質問音声が出力される。サーバ装置１０には、それらの質問とその正解とが記憶されており、音声情報生成部１０１は、それらの質問を読み出して音声情報を生成する。これらの質問音声に回答する対象ユーザの第４動作が行われた場合は、ホームルータ２０の周辺音録音部２０３がその回答音声を含む周辺音を録音する。この場合の周辺音も、対象ユーザによる第４動作（質問への回答）を示す情報であり、対象ユーザの動作を示す動作情報の一例である。

サーバ装置１０の周辺音取得部１０３は、この場合、動作情報として取得した周辺音をその取得日時と共に音声認識部１０４に供給する。音声認識部１０４は、供給された周辺音から対象ユーザの音声を認識して、対象ユーザの回答音声が表す回答内容を取得する。音声認識部１０４は、取得した回答内容を、周辺音の取得日時と共に回答内容蓄積部１１３に供給する。回答内容蓄積部１１３は、周辺音取得部１０３により取得された対象ユーザの回答音声が示す回答内容を蓄積する。

認知症関連判定部１１２は、第４動作（質問への回答）が行われた場合は、対象ユーザの回答の正答率に応じて判定を行う。認知症関連判定部１１２は、自装置に記憶されている質問の正解と、蓄積された回答内容とを比較して、回答が正しいか否か（回答と正解とが一致しているか否か）を判断する。認知症関連判定部１１２は、対象ユーザに対して所定の期間（１日間又は１週間等）に行われた質問の件数に対する正しい回答の件数の割合（正答率）を算出し、算出した正答率に基づいて症状の状況を判定する。

記憶力が高いほど質問に正解しやすい一方、記憶力が衰えるほど認知症に関連する症状が進んでいると考えられる。そこで、認知症関連判定部１１２は、例えば質問への正答率と症状の状況とを次のように対応付けた第３判定テーブルを記憶しておき、それを用いて判定を行う。

図９は第３判定テーブルの例を表す。図９（ａ）の第３判定テーブルでは、「８０％以上」、「５０％以上８０％未満」及び「５０％未満」という正答率に、「なし」、「軽微」及び「要注意」という症状の度合いが対応付けられている。認知症関連判定部１１２は、前述した所定の期間に行われた質問について算出した正答率が例えば８５％であった場合、第３判定テーブルで「８０％以上」に対応付けられている「なし」という症状の度合いを、対象ユーザの症状の度合いとして判定する。

なお、認知症関連判定部１１２は、供給された動作の指示の内容及び動作情報を供給された日時情報と共に記憶しておき、過去の比較結果にも基づいて判定を行ってもよい。例えば第１動作（スマートフォンを所定の間隔で所定の回数振る動作）が行われた場合であれば、認知症関連判定部１１２は、過去の所定の期間（例えば１年間）に行われた手拍子の間隔と所定の間隔との差分を合計した時間の平均値を算出し、算出した平均値及び新たに行われた第１動作による差分の合計時間の関係と、症状の進み具合（症状の状況の一例）とを対応付けた判定テーブルを用いて判定を行う。

例えば図７（ｂ）の第１判定テーブルでは、「平均値×０．９５未満」、「平均値×０．９５以上且つ平均値×１．０５未満」及び「平均値×１．０５以上」という新たな差分の合計時間と平均値との関係に、「改善傾向」、「変動なし」及び「悪化傾向」という症状の進み具合が対応付けられている。認知症関連判定部１１２は、第１動作が行われた場合にこの第１判定テーブルを用いて対象ユーザの症状の進み具合を判定する（例えば新たな差分の合計時間が平均値より１０％少なければ、「平均値×０．９５未満」に対応付けられている「改善傾向」と判定する）。また、認知症関連判定部１１２は、第２動作（所定の間隔での手拍子）が行われた場合にも、この第１判定テーブルを用いて対象ユーザの症状の進み具合を判定する。

図８（ｂ）の第２判定テーブルでは「平均値×０．９５未満」、「平均値×０．９５以上且つ平均値×１．０５未満」及び「平均値×１．０５以上」という新たな歌唱ずれ値と平均値との関係に、「改善傾向」、「変動なし」及び「悪化傾向」という症状の進み具合が対応付けられている。認知症関連判定部１１２は、第３動作（所定の歌の歌唱）が行われた場合には、この第２判定テーブルを用いて、図７（ｂ）の例と同様に対象ユーザの症状の進み具合を判定する。

図９（ｂ）の第３判定テーブルでは「平均値×１．０５以上」、「平均値×１．０５未満且つ平均値×０．９５以上」及び「平均値×０．９５未満」という新たな正答率と平均値との関係に、「改善傾向」、「変動なし」及び「悪化傾向」という症状の進み具合が対応付けられている。認知症関連判定部１１２は、第４動作（質問への回答）が行われた場合には、この第３判定テーブルを用いて、図７（ｂ）の例と同様に対象ユーザの症状の進み具合を判定する。なお、図７〜図９の例で平均値に乗じた値（０．９５及び１．０５）は一例であり、この値を変更したり、平均値に所定の値を加減算したりして、各症状の進み具合の出やすさを変化させてもよい。

第４動作が行われる際には、音声情報出力部１０２により出力された音声情報が示す音声（質問音声）と、音声認識部１０４により取得された発話内容（回答音声）とが交互に統合ＵＩ情報生成部１０６に供給され、次のような対話形式の画像が表示される。
図１０は表示された統合ＵＩの一例を表す。統合ＵＩ表示制御部４０１は、認知症予防システム画面に、「サーバ」の「第１問。本能寺の変で討たれた武将は？」及び「第２問。今日は何曜日ですか？」という質問を表す吹き出し画像Ｆ１−１１及びＦ１−１２を表示させている。また、統合ＵＩ表示制御部４０１は、対象ユーザである「Ａさん」の「織田信長だね。」及び「えーと、金曜日。」という回答音声を表す吹き出し画像Ｆ２−１１及びＦ２−１２を表示させている。

上記の第１動作（第１ユーザ端末３０を振る動作）が行われる際には、測定結果取得部１１１は、測定結果を取得すると、その測定結果を対話内容決定部１０５に供給する。また、認知症関連判定部１１２は、上記の判定を行うと、その判定結果を対話内容決定部１０５に供給する。対話内容決定部１０５が供給された判定結果及び測定結果を対話内容として決定すると、次のような対話形式の画像が表示される。

図１１は表示された統合ＵＩの一例を表す。統合ＵＩ表示制御部４０１は、認知症予防システム画面に、「スマートフォンを１秒毎に１０回振って下さい。」という動作を指示する「サーバ」の音声を表す吹き出し画像Ｆ１−１３を表示させ、対象ユーザである「Ａさん」の「分かった。」という発話音声を表す吹き出し画像Ｆ２−１３を表示させている。

また、統合ＵＩ表示制御部４０１は、「間隔は次のとおりです。１回目：０．９５秒、２回目：０．８８秒、３回目：１．０３秒、・・・」という動作情報を表す「サーバ」の吹き出し画像Ｆ１−１４を表示させている。このように、統合ＵＩ情報生成部１０６は、測定結果取得部１１１により取得された動作情報（測定結果）を含む対話形式の画像を表示するための情報を統合ＵＩ情報として生成し、統合ＵＩ情報出力部１０７は、そうして生成された統合ＵＩ情報を出力する。

また、統合ＵＩ表示制御部４０１は、「Ａさんの動作から、症状はないと判定しました。」という判定結果を表す「サーバ」の吹き出し画像Ｆ１−１５を表示させている。このように、統合ＵＩ情報生成部１０６は、認知症関連判定部１１２による判定の結果を含む対話形式の画像を表示するための情報を統合ＵＩ情報として生成し、統合ＵＩ情報出力部１０７は、そうして生成された統合ＵＩ情報を出力する。

認知症予防システム１が備える各装置は、上記の構成に基づいて、対話形式の画像を表示する表示処理を行う。
図１２は表示処理における各装置の動作手順の一例を表す。この動作手順は、例えば、決められた時刻になることを契機に開始される。まず、サーバ装置１０（音声情報生成部１０１）は、対象ユーザへの伝達事項を表す音声情報を生成する（ステップＳ１１）。

次に、サーバ装置１０（音声情報出力部１０２）は、生成された音声情報を出力する（ステップＳ１２）。図１２の例では、ホームルータ２０を出力先とする。ホームルータ２０（音声情報取得部２０１）は、サーバ装置１０から出力されてきた音声情報を取得する（ステップＳ１３）。次に、ホームルータ２０（周辺音録音部２０３）は、音声情報が取得されたことを契機に一定期間、録音を行う（ステップＳ１４）。続いて、ホームルータ２０（音声出力部２０２）は、取得された音声情報が示す伝達事項を音声で出力（放音）する（ステップＳ１５）。

次に、ホームルータ２０（周辺音送信部２０４）は、前述した一定期間に録音された周辺音をサーバ装置１０に送信する（ステップＳ１６）。サーバ装置１０（周辺音取得部１０３）は、ホームルータ２０から送信されてきた周辺音を取得する（ステップＳ２１）。次に、サーバ装置１０（音声認識部１０４）は、取得された周辺音に含まれる音声を認識し、対象ユーザの発話内容を取得する（ステップＳ２２）。続いて、サーバ装置１０（統合ＵＩ情報生成部１０６）は、対象ユーザへの伝達事項と、対象ユーザの発話内容とを含む対話形式の画像を表示するための統合ＵＩ情報を生成する（ステップＳ２３）。

次に、サーバ装置１０（統合ＵＩ情報出力部１０７）は、生成された統合ＵＩ情報を、支援ユーザが利用する表示用端末である第２ユーザ端末４０に出力する（ステップＳ２４）。第２ユーザ端末４０（統合ＵＩ表示制御部４０１）は、出力されてきた統合ＵＩ情報が示す対話形式の画像を自装置の表示部に表示させる制御を行う（ステップＳ２５）。そして、サーバ装置１０（対話内容決定部１０５）は、対話形式の画像で表示された発話内容に対する対話内容を決定する（ステップＳ２６）。

本実施例では、例えば図４、図１０に表すように、対象ユーザへの伝達事項（挨拶、日常会話及び質問等）と、対象ユーザによる発話内容（挨拶、日常会話及び質問への回答等）とが対話形式の画像で表示される。これにより、ＵＩ（ユーザインターフェース）を切り替えなくても対象ユーザという特定のユーザに関する各種情報を見ることができる。

また、本実施例では、図５、図６に表すように、支援ユーザが指示した内容（メッセージ及びアラームの設定等）も、上記と同じ対話形式の画像で表示される。これにより、支援ユーザは、ＵＩ画面を切り替えなくても自分が行った指示に関する情報を見ることができる。また、本実施例では、図１１に表すように、対象ユーザの動作を示す動作情報（手拍子の間隔等）も、上記と同じ対話形式の画像で表示される。これにより、対象ユーザへの指示された動作の内容と、その動作の結果とを、ＵＩ画面を切り替えなくても見ることができる。

また、本実施例では、図１１に表すように、対象ユーザの動作の結果から判定された結果も、上記と同じ対話形式の画像で表示される。これにより、対象ユーザがどのようなやり取りの後に動作を行い、その動作の結果、どのように判定されたかということを、ＵＩ画面を切り替えなくても見ることができる。

［２］変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。

［２−１］特定音の表示
対象ユーザの家で所定の状況を表す音（例えばガラスが割れる音等）がした場合に、そのことを示す画像を統合ＵＩで表示してもよい。サーバ装置１０の周辺音取得部１０３は、録音機能（周辺音録音部２０３）を有するホームルータ２０（本発明の「録音端末」の一例）からホームルータ２０の周辺の音を取得する。本変形例の周辺音取得部１０３は本発明の「録音取得部」の一例である。

音声認識部１０４は、周辺音取得部１０３により取得された周辺音に所定の状況を表す音が含まれているか否かを判定する。本変形例の音声認識部１０４は本発明の「第２判定部」の一例である。所定の状況を表す音には、ガラス又は食器等が割れる音、人が転倒する音及び家具が倒れる音等が含まれる。音声認識部１０４は、例えばこれらの音のパターン音を記憶しておき、パターン音に類似する音が周辺音に含まれている場合に、周辺音に所定の状況を表す音が含まれていると判定する。

音声認識部１０４は、周辺音に所定の状況を表す音が含まれていると判定すると、その周辺音を示す周辺音データを統合ＵＩ情報生成部１０６に供給する。統合ＵＩ情報生成部１０６は、供給された周辺音データを外部装置からアクセス可能な記憶手段に格納する。本変形例の統合ＵＩ情報生成部１０６は本発明の「格納部」の一例である。統合ＵＩ情報生成部１０６は、例えばサーバ装置１０に外部装置からアクセス可能な記憶領域がある場合、その記憶領域に周辺音データを格納する。

なお、例えば音声認識部１０４が周辺音データから所定の状況を表す音を示す音データを抽出して統合ＵＩ情報生成部１０６に供給し、統合ＵＩ情報生成部１０６がその音データを記憶手段に格納してもよい。要するに、統合ＵＩ情報生成部１０６は、周辺音に含まれていると判定された所定の状況を表す音を少なくとも示す音データを格納すればよい。また、統合ＵＩ情報生成部１０６は、サーバ装置１０ではない他の装置の記憶手段であっても、その記憶手段が外部装置（記憶手段を備える装置ではない装置）からアクセス可能であれば、そこに周辺音データを格納してもよい。

統合ＵＩ情報生成部１０６は、周辺音に所定の状況を表す音が含まれているという判定結果を表す対話形式の画像を表示するための情報を統合ＵＩ情報として生成する。また、統合ＵＩ情報生成部１０６は、前述したように記憶手段に周辺音データを格納した場合には、その周辺音データへのリンクを含む対話形式の画像を表示するための情報を統合ＵＩ情報として生成する。統合ＵＩ情報出力部１０７は、そうして生成された統合ＵＩ情報を出力する。

図１３は本変形例で表示された統合ＵＩの一例を表す。図１３（ａ）の例では、統合ＵＩ表示制御部４０１は、認知症予防システム画面に、「Ａさんの家でガラスが割れる音がしました！」という周辺音に所定の状況を表す音が含まれていることを表す吹き出し画像Ｆ１−１６を表示させ、また、その所定の状況を表す音を示す周辺音データの格納先のＵＲＬ（Uniform Resource Locator）を表す吹き出し画像Ｆ１−１７を表示させている。

なお、統合ＵＩ情報生成部１０６は、周辺音データへのリンクを含む対話形式の画像に代えて、周辺音データが示す周辺音を出力（放音）させる操作画像を含む対話形式の画像を表示するための情報を統合ＵＩ情報として生成してもよい。その場合、統合ＵＩ表示制御部４０１は、例えば図１３（ｂ）に表すように、所定の状況を表す音を示す周辺音データの再生ボタンＢ１（操作画像の一例）を含む吹き出し画像Ｆ１−１８を表示させる。なお、対話形式の画像に周辺音データを添付したことを示す画像（選択すると添付データのダウンロード又は再生ができる画像）を含めてもよい。

以上のとおり周辺音に所定の状況を表す音が含まれていることが対話形式の画像で表されることで、支援ユーザは、対象ユーザに何かの異変が起きた可能性があることを、ＵＩ画面を切り替えなくても知ることができる。また、周辺音データへのリンク又は周辺音の出力用の操作画像も対話形式の画像で表されるので、このリンク及び操作画像が表示されない場合に比べて、支援ユーザが対象ユーザ側の状況をより詳しく把握することができる。

なお、音声認識部１０４は、周辺音に所定の音量以上の音が含まれている場合に、所定の状況を表す音が含まれていると判定してもよい。また、平常時の周辺音の音量を測定しておいて、音声認識部１０４は、平常時の音量の所定倍の音が周辺音に含まれている場合に、所定の状況を表す音が含まれていると判定してもよい。これらの場合、ガラスが割れる音等のように予め想定された状況でなくても、対象ユーザの家で何らかの異常が発生していることに気付くことができる。

［２−２］対話形式の画像の配置
対話形式の各画像の配置は実施例と異なっていてもよい。例えば実施例では、統合ＵＩ情報生成部１０６は、対話形式の画像を、元になる情報（音声情報及び周辺音）の出力日時又は取得日時が新しいものほど画面の下側に配置したが、反対に新しいものほど画面の上側に配置してもよい。

また、統合ＵＩ情報生成部１０６は、画像同士の相関関係の強さに基づいてそれらの画像を配置してもよい。具体的には、統合ＵＩ情報生成部１０６は、２つの対話形式の画像にそれぞれ含まれる情報同士の相関関係が強いほど、それら２つの対話形式の画像を近くに配置する統合ＵＩ情報を生成してもよい。この場合の画像の配置について、図１４を参照して説明する。

図１４は本変形例で表示された統合ＵＩの一例を表す。図１４（ａ）の例では、図６（ｂ）に表すアラームをセットするときに表示される吹き出し画像Ｆ１−３、Ｆ３−３、Ｆ１−４と、図１３に表す所定の状況を表す音がしたときに表示される吹き出し画像Ｆ１−１６、Ｆ１−１７とが、Ｆ１−３、Ｆ３−３、Ｆ１−１６、Ｆ１−４、Ｆ１−１７という順番に配置されて表示されている。

このように配置されると、連続性のある対話のやり取りの途中に他の対話のやり取りが挟まれることになり、図６（ｂ）及び図１３の例に比べて、どの吹き出し画像が対話の続きなのかを把握しにくくなる。統合ＵＩ表示制御部４０１は、図１４（ｂ）の例では、吹き出し画像Ｆ１−４は、吹き出し画像Ｆ１−１６に比べて、より新しい情報を表しているが、吹き出し画像Ｆ３−３との相関関係が強いので、吹き出し画像Ｆ３−３の近くに配置されている。

対話内容決定部１０５は、実施例では、対象ユーザの発話内容又は支援ユーザの指示内容に基づいて次の対話内容を決定する。このように対話内容を決定する際の元になった対話内容（発話内容又は指示内容）は、決定された対話内容との相関関係が他の対話内容に比べて強いものとする。そうすることで、対話内容決定部１０５により連続性のある対話がされている場合、それらの対話を表す画像の間には、他の対話画像が配置されないことになる。

例えば図１４の例では、吹き出し画像Ｆ３−３はＦ１−４を決定する際の元になった対話内容であるため、Ｆ１−４との相関関係が他の対話内容に比べて強い。そのため、吹き出し画像Ｆ１−１６はこの位置に配置されず、位置がずらされる。同様に吹き出し画像Ｆ１−３及びＦ３−３の間も相関関係が強いので配置できない。一方、吹き出し画像Ｆ１−１６はＦ１−１７を決定する際の元になった対話内容であるため、Ｆ１−１７の隣であれば他の吹き出し画像が間に挟まれることなく配置できる。

以上のとおり相関関係が強い対話形式の画像（吹き出し画像）は、対話が連続しているので、それらが並んで配置されることで、それらが離れて配置される場合に比べて、対話内容を理解しやすくすることができる。なお、統合ＵＩ情報生成部１０６は、対話が連続していない（対話内容を決定する際の元になっていない）箇所に、表示領域を分離する分離画像（例えば図１４（ｂ）に表す分離画像Ｖ１）を表した統合ＵＩ情報を生成してもよい。これにより、分離画像が表されていない場合に比べて、対話が連続する対話形式の画像のグループを区別しやすくすることができる。

［２−３］情報の生成・出力
サーバ装置は、実施例では音声情報及び統合ＵＩ情報を生成する機能（音声情報生成部１０１及び統合ＵＩ情報生成部１０６）を有していたが、これに限らない。例えば出力すべき情報を予め全て記憶しておけば、各情報を出力する機能（音声情報出力部１０２及び統合ＵＩ情報出力部１０７）がそれらの情報を読み出して出力すればよい。

［２−４］各部を実現する装置
図３等に表す各機能を実現する装置は、それらの図に表された装置に限らない。例えばサーバ装置１０が備える機能をホームルータ２０等の対象ユーザの家に設置される装置が実現してもよい。また、サーバ装置１０が備える各機能を２以上の装置がそれぞれ実現してもよい。要するに、認知症予防システム全体としてこれらの機能が実現されていれば、認知症予防システムが何台の装置を備えていてもよい。

［２−５］システム
上記の各例では、認知症の予防を支援するシステム（認知症予防システム）について説明したが、本発明は、他のシステムにも適用可能である。例えば、認知症の予防対象にならない若いユーザであっても、過去の自分の発話内容に基づいて回答可能な質問に答えることで記憶力の強化することを支援するシステムに適用してもよい。また、子供又は留守中のペットの様子を見守るシステムに適用してもよい。要するに、特定のユーザに関する各種情報を見る機会があるものであれば、本発明をどのようなシステムに適用してもよい。

［２−６］発明のカテゴリ
本発明は、ホームルータ、第１ユーザ端末、第２ユーザ端末及びサーバ装置等の情報処理装置の他、それらの装置を備える認知症予防システム等の情報処理システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられるし、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。

［２−７］処理手順等
本明細書で説明した各実施例の処理手順、シーケンス、フローチャートなどは、矛盾がない限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

［２−８］入出力された情報等の扱い
入出力された情報等は特定の場所(例えばメモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

［２−９］ソフトウェア
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

［２−１０］情報、信号
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

［２−１１］システム、ネットワーク
本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

［２−１２］「に基づいて」の意味
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

［２−１３］「及び」、「又は」
本明細書において、「Ａ及びＢ」でも「Ａ又はＢ」でも実施可能な構成については、一方の表現で記載された構成を、他方の表現で記載された構成として用いてもよい。例えば「Ａ及びＢ」と記載されている場合、他の記載との不整合が生じず実施可能であれば、「Ａ又はＢ」として用いてもよい。

［２−１４］態様のバリエーション等
本明細書で説明した各実施例は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

１…認知症予防システム、３…固定電話機、１０…サーバ装置、２０…ホームルータ、３０…第１ユーザ端末、４０…第２ユーザ端末、１０１…音声情報生成部、１０２…音声情報出力部、１０３…周辺音取得部、１０４…音声認識部、１０５…対話内容決定部、１０６…統合ＵＩ情報生成部、１０７…統合ＵＩ情報出力部、１０８…指示受付部、１１１…測定結果取得部、１１２…認知症関連判定部、１１３…回答内容蓄積部、２０１…音声情報取得部、２０２…音声出力部、２０３…周辺音録音部、２０４…周辺音送信部、３０１…センサ測定部、３０２…測定結果送信部、４０１…統合ＵＩ表示制御部、４０２…サーバ指示部。

Claims (9)

1. 第１ユーザへの伝達事項を音声で示す音声情報を、音声の出力機能を有する音声端末に出力する第１出力部と、
   前記第１ユーザによる発話内容を取得する発話取得部と、
   第２ユーザが利用する表示用端末に、前記伝達事項と、取得された前記発話内容とを含む対話形式の画像を表示するための表示用情報を出力する第２出力部と
   を備える情報処理装置。
2. 前記第２出力部は、前記第２ユーザが自装置に対して指示した内容を含む前記対話形式の画像を表示するための情報を前記表示用情報として出力する
   請求項１に記載の情報処理装置。
3. 前記第１出力部は、前記第１ユーザへの所定の動作の指示を前記伝達事項として示す音声情報を出力し、
   前記第１ユーザの動作を示す動作情報を検出する機能を有する検出用端末を介して、前記指示に基づき行われた前記第１ユーザの動作の前記動作情報を取得する動作取得部を備え、
   前記第２出力部は、取得された前記動作情報を含む前記画像を表示するための情報を前記表示用情報として出力する
   請求項１又は２に記載の情報処理装置。
4. 出力された前記音声情報が示す動作の指示と取得された前記動作情報が示す動作とを比較して、前記第１ユーザに関する判定を行う第１判定部を備え、
   前記第２出力部は、前記第１判定部による判定の結果を含む画像を表示するための情報を前記表示用情報として出力する
   請求項３に記載の情報処理装置。
5. 録音機能を有する録音端末から当該録音端末の周辺の音を取得する録音取得部と、
   取得された前記周辺の音に所定の状況を表す音が含まれているか否かを判定する第２判定部を備え、
   前記第２出力部は、前記状況を表す音が含まれていると判定された場合に、当該判定の結果を表す前記対話形式の画像を表示するための情報を前記表示用情報として出力する
   請求項３又は４に記載の情報処理装置。
6. 前記周辺の音に含まれていると判定された前記状況を表す音を少なくとも示す音データを、外部装置からアクセス可能な記憶手段に格納する格納部を備え、
   前記第２出力部は、前記音データが格納された場合に当該音データへのリンクを含む前記画像を表示するための情報を前記表示用情報として出力する
   請求項５に記載の情報処理装置。
7. 前記第２出力部は、前記対話形式の画像が示す対話を行っている主体を識別可能に表示するための情報を前記表示用情報として出力する
   請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記第２出力部は、２つの前記画像にそれぞれ含まれる情報同士の相関関係が強いほど当該２つの画像を近くに配置する情報を前記表示用情報として出力する
   請求項１から７のいずれか１項に記載の情報処理装置。
9. 表示部及び操作部を備えるコンピュータを、
   音声の出力機能を有する音声端末に第１ユーザへの伝達事項を示す音声情報を出力し、当該音声端末に入力された前記第１ユーザの音声が示す発話内容を取得する情報処理装置に対し、前記伝達事項を指示する指示部と、
   前記情報処理装置から、前記伝達事項と、取得された前記発話内容とを含む対話形式の画像を表示するための情報が出力されてきた場合に、当該画像を前記表示部に表示させる表示制御部
   として機能させるプログラム。

Images