JP2019020775A - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP2019020775A
JP2019020775A JP2017135632A JP2017135632A JP2019020775A JP 2019020775 A JP2019020775 A JP 2019020775A JP 2017135632 A JP2017135632 A JP 2017135632A JP 2017135632 A JP2017135632 A JP 2017135632A JP 2019020775 A JP2019020775 A JP 2019020775A
Authority
JP
Japan
Prior art keywords
question
answer
information
voice
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017135632A
Other languages
English (en)
Other versions
JP6857098B2 (ja
Inventor
久人 寛司
Hisato Kanji
久人 寛司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2017135632A priority Critical patent/JP6857098B2/ja
Publication of JP2019020775A publication Critical patent/JP2019020775A/ja
Application granted granted Critical
Publication of JP6857098B2 publication Critical patent/JP6857098B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】ユーザへの質問の材料となる情報をそのユーザから得ること。【解決手段】質問情報出力部101は、対象ユーザへの質問を示す質問情報として、例えば全てのユーザに共通した正解がなくユーザ毎に固有の回答が得られる個人別質問を示す質問音声データを出力する。質問音声出力部202は、取得された質問音声データが示す質問音声を出力する。回答音声送信部204は、録音された回答音声をサーバ装置10に送信する。回答音声取得部102は、送信されてきた回答音声を取得する。質問情報生成部105は、取得された回答音声が示す発話内容に基づいて回答可能な質問(例えば既に一度発話された名称等を尋ねる質問)を示す情報を質問情報として生成する。【選択図】図3

Description

本発明は、ユーザに質問を提示するための技術に関する。
特許文献1には、認知症の症状レベルを判定するため、音楽とそれに関連する検査質問を記憶部に保存しておき、音楽を出力してから検査質問(歌の題名、歌の季節などの質問)を表示する技術が開示されている。
特許5302032号公報
特許文献1の技術では、保存された検査質問が使いまわされるので、次第にユーザが答えを覚えてしまうという問題がある。かといって、それを回避するために新たな検査質問を提供し続けることは、提供者にとって負担が大きい。
そこで、本発明は、ユーザへの質問の材料となる情報をそのユーザから得ることを目的とする。
上記目的を達成するために、本発明は、ユーザの発話の契機となるトリガ情報を出力する出力部と、出力された前記トリガ情報に応答して発せられた前記ユーザの音声を取得する取得部と、取得された前記音声が示す発話内容に基づいて回答可能な質問を示す情報を前記トリガ情報として生成する生成部とを備える情報処理装置を提供する。
また、第1質問事項と、前記第1質問事項への回答に関連する第2質問事項を記憶する記憶部を備え、前記生成部は、前記第1質問事項を示す情報を前記トリガ情報として生成し、当該第1質問事項に対する回答が取得された場合に、前記第2質問事項を示す情報を前記トリガ情報として生成してもよい。
さらに、取得された前記音声が示す発話内容を蓄積する蓄積部を備え、前記生成部は、前記第1質問事項への過去の回答と、当該第1質問事項への新たな回答とが異なる場合に、前記第2質問事項を示す情報を前記トリガ情報として生成してもよい。
また、前記質問への回答を示す音声が取得された場合に、当該質問の元になった発話内容と当該回答とを比較して、前記ユーザに関する所定の判定を行う判定部を備えていてもよい。
さらに、前記判定部は、前記質問への回答と、当該質問の元になった発話内容であって当該質問の内容に応じた時期に取得された前記ユーザの音声が示す発話内容とを比較してもよい。
また、前記判定部は、前記ユーザの音声が取得された時期に応じた頻度で前記判定を行ってもよい。
さらに、前記判定部は、前記回答と前記発話内容のずれの度合いが判定基準に達しているか否かに応じて前記判定を行い、当該回答を示す音声が取得された時期に応じて前記判定基準を変化させてもよい。
また、前記生成部は、カテゴリと難易度が共通する複数の比較用質問を示す情報を前記トリガ情報として所定の期間の間隔で順番に生成し、前記判定部は、前記比較用質問への回答と当該比較用質問の正解とを比較して前記判定を行ってもよい。
さらに、前記生成部は、過去の第1の期間に取得された前記音声が示す発話内容に基づいて回答可能な質問を示す情報を前記トリガ情報として生成し、前記第1の期間より長い過去の第2の期間に取得された前記音声が示す発話内容に基づいて回答可能な質問を示す情報を前記トリガ情報として生成し、前記判定部は、前記第1期間における前記ユーザの変化を判定する第1の判定と、前記第2の期間における前記ユーザの変化を判定する第2の判定とを行ってもよい。
また、前記生成部は、前記発話内容に基づいて回答可能な質問を示す情報の他に、ユーザ間で正解が共通する共通質問を示す情報を前記トリガ情報として生成し、前記判定部は、前記回答可能な質問への回答結果及び前記共通質問への回答結果の両方に基づいて前記判定を行い、前記ユーザの前記発話内容を示す音声が初めて取得されてから経過した期間に応じて当該両方の回答結果のそれぞれに重み付けを行ってもよい。
本発明によれば、ユーザへの質問の材料となる情報をそのユーザから得ることができる。
実施例に係る認知症予防システムの全体構成を表す図 サーバ装置等のハードウェア構成を表す図 認知症予防システムが実現する機能構成を表す図 蓄積された回答内容等の情報の一例を表す図 記憶された共通質問の材料の一例を表す図 蓄積された個人別質問の材料の一例を表す図 新たに蓄積された個人別質問の材料の一例を表す図 判定テーブルの一例を表す図 判定結果が表示された統合UIの一例を表す図 蓄積処理における各装置の動作手順の一例を表す図 判定処理における各装置の動作手順の一例を表す図 変形例の認知症予防システムが実現する機能構成を表す図 蓄積された発話音声及び取得日時の一例を表す図 取得時期テーブルの一例を表す図 1年間の判定結果の傾向の一例を表す図 変形例で記憶された共通質問の材料の一例を表す図
[1]実施例
図1は実施例に係る認知症予防システム1の全体構成を表す。認知症予防システム1は、認知症の予防を支援するシステムである。認知症予防システム1は、例えば、認知症を予防する対象となるユーザ(年配の方など。以下「対象ユーザ」という)と、対象ユーザを見守りながら予防に関する活動を支援するユーザ(対象ユーザの家族など。以下「支援ユーザ」という)によって利用される。
対象ユーザには、認知症の発症前の者と認知症を発症した者との両方が含まれる。認知症の予防には、認知症の発症を防ぐことだけでなく、発症した認知症の進行を食い止めること及び症状を改善させることも含まれるからである。認知症予防システム1は、ネットワーク2と、固定電話機3と、サーバ装置10と、ホームルータ20と、第1ユーザ端末30と、第2ユーザ端末40とを備える。
ネットワーク2は、移動体通信網及びインターネット等を含む通信システムであり、自システムにアクセスする装置同士のデータのやり取りを中継する。ネットワーク2には、サーバ装置10及びホームルータ20が有線通信でアクセスしており、第1ユーザ端末30及び第2ユーザ端末40が無線通信でアクセスしている。なお、ネットワーク2とのアクセスは有線通信及び無線通信のどちらでもよい。
サーバ装置10は、認知症予防に関する処理を行う情報処理装置である。ホームルータ20は、対象ユーザの自宅に設置される通信装置である。ホームルータ20は、ネットワーク2との通信機能と、無線LAN(Local Area Network)の規格に準拠した通信機能と、固定電話回線による通話を中継する機能とを有し、固定電話機3が接続されている。第1ユーザ端末30は、対象ユーザが利用するスマートフォン等の端末装置であり、移動体通信による電話又はIP(Internet Protocol)電話の機能を有する。第2ユーザ端末40は、支援ユーザが利用するスマートフォン等の端末装置である。
図2はサーバ装置10等のハードウェア構成を表す。サーバ装置10等(サーバ装置10、ホームルータ20、第1ユーザ端末30、第2ユーザ端末40)は、いずれも、プロセッサ11と、メモリ12と、ストレージ13と、通信装置14と、入力装置15と、出力装置16と、バス17という各装置を備えるコンピュータである。なお、ここでいう「装置」という文言は、回路、デバイス及びユニット等に読み替えることができる。また、各装置は、1つ又は複数含まれていてもよいし、一部の装置が含まれていなくてもよい。
プロセッサ11は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ11は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。また、プロセッサ11は、プログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を、ストレージ13及び/又は通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。
各種処理を実行するプロセッサ11は1つでもよいし、2以上であってもよく、2以上のプロセッサ11は、同時又は逐次に各種処理を実行してもよい。また、プロセッサ11は、1以上のチップで実装されてもよい。プログラムは、電気通信回線を介してネットワークから送信されてもよい。
メモリ12は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)及びRAM(Random Access Memory)等の少なくとも1つで構成されてもよい。メモリ12は、レジスタ、キャッシュ及びメインメモリ(主記憶装置)等と呼ばれてもよい。メモリ12は、前述したプログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を保存することができる。
ストレージ13は、コンピュータが読み取り可能な記録媒体であり、例えば、CD−ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu−ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。ストレージ13は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ12及び/又はストレージ13を含むデータベース、サーバその他の適切な媒体であってもよい。
通信装置14は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。入力装置15は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。
出力装置16は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカ、LEDランプなど)である。例えばホームルータ20及び第1ユーザ端末30は、音を出力するスピーカを出力デバイスとして備えている。なお、入力装置15及び出力装置16は、一体となった構成(例えば、タッチスクリーン)であってもよい。また、プロセッサ11及びメモリ12等の各装置は、情報を通信するためのバス17を介して互いにアクセス可能となっている。バス17は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
また、サーバ装置10等は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、及び、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ11は、これらのハードウェアの少なくとも1つで実装されてもよい。
認知症予防システム1が備えるサーバ装置10、ホームルータ20、第1ユーザ端末30及び第2ユーザ端末40には、本システムで提供されるプログラムが記憶されており、各装置のプロセッサがプログラムを実行して各部を制御することで以下に述べる機能群が実現される。
図3は認知症予防システム1が実現する機能構成を表す。サーバ装置10は、質問情報出力部101と、回答音声取得部102と、音声認識部103と、回答内容蓄積部104と、質問情報生成部105と、共通質問材料記憶部106と、個人別質問材料蓄積部107と、認知症関連判定部108とを備える。ホームルータ20は、質問情報取得部201と、質問音声出力部202と、録音部203と、回答音声送信部204とを備える。第1ユーザ端末30は、質問情報取得部301と、質問音声出力部302と、録音部303と、回答音声送信部304とを備える。第2ユーザ端末40は、判定結果要求部401と、判定結果表示部402とを備える。
サーバ装置10の質問情報出力部101は、対象ユーザへの質問を示す質問情報を出力する。この質問は、後述するホームルータ20等の出力先において音声で出力されるものである。本実施例では、質問情報出力部101は、質問内容を読み上げる音声(質問音声)を示す質問音声データを、質問情報として出力する。なお、出力先の装置が他の形式のデータ(例えばテキストデータ)を音声に変換して出力する機能を有していれば、質問情報出力部101は、質問音声データではなく他の形式のデータを質問情報として出力してもよい。
質問情報出力部101には、後述する質問情報生成部105から質問情報が供給される。質問情報が示す質問には、ユーザ間で(どのユーザでも)正解が共通する共通質問と、全てのユーザに共通した正解がなくユーザ毎に固有の回答が得られる個人別質問とが含まれる。共通質問には、例えば、現在の日時・曜日を尋ねる質問、最近話題のニュースについて尋ねる質問及び歴史・地理・雑学のクイズ等が含まれる。また、個人別質問には、例えば、昔住んでいた街はどこかという質問、通っていた小学校の名前を尋ねる質問及び昔飼っていたペットの名前を尋ねる質問等が含まれる。
本システムは、これらの質問をされた対象ユーザが自分の声で発話することで質問に答えることができる仕組みとなっている。つまり、質問情報出力部101は、対象ユーザの発話の契機(トリガ)となる情報として質問情報を出力する機能である。質問情報は本発明の「トリガ情報」の一例であり、質問情報出力部101は本発明の「出力部」の一例である。
本実施例では、対象ユーザへの質問内容を読み上げる質問音声データが質問情報として供給される。この質問音声データは出力先の装置で放音可能なフォーマットで生成されている。本実施例における出力先は、固定電話機3、ホームルータ20及び第1ユーザ端末30のいずれかであり、例えば本システムのユーザ(対象ユーザ又は支援ユーザ)によって予め選択されたものが用いられる。
質問情報出力部101は、供給された質問音声データを、前述のユーザによって設定された時刻(例えば対象ユーザが在宅する可能性が高い時刻)に、同じく選択された出力先に向けて出力する。出力先が例えばホームルータ20である場合、出力されてきた質問音声データを受け取ったホームルータ20は、その質問音声データを質問情報取得部201に供給する。
質問情報取得部201は、供給された質問音声データ、すなわちサーバ装置10から出力されてきた質問情報を取得する。質問情報取得部201は、供給された質問音声データを質問音声出力部202に供給すると共に、質問情報を取得した旨を録音部203に通知する。
質問音声出力部202は、質問情報取得部201により取得された質問音声データが示す音声、すなわち質問音声を出力する。本実施例では、質問音声出力部202は、質問情報取得部201から供給された質問音声データが示す質問音声をスピーカから出力(すなわち放音)する。前述したとおりホームルータ20は対象ユーザの自宅に設置されているので、ホームルータ20の近辺に対象ユーザがいる場合、出力された質問音声が対象ユーザによって聴取される。
録音部203は、質問情報取得部201からの通知を受け取ると、それから録音を開始して、例えば一定の時間だけ録音を行う。これにより、質問音声を聞いた対象ユーザが口頭で質問に回答した場合に、録音部203が、その回答音声(対象ユーザの質問への回答を示す音声)を録音することになる。録音部203は、録音した回答音声(詳細には回答音声を示す回答音声データ)を回答音声送信部204に供給する。回答音声送信部204は、供給された回答音声をサーバ装置10に送信する。
第1ユーザ端末30の質問情報取得部301、質問音声出力部302、録音部303及び回答音声送信部304は、ホームルータ20の同名(符号違い)の各部と機能が共通する。第1ユーザ端末30の場合は、例えば電話(移動体通信又はIP電話)の機能により質問音声の出力と回答音声の録音を行う。
また、固定電話機3が質問の出力先であった場合、質問音声の出力は固定電話機3が行うが、回答音声の録音は、例えばホームルータ20の録音部203が行う。録音部203は、ホームルータ20が備えるマイクロフォンにより対象ユーザの音声を収集して回答音声を録音もよいし、固定電話機3の音声通話のデータを自装置の通信装置14が中継する際に回答音声データとしてコピーすることで回答音声を録音してもよい。
サーバ装置10の回答音声取得部102は、ホームルータ20又は第1ユーザ端末30から送信されてきた回答音声を取得する。これらの回答音声は、質問情報出力部101により出力された質問に応答して発せられた対象ユーザの音声を示している。このような回答音声を取得する回答音声取得部102は本発明の「取得部」の一例である。回答音声取得部102は、取得した回答音声とその取得日時とを音声認識部103に供給する。
音声認識部103は、供給された回答音声を例えば周知の音声認識技術を用いて認識し、認識した回答音声が示す回答内容を例えばテキストで示す回答内容データを生成する。音声認識部103は、生成した回答内容データを、供給された取得日時と共に回答内容蓄積部104及び認知症関連判定部108に供給する。
回答内容蓄積部104は、回答音声取得部102により取得された対象ユーザの回答音声が示す回答内容を蓄積する。この回答内容はユーザが発話した内容であり、本発明の「発話内容」の一例である。また、回答内容蓄積部104は本発明の「蓄積部」の一例である。
回答内容蓄積部104には、音声認識部103から回答内容(回答内容データ)が供給されると共に、質問情報出力部101からも、出力した質問情報の元になった質問内容(質問内容データ)と、出力先及び出力日時を示す情報が供給される。回答内容蓄積部104は、供給されたそれらの情報を互いに対応付けて蓄積する。
図4は蓄積された回答内容等の情報の一例を表す。回答内容蓄積部104は、ユーザIDと、質問内容と、回答内容と、回答日時とを対応付けて蓄積している。サーバ装置10は、例えば支援ユーザによって登録された対象ユーザのユーザIDと、対象ユーザが利用する出力先の装置(ホームルータ20等)とを対応付けて記憶している。回答内容蓄積部104は、供給された出力先の情報に対応付けられているユーザIDと、その情報と共に供給された質問内容とを対応付けて記憶する。
また、回答内容蓄積部104は、その質問内容と、それに対応する質問情報の出力日時の後で最も早い取得日時の回答内容とを対応付けて記憶し、さらにその取得日時を回答日時として対応付けて記憶する。回答内容蓄積部104は、こうして質問内容及びそれに対象ユーザが応答したときの回答内容を蓄積すると、その旨を質問情報出力部101に通知する。質問情報出力部101は、この通知を受け取ると、出力した質問情報が示す質問に対象ユーザが回答したと判断し、次の質問情報を出力する。
サーバ装置10の質問情報生成部105は、質問情報出力部101により出力される質問情報として、上述した共通質問及び個人別質問のいずれか又は両方を示す情報を生成する。質問情報生成部105は、例えば、上述したユーザによって設定された時刻になると、共通質問材料記憶部106に記憶されている共通質問材料及び個人別質問材料蓄積部107に蓄積されている個人別質問材料を用いて質問情報を生成する。
共通質問材料記憶部106は、共通質問の材料を例えばテキストデータ形式で記憶する。
図5は記憶された共通質問の材料の一例を表す。共通質問材料記憶部106は、「最近の事柄」、「歴史上の事柄」及び「趣味の知識」等のカテゴリ別に、「今日は何曜日?」、「江戸幕府の8代将軍は?」及び「ゴルフの前半9ホールを何という?」等の質問材料と、それらに対する正解とを記憶している。「今日は何曜日?」のように正解が変動するものは、正解を特定するための情報源(この場合は日付情報)が記憶されている。
個人別質問材料蓄積部107は、個人別質問の材料を例えばテキストデータ形式で蓄積する。
図6は蓄積された個人別質問の材料の一例を表す。個人別質問材料蓄積部107は、対象ユーザ毎に(図6の例ではユーザIDがU001の対象ユーザについて)個人別質問の材料を蓄積する。個人別質問材料蓄積部107は、本実施例では、「LV1」、「LV2」及び「LV3」という3段階の個人別質問材料を記憶している。
各レベルの個人別質問材料には、「基本質問」及び「回答結果」が含まれている。「基本質問」とは、予め記憶されている個人別質問材料であり、例えばLV1には、「昔住んでいた街は?」、「小学校の名前は?」及び「昔飼っていたペットの名は?」という基本質問Q1、Q2及びQ3が記憶されている。「回答結果」とは、それらの基本質問に対して対象ユーザが回答した結果を個人別質問材料として蓄積したものである。図6の例では、基本質問Q3への回答結果として「シロ」が蓄積されている。
個人別質問材料蓄積部107は、基本質問Q3のLV2に、基本質問Q3への回答結果に関連する基本質問として、「何の動物?」及び「いつ頃飼っていた?」という基本質問Q3−1及びQ3−2を記憶している。基本質問Q3は本発明の「第1質問事項」の一例であり、基本質問Q3−1及びQ3−2は本発明の「第2質問事項」の一例である。また、これらの基本質問を記憶する個人別質問材料蓄積部107は本発明の「記憶部」の一例である。
個人別質問材料蓄積部107は、基本質問Q3−1及びQ3−2への回答結果として「犬」及び「小学生の頃」という質問材料を蓄積している。また、個人別質問材料蓄積部107は、基本質問Q3のLV3に、LV2の基本質問への回答結果に関連する基本質問として、例えば「犬」という回答結果に関連して「犬種は?」及び「性別は?」という基本質問Q3−1−1及びQ3−1−2を記憶している。また、個人別質問材料蓄積部107は、「小学生の頃」という回答結果に関連して、「何年生から?」という基本質問Q3−2−1を記憶している。
この場合は、基本質問Q3−1及びQ3−2が本発明の「第1質問事項」の一例であり、基本質問Q3−1−1、Q3−1−2及びQ3−2−1が本発明の「第2質問事項」の一例である。なお、例えば「何の動物?」への回答結果が「犬」ではなく猫等の他の動物だった場合であっても、個人別質問材料蓄積部107は、その動物に関連したLV3の基本質問を記憶しており、その動物に関連した回答結果が得られるようになっている。
質問情報生成部105は、共通質問を含む質問情報を生成する場合、共通質問材料記憶部106から共通質問材料のうちのいずれかを読み出し、読み出した共通質問材料と、質問する相手への問い掛けを表す言葉とを連結して読み上げる音声を示す質問音声データを生成する。例えば対象ユーザがAさんである場合、質問情報生成部105は、「Aさんに質問です。今日は何曜日ですか?」という質問音声データを生成する。
また、質問情報生成部105は、質問を連続して行う場合には、2つ目以降の質問には、質問する相手ではなく、「続けて質問です」というように会話の流れを自然にする言葉を共通質問材料に連結してもよい。質問情報生成部105は、周知の音声合成技術を用いて、質問情報の出力先の装置(固定電話機3、ホームルータ20及び第1ユーザ端末30のいずれか)で放音可能なフォーマットで質問音声データを生成する。
質問情報生成部105は、個人別質問を含む質問情報を生成する場合、個人別質問材料蓄積部107から個人別質問材料のうちのいずれかを読み出し、読み出した個人別質問材料と、質問する相手への問い掛けを表す言葉とを連結して読み上げる音声を示す質問音声データを生成する。個人別質問材料には、上記のとおり基本質問と回答結果とがある。質問情報生成部105は、まず、LV1の基本質問を示す質問音声データを質問情報(本発明の「トリガ情報」の一例)として生成する。
質問情報生成部105は、LV1の基本質問に対する回答結果が回答音声取得部102により取得されて個人別質問材料蓄積部107により蓄積された場合に、その回答結果と下位の基本質問とを示す質問音声データを質問情報として生成する。質問情報生成部105は、例えば「シロ」というLV1の回答結果が蓄積されていれば、「シロは何の動物ですか?」及び「Aさんはシロをいつ頃飼っていましたか?」というように、回答結果及び基本質問を(場合によっては対象ユーザの名前も)連結して読み上げた質問音声データを生成する。
質問情報生成部105は、対象ユーザの名前、回答結果及び基本質問の連結方法を予め数パターン記憶しておき、それらのうちのいずれかを用いてもよい。例えば、「シロは何の動物ですか?」の他に、「Aさんが飼っていたシロは何の動物ですか?」及び「シロというのですね。何の動物ですか?」等が生成されてもよい。これにより質問音声を画一的ではなくして、人間同士の会話らしくすることができる。
上記のとおり生成される質問音声データは、回答音声取得部102により取得された回答音声が示す発話内容に基づいて回答可能な質問を表している。例えば対象ユーザが「シロ」というペットの名を話したから、その「シロ」についての質問情報が生成されている。このように、質問情報生成部105は、取得された回答音声が示す発話内容に基づいて回答可能な質問を示す情報を、上述した質問情報として生成する。質問情報生成部105は本発明の「生成部」の一例である。
質問情報生成部105は、上記のとおり生成した質問音声データ、すなわち質問情報を質問情報出力部101に供給する。質問情報出力部101は、供給された質問情報を上述したようにホームルータ20等に出力する。こうして出力された質問情報が示す質問への回答は、回答音声として回答音声取得部102により取得されて音声認識部103により認識され、図4に表すように回答内容蓄積部104に蓄積される。
個人別質問材料蓄積部107は、基本質問が質問情報生成部105によって読み出された後に回答内容蓄積部104に蓄積された回答内容を読み出して、その基本質問への回答結果として蓄積する。その際、個人別質問材料蓄積部107は、蓄積された回答内容は「シロだったかな」というような口語の文章になっているので、そこから基本質問の回答結果として適切な語句(この例では「シロ」)を抽出して蓄積する。
この抽出には、例えば基本質問の回答候補(例えば街の名称、小学校の名前及び犬種の名称等)を予め記憶しておき、それに類似する語句を抽出する方法を用いてもよい。また、例えばペットの名前は数文字のカタカナで表されることが多いので、2文字以上のカタカナで表された固有名詞を抽出するというように、特定のルールで表記された固有名詞等を抽出する方法を用いてもよい。
また、質問情報生成部105は、個人別質問の材料として既に蓄積されている回答結果について再度質問する質問情報を生成する。この質問は、対象ユーザが個人別質問に対して過去に回答した結果と同じ回答が得られるかを検証するための質問であり、以下では「第1検証用質問」という。第1検証用質問は、例えば、過去に発話された名称、時期、日時、期間、場所及び地域等を尋ねる質問である。
質問情報生成部105は、例えば、図6に表すように回答結果が蓄積されている場合に、基本質問Q3を再び用いて「Aさんが飼っていたペットの名は何と言いましたでしょうか?」という第1検証用質問を示す質問音声データを生成したり、基本質問Q3−2−1を再び用いて「Aさんがペットのシロを飼っていたのは小学校何年生からでしたでしょうか?」という第1検証用質問を示す質問音声データを生成したりする。
個人別質問材料蓄積部107は、第1検証用質問を行って得られた新たな回答結果が既に蓄積されている回答結果と同じであれば、重複している新たな回答結果を破棄する。一方、個人別質問材料蓄積部107は、新旧の回答結果が異なっていて、且つ、異なる回答結果が存在し得る基本質問であった場合、新たな回答結果を蓄積済みの回答結果とは別に蓄積する。異なる回答結果が存在し得る基本質問とは、例えば図6に表すLV1の基本質問である。
これらの基本質問は、対象ユーザが引っ越し又は転校をしたり、複数のペットを飼っていたりした場合に回答が複数通りになるからである。その場合、質問情報生成部105が、新たに蓄積された回答結果についても下位の基本質問を示す質問情報を生成し、個人別質問材料蓄積部107が新たな回答結果に関する個人別質問材料を蓄積する。
図7は新たに蓄積された個人別質問の材料の一例を表す。個人別質問材料蓄積部107は、基本質問Q3への「タマ」という回答結果と、基本質問Q3−1、Q3−1−1、Q3−1−2への「猫」、「三毛」、「メス」という回答結果とを蓄積している。また、個人別質問材料蓄積部107は、基本質問Q3−2に対する「回答なし」という回答結果を蓄積している。これは、対象ユーザの回答内容が「忘れた」、「覚えていない」及び「知らない」等であって基本質問に対する回答が得られない場合の回答結果である。この場合は、質問情報生成部105は下位の基本質問Q3−2−1を示す質問情報を生成しない。
また、個人別質問材料蓄積部107は、新旧の回答結果が異なっていて、且つ、異なる回答結果が存在し得ない基本質問であった場合、新たな回答結果と蓄積済みの回答結果とを一旦同じ基本質問への回答結果として蓄積する。例えば「シロ」の犬種として「柴犬」と答えた後に「秋田犬」と答えた場合、両方を「シロ」の犬種の質問への回答結果として蓄積する。
この場合、質問情報生成部105は、それらのうちどちらが正しいかを尋ねる質問を示す質問情報を生成する。この質問は、第1検証用質問を行った結果回答が食い違った場合に、どちらが正しいかを検証するための質問であり、以下では「第2検証用質問」という。上記の例であれば、質問情報生成部105は、例えば「以前シロは柴犬と回答されていますが、前回は秋田犬と回答されました。正しくはどちらでしょうか?」という第2検証用質問を示す質問音声データを生成する。この第2検証用質問に対してどちらか一方の犬種が答えられた場合、個人別質問材料蓄積部107は、その回答結果のみを蓄積し、他方の犬種は削除する。
なお、第2検証用質問に対してさらに異なる回答がされた場合、個人別質問材料蓄積部107はその回答を3つ目の回答結果として蓄積し、質問情報生成部105は、それら2以上の回答結果のうちのいずれが正しいかを尋ねる質問を第2検証用質問として示す質問情報を生成する。第2検証用質問は、蓄積された回答結果のいずれかが回答されるまで繰り返し行われる。
認知症関連判定部108は、上記のとおり、質問への回答を示す音声が回答音声取得部102により取得された場合に、その回答に基づいて、対象ユーザについての認知症に関連する判定を行う。認知症関連判定部108は、本実施例では、対象ユーザの認知症に関連する症状の状況について判定する。「認知症に関連する症状」としてあるのは、認知症の発症者にみられる症状だけでなく、認知症が発症していない者に現われる認知症の予兆とみられる症状も含むからである。
認知症関連判定部108は、具体的には、共通質問及び第1検証用質問への回答に基づいて上記判定を行う。認知症関連判定部108は、共通質問への回答を用いる場合、取得された回答と、共通質問材料記憶部106に記憶されているその共通質問の正解とを比較して、回答が正しいか否か(回答と正解とが一致しているか否か)を判断する。また、認知症関連判定部108は、第1検証用質問への回答を用いる場合、取得された回答と、個人別質問材料蓄積部107に蓄積されているその第1検証用質問の元となった回答結果とを比較して、回答が正しいか否か(回答と回答結果とが一致しているか否か)を判断する。
認知症関連判定部108は、取得された回答がどの質問に対する回答であるのかについて、質問内容及び回答内容を対応付けて記憶する回答内容蓄積部104を参照して確認する。認知症関連判定部108は、対象ユーザに対して所定の期間(1日間又は1週間等)に行われた質問の件数に対する正しい回答の件数の割合(正答率)を算出し、算出した正答率に基づいて症状の状況を判定する。
共通質問も第1検証用質問も、基本的には記憶力が高いほど正解しやすい質問となっている(ただし共通質問は元々知らない場合もある)。一方、記憶力が衰えるほど、認知症に関連する症状が進んでいると考えられる。そこで、認知症関連判定部108は、例えば質問への正答率と症状の状況とを次のように対応付けた判定テーブルを記憶しておき、それを用いて判定を行う。
図8は判定テーブルの例を表す。図8(a)の判定テーブルでは、「80%以上」、「50%以上80%未満」及び「50%未満」という正答率に、「なし」、「軽微」及び「要注意」という症状の度合いが対応付けられている。認知症関連判定部108は、前述した所定の期間に行われた質問について算出した正答率が例えば85%であった場合、判定テーブルで「80%以上」に対応付けられている「なし」という症状の度合いを、対象ユーザの症状の度合いとして判定する。
なお、認知症関連判定部108は、回答の正誤の情報(回答が正しいか否かを判断した結果)をその回答がされた日時の情報と共に記憶しておき、過去の正答率にも基づいて判定を行ってもよい。認知症関連判定部108は、例えば過去の所定の期間(例えば1年間)における正答率の平均値を算出し、算出した平均値及び新たに行われた回答の正答率の関係と、症状の進み具合(症状の状況の一例)とを対応付けた判定テーブルを用いて判定を行う。
例えば図8(b)の判定テーブルでは「平均値×1.05以上」、「平均値×1.05未満且つ平均値×0.95以上」及び「平均値×0.95未満」という新たな正答率と平均値との関係に、「改善傾向」、「変動なし」及び「悪化傾向」という症状の進み具合が対応付けられている。認知症関連判定部108は、例えば正答率の平均値が70%で新たな正答率が80%である場合、80%は70%×1.05以上なので、「平均値×1.05以上」に対応付けられている「改善傾向」と判定する。なお、図8の例で平均値に乗じた値(0.95及び1.05)は一例であり、この値を変更したり、平均値に所定の値を加減算したりして、各症状の進み具合の出やすさを変化させてもよい。
以上のとおり、認知症関連判定部108は、共通質問への回答を示す音声が回答音声取得部102により取得された場合に、その共通質問に対する正解とその回答とを比較して、対象ユーザについての認知症に関連する判定を行う。また、認知症関連判定部108は、第1検証用質問への回答を示す音声が回答音声取得部102により取得された場合に、その第1検証用質問の元になった回答結果とその回答とを比較して、対象ユーザについての認知症に関連する判定を行う。認知症関連判定部108は本発明の「判定部」の一例である。認知症関連判定部108は、この判定を、例えば第2ユーザ端末40から要求された場合に行う。
第2ユーザ端末40の判定結果要求部401は、対象ユーザについての認知症に関する判定をサーバ装置10に対して要求する。判定結果要求部401は、支援ユーザが自装置に対して判定を要求するための定められた操作を行った場合に、例えば対象ユーザのユーザIDと判定を要求する旨とを示す要求データをサーバ装置10に送信することでこの要求を行う。
サーバ装置10の認知症関連判定部108は、要求データを受け取ると、要求データが示すユーザIDに対応付けて回答内容蓄積部104に記憶されている回答内容と個人別質問材料蓄積部107に蓄積されている個人別質問材料とを参照して、そのユーザIDの対象ユーザについての判定を行う。認知症関連判定部108は、その判定結果を要求元の端末(この例では第2ユーザ端末40)に送信する。
第2ユーザ端末40の判定結果表示部402は、対象ユーザについて認知症関連判定部108が判定した結果を表示する。判定結果表示部402は、例えば、認知症予防システム1に関する情報を提供する統合UI(User Interface)に判定結果を表示する。
図9は判定結果が表示された統合UIの一例を表す。判定結果表示部402は、認知症予防システム画面に、支援ユーザである「Bさん」の人物画像G1と、判定を行ったサーバ装置10を擬人化した人物(サーバ)の画像として、ロボット型の人物画像G2とを表示している。
また、判定結果表示部402は、人物画像G1が話す「Aさんの症状の進み具合を教えて。」というセリフを含む角が丸い吹き出し画像F1を表示している。判定結果表示部402は、支援ユーザが上記の要求操作を行った場合に吹き出し画像F1を表示する。また、判定結果表示部402は、人物画像G2が話す「Aさんの症状の進み具合をお知らせします。」というセリフを表す角が尖った吹き出し画像F2と、「本日Aさんに質問した結果、改善傾向にあると判定しました。」というセリフを表す角が尖った吹き出し画像F3とを表示している。
このようにして支援ユーザに対象ユーザの判定結果が伝えられることで、支援ユーザによる認知症予防の判断を支援することができる。例えば悪化傾向が何回も続くようなら、支援ユーザは対象ユーザに対して病院で検査を受けるよう指示することができる。また、例えば対象ユーザが認知症予防の活動を行っていて且つ改善傾向が続くようなら、その活動が効果を奏しているからそのまま続けるよう指示することができる。
認知症予防システム1が備える各装置は、上記の構成に基づいて、対象ユーザの回答内容と個人別質問材料とを蓄積する蓄積処理と、認知症に関連する判定処理とを行う。
図10は蓄積処理における各装置の動作手順の一例を表す。この動作手順は、例えば、上述したユーザによって設定された時刻になることを契機に開始される。まず、サーバ装置10(質問情報生成部105)は、対象ユーザに対する質問を示す質問音声データを質問情報として生成する(ステップS11)。
次に、サーバ装置10(質問情報出力部101)は、生成された質問情報を出力する(ステップS12)。図10の例では、ホームルータ20を出力先とする。ホームルータ20(質問情報取得部201)は、サーバ装置10から出力されてきた質問情報を取得する(ステップS13)。次に、ホームルータ20(録音部203)は、質問情報が取得されたことを契機に録音を開始する(ステップS14)。続いて、ホームルータ20(質問音声出力部202)は、取得された質問情報(質問音声データ)が示す質問音声を出力する(ステップS15)。
次に、ホームルータ20(録音部203)は、質問音声を聞いた対象ユーザによる回答音声を録音する(ステップS16)。続いて、ホームルータ20(回答音声送信部204)は、録音された回答音声をサーバ装置10に送信する(ステップS17)。サーバ装置10(回答音声取得部102)は、ホームルータ20から送信されてきた回答音声を取得する(ステップS21)。次に、サーバ装置10(音声認識部103)は、取得された対象ユーザの回答音声を認識する(ステップS22)。
続いて、サーバ装置10(回答内容蓄積部104)は、認識された回答音声が示す回答内容を蓄積する(ステップS23)。そして、サーバ装置10(個人別質問材料蓄積部107)は、質問内容がユーザ毎に固有の回答が得られる個人別質問のうち、予め記憶されている基本質問であった場合に、蓄積された回答内容から基本質問の回答として適切な語句を抽出し(ステップS24)、抽出した語句を個人別質問の材料として蓄積する(ステップS25)。
図11は判定処理における各装置の動作手順の一例を表す。この動作手順は、例えば、支援ユーザによって対象ユーザについての認知症に関連する判定結果を要求する操作が行われることを契機に開始される。まず、第2ユーザ端末40(判定結果要求部401)は、要求操作を受け付けて(ステップS31)、その判定結果を要求する要求データをサーバ装置10に送信する(ステップS32)。
サーバ装置10(認知症関連判定部108)は、要求データを受け取ると、要求データが示す対象ユーザの回答内容を回答内容蓄積部104から読み出して(ステップS33)、同じ対象ユーザの個人別質問の材料を個人別質問材料蓄積部107から読み出す(ステップS34)。次に、サーバ装置10(認知症関連判定部108)は、読み出した回答内容及び個人別質問の材料に基づいて、対象ユーザについての認知症に関連する判定を行う(ステップS35)。
続いて、サーバ装置10(認知症関連判定部108)は、判定結果を要求元の第2ユーザ端末40に送信する(ステップS36)。第2ユーザ端末40(判定結果表示部402)は、サーバ装置10から送信されてきた対象ユーザについての判定結果を例えば図9に表すように統合UIに表示する(ステップS37)。
本実施例では、対象ユーザに対して質問が行われ、それに対して対象ユーザが口頭で回答した内容に基づいて、個人別質問の材料が蓄積される。そして、その個人別質問の材料を用いて、第1検証用質問及び第2検証用質問のように、対象ユーザへの質問(個人別質問)が行われる。このように、本実施例によれば、ユーザへの質問の材料となる情報をそのユーザから得ることができる。その結果、例えば認知症予防システム1の開発者又は運用者等が新たに質問を作成して記憶させなくても、ユーザから得た材料に基づいて新たな質問を行うことができる。
また、例えば共通質問の場合は、人によっては元々知らない場合があるため、記憶力が衰えたのか元々知らないのかを判断できないことがある。これに対し、個人別質問(第1検証用質問)は、質問に答えるユーザ自身が過去に回答した内容に基づいているので、そのユーザが忘れていなければ必ず正解することが可能である。本実施例ではそのような個人別質問(第1検証用質問)を用いることで、共通質問への回答に基づいて判定する場合に比べて、記憶力の衰え具合を高い精度で判定することができる。
また、対象ユーザへの質問は放音される音声で行われ、対象ユーザによる回答も口頭で行われる。これにより、対象ユーザはキーボード、マウス及びタッチパネル等の操作子を操作しなくても、質問に回答することができる。また、本実施例では、LV1、LV2、LV3と、上位の基本質問への回答結果に関連した基本質問が用意されている。これにより、対象ユーザは、自分の回答に関連した質問がされるので、会話をするように質問に答えることができる。
それと同時に、例えばペットの名、動物の種類及び飼育時期等の関連する質問に順次答えていくうちに、そのペットについて新たに何か思い出すということも起こり得る。これにより、例えば何も関連していない質問を示す質問情報を生成し続ける場合に比べて、個人別質問の材料をより多く蓄積することができる。
[2]変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。
[2−1]回答結果に関連する基本質問
実施例では、上位の基本質問の回答結果に関連する下位の基本質問(例えば図6のLV2、LV3の基本質問)が無条件で行われたが、これが特定の場合にのみ行われるようにしてもよい。特定の場合とは、例えば、同じ基本質問への回答結果が食い違う場合(例えば図7の例のようにペットの名を尋ねる基本質問Q3への回答が「シロ」及び「タマ」であった場合)である。
この場合、質問情報生成部105は、例えば基本質問Q3への過去の回答と同じ基本質問Q3への新たな回答とが異なる場合には、その基本質問Q3への回答に関連する基本質問(例えば基本質問Q3−1及びQ3−2)を示す質問音声データを質問情報として生成し、それらの新旧の回答が一致している場合には、基本質問Q3への回答に関連する基本質問を示す質問音声データを生成しない。
例えばAさんが第1検証用質問でペットの名を尋ねた場合に必ず「シロ」と答えていれば、「シロ」が正解だと判断できるが、「シロ」と「タマ」の2通りの答えした場合、それが間違いなのか(記憶違いなのか)どちらも正解なのか(2匹とも飼っていたのか)がそれだけでは判断しかねる。そこで、基本質問Q3への回答に関連する下位の基本質問を行うことで、記憶違いで「タマ」と答えたのであれば、動物の種類及び飼育時期等を質問されるうちに間違いに気付いてもらうことができる。
対象ユーザが間違いに気付いて例えば「タマは間違いだった」又は「タマというペットは飼ってなかった」等の回答をした場合、個人別質問材料蓄積部107は、第2検証用質問で「シロ」が正しいという回答を得たときと同じように、「シロ」に関する回答結果のみを蓄積したままにして、「タマ」に関する回答結果は削除する。一方、本当に2匹とも飼っていて下位の基本質問にもそれぞれについて回答が得られたのであれば、個人別質問材料蓄積部107は、どちらの回答結果も個人別質問の材料として蓄積する。この場合は、回答が2通り以上になる質問について、それらの回答を区別しやすいようにそれぞれ関連する回答結果を質問材料として蓄積することができる。
[2−2]トリガ情報の態様
実施例では、トリガ情報(対象ユーザの発話の契機(トリガ)となる情報)として音声データ(質問音声データ)が用いられたが、これに限らない。例えばテキストデータ、画像データ又は動画データ等が用いられてもよい。いずれのデータが用いられる場合でも、要するに、トリガ情報がユーザに伝達されて、ユーザの発話の契機になっていればよい。
[2−3]トリガ情報の出力先
トリガ情報の出力先は、実施例で述べた装置に限らない。例えばタブレット端末、パーソナルコンピュータ、ウェアラブル端末、電子ペット及びIoT(Internet of Things)に対応した家電等が出力先であってもよい。要するに、サーバ装置10から出力されてきたトリガ情報をユーザに伝達し、ユーザの発話の契機とすることができる装置であればよい。
[2−4]トリガ情報の内容
トリガ情報の内容は実施例で述べたものに限らない。
図12は本変形例の認知症予防システム1aが実現する機能構成を表す。以下では主に図3と異なる箇所について説明する。認知症予防システム1aは、サーバ装置10aと、ホームルータ20aと、電子ペット30aとを備える。
サーバ装置10aは、トリガ情報出力部111と、発話音声取得部112と、発話内容蓄積部114と、トリガ情報生成部115と、共通トリガ材料記憶部116と、個人別トリガ材料蓄積部117とを備える。ホームルータ20aは、トリガ情報取得部211と、トリガ音声出力部212と、録音部203と、発話音声送信部214とを備える。電子ペット30aは、トリガ情報取得部311と、トリガ音声出力部312と、録音部303と、発話音声送信部314とを備える。
トリガ情報出力部111はトリガ情報を出力する。このトリガ情報には、質問情報の他に、対象ユーザへの挨拶を示す挨拶情報、対象ユーザへの作業又は動作を指示する指示情報、対象ユーザへの連絡事項を示す連絡情報、及び、電子ペット30aの鳴き声を示す鳴き声情報が含まれる。トリガ情報取得部211及び311は出力されてきたトリガ情報を取得し、トリガ音声出力部212及び312は取得されたトリガ情報が示す音声を出力する。
この音声が出力されると、対象ユーザは挨拶等の発話を行う。録音部203及び303はこの発話音声を録音し、発話音声送信部214及び314は録音された発話音声をサーバ装置10aに送信する。サーバ装置10aの発話音声取得部112は、送信されてきた発話音声を取得し、発話内容蓄積部114は、取得された対象ユーザの発話音声が示す発話内容を、その発話の契機になったトリガ情報と発話音声の取得日時とに対応付けて蓄積する。
トリガ情報生成部115は、トリガ情報出力部111により出力されるトリガ情報を生成する。トリガ情報生成部115は、トリガ情報が挨拶情報の場合、例えば「お早うございます。」及び「ご機嫌いかがですか?」等の音声を示す挨拶音声データをトリガ情報として生成する。また、トリガ情報生成部115は、指示情報の場合は、「今日はスパゲッティを作ってみましょう。」及び「今日は3km散歩しましょう。」等の音声を示す指示音声データをトリガ情報として生成する。
これらの指示情報は、例えば支援ユーザが予め選択又は入力しておいた情報である。また、トリガ情報生成部115は、連絡情報の場合は、「今日は雨が降りそうです。」及び「今日は駅前のデパートで催し物が予定されています。」等の音声を示す連絡音声データをトリガ情報として生成する。トリガ情報生成部115は、例えば天気予報又は近隣施設のウェブサイト等を参照してこれらの連絡情報を収集する。
共通トリガ材料記憶部116は、どのユーザでも同じ発話が得られる共通トリガ情報の材料となるデータを記憶する。共通トリガ情報には、実施例で述べた共通質問が含まれる他、例えば挨拶情報が含まれる。個人別トリガ材料蓄積部117は、ユーザ毎に固有の発話が得られる個人別トリガ情報の材料となるデータを蓄積する。
例えば、「今日はスパゲッティを作ってみましょう。」という指示情報の音声が出力された場合、「いいね。そうしてみよう。」等の肯定的な発話音声が取得されることがあれば、「いや、今日は寿司が食べたいな。」等の否定的な発話音声が取得されることもある。また、「今日は雨が降りそうです。」という連絡情報の音声が出力された場合、「じゃあ今日は家で借りてきたビデオを見るか。」及び「雨だけど見たい映画があるから映画館に行くよ。」等の様々な行動を表す発話音声が取得される。
個人別トリガ材料蓄積部117は、発話内容蓄積部114に蓄積されたこれらの発話内容から、対象ユーザが行った行動又はこれから行う行動に関する行動関連情報を抽出し、個人別トリガ情報の材料として蓄積する。行動関連情報とは、例えば、スパゲッティを食べること、ご飯ものを食べること、ビデオを見ること及び映画館に行くこと等を示すテキストの情報である。
個人別トリガ材料蓄積部117は、例えば発話内容に特定の語句(「いいね」、「分かった」、「いや」及び「やめとく」等の肯定・否定を表す語句、「スパゲッティ」、「寿司」、「ビデオ」、「映画」、「ドライブ」及び「散歩」等の行動を直接的又は間接的に表す語句など)が含まれている場合に、それらの語句を含む一文を行動関連情報として抽出する(肯定を表す語句はトリガ情報と合わせて対象ユーザの行動を表す)。なお、これに限らず、文章の意味を認識する周知技術を用いてこの抽出を行ってもよい。
例えば「今日はスパゲッティを作りましょう。」というトリガ情報が出力されて「いいね。そうしてみよう。」という肯定的な発話内容が蓄積された場合、個人別トリガ材料蓄積部117は、対象ユーザがトリガ情報で示されたスパゲッティ作りを行う予定であることを個人別トリガ情報の材料として蓄積する。また、「じゃあ今日は家で借りてきたビデオを見るか。」という行動(ビデオを見ること)を直接的に示す発話内容が蓄積された場合、個人別トリガ材料蓄積部117は、その行動を行う予定であることを個人別トリガ情報の材料として蓄積する。
トリガ情報生成部115は、共通トリガ情報の材料又は個人別トリガ情報の材料を読み出して、それらの材料に基づいてトリガ情報を生成する。また、トリガ情報生成部115は、発話音声取得部112により取得された発話音声が示す発話内容に基づいて回答可能な質問を示す情報をトリガ情報として生成する。トリガ情報生成部115は、例えば対象ユーザが駅前デパートの催し物に行く旨の発話をした場合、「以前駅前デパートで開催されていた催し物は何でしたでしょうか?」というトリガ情報を生成し、対象ユーザがビデオを見る旨の発話をした場合、「以前ご覧になったビデオのタイトルは何でしたでしょうか?」というトリガ情報を生成する。
本変形例では、対象ユーザに対する質問だけでなく、その他の発話の契機となる情報(挨拶情報、指示情報、連絡情報及び鳴き声情報等)に基づく音声が出力されることで、個人別トリガ情報の材料が蓄積される。これにより、対象ユーザが質問に答えた場合だけでなく、挨拶及び指示への返事等の日常会話を行った場合にも、対象ユーザへの質問の材料を得ることができる。
[2−5]第1検証用質問
図12に表すトリガ情報生成部115は、第1検証用質問を生成してもよい。本変形例では、個人別トリガ材料蓄積部117は、個人別トリガ情報の材料を蓄積する際に、その材料の元になった発話音声の取得日時を対応付けて蓄積する。
図13は蓄積された発話音声及び取得日時の一例を表す。個人別トリガ材料蓄積部117は、ユーザIDがU001の対象ユーザのLV1の個人別トリガ情報の材料として、「今日は駅前のデパートで催し物が予定されています。」及び「週末は花見日和です。」というトリガ情報TR1及びTR2に対応付けて、「見に行ってみよう。」及び「花見に行こうかな。」という発話内容と、「T11」及び「T21」という取得日時とを蓄積している。
また、個人別トリガ材料蓄積部117は、LV2の個人別トリガ情報の材料として、「どんな催し物でしたか?」、「どこに花見に行きますか?」及び「花見は何曜日に行きますか?」というトリガ情報TR1−1、TR2−1及びTR2−2に対応付けて、「北海道の物産展だった。」、「千鳥ヶ淵」及び「日曜日」という発話内容と、「T12」、「T22」及び「T23」という取得時刻とを蓄積している。
トリガ情報生成部115は、蓄積されている材料を参照して、例えば、「一昨日デパートで行われていた催し物は何と言いましたでしょうか?」又は「今度の日曜日はどこに花見に行く予定でしたでしょうか?」等の第1検証用質問を示す音声データをトリガ情報として生成する。なお、これにより、対象ユーザが第1検証用質問の元になっている発話がいつ行ったものであるのかを伝える音声データを生成することができる。
[2−6]回答の蓄積時期
認知症関連判定部108は、第1検証用質問への回答と発話音声の内容とを比較する場合に、その発話音声が蓄積された時期を考慮してもよい。本変形例では、認知症関連判定部108は、第1検証用質問への回答と、その第1検証用質問の元になった回答結果であって、その第1検証用質問の内容に応じた時期に取得された対象ユーザの音声が示す回答結果とを比較する。認知症関連判定部108は、例えば、第1検証用質問の内容と回答結果の取得時期とを対応付けた取得時期テーブルを記憶しておき、それを用いてこの比較を行う。
図14は取得時期テーブルの一例を表す。この取得時期テーブルでは、「ウィンタースポーツについての質問」、「花見についての質問」及び「ゴールデンウィークについての質問」という第1検証用質問の内容に、「11月〜3月」、「3月下旬〜4月上旬」及び「4月下旬〜5月初旬」という回答結果の取得時期が対応付けられている。例えばトリガ情報生成部115が「花見でよく行くところはどこですか?」という第1検証用質問を示すトリガ情報を生成し、それに対する回答が発話音声として取得されたとする。
この場合、発話内容蓄積部114は、このトリガ情報を第1検証用質問として蓄積する(例えば第1検証用質問を示すフラグを対応付けて記憶する)。認知症関連判定部108は、このように第1検証用質問が蓄積された場合、その第1検証用質問の内容(この例では「花見についての質問」)に取得時期テーブルで対応付けられている時期(この例では「3月下旬〜4月初旬」)に取得日時が含まれる個人別トリガ情報の材料を参照する。
図13の例では、取得日時T21、T22、T23が「3月下旬〜4月初旬」に含まれるものとする。この場合、認知症関連判定部108は、例えば取得された発話音声が示す地名が、取得日時T21、T22、T23に対応付けられた発話内容に含まれている場合(この例では「千鳥ヶ淵」と回答された場合)に回答が正しいと判断する。
なお、前述の例では、「3月下旬〜4月初旬」に発話される地名は全て花見で行く場所を示しているとみなして回答の正誤が判断されているが、これに限らず、例えば「桜」又「花見」に関連して発話された地名だけを花見で行く場所とみなしてもよい。例えば図13の例で取得日時T11及びT12も「3月下旬〜4月初旬」に含まれていたとしても、トリガ情報及び発話内容のどちらにも「桜」又「花見」が含まれていないので、認知症関連判定部108は、それらは用いずに正誤の判断を行う。
個人別トリガ材料蓄積部117に蓄積される材料は次第に膨大な量になっていくため、全てを参照すると処理の負荷が大きくなる。一方、対象ユーザの発話内容には、時期によって話題に偏りが生じることがある(例えば花見及びゴールデンウィーク等については該当する時期にはよく話されるがそれ以外の時期にはあまり話されない)。本変形例では、第1検証用質問の回答が他の時期に比べて話題にされやすい時期の回答結果を比較に用いることで、そのように時期を絞り込まない場合に比べて、正誤の判断を行う際の処理の負荷を減らすことができる。
また、例えば上記のように「花見でよく行くところはどこですか?」という第1検証用質問がされた場合に、時期を絞り込まないと、時期を絞り込む場合に比べて、花見に関係のない地名が増えるので、それらの地名を花見に行った地名と誤って判断する可能性が増加する。本変形例では、時期を絞り込むことで、時期を絞り込まない場合に比べて、そのような誤りを生じにくくすることができる。
[2−7]判定頻度
認知症関連判定部108は、対象ユーザの発話音声が取得された時期に応じた頻度で判定を行ってもよい。認知症関連判定部108は、例えば最初の1年間は決められた頻度(例えば毎日又は毎週)で判定を行い、時期毎の判定結果の傾向に基づいて判定頻度を変更する。判定結果の傾向は、例えば、その時期に最も多かった判定結果によって表される。以下では過去の正答率に基づく判定(改善傾向、変動なし、悪化傾向という症状の進み具合の判定)が行われた場合について説明する。
図15は1年間の判定結果の傾向の一例を表す。この例では、1月から12月のうち、5月、9月は「改善傾向」が最も多かった時期で、7月、8月は「悪化傾向」が最も多かった時期、他の月は「変動なし」が最も多かった時期となっている。この場合、認知症関連判定部108は、悪化傾向が多かった7月、8月は判定頻度を増やし(例えば2倍にし)、改善傾向が多かった5月、9月は判定頻度を減らし(例えば2分の1にし)、変動なしが多かった月は判定頻度を変更しない。
悪化傾向が多い時期には認知症に関する症状が進行しやすいから、上記の例では、判定頻度を増やして支援ユーザが症状の進み具合を注意深く見守ることができるようにしている。また、反対に改善傾向が多い時期には認知症に関する症状の改善ができているから、対象ユーザの自主性に任せると共に判定によるストレスを軽くしている(人によってはトリガ情報への発話を続けているとストレスになることも起こり得るから)。
なお、症状の進み具合でなく、症状の度合いの判定結果が用いられてもよい。また、認知症関連判定部108は、判定結果以外にも、例えば対象ユーザの属性及び時期に応じて判定頻度を変化させてもよい。対象ユーザの属性は、例えば予め本人又は支援ユーザによって登録されているものとする。認知症関連判定部108は、例えば対象ユーザの趣味がウィンタースポーツである場合、冬場は活動が活発になって認知症に関する症状が進行しにくいので判定頻度を減らし、反対に夏場は活動が少なくなって認知症に関する症状が進行しやすいので判定頻度を増やす。
本変形例では、上記のとおり時期によって判定頻度を変化させることで、判定頻度が常に一定である場合に比べて、対象ユーザの認知症に関する症状の進行を効果的に食い止めたり、対象ユーザの判定に対するストレスを軽くしたりすることができる。
[2−8]判定基準
認知症関連判定部108は、判定を行う際に、実施例では、取得された回答が共通質問の正解と一致しているか否か、又は、取得された回答が第1検証用質問の元となった回答結果一致しているか否かによって、回答が正しいか否かを判断した。本変形例では、認知症関連判定部108は、これらが完全に一致していなくても、近い答えであれば、回答が正しいと判断する。
例えば、「花見でよく行くところはどこですか?」という第1検証用質問に対し、蓄積された発話内容は図13に表すように「千鳥ヶ淵」であるが、対象ユーザが「靖国神社」と回答したとする。その場合、すぐ近くにある花見スポットであり勘違いしているのかも知れないが、大まかな場所は合っているということで、認知症関連判定部108は、回答が正しいと判断する。この例のように、答が場所を示す場合は、認知症関連判定部108は、蓄積された発話内容の場所と回答された場所との距離的なずれが閾値未満であれば、回答が正しいと判断する。
また、「シロを飼ったのはいつからですか?」という第1検証用質問に対し、蓄積された発話内容(回答結果)は図6に表すように「小学校2年生」であるが、対象ユーザが「小学校3年生」と回答したとする。この場合も、1年くらいのずれは許容して、認知症関連判定部108は、回答が正しいと判断する。この例のように、答が時を示す場合は、認知症関連判定部108は、蓄積された発話内容の時と回答された時との時間的なずれが閾値(例えば1年間等)未満であれば、回答が正しいと判断する。
また、認知症関連判定部108は、蓄積された発話内容に含まれる言葉に似た言葉(例えば「上野恩賜公園」と「上野公園」など)を含む回答がされた場合も、回答が正しいと判断してもよい。言葉の類似度は、例えば予め似た言葉の組とその類似度を登録しておくことで表されてもよいし、レーベンシュタイン距離等の周知の手法で表されてもよい。また、類似度の表し方は、数値で表してもよいし、「高」、「中」、「低」又は「A」、「B」、「C」のように言葉又は記号等で表されてもよい。
以上のとおり、本変形例では、認知症関連判定部108は、取得された回答と蓄積された発話内容とが一致しない場合でも、それらの距離的又は時間的なずれの度合いが判定基準に達しているか否かによって回答が正しいか否かを判断し、認知症に関する判定を行う。この判定基準は、閾値のように数値化されていてもよいし、類似度の例のように言葉又は記号等で表されてもよい。いずれの場合も、判定基準を厳しくするほど回答が正しいと判断されにくくなり、判定基準を緩やかにするほど回答が正しいと判断されやすくなる。
本変形例では、さらに、認知症関連判定部108は、質問への回答を示す音声(発話音声)が取得された時期に応じて判定基準を変化させてもよい。認知症関連判定部108は、例えば正月、花見の時期、紅葉の時期及びクリスマス等の年に一度(数回でもよい)のイベントの時期についてはそれらのイベントに関係する発話内容が多くなって記憶に残りやすいので、他の時期に比べて判定基準を厳しくしてもよい。それにより、時期によって本来得たい結果(対象ユーザの症状の本当の状況)よりも良い判定結果が出てしまって症状が進行しているのに対処が遅れる、という事態を防ぐことができる。
なお、年に一度のイベントには、対象ユーザの誕生日、記念日、趣味に関係するイベント(競馬の大きなレース等)が含まれていてもよい。その場合、認知症関連判定部108は、対象ユーザの過去の回答結果からそれらの対象ユーザに固有のイベントの時期を判断してもよい。それら固有のイベントの方が、前述した一般的なイベントよりも対象ユーザの関心が高くなりやすいので、上記事態を防ぐ効果を高めることができる。
また、認知症関連判定部108は、取得時期における判定結果の傾向に基づいて判定基準を変化させてもよい。具体的には、認知症関連判定部108は、「改善傾向」が最も多かった時期(図15の例だと5月、9月)は判定基準を緩やかにして回答が正しいと判断されやすく(「改善傾向」をさらに出やすく)し、「悪化傾向」が最も多かった時期(図15の例だと7月、8月)は判定基準を厳しくして回答が正しいと判断されにくく(「悪化傾向」をさらに出やすく)する。そうすることで、判定基準を変化させない場合に比べて、判定結果の傾向の時期による違いがより顕著に現われるようにすることができる。なお、判定基準の変化を反対にすることで、判定結果の傾向の時期による違いが現われにくいようにしてもよい。
また、認知症関連判定部108は、例えば対象ユーザの属性及び時期に応じて判定基準を変化させてもよい。認知症関連判定部108は、対象ユーザの趣味がウィンタースポーツである場合、例えば冬場は活動が活発になって認知症に関する症状が進行しにくいので判定基準を緩やかにし、反対に夏場は活動が少なくなって認知症に関する症状が進行しやすいので判定基準を厳しくする。そうすることで判定結果の傾向の時期による違いがより顕著に現われるようにしてもよいし、判定基準の変化を反対にして、判定結果の傾向の時期による違いが現われにくいようにしてもよい。
[2−9]比較用質問
認知症に関する判定の精度を向上させるために、対象ユーザに特定の質問を行うようにしてもよい。例えば、図3に表す質問情報生成部105は、カテゴリと難易度が共通する複数の比較用質問を示す情報をトリガ情報として所定の期間の間隔で順番に生成する。カテゴリとは、例えば図5に表す共通質問のカテゴリ(「最近の事柄」、「歴史上の事柄」及び「趣味の知識」等)である。
本変形例では、共通質問材料記憶部106は、各カテゴリの共通質問の材料毎に、難易度を対応付けて記憶している。
図16は本変形例で記憶された共通質問の材料の一例を表す。共通質問材料記憶部106は、「江戸幕府の8代将軍は?」等の材料に難易度「C」を対応付け、「桶狭間の戦いで討たれた武将は?」等の材料に難易度「B」を対応付け、「室町幕府の最後の将軍は?」等の質問に難易度「A」を対応付けて記憶している(難易度は他にもあってもよい)。
質問情報生成部105は、例えば対象ユーザの「Aさん」に対しては、「歴史上の事柄」というカテゴリの難易度「C」の共通質問の材料を比較用質問として用いた質問情報を1週間毎に生成する。その際に、質問情報生成部105は、或る週に「江戸幕府の8代将軍は?」という材料を用いたのであれば、次の週には「本能寺の変を起こした武将は?」という同じ難易度「C」の別の材料を用いる。
なお、所定の期間は1週間毎に限らず、より短い期間(1日毎等)であってもよいし、より長い期間(1カ月毎等)であってもよい。また、一度に生成する比較用質問を示す質問情報は、1つに限らず2以上であってもよい。カテゴリ又は難易度が異なる質問に回答した場合、正答率が下がってもそれが記憶力の低下の影響なのか、それとも苦手なカテゴリ又は難易度の影響なのか分からない場合がある。本変形例では、同一カテゴリの同一難易度の比較用質問に回答させることで、このような比較用質問を用いない場合に比べて、正答率を比較したときに記憶力の影響が大きいと判断することができ、認知症に関する判定の精度を高めることができる。
また、質問情報生成部105は、例えば難易度Cの比較用質問を全て出し終わったときの正答率が第1閾値以上であった場合は、次からは難易度を上げて(難易度Bにして)比較用質問を用いた質問情報を生成し、反対に、正答率が第2閾値未満(第1閾値>第2閾値)であった場合は、次からは難易度を下げて(難易度Dにして)比較用質問を用いた質問情報を生成してもよい。その場合、認知症関連判定部108は、比較用質問への回答とその比較用質問の正解とを比較して、認知症に関する判定を行う。
質問が簡単過ぎて多少記憶力が衰えても全て正解するようでは認知症に関する症状に大きく影響する要素である記憶力の衰えが判定できないし、質問が難し過ぎて記憶力の衰えに関係なくほとんど正解できないようでもやはり記憶力の衰えが判定できない。前述したように質問の難易度を調整することで、どの対象ユーザであっても、記憶力の衰えを判定することができる。
[2−10]短期・長期の発話内容に基づく個人別質問
質問情報生成部105は、実施例では、個人別質問の材料が蓄積された時期、すなわちその材料が取得された時期を考慮せずに質問情報を生成したが、その時期を考慮して質問情報を生成してもよい。本変形例では、質問情報生成部105は、過去の第1の期間(例えば1カ月)に取得された回答音声が示す発話内容に基づいて回答可能な質問を示す質問情報を生成し、第1の期間より長い過去の第2の期間(例えば1年間)に取得された回答音声が示す発話内容に基づいて回答可能な質問を示す質問情報を生成する。
具体的には、質問情報生成部105は、例えば対象ユーザが第1の期間にペットのみについて回答していれば、ペットについての回答結果のみを尋ねる質問情報生成する。また、対象ユーザが第2の期間にペット以外に出身地、出身小学校について回答していれば、質問情報生成部105は、ペット、出身地、出身小学校についての回答結果をそれぞれ尋ねる質問情報生成する。
認知症関連判定部108は、第1期間における対象ユーザの変化として認知症に関する症状の進み具合を判定する第1の判定と、第2の期間(例えば1年間)における対象ユーザの変化として同じく認知症に関する症状の進み具合を判定する第2の判定とを行う。前述の具体例では、第1の判定が行われる際には、対象ユーザは、最近(第1の期間に)回答したペットのことについてのみ回答すればよいが、第2の判定が行われる際には、対象ユーザは、最近(第1の期間に)回答したペットのことだけでなく、もっと前に(第2の期間に)回答した出身地、出身小学校についても回答しなければならない。
認知症が進んで記憶力が衰えると、過去に行った回答を思い出すことが難しくなり、個人別質問に正解することが難しくなる。第1の判定では、第1の期間における記憶力の衰えの度合いを対象ユーザの変化として判定することができ、第2の判定では、それよりも長い第2の期間における記憶力の衰えの度合いを対象ユーザの変化として判定することができる。一方、対象ユーザが認知症に関する症状の進行を遅らせ又は改善するための予防活動を行っている場合、記憶力が改善されることもある。
その場合は、記憶力の改善の度合いを対象ユーザの変化として判定することができ、その結果、短期的な予防活動(最近行っている予防活動)の効果と、長期的な予防活動(以前から行っている予防活動)の効果とをそれぞれ評価することができる。また、実施例では、過去の回答内容と新たな回答内容とを比較して判定が行われたが、本変形例では、個人別質問への新たな回答結果だけを用いて判定を行うことができる。
[2−11]回答結果の重み付け
認知症関連判定部108は、共通質問への回答結果と個人別質問への回答結果の両方に基づいて判定を行う場合に、各回答結果に対して重み付けを行ってもよい。認知症関連判定部108は、例えば、回答音声取得部102により対象ユーザの回答内容を示す回答音声が初めて取得され及び蓄積されてから経過した期間(以下「蓄積期間」という)に応じて、両方の回答結果のそれぞれに重み付けを行った上でその対象ユーザについての判定を行う。
具体的には、認知症関連判定部108は、例えば、蓄積期間が第1の期間(例えば半年間又は1年間等)に達するまでは、個人別質問よりも共通質問への回答結果の重みを重くする。認知症関連判定部108は、重み付けの方法として、例えば、個人別質問と共通質問を同じ回数だけ行い、質問数及び正答数に重みを乗じる(個人別質問の重みが共通質問の2倍なら、個人別質問の回数及び正答数を2倍してから両質問を合わせた正答率を算出する)方法を用いる。
なお、他の重み付けの方法として、認知症関連判定部108は、例えば、重みに応じた回数だけ行われた個人別質問及び共通質問(個人別質問の重みが共通質問の2倍なら、N(Nは自然数)回行われた共通質問及びN×2回行われた個人別質問)への回答結果から正答率を算出する方法を用いてもよい。
認知症の症状が進むほど、個人別質問の元になる回答内容(例えばペットの名前)がそもそも間違っている可能性が高くなるため、記憶力が改善されて正しい答えをしても個人別質問への回答が誤りになってしまい、判定の精度が悪く(正しく判定されなく)なる。一方、共通質問であれば、個人別情報のように正しい答えが得られなくなるということがないから、個人別質問に比べて、認知症の症状が進んでいても判定の精度が悪くなりにくい。
蓄積期間が開始されたばかりの頃は認知症の症状の状況が分からないので、仮に認知症の症状が進んでいたとしても判定に用いやすい共通質問への回答結果の重みを重くすることで、例えば反対の重み付けをする場合(個人別質問への回答結果の重みを重くする場合)に比べて認知症に関する判定の精度を高める(認知症の症状の状況を正しく判定する)ことができる。
認知症関連判定部108は、蓄積期間が第1の期間に達した後は、第1の期間における判定結果に応じた重み付けを行う。認知症関連判定部108は、例えば、認知症の症状の状況が良好でないことを示す不良判定(例えば症状の度合いであれば「要注意」、症状の進み具合であれば「悪化傾向」という判定)を、認知症の症状の状況が良好であることを示す良好判定(例えば症状の度合いであれば「なし」又は「軽微」、症状の進み具合であれば「改善傾向」という判定)よりも一定割合以上多く(例えば良好判定の1.5倍以上の回数)行った場合には、第1の期間と同じ理由で、個人別質問よりも共通質問への回答結果の重みを重くしたままにする。
一方、認知症関連判定部108は、第1の期間において良好判定を不良判定よりも一定割合以上多く(例えば不良判定の1.5倍以上の回数)行った場合には、個人別質問への回答結果の重みを共通質問よりも重くする。認知症が進んでいなければ、実施例で述べたように個人別質問を用いた方が共通質問を用いる場合に比べて記憶力の衰え具合を高い精度で判定することができるから、このように個人別質問の重み付けを重くすることで、反対の重み付けをする場合に比べて認知症に関する判定の精度を高めることができる。
なお、認知症関連判定部108は、良好判定と不良判定の回数が互いに相手の一定割合に収まる場合には、個人別質問及び共通質問の重みを等しくする。また、認知症関連判定部108は、蓄積期間が第1の期間に達した後、さらに第2の期間が経過すると、第2の期間における判定結果に応じた重み付けを行う。認知症関連判定部108は、この場合の重み付けを、第1の期間における判定結果に応じた重み付けと同様に(つまり第1の期間を第2の期間に置き換えて)行う。
その後も、認知症関連判定部108は、第2の期間が経過する度に、経過した第2の期間における判定結果に応じた重み付けを行う。そうすることで、或る時期に対象ユーザの認知症が進んだとしても、それまでは個人別質問の重み付けを重くすることで判定の精度を高め、それ以降は共通質問の重みを重くして判定の精度を高めることができる。
なお、認知症関連判定部108は、重み付けを段階的に変化させてもよい。認知症関連判定部108は、例えば前の期間(第1の期間又は第2の期間)における全体の判定回数のうちの良好判定の回数の割合の閾値Th1、Th2、Th3、Th4を定めておき(Th1>Th2>Th3>Th4)、その割合が閾値Th1以上であれば個人別質問の重みを共通質問の重みの2倍とし、その割合が閾値Th1未満Th2以上であれば個人別質問の重みを共通質問の重みの1.5倍とする。
また、認知症関連判定部108は、上記割合が閾値Th2未満Th3以上であれば個人別質問の重みを共通質問の重みの1.0倍とし、上記割合が閾値Th3未満Th4以上であれば個人別質問の重みを共通質問の重みの0.75倍とし、上記割合が閾値Th4未満であれば個人別質問の重みを共通質問の重みの0.5倍とする。このように重み付けを段階的に変化させることで、この変化をさせない場合に比べて、対象ユーザの認知症の症状の状況に対してより適した質問を用いることができ、その結果、認知症に関する判定の精度を高めることができる。
[2−12]各部を実現する装置
図3等に表す各機能を実現する装置は、それらの図に表された装置に限らない。例えばサーバ装置10が備える機能をホームルータ20等の対象ユーザの家に設置される装置が実現してもよい。また、サーバ装置10が備える各機能を2以上の装置がそれぞれ実現してもよい。要するに、認知症予防システム全体としてこれらの機能が実現されていれば、認知症予防システムが何台の装置を備えていてもよい。
[2−13]システム
上記の各例では、認知症の予防を支援するシステム(認知症予防システム)について説明したが、本発明は、他のシステムにも適用可能である。例えば、認知症の予防対象にならない若いユーザであっても、過去の自分の発話内容に基づいて回答可能な質問に答えることで記憶力の強化することを支援するシステムに適用してもよい。
また、電子ペットの付加機能として、電子ペットに対する声掛けを発話内容として用いて回答可能な質問に答えることで、電子ペットへの愛着を持たせることを支援するシステムに適用してもよい。また、音声操作が可能なIOT家電からの指示及び操作の音声を発話内容として用いて回答可能な質問に答えることで、IOT家電の操作を上達させることを支援するシステムに適用してもよい。要するに、ユーザへの質問を行うことで何らかの目的(認知症の予防及び記憶力の強化等)を達成することができるものであれば、本発明をどのようなシステムに適用してもよい。
[2−14]発明のカテゴリ
本発明は、ホームルータ、第1ユーザ端末、第2ユーザ端末及びサーバ装置等の情報処理装置の他、それらの装置を備える認知症予防システム等の情報処理システムとしても捉えられる。また、本発明は、各装置が実施する処理を実現するための情報処理方法としても捉えられるし、各装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。
[2−15]処理手順等
本明細書で説明した各実施例の処理手順、シーケンス、フローチャートなどは、矛盾がない限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
[2−16]入出力された情報等の扱い
入出力された情報等は特定の場所(例えばメモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
[2−17]ソフトウェア
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
[2−18]情報、信号
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
[2−19]システム、ネットワーク
本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
[2−20]「に基づいて」の意味
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
[2−21]「及び」、「又は」
本明細書において、「A及びB」でも「A又はB」でも実施可能な構成については、一方の表現で記載された構成を、他方の表現で記載された構成として用いてもよい。例えば「A及びB」と記載されている場合、他の記載との不整合が生じず実施可能であれば、「A又はB」として用いてもよい。
[2−22]態様のバリエーション等
本明細書で説明した各実施例は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
1…認知症予防システム、3…固定電話機、10…サーバ装置、20…ホームルータ、30…第1ユーザ端末、40…第2ユーザ端末、101…質問情報出力部、102…回答音声取得部、103…音声認識部、104…回答内容蓄積部、105…質問情報生成部、106…共通質問材料記憶部、107…個人別質問材料蓄積部、108…認知症関連判定部、201、301…質問情報取得部、202、302…質問音声出力部、203、303…録音部、204、304…回答音声送信部、401…判定結果要求部、402…判定結果表示部、111…トリガ情報出力部、112…発話音声取得部、114…発話内容蓄積部、115…トリガ情報生成部、116…共通トリガ材料記憶部、117…個人別トリガ材料蓄積部、211、311…トリガ情報取得部、212、312…トリガ音声出力部、214、314…発話音声送信部。

Claims (10)

  1. ユーザの発話の契機となるトリガ情報を出力する出力部と、
    出力された前記トリガ情報に応答して発せられた前記ユーザの音声を取得する取得部と、
    取得された前記音声が示す発話内容に基づいて回答可能な質問を示す情報を前記トリガ情報として生成する生成部と
    を備える情報処理装置。
  2. 第1質問事項と、前記第1質問事項への回答に関連する第2質問事項を記憶する記憶部を備え、
    前記生成部は、前記第1質問事項を示す情報を前記トリガ情報として生成し、当該第1質問事項に対する回答が取得された場合に、前記第2質問事項を示す情報を前記トリガ情報として生成する
    請求項1に記載の情報処理装置。
  3. 取得された前記音声が示す発話内容を蓄積する蓄積部を備え、
    前記生成部は、前記第1質問事項への過去の回答と、当該第1質問事項への新たな回答とが異なる場合に、前記第2質問事項を示す情報を前記トリガ情報として生成する
    請求項2に記載の情報処理装置。
  4. 前記質問への回答を示す音声が取得された場合に、当該質問の元になった発話内容と当該回答とを比較して、前記ユーザに関する所定の判定を行う判定部を備える
    請求項1から3のいずれか1項に記載の情報処理装置。
  5. 前記判定部は、前記質問への回答と、当該質問の元になった発話内容であって当該質問の内容に応じた時期に取得された前記ユーザの音声が示す発話内容とを比較する
    請求項4に記載の情報処理装置。
  6. 前記判定部は、前記ユーザの音声が取得された時期に応じた頻度で前記判定を行う
    請求項4又は5に記載の情報処理装置。
  7. 前記判定部は、前記回答と前記発話内容のずれの度合いが判定基準に達しているか否かに応じて前記判定を行い、当該回答を示す音声が取得された時期に応じて前記判定基準を変化させる
    請求項4から6のいずれか1項に記載の情報処理装置。
  8. 前記生成部は、カテゴリと難易度が共通する複数の比較用質問を示す情報を前記トリガ情報として所定の期間の間隔で順番に生成し、
    前記判定部は、前記比較用質問への回答と当該比較用質問の正解とを比較して前記判定を行う
    請求項4から7のいずれか1項に記載の情報処理装置。
  9. 前記生成部は、過去の第1の期間に取得された前記音声が示す発話内容に基づいて回答可能な質問を示す情報を前記トリガ情報として生成し、前記第1の期間より長い過去の第2の期間に取得された前記音声が示す発話内容に基づいて回答可能な質問を示す情報を前記トリガ情報として生成し、
    前記判定部は、前記第1期間における前記ユーザの変化を判定する第1の判定と、前記第2の期間における前記ユーザの変化を判定する第2の判定とを行う
    請求項4から8のいずれか1項に記載の情報処理装置。
  10. 前記生成部は、前記発話内容に基づいて回答可能な質問を示す情報の他に、ユーザ間で正解が共通する共通質問を示す情報を前記トリガ情報として生成し、
    前記判定部は、前記回答可能な質問への回答結果及び前記共通質問への回答結果の両方に基づいて前記判定を行い、前記ユーザの前記発話内容を示す音声が初めて取得されてから経過した期間に応じて当該両方の回答結果のそれぞれに重み付けを行う
    請求項4から9のいずれか1項に記載の情報処理装置。
JP2017135632A 2017-07-11 2017-07-11 情報処理装置 Active JP6857098B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017135632A JP6857098B2 (ja) 2017-07-11 2017-07-11 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017135632A JP6857098B2 (ja) 2017-07-11 2017-07-11 情報処理装置

Publications (2)

Publication Number Publication Date
JP2019020775A true JP2019020775A (ja) 2019-02-07
JP6857098B2 JP6857098B2 (ja) 2021-04-14

Family

ID=65355644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017135632A Active JP6857098B2 (ja) 2017-07-11 2017-07-11 情報処理装置

Country Status (1)

Country Link
JP (1) JP6857098B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021117580A (ja) * 2020-01-23 2021-08-10 株式会社ミクシィ 情報処理装置、及びプログラム
JP2021125002A (ja) * 2020-02-06 2021-08-30 ソフトバンク株式会社 情報処理装置、方法及びプログラム
WO2022234693A1 (ja) * 2021-05-07 2022-11-10 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP7450216B2 (ja) 2020-03-24 2024-03-15 パナソニックIpマネジメント株式会社 認知機能判定システム、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916072A (ja) * 1995-07-03 1997-01-17 Casio Comput Co Ltd 検査装置
JP2004267525A (ja) * 2003-03-10 2004-09-30 Fujitsu Ltd 患者監視方法
JP2007282992A (ja) * 2006-04-19 2007-11-01 Sky Kk 認知症診断支援システム
JP2010054549A (ja) * 2008-08-26 2010-03-11 Gifu Univ 回答音声認識システム
JP2011108142A (ja) * 2009-11-20 2011-06-02 Nec Corp プロファイリング装置、プロファイリング方法およびプログラム
JP2013246459A (ja) * 2012-05-23 2013-12-09 Sharp Corp 認知症問診支援装置
JP2017059040A (ja) * 2015-09-17 2017-03-23 パナソニックIpマネジメント株式会社 認知機能支援システム及びそのプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916072A (ja) * 1995-07-03 1997-01-17 Casio Comput Co Ltd 検査装置
JP2004267525A (ja) * 2003-03-10 2004-09-30 Fujitsu Ltd 患者監視方法
JP2007282992A (ja) * 2006-04-19 2007-11-01 Sky Kk 認知症診断支援システム
JP2010054549A (ja) * 2008-08-26 2010-03-11 Gifu Univ 回答音声認識システム
JP2011108142A (ja) * 2009-11-20 2011-06-02 Nec Corp プロファイリング装置、プロファイリング方法およびプログラム
JP2013246459A (ja) * 2012-05-23 2013-12-09 Sharp Corp 認知症問診支援装置
JP2017059040A (ja) * 2015-09-17 2017-03-23 パナソニックIpマネジメント株式会社 認知機能支援システム及びそのプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小林 優佳 外: "医師の診断支援のためのネットワークロボットによる家庭内での高齢者の健康情報収集", 電子情報通信学会2011年総合大会講演論文集 情報・システム1, JPN6020046997, 28 February 2011 (2011-02-28), JP, pages 45 - 46, ISSN: 0004403959 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021117580A (ja) * 2020-01-23 2021-08-10 株式会社ミクシィ 情報処理装置、及びプログラム
JP7436804B2 (ja) 2020-01-23 2024-02-22 株式会社Mixi 情報処理装置、及びプログラム
JP2021125002A (ja) * 2020-02-06 2021-08-30 ソフトバンク株式会社 情報処理装置、方法及びプログラム
JP7218312B2 (ja) 2020-02-06 2023-02-06 ソフトバンク株式会社 情報処理装置、方法及びプログラム
JP7450216B2 (ja) 2020-03-24 2024-03-15 パナソニックIpマネジメント株式会社 認知機能判定システム、及びプログラム
WO2022234693A1 (ja) * 2021-05-07 2022-11-10 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP6857098B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
US10885278B2 (en) Auto tele-interview solution
JP6857098B2 (ja) 情報処理装置
US9215194B2 (en) Method and apparatus to process an incoming message
US10680993B2 (en) Sonic social network
Brunnegård et al. Untrained listeners' ratings of speech disorders in a group with cleft palate: A comparison with speech and language pathologists ‚ratings
US20020138338A1 (en) Customer complaint alert system and method
Chisolm et al. Evidence for the use of hearing assistive technology by adults: the role of the FM system
US20200152304A1 (en) Systems And Methods For Intelligent Voice-Based Journaling And Therapies
Moran et al. Music appreciation and music listening in prelingual and postlingually deaf adult cochlear implant recipients
JP5881647B2 (ja) 判定装置、判定方法及び判定プログラム
Fulcher et al. Typical consonant cluster acquisition in auditory-verbal children with early-identified severe/profound hearing loss
Boyle et al. Defining volunteering for community campaigns: An exploration of race, self perceptions, and campaign practices
Cantor-Cutiva et al. Work-related communicative profile of radio broadcasters: a case study
Remacle et al. Impact of vocal load on breathiness: Perceptual evaluation
Jeffs et al. A pilot study to explore the experiences of congenitally or early profoundly deafened candidates who receive cochlear implants as adults
US20240013787A1 (en) System and method for voice controlled automatic information access and retrieval
US20140278404A1 (en) Audio merge tags
King et al. Can watching a television documentary change the way men view masculinity?
JP5267269B2 (ja) 会議管理装置及び方法
Lelic et al. Critical hearing experiences manifest differently across individuals: insights from hearing aid data captured in real-life moments
US11526541B1 (en) Method for collaborative knowledge base development
O'Brian et al. A new method to sample stuttering in preschool children
US10999438B1 (en) Communication session scheduling queue
Solanke Household wealth, decision-making, and high-parity pregnancies in Nigeria
Hanvey et al. Preschool television programmes: analysis using SmartSound IQ data logging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210319

R150 Certificate of patent or registration of utility model

Ref document number: 6857098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250