JP2011223369A - 認知症患者用会話システム - Google Patents
認知症患者用会話システム Download PDFInfo
- Publication number
- JP2011223369A JP2011223369A JP2010091074A JP2010091074A JP2011223369A JP 2011223369 A JP2011223369 A JP 2011223369A JP 2010091074 A JP2010091074 A JP 2010091074A JP 2010091074 A JP2010091074 A JP 2010091074A JP 2011223369 A JP2011223369 A JP 2011223369A
- Authority
- JP
- Japan
- Prior art keywords
- conversation
- data
- terminal
- smile
- data group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】 本発明は、認知症患者の笑顔を検出し、それに応じて適切な会話を提供できる認知症患者用会話システムを提供する。
【解決手段】 本発明の認知症患者用会話システムは、サーバと端末とを含み、サーバが、の会話開始データ及び会話継続データを複数含む会話データ群を複数有する会話データベースと、会話開始データを端末に送信する会話開始手段と、認知症患者からの返答内容を認識する認識手段と、返答内容に対応した会話継続データを端末に送信する会話継続手段と、使用者の顔画像データから笑顔を検出し、その数を記録する笑顔検出手段と、笑顔検出顔画像データの数に基づいて、１つの会話データ群当たりの笑顔の出現頻度を算出する笑顔算出手段と、を有し、笑顔算出手段が、２つ以上の会話データ群の笑顔の出現頻度を会話データ群ごとに関連付けて記録する。
【選択図】 図１
【解決手段】 本発明の認知症患者用会話システムは、サーバと端末とを含み、サーバが、の会話開始データ及び会話継続データを複数含む会話データ群を複数有する会話データベースと、会話開始データを端末に送信する会話開始手段と、認知症患者からの返答内容を認識する認識手段と、返答内容に対応した会話継続データを端末に送信する会話継続手段と、使用者の顔画像データから笑顔を検出し、その数を記録する笑顔検出手段と、笑顔検出顔画像データの数に基づいて、１つの会話データ群当たりの笑顔の出現頻度を算出する笑顔算出手段と、を有し、笑顔算出手段が、２つ以上の会話データ群の笑顔の出現頻度を会話データ群ごとに関連付けて記録する。
【選択図】 図１
Description
本発明は、サーバと端末を用いて、認知症患者の笑顔を検出して認知症患者に適切な会話を提供できる認知症患者用会話システムに関する。
認知症患者の治療には、投薬のほか、昔の映像を認知症患者に見せることによって脳を活性化する回想法も行われている。
また、認知症患者が会話することによっても、症状の進行を抑制できると思われる。
しかしながら、認知症患者が興味を示さない会話ばかりしていると、脳が活性化せず、症状の進行を抑制する効果が期待できない。さらに、認知症患者は笑っている時間が多いほど認知症の進行が抑制され、更に認知症の改善が期待できることが、経験的に分かっている。
従って、介護者が個々の認知症患者ごとに適した会話を長時間行っていけば、認知症の症状の進行を抑制し、更にその改善も期待できる。
しかしながら、介護者の数が絶対的に不足している現状においては、介護者が個々の認知症患者に長時間会話をすることは実際には不可能である。
また、認知症患者が会話することによっても、症状の進行を抑制できると思われる。
しかしながら、認知症患者が興味を示さない会話ばかりしていると、脳が活性化せず、症状の進行を抑制する効果が期待できない。さらに、認知症患者は笑っている時間が多いほど認知症の進行が抑制され、更に認知症の改善が期待できることが、経験的に分かっている。
従って、介護者が個々の認知症患者ごとに適した会話を長時間行っていけば、認知症の症状の進行を抑制し、更にその改善も期待できる。
しかしながら、介護者の数が絶対的に不足している現状においては、介護者が個々の認知症患者に長時間会話をすることは実際には不可能である。
本発明の目的は、認知症患者の笑顔を検出し、それに応じて適切な会話を提供できる認知症患者用会話システムを提供することである。
本発明の認知症患者用会話システムは、サーバと、前記サーバにネットワークを介して繋がった認知症患者用の端末と、を含み、前記端末が、画像表示装置と、カメラ装置と、音声入力装置と、音声出力装置と、前記カメラ装置及び音声入力装置から得られた認知症患者の顔画像データ及び音声データを前記サーバに送信する送受信手段と、を有し、前記サーバが、認知症患者に対して会話を開始するための会話開始データ及び認知症患者に対して会話を継続するための会話継続データを複数含み且つ話題の内容ごとにグループ分けされた会話データ群を複数有する会話データベースと、前記会話データ群の中の会話開始データを選択し、それを前記端末に送信する会話開始手段と、前記端末からの音声データを解析して認知症患者からの返答内容を認識する認識手段と、前記認識された返答内容に対応した会話継続データを前記会話データ群の中から選び、その会話継続データを前記端末に送信する会話継続手段と、前記端末から順次送信された顔画像データに基づいて笑顔を検出し、笑顔が検出された顔画像データの数を記録する笑顔検出手段と、１つの会話データ群を送信している間における笑顔検出顔画像データの数に基づいて、１つの会話データ群当たりの笑顔の出現頻度を算出する笑顔算出手段と、を有し、前記笑顔算出手段が、２つ以上の会話データ群の笑顔の出現頻度をそれぞれ算出すると共に、その笑顔の出現頻度を会話データ群ごとに関連付けて記録する。
本発明の好ましい認知症患者用会話システムは、前記サーバが、前記会話データ群ごとの笑顔の出現頻度に基づいて、所定の会話データ群を端末に送信し続ける時間を決定する会話時間調整手段をさらに有する。
本発明に係る認知症患者用会話システムは、会話している間の認知症患者の笑顔を検出し、その笑顔の出現頻度に応じて、その会話時間を調整し、或いは、その会話内容を変更できる。従って、本発明の認知症患者用会話システムによれば、認知症患者が興味を示す会話を重点的に認知症患者に提供できる。また、本発明の認知症患者用会話システムによれば、複数の認知症患者に対して、前記会話を同時に提供することも可能である。
本発明の認知症患者用会話システムを利用すれば、認知症の症状の進行を抑制し、更にその改善も期待できる。
本発明の認知症患者用会話システムを利用すれば、認知症の症状の進行を抑制し、更にその改善も期待できる。
以下、本発明について、具体的に説明する。
認知症患者用会話システムは、主として認知症患者（以下、使用者という場合がある）が使用するシステムである。認知症患者用会話システムは、図１に示すように、インターネットなどのネットワーク３を介して繋がった、サーバ１と、認知症患者用の端末２，…と、を有する。
端末は、コンピュータ部と、ハードディスクやＲＡＭのような記録装置と、画像を表示する画像表示装置（ディスプレイ）と、使用者を撮影するカメラ装置と、音声を入力する音声入力装置（マイクロフォン）と、音声を出力する音声出力装置（スピーカー）と、ネットワークを介してサーバとの間で各種データを送受信する送受信装置（送受信手段）と、を有する。端末は、必要に応じて、キーボードやマウスなどの情報入力機器を有していてもよい。
認知症患者用会話システムは、主として認知症患者（以下、使用者という場合がある）が使用するシステムである。認知症患者用会話システムは、図１に示すように、インターネットなどのネットワーク３を介して繋がった、サーバ１と、認知症患者用の端末２，…と、を有する。
端末は、コンピュータ部と、ハードディスクやＲＡＭのような記録装置と、画像を表示する画像表示装置（ディスプレイ）と、使用者を撮影するカメラ装置と、音声を入力する音声入力装置（マイクロフォン）と、音声を出力する音声出力装置（スピーカー）と、ネットワークを介してサーバとの間で各種データを送受信する送受信装置（送受信手段）と、を有する。端末は、必要に応じて、キーボードやマウスなどの情報入力機器を有していてもよい。
コンピュータ部は、プログラムに従って所定の処理を実行する、一般的な情報処理装置である。通常、プログラムや各種データは、記録装置に記録されている。コンピュータ部は、記録装置にアクセスして、各種データを処理する（データの読み込み、新たなデータの記録、及び、データの更新など）。
なお、データとは、コンピュータ部及びサーバが取込み且つ処理できる電子情報をいう。
なお、データとは、コンピュータ部及びサーバが取込み且つ処理できる電子情報をいう。
カメラ装置は、端末に直接設けられていてもよいし、或いは、端末の近傍に設置されていてもよい。例えば、カメラ装置は、画像表示装置の上方部に取り付けられる。カメラ装置は、画像表示装置（端末）の前の使用者を撮影するために設けられている。
カメラ装置は、使用者の全体を撮影できるものでもよいし、或いは、使用者の上半身又は顔だけを撮影できるものでもよい。カメラ装置は、撮影した使用者の写真を画像データに変換する。
カメラ装置は、使用者の全体を撮影できるものでもよいし、或いは、使用者の上半身又は顔だけを撮影できるものでもよい。カメラ装置は、撮影した使用者の写真を画像データに変換する。
コンピュータ部は、使用者の少なくとも顔部分の画像データを、送受信装置を介してサーバに送信する。前記少なくとも顔部分の画像データ（以下、顔画像データという）とは、使用者の画像データの全部又は使用者の画像データのうちの顔部分を含む画像データをいう。
カメラ装置は、使用者を連続的に撮影してもよいし、或いは、所定時間毎（例えば５秒毎）に撮影してもよい。カメラ装置が使用者を連続的に撮影する場合、コンピュータ部は、その複数の顔画像データを、サーバに順次連続的に送信してもよいし、或いは、所定時間毎に順次送信してもよい。
カメラ装置は、使用者を連続的に撮影してもよいし、或いは、所定時間毎（例えば５秒毎）に撮影してもよい。カメラ装置が使用者を連続的に撮影する場合、コンピュータ部は、その複数の顔画像データを、サーバに順次連続的に送信してもよいし、或いは、所定時間毎に順次送信してもよい。
音声入力装置は、使用者の発した音声を取り込む装置である。音声入力装置は、コンピュータ部の指示に従い、取り込んだ音声を、音声認識機能によって音声データ及び文字データに変換する。音声認識機能は、公知のプログラムを利用すればよい。
この音声データ（必要に応じて音声データと文字データの双方）は、コンピュータ部の指示に従い、送受信装置を介してサーバに送信される。
この音声データ（必要に応じて音声データと文字データの双方）は、コンピュータ部の指示に従い、送受信装置を介してサーバに送信される。
音声出力装置は、サーバから送られてくるデータを、コンピュータ部の指示に従い、音声に変換し且つ再生する装置である。
画像表示装置は、コンピュータ部の指示に従い、所定の画像を画面に表示する。例えば、画像表示装置は、前記音声入力装置によって変換された文字データを、文字画像として画面に表示する。これにより、使用者は、自分の言った言葉を画像表示装置を通じて視認できる。
また、画像表示装置は、サーバから送信される文字データ（会話開始データ及び会話継続データの対応する各文字データ）を、文字画像として画面に表示する。
また、画像表示装置は、サーバから送信される文字データ（会話開始データ及び会話継続データの対応する各文字データ）を、文字画像として画面に表示する。
サーバは、コンピュータ部と、ハードディスクのような記録装置と、複数の会話データ群を有する会話データベースと、会話データ群の中の会話開始データを選択し、それを端末に送信する会話開始手段と、前記端末からの音声データを解析して使用者からの返答内容を認識する認識手段と、前記認識された返答内容に対応した会話継続データを端末に送信する会話継続手段と、端末から送信された顔画像データに基づいて笑顔を検出する笑顔検出手段と、１つの会話データ群当たりの笑顔の出現頻度を算出する笑顔算出手段と、会話データ群ごとの笑顔の出現頻度に基づいて、所定の会話データ群を端末に送信し続ける時間を決定する会話時間調整手段と、前記会話時間調整手段の時間決定に基づいて、所定の会話データ群を端末に送信するリピート手段と、を有する。
サーバのコンピュータ部及び記録装置としては、従来公知のサーバと同様なものが用いられる。
会話データベースは、前記記録装置内に記録されている。サーバのコンピュータ部は、記録装置内の会話データベースにアクセスして、その中のデータを端末に送信する。
会話データベースＤＢは、図２に示すように、複数の会話データ群Ｄ１，Ｄ２，Ｄ３を有する。
１つの会話データ群は、使用者との間で会話を開始し且つ会話を続けていくための複数の会話データの集合である。１つの会話データ群Ｄ１は、会話を開始するための会話開始データＤＳ１ａ，ＤＳ１ｂと、その会話を継続するための会話継続データＤＣ１ａ，ＤＣ１ｂと、をそれぞれ複数含んでいる。他の会話データ群Ｄ２，Ｄ３も同様に、複数の会話開始データＤＳ２ａ，ＤＳ２ｂ，ＤＳ３ａ，ＤＳ３ｂと複数の会話継続データＤＣ２ａ，ＤＣ２ｂ，ＤＣ３ａ，ＤＣ３ｂとそれぞれを含んでいる。
会話データベースは、前記記録装置内に記録されている。サーバのコンピュータ部は、記録装置内の会話データベースにアクセスして、その中のデータを端末に送信する。
会話データベースＤＢは、図２に示すように、複数の会話データ群Ｄ１，Ｄ２，Ｄ３を有する。
１つの会話データ群は、使用者との間で会話を開始し且つ会話を続けていくための複数の会話データの集合である。１つの会話データ群Ｄ１は、会話を開始するための会話開始データＤＳ１ａ，ＤＳ１ｂと、その会話を継続するための会話継続データＤＣ１ａ，ＤＣ１ｂと、をそれぞれ複数含んでいる。他の会話データ群Ｄ２，Ｄ３も同様に、複数の会話開始データＤＳ２ａ，ＤＳ２ｂ，ＤＳ３ａ，ＤＳ３ｂと複数の会話継続データＤＣ２ａ，ＤＣ２ｂ，ＤＣ３ａ，ＤＣ３ｂとそれぞれを含んでいる。
また、各会話データ群Ｄ１，…中の複数の会話開始データＤＳ１ａ，…と複数の会話継続データＤＣ１ａ，…は、それぞれ予め決められた複数のキーワード１１，２１，…と関連付けられている。これらに関連付けされた複数のキーワード１１，２１，…は、各々、その内容に応じてポイント付け（順位付け）されている。例えば、第１のキーワード１１は１００ポイント、第２のキーワード１２は８０ポイントなどのように順位付けされている。
なお、上記各会話開始データ及び会話継続データの内容を、端末の画像表示装置に文字画像として表示できるようにするため、会話データベースは、各会話開始データ及び会話継続データの内容に対応した各文字データを有していてもよい。これらの文字データは、対応する会話開始データ及び会話継続データと共に端末に送信される。この場合、使用者は、サーバから送られてくる会話の内容を、端末の音声出力装置だけでなく、画像表示装置から視認することができる。
会話データ群は、話題の内容ごとにグループ分けされた会話データの集まりである。すなわち、１つの会話データ群は、ある特定の話題に関する複数の会話データが集められている。
各会話データ群の話題は、特に限定されず、任意に設定できる。
例えば、図２の会話データ群Ｄ１は、歌謡曲に関する話題を中心とする会話データの集まり、会話データ群Ｄ２は、食事に関する話題を中心とする会話データの集まり、会話データ群Ｄ３は、映画に関する話題を中心とする会話データの集まりというように、予め設定されている。
もちろん、各会話データ群の話題は、これらの例示に限られず、使用者が興味を示すような様々なジャンルに対応した話題が適宜設定される。
各会話データ群の話題は、特に限定されず、任意に設定できる。
例えば、図２の会話データ群Ｄ１は、歌謡曲に関する話題を中心とする会話データの集まり、会話データ群Ｄ２は、食事に関する話題を中心とする会話データの集まり、会話データ群Ｄ３は、映画に関する話題を中心とする会話データの集まりというように、予め設定されている。
もちろん、各会話データ群の話題は、これらの例示に限られず、使用者が興味を示すような様々なジャンルに対応した話題が適宜設定される。
１つの会話データ群は、ある特定の話題に関する会話を使用者との間で開始し、その会話を続けていくための複数の会話データの集まりである。
１つの会話データ群は、会話を開始するための内容を含む会話開始データと、その会話を継続するための会話継続データと、を有する。１つの会話データ群には、前記会話開始データと前記会話継続データとがそれぞれ複数含まれている。
１つの会話データ群は、会話を開始するための内容を含む会話開始データと、その会話を継続するための会話継続データと、を有する。１つの会話データ群には、前記会話開始データと前記会話継続データとがそれぞれ複数含まれている。
例えば、歌謡曲に関する話題を中心とする会話データ群中には、次のような音声（及び文字画像）を端末から出力できる会話開始データ及び会話継続データが含まれている。
会話開始データの一例：ある歌手のヒット曲に関する問いかけ。例えば「ＸＸＸを聞いたことがありますか？」など。
会話継続データの一例：前記問いかけに対する使用者からの返答に対するサーバからの回答。例えば、「ＸＸＸを歌ってください」、「ＸＸＸは良いですね」など。
会話継続データの一例：前記回答に対する使用者からの返答に対するサーバーからの更なる回答又は更なる問いかけ。例えば「上手に歌えましたね」、「ＹＹＹを知っていますか？」など。
会話開始データの一例：ある歌手のヒット曲に関する問いかけ。例えば「ＸＸＸを聞いたことがありますか？」など。
会話継続データの一例：前記問いかけに対する使用者からの返答に対するサーバからの回答。例えば、「ＸＸＸを歌ってください」、「ＸＸＸは良いですね」など。
会話継続データの一例：前記回答に対する使用者からの返答に対するサーバーからの更なる回答又は更なる問いかけ。例えば「上手に歌えましたね」、「ＹＹＹを知っていますか？」など。
［ステップＳ１０１］
図３に示すように、本システムを利用して会話を開始するときには、最初に、サーバの会話開始手段が、前記会話データベースの中から任意の会話データ群を選択する。この選択される会話データ群は、予め決まっていてもよいし、或いは、任意にサーバが決めてもよい。選択が決まっている場合としては、例えば、システムの利用開始前に使用者が話題を選択してそれをサーバに送信する場合；使用者の個人情報がサーバの記録装置に記録されており、その個人情報に基づいてサーバが会話データ群を選択する場合；などが挙げられる。
以下、本明細書において、複数の会話データ群を区別するため、会話データ群の後に（１），（２），（３），…という括弧付き番号を付す場合がある。
図３に示すように、本システムを利用して会話を開始するときには、最初に、サーバの会話開始手段が、前記会話データベースの中から任意の会話データ群を選択する。この選択される会話データ群は、予め決まっていてもよいし、或いは、任意にサーバが決めてもよい。選択が決まっている場合としては、例えば、システムの利用開始前に使用者が話題を選択してそれをサーバに送信する場合；使用者の個人情報がサーバの記録装置に記録されており、その個人情報に基づいてサーバが会話データ群を選択する場合；などが挙げられる。
以下、本明細書において、複数の会話データ群を区別するため、会話データ群の後に（１），（２），（３），…という括弧付き番号を付す場合がある。
［ステップＳ１０２］
さらに、会話開始手段は、前記選択した会話データ群（１）の中の複数の会話開始データの中から任意の会話開始データを選択する。この会話開始データは、端末に送信される。必要に応じて、会話開始手段は、会話開始データに対応した文字データを、会話開始データと共に端末に送信してもよい。
さらに、会話開始手段は、前記選択した会話データ群（１）の中の複数の会話開始データの中から任意の会話開始データを選択する。この会話開始データは、端末に送信される。必要に応じて、会話開始手段は、会話開始データに対応した文字データを、会話開始データと共に端末に送信してもよい。
［ステップＣ１０１］
端末の音声出力装置は、コンピュータ部の指示に従い、受信した会話開始データを音声に変換する。
変換された音声は音声出力装置から出される。その音声が使用者に聞こえることによって、使用者は、サーバの会話開始データの内容を認識できる。
なお、サーバから会話開始データに対応した文字データも送信される場合には、端末は、画像表示装置にその文字データを文字画像として表示する。
端末の音声出力装置は、コンピュータ部の指示に従い、受信した会話開始データを音声に変換する。
変換された音声は音声出力装置から出される。その音声が使用者に聞こえることによって、使用者は、サーバの会話開始データの内容を認識できる。
なお、サーバから会話開始データに対応した文字データも送信される場合には、端末は、画像表示装置にその文字データを文字画像として表示する。
［ステップＣ１０２］
この音声を聞いた使用者は、その内容に応じて返答（音声による返答）を行う。その返答は、端末の音声入力装置に入力され、音声データ及び文字データに変換される。変換された音声データは、送受信装置を介してサーバに送られる。一方、文字データは、端末の画像表示装置に文字画像として表示される。従って、使用者は、自分の話した内容を画像表示装置を通じて視認できる。
この音声を聞いた使用者は、その内容に応じて返答（音声による返答）を行う。その返答は、端末の音声入力装置に入力され、音声データ及び文字データに変換される。変換された音声データは、送受信装置を介してサーバに送られる。一方、文字データは、端末の画像表示装置に文字画像として表示される。従って、使用者は、自分の話した内容を画像表示装置を通じて視認できる。
［ステップＳ１０３］
前記使用者の音声データ（返答）を受信したサーバは、認識手段によってその音声データを解析する。
前記認識手段による音声データの解析は、例えば、形態素解析によって単語（品詞）に分割して行われる。なお、形態素解析のプログラムは従来公知であるので、その詳細な説明は省略する。
音声データの解析によって、サーバが使用者の返答内容を認識する。
前記使用者の音声データ（返答）を受信したサーバは、認識手段によってその音声データを解析する。
前記認識手段による音声データの解析は、例えば、形態素解析によって単語（品詞）に分割して行われる。なお、形態素解析のプログラムは従来公知であるので、その詳細な説明は省略する。
音声データの解析によって、サーバが使用者の返答内容を認識する。
［ステップＳ１０４］
サーバの会話継続手段は、現在会話している会話データ群（例えば、会話データ（１））の中の複数の会話継続データの中から、前記認識手段によって認識された使用者からの返答内容に対応する会話継続データを複数抽出する。すなわち、会話継続手段は、使用者からの返答内容に対して、使用者との間で会話が成立するような意味内容を有する会話継続データを複数抽出する。このような会話が成立し得る会話継続データの抽出は、公知の人工知能を有するロボットなどに採用されている会話プログラムを用いて行うことができる。
会話継続手段は、前記抽出した複数の会話継続データの中から、次の基準に従って又は任意に１つの会話継続データを選択し、それを端末に送信する。
ただし、前記抽出した会話継続データが１つしかなかった場合には、会話継続手段は、それを端末に送信する。
サーバの会話継続手段は、現在会話している会話データ群（例えば、会話データ（１））の中の複数の会話継続データの中から、前記認識手段によって認識された使用者からの返答内容に対応する会話継続データを複数抽出する。すなわち、会話継続手段は、使用者からの返答内容に対して、使用者との間で会話が成立するような意味内容を有する会話継続データを複数抽出する。このような会話が成立し得る会話継続データの抽出は、公知の人工知能を有するロボットなどに採用されている会話プログラムを用いて行うことができる。
会話継続手段は、前記抽出した複数の会話継続データの中から、次の基準に従って又は任意に１つの会話継続データを選択し、それを端末に送信する。
ただし、前記抽出した会話継続データが１つしかなかった場合には、会話継続手段は、それを端末に送信する。
抽出した複数の会話継続データの中から１つの会話継続データを選択することは、キーワードを基準に行うことができる。
具体的には、会話継続手段は、前記認識手段によって認識された返答内容の中からキーワードを１つ又は複数抽出する。次に、会話継続手段は、返答内容のキーワードと、上記抽出された複数の会話継続データに関連付けられたそれぞれのキーワードと、を照合する。
会話継続手段は、この照合によって、前記抽出した複数の会話継続データの中から、前記返答内容のキーワードに最も近いキーワードを有する会話継続データを決定する。会話継続手段は、前記決定した会話継続データを、端末に送信する。
具体的には、会話継続手段は、前記認識手段によって認識された返答内容の中からキーワードを１つ又は複数抽出する。次に、会話継続手段は、返答内容のキーワードと、上記抽出された複数の会話継続データに関連付けられたそれぞれのキーワードと、を照合する。
会話継続手段は、この照合によって、前記抽出した複数の会話継続データの中から、前記返答内容のキーワードに最も近いキーワードを有する会話継続データを決定する。会話継続手段は、前記決定した会話継続データを、端末に送信する。
なお、前記決定の方法としては、例えば、各会話継続データに関連付けされたキーワードの中から返答内容のキーワードに実質的に合致するキーワードを全て選び出し且つその選び出したキーワードのポイント（キーワードが複数の場合には、トータルポイント）が高いものを、返答内容のキーワードと最も近いと決定する方式が挙げられる。
例えば、第１の会話継続データに、第１−１のキーワード（１００ポイント）と第１−２のキーワード（５０ポイント）が会話データベース内で関連付けられ、第２の会話継続データに、第２−１のキーワード（１００ポイント）と第２−２のキーワード（８０ポイント）と第２−３のキーワード（６０ポイント）が会話データベース内で関連付けられている場合を例に採る。そして、返答内容のキーワードが前記第１−１、第２−２及び第２−３のキーワードにそれぞれ合致している場合には、第１の会話継続データのトータルポイントは、１００ポイントとなり、第２の会話継続データのトータルポイントは、１３０ポイントとなる。この例の場合には、端末に送信する会話継続データは、第２の会話継続データと決定される。
例えば、第１の会話継続データに、第１−１のキーワード（１００ポイント）と第１−２のキーワード（５０ポイント）が会話データベース内で関連付けられ、第２の会話継続データに、第２−１のキーワード（１００ポイント）と第２−２のキーワード（８０ポイント）と第２−３のキーワード（６０ポイント）が会話データベース内で関連付けられている場合を例に採る。そして、返答内容のキーワードが前記第１−１、第２−２及び第２−３のキーワードにそれぞれ合致している場合には、第１の会話継続データのトータルポイントは、１００ポイントとなり、第２の会話継続データのトータルポイントは、１３０ポイントとなる。この例の場合には、端末に送信する会話継続データは、第２の会話継続データと決定される。
［ステップＣ１０３］
端末の音声出力装置は、コンピュータ部の指示に従い、会話継続データを音声に変換する。変換された音声は音声出力装置から出される。
その音声が使用者に聞こえることによって、使用者は、サーバの会話継続データの内容を認識できる。
なお、サーバから会話継続データに対応した文字データも送信される場合には、端末は、画像表示装置にその文字データを文字画像として表示する。
端末の音声出力装置は、コンピュータ部の指示に従い、会話継続データを音声に変換する。変換された音声は音声出力装置から出される。
その音声が使用者に聞こえることによって、使用者は、サーバの会話継続データの内容を認識できる。
なお、サーバから会話継続データに対応した文字データも送信される場合には、端末は、画像表示装置にその文字データを文字画像として表示する。
［ステップＣ１０４］
会話継続データの音声を聞いた使用者は、その内容に応じて返答（音声による返答）を行う。その返答は、端末の音声入力装置に入力され、音声データ及び文字データに変換される。変換された音声データは、送受信装置を介してサーバに送信される。一方、文字データは、端末の画像表示装置に文字画像として表示される。従って、使用者は、自分の話した内容を画像表示装置を通じて視認できる。
会話継続データの音声を聞いた使用者は、その内容に応じて返答（音声による返答）を行う。その返答は、端末の音声入力装置に入力され、音声データ及び文字データに変換される。変換された音声データは、送受信装置を介してサーバに送信される。一方、文字データは、端末の画像表示装置に文字画像として表示される。従って、使用者は、自分の話した内容を画像表示装置を通じて視認できる。
［ステップＣ２０１］
端末のカメラ装置は、ステップＣ１０１〜Ｃ１０４とは独立して、サーバからの会話継続データの音声に対して返答しているときの使用者を順次撮影している。端末は、カメラ装置で撮影された使用者の顔画像データの複数を、送受信装置を介してサーバに連続的又は所定時間毎に送信する。後述するように、この顔画像データに基づいて、サーバの笑顔検出手段及び笑顔算出手段が、笑顔を検出し且つ笑顔の出現頻度を算出する。
端末のカメラ装置は、ステップＣ１０１〜Ｃ１０４とは独立して、サーバからの会話継続データの音声に対して返答しているときの使用者を順次撮影している。端末は、カメラ装置で撮影された使用者の顔画像データの複数を、送受信装置を介してサーバに連続的又は所定時間毎に送信する。後述するように、この顔画像データに基づいて、サーバの笑顔検出手段及び笑顔算出手段が、笑顔を検出し且つ笑顔の出現頻度を算出する。
［ステップＳ１０５］
使用者とサーバ間の会話がある程度進行した後、サーバは、会話内容を変更する。
サーバには、会話切替手段が設けられている。会話切替手段は、上記ステップＳ１０１〜Ｓ１０４に従って行われた既出の会話データ群の会話を、他の会話データ群の会話へと移行するために設けられている。
具体的には、上述のようにステップＳ１０１〜Ｓ１０４に従って１つの会話データ群（例えば、会話データ群（１））に含まれる会話が使用者とサーバの間で行われている。会話切替手段は、この会話データ群（１）の会話が、所定の基準を満たすかどうかを判断する。所定の基準としては、特に限定されず、例えば、会話データ群（１）の会話時間（例えば１０分間）を基準とする場合などが挙げられる。
上記所定の基準を満たしていることによって１つの会話データ群の会話を終了させるべきと会話切替手段が判断したときには、次のステップＳ１０６に移る。
使用者とサーバ間の会話がある程度進行した後、サーバは、会話内容を変更する。
サーバには、会話切替手段が設けられている。会話切替手段は、上記ステップＳ１０１〜Ｓ１０４に従って行われた既出の会話データ群の会話を、他の会話データ群の会話へと移行するために設けられている。
具体的には、上述のようにステップＳ１０１〜Ｓ１０４に従って１つの会話データ群（例えば、会話データ群（１））に含まれる会話が使用者とサーバの間で行われている。会話切替手段は、この会話データ群（１）の会話が、所定の基準を満たすかどうかを判断する。所定の基準としては、特に限定されず、例えば、会話データ群（１）の会話時間（例えば１０分間）を基準とする場合などが挙げられる。
上記所定の基準を満たしていることによって１つの会話データ群の会話を終了させるべきと会話切替手段が判断したときには、次のステップＳ１０６に移る。
会話切替手段が所定の基準を満たしていないと判断したときには、上記ステップＳ１０３に戻り、ステップＳ１０３，Ｓ１０４，Ｃ１０３，Ｃ１０４（認識手段及び会話継続手段）が繰り返され、使用者とサーバ間の会話が進行する。
ただし、この繰り返し時におけるステップＳ１０３において、認識手段は、会話継続データの音声に対する使用者からの返答を認識する。さらに、繰り返し時におけるステップＳ１０４では、会話継続手段は、その返答に応じて更に使用者との会話が継続するように、適切な会話継続データを選択し、これを端末に送信する。
ただし、この繰り返し時におけるステップＳ１０３において、認識手段は、会話継続データの音声に対する使用者からの返答を認識する。さらに、繰り返し時におけるステップＳ１０４では、会話継続手段は、その返答に応じて更に使用者との会話が継続するように、適切な会話継続データを選択し、これを端末に送信する。
［ステップＳ１０６］
上記ステップＳ１０５において、所定の基準を満たしていると判断したとき（例えば、１つの会話データ群の会話が所定時間行われたと判断したとき）、会話切替手段は、予め設定された全ての会話データ群の会話を終了したかどうか判断する。
すなわち、会話切替手段による会話の切り替え回数は、予め設定されている。会話切替手段は、サーバに予め設定された会話データ群の会話を全て終了したと判断したときには、後述する会話時間調整手段が優先される（ステップＳ１０７に移る）。
上記ステップＳ１０５において、所定の基準を満たしていると判断したとき（例えば、１つの会話データ群の会話が所定時間行われたと判断したとき）、会話切替手段は、予め設定された全ての会話データ群の会話を終了したかどうか判断する。
すなわち、会話切替手段による会話の切り替え回数は、予め設定されている。会話切替手段は、サーバに予め設定された会話データ群の会話を全て終了したと判断したときには、後述する会話時間調整手段が優先される（ステップＳ１０７に移る）。
例えば、サーバが、使用者に対し３つの会話データ群（１），（２），（３）の会話を提供するように設定されている場合を例に採る。この場合、会話切替手段は、会話データ群（１），（２），（３）の会話を使用者に提供したと判断した場合には、ステップＳ１０７に移る。
一方、会話切替手段が、サーバに予め設定された会話データ群の会話を全て終了していないと判断したときには、会話切替手段は、会話継続手段に働きかけて会話データ群（１）（既出の会話データ群）の会話継続データの送信を停止させ、且つ会話開始手段に働きかけて既出の会話データ群（１）以外の会話データ群を選択させる。
会話切替手段の指示に従い、会話開始手段は、未出の会話データ群（例えば、会話データ群（２））を選択する（ステップＳ１０１に戻る）。
未出の会話データ群（２）を選択した後、会話開始手段は、ステップＳ１０２に従い、その会話データ群（２）の中から任意の会話開始データを選択してこの会話開始データ（必要に応じて文字データ）を端末に送信する。以後、この会話データ群（２）に基づいて、上記認識手段及び会話継続手段によって、ステップＳ１０３，Ｓ１０４，Ｃ１０３，Ｃ１０４，Ｓ１０５が繰り返され、使用者とサーバ間の会話が進行する。
未出の会話データ群（２）を選択した後、会話開始手段は、ステップＳ１０２に従い、その会話データ群（２）の中から任意の会話開始データを選択してこの会話開始データ（必要に応じて文字データ）を端末に送信する。以後、この会話データ群（２）に基づいて、上記認識手段及び会話継続手段によって、ステップＳ１０３，Ｓ１０４，Ｃ１０３，Ｃ１０４，Ｓ１０５が繰り返され、使用者とサーバ間の会話が進行する。
さらに、ステップＳ１０５において、前記会話データ群（２）について所定の基準を満たすと判断したとき、会話切替手段は、会話開始手段に働きかけて、会話データ群（１）及び（２）（既出の会話データ群）以外の会話データ群（３）を選択させる。会話開始手段は、未出の会話データ群（３）を選択した後、ステップＳ１０２に従い、その会話データ群（３）の中から任意の会話開始データを選択してこれを端末に送信する。以後、この会話データ群（３）に基づいて、上記認識手段及び会話継続手段によって、ステップＳ１０３，Ｓ１０４，Ｃ１０３，Ｃ１０４，Ｓ１０５が繰り返される。
そして、会話データ群（１），（２），（３）の会話が終了した後、ステップＳ１０７に移る。
そして、会話データ群（１），（２），（３）の会話が終了した後、ステップＳ１０７に移る。
［ステップＳ２０１］
他方、サーバでは、別途のルーチンによって、会話を行っている間の使用者の笑顔が検出されている。
すなわち、サーバの笑顔検出手段が、端末から送信された顔画像データに基づいて使用者の笑顔を検出している。
上記会話継続手段によって、使用者とサーバが会話を行っている間（全ての会話データ群（１），（２），（３）に基づく会話を行っている間）、端末のカメラ装置から使用者の顔画像データが順次サーバに送られている（ステップＣ２０１参照）。
他方、サーバでは、別途のルーチンによって、会話を行っている間の使用者の笑顔が検出されている。
すなわち、サーバの笑顔検出手段が、端末から送信された顔画像データに基づいて使用者の笑顔を検出している。
上記会話継続手段によって、使用者とサーバが会話を行っている間（全ての会話データ群（１），（２），（３）に基づく会話を行っている間）、端末のカメラ装置から使用者の顔画像データが順次サーバに送られている（ステップＣ２０１参照）。
笑顔検出手段は、この顔画像データが、一定の基準を満たしている場合には、その顔画像データは笑顔の状態と判定し、その基準を満たしていない場合には、笑顔でないと判定する。
この判定は、顔画像データの中の口や目の変化を中心にして行われる。顔画像データの笑顔の判定は、市販のデジタルカメラ（例えば、ソニー株式会社製、商品名「ＣＹＢＥＲ−ＳＨＯＴのスマイルシャッター」など）に搭載されている笑顔検出プログラムが公知であり、その詳細な説明は省略する。
この判定は、顔画像データの中の口や目の変化を中心にして行われる。顔画像データの笑顔の判定は、市販のデジタルカメラ（例えば、ソニー株式会社製、商品名「ＣＹＢＥＲ−ＳＨＯＴのスマイルシャッター」など）に搭載されている笑顔検出プログラムが公知であり、その詳細な説明は省略する。
笑顔検出手段は、端末から順次送られてくる顔画像データの全て対して前記笑顔かどうかの判定を行ってもよいし、或いは、所定時間毎（例えば５秒ごとのような短い時間ごと）の顔画像データに対して前記笑顔の判定を行ってもよい。笑顔検出手段は、各会話データ群を送信している間のそれぞれの顔画像データに対してその笑顔を検出している。
笑顔検出手段は、下記の第１〜第３の各数をサーバの記録装置に記録する。
第１の数は、１つの会話データ群（例えば、会話データ群（１））に基づいて会話を行っている間に端末から送信される顔画像データのうち、笑顔の判定を行った顔画像データ（以下、判定対象顔画像データという）の総数である。
第２の数は、前記笑顔の判定を行った顔画像データのうち、笑顔と判定された顔画像データ（以下、笑顔検出顔画像データという）の総数である。
第３の数は、前記判定を行った顔画像データのうち、笑顔と判定されなかった顔画像データの総数である。
笑顔検出手段は、下記の第１〜第３の各数をサーバの記録装置に記録する。
第１の数は、１つの会話データ群（例えば、会話データ群（１））に基づいて会話を行っている間に端末から送信される顔画像データのうち、笑顔の判定を行った顔画像データ（以下、判定対象顔画像データという）の総数である。
第２の数は、前記笑顔の判定を行った顔画像データのうち、笑顔と判定された顔画像データ（以下、笑顔検出顔画像データという）の総数である。
第３の数は、前記判定を行った顔画像データのうち、笑顔と判定されなかった顔画像データの総数である。
［ステップＳ２０２］
サーバの笑顔算出手段は、１つの会話データ群（例えば、会話データ群（１））を端末に送信している間における笑顔の出現頻度を算出する。笑顔算出手段は、同様に、他の会話データ群（会話データ群（２），（３））を端末に送信している間における笑顔の出現頻度もそれぞれ算出する。
笑顔の出現頻度は、１つの会話データ群毎に、上記判定対象顔画像データの総数と笑顔検出顔画像データの総数に基づいて算出される（下記式参照）。各会話データ群について算出された笑顔の出現頻度は、会話データ群毎に関連付けてサーバの記録装置にそれぞれ記録される。
式：１つの会話データ群当たりの笑顔の出現頻度＝笑顔検出顔画像データの総数／判定対象顔画像データの総数。
サーバの笑顔算出手段は、１つの会話データ群（例えば、会話データ群（１））を端末に送信している間における笑顔の出現頻度を算出する。笑顔算出手段は、同様に、他の会話データ群（会話データ群（２），（３））を端末に送信している間における笑顔の出現頻度もそれぞれ算出する。
笑顔の出現頻度は、１つの会話データ群毎に、上記判定対象顔画像データの総数と笑顔検出顔画像データの総数に基づいて算出される（下記式参照）。各会話データ群について算出された笑顔の出現頻度は、会話データ群毎に関連付けてサーバの記録装置にそれぞれ記録される。
式：１つの会話データ群当たりの笑顔の出現頻度＝笑顔検出顔画像データの総数／判定対象顔画像データの総数。
例えば、会話データ群（１）を端末に送信している間において、その判定対象顔画像データの総数が１００枚で、そのうち笑顔と判定された笑顔検出顔画像データの総数が７５枚であった場合には、会話データ群（１）当たりの笑顔の出現頻度は、０．７５となる。
また、会話データ群（２）を端末に送信している間において、その判定対象顔画像データの総数が１００枚で、そのうち笑顔と判定された笑顔検出顔画像データの総数が５０枚であった場合には、会話データ群（２）当たりの笑顔の出現頻度は、０．５となる。
また、会話データ群（２）を端末に送信している間において、その判定対象顔画像データの総数が１００枚で、そのうち笑顔と判定された笑顔検出顔画像データの総数が５０枚であった場合には、会話データ群（２）当たりの笑顔の出現頻度は、０．５となる。
笑顔出現算出手段によって算出された笑顔の出現頻度を考慮することによって、どの会話データ群と会話しているときに使用者が笑顔となっているかが分かるようになる。
すなわち、笑顔の出現頻度が高い会話データ群ほど、その使用者にとって興味がある会話と判断できる。
すなわち、笑顔の出現頻度が高い会話データ群ほど、その使用者にとって興味がある会話と判断できる。
［ステップＳ１０７］
ステップＳ１０６に従い、会話切替手段によって予め設定された複数の会話データ群に基づく会話が全て終了したと判断された後、更に続けて会話が行われる。
続けて会話を行うとき、その会話時間が会話時間調整手段によって調整される。
ステップＳ１０６に従い、会話切替手段によって予め設定された複数の会話データ群に基づく会話が全て終了したと判断された後、更に続けて会話が行われる。
続けて会話を行うとき、その会話時間が会話時間調整手段によって調整される。
サーバの会話時間調整手段は、上記会話データ群ごとの笑顔の出現頻度に基づいて、所定の会話データ群を端末に送信し続ける時間（会話時間）を決定する。
上述のように、ステップＳ２０２に従い、各会話データ群ごとの笑顔の出現頻度が算出され、これが記録装置に記録されている。この笑顔の出現頻度に応じて、各会話データ群を、順位付けすることができる。
具体的には、会話時間調整手段は、記録装置から各会話データ群の笑顔の出現頻度をそれぞれ読み出し、笑顔の出現頻度の高い順に、各会話データ群を順位付けする。会話時間調整手段は、この順位付けに従って、各会話データ群の会話内容を端末に送信し続ける時間（会話時間）を決定する。この時間の決定は、任意であり、例えば、笑顔の出現頻度に一定の時間定数を掛けて算出する方式などが挙げられる。
上述のように、ステップＳ２０２に従い、各会話データ群ごとの笑顔の出現頻度が算出され、これが記録装置に記録されている。この笑顔の出現頻度に応じて、各会話データ群を、順位付けすることができる。
具体的には、会話時間調整手段は、記録装置から各会話データ群の笑顔の出現頻度をそれぞれ読み出し、笑顔の出現頻度の高い順に、各会話データ群を順位付けする。会話時間調整手段は、この順位付けに従って、各会話データ群の会話内容を端末に送信し続ける時間（会話時間）を決定する。この時間の決定は、任意であり、例えば、笑顔の出現頻度に一定の時間定数を掛けて算出する方式などが挙げられる。
例えば、笑顔算出手段によって、会話データ群（１）の笑顔の出現頻度が０．７５で、会話データ群（２）の笑顔の出現頻度が０．５で、会話データ群（３）の笑顔の出現頻度が０．６と算出されている場合を例に採る。この場合、笑顔の算出頻度の高い順に並べると、会話データ群（１）、会話データ群（３）、会話データ群（２）の順となる。
会話時間調整手段は、この順位付けに従って、例えば、会話データ群（１）の会話を送信する時間を１０分、会話データ群（３）の会話を送信する時間を７分、会話データ群（２）の会話を送信する時間を５分のように決定する。
会話時間調整手段は、この順位付けに従って、例えば、会話データ群（１）の会話を送信する時間を１０分、会話データ群（３）の会話を送信する時間を７分、会話データ群（２）の会話を送信する時間を５分のように決定する。
［ステップＳ３０１］
上記会話時間調整手段の時間決定に基づいて、会話が継続される。
図４に示すように、リピート手段は、会話時間調整手段の時間決定に基づいて、例えば、会話時間が最も長く決定された会話データ群を選択する。
上記会話時間調整手段の時間決定に基づいて、会話が継続される。
図４に示すように、リピート手段は、会話時間調整手段の時間決定に基づいて、例えば、会話時間が最も長く決定された会話データ群を選択する。
［ステップＳ３０２］
次に、リピート会話開始手段は、その選択した会話データ群の中の複数の会話開始データの中から任意の会話開始データを選択し、端末に送信する。この場合、リピート会話開始手段は、ステップＳ１０２によって既に使用者に送信した会話開始データ以外の会話開始データ（未出の会話開始データ）を選択することが好ましい。必要に応じて、ステップＳ１０２と同様に、前記会話開始データに対応した文字データを、会話開始データと共に端末に送信してもよい。
次に、リピート会話開始手段は、その選択した会話データ群の中の複数の会話開始データの中から任意の会話開始データを選択し、端末に送信する。この場合、リピート会話開始手段は、ステップＳ１０２によって既に使用者に送信した会話開始データ以外の会話開始データ（未出の会話開始データ）を選択することが好ましい。必要に応じて、ステップＳ１０２と同様に、前記会話開始データに対応した文字データを、会話開始データと共に端末に送信してもよい。
［ステップＣ３０１］
端末は、ステップＳ３０２に従って端末に送信された会話開始データを、ステップＣ１０１と同様に、音声に変換する。
なお、サーバから会話開始データに対応した文字データも送信される場合には、端末は、画像表示装置にその文字データを文字画像として表示する。
端末は、ステップＳ３０２に従って端末に送信された会話開始データを、ステップＣ１０１と同様に、音声に変換する。
なお、サーバから会話開始データに対応した文字データも送信される場合には、端末は、画像表示装置にその文字データを文字画像として表示する。
［ステップＣ３０２］
使用者は、サーバの内容に応じて返答（音声による返答）を行う。その返答は、端末によって音声データ及び文字データに変換される。変換された音声データは、送受信装置を介してサーバに送られる。一方、文字データは、端末の画像表示装置に表示される。
使用者は、サーバの内容に応じて返答（音声による返答）を行う。その返答は、端末によって音声データ及び文字データに変換される。変換された音声データは、送受信装置を介してサーバに送られる。一方、文字データは、端末の画像表示装置に表示される。
［ステップＳ３０３］
サーバのリピート認識手段は、前記使用者の音声データ（返答）を解析する。この解析は、上記ステップＳ１０３と同様にして行われる。
サーバのリピート認識手段は、前記使用者の音声データ（返答）を解析する。この解析は、上記ステップＳ１０３と同様にして行われる。
［ステップＳ３０４］
サーバのリピート会話継続手段は、リピート手段によって選択された会話データ群の中の複数の会話継続データの中から、前記リピート認識手段によって認識された使用者からの返答内容に対応する会話継続データを１つ又は複数抽出する。好ましくは、リピート会話継続手段は、ステップＳ１０４によって既に使用者に送信した会話継続データ以外の会話継続データ（未出の会話継続データ）の中から１つ又は複数抽出する。
前記会話継続データが１つ抽出された場合には、リピート会話継続手段は、それを端末に送信する。
前記会話継続データが複数抽出された場合には、リピート会話継続手段は、上記ステップＳ１０４と同様の基準に基づいて、１つの会話継続データを決定し、それを端末に送信する。
サーバのリピート会話継続手段は、リピート手段によって選択された会話データ群の中の複数の会話継続データの中から、前記リピート認識手段によって認識された使用者からの返答内容に対応する会話継続データを１つ又は複数抽出する。好ましくは、リピート会話継続手段は、ステップＳ１０４によって既に使用者に送信した会話継続データ以外の会話継続データ（未出の会話継続データ）の中から１つ又は複数抽出する。
前記会話継続データが１つ抽出された場合には、リピート会話継続手段は、それを端末に送信する。
前記会話継続データが複数抽出された場合には、リピート会話継続手段は、上記ステップＳ１０４と同様の基準に基づいて、１つの会話継続データを決定し、それを端末に送信する。
［ステップＣ３０３］
端末は、ステップＳ３０４に従って端末に送信された会話継続データを、ステップＳ１０３と同様に、音声に変換する。変換された音声は、音声出力装置から出される。
サーバから会話継続データに対応した文字データも送信される場合には、端末は、画像表示装置にその文字データを文字画像として表示する。
端末は、ステップＳ３０４に従って端末に送信された会話継続データを、ステップＳ１０３と同様に、音声に変換する。変換された音声は、音声出力装置から出される。
サーバから会話継続データに対応した文字データも送信される場合には、端末は、画像表示装置にその文字データを文字画像として表示する。
［ステップＣ３０４］
会話継続データの音声を聞いた使用者は、その内容に応じて返答（音声による返答）を行う。その返答は、端末の音声入力装置に入力され、音声データ及び文字データに変換される。変換された音声データは、送受信装置を介してサーバに送信される。一方、文字データは、端末の画像表示装置に文字画像として表示される。
会話継続データの音声を聞いた使用者は、その内容に応じて返答（音声による返答）を行う。その返答は、端末の音声入力装置に入力され、音声データ及び文字データに変換される。変換された音声データは、送受信装置を介してサーバに送信される。一方、文字データは、端末の画像表示装置に文字画像として表示される。
［ステップＣ４０１］
端末のカメラ装置は、ステップＣ３０１〜Ｃ３０４とは独立して、サーバからの会話継続データに対して返答しているときの使用者を順次撮影している。端末は、上記ステップＣ２０１と同様に、カメラ装置で撮影された使用者の顔画像データの複数を、送受信装置を介してサーバに連続的又は所定時間毎に送信する。
端末のカメラ装置は、ステップＣ３０１〜Ｃ３０４とは独立して、サーバからの会話継続データに対して返答しているときの使用者を順次撮影している。端末は、上記ステップＣ２０１と同様に、カメラ装置で撮影された使用者の顔画像データの複数を、送受信装置を介してサーバに連続的又は所定時間毎に送信する。
［ステップＳ４０１，Ｓ４０２］
ステップＣ４０１に従い、上記ステップＳ３０３，Ｓ３０４，Ｃ３０３，Ｃ３０４を行っている間、端末は、カメラ装置で撮影された使用者の顔画像データの複数を送信している。
サーバは、上記ステップＳ２０１と同様にして、前記顔画像データに基づいて使用者の笑顔を検出し（ステップＳ４０１）、上記ステップＳ２０２と同様にして、各会話データ群毎の笑顔の出現頻度を算出する（ステップＳ４０２）。
ステップＳ４０２で算出された各会話データ群毎の笑顔の出現頻度は、ステップＳ２０２で算出された笑顔の出願頻度とは別データとして、記録装置に記録される。
ステップＣ４０１に従い、上記ステップＳ３０３，Ｓ３０４，Ｃ３０３，Ｃ３０４を行っている間、端末は、カメラ装置で撮影された使用者の顔画像データの複数を送信している。
サーバは、上記ステップＳ２０１と同様にして、前記顔画像データに基づいて使用者の笑顔を検出し（ステップＳ４０１）、上記ステップＳ２０２と同様にして、各会話データ群毎の笑顔の出現頻度を算出する（ステップＳ４０２）。
ステップＳ４０２で算出された各会話データ群毎の笑顔の出現頻度は、ステップＳ２０２で算出された笑顔の出願頻度とは別データとして、記録装置に記録される。
［ステップＳ３０５］
リピート会話切替手段は、上記ステップＳ１０１〜Ｓ１０４に従って行われる会話データ群の会話が上記会話時間調整手段によって決定された会話時間を経過したと判断したときに、次の会話データ群の会話へと移行する。
具体的には、リピート会話切替手段は、上記ステップＳ３０１によって選択された会話データ群の会話が会話時間調整手段によって決定された会話時間を経過したかどうかを判断する。
リピート会話切替手段が、前記時間を経過していると判断したときには、次のステップＳ３０６に移る。
リピート会話切替手段は、上記ステップＳ１０１〜Ｓ１０４に従って行われる会話データ群の会話が上記会話時間調整手段によって決定された会話時間を経過したと判断したときに、次の会話データ群の会話へと移行する。
具体的には、リピート会話切替手段は、上記ステップＳ３０１によって選択された会話データ群の会話が会話時間調整手段によって決定された会話時間を経過したかどうかを判断する。
リピート会話切替手段が、前記時間を経過していると判断したときには、次のステップＳ３０６に移る。
リピート会話切替手段が、前記時間を経過していないと判断したときには、上記ステップＳ３０３に戻り、ステップＳ３０３，Ｓ３０４，Ｃ３０３，Ｃ３０４が繰り返され、使用者とサーバ間の会話が進行する。
ただし、この繰り返し時におけるステップＳ３０３においては、認識手段は、会話継続データの音声に対する使用者からの返答を認識する。さらに、繰り返し時におけるステップＳ３０４では、会話継続手段は、その返答に応じて更に使用者との会話が継続するように、適切な会話継続データを選択し、これを端末に送信する。
ただし、この繰り返し時におけるステップＳ３０３においては、認識手段は、会話継続データの音声に対する使用者からの返答を認識する。さらに、繰り返し時におけるステップＳ３０４では、会話継続手段は、その返答に応じて更に使用者との会話が継続するように、適切な会話継続データを選択し、これを端末に送信する。
［ステップＳ３０６］
上記ステップＳ３０５において、１つの会話データ群の会話が会話時間調整手段によって決定された会話時間を経過している場合、リピート会話切替手段は、会話時間調整手段によって会話時間の決定がなされた全ての会話データ群の会話を終了したかどうか判断する。
リピート会話切替手段が、ステップＳ１０７に従って会話時間の決定がなされた全ての会話データ群（上記ステップＳ１０７の例では、会話データ群（１），（３），（２）の順で、これらの全てのデータ群）に基づく会話が終了したと判断したときには、次のステップＳ３０７に移る。
上記ステップＳ３０５において、１つの会話データ群の会話が会話時間調整手段によって決定された会話時間を経過している場合、リピート会話切替手段は、会話時間調整手段によって会話時間の決定がなされた全ての会話データ群の会話を終了したかどうか判断する。
リピート会話切替手段が、ステップＳ１０７に従って会話時間の決定がなされた全ての会話データ群（上記ステップＳ１０７の例では、会話データ群（１），（３），（２）の順で、これらの全てのデータ群）に基づく会話が終了したと判断したときには、次のステップＳ３０７に移る。
一方、リピート会話切替手段が、前記全ての会話データ群に基づく会話が終了していないと判断したときには、リピート会話開始手段に働きかけて、次に順位付けされた会話データ群を選択させる。
リピート会話切替手段の指示に従い、リピート会話開始手段は、次に順位付けされた会話データ群（例えば、会話データ群（３））を選択する（ステップＳ３０１に戻る）。
会話データ群（３）を選択した後、リピート会話開始手段は、ステップＳ３０２に従い、その会話データ群（３）の中から任意の会話開始データを選択してこの会話開始データ（必要に応じて文字データ）を端末に送信する。以後、この会話データ群（２）に基づいて、上記認識手段及び会話継続手段によって、ステップＳ３０３，Ｓ３０４，Ｃ３０３，Ｃ３０４，Ｓ３０５が繰り返され、使用者とサーバ間の会話が進行する。
リピート会話切替手段の指示に従い、リピート会話開始手段は、次に順位付けされた会話データ群（例えば、会話データ群（３））を選択する（ステップＳ３０１に戻る）。
会話データ群（３）を選択した後、リピート会話開始手段は、ステップＳ３０２に従い、その会話データ群（３）の中から任意の会話開始データを選択してこの会話開始データ（必要に応じて文字データ）を端末に送信する。以後、この会話データ群（２）に基づいて、上記認識手段及び会話継続手段によって、ステップＳ３０３，Ｓ３０４，Ｃ３０３，Ｃ３０４，Ｓ３０５が繰り返され、使用者とサーバ間の会話が進行する。
また、リピート会話切替手段は、この会話データ群（３）の会話時間が経過したと判断したときに、次の会話データ群（２）の会話へと移行する。以後同様に、会話データ群（２）に基づいて会話が行われる。
［ステップＳ３０７］
ステップＳ３０６に従い、リピート会話切替手段によって全ての会話データ群に基づく会話が終了したと判断された後、サーバは、更に続けて会話を行うかどうかを決定する。
続けて会話を行う場合には、ステップＳ１０７に戻り、続けて会話を行わない場合には、システムを終了する。
ステップＳ３０６に従い、リピート会話切替手段によって全ての会話データ群に基づく会話が終了したと判断された後、サーバは、更に続けて会話を行うかどうかを決定する。
続けて会話を行う場合には、ステップＳ１０７に戻り、続けて会話を行わない場合には、システムを終了する。
なお、ステップＳ３０７において、会話を継続するかどうかの決定は予めサーバに設定されていてもよいし、使用者が選択するようにしてもよい。
例えば、サーバが使用者の端末に対して更に会話を継続するかどうかを問い合わせ、且つ、使用者が会話の継続を希望する場合には、ステップＳ１０７に戻る。また、サーバに会話時間調整手段による各会話データ群の時間調整を２度以上又は無制限に行うことが予め設定されている場合には、ステップＳ１０７に戻り、他方、前記時間調整を１度だけ行うことが予め設定されている場合には、この時点でシステムを終了する。
例えば、サーバが使用者の端末に対して更に会話を継続するかどうかを問い合わせ、且つ、使用者が会話の継続を希望する場合には、ステップＳ１０７に戻る。また、サーバに会話時間調整手段による各会話データ群の時間調整を２度以上又は無制限に行うことが予め設定されている場合には、ステップＳ１０７に戻り、他方、前記時間調整を１度だけ行うことが予め設定されている場合には、この時点でシステムを終了する。
ステップＳ３０１〜Ｓ３０７を経由してステップＳ１０７に戻った後、上述のように、各会話データ群ごとの笑顔の出現頻度に基づいて、所定の会話データ群を端末に送信し続ける時間が決定される。
このステップＳ１０７に戻った後における各会話データ群ごとの笑顔の出現頻度は、ステップＳ４０２に従って算出された笑顔の出現頻度が用いられる。
このため、会話時間調整手段によって既に決定された各会話データ群ごとの会話時間と、ステップＳ３０１〜Ｓ３０７を経由した後に会話時間調整手段によって決定される各会話データ群ごとの会話時間とは、異なる場合がある。
このようにステップＳ３０１〜Ｓ３０７を経由した後、使用者の興味も変化し得るため、ステップＳ４０２に従って算出された笑顔の出現頻度が用いられることが好ましい。
このステップＳ１０７に戻った後における各会話データ群ごとの笑顔の出現頻度は、ステップＳ４０２に従って算出された笑顔の出現頻度が用いられる。
このため、会話時間調整手段によって既に決定された各会話データ群ごとの会話時間と、ステップＳ３０１〜Ｓ３０７を経由した後に会話時間調整手段によって決定される各会話データ群ごとの会話時間とは、異なる場合がある。
このようにステップＳ３０１〜Ｓ３０７を経由した後、使用者の興味も変化し得るため、ステップＳ４０２に従って算出された笑顔の出現頻度が用いられることが好ましい。
上記認知症患者用会話システムは、会話している間、使用者の笑顔を検出し、その笑顔の出現頻度に応じて、その会話時間を調整し、或いは、その会話内容を変更できる。従って、上記認知症患者用会話システムによれば、使用者が興味を示す会話を重点的に使用者に提供できる。
また、本発明の認知症患者用会話システムによれば、複数の使用者に対して、前記会話を同時に提供することも可能である。従って、介護者の数が絶対的に不足している現状においても、複数の使用者が会話を長時間行うことも可能となる。
上記認知症患者用会話システムを認知症患者が利用すれば、認知症の症状の進行を抑制し、更にその改善も期待できる。
また、本発明の認知症患者用会話システムによれば、複数の使用者に対して、前記会話を同時に提供することも可能である。従って、介護者の数が絶対的に不足している現状においても、複数の使用者が会話を長時間行うことも可能となる。
上記認知症患者用会話システムを認知症患者が利用すれば、認知症の症状の進行を抑制し、更にその改善も期待できる。
本発明の認知症患者用会話システムは、上記実施形態に限られず、適宜変更、付加などすることができる。
例えば、サーバは、新規な会話データ群を挿入する挿入手段を有していてもよい。
上述のように、会話時間調整手段によって、各会話データ群の会話時間が決定され、各会話データ群の会話データが端末に送信される。この会話時間調整手段を有することによって、サーバは、使用者が興味のある話題を使用者に長い間提供できるようになるが、これを繰り返していると、決まった会話データ群の話題しか使用者に提供できない。
上記の例では、会話データ群（１）〜（３）の３種類についてその会話時間が変化するが、会話データ群自体（話題自体）は変わらない。
これを繰り返していると使用者も飽きるため、途中で新規な話題を挿入することが好ましい。
例えば、サーバは、新規な会話データ群を挿入する挿入手段を有していてもよい。
上述のように、会話時間調整手段によって、各会話データ群の会話時間が決定され、各会話データ群の会話データが端末に送信される。この会話時間調整手段を有することによって、サーバは、使用者が興味のある話題を使用者に長い間提供できるようになるが、これを繰り返していると、決まった会話データ群の話題しか使用者に提供できない。
上記の例では、会話データ群（１）〜（３）の３種類についてその会話時間が変化するが、会話データ群自体（話題自体）は変わらない。
これを繰り返していると使用者も飽きるため、途中で新規な話題を挿入することが好ましい。
挿入手段は、ステップＳ３０６の後に（つまり、会話時間調整手段によって会話時間の決定がなされた全ての会話データ群の会話を終了した判断した後に）、新規な会話データ群（例えば、会話データ群（４））の会話データを端末に送信する。
なお、新規な会話データ群（４）の中の会話開始データ及び会話継続データの端末への送信は、ステップＳ３０２〜３０４に従って行われる。
また、この新規な会話データ群（４）の会話時間（会話データを送信し続ける時間）は、適宜決定される。例えば、予め決まった時間（例えば、５分間）でもよいし、会話時間調整手段で決定された各会話データ群の会話時間の平均値などでもよい。
なお、新規な会話データ群（４）の中の会話開始データ及び会話継続データの端末への送信は、ステップＳ３０２〜３０４に従って行われる。
また、この新規な会話データ群（４）の会話時間（会話データを送信し続ける時間）は、適宜決定される。例えば、予め決まった時間（例えば、５分間）でもよいし、会話時間調整手段で決定された各会話データ群の会話時間の平均値などでもよい。
挿入手段によって新規な会話データ群が挿入された場合、事後、当該新規な会話データ群を含めた送信対象の全ての会話データ群（上記の例では、会話データ群（１）〜（４））について、上記笑顔検出手段、笑顔算出手段を実行し、これによって得られた笑顔の出現頻度に基づいて、再度、会話時間調整手段によって会話時間の決定を行い、この再決定の会話時間に基づいて、各会話データ群（会話データ群（１）〜（４））の会話データを端末に送信するようにしてもよい。
また、サーバは、特定の会話データ群を送信対象から除外する除外手段を有していてもよい。
上述のように、挿入手段が設けられている場合、挿入手段を実行するに従って端末に送信する会話データ群の数が増加していく。このため、挿入手段を実行した後、既に送信した複数の会話データ群の中から特定の会話データ群を送信対象から除外することが好ましい。
上述のように、挿入手段によって挿入された新たな会話データ群を含めた送信対象の全ての会話データ群（上記の例では、会話データ群（１）〜（４））について、笑顔算出手段によって笑顔の出現頻度が算出される。挿入手段は、そのうちの１つの会話データ群を除くことを会話時間調整手段などに働きかける。
この除外される特定の会話データ群は、笑顔の出現頻度に応じて決定されることが好ましく、例えば、笑顔の出現頻度が最も低い会話データ群を除外対象とすることがより好ましい。
上述のように、挿入手段が設けられている場合、挿入手段を実行するに従って端末に送信する会話データ群の数が増加していく。このため、挿入手段を実行した後、既に送信した複数の会話データ群の中から特定の会話データ群を送信対象から除外することが好ましい。
上述のように、挿入手段によって挿入された新たな会話データ群を含めた送信対象の全ての会話データ群（上記の例では、会話データ群（１）〜（４））について、笑顔算出手段によって笑顔の出現頻度が算出される。挿入手段は、そのうちの１つの会話データ群を除くことを会話時間調整手段などに働きかける。
この除外される特定の会話データ群は、笑顔の出現頻度に応じて決定されることが好ましく、例えば、笑顔の出現頻度が最も低い会話データ群を除外対象とすることがより好ましい。
本発明の認知症患者用会話システムは、認知症患者の症状の進行抑制、引いては症状の改善に利用できる。
１…サーバ、２…端末、３…ネットワーク
Claims (2)
- サーバと、前記サーバにネットワークを介して繋がった認知症患者用の端末と、を含み、
前記端末が、
画像表示装置と、カメラ装置と、音声入力装置と、音声出力装置と、前記カメラ装置及び音声入力装置から得られた認知症患者の顔画像データ及び音声データを前記サーバに送信する送受信手段と、を有し、
前記サーバが、
認知症患者に対して会話を開始するための会話開始データ及び認知症患者に対して会話を継続するための会話継続データを複数含み且つ話題の内容ごとにグループ分けされた会話データ群を複数有する会話データベースと、
前記会話データ群の中の会話開始データを選択し、それを前記端末に送信する会話開始手段と、
前記端末からの音声データを解析して認知症患者からの返答内容を認識する認識手段と、
前記認識された返答内容に対応した会話継続データを前記会話データ群の中から選び、その会話継続データを前記端末に送信する会話継続手段と、
前記端末から順次送信された顔画像データに基づいて笑顔を検出し、笑顔が検出された顔画像データの数を記録する笑顔検出手段と、
１つの会話データ群を送信している間における笑顔検出顔画像データの数に基づいて、１つの会話データ群当たりの笑顔の出現頻度を算出する笑顔算出手段と、を有し、
前記笑顔算出手段が、２つ以上の会話データ群の笑顔の出現頻度をそれぞれ算出すると共に、その笑顔の出現頻度を会話データ群ごとに関連付けて記録する、認知症患者用会話システム。 - 前記サーバが、前記会話データ群ごとの笑顔の出現頻度に基づいて、所定の会話データ群を端末に送信し続ける時間を決定する会話時間調整手段をさらに有する、請求項１に記載の認知症患者用会話システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010091074A JP2011223369A (ja) | 2010-04-12 | 2010-04-12 | 認知症患者用会話システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010091074A JP2011223369A (ja) | 2010-04-12 | 2010-04-12 | 認知症患者用会話システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011223369A true JP2011223369A (ja) | 2011-11-04 |
Family
ID=45039735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010091074A Pending JP2011223369A (ja) | 2010-04-12 | 2010-04-12 | 認知症患者用会話システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011223369A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016178327A1 (ja) * | 2015-05-01 | 2016-11-10 | ソニー株式会社 | 情報処理システム、通信デバイス、制御方法、および記憶媒体 |
| JP2017062602A (ja) * | 2015-09-24 | 2017-03-30 | シャープ株式会社 | 対話システム、対話を制御する方法、およびコンピュータを対話システムとして機能させるためのプログラム |
| JP2018152810A (ja) * | 2017-03-15 | 2018-09-27 | 株式会社日立製作所 | コミュニケーションシステム及びコミュニケーション制御装置 |
| JP2020177706A (ja) * | 2019-03-27 | 2020-10-29 | 株式会社 バイオミメティクスシンパシーズ | 勃起不全患者のためのプログラム |
| US11521424B2 (en) | 2018-01-31 | 2022-12-06 | Samsung Electronics Co., Ltd. | Electronic device and control method therefor |
-
2010
- 2010-04-12 JP JP2010091074A patent/JP2011223369A/ja active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11392979B2 (en) | 2015-05-01 | 2022-07-19 | Sony Corporation | Information processing system, communication device, control method, and storage medium |
| JP2020170518A (ja) * | 2015-05-01 | 2020-10-15 | ソニー株式会社 | 情報処理システム、および制御方法 |
| WO2016178327A1 (ja) * | 2015-05-01 | 2016-11-10 | ソニー株式会社 | 情報処理システム、通信デバイス、制御方法、および記憶媒体 |
| CN107533735A (zh) * | 2015-05-01 | 2018-01-02 | 索尼公司 | 信息处理系统、通信装置、控制方法和存储介质 |
| CN107533735B (zh) * | 2015-05-01 | 2022-06-07 | 索尼公司 | 信息处理系统、通信装置、控制方法和存储介质 |
| JP7036149B2 (ja) | 2015-05-01 | 2022-03-15 | ソニーグループ株式会社 | 情報処理システム、および制御方法 |
| JPWO2016178327A1 (ja) * | 2015-05-01 | 2018-02-22 | ソニー株式会社 | 情報処理システム、通信デバイス、制御方法、および記憶媒体 |
| US10657960B2 (en) | 2015-09-24 | 2020-05-19 | Sharp Kabushiki Kaisha | Interactive system, terminal, method of controlling dialog, and program for causing computer to function as interactive system |
| JP2017062602A (ja) * | 2015-09-24 | 2017-03-30 | シャープ株式会社 | 対話システム、対話を制御する方法、およびコンピュータを対話システムとして機能させるためのプログラム |
| WO2017051601A1 (ja) * | 2015-09-24 | 2017-03-30 | シャープ株式会社 | 対話システム、端末、対話を制御する方法、およびコンピュータを対話システムとして機能させるためのプログラム |
| JP2018152810A (ja) * | 2017-03-15 | 2018-09-27 | 株式会社日立製作所 | コミュニケーションシステム及びコミュニケーション制御装置 |
| US11521424B2 (en) | 2018-01-31 | 2022-12-06 | Samsung Electronics Co., Ltd. | Electronic device and control method therefor |
| JP2020177707A (ja) * | 2019-03-27 | 2020-10-29 | 株式会社 バイオミメティクスシンパシーズ | 勃起不全患者のためのプログラム及びシステム |
| JP2020177706A (ja) * | 2019-03-27 | 2020-10-29 | 株式会社 バイオミメティクスシンパシーズ | 勃起不全患者のためのプログラム |
| JP7123295B2 (ja) | 2019-03-27 | 2022-08-23 | ロゴスサイエンス株式会社 | 勃起不全患者のためのプログラム |
| JP7123294B2 (ja) | 2019-03-27 | 2022-08-23 | ロゴスサイエンス株式会社 | 心因性、混合性と器質性のいずれかの疾患のタイプに判別される疾患の患者のためのシステム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8847884B2 (en) | Electronic device and method for offering services according to user facial expressions | |
| JP5201050B2 (ja) | 会議支援装置、会議支援方法、会議システム、会議支援プログラム | |
| US20210249012A1 (en) | Systems and methods for operating an output device | |
| US8983846B2 (en) | Information processing apparatus, information processing method, and program for providing feedback on a user request | |
| CN112653902B (zh) | 说话人识别方法、装置及电子设备 | |
| JP6812604B2 (ja) | オーディオアクティビティ追跡および要約 | |
| WO2018142686A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US20090144071A1 (en) | Information processing terminal, method for information processing, and program | |
| Ishii et al. | Using respiration to predict who will speak next and when in multiparty meetings | |
| JP2011223369A (ja) | 認知症患者用会話システム | |
| US20180054688A1 (en) | Personal Audio Lifestyle Analytics and Behavior Modification Feedback | |
| US20230412995A1 (en) | Advanced hearing prosthesis recipient habilitation and/or rehabilitation | |
| CN113392273A (zh) | 视频播放方法、装置、计算机设备及存储介质 | |
| CN110019936A (zh) | 一种媒体文件播放过程中的注释方法和装置 | |
| CN114727119B (zh) | 直播连麦控制方法、装置及存储介质 | |
| TWI377559B (en) | Singing system with situation sound effect and method thereof | |
| US10454914B2 (en) | System and method for verifying user supplied items asserted about the user for searching | |
| EP3288035B1 (en) | Personal audio analytics and behavior modification feedback | |
| JP2020187605A (ja) | 制御プログラム、制御装置および制御方法 | |
| CN114268693B (zh) | 视频数据处理方法、装置、设备及介质 | |
| JP7313518B1 (ja) | 評価方法、評価装置、および、評価プログラム | |
| WO2020189340A1 (ja) | 情報処理装置および情報処理方法、並びにプログラム | |
| WO2022125050A2 (en) | A system for offering a background suggestion in video calls | |
| Yatsushiro et al. | A dominance estimation mechanism using eye-gaze and turn-taking information | |
| CN113066513A (zh) | 语音数据处理方法、装置、电子设备及存储介质 |