JP2006235772A - データ収集解析表示システム - Google Patents

Abstract

【課題】
デジタルデバイドと言われているインターネットやコンピュータの操作に不慣れな人達に、健康測定を意識せず、操作不要で、安心して使える個人健康管理システムとその方法を提供する。
【解決手段】
ブロードバンドネットワークを利用し、診断機能を備えた中央処理装置と音声、画像入力機能をもつ自宅の端末間を接続し、健康なうちから、個人健康データを自動モニタリングし、発症前の予知・予防と発症時の即時診察予約（病院・医師の予約、往復送迎、必要箇所への通報連絡）を行うシステムであ登録会員が会員宅の端末装置とペット画像や音声によって仮想会話を行い、会員の音声、画像、健康データ、外部センサ条件等を入力して、中央処理装置で比較・解析・記録することで、会員の健康と安全の管理を行うものである。
【選択図】 図１

Description

本発明は、登録会員が会員宅の端末装置とペット画像や音声によって仮想会話を行い、会員の音声、画像、健康データ、外部センサ条件等を入力して、中央処理装置で比較・解析・記録することで、会員の健康と安全の管理を行う機能を有する家庭電化製品である。

従来技術として、ペットを飼育できない場合には、代わりに絵や写真、彫像、動画を持ち歩くか、ディスプレイに予め記録した金魚や熱帯魚を映し出して、擬似飼育として楽しむ技術がある。また、ロボットやロボット犬のように、非生物である玩具を擬似ペットとして、予め組み込まれた固定の論理によって、飼い主の言葉に対して予め格納されたデータの中から選んでペットの反応としてリアリティを出している技術がある。

従来の電子玩具の中にはパーソナルコンピュータ上のキャラクタに応用でき、入力した音声を音声で返しながら登録する音声処理装置がある。この音声処理装置は、入力された音声を任意に記憶し、この任意に記憶した音声を任意に発声することで、使用者に意外性と面白みを与える。

前記の技術内容では発声される音声の種類も少なく、面白みに欠ける場合もあるので、より生物を相手にしている感覚が得られやすいように、特許文献１に記載の、音声データを乱数生成装置を用いてランダム発声させることや音声データに関連付けを行う音声処理装置がある。

会話型擬似玩具として、特許文献２に記載の、同一構成で向き合ったときに内部の磁石によりスイッチが入り、装置同士の擬似会話を行う音声処理装置がある。

故人との仮想対話方法として、特許文献３に記載の、故人に関するデータに基づき、コンピュータを利用して個人の仮想画像と仮想肉声を合成して対話を進める仮想対話装置がある。

仮想霊園サービスとして、特許文献４に記載の、生前情報を参照し、ネットワーク上に設けた墓所サイトの個人墓所を詣でる技術や、ネットワーク上の墓所に自由にデザインできる創作墓所を設ける技術がある。

遠隔健康診断方法として、特許文献５に記載の、ユーザが自分の健康状態を、携帯電話を利用して話者音声を解析することで、いつでも好きな場所で簡単にチェックできる技術がある。

ニューラルネットワークシステムを利用した技術として、特許文献６，７に記載の、予め学習データ（挙動と事象の組、過去診察データと発症の組）が与えられ、ニューラルネットワークノードの重み係数の調節がなされていれば、生物の挙動から生じている事象を判別できる技術や、過去の診察データを利用して、疾患の有無、将来の発症確率などを判断できる技術がある。

特開２００１−２６５３６４ 特許第３４８５５１７号 特開２００２−２４３７１ 特開２００２−９９６４１ 特開２００４−２４０３９４ 特開平５−２８２２７３ 特開平５−２７７１１９

今後迎える超高齢化社会で、誰もが安心して暮らすための第一条件は健康を維持することである。また進展する高齢社会においては、高齢者が一人で暮らす場合が増えていくので、自分以外に健康を管理し、居宅の安全を任せる人（物）が欲しくなる。高齢者が一人での暮らしを続けて行くうえでの心配ごとは、健康状態と身の回りの安全である。前者については基本的な健康状態や、記憶能力の減衰を測ることでの介護の必要性が知りたいし、後者については居宅の戸締りや電力量などのみではなく、第三者の侵入なども検知して自動通報して欲しい要求がある。
本発明は、前記課題を解決しようとするものであり、デジタルデバイドと言われているインターネットやコンピュータの操作に不慣れな人達に、健康測定を意識せず、操作不要で、安心して使える個人健康管理システムと方法を提供するものである。
具体的には、ブロードバンドネットワークを利用し、診断機能を備えた中央処理装置と音声、画像入力機能をもつ自宅の端末間を接続し、健康なうちから、個人健康データを自動モニタリングし、発症前の予知・予防と発症時の即時診察予約（病院・医師の予約、往復送迎、必要箇所への通報連絡）を行うシステムである。

本発明は、前課題を解決するために、ネットワークを介して端末と通信可能なデータ収集解析表示サーバであって、端末からの音声及び画像による情報を受信し相互に通信する手段と、端末からの前記情報を分析し記憶する手段と、記憶手段と別に前記端末からの音声及び画像による情報を比較分析する手段と、比較分析手段の比較量が所定の基準を超えるか否かを判断し、超えた場合には予め定めた宛先に通知する手段と有している。また、音声及び画像による情報を比較分析する手段は、音声の高低や抑揚、回答内容、回答までの時間、顔色、表情、仕草を測定し、判別し基準値と鑑定値とを対比することを有している。
ネットワークを介して端末と通信可能なデータ収集解析表示方法であって、端末からの音声及び画像による情報を受信し相互に通信する第一のステップと、端末からの前記情報を分析し記憶する第二のステップと、第二のステップと別に前記端末からの音声及び画像による情報を比較分析する第三のステップと、比較分析する第三のステップの比較量が所定の基準を超えるか否かを判断し、超えた場合には予め定めた宛先に通知する第四のステップと、からなる。音声及び画像による情報を比較分析する第三のステップは、音声の高低や抑揚、回答内容、回答までの時間、顔色、表情、仕草を測定し、判別し基準値と鑑定値とを対比する。
ネットワークを介して端末と通信可能なデータ収集解析表示サーバにおけるコンピュータを実行させるためのデータ収集解析表示プログラムであって、端末からの音声及び画像による情報を受信し相互に通信する第一のステップと、端末からの前記情報を分析し記憶蓄積構成する第二のステップと、第二のステップと別に前記端末からの音声及び画像による情報を比較分析する第三のステップと、比較分析する第三のステップの比較量が所定の基準を超えるか否かを判断し、超えた場合には予め定めた宛先に通知する第四のステップと、としてコンピュータを実行させる。

本発明は、前課題を解決するために、ネットワークを介して中央処理装置と通信可能な端末であって、会員の音声、画像、健康情報及び外部センサを入力する手段と、中央処理装置からの反応情報を会員へ音声及び画像出力する手段と、会員から得られた情報と中央処理装置からの情報を組み合わせて音声及び画像による仮想会話を行う手段と、会員から得られた情報と中央処理装置からの情報を一時記憶する手段と、会員から得られた情報と中央処理装置からの情報を中央処理装置との間で送受信する手段と有している。また、音声及び画像による仮想会話を行う手段は、予め想定した質問表の項目に対応する音声と画像を用意しておき、仮想会話時における音声の高低や抑揚、回答内容、回答までの時間、顔色、表情、仕草を中央処理装置で判別した情報に基づいて出力することを有している。
ネットワークを介して中央処理装置と通信可能なデータ収集解析表示方法であって、会員の音声、画像、健康情報を入力する第一のステップと、中央処理装置からの反応情報を会員へ音声及び画像出力する第二のステップと、会員から得られた情報と中央処理装置からの情報を組み合わせて音声及び画像による仮想会話を行う第三のステップと、会員から得られた情報と中央処理装置からの情報を一時記憶する第四のステップと、会員から得られた情報と中央処理装置からの情報を中央処理装置との間で送受信する第五のステップと、からなる。会員から得られた情報と中央処理装置からの情報を組み合わせて音声及び画像による仮想会話を行う第三のステップは、予め想定した質問表の項目に対応する音声と画像を用意しておき、仮想会話時における音声の高低や抑揚、回答内容、回答までの時間、顔色、表情、仕草を中央処理装置で判別した情報に基づいて出力することで会員に安心感を与え、会員に健康測定であることを意識させずに測定する。
ネットワークを介して中央処理装置と通信可能なデータ収集解析表示端末におけるコンピュータを実行させるためのデータ収集解析表示プログラムであって、会員の音声、画像、健康情報を入力する第一のステップと、中央処理装置からの反応情報を会員へ音声及び画像出力する第二のステップと、会員から得られた情報と中央処理装置からの情報を組み合わせて音声及び画像による仮想会話を行う第三のステップと、会員から得られた情報と中央処理装置からの情報を一時記憶する第四のステップと、会員から得られた情報と中央処理装置からの情報を中央処理装置との間で送受信する第五のステップと、としてコンピュータを実行させる。

本発明は、中央処理サーバは端末を介して会員との間で仮想会話を行うことで会員の健康データを入手する。中央処理サーバが予め用意した設問への会員回答とそのときの会員の音声、動作、顔の表情の反応を得て、蓄積された会員健康データベースの内容とニューラルネットワーク演算による健康鑑定部の結果とを比較解析することで、会員の健康を管理する。会員の健康データは中央処理サーバが基準値と鑑定値とを対比して、比較量が所定の基準を超えた場合は医師の診断を仰いで、必要な処置を会員へ連絡する。事前に他の通報先を登録してあれば、当該連絡先、機関へ通報する。会員が仮想会話以外の相談が必要となった場合には、カスタマーセンターへ接続して遠隔面談を行えるものとする。

本発明は、中央処理サーバと通信システムを介して接続された端末を会員宅に設け、中央処理サーバの会員データベースに記憶されたペットの音声データと動画像データを受信してローカルデータとして記憶し、端末に設けたディスプレイとスピーカからバーチャルペットとして出力する。
端末には会員とのマンマシンインターフェース部として、会員の音声を入力するマイクと、会員の顔を含む画像を入力するカメラと、手を合わせるか握手することで脈拍と体温と手の静脈でＩＤを判定する手合わせ入力部と、記憶したペットの音声と動画像と四季折々の画像又は流行画像やニュースなどを表示出力するディスプレイとスピーカと、ニュースや連絡先の住所・地図を出力するプリンタがある。

本発明は、マンマシンインターフェース部の入出力を制御するのが入出力制御部であり、会員居宅の戸締り状態や電力メータ等の条件を入力するのが外部センサ状態入出力部であり、中央処理サーバとの間を会員通信システムを経由して必要なデータを送受信するのが通信機能部であり、中央処理サーバから送信されたペットの音声と動画像と健康データ等と、マンマシンインターフェース部の入力と外部センサ状態を記憶しておくのがローカルデータベース部であり、以上それら端末全体をコントロールするものがフロント処理部である。

本発明は、中央処理サーバと会員宅の端末とが通信システムを介して接続されたシステムにおいて、前記中央処理サーバは端末より入力される会員の音声と動画像と脈拍と体温とＩＤを入力し、事前に会員個人が質問書の形式で演じた会話と付随する動作と顔の表情を分類して記憶しておいた結果の中から、それに関係付けられて記憶したペットの音声と動画像とを端末より出力することで、会員とバーチャルペットの間に安心感のある仮想会話を成立させ、会員に健康測定であることを意識させることなく、平常状態での会員の健康データを得ることができる。会員側の操作や問い掛けは、会員が会員の健康測定を行うことを意識して行う必要はなく、会員が端末に近づくと、先ずマイクとカメラで接近を検知し会員に挨拶や声を掛けることから仮想会話が始まる無意識な入力方式でスタートするシステムである。会員は端末からの挨拶や問い掛けには挨拶を返すのか無言なのか仕草で返すのか不機嫌な顔をするのかの選択は自由であり、会員の気分次第で応答することがありのままの健康データを得ることにつながる利点となる。会員であることの認証は健康データとして入力する情報から得る方式であり、その項目は音声と、顔の表情と、脈拍と体温を測定するときに一緒に入手する手の静脈検知の3種類があり、どれか一つが得られなくても判定できる。

本発明は、中央処理サーバと会員宅の端末とが通信システムを介して接続されたシステムにおいて、前記中央処理サーバは端末より会員の音声と動画像と脈拍と体温とＩＤを入力し、会員の音声データ部分と動画像データによりペットの音声データと動画像データとが同期対応付けられ記憶されている会員データベース部から、関係付けられて記憶したペットの音声と動画像とを端末より出力することで会員との間に仮想会話を成立させる。端末より入力される会員の音声と動画像と脈拍と体温とＩＤの内、１〜2項目が欠けてもニューラルネットワーク演算によって、身振りのみや顔の表情のみで仮想会話を続行することができる。仮想会話時の会員の言葉と仕草は、自動鑑定部で有するニューラルネットが自動鑑定した言葉と仕草の内容が、感情判別で不一致する場合はどちらかを優先させて出力することができる。また、自動鑑定した言葉と仕草の内容が、感情判別で判別不能の場合は仮想対話によって問いかけを行って、新たなデータを得ることで判断する。会員の音声入力レベルが低い時や、顔の表情や仕草が読みとれなかった時は、そのまま平常時の画像を写し続けることができる。

本発明は、中央処理サーバと会員宅の端末とが通信システムを介して接続されたシステムにおいて、前記中央処理サーバは端末からペットの音声と動画像とを出力することで会員との間に仮想会話を成立させ、会員の音声と動画像と脈拍と体温を健康データとして収集するが、さらに仮想会話に設問を盛り込み、予め想定した回答内容との比較や、音声の高低や抑揚、回答までの時間測定を行うことで会員の健康度を測ることができる。

本発明は、中央処理サーバと会員宅の端末とが通信システムを介して接続されたシステムにおいて、前記中央処理サーバは端末より記憶したペットの音声と動画像とを出力することで会員との間に安心感のある仮想会話を成立させるが、更に安心感を向上させるために四季折々の画像または流行画像やニュースをコンテンツ供給元から入手して記憶し、中央処理サーバの鑑定結果に対応した画像や会員の好みを反映したコンテンツやニュースを出力する論理を有することができる。

本発明は、中央処理サーバと会員宅の端末とが通信システムを介して接続されたシステムにおいて、前記中央処理サーバは会員であることを特定する身体的特徴特定機能を備えた安全鑑定部と、会員が健康であるかどうかの判別を行う画像特徴抽出機能と音声解析機能と質問判定機能を備えた健康鑑定部を持つことで請求項１または３記載のデータ収集解析表示ができる。

本発明は、中央処理サーバと会員宅の端末とが通信システムを介して接続されたシステムにおいて、前記中央処理サーバの安全鑑定部と健康鑑定部は、ニューラルネットワークであることでデータ収集解析表示ができる。

本発明は、中央処理サーバと会員宅の端末とが通信システムを介して接続されたシステムにおいて、会員以外が本装置を利用できないよう、かつ本人であることの特徴を抽出するために、前記中央処理サーバは会員であることの認証を安全鑑定部による身体的特徴特定機能判定と、健康判定部による会員が健康であるかどうかの判別を行う際の会員の顔画像特徴抽出機能による判定と、音声解析機能による判定の3種類の機能を備え、最終判定を判定結果の多数決論理によって決定することができる。

本発明は、中央処理サーバと会員宅の端末とが通信システムを介して接続されたシステムにおいて、前記中央処理サーバは端末から会員の音声と動画像と脈拍と体温を入力し、仮想会話による設問の回答内容、音声の高低や抑揚、回答までの時間測定を判別して会員の健康度を測る機能を持つが、前記安全鑑定部と健康鑑定部での基準値と鑑定値とを対比して、比較量が所定の基準を超えるか否かを判断し、超えた場合には予め定めた連絡先や機関に通知することができる。

本発明は、中央処理サーバと会員宅の端末とが通信システムを介して接続されたシステムにおいて、前記端末は中央処理サーバと連携して会員の健康度を測る機能を持つが、音声と動画像と脈拍と体温を中央処理サーバへ入力し、安全鑑定部で会員以外の音声や動画像、脈拍であると判別した場合は鑑定部での基準値と入力値とを対比して、比較量が所定の基準を超えるか否かを判断し、超えた場合と、更に会員住居の戸締り状態や電力メータ情報を外部センサ状態入力部からのセキュリティ情報を得ることによって、予め定めた連絡先や機関に警報通知することができる。

本発明は、会員が親愛や興味を持っている物や美しい風景を写し出し、それに相対して見たり話しかけたりすることで計測されていることを意識させずに計測し、その人に安心感と日常生活の安全を与える。会員が一緒に暮らしても良いと思う、親愛の情が持てるペットやパーソナリティをバーチャル化して記憶させ、四季折々の風景や最新の流行と組み合わせて壁やビューアに出力することでなごみと安心感を演出する。出力内容は所有者の言葉や仕草をリアルタイムに入力し、論理判断によって表示内容を変化させる。

本発明は、会員の音声データと動画像データと前記自動鑑定部の出力とに同期対応するペットの音声データ部分と動画像データによりペットの音声データと動画像データであるか否かの判断する手段を有する。これにより会員に応えてペットが適切な対応を行なうことができる。

本発明は、会員以外の顔のみの画像入力が一定時間連続したときは、論理部で危険レベルを判別し、記憶してある手順に従って音声と画像の記録や外部に対するアラームやセキュリティ通報を行うことで安全を保つことも可能である。

本発明は中央処理サーバ１と会員宅の端末３とが通信システムを介して接続されたシステムにおいて、前記端末３に前記中央処理サーバ１の会員データベースに記憶されたペットの音声データと動画像データを受信してローカルデータとして記憶し、出力する手段を備え、ディスプレイに出力されるバーチャルペットと会員との間で会話や握手などの動作を行うことによって、当該者が意識することなく毎日の健康情報を収集し、ネットワークで暗号化したデータを送受信することで、健康度のチェックや遠隔診断による医療・介護の必要性を判断し、必要によって連絡通報をシステムである。

以下、本発明の実施の一形態について、図面を参照して説明する。
図１は、本発明の実施形態を示す全体のシステム構成図である。図２は、本発明に係る会員宅に設ける端末３の構成図である。図３は、会員の健康鑑定部に用いる基本ニューラルネトワークシステム構成図である。図４は会員の安全鑑定部に用いる複数ニューラルネトワークシステム構成図である。
図１において、システム全体の制御を司る中央処理サーバ１であり、入出力制御部４と安全鑑定部５と健康鑑定部６と会員情報データベース７と会員健康データベース８とコンテンツデータベース９から構成される。会員通信ネットワーク２は、中央処理サーバ１と端末３とをＰ２Ｐ方式で接続し、会員との間に仮想会話を成立させる。入出力制御部４は中央処理サーバ１内の入出力制御機能を担当し、内部の安全鑑定部５経由で会員情報データベース７と接続し、健康鑑定部６経由で会員健康データベース８と接続し、コンテンツデータベース９とは直接接続している。端末３ａ等とは会員通信システムを経由して会員宅に設けた端末３ａ，３ｂ，３ｃと接続し、そのほか会員が遠隔面談を行う符号１０のカスタマーセンターと接続し、会員が買い物やクリーニング等を依頼する地域ネットワーク１４と接続している。安全鑑定部５は、会員であることの認証と身体的特徴特定機能判定を行う機能を有する。健康判定部６は、会員が健康であるかどうかの判別を行う際の会員の顔画像特徴抽出機能による判定と、音声解析機能による判定の3種類の機能を備え、最終判定を判定結果の多数決論理によって決定する機能を有する。端末３からの音声と動画像と脈拍と体温を入力し、仮想会話による設問の回答内容、音声の高低や抑揚、回答までの時間測定を判別して会員の健康度を測る機能を持つ。
会員情報データベース７は、会員の情報を蓄積する他、連絡先、住所録及びメールアドレスを有し、安全鑑定部５のほか連絡通報部１１とつながる。会員健康データベース８は、会員の健康状態を蓄積したカルテであって、健康鑑定部６のほか医師診断部１２とつながる。コンテンツデータベース９は、ニュース・トピクッス、天候や行事を蓄積し、入出力制御部４のほかニュース・コンテンツ部１３とつながる。

自動鑑定部には、ニューラルネットワークを用いる。中央処理サーバ１と会員宅の端末３とが会員通信システム２を介して接続されたシステムにおいて、前記中央処理サーバ１の安全鑑定部５と健康鑑定部６は、ニューラルネットワークであることでデータ収集解析表示ができる。ニューラルネットは、「ニューラルネットワーク 共立出版、１９９０年６月２５日」に周知のように、入力層と中間層と出力層と学習部で構成されている。また特開平５−２８２２７３「生物の挙動から事象を判別する装置」において、ニューラルネットワークを用いて犬など動物の泣き声や尾や耳の挙動から人間以外の動物とのコミュニケーションに役立てる技術が開示されている。本実施形態では、入力層から会員が感情を平常と喜・怒・哀・楽のケースごとに分けて基本質問集を演じ、その言葉を音声と表情が入力され、出力層からその言葉を発生したときの反応（音声と表情）が出力される。なお事前に会員に基本質問文例集を用意し、その文例を会員の言い回しで表現してもらったものを基本質問集とし、会員に感情を平常と喜・怒・哀・楽のケースごとに分けて基本質問集の場面を演じさせて、その言葉を発生したときのペットの反応（音声と表情）と会員の言葉と仕草を入力し、学習収束させている。

図３は会員の健康鑑定部６に用いる基本ニューラルネットワークシステム構成図である。入力層６０１は会員の現在状態である、声の張り具合、顔の表情、質問に対する答え、答える間隔、脈拍、体温等を入力して評価する部分である。中間層６０２は入力層の条件にそれぞれ重みを付けて判定する部分である。健康状態出力部６０３は重み付けした結果を総合判断して出力する部分である。学習部６０４は会員の日々のデータ変化や四季の条件等の外部環境変化を入力層と中間層に与えて、判定の正確さを支援する部分である。

図４は会員の安全鑑定部５に用いる複数ニューラルネトワークシステム構成図である。手のひら静脈認証部５０１は、一つのニューラルネットワークが会員の手のひら静脈を入力とするものである。音声認識部５０２は、会員の声を入力し特徴を抽出し反応を出力するものである。パスワード部は登録してある会員のパスワードを照合するものである。判定部５０４は双方の出力から総合的に反応を推論するものである。

図２は会員宅に設ける端末３の構成図である。端末３ａは、会員が個々に有する情報処理機能を有する端末３であって会員とのマンマシンインターフェース部３１０として、会員の顔を含む画像を入力するカメラ３１１と会員の音声を入力するマイク３１２と、手を合わせるか握手することで脈拍と体温と手の静脈でＩＤを判定する手合わせ入力部３１３と、記憶したペットの音声と動画像と四季折々の画像又は流行画像やニュースなどを表示出力するディスプレイ３１４とスピーカ３１５と、ニュースや連絡先の住所・地図を出力するプリンタ３１６から構成される。マンマシンインターフェース部３１０の入出力を制御するのが入出力制御部３０１であり、会員居宅の戸締り状態や電力メータ等の条件を入力するのが外部センサ状態入出力部３０５であり、中央処理サーバ１との間を会員通信システムを経由して必要なデータを送受信するのが通信機能等３０４であり、中央処理サーバ１から送信されたペットの音声と動画像と健康データ等と、マンマシンインターフェース部の入力と外部センサ状態を記憶しておくのがローカルデータベース部３０３であり、以上それら端末３全体をコントロールするものがフロント処理部３０２である。

図５は端末３の表示に表示される基本画面で、以下の説明する図６及び図７の基本質問表と基本質問文例集が入力される。図６は会話方式で入力する会員一般データ質問表で、図７は、記入方式で入力する会員健康データ判別基本質問文例集である。先ず、登録会員に基本質問文例集を用意し、その文例を会員の言い回しで表現してもらったものを基本質問表とし、会員が感情を平常と喜・怒・哀・楽のケースごとに分けて基本質問表を演じ、その言葉を発生したときの相手（ペット）の反応（音声と表情）を記憶した記憶部と、記憶部からのデータと風景や流行データを組み合わせて出力する出力部と、会員の言葉と仕草を入力する入力部と判断機能を持つ論理部で構成される。基本質問表内容として、「好きなものは」、「嫌いなもの」「食べたくないものは」等の日常会話性があるものを選んでいる。

本発明の利用形態について、図を用いて説明をする。図８は本発明実施形態の制御シーケンスで、図９は本発明実施形態のメイン制御フローチャートである。立ち上げ時は画面断制御１５により、マンマシンインターフェース部３１０においてディスプレイ３１４とスピーカ３１５はＯＦＦとなっている。物体が端末３に接近すると、カメラ３１１またはマイク３１２により音声入力及び画像変化が発生することより接近検知１６を判定し、図５に示す基本画面表示２０を実行する（ステップＳ1）。ここで、端末３制御はフロント処理され通信ネットワークを介してバックサイド処理として接続される（ステップＳ２）。図１０は基本画面フローチャートである。端末３は先ずカメラ３１１画像入力又はマイク３１２入力により物体の接近を検知し、日付データ入手２１と季節データ入手２２を実行して、四季の風景を背景表示２３として映し出す。次に会員のバーチャルペット画像を重ね合わせて表示２４する。ペット画像は背景の中で、動き回る動作と静止動作を背景画面に合わせて表示する。中央処理サーバ１からＢＧＭデータを入手２５し、BGM音楽は会員の好みと流行と季節背景画像の組み合わせ条件により出力２６する。終了後メイン処理に戻る。中央処理サーバ１は端末３より記憶したペットの音声と動画像とを出力することで会員との間に安心感のある仮想会話を成立させるが、更に安心感を向上させるために四季折々の画像又は流行画像やニュースをコンテンツ供給元から入手して記憶し、中央処理サーバ１の鑑定結果に対応した画像や会員の好みを反映したコンテンツやニュースを出力する論理を有する。

何も検知しなければ画面断制御１５に戻って接近検知待ち１６となる。基本画面表示２０制御後、フロント処理部３０２により音声又は物が人間であることを検知１７したなら挨拶出力３０を実行する。何も検知しなければ一定時間待って、Time Over１８ａしたなら初めの接近検知待ち１６まで戻る。

図１１は本発明実施形態の挨拶出力フローチャート３０である。端末３は先ず音声の入力があった場合又は画像が人間であることを検知した場合にペットの話す言葉として挨拶文を画面表示出力する（ステップＳ４）。日付データ入手３１と時間データ条件入手３２を実行し、個人挨拶データベースから挨拶文を入手３３してあいさつ文を出力３４するのである。この問いかけに答える又は無言（ステップＳ６）であるとき、挨拶を返す又は無言であるとき（ステップＳ３）、問いかける（ステップＳ５）を行う。応答や仕草３５があれば次に進み、何も検知しなければ一定時間待って、もう一度挨拶を出力する。Time Over３６したならばメイン処理に戻る。中央処理サーバ１は端末３からペットの音声と動画像とを出力することで会員との間に仮想会話を成立させ、会員の音声と動画像と脈拍と体温を健康データとして収集するが、さらに仮想会話に設問を盛り込み、予め想定した回答内容との比較や、音声の高低や抑揚、回答までの時間測定を行うことで会員の健康度を測ることもできる。

図１２は本発明実施形態の握手・手合わせフローチャート４０である。端末３は先ず会員の手と握手を促す（ステップＳ７）ことにより入力装置に触れるよう会員に音声と画像で促し、握手をする、手を合わせ（ステップＳ８）、接触４１させることで、会員の健康基礎データである脈拍４２を測り（ステップＳ９）、手のひら静脈による個人認証データを入手４３（ステップＳ１６）し、次に会員の手の温度測定４４とデータ送付し（ステップＳ１５）、顔の映像から顔色や体温を測定４５し、中央処理サーバ１でデータ蓄積し、ニューロネットワークでの画像判定（ステップＳ３３）により表情４６を読み取る。入手したデータは中央へ送信４７し、次のメイン処理に戻る。中央処理サーバ１は端末３より入力される会員の音声と動画像と脈拍と体温とＩＤを記録し、それに関係付けられて記憶したペットの音声と動画像とを端末３より出力することで会員との間に安心感のある仮想会話を成立させ、会員に健康測定であることを意識させることなく、そのときの会員の反応を会員の健康データとして蓄積し、比較解析することで、会員の健康測定を行う。また、端末３より入力される会員の音声と動画像と脈拍と体温とＩＤの内、１つから多数が欠けてもニューラルネットワーク演算によって、身振りのみや顔の表情のみで仮想会話を続行する。

体調などの調子を尋ね（ステップＳ１０）、返事がまあまあ、良い、普通（ステップＳ１１）から、検知し会員の健康基礎データである脈拍や体温、手のひら静脈による個人認証データを入手１９する。一定時間待ってデータ入手できないなら再度挨拶出力３０まで戻る。再度Time Over１８ｂしたなら次のクイズ・質問処理に移る。中央処理サーバ１では認証データチェックを行う（ステップＳ３５）。

挨拶を返す又は無言を返したとき（ステップＳ１２）に、クイズ・質問処理５０に移る。ここでは会員のレベルに合わせたクイズや地名・人名などを何回か質問し、反応時間と回答結果から記憶能力や計算能力を測定する。否定しても強くならないなら問いを言い、別のリクエストに答える（ステップＳ３１）。図１３は、クイズ・質問フローチャートである。端末３は先ずクイズの種別・回数を中央処理サーバ１より入手５１し、次に桁上がりの足し算や地名・人名などのクイズ種別を決めて問題５２を出し、前回と同じ問題内容なら再度中央処理サーバ１へクイズの種別と回数送信を要求５３し、中央の指令に従ってｎ回の出題を繰り返し質問５４し、回答内容と反応時間を測定記録５５し、クイズや地名・人名などの質問に対する反応時間と回答結果は中央処理サーバ１へ送信５６（ステップＳ２０）し、ｎ回出題完了５７したなら、次の処理へ進む。ここで、クイズ・質問フローは会員のレベルに合わせてクイズや地名・人名などを質問し、反応時間と回答結果から記憶能力や計算能力を測定する。クイズの種別、回数はすべて中央よりの指令によって決定する。同じ問題内容を繰り返し質問し、回答内容と反応時間を測定記録していくことで、会員の能力の変化を見ていくものであり、クイズや地名・人名などの質問に対する反応時間と回答結果は、そのまま中央へ送信し、ニューラルネットと中央で記録している会員の長期記録との照合により判定を行うものである。

次は今日の予定処理に移る。ここでは会員個人の予定を出力し、会員の要求によって補足情報を出力するものである。図１４は、今日の予定フローチャートである。今日の予定フロー６０は会員が登録した項目について、中央からデータを入手し、ペットの言葉と文字表示により、今日の予定を会員に知らせるものである。端末３は先ず中央処理サーバ１より日付・時間データを入手６１し、次に中央処理サーバ１より今日の予定データを会員情報データベースから入手６２し、スピーカとディスプレイに“今日の予定は”との発声と文字表示６３を行い（ステップＳ１８）、会員の返事がまあまあ、良い、普通で「○○さんだよ」（ステップＳ２４）の反応６４を見て、会員が今日の予定が知りたいと判定６５したなら登録してある予定を音声と文字でデータ出力６６し、次に会員に他の質問「今日は雨だね」（ステップＳ２５）、伝言（ステップＳ２６）があるかを聞いて、中央処理サーバ１に送付し（ステップＳ２２）、判定６７し、あるなら出力できる情報一覧を表示６８し、会員に選択してもらって、必要ならばプリンタへ出力する。また会員ユーザのこれらのデータは暗号化して記録され（ステップＳ３７）る。会員が「あるよ、○○さんに伝送して」（ステップＳ２７）のリクエストがあると「○○さんって」（ステップＳ２８）と確認して、ＩＰＴＶ電話接続することができる（ステップＳ３８）。リクエストがない場合と、出力終了時には、次のメイン処理に戻る。

次に手伝い処理に移る。図１５は本発明実施形態の手伝いフローチャート７０である。手伝いフロー
は会員が登録した項目について、中央からデータを入手し、ペットの言葉と文字表示により、手伝える項目とデータを一覧表示し、会員に選択してもらって注文を受け付け、必要ならばプリンタへ出力する。端末３は先ず中央処理サーバ１より日付・時間データを入手７１し、次に中央処理サーバ１よりクリーニングの出来上がり等の登録データを会員情報データベースから入手７２し、スピーカとディスプレイに“何か手伝うことある？”との発声と文字表示７３を行い、会員反応を入力し、会員が今日の登録データが知りたいと判定７４したなら登録してあるデータを音声と文字でデータ出力７５し、次に会員に他の注文があるかを聞いて判定７６し、あるなら出力できる情報一覧を表示７７し、会員に選択してもらって、必要ならばプリンタ等へ出力するかメール等の代筆を行い、情報一覧以外の場合７８にはカスタマーセンター１０を呼び出して会員と接続し、何もリクエストがない場合と、出力終了時には、次の処理へ進む。ここでは会員に対して登録してある手伝い項目を表示して、注文を受ける。登録以外の注文はカスタマーセンター１０を呼び出して処理する。

最後に会員の健康データと認証データを中央へ送信８０する。中央からはその反応として、正常なら診断良好８１と安全良好８２のサインが返送され、異常なら医師の診断１２や連絡通報１１の処理となる。

ここで会員がログアウト８３希望ならばメイン処理を終了し８４、そうでなければ最初の接近待ち１６まで戻る。

以上の制御サイクルが繰り返されてメイン制御フローとなる。

本発明は、コンピュータや健康データ測定器を扱うことが苦手な会員にバーチャルなパーソナリティを用意し、機械の操作ではなく会話や握手の動作を行うことによって、本人が意識せずに毎日の健康データを得て、ネットワークでデータを送受信することによって医療や介護の必要性を判断し、バーチャルホームヘルパーとして、会員に安心感と安全を提供する。端末に入力される音声と画像データは、ブロードバンドネットワークを経由して、診断機能を備えた中央処理装置に接続され、ニューラルネットワークシステムを利用した技術として、現データと過去の診察データと症例を比較判定して、疾患の有無を判定し、将来の発症確率を予知・予防する。健康なうちから、個人健康データを自動モニタリングすることで発症を予防するだけではなく、早期診察をうながすことで早期治療効果を高める。また、本システムの利用者は大病院にありがちな3時間待ち、3分治療診察をなくし、即時診察予約（病院と希望医師の予約、往復送迎、必要箇所への通報連絡）を行うことができるシステムである。

具体的には次の効果があげられる。

平常時は会員が一緒に暮らしても良いと思う、親愛の情が持てるペットやパーソナリティをバーチャル化した画像を四季折々の風景や最新の流行と組み合わせて壁やビューアに出力することでなごみを演出し、会員が音声を入力するか、会員の顔を含む画像を入力したとき、会員の発した感情と言葉を判別し、記憶してあるデータと一致するか、あいまい照合したデータから相手の画像と反応を選択して出力表示することで会員に安心感を持たせ、会員が安心感を持って日常動作としてのバーチャル画像を見たり話しかけたりすることで、会員が意識せずに会員の発声する言葉と会員の顔を含む画像を記録することができ、会員の発した感情と言葉を判別し、会員の過去データとの比較や自動鑑定システムで判定することができる。

また、平常時は親愛の情が持てるペットやパーソナリティをバーチャル化した画像を四季折々の風景や最新の流行と組み合わせて壁やビューアに出力することでなごみと安心感を演出しているので、会員は入力する努力や義務感を持たずに、会員自身の日々の言葉と顔を含む画像を自動記録することができ、記憶力が減退したり、物忘れの癖のある人も努力なしでデータを蓄積できるので、音声と仕草、顔色などから過去データと比較するか自動鑑定システムで判定することで自動的に健康管理が行える。

平常時は親愛の情が持てるペットやパーソナリティをバーチャル化した画像を四季折々の風景や最新の流行と組み合わせて壁やビューアに出力することでなごみと安心感を演出し会員が質問を入力するか、困った顔の仕草をしたときに、会員の発した言葉か仕草を判別し、画面のペットやパーソナリティとの仮想対話によって、Ｄが会員の仮想相談相手やバーチャルハウスキーパーとなって、会員を励まし元気付けることも可能となる。

会員の日々の言葉と顔を含む画像を自動記録することで、音声と仕草、顔色などから過去データと比較するか自動鑑定システムで自動的に健康判定を行い、会員の発した言葉か仕草を判別し、画面のペットやパーソナリティとの仮想対話によって、健康診断や検診を勧め、常備薬や医師処方の過去記録を引用して、会員の健康相談を行うことも可能である。

平常時は親愛の情が持てるペットやパーソナリティをバーチャル化した画像を四季折々
の風景や最新の流行と組み合わせて壁やビューアに出力することでなごみと安心感を演出し、会員が音声キーワードを入力するか、会員の顔を含むキー仕草画像を入力したとき、会員の発声したキーワードかキー仕草を判別し、会員が事前に登録した様々なデータ、例えば当日のスケジュールや市役所、病院、会員の登録電話番号などを出力する備忘録装置になる。

平常時は親愛の情が持てるペットやパーソナリティをバーチャル化した画像を四季折々の風景や最新の流行と組み合わせて壁やビューアに出力することでなごみと安心感を演出し、会員が音声キーワードを入力するか、会員の顔を含むキー仕草画像を入力したとき、会員の発声したキーワードかキー仕草を判別し、会員の虹彩や指紋など個人ＩＤ情報を付加することによって、会員が事前に登録した重要データ、例えばカード暗証番号を出力する情報金庫システムとなる。

平常時は親愛の情が持てるペットやパーソナリティをバーチャル化した画像を四季折々の風景や最新の流行と組み合わせて壁やビューアに出力することでなごみと安心感を演出し、会員が音声キーワードを入力して、手伝いを求めたとき、キーワードを判別し、会員の虹彩や指紋など個人ＩＤ情報を付加することによって、会員が事前に登録した仕事の項目に一致すれば、例えば手紙の代筆やお買い物、クリーニングなどは、通信機能によって自動依頼を行うか、直接メール作成や葉書印刷を行う作業補助システムとなる。登録データ以外の注文にたいしてはカスタマーセンターを呼び出して処理する。

本発明の実施形態を示す全体のシステム構成図である。 本発明に係る会員宅に設ける端末システムの構成図である。 会員の健康鑑定部に用いる基本ニューラルネットワークシステム構成図である。 会員の安全鑑定部に用いる複数ニューラルネットワークシステム構成図である。 端末３のディスプレイに表示される基本画面である。 会話方式で入力する会員一般データの基本質問表である。 記入方式で入力する会員健康データ判別基本質問文例集である。 本発明実施形態のメイン制御シーケンス図である。 本発明実施形態のメイン制御フローチャートである。 本発明実施形態の基本画面フローチャートである。 本発明実施形態の挨拶出力フローチャートである。 本発明実施形態の握手・手合わせフローチャートである。 本発明実施形態のクイズ・質問フローチャートである。 本発明実施形態の今日の予定フローチャートである。 本発明実施形態の手伝いフローチャートである。

符号の説明

１ 中央処理サーバ１
２ 中央処理サーバ１と会員宅の端末３との間をＰ２Ｐ方式で結ぶ会員通信システム
３ａ 会員宅に設ける端末３ａ
３ｂ 会員宅に設ける端末３ｂ
３・・・ｎ 会員宅に設ける端末３・・・ｎ
３０１ 入出力制御部
３０２ フロント処理部
３０３ ローカルデータベース（記憶）部
３０４ 通信機能部
３０５ 外部センサ状態入力部
３１０ マンマシンインターフェース
３１１ カメラ
３１２ マイク
３１３ 手合わせ方式の脈拍、体温、静脈ＩＤ検知部
３１４ ディスプレイ
３１５ スピーカ
３１６ プリンタ
４ 入出力制御部
５ 安全鑑定部
５０１ 手のひら静脈認証部
５０２ 音声認識部
５０３ パスワード認証部
５０４ 判定部
６ 健康鑑定部
６０１ 健康状態入力層
６０２ 健康状態中間層
６０３ 健康状態出力部
６０４ 学習部
７ 会員情報データベース
８ 会員健康データベース
９ コンテンツデータベース
１０ カスタマーセンター
１１ 連絡通報部
１２ 医師診断部
１３ ニュース・コンテンツ部
１４ 地域協力ネットワーク
１５ 画面断制御部
１６ 接近検知機能
１７ 音声又は人間検知判定機能
１８ａ 音声又は人間判定のＴｉｍｅ Ｏｖｅｒ部
１８ｂ 脈拍、体温、静脈ＩＤ判定Ｔｉｍｅ Ｏｖｅｒ部
１９ 脈拍、体温、静脈ＩＤ判定機能
２０ 基本画面フロー
３０ 挨拶出力フロー
４０ 握手・手合わせフロー
５０ クイズ・質問フロー
６０ 今日の予定フロー
７０ 手伝いフロー
８０ 健康＆データの中央送信
８１ 診断データ判断機能
８２ 安全データ判断機能
８３ ログアウト機能
８４ 制御停止機能

Claims (10)

1. ネットワークを介して端末と通信可能なデータ収集解析表示サーバであって、
   端末からの音声及び画像による情報を受信し相互に通信する手段と、
   前記端末からの前記情報を分析し記憶する手段と、
   前記記憶手段と別に前記端末からの情報を比較分析する手段と、
   前記比較分析手段の比較量が所定の基準を超えるか否かを判断し、超えた場合には予め定めた宛先に通知する手段と、
   備えたことを特徴とするデータ収集解析表示サーバ。
2. 前記音声及び画像による情報を比較分析する手段は、音声の高低や抑揚、回答内容、回答までの時間、顔色、表情、仕草を測定し、判別し基準値と鑑定値とを対比することを特徴とする請求項１のデータ収集解析表示サーバ。
3. ネットワークを介して端末と通信可能なデータ収集解析表示方法であって、
   端末からの音声及び画像による情報を受信し相互に通信する第一のステップと、
   前記端末からの前記情報を分析し記憶する第二のステップと、
   前記第二のステップと別に前記端末からの音声及び画像による情報を比較分析する第三のステップと、
   前記比較分析する第三のステップの比較量が所定の基準を超えるか否かを判断し、超えた場合には予め定めた宛先に通知する第四のステップと、
   からなることを特徴とするデータ収集解析表示方法。
4. 前記音声及び画像による情報を比較分析する第三のステップは、音声の高低や抑揚、回答内容、回答までの時間、顔色、表情、仕草を測定し、判別し基準値と鑑定値とを対比することを特徴とする請求項３のデータ収集解析表示方法。
5. ネットワークを介して端末と通信可能なデータ収集解析表示サーバを動作させるデータ収集解析表示プログラムであって、
   端末からの音声及び画像による情報を受信し相互に通信する第一のステップと、
   前記端末からの前記情報を分析し記憶蓄積構成する第二のステップと、
   前記第二のステップと別に前記端末からの音声及び画像による情報を比較分析する第三のステップと、
   前記比較分析する第三のステップの比較量が所定の基準を超えるか否かを判断し、超えた場合には予め定めた宛先に通知する第四のステップと、
   としてコンピュータを実行させることを特徴とするデータ収集解析表示プログラム。
6. ネットワークを介して中央処理装置と通信可能な端末であって、
   会員の音声、画像、健康情報及び外部センサを入力する手段と、
   中央処理装置からの反応情報を会員へ音声及び画像出力する手段と、
   会員から得られた情報と中央処理装置からの情報を組み合わせて音声及び画像による仮想会話を行う手段と、
   会員から得られた情報と中央処理装置からの情報を一時記憶する手段と、
   会員から得られた情報と中央処理装置からの情報を中央処理装置との間で送受信する手段と、
   備えたことを特徴とするデータ収集解析表示端末。
7. 前記音声及び画像による会員と端末との仮想会話を行う手段は、予め会員が回答した質問表の項目に対応する端末側の音声と画像を用意しておき、仮想会話時における会員の音声の高低や抑揚、回答内容、回答までの時間、顔色、表情、仕草を中央処理装置で判別した情報に基づいて出力することを特徴とする請求項６に記載のデータ収集解析表示端末。
8. ネットワークを介して中央処理装置と通信可能なデータ収集解析表示方法であって、
   会員の音声、画像、健康情報を入力する第一のステップと、
   中央処理装置からの反応情報を会員へ音声及び画像出力する第二のステップと、
   会員から得られた情報と中央処理装置からの情報を組み合わせて音声及び画像による仮想会話を行う第三のステップと、
   会員から得られた情報と中央処理装置からの情報を一時記憶する第四のステップと、
   会員から得られた情報と中央処理装置からの情報を中央処理装置との間で送受信する第五のステップと、
   からなることを特徴とするデータ収集解析表示方法。
9. 前記会員から得られた情報と中央処理装置からの情報を組み合わせて音声及び画像による仮想会話を行う第三のステップは、予め会員が回答した質問表の項目に対応する端末側の音声と画像を用意しておき、仮想会話時における会員の音声の高低や抑揚、回答内容、回答までの時間、顔色、表情、仕草を中央処理装置で判別した情報に基づいて出力することで会員に安心感を与え、会員に健康測定であることを意識させずに測定することを特徴とする請求項８のデータ収集解析表示方法。
10. ネットワークを介して中央処理装置と通信可能なデータ収集解析表示端末を動作させるためのデータ収集解析表示プログラムであって、
    会員の音声、画像、健康情報を入力する第一のステップと、
    中央処理装置からの反応情報を会員へ音声及び画像出力する第二のステップと、
    会員から得られた情報と中央処理装置からの情報を組み合わせて音声及び画像による仮想会話を行う第三のステップと、
    会員から得られた情報と中央処理装置からの情報を一時記憶する第四のステップと、
    会員から得られた情報と中央処理装置からの情報を中央処理装置との間で送受信する第五のステップと、
    としてコンピュータを実行させることを特徴とするデータ収集解析表示プログラム。

Images