JP2014035594A - Ｇｓｒ値と生体情報に基づく通信者の感情評価システム - Google Patents

Abstract

【課題】費用的に負担が少なく、使用場所を選ばず、使用方法が簡単であり、ＧＳＲ値と生体情報を基づき時々刻々と変化する感情をよりきめ細かく、正確に反映可能な通信者の感情評価システムを実現する。
【解決手段】インターネットの相互通信において、予め登録された送信側の通信者のＧＳＲ値と生体情報を計測して、該計測したＧＳＲ値と生体情報のデータを通信者端末２から受信側の通信者端末３に送信し、受信側の通信者端末の感情評価手段によって、送信側の通信者のＧＳＲ値と生体情報の履歴との関係から類推して、現状の送信側の通信者の感情を判定する。
【選択図】図１

Description

本発明は、ＧＳＲ値と生体情報に基づく通信者の感情評価システムに関し、特に、インターネットを使用した相互間での情報通信システムにおいて、互いの通信者の感情を、ＧＳＲセンサと体温、脈拍数等の生体情報とを継続的に測定し、その傾向と個人の示す生体情報数値を定型的に関連付けて判定し、通信者の感情を推論して表示する通信者の感情評価システムに関する。

従来のインターネット通信は、１９９０年半ば頃から存在するＷｅｂ１．０（ブラウズ）では、インターネット上の情報を閲覧することを可能にした。そして、閲覧者が、インターネットのＷｅｂサイト上で提供される商品やサービス等を閲覧し、閲覧者が自ら希望し、その商品やサービスの情報を得ることができた。

最近のインターネット通信では、単に、Ｗｅｂサイトへアクセスしたユーザーの閲覧と言う行為を前提としたＷｅｂサービスから、通信者自ら情報を発信して通信相手もしくは、Webサイトとの双方通信を通して、意思疎通させるサービスがＳＮＳ（Social Networking Service）やＢｌｏｇといった形で実現しており、このようなサービスをＷｅｂ２．０と言われている。

このような最近のインターネット通信では、通信者は、情報の相互通信を行うことが出来、それによってインターネット上での電子商取引も活発化している。

しかしながら、実店舗のような、人と人の気持ち、感情のつながりをこの通信で表現することが出来ないために、無味乾燥なコミュニケーション上のミスマッチを引き起こし、誤解や紛争の原因を招いている。

そこで、近年は、インターネット上で通信者（販売人と顧客）が互いに画像を送受信して、画面上で対面しながらコミュニケーションをするシステムが採用され普及している。

ところで、従来、生体情報の観測は、被験者のベットサイドに設置された心電図等の大がかりな装置によって、物理的身体情報の測定を行っていた。

また、従来、呼吸、脈拍、血圧等複数の生理現象を、電気的または物理的なシグナルとして同時に計測、記録するポリグラフという装置が知られており、この測定によって、被験者の返答が真実かうそかを判定することを目的とする、いわゆる「嘘発見器」として利用されている。

さらに、従来、脈拍センサ及び体動センサにより脈拍数を検出し、脈拍数に基づいて平均脈拍数及び脈拍数の平均脈拍数に対するばらつきである脈拍数ばらつきを求め、平均脈拍数及び脈拍数ばらつきに基づいて生体情報を解析するとともに、脈拍数ばらつきが予め定めた基準脈拍数ばらつきよりも高く、感情評価指数があらかじめ定めた基準感情評価指数よりも高い場合にリラックスしている状態であると判別し、低い場合には、集中している状態であると判別し、手軽に人の感情状態を評価する技術が知られている（特許文献１参照）。

なお、被験者宅内に配設された検知センサや被験者が携帯した検知センサで検知した検知データを、通信手段で解析評価センターに送り、解析評価センターで解析した評価結果を介護機関等に送り、介護等のために活用される技術は知られている（特許文献２参照）。

特開２００５−１９８８２８号公報 特開２００２−３７３２１０号公報

上記のとおり、インターネット上で通信者（販売人と顧客）が互いに画像を送受信して、画面上で対面しながらコミュニケーションをするシステムが普及しているが、近年、インターネットでは、情報量は、画像を中心に年々増加しており、その上、更に通信者の感情を画像を通して知るために、カメラや映像のフィルム等の画像データで送るのは、データ量が増大し、通信速度に大きな負荷を与えてしまうので、好ましくない。

そこで、本発明者は、通信者の心電図、体温、脈拍、及び血圧等の各種の生体情報を計測し、これら比較的低容量データな計測データから、通信者の感情データを推定して取得し、この感情データを、インターネットで相手側に送信し、表示するという、新規な技術思想を想到し、鋭意、研究開発を行ってきた。

しかし、従来、感情を推定するための機器として知られているポリグラフや、心電図等は、大掛かりな設備、装置となってしまい、費用が高すぎる、多くの人手も必要であり、特別の施設における特別な場所でしかできない、複雑な機器を使用するために使用方法の困難で使用時間がかかりすぎる等、一般の通信者にとっては、ごく日常的、簡単に使用するには、あまりにも制限が多すぎて、現実的ではなく、不可能である。

そこで、本発明者は、ＧＳＲに着目し、感情を推定するための機器として使用し、それで得られたデータを感情データとして、相手側に送信するという、画期的な技術思想を想到するに至った。

すでに特許文献１に示すように、ＧＳＲによる計測によって、感情評価指数を取得し、あらかじめ定めた基準感情評価指数よりも高い場合にリラックスしている状態であると判別する、という感情評価に関する技術は知られている。

また、特許文献２記載の技術に示すように、コンテクストアウエアネスという非測定者の情報を計測しその位置情報の移動時間、移動回数から非試験者の存在（病気による衰退、生死に関わる安否確認など）で使用されている。しかしながら、このような技術では、感情を感知することで、非試験者に対し、高い対応能力をもったサービスとして提供することはできない。

即ち、インターネット上では、通信者同士は、直に会って販売、介護、ビジネス、その他の交渉等を行うのではないから、参照とすべき相手側の感情データは、相手側の時々刻々と変化する感情がより正確に反映されたデータであることが必要である。要するに、予め単一的に決められた基準感情評価指数だけに基づく、感情データを頼りにすることは、十分とは言えない。

また、さらにその情報は、そのときの情報としてその都度、判定される。しかし、この方法では、被測定者によっては、個々のデータ量にばらつきがあるので、計測値の絶対数値だけでは正しい判断を行うことは難しい。

なお、予め個人認証と性格等をデータとして入手しておき、通信者の音声や指紋から固体の個人認証を行えたとしても、感情は時々刻々と変化するものであり、規格化された一辺倒な対応では、会員上の状態の確からしさを高めることが出来ない。

本発明は、上記従来の色々な問題を解決することを目的とするものであり、一般の通信者にとって、通信データ量が肥大せず、費用的に負担がなく、使用場所を選ばず、使用方法が簡単であり、ＧＳＲ値と生体情報を基づき時々刻々と変化する感情をよりきめ細かく、正確に反映可能な通信者の感情評価システムを実現することを課題とする。

このような課題を達成することは、インターネットを介して行う電子商取引、遠隔医療、遠隔介護、遠隔地間で行われるコミュニケーション等において、時々刻々と変化する感情をよりきめ細かく、正確に把握し、より密なコミュニケーションを可能とし、サービスの品質を高め、サービス自体を確かなものとするためにきわめて重要なことと考えられる。

本発明は上記課題を解決するために、インターネットに接続された複数の通信者の端末を備え、送信側の通信者のＧＳＲ値と生体情報のデータに基づいて、受信側において送信側の通信者の感情を評価するＧＳＲ値と生体情報に基づく通信者の感情評価システムであって、送信側の通信者の端末は、予め登録された送信側の通信者について計測されて得られたＧＳＲ値と生体情報のデータを受信者側の端末にインターネットを介して送信し、受信者側の通信者の端末は、受信したＧＳＲ値と生体情報のデータに基づき、すでに取得している送信側の通信者のＧＳＲ値と生体情報の履歴から推論して、現状の送信側の通信者の感情を判定する構成であることを特徴とするＧＳＲ値と生体情報に基づく通信者の感情評価システムを提供する。

通信者のＧＳＲ値と生体情報のデータは重み付けされ、経歴のデータとともに、オントロジー言語で記述され、その記述されたオントロジーに基づいてルール生成と推論を行い、通信者の感情が判定される構成であることが好ましい。

通信者のＧＳＲ値は、手の形をしたＧＳＲセンサに、通信者が通信時に手若しくは指を接触又は指を挿入して皮膚抵抗を測定することで計測される構成であることが好ましい。

判定された感情に係るデータは、受信側通信者又は第三者に、リアルタイムに送信側通信者の感情表現として、色と顔を形どって表示画面で表示される構成であることが好ましい。

通信者は、店舗、介護施設、診療所、事務所若しくは企業、又は店舗、介護施設、診療所、事務所若しくは企業のイーコマースサービスを利用する者であり、インターネット通信を使ったＷｅｂサービスに適用できることが好ましい。

通信者の端末は、使用者が携帯するモバイルデバイスであってもよい。

本発明によれば、一般の通信者にとって、費用的に負担が少なく、使用場所を選ばず、使用方法が簡単であり、ＧＳＲ値と生体情報を基づき時々刻々と変化する感情をよりきめ細かく、正確に反映可能な通信者の感情評価システムを実現することができる。

また、本発明によれば、インターネットを介して行う電子商取引、遠隔医療、遠隔介護、遠隔地間で行われるコミュニケーション等において、時々刻々と変化する感情をよりきめ細かく、正確に把握し、より密なコミュニケーションを可能とし、サービスの品質を高め、サービス自体を確かなものとすることができる。

さらに、本発明は、事前に登録された特定の個人を対象とすることで、今までの測定履歴を参照し、現在の通信者の感情状態をリアルタイムで判定することができ、従来の一時的な生体情報の測定結果から推測するものと比較して高い確率での判定を行えることが可能となる。

本発明に係るＧＳＲ値と生体情報に基づく通信者の感情評価システムの全体構成を説明する図である。 本発明に係るＧＳＲ値と生体情報に基づく通信者の感情評価システムの別の全体構成を説明する図である。 本発明に係るＧＳＲ値と生体情報に基づく通信者の感情評価システムの実施例の全体構成を説明する図である。 上記実施例の端末のコンピュータの構成を説明する図である。 上記実施例において、感情評価手段における感情分析オントロジーエンジンを説明する図である。 諸感情の相関的な分布を示す図である。 上記実施例において、感情評価システムの使用を説明するフロー図である。 上記実施例において、の情分析オントロジーエンジンで、ＧＳＲデータと生体情報データに基づいて判定するための構成を説明する図である。 上記実施例において、ＧＳＲデータについて、オントロジーを構成するクラスを示す図である。 上記実施例において、ルール生成プロセスを示す図である。

本発明に係るＧＳＲ値と生体情報に基づく通信者の感情評価システムを実施するための形態を実施例に基づき図面を参照して、以下説明する。

本発明に係るＧＳＲ値と生体情報に基づく通信者の感情評価システム（以下、単に「感情評価システム」という。）の実施例を説明する。

図１及び図２に示すように、本発明の感情評価システム１は、複数の通信者端末（利用者端末）２と感情評価手段を備えている。複数の通信者端末２について、それぞれ通信者は、感情評価システム１を利用するための登録が必要である。

本発明の感情評価システム１の適用の態様によって、通信者端末２と感情評価手段の配置の態様がいろいろと考えられる。

即ち、感情評価手段は、図１に示すように、複数の通信者端末２の一つの端末３に配置され、この感情評価手段を備えた通信者端末３が、他の複数の通信者端末２の全てに対して、感情評価サービスを提供するサーバとして機能するような構成としてもよい。

或いは、感情評価手段は、複数の通信者端末２のうち、所望する複数の通信者端末２に配置してもよい。

例えば、図２に示すように、複数の通信者端末２のうち、介護施設に設置された通信者端末６に、介護サービスの補助手段として、感情評価手段を配置し、被介護者側の通信者端末７と相互通信を行うような構成とするとともに、店舗（又は仮想店舗）に設置された通信者端末８に、ネット販売の補助手段として、感情評価手段を配置し、購入者側の通信者端末９と相互通信を行うような構成としてもよい。

なお、感情評価手段を備えた端末側には、感情評価手段に加えて、コールセンター４が設けられ、そこにはオペレータとして介護者、店員等を配置することで、被介護者、購入者等の相手側の通信者と、インターネット、電話等を利用して相手側の感情を考慮しながら対話を可能とし、心の介護、購入者の要望を考慮したきめ細かいサービスを行うことも可能となる。

コールセンターのオペレータのディスプレイには、通信相手の感情を反映した、例えば、ニコニコマークとか困っている顔のアニメに色を加えた絵を表示される。このように、オペレータは、通信相手の感情が、絵と色でわかりやすく表現された表示を見ることで、通信相手の感情を通信時にリアルタイム判断可能となる。

本発明の感情評価システム１では、通信者は、店舗、介護施設、診療所、事務所若しくは企業、又は店舗、介護施設、診療所、事務所若しくは企業のイーコマースサービスを利用する者であり、後記する産業上の利用分野の項において説明するとおり、遠隔地の通信者の感情を判定し、介護、ビジネス、安全管理等のいろいろな目的で適用可能であるが、本実施例では、介護に利用される場合において説明する。

即ち、図３に示すように、複数の被介護者側の通信者端末７に対して、介護施設に設置された通信者端末６に感情評価手段が配置される構成について説明する。

（通信者端末）
通信者端末２は、コンピュータを備えており、コンピュータは、インターネットに接続され、通常のコンピュータでよい。介護施設に設置されるコンピュータについては後記する。

コンピュータには、通常、ディスプレイ５が接続されるが、ディスプレイ５として、大型スタンドディスプレイが使用されることが好ましい。大型スタンドディスプレイは、コンピュータに接続され、介護施設側の介護者として活動するオペレータ等の全身画像が投影される透過型有機ＥＬフィルムディスプレイであることが好ましい。

被介護者側の通信端者末７には、図３に示すように、計測装置１２が接続されている。計測装置１２は、被介護者のＧＳＲ値を計測するＧＳＲセンサ１３と、被介護者の生体情報として体温及び心拍数を計測する体温センサ（体温計）１４及び心拍センサ（心拍計）１５である。

これらの計測装置１２は、被介護者側の通信者端末７のコンピュータに接続されており、計測値をコンピュータに入力して、コンピュータから計測データが介護施設の通信者端末６に送信される。

ＧＳＲセンサ１３は、被介護者の手等に装着してＧＳＲ（galvanic skin response 皮膚電気反射）値を計測可能とする。ＧＳＲは、精神的刺激による発汗活動と皮膚の電気抵抗の変化である。

人は、緊張状態となると、自律神経の機能で発汗が多くなり、皮膚抵抗が小さくなり、ＧＳＲ値が下がるが、このようなＧＳＲ値の状態を継続的に取得することで、感情の変化、起伏等が把握できる。

しかし、ＧＳＲ値は、人や年齢によって様々であるので、均一的な標準値に基づき通信者の感情を推定することは適切ではない。詳細は後記するが、本発明では、通信者それぞれについて、ＧＳＲ値と、その際の感情状態を取得し、このような計測を積み重ねて、通信者毎にＧＳＲ値の標準値を取得し、更新して、この標準値に対して、通信の際に計測したＧＳＲ値で感情状態を推論する。

体温センサ１４及び心拍センサ１５は、被介護者が動いても計測が可能な携帯用の体温計及び携帯用の心拍計を使用することが好ましい。

なお、体温、心拍数についても、ＧＳＲ値と同様に、それぞれ計測を積み重ねて、通信者毎に標準値を取得し、さらに計測毎に標準値を更新して、このような標準値に対して、通信の際に計測した体温、心拍数で感情状態を推論する。

被介護者側の通信者端末７及び介護施設の通信者端末６は、それぞれ通常のコンピュータが使用される。具体的には、図４に示すようなコンピュータ２０を備えている。このコンピュータ２０は、ＣＰＵ２１、ローカルメモリ２２、ノースブリッジ（Ｎ／Ｂ）２３、サウスブリッジ（Ｓ／Ｂ）２４、バス（ＢＵＳ）２５、入出力部（Ｉ／Ｏ）２６等を備えている。ＣＰＵ２１とローカルメモリ２２の間で、データはノースブリッジ２３を介して互いにやりとりされる。

ＣＰＵ２１とローカルメモリ２２は、サウスブリッジ２４及びバス２５を介してデータベースとして使用される記憶装置２７に接続され、また、さらに入出力部２６を介してインターネットに接続されている。ローカルメモリ２２には、ＯＳ、アプリケーションソフト等が記憶されているとともに、その一部はキャッシュメモリとして使用される。

介護施設の通信者端末６として使用されるコンピュータ２０には、感情評価手段が設けられる。この感情評価手段は、コンピュータ２０が、ＧＳＲ値及び生体情報のデータに基づき、通信者の感情を分析して推論し、また評価する機能を行わせる手段である。

具体的には、感情評価手段３１は、図５に示すように、感情分析オントロジーエンジン（Emotion Analyze Ontology Engine）３２及びそのためのデータベース３３を有する。

（感情分析オントロジーエンジン）
感情分析オントロジーエンジン３２は、コンピュータ２０が、ＧＳＲ値及び生体情報のデータに基づき、通信者の感情を分析し、評価する機能を行わせる手段であり、具体的には、コンピュータ記憶装置等に記憶（搭載）されるプログラムから成り、このプログラムの機能を発揮させるために、感情評価手段３１は、データベース３３を有する。

ここで、「オントロジー」（Ontology）とは、一言で表現すると、「存在論」、「概念体系」、或いは「概念化の明示的仕様」である。より詳しくは、「オントロジー」は、知識を共有するために、物事を体系的に分類したり、物事の間の関係性を定義することであり、要するに、異なる語彙間の関係性を定義し整理することである。

感情評価手段３１は、感情分析オントロジーエンジン３２とデータのやりとり（受けたり供給したりするやりとり）をするデータベース３３として、図５に示すように、オントロジーデータベース（Ontology Store DB）３６及びカテゴリーデータベース（Category DB）３７を有し、いずれもコンピュータの記憶装置２７内に構築されている。オントロジーデータベース３６は、オントロジー（概念体系）のデータベースである。

ここで、カテゴリーデータベース３７は、被介護者側がどの分野、どのような属性を持った人かを分類したデータベースであり、過去から現在までの蓄積されたデータベースである。例えば、属性として、ＧＳＲ値が通常時は“低いまたは高い”とか、使用頻度、年齢、性別などの個人のメタ情報までを含んで分類されている。

なお、ここで、使用頻度とは、被介護者が本サービスを使用する回数である。また、メタ情報とは、データを情報として整理、加工する前の生データのことである。これらの生データを加工可能な情報としたものをパーサーデータベース（Parser DB）として格納する。

感情分析オントロジーエンジン３２は、主に、ＧＳＲデータ抽出手段４１と、自然語言語処理手段（Natural Language Processing）４２と、推論エンジン（Inference Engine）４３とを備えている。

なお、ＧＳＲデータ抽出手段４１は、実際はＧＳＲ値のデータ（以下、「ＧＳＲデータ」という。）だけでなく、生体情報（体温及び心拍数）のデータも抽出して、感情判定のデータとして使用する。

即ち、感情分析オントロジーエンジン３２は、ＧＳＲデータだけでなく、生体情報（体温及び心拍数）のデータも処理し、感情判定のデータとして使用するが、感情分析オントロジーエンジン３２の説明では、ＧＳＲを中心に説明する。

コンピュータに入力されたＧＳＲデータは、キャッシュ制御部４６を介してクローラ４８（Crawler：抽出部）に送られる。クローラ４８は、ＧＳＲデータに関連する情報を、カテゴリーデータベース３７、オントロジーデータベース３６、及び必要に応じて外部のインターネットを通じて得た分析可能な関連情報から、取得、抽出して、ＧＳＲパーサー５１に引き渡す。

ＧＳＲパーサー５１は、上記ＧＳＲデータに関連する情報を、パーサーメモリ５２にキャッシュし、その後の測定で再利用ことされる場合に備える（再利用可能な情報の列に揃える）。

その後、自然言語処理手段４２では、トレーサー（入力のトレースソフト）５３が、パーサーデータベース（パーサーメモリ５２）に一旦記憶されたＧＳＲデータに関連する情報を呼び出し、タグ生成部５６によって、クローラ４８で得られたＧＳＲデータに関連する情報の意味から、ＧＳＲデータに関連するタグ（Tag）を生成する。

このＧＳＲデータに関連するタグは、パーサー（Purser：構文解析を行う手段）５７を介して、オントロジーの推論エンジンの意味解析部（Semantic Analyzer）６１に引き渡される。なお、なお、パーサー５７は、関連するタグが、どの程度含まれているか、頻度と時間軸に関する情報も抽出できる。

推論エンジン４３における意味解析部６１は、オントロジーデータベース３６とオントロジーのタグとの関連（Attribute）を比較解析して、感情の状態を判断し、その結果を、表示生成部６２において、分かり易い色や形状から成るアニメ画像等のデータとして生成し、報告生成部６３を介して通信者端末６の表示部（ディスプレイ５）に送られる。

さらに、上記結果は、報告生成部６３を介してカテゴリーデータベース３７へ格納する。また、上記結果は、そのままキャッシュメモリ４７に転送され、新たなＧＳＲ入力にキャッシュ制御部４６の参照データとして使用される。

なお、新たに入力されるＧＳＲデータは、オントロジーデータベース３６に随時送られ、オントロジーデータベース３６には、逐次、新しいデータが蓄積され、古いデータの修正が行われる。

ところで、入力されたＧＳＲデータによって感情分析オントロジーエンジン３２が解析して得られた値が、当該通信者（被介護者）に固有な所定の標準値より高い場合は、通常のリラックス状態にあり、逆に標準値より低い場合は、何か精神的なストレスを抱えていると判定される。

このように、感情の判定の基準となる所定の標準値は、各通信者によって異なり、各通信者のこれまでのＧＳＲデータとその際の感情との関連の積み重ねによって定められる値であり、これまで累積されたＧＳＲデータの平均値を参照して、実際に感情分析オントロジーエンジン３２を動作させる時点において所定の標準値が決められる。

上記の説明においては、前記のとおりＧＳＲを中心に、ＧＳＲデータによる感情の判定を説明したが、ＧＳＲデータに加えて、体温データ及び心拍数データも、感情分析オントロジーエンジン３２に入力され、ＧＳＲデータと同様に感情との関連に関するデータが、オントロジーデータベース３６に蓄積され、感情判定に供せられる。

実際は、ＧＳＲ値、体温及び心拍数のデータは、それぞれ通信者（被介護者）の生体情報の計測結果（被介護の体調）等に応じて重み付けされて利用される。

例えば、体温が週平均値より１℃超えているような場合は、ＧＳＲ、体温及び心拍数の重みを０．８、０．２、０とし、心拍数が通常平均の１２０％を超えている場合は、体温及び心拍数の重みを０．８、０、０．２とし、体温が週平均値より２℃超えかつ心拍数が通常平均の２００％を超えている場合は、体温及び心拍数の重みを０．２、０．４、０．２とする等である。

感情の状態を表すデータは、撤回（問題から逃げたい状態）、関与（積極的に取り組む状態）、覚醒（ぼんやりしている）、分離（自由な状態）、心配、抑制（抑鬱の状態）、洞察・意識（積極的に意識し観察しようとしている状態）、調子（リラックス又は緊張している状態）、目的状態（何か目的を達成しようとしている状態）、並列の目的状態（複数の目的を達成しようとしている状態）等があり、しかもこれらの感情には、強弱もあり、そのような諸感情の相関的な分布は、図６（引用文献：「The Galvanic Skin Response(GSR) Meter by Peter Shepherd」、http://www.hackcanada.com/ice3/wetware/gsr.html 参照）に示される。

感情の状態を表すデータは、表示生成部６２において、感情の安定状態、喜怒哀楽等の感情表示データに、連続的に変換される。そして、感情表示データによって、通信者のＧＳＲと、体温及び心拍数の生体情報とに応じた感情が、刻々とディスプレイ５に表示される。例えば、色と顔を形どってディスプレイ５の表示画面に、通信者の感情表現として表示される。

介護施設のコールセンター４に配置された介護者は、このようにディスプレイ５に表示される感情の変化を考慮して、通信者と、通信者端末６及び電話等のモバイルデバイスを使用してコミュニケーションを図り、そのコミュニケーションを通して、効果的、質の高い介護を行うことができる。

表示生成部６２において作成された感情の感情表示データは、報告生成部６３に送られ、さらに報告データとして、カテゴリーデータベース３７に送信され、蓄積される。なお、表示生成部６２報告動作を示す動作データを、逐次、キャッシュメモリ４７に送り、このような動作データに基づき、キャッシュ制御部４６はキャッシュ動作を円滑に進める。

（使用の一例）
図７は、本発明の感情評価システム１を介護に使用した一例を説明するフロー図である。スタートに際しては、送信側通信者である被介護者について、ＧＳＲセンサ１３でＧＳＲ値の計測が開始されるとともに、生体情報として、体温センサ１３による体温の計測、心拍センサ１５による心拍数の計測がそれぞれ開始される（図７（ア）参照）。

これらの計測データは、通信者端末のコンピュータによって、インターネットを介して、受信側通信者である介護施設の通信者端末に送信される。介護施設のサーバ端末では、受信したＧＳＲデータと、生体情報である体温及び心拍数のデータが、感情分析ントロジーエンジンに入力される（図７（イ）参照）。

感情分析オントロジーエンジン３２では、ＧＳＲデータと、生体情報である体温及び心拍数のデータが、解析され被介護者の感情の度合いが出力される。この判定では、例えば、積極的感情の度合いが数値で出力される（図７（ウ）参照）。

その数値が、当該被介護者の標準値より大である場合（図７中では、例えば、出力値＞０として示した）は、積極的な感情状態にあると判定され、介護者は積極的感情の場合に要する介護対応（積極的感情対応Ａ）へ進む（図７（エ）、（オ）、（カ）参照）。また、標準値より小である場合は、消極的な感情状態にあると判定され、介護者は積極的感情の場合に要する介護対応（積極的感情対応Ｂ）へ進む（図７（エ）、（キ）、（ク）参照）。

介護施設のオペレータである介護者（受信側の通信者）は、この判定結果である感情状態を観察しながら、その状態に応じて、被介護者の計測進行中に、介護対応としてリアルタイムで被介護者と電話等で対話を進めながら、被介護者の感情状態と関連しそうないろいろな情報を引き出す（図７（ケ）、（コ）参照）。

例えば、積極的感情状態の場合は、介護者は、例えば、当日の気分等の状態を被介護者からヒアリングして、得られた回答を、報告データとして、端末コンピュータによってオントロジーデータベース３６に入力し蓄積する（図７（サ）参照）。

場合によっては、あまり積極的感情状態（昂揚しすぎる状態）の場合は、介護者は、被介護者に対して、昂揚を抑えるプログラムを施す。例えば、話相手となって気分を落ち着かせる。（図７（シ）参照）。

また、例えば、消極的感情状態の場合は、介護者は、当日の気分等の状態を被介護者からヒアリングして、得られた回答を、報告データとして、受信者側のコンピュータによってオントロジーデータベース３６に入力し蓄積する（図７（ス）参照）。

被介護者の気分がすぐれず、抑鬱状態にある場合は、介護者は、被介護者に対して、昂揚させて元気を出すプログラムを施す。例えば、話相手となって心配事を聞いてやる（図７（セ）参照）。

（オントロジーエンジンによる判定するための構成）

感情分析オントロジーエンジン３２で、ＧＳＲデータと生体情報データ（温度、心拍数）等に基づいて判定するための構成（アーキテクチャー）は、推論層（inference layer）、ルール層（規則層）、オントロジー層（存在論層）及び領域の概念化層の４層構造となっている。

図８は、これら４層（図８中の楕円内参照）と、それぞれの具体的手段（図８中の矩形内参照）と、これら４層の具体的手段がそれぞれオントロジーデータベース３６と協働している点（図８中の白抜き矢印参照）を示す図である。

これら４層の４つのファクタによって、オントロジーデータベース３６を利用して、ＧＳＲデータと生体情報データ（温度、心拍数）等に基づき、被介護者のより正確な感情データの判定を行う。ここで、４層の４つのファクタを説明する。

推論層（inference layer）は、 これまでの蓄積データによって、ＧＳＲ等のデータの一致、分類、推論を行うための層である。

ルール層（規則層）は、ＪＥＮＡのＳＷＲＬで記述されている。このルール層（規則層）は、オントロジールールのルールを生成する層であり、そのためにルールの構築のための解析及び推論を行う。オントロジールール（存在論規則）は、オントロジーウェブ言語(存在論ウェブ言語：OWL)によって記述されている。

ここで、ＪＥＮＡは、セマンティックＷｅｂアプリケーションを構築（開発）するためのＪａｖａ（登録商標）フレームワークである。ＪＥＮＡは、セマンティックウェブとリンクしたデータアプリケーション、ツール、およびサーバを開発するために役立つツール及びＪａｖａ（登録商標）ライブラリのコレクションを提供する。

ＳＷＲＬは、ソフトウエアのルールレイヤのことである。ＪＥＮＡで使用されるオントロジー言語には、ＯＷＬなどのオントロジーウェブ言語（存在論ウェブ言語：Ontology Web Language）がある。このＯＷＬを使用する場合のルール生成層を、ＪＥＮＡ ＳＷＲＬと言っている。

オントロジー層（存在論層）はOWL API及びOWL GUIによって構成される。ここで、OWL APIは、OWLで記述されたアプリケーションプログラミングインターフェース（Application Programming Interface）であり、アプリケーションから各機能を呼び出すためのインターフェース（ＯＳとその上で稼働するアプリケーションとの間のインターフェース規定）である。この発明においては、OWL APIは、ＧＲＳデータから推論して得られた論理的な結果から関連するオントロジー定義をキャッシュして運用する。

また、OWL GUIは、OWLで記述されたグラフィカルユーザーインターフェース（Graphical User Interface）であり、画面上に表示されたアイコン等のグラフィカルな要素を、マウス等で操作することによって、コンピュータを操作するインターフェースである。この発明においては、OWL GUIは、データとウィジット（Widget：デスクトップ上で特定の機能を実行するための簡易的なアプリケーション）の修正を編集する。

領域の概念化層は、プロジェイＡＰＩ及びプロジェイＧＵＩによって構成される。プロジェイＧＵＩは、テーブル、クラス及びウィジットにより構成されるグラフィカルユーザーインターフェースであるプロジェイＡＰＩは、オントロジーにおける、クラス、特性及び個々のモデルを生成するときにコールされるアプリケーションインターフェースである。なお、「プロジェイ」はフランス語でProtege（eの上には´が付されている）と記述されたソフトの日本発音であり、プロジェイＡＰＩとは、オントロジー編集のために広く使われているインターフェースツールである。

図９は、ＧＳＲデータ（ＧＳＲ計測データ）について、オントロジーを構成するクラス(事柄や事実)の関係を示す図である。なお、オントロジーを記述しその関係を示すには、事実としての事柄（Entities）とそれらの関係図（Attributes）を記述する。この図９はそれらの関係を示したオントロジーの関連図である。また、図中の→は、その方向にしか現象、事象が進行しない場合の関連を示している。従って、矢印以外の方向ではこの関係は成り立たないことも同時に意味する。

即ち、事柄（エンティティ：Entities）とは、事実として生じた全ての事柄の事であり、ＧＳＲの測定値もエンティティである。その測定されたシステム、通信手段、被介護者、通信を受けたオペレータ、生体データ、環境データなど様々な条件として挙げられるものを言う。

これらの事実と事実の間係を示すのが、Attributesである。この事実の関係は、方向性と多重性を持ち、矢印と複数のオントロジー関連図が組み合わされて一つの事実のオントロジーシステムを構成する。

本発明は、ＧＳＲ値という被介護者の皮膚抵抗値を、オントロジーとして情報整理して人の感情というものとして判断する構成である。その感情は、さらにオントロジーデータベースを基にして感情判断の正確さを高め、通信中にリアルタイムに被介護者の感情感知と言う形で使用することに意味がある。

推論エンジンは、入力されるＧＳＲ値とそのときの状況を関係図として表現する。即ち、ＧＳＲ値を測定した環境、時刻、継続通信時間、その他の生体情報や、被介護者の通信した場所（施設、自宅、他）などのメタデータを一つの条件として関連つける。例えば、夏の暑い午後の時間、介護施設、定期が良い、などである。

システムとは、使用者の通信環境、通信するデバイスを示す。また、インプット（Input）とは、全ての入力情報を意味し、測定される生体データ値、周辺環境条件、アプリケーションモデルおよび各種データベースなどを含むすべての情報である。意味（Means）は、元のオントロジーデータベース、もしくは外部からクローラ（Crawler）によって取得した文書などの情報を自然言語処理手段４２による自然言語処理（ＮＬＰ）によって意味を判別したものを表している。

図９において、ＧＳＲデータのクラスは、特性、システム上の構成や使用条件での特徴（特徴あるシステム）、使用したシステムの通信時のポリシー、その通信による結果、計測要素(GSRセンサ、体温計、心拍計）、インプットを含む。これらのクラスは、さらに、必要に応じて、その配下にサブクラスとして新たなクラス分類が生成される。このような配下のサブクラスには、条件によって様々な項目が生成される。

図９に示すように、インプット(Input)された情報から、オントロジーによる意味を生成している。環境ファクタは、測定時の詳細な項目を示す。

その他、図９には示していないが、入力のデバイスタイプ、その個人生体情報を暗号化する場合の手段（エンコードするスキーム）、通信プロトコル及び通信するシステム情報ポート番号（８０、８０８０番等のＩＳＯの第７階層の通信なのか、下位の階層での通信ポートを用いて通信されたのかといった通信時の環境設定情報など）を含む。

入力された数値からの結果は、下位のクラスである非有効的なデータ数値(Input Validation Error)及び悪用論理(Logical Exploit)などの分類の定義を参照し、必要に応じて必要なクラスにその結果がその定義に属する事を判断され通知される。入力値が有効ではない範囲が測定された場合には、無効として、非有効的なデータ数値に分類される。

下位クラスである悪用論理(Logical Exploit)は、さらに、例外条件(Exception Condition)、人種条件、微細なエラー(Atomicity Error)及び連続エラー(Serialization Error)のサブクラスに分類される。

属性（年齢、性別等）、各々のエンティティ（事実としての事柄）、ＧＳＲデータ（ＧＳＲの実測値）は、それぞれオントロジーデータベースを共有（構築）する。リアルタイムでのオントロジー（Ontology）の生成は、計測されたＧＳＲデータを基に、被介護者ごとの過去のデータを比較して現実的な価値を推論するためオントロジーデータベースを加味して、最終的な判断とするためのＧＳＲオントロジーとして形成される。

図１０は、動的なルール生成プロセスを示している。全てのルールは、ユーザーリクエスト及び対応する工程から成り、特定のＧＳＲ数値を検知する基準値を含む。ここで、ユーザーリクエストとは、ユーザーからの通信要求であり、対応する工程とは、その被介護者への応答者（介護者）のプロセス工程であり、特定のＧＳＲ数値とは、被介護者固有のＧＳＲ値の標準値とその標準値から見込める感情の良し悪しの範囲である。

オントロジールールに基づいた推論(Rule Reasoning)は、オントロジーデータベース３６に保存された過去の情報から生成された意味を持ったルール（Semantic rules）及びオントロジーモデルを使用して、推論エンジン４３(Inference Engine 図５参照)によって実行される（図１０（ア）参照）。ここで、オントロジーモデルとは、過去の事実に基づいて生成されたオントロジーデータベースのことである。

推論エンジン４３によって生成した推論知識モデル（推論した結果を基に作成されたデータベース）は、推論知識ベースに一旦蓄積され（図１０（イ）、（ウ）参照）、その情報は、ＧＳＲ数値のルール生成部(Rule Generator)の要求に応じて、使用される（図１０（エ）、（オ）参照）。

ルール生成部は、オントロジーデータベース３６のルールテンプレートとルール文法を使用してルールを生成する（図１０（ソ）、（タ）参照）。なお、ルールとは、オントロジーのデータベースを生成するためのルールであり、順番、矢印からなる事実の起こる順番などがある。

ＧＳＲ数値からクローラによって得られた情報を基に生成された意味的なクエリー(Semantic Query、ここではＧＳＲの数値に意味を反映したクエリー)は、オントロジーデータベース３６の中に保存されたルールテンプレートを適用して、これと比較し（図１０（カ）参照）、新たなクエリーとしてクエリー生成部（Query Builder）によって生成され（図１０（キ）参照）、ルール生成のためにルール生成部（Rule Generator）に送られ必要に応じて新ルールとして登録される（図１０（ク）参照）。

なお、ここで、クエリーとは、データベース管理システムに対する処理要求(問い合わせ)を文字列として表したものであり、データの検索や更新、削除などの命令をシステムに発行するのに使われる。

そして、ルール生成部（Rule Generator）は、この意味的なクエリー(Semantic Query)を、推論知識ベースに送り（図１０（エ）参照）、それをルールテンプレート（Rule Template）に保存する（図１０（ウ）参照）。また、検知ルールは、オントロジーデータベース３６がアップデートされるまで、ルールキャッシュ（Rule Cash）に格納され、過去のＧＳＲ値と今の計測しているＧＳＲの数値の比較における性能向上に貢献する仕掛けとなる（図１０（ケ）、（コ）参照）。

意味解析部６１は、ルールキャッシュ(Rule Cache)にキャッシュされている検知ルール(Detection Rules)を参照して使用する（図１０（サ）、（シ）参照）。また、意味解析部６１は、検知ルール(Detection Rules)の解析のために、ルール文法(Rule Grammar)を使用する（図１０（ス）参照）。意味解析部６１は、入力されてくるＧＳＲデータを基にして得られた情報を基に検知ルール等を利用し分析作業を実行する（図１０（セ）参照）。

（変形例）
上記実施例では、被介護者側の通信者端末は、コンピュータであることを前提として説明したが、実質コンピュータの機能を備えていれば、他の端末機器でもよい。例えば、被介護者側の通信者端末として、モバイルデバイス（例えば、スマートフォンのような携帯電話、ＰＤＡ（Personal Digital Assistants）等の機器等の携帯情報端末）としてもよい。このような構成を、本発明の実施例の変形例として、以下説明する。

携帯電話の場合は、携帯電話の画面を正面から見て左右の側面に、それぞれステッカータイプのＧＳＲ電極パッドを貼り付けた構成とし、被介護者（又は介護用でなければ携帯電話の一般の使用者）が、携帯電話を把持する際に、上記左右の側面にそれぞれ貼り付けられたＧＳＲ電極パッドを手に接触させて、ＧＳＲ値を計測する構成とする。

このようなＧＳＲ電極パッドによって計測されたＧＳＲ値は、通話の際にＵＳＢＩ／Ｆ（ＵＳＢインターフェース）を介して携帯電話に取り込まれ、ＧＳＲデータとして、携帯電話から通信回線（インターネット等）を介して、接続先の例えば介護センターのコンピュータに送信されるような構成とする。

このような構成とすれば、被介護者（又は携帯電話の一般の使用者）は、自宅からでなくてもその出先から、ＧＳＲデータを簡単に送信でき、受信側の端末に配置された感情評価手段によって、受信側の通信者は、リアルタイムで送信者の感情を判断できる。

従って、送信者が被介護者の場合は、介護センターのオペレータでもある介護者は、被介護者の感情を考慮しながら、効果的な介護をすることが可能となる。また、携帯電話による送信者が顧客の場合は、店舗のオペレータでもある販売員は販売に際して、顧客の感情まで考慮しながら、きめ細かいサービスを提供することが可能となる。

本発明の感情評価システムは以上のとおりの構成であるが、その利用に際しては、通信者の登録を事前に行い、通信者のうち被介護者の生体情報の履歴をクラスに分けて分類する。そのクラスの関係を過去に起こった事実としてオントロジー言語であるＯＷＬで記述し、それぞれの関係と繋がりをデータベースに格納することで、現在の測定数値が過去との関連でどのような感情にあるかを類推して判定する。

このオントロジー判定には、前記したとおり４層の４つのファクタを利用して行う。この結果、感情という刻一刻と変化する数値パラメーターを過去からの関連付けから推論することで、リアルタイムにその時々の感情を判定することが可能となる。

このことで、通信者は、インターネットという開かれた通信網においても、特定の通信者とお互いの感情を確かめ合いながら相互通信することで、従来、インターネットを通して物理的な面談でしか行えなかった様々なサービスを、感情を交えた相互通信の実装が可能となる。

さらにこのことは、電子商取引での特定顧客へのサービス向上に効果を発揮するほか、高齢か社会における高齢者と介護者とのコミュニケーションを介護されるものの体調、感情を鑑みながら介護作業が可能となる。

また、本発明の感情評価システムは、自宅、外出先の施設、店舗、介護施設等様々な場所においても利用可能である。ディスプレイは、場所を取らない態様にし、さらに個人認証として、声紋等の態様も可能である。

以上、本発明に係る感情評価システムを実施するための形態を実施例に基づいて説明したが、本発明はこのような実施例に限定されるものではなく、特許請求の範囲に記載された技術的事項の範囲内でいろいろな実施例があることは言うまでもない。

本発明に係る感情評価システムは上記のような構成であるから、介護、電子商取引等、インターネットを介してコミュニケーションが必要な様々な分野へ適用可能である。このような適用について、その効果とともに説明する。

電子商取引で、特定顧客の継続的な個人の感情や嗜好性を保持し、その都度リアルタイムにＧＳＲ値を計測することで、個人の感情を判定することが出来るので、顧客への感情の鑑みたサービスの提供を実現できる。

高齢化社会における高齢者と介護者とのコミュニケーションを介護施設や場所に制限されること無く実施できるので、高齢者の現状の体調や、感情を鑑みながら精神面での介護作業を効果５に実施で出来る。

工業分野における本発明の応用は、人の作業によるあらゆる場面で感情による個人の作用適応性を、遠隔地から判定可能とし、作業を監視し、安全性を高めることにも適用可能である。

例えば、飛行機、電車、自動車等乗り物を運転する場合の運転者は、その操作ミスは大変大きな損害を被るだけでなく人命に関わる重要な作業である。このときの作業者の心理的状態や、突発的な発作等を、本発明によれば、遠隔地からリアルタイムで感知し判断できる。これによって人為的操作ミスの自己を事前に防ぐことが可能となる。

情報システムにおける突発的なシステム停止や故障は、単に工学的な見地から情報システムを多重化してシステムの冗長化をとることでシステム停止を防いでいる現状であるが、本発明では、その作業者の運用時の感情を常に、遠隔地から監視、判断出来るので、人為的なシステム停止を防ぐことが可能となる。

また、情報システムにおける重要なデータの消去、情報漏洩等は、その原因の８５％は、人為的なミスによるものとされる。例えば、顧客の全メールの消去は、ソフトウエアのアップデートによるバッチプログラムのバグによるとされるが、人為的ミスである。この様な操作ミスによる情報消去、内部関係者による故意的な情報漏洩を操作するオペレータの感情で判断して避けることが可能となる。

医療機器の取り扱い作業者についても同様の個人の感情判断で操作ミスを事前に判断できる。

本発明は、システムや機械を使用する側の視点から判断してその操作の可否を決定し安全な運用を実現することができる。例えば、介護ロボットが普及する近未来社会では、ロボットの不必要、不適切な動作によって、被介護者を傷つけることが考えられる。本発明は、被介護者の感情によって痛みを伴い作業を強制的に介護ロボットにフィールドバックして動作を中断させることも出来る。

音声や映像を提供する劇場から一般家庭における映像装置においても映像視聴者が不快な大音量や映像のコンテンツを感知、判断した場合には、映像装置の出力、発信するコンテンツの内容を変更することで視聴者の不快感を除くことが出来る。

食堂等、飲食者の感情を遠隔感知することで現在の提供するメニューや食事がどのように評価されているかをリアルタイムに判断できるので、その地域の飲食する顧客の嗜好に合った食品の提供が可能となる。

１ 感情評価システム
２ 通信者端末
３ 感情評価手段を備えた通信者端末
４ コールセンター
５ ディスプレイ
６ 介護施設に設置された通信者端末
７ 被介護者側の通信者端末
８ 店舗（又は仮想店舗）に設置された通信者端末
９ 購入者側の通信者端末
１２ 計測装置
１３ ＧＳＲセンサ
１４ 体温センサ（体温計）
１５ 心拍センサ（心拍計）
２０ コンピュータ
２１ ＣＰＵ
２２ ローカルメモリ
２３ ノースブリッジ
２４ サウスブリッジ
２５ バス
２６ 入出力部
２７ 記憶装置
３１ 感情評価手段
３２ 感情分析オントロジーエンジン
３３ データベース
３６ オントロジーデータベース
３７ カテゴリーデータベース
４１ ＧＳＲデータ抽出手段
４２ 自然語言語処理手段
４３ 推論エンジン
４６ キャッシュ制御部
４７ キャッシュメモリ
４８ クローラ
５１ ＧＳＲパーサー
５２ パーサーメモリ
５３ トレーサー
５６ タグ生成部
５７ パーサー
６１ 意味解析部
６２ 表示生成部
６３ 報告生成部

Claims (6)

1. インターネットに接続された複数の通信者の端末を備え、送信側の通信者のＧＳＲ値と生体情報のデータに基づいて、受信側において送信側の通信者の感情を評価するＧＳＲ値と生体情報に基づく通信者の感情評価システムであって、
   送信側の通信者の端末は、予め登録された送信側の通信者について計測されて得られたＧＳＲ値と生体情報のデータを受信者側の端末にインターネットを介して送信し、
   受信者側の通信者の端末は、受信したＧＳＲ値と生体情報のデータに基づき、すでに取得している送信側の通信者のＧＳＲ値と生体情報の履歴から推論して、現状の送信側の通信者の感情を判定する構成であることを特徴とするＧＳＲ値と生体情報に基づく通信者の感情評価システム。
2. 通信者のＧＳＲ値と生体情報のデータは重み付けされ、経歴のデータとともに、オントロジー言語で記述され、その記述されたオントロジーに基づいてルール生成と推論を行い、通信者の感情が判定される構成であることを特徴とする請求項１に記載のＧＳＲ値と生体情報を基づく通信者の感情評価システム。
3. 通信者のＧＳＲ値は、ＧＳＲセンサに、通信者が通信時に手若しくは指を接触又は指を挿入して皮膚抵抗を測定することで計測される構成であることを特徴とする請求項１又は２に記載のＧＳＲ値と生体情報を基づく通信者の感情評価システム。
4. 判定された感情に係るデータは、受信側通信者又は第三者に、リアルタイムに送信側通信者の感情表現として、色と顔を形どって表示画面で表示される構成であることを特徴とする請求項１〜３のいずれかに記載のＧＳＲ値と生体情報を基づく通信者の感情評価システム。
5. 通信者は、店舗、介護施設、診療所、事務所若しくは企業、又は店舗、介護施設、診療所、事務所若しくは企業のイーコマースサービスを利用する者であり、インターネット通信を使ったＷｅｂサービスに適用できることを特徴とする請求項１〜４のいずれかに記載のＧＳＲ値と生体情報を基づく通信者の感情評価システム。
6. 通信者の端末は、使用者が携帯するモバイルデバイスであることを特徴とする請求項１〜５のいずれかに記載の感情評価システム。

Images