JP2008000205A - 知覚情報提示装置 - Google Patents

Abstract

【課題】環境の物理量が変化して人が刺激を受けた場合、この環境の物理量の変化に基づいて、人が知覚したと推定される量を求め、推定結果を提示すること。
【解決手段】本発明の知覚情報提示装置１０は、刺激物理量センシング部１２で、五感の何れかを刺激する物理量である刺激物理量がセンシングされ結果が出力される。主観入力部１４では、人が知覚した刺激に対する感覚量が入力される。記憶装置１６には、入力された感覚量と、センシングされた刺激物理量とを関連付けて蓄積した履歴情報を保持したデータベースが格納される。刺激知覚量推定部１８では、刺激物理量センシング部１２からセンシング結果が出力されると、データベース部にこのセンシング結果が蓄積される前の履歴情報と、出力されたセンシング結果とに基づいて、センシング結果に対応する刺激物理量によって人が知覚したと推定される刺激知覚推定量が求められる。
【選択図】図１

Description

本発明は、例えば味覚や聴覚など、人の五感のうちの何れかの刺激に対して人が知覚したと推定される量を提示する知覚情報提示装置に関するものである。

従来、温度計、湿度計、風速計、震度計、マイクロフォン等のセンシング装置は、環境に存在する物理的な量の変化を測定している。例えば、マイクロフォンは、音を電気信号に変換して、この電気信号の値から、音の大きさを測定している。また、温度計は、温度によって変化する物理現象を利用し、この物理現象の変化によって変化する物理量を測定することにより、温度を把握している。

この種の物理現象の変化を検出するセンシング装置のその他の例としては、例えば、非特許文献１乃至５がある。

非特許文献１では、家庭内の人の動作を検出し、そのセンシングデータに基づいて体調を推定するシステムが開示されている。

非特許文献２では、脂質高分子膜の膜電位応答型マルチチャネル味センサを用いて、コメの味を定量評価する技術が開示されている。

非特許文献３では、半導体薄膜ガスセンサの一つとして、ＩＣ技術を用いたマイクロチャネル形ガスセンサによる高感度なガスセンサが開示されている。

非特許文献４では、温度や匂いの濃度の変動や、湿度などの外乱の影響を受けにくいロバストな匂いセンシングの実現を、センサセルへの高速かつ高濃度の匂い供給手法を用いることによって目指した技術が開示されている。

非特許文献５では、生理学的情報センシング装置の例として、空気動圧センサによる電気はり療法時の動物の生体情報計測手法が開示されている。

一方、人は、このような物理現象の変化によって、様々な刺激を知覚する。言い換えれば、知覚とは、外界から感じ取った刺激を意味付けることである。視覚、聴覚、触覚、味覚、嗅覚といった五感や、体性感覚、平衡感覚などの感覚情報をもとに、「熱い」「重い」「固い」などという主観的な体験として再構成する処理であるとも言える。
大塚晃一郎、井上雅之、久保宏一郎、藤野雄一、桑野博喜、「高齢者の家庭内生活に着目した体調検知システムの提案」、電気学会全国大会、２００２年３月、工学院大学 江崎秀、渡邉礼方、飯山 悟、都甲 潔、「コメの味抽出法と味センサへの応用」、電気学会全国大会、２００２年３月、工学院大学 伊藤彰人、原 和裕、「ガス選択性改善のためのマイクロチャネル形ガスセンサの研究」、電気学会全国大会、２００２年３月、工学院大学 住友永史、中本高道、「センサセル直結型濃縮素子を用いた匂いセンシングシステムの研究」、電気学会全国大会、２００２年３月、工学院大学 久野弘明、原 茂雄、高橋ひとみ、齋藤敏之、高島 充、大川井宏明、「空気動圧センサによる電気はり療法時の動物の生体情報計測」、第３６回日本エム・イー学会東北支部大会予稿集

このように、知覚は主観的な要素を多く含むため、人が同じ物理的な刺激を受ける状況下にあっても、他人が知覚している情報量が適切な量からどれだけ多いか、どれだけ小さいかといった定量的な把握は難しい。したがって、人がある刺激に対してどの程度感じているのか、すなわち、どの程度知覚しているのかを提示する技術は存在していない。

そのために、例えば、会話中に必要以上に大声を出したり、逆に、相手に聞こえない声で話し続けたり、食事中に相手は十分に辛いと感じているのに唐辛子を追加したり、相手の鼻が詰まっているのに十分ににおいを堪能していると勘違いするなど、必要以上の刺激を相手に与えたり、勘違いした行動をとりかねないという問題がある。

本発明はこのような事情に鑑みてなされたものであり、環境の物理量が変化して人が刺激を受けた場合、この環境の物理量の変化に基づいて、人が知覚したとされる量を推定し、推定結果を提示することが可能な知覚情報提示装置を提供することを目的とする。

上記の目的を達成するために、本発明では、以下のような手段を講じる。

すなわち、請求項１の発明の知覚情報提示装置は、刺激物理量センシング手段と、入力手段と、データベース部と、刺激知覚量推定手段と、出力手段とが備えられている。そして、刺激物理量センシング手段では、人の五感のうちの何れかを刺激する物理量である刺激物理量がセンシングされ、センシング結果が出力される。また、入力手段には、刺激を受けた人が知覚したその刺激に対する主観的な感覚量が、この人によって入力される。また、データベース部には、入力手段によって入力された感覚量と、この感覚量に対応して刺激物理量センシング手段によってセンシングされた刺激物理量とを関連付けて蓄積した履歴情報が保持される。そして、刺激知覚量推定手段では、刺激物理量センシング手段からセンシング結果が出力されると、データベース部にこのセンシング結果が蓄積される前の履歴情報と、出力されたセンシング結果とに基づいて、出力されたセンシング結果に対応する刺激物理量によって人が知覚したと推定される刺激知覚推定量が求められる。出力手段では、この刺激物理量に対応する刺激を受けた人によって入力手段に入力された感覚量と、この刺激物理量に対して刺激知覚量推定手段によって求められた刺激知覚推定量とが関連付けて出力される。

次に、請求項２の発明は、請求項１の発明の知覚情報提示装置において、刺激を受けた人の生理的反応量を、この人によってなされる入力手段への感覚量の入力と同期してセンシングし、センシング結果を出力する生理的反応量センシング手段が更に備えられる。そして、データベース部は、履歴情報として、感覚量と、刺激物理量とに加えて、刺激知覚量推定手段によって求められた対応する刺激知覚推定量と、生理的反応量センシング手段によってセンシングされた対応する生理的反応量とをそれぞれ関連付けて蓄積した履歴情報を保持する。また、刺激知覚量推定手段は、生理的反応量センシング手段からセンシング結果が出力されると、データベース部にこのセンシング結果が蓄積される前の履歴情報と、出力されたセンシング結果とに基づいて、出力されたセンシング結果に対応する刺激によって人が知覚したと推定される刺激知覚推定量を求める。

次に、請求項３の発明では、請求項２の発明の知覚情報提示装置において、刺激知覚量推定手段は、生理的反応量センシング手段からセンシング結果が出力されると、データベース部にこのセンシング結果が蓄積される前の履歴情報において感覚量と刺激物理量とが一対一に対応して蓄積されていない場合にのみ、センシング結果である生理的反応量に対応する刺激によって人が知覚したと推定される刺激知覚推定量を求める。

請求項４の発明では、請求項２又は請求項３の発明の知覚情報提示装置において、生理学的反応量センシング手段によってセンシングされた生理的反応量をクラスタリングするクラスタリング手段を更に備えている。そして、データベース部は、履歴情報として、生理的反応量の代わりに、クラスタリング手段によってクラスタリングされた生理学的反応量を蓄積した履歴情報を保持する。刺激知覚推定手段は、センシング結果が出力されると、データベース部にこのセンシング結果が蓄積される前の履歴情報と、クラスタリング手段によるクラスタリング結果と、出力されたセンシング結果とに基づいて、分類結果に対応する生理的反応量に対応する刺激によって人が知覚したと推定される刺激知覚推定量を求める。

請求項５の発明では、請求項１の発明の知覚情報提示装置において、刺激を受けた人が晒されていた環境の情報を、この人によってなされる入力手段への感覚量の入力と同期してセンシングし、センシング結果を出力する環境情報センシング手段を更に備えている。そして、データベース部は、履歴情報として、感覚量と、刺激物理量とに加えて、環境情報センシング手段によってセンシングされた環境情報をそれぞれ関連付けて蓄積した履歴情報を保持する。また、刺激知覚推定手段は、環境情報センシング手段からセンシング結果が出力されると、データベース部にこのセンシング結果が蓄積される前の履歴情報と、出力されたセンシング結果とに基づいて、出力されたセンシング結果に対応する環境において人が受けた刺激によって人が知覚したと推定される刺激知覚推定量を求める。

本発明によれば、環境の物理量が変化して人が刺激を受けた場合、この環境の物理量の変化に基づいて、人が知覚したとされる量を推定し、推定結果を提示することが可能な知覚情報提示装置を実現することができる。

以下に、本発明を実施するための最良の形態について図面を参照しながら説明する。

図１は、本発明の実施の形態に係る知覚情報提示装置の構成例を示す機能ブロック図である。

すなわち、同実施の形態に係る知覚情報提示装置１０は、刺激物理量センシング部１２と、生理学的反応量センシング部１３と、主観入力部１４と、環境情報センシング部１５と、データベースを記憶する記憶装置１６と、刺激知覚量推定部１８と、知覚情報提示部２０と、クラスタリング部２１とを備えている。

上述したように、知覚とは、視覚、聴覚、触覚、味覚、嗅覚といった五感や、体性感覚、平衡感覚などの感覚情報も含まれる。したがって、知覚情報提示装置１０は、これらのうちどれを知覚の対象とするかで、各部位に適用されるセンサ種類や、ハードウェア等の最適構成が決定される。

したがって、図１に示す機能ブロック図は、本発明の知覚情報提示装置の概念を分かりやすく説明することを目的として示した汎用的な基本構成例であり、本発明の知覚情報提示装置は、図１に示す構成に限定されるものではない。本発明の知覚情報提示装置は、図１に示すような基本構成例をベースとして、対象とする知覚に応じた適切なセンサの選択や、必要な機能の追加、統合、変形、部分変更等を行うことによって実現されるものであり、これらも本発明の技術的範囲に属するものと了解される。

このような基本構成例を示す図１において、刺激物理量センシング部１２は、人の五感のうちの何れかを刺激する物理量である刺激物理量をセンシングし、センシング結果を、クラスタリング部２１に出力するとともに、刺激知覚量推定部１８に出力する。

主観入力部１４は、刺激を受けた人が知覚したその刺激に対する主観的な感覚量をその人が入力するための入力手段である。この感覚量は、厳密な値である必要は無く、例えば、過剰、適切、過小のような段階的なものであってよい。また、これら段階の閾値は、ユーザや開発者によって、適切になるように任意の初期値を設定することが可能である。しかしながら、この初期値は、その後の人の主観によって更新されうるものであるため、いずれにせよ設定精度は必要とされない。人が、この主観入力部１４に入力するタイミングは、基本的には、刺激を受けた直後である。しかしながら、味覚のように、瞬間的に知覚しない刺激の場合には、知覚後に入力するなど、刺激に応じて適切なタイミングで入力するようにしてよい。そして、主観入力部１４は、入力された感覚量を、記憶装置１６に記憶されたデータベースに書き込むとともに、知覚情報提示部２０に出力する。

生理学的反応量センシング部１３は、この刺激を受けた人の生理学的反応量を、刺激物理量センシング部１２によるセンシングと同期してセンシングする。そして、センシング結果である生理学的反応量を、クラスタリング部２１及び知覚情報提示部２０に出力する。

環境情報センシング部１５は、刺激を受けた人が晒されていた環境の情報（環境情報）を、刺激物理量センシング部１２によるセンシングと同期してセンシングする。そして、センシング結果を、クラスタリング部２１に出力するとともに、刺激知覚量推定部１８に出力する。

クラスタリング部２１は、刺激物理量センシング部１２、生理学的反応量センシング部１３、及び環境情報センシング部１５によってセンシングされたセンシング結果である刺激物理量、生理的反応量、及び環境情報を、例えばサポートベクトルマシンを用いてそれぞれクラスタリングし、クラスタリングされた刺激物理量、生理的反応量、及び環境情報を、記憶装置１６に記憶されたデータベースに書き込む。

記憶装置１６は、ハードディスクやメモリ等のハードウェアからなり、データベースを記憶している。このデータベースは、クラスタリング部２１から出力されたクラスタリングされたセンシング結果である刺激物理量、生理的反応量、及び環境情報とを関連付けて蓄積している履歴情報を保持する。

刺激知覚量推定部１８は、刺激物理量センシング部１２からセンシング結果である刺激物理量が出力されると、記憶装置１６に記憶されたデータベースにこのセンシング結果が蓄積される前の履歴情報と、この出力されたセンシング結果である刺激物理量とに基づいて、この刺激物理量によって、人が知覚したと推定される刺激知覚推定量を求める。また、クラスタリング部２１から対応するセンシング結果が出力されると、データベースにこのセンシング結果が蓄積される前の履歴情報において、感覚量と刺激物理量とが一対一に対応して蓄積されていない場合にのみ、データベースにこのセンシング結果が蓄積される前の履歴情報と、出力された生理学的反応量とに基づいて、この生理学的反応量に対応する刺激によって人が知覚したと推定される刺激知覚推定量を求める。また、環境情報センシング部１５からのセンシング結果である環境情報が出力されると、データベースにこのセンシング結果が蓄積される前の履歴情報と、出力されたセンシング結果とに基づいて、このセンシング結果である環境情報に対応する環境において受けた刺激によって人が知覚したと推定される刺激知覚推定量を求める。刺激知覚推定量は、厳密な値である必要は無く、例えば、過剰刺激、適切刺激、過小刺激のような段階的なものであってよい。また、この刺激知覚推定量を求めることは、センシング結果の出力から少し遅れて行う。そして、求めた刺激知覚推定量（例えば、過剰刺激又は適切刺激又は過小刺激）を知覚情報提示部２０に出力する。

知覚情報提示部２０は、この刺激物理量に対応する刺激を受けた人によって主観入力部１４に入力され、主観入力部１４から出力された感覚量と、この刺激物理量に対して刺激知覚量推定部１８によって求められた刺激知覚推定量とを関連付けて出力する。

次に、このような本実施の形態に係る知覚情報提示装置１０の、具体的な刺激に対する詳細な構成例について説明する。まず、刺激物理量センシング部１２の具体例について説明する。

聴覚に対する刺激としては、音量や、音の周波数などが相当する。したがって、これら刺激の物理量をセンシング場合、刺激物理量センシング部１２として、マイクロフォンや騒音計を用いる。

次に、味覚や嗅覚に対する刺激について説明する。味覚や嗅覚はともに分子、イオン、ガスなどの化学物質が受容器に作用するので化学感覚に属し、受容器は化学受容器と呼ばれる。味や匂いを生じる物質は通常非常に多く、化学受容器はこれら多くの物質の情報を収集する器官である。

そこで、臭覚に対する刺激としては、ガスを構成している何種類もの化学物質の量的割合が考えられる。したがって、刺激物理量センシング部１２としては、何種類もの化学物質を検出可能なガスセンサを用いる。

一方、味覚に対する刺激としては、臭覚と同様に食物を構成している何種類もの化学物質の割合が考えられる。人の味細胞の表面は脂質膜とタンパク質からできている。この細胞膜表面において、味の基本要素である五基本味は異なったメカニズムで受容される。脂質膜には酸味、塩味、苦味物質などが非特異的に吸着し、タンパク質には糖、旨み物質などが特異的に吸着して信号が生じると考えられている。そこで、刺激物理量センシング部１２としては、このような味細胞の構造を模擬した味覚センサを用いる。この味覚センサは、種類の異なる複数の人工脂質膜をそれぞれ有機膜中に含浸させ、基板上に固定化した電極で構成している。これら複数の電極に味物質が吸着した時に発生する膜電位をセンシング結果として測定する。

また、触覚に対する刺激としては、皮膚に対する圧力が考えられ、刺激物理量センシング部１２としては、圧力センサ、震度計、湿度計、風速計を用いる。

温覚に対する刺激としては、温度が考えられ、刺激物理量センシング部１２としては、温度センサを用いる。

視覚に対する刺激としては、明度（光量や光束）、彩度、色相が考えられ、刺激物理量センシング部１２としては、撮像装置、光量計、及び照度計等を用いる。

刺激の種類に応じて適宜選定される刺激物理量センシング部１２からのセンシング結果は、正確に、あるいは直接的に人が感じる主観的な感覚量と相関関係がある必要性はなく、ある刺激を人が受けた場合に、人が感じる主観的な感覚量にも影響がある可能性が有るという間接的な関係性があればよい。

次に、主観入力部１４の具体例について説明する。前述したように、主観入力部１４は、刺激を受けた人が知覚したその刺激に対する主観的な感覚量をその人が入力するための入力手段である。このような主観入力部１４の一例は、第一乃至第二からなる二つの入力ボタンを備えている。そして、人が刺激を受けたときに、その人の主観で、感覚量大か、感覚量適切か、感覚量過小かの三段階の何れに属するのかの判断を行わせる。そして、刺激が過剰（感覚量大）と感じた場合には第一のボタンを、過小（感覚量小）と感じた場合には第二のボタンを押させるようにする。一方、適切（感覚量適切）と感じた場合には何れのボタンも押させないようにする。あるいは、例えば、適切か、不適切かのみの２段階の判断を行わせても良い。この場合、そして、不適切と感じた場合には第一のボタンを、適切と感じた場合には第二のボタンを押させるようにする。

例えば、聴覚に対する刺激の場合、突発的音量、定常的音量（ノイズなど）がうるさい（過剰）か、適量（適切）か、静か過ぎて聞こえない（過小）かの三段階での判断とする。痛覚に対する刺激の場合も同様に、痛い（過剰）か、痛くない（適切）か、感じない（過小）かの三段階での判断とする。また、温覚に対する刺激の場合も、暑い（過剰）か、適温（適切）か、冷たい（過小）か、臭覚に対する刺激の場合も、臭い（悪）か、気にならない（普通）か、いい匂い（良）かの三段階での判断とする。一方、味覚に対する刺激の場合は大雑把に分類してまずい（不良）か、おいしい（良好）かの二段階での判断も、あるいは甘い（過剰）か、適切（適切）か、甘くない（過小）か、辛い（過剰）か、適切（適切）か、辛くない（過小）か、酸っぱい（過剰）か、適切（適切）か、酸っぱくない（過小）か、苦い（過剰）か、適切（適切）か、苦くない（過小）か、旨味成分が多い（過剰）か、適切（適切）か、旨味成分が少ない（過小）かの三段階での判断でも可能である。二段階である場合は、過少の場合の刺激が適切であるような感覚である。

主観入力部１４は、三段階で判断される場合には、第一のボタンが押されると感覚量大を示す情報を、第二のボタンが押されると感覚量小を示す情報を、いずれのボタンも押されない場合には感覚量適切を示す情報を、それぞれ記憶装置１６に記憶されたデータベースに書き込むとともに、知覚情報提示部２０に出力する。一方、二段階で判断される場合には、第一のボタンが押されると不適切を示す情報を、第二のボタンが押されると適切を示す情報を、それぞれ記憶装置１６に記憶されたデータベースに書き込むとともに、知覚情報提示部２０に出力する。

次に、生理学的反応量センシング部１３、および生理学的反応量センシング部１３によるセンシング結果である生理学的反応量を考慮して推定される刺激知覚推定量の詳細について説明する。

人が刺激によって受ける主観的な感覚量は、たとえ刺激の量が一定であっても、人の状態によって異なる。例えば、一定の音の刺激が与えられていても、人が仕事や勉強等に集中しているときだと「うるさい音量」と感じるが、そうでない場合であれば「適切な音量」と感じるかもしれない。

そこで、生理学的反応量センシング部１３が、人の生理学的反応量をセンシングし、このセンシング結果を、刺激知覚量推定部１８においてなされる刺激知覚推定量の推定に反映することによって、主観的な感覚の揺れを考慮し、人の状態に応じたより正確な刺激知覚推定量の推定を行うようにしている。

生理学的反応量とは例えば、心拍数や脳波、筋電、血液成分、眼球運動、脈拍、呼吸数、発汗、視線方向、血圧、歩行あるいは着座バランスなど人間の体から取得できるあらゆる情報のことをさす。

生理学的反応量をセンシングし、このセンシング結果を、刺激知覚量推定部１８においてなされる刺激知覚推定量の推定に反映することは、同一の刺激物理量を持つ刺激に対して、感覚量が一対一に対応しない場合に有効である。この場合、同一の刺激物理量に対応する感覚量は、過剰刺激と適切刺激との組み合わせ、あるいは適切刺激と過少刺激との組み合わせである。

クラスタリング部２１は、このことに着目して、生理学的反応量センシング部１３から出力された少なくとも一つ以上の生理学的情報（複数取得した場合はその数値配列のパターン、サポートベクトルマシンでクラスタリングする場合はその中でも影響の大きそうな２軸を選択する）を、過剰刺激のクラスタと適切刺激のクラスタに、あるいは適切刺激のクラスタと過少刺激のクラスタに、例えばサポートベクトルマシンを用いてクラスタリングし、物理刺激量と生理学的情報の一クラスタの入力に対して感覚量が一意に対応するようにして、データベースの履歴情報に蓄積する。

そして、刺激知覚量推定部１８が、この履歴情報を活用することにより、ある一定の物理刺激量に対して人の生理学的情報をも考慮した刺激知覚推定量を推定する。

次に、環境情報センシング部１５、および環境情報センシング部１５によるセンシング結果である環境情報を考慮して推定される刺激知覚推定量の詳細について説明する。

生理学的反応量センシング部１３の代わりに環境情報センシング部１５を用いることにより、生理学的反応量の代わりに、環境情報を考慮して刺激知覚推定量を求めることができる。環境情報とは、物理的な刺激として対象とされている以外の刺激を伴う環境の情報である。このような環境情報も、人の感覚量に影響を与える要素を持っている。したがって、このような環境情報をセンシングする環境情報センシング部１５は、刺激物理量センシング部１２とは異なり、物理的な刺激を検出するのには利用されないが、人が主観的に知覚できていない刺激であっても、人に何らかの影響を与えていると考えられるものをセンシングする。このようなものとしては、例えば紫外線強度計、電磁波測定器、超音波検出装置、低周波検出装置、金属探知機などが挙げられる。

次に、本実施の形態に係る知覚情報提示装置１０の動作について図２に示すフローチャートを用いて説明する。

まず、人に対して刺激が与えられると、刺激物理量センシング部１２によって、この刺激に対応する物理量である刺激物理量がセンシングされ、センシング結果が、クラスタリング部２１に出力されるとともに、刺激知覚量推定部１８に出力される（Ｓ１）。

また、生理学的反応量センシング部１３では、刺激物理量センシング部１２によるセンシングと同期して、この刺激を受けた人の生理学的反応量がセンシングされる。そして、センシング結果である生理学的反応量が、クラスタリング部２１及び知覚情報提示部２０へ出力される（Ｓ２）。

更にまた、環境情報センシング部１５では、刺激物理量センシング部１２によるセンシングと同期して、刺激を受けた人が晒されていた環境の情報（環境情報）がセンシングされる。そして、センシング結果が、クラスタリング部１２に出力されるとともに、刺激知覚量推定部１８へ出力される（Ｓ３）。

また、この刺激を受けた人は、この刺激に対する主観的な感覚量（例えば、過剰であったか、適切であったか、過小であったか）を主観入力部１４に入力する。入力された感覚量は、記憶装置１６に記憶されたデータベースに書き込まれるとともに、知覚情報提示部２０へ出力される（Ｓ４）。

図２に示すフローチャートでは、ステップＳ１〜Ｓ３を分けて記載しているが、上述したように、ステップＳ１〜Ｓ３の動作は、同期して行われる。

一方、クラスタリング部２１では、各センシング結果が、例えばサポートベクトルマシンを用いてクラスタリングされ、クラスタリングされた刺激物理量、生理的反応量、及び環境情報が、記憶装置１６に記憶されたデータベースに書き込まれる(Ｓ５)。

記憶装置１６に記憶されたデータベースには、主観入力部１４から出力された感覚量と、この感覚量に対応する刺激物理量と、生理的反応量と、環境情報とを関連付けて蓄積している履歴情報が保持されている。

刺激知覚量推定部１８では、刺激物理量センシング部１２からセンシング結果である刺激物理量が出力されると、クラスタリングされたこのセンシング結果が記憶装置１６に記憶されたデータベースに蓄積される前の履歴情報と、この出力されたセンシング結果である刺激物理量とに基づいて、この刺激物理量によって、人が知覚したと推定される刺激知覚推定量が求められる。また、生理学的反応量センシング部１３からセンシング結果である生理学的反応量が出力されると、クラスタリングされたこのセンシング結果がデータベースに蓄積される前の履歴情報において感覚量と刺激物理量とが一対一に対応して蓄積されていない場合にのみ、クラスタリングされたこのセンシング結果がデータベースに蓄積される前の履歴情報と、出力された生理的反応量とに基づいて、この生理的反応量に対応する刺激によって人が知覚したと推定される刺激知覚推定量が求められる。また、環境情報センシング部１５からのセンシング結果である環境情報が出力されると、クラスタリングされたこのセンシング結果がデータベースに蓄積される前の履歴情報と、出力されたセンシング結果とに基づいて、このセンシング結果である環境情報に対応する環境において受けた刺激によって人が知覚したと推定される刺激知覚推定量が求められる。刺激知覚推定量は、厳密な値である必要は無く、例えば、過剰刺激、適切刺激、過小刺激のような段階的なものであってよい。また、この刺激知覚推定量を求めることは、センシング結果が出力されると、ほぼリアルタイムで行われ、求められた刺激知覚推定量（例えば、過剰刺激又は適切刺激又は過小刺激）が知覚情報提示部２０に出力される（Ｓ６）。

なお、刺激知覚量推定部１８に関する上記の説明は、クラスタリング部２１によってクラスタリングされたデータに一致したデータがデータベース内に存在する場合における推定方法について述べたものであるが、刺激知覚量推定部１８は、クラスタリング部２１によってクラスタリングされたデータに一致したデータがデータベース内に存在しない場合には、以下のようにして曖昧推定が行われる。

すなわち、刺激知覚量推定部１８では、クラスタリング部２１によってクラスタリングされたデータに一致したデータがデータベース内に存在しない場合には、刺激物理量センシング部１２からの刺激物理量のみが見て、特定のクラスタに判別可能か否かをチェックする。この刺激物理量に対して、一意にクラスタが決まるのであれば、それで判別を終了し、結果を出力する。

一方、一意にクラスタが決まらない場合には、刺激物理量の検出時に得られた生理学的反応量及び環境情報（何れも複数のデータで構成される場合がある）のうちの、全てではない複数のデータを元に、過去に一致するデータ列があり、一意にクラスタが決められるのであればそれで判別を終了し、結果を出力する。

それでも一致するデータが存在しない場合には、分けられたクラスタ（例えば、３つ：過剰、適量、過少）の統計量（例えば、分布の平均、中心値など）を元に、尤度の高いクラスタに判別し、結果を出力する。

知覚情報提示部２０では、主観入力部１４から出力された感覚量と、この刺激物理量に対して刺激知覚量推定部１８によって求められた刺激知覚推定量とが関連付けられて出力される（Ｓ７）。

上述したように、本実施の形態に係る知覚情報提示装置１０においては、上記のような作用により、環境の物理量が変化して人が刺激を受けた場合、この環境の物理量の変化に対して人がどれくらいの刺激を受けたのかという主観的な感覚量を、対応する刺激物理量に関連付けて履歴情報として蓄積して行く。そして、この蓄積された履歴情報を用いることによって、環境の物理量が変化した場合には、この物理量の変化から、人が、主観的にどの程度の刺激を知覚するかを推定した刺激知覚推定量を求め、結果を提示することができる。

また、人が刺激によって受ける主観的な感覚量は、たとえ刺激の量が一定であっても、人の状態によって異なる。そこで、本実施の形態に係る知覚情報提示装置１０においては、生理学的反応量センシング部１３が、人の生理学的反応量をセンシングし、このセンシング結果を、刺激知覚推定量の推定に反映することによって、主観的な感覚の揺れを考慮し、人の状態に応じたより正確な刺激知覚推定量を求め、結果を提示することができる。

このように生理学的反応量をセンシングし、このセンシング結果を、刺激知覚量推定部１８においてなされる刺激知覚推定量の推定に反映することは、特に、同一の刺激物理量を持つ刺激に対して、感覚量が一対一で対応しない場合に有効である。

一方、物理的な刺激として対象とされている以外の刺激を伴う環境の情報である環境情報も、人の感覚量に影響を与える要素を持っている。本実施の形態に係る知覚情報提示装置１０においては、環境情報センシング部１５を備えているので、環境情報を考慮して刺激知覚推定量を求め、結果を提示することができる。

このように、本実施の形態に係る知覚情報提示装置１０は、刺激知覚推定量をより正確に求めることが可能となる。

以上、本発明を実施するための最良の形態について、添付図面を参照しながら説明したが、本発明はかかる構成に限定されない。特許請求の範囲の発明された技術的思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の技術的範囲に属するものと了解される。

例えば、以下に、上述したような本実施の形態に係る知覚情報提示装置１０の具体的な実施例をいくつか説明するが、これらは、上述したような本実施の形態に係る知覚情報提示装置１０の基本構成に基づいて、具体的な用途に応じた適切なハードウェアの選択や、必要な構成部位の追加、統合、変形、部分変更等を行うことによって実現されるものであり、これらも本発明の技術的範囲に属するものと了解される。

（実施例１）
図３にその機能ブロック図を示す知覚情報提示装置３０は、本実施の形態に係る知覚情報提示装置１０の一つの変形例である。この知覚情報提示装置３０は、図１に示す刺激物理量センシング部１２、生理学的反応量センシング部１３、及び主観入力部１４にそれぞれ相当する刺激物理量センシング部３１、生理学的反応量センシング部３２、及び主観入力部３３を備えている。また、図１におけるクラスタリング部２１に相当する生理学的情報クラスタリング部３４を備えている。また、図１には相当する部位は無いが、図１における主観入力部１４と刺激知覚量推定部１８との間に相当する箇所に主観入力値クラスタリング部３５を備えている。更に、図１における刺激知覚量推定部１８に相当する部位として詳細主観値推定部３６と主観値推定部３７と主観値相対物理量算出部３８とを備えている。更にまた、図１における知覚情報提示部２０に相当する主観値相対物理量表示装置３９を備えている。

このような知覚情報提示装置３０では、人は、物理的刺激を受けると、主観入力部３３を用いて、過剰か適切か過少かの感覚量の入力を行う。この入力情報は、主観入力値クラスタリング部３５及び生理学的情報クラスタリング部３４へ出力される。主観入力値クラスタリング部３５は、主観入力部３３への入力情報をクラスタリングして、その結果をデータベースとして保持する。このデータベースに保持された結果は、主観値推定部３７によって取得されることが可能である。

また、生理学的反応量センシング部３２は、主観入力部３３に感覚量が入力されるのと同期して、刺激を受けた人の生理学的反応量（例えば、脈拍、脳波等）を測定し、測定結果を生理学的情報クラスタリング部３４と詳細主観値推定部３６に出力し、刺激物理量センシング部３１は、主観入力部３３に感覚量が入力されるのと同期して、物理的刺激の物理量を測定し、測定結果を生理学的情報クラスタリング部３４、詳細主観値推定部３６、主観値推定部３７、及び主観値相対物理量算出部３８に出力する。

生理学的情報クラスタリング部３４は、刺激物理量センシング部３１、生理学的反応量センシング部３２、及び主観入力部３３からそれぞれ出力された結果に対してクラスタリングを行い、その結果をデータベースとして保持する。このデータベースに保持された結果は、詳細主観値推定部３６によって取得されることが可能である。

詳細主観値推定部３６は、物理量センシング部３１及び生理学的反応量センシング部３２から出力された情報、及び生理学的情報クラスタリング部３４のデータベースに保持された情報に基づいて、物理的刺激に対して人がどの程度の主観的な感覚量を受けたのかを推定し、推定結果を主観値相対物理量算出部３８に出力する。

主観値推定部３７は、刺激物理量センシング部３１から出力された情報、及び主観入力値クラスタリング部３５のデータベースに保持された情報に基づいて、物理的刺激に対して人がどの程度の主観的な感覚量を受けたのかを推定し、推定結果を主観値相対物理量算出部３８に出力する。

主観値相対物理量算出部３８は、詳細主観値推定部３６及び主観値推定部３７から出力された各推定結果と、刺激物理量センシング部３１から出力されたセンシング結果とに基づいて、各推定結果である各主観値と、刺激物理量との相対比較を行い、比較結果を主観値相対物理量表示装置３９に出力する。

主観値相対物理量表示装置３９は、主観値相対物理量算出部３８から出力された比較結果を表示する。

（実施例２）
本実施の形態に係る知覚情報提示装置１０は、用途に応じて、刺激物理量センシング部１２の設置箇所を変更することで、人の知りたい刺激に対する感覚量（感覚量大、感覚量適切、感覚量小)を知ることができる。例えば、人に装置全体を装着させる、あるいは少なくとも刺激物理量センシング部１２のみを取り付け、無線ネットワークを経由して、刺激物理量センシング部１２からのセンシング結果を記憶装置１６及び刺激知覚量推定部１８に送信する。このとき、刺激物理量センシング部１２が取得する物理量は、装着する人が受ける刺激量と同値と考えられる。そして、この人が、この刺激によって受けた主観的な感覚量（例えば、過剰又は適切又は過小）をオペレータに提示し、オペレータが、提示された感覚量を主観入力部１４に入力することによって、刺激知覚量推定部１８によって刺激知覚推定量が求められ、知覚情報提示部２０によって、主観入力部１４から出力された感覚量と、この刺激物理量に対して刺激知覚量推定部１８によって求められた刺激知覚推定量とが関連付けて出力される。

（実施例３）
本実施の形態に係る知覚情報提示装置１０を用いて聴覚刺激を知覚する場合の実施例を図４に示す。これは、人の耳に装着されるヘッドフォンタイプの構成をした装置４０であり、耳装着部４１を備えることによって、装置４０全体を人の耳に装着して使用する。この場合、図１における刺激物理量センシング部１２として収音機能を備えたマイクロフォン４２を適用し、主観入力部１４として、過剰刺激を入力するボタン４４（＃１）と過少刺激を入力するボタン４４（＃２）とを備えた入力部４４を備え、図１における知覚情報提示部２０としてＬＥＤなどの過剰刺激あるいは過少刺激を示すための２色以上の色を発光できる発光デバイス４３を持ち、生理学的反応量センシング部１３として脈拍計や脳波計４５を適用する。

また、人が刺激物理量センシング部１２を保持し、人の周囲の刺激に対して刺激物理量センシング部１２を向ける形態も考えられる。あるいは、人が刺激物理量センシング部１２を遠隔に設置して管理したり、操作する形態も考えられる。これらの場合、刺激知覚量推定部１８からの刺激知覚推定量を人に提示することによって、人は、該刺激を受ける前にこの刺激が過剰か、適切か、過小かを知ることができる。

（実施例４）
本実施の形態に係る知覚情報提示装置１０を用いて聴覚刺激を知覚する場合の別の実施例を図５に示す。これは、人によって保持されるグリップ部５１を備えたマイクタイプの装置５０であり、図１における刺激物理量センシング部１２として収音機能を備えた例えばマイクロフォン５２をグリップ部５１の先端に備えている。また、図１における主観入力部１４として、人が過剰刺激を入力するボタン５３（＃１）と過少刺激を入力するボタン５３（＃２）とを備えている。更に、図１における知覚情報提示部２０としてＬＥＤなどの過剰刺激あるいは過少刺激を示すための２色以上の色を発光できる発光部５４を持ち、生理学的反応量センシング部１３として脈拍計や筋電センサ５５を適用する。

（実施例５）
本実施の形態に係る知覚情報提示装置１０にＩＤタグを適用した場合の実施例を図６に示す。この場合、物理的刺激６１を刺激物理量センシング部１２によって直接センシングするのではなく、物理的刺激６１を持っている物体にＩＤタグ６２を予め付与する事で、ＩＤセンシング装置６３と、記憶装置６４に記憶された物理的刺激とＩＤとのデータベース６５によって物理的刺激６１のセンシングを行う方法である。これは、食べ物のように直接成分を測ることが難しい場合での利用が考えられる。

主観値推定部６７は、図１における刺激知覚量推定部１８の持つ機能の一部に相当し、物理的刺激６１に対する主観的な感覚量を推定し、推定結果を主観値相対物理量算出部６８に出力する。詳細主観値推定部６６もまた、図１における刺激知覚量推定部１８の持つ機能の一部に相当し、データベース６５に蓄積された物理的刺激とＩＤとから、物理的刺激６１に対する主観的な感覚量を詳細に推定し、推定結果を主観値相対物理量表示装置６９に出力する。

主観値相対物理量算出部６８も、図１における刺激知覚量推定部１８の持つ機能の一部に相当し、データベース６５に蓄積された物理的刺激及びＩＤと、主観値推定部６７から出力された推定結果とから、この推定結果の、物理的刺激６１に対する相対的な物理量を算出し、算出結果を主観値相対物理量表示装置６９に出力する。主観値相対物理量表示装置６９は、図１における知覚情報提示部２０に相当し、詳細主観値推定部６６から出力された推定結果と、主観地相対物理量算出部６８から出力された算出結果とをあわせて表示する。

（実施例６）
本実施の形態に係る知覚情報提示装置１０を補聴器に適用した場合の実施例を図７に示す。この場合、図１における刺激物理量センシング部１２に相当する収音部７２において、刺激である発話音７１（例えば、ｙｄＢの音）を収音し、１秒以上の間隔の空いた発話区切り毎の平均ＲＭＳを算出する。

人は、この発話音７１による刺激が過剰か適切か過少かを判定すると、図１における主観入力部１４に相当する主観値入力ボタン７５を用いて、過剰か適切か過少かの入力を行う。この入力情報は、主観入力値クラスタリング部７６へ出力される。主観入力値クラスタリング部７６は、図１において主観入力部１４と記憶装置１６との間に備えられる部位であり、ｘｄＢの刺激をクラスタリングし、その結果をデータベースとして保持する。このデータベースに保持された結果は、主観値推定部７７によって取得されることが可能である。

脈拍計、脳波計７８は、図１において生理学的反応量センシング部１３に相当し、人が、発話音７１による刺激を受け、主観値入力ボタン７５を操作した時点における脈拍と脳波とを測定し、測定結果を生理学的情報クラスタリング部７９に出力する。生理学的情報クラスタリング部７９は、図１におけるクラスタリング部２１に相当し、測定結果のクラスタリングを行い、その結果をデータベースに蓄積する。このデータベースに蓄積された結果は、詳細主観値推定部８０によって取得されることが可能である。

詳細主観値推定部８０は、生理学的情報クラスタリング部７９のデータベースに蓄積されたクラスタリング結果に基づいて、物理的刺激に対して人７４がどの程度の主観的な感覚量を受けるのかを推定し、推定結果を主観値推定部７７に出力する。

主観値推定部７７は、詳細主観値推定部８０からの推定結果と、主観入力値クラスタリング部７６のデータベースに蓄積された結果とに基づいて、ｙｄＢの物理的刺激に対して人７４がどの程度の主観的な感覚量を受けるのかを推定し、推定結果を主観値相対物理量算出部７３に出力する。

主観値相対物理量算出部７３は、主観値推定部７７から出力された推定結果であるｙｄＢが、人にとって過剰刺激か適切刺激か過少刺激かを判定し、判定結果を２色表示ディスプレイ８１に出力する。

ここで、詳細主観値推定部８０と主観値推定部７７と主観値相対物理量算出部７３とは、共に図１における刺激知覚量推定部１８に相当する。

２色表示ディスプレイ７１は、図１において知覚情報提示部２０に相当し、主観値相対物理量算出部７３からの判定結果にしたがって、過剰刺激の場合は、過剰刺激を表す赤色を、過少刺激の場合は過少刺激を表す青色の点灯を提示する。

なお、別の例として、収音部７２において、刺激である発話音７１について、１秒以上の間隔の空いた発話区切り毎の平均ＲＭＳを算出する代わりに、刺激である発話音７１について、音の周波数帯毎の音圧を取得し、平均ＲＭＳを算出し、以下の処理において、この結果を代わりに用いるようにしても良い。

本発明の実施の形態に係る知覚情報提示装置の構成例を示す機能ブロック図。 本実施の形態に係る知覚情報提示装置の動作例を示すフローチャート。 本実施の形態に係る知覚情報提示装置の一変形例を示す機能ブロック図。 本実施の形態に係る知覚情報提示装置を用いて聴覚刺激を知覚する場合の実施例（ヘッドフォンタイプ）を示す機能ブロック図。 本実施の形態に係る知覚情報提示装置を用いて聴覚刺激を知覚する場合の別の実施例（マイクタイプ）を示す機能ブロック図。 本実施の形態に係る知覚情報提示装置にＩＤタグを適用した場合の実施例を示す機能ブロック図。 本実施の形態に係る知覚情報提示装置を補聴器に適用した場合の実施例を示す機能ブロック図。

符号の説明

１０…知覚情報提示装置，１２…刺激物理量センシング部，１３…生理学的反応量センシング部，１４…主観入力部，１５…環境情報センシング部，１６…記憶装置，１８…刺激知覚量推定部，２０…知覚情報提示部，２１…クラスタリング部，３０…知覚情報提示装置，３１…刺激物理量センシング部，３２…生理学的反応量センシング部，３３…主観入力部，３４…生理学的情報クラスタリング部，３５…主観入力値クラスタリング部，３６…詳細主観推定部，３７…主観値推定部，３８…主観値相対物理量算出部，３９…主観値相対物理量表示装置，４０…知覚情報提示装置，４１…耳装着部，４２…マイクロフォン，４３…発光デバイス，４４…入力部，４５…脈拍計又は脳波計，４５５０…知覚情報提示装置，５１…グリップ部，５２…マイクロフォン，５３…ボタン，５４…発光部，５５…筋電センサ，６１…物理的刺激，６２…ＩＤタグ，６３…ＩＤセンシング装置，６４…記憶装置，６５…データベース，６６…詳細主観値推定部，６７…主観値推定部，６８…主観地相対物理量算出部，６９…主観値相対物理量表示装置，７１…発話音，７２…収音部，７３…主観値相対物理量算出部，７５…主観値入力ボタン，７６…主観入力値クラスタリング部，７７…主観値推定部，７８…脈拍計又は脳波計，７９…生理学的情報クラスタリング部，８０…詳細主観値推定部，８１…２色表示ディスプレイ

Claims (5)

1. 人の五感のうちの何れかを刺激する物理量である刺激物理量をセンシングし、センシング結果を出力する刺激物理量センシング手段と、
   刺激を受けた人が知覚したその刺激に対する主観的な感覚量を前記人が入力する入力手段と、
   前記入力手段によって入力された感覚量と、この感覚量に対応して前記刺激物理量センシング手段によってセンシングされた刺激物理量とを関連付けて蓄積した履歴情報を保持するデータベース部と、
   前記刺激物理量センシング手段からセンシング結果が出力されると、前記データベース部にこのセンシング結果が蓄積される前の履歴情報と、前記出力されたセンシング結果とに基づいて、前記出力されたセンシング結果に対応する刺激物理量によって前記人が知覚したと推定される刺激知覚推定量を求める刺激知覚量推定手段と、
   この刺激物理量に対応する刺激を受けた人によって前記入力手段に入力された感覚量と、この刺激物理量に対して前記刺激知覚量推定手段によって求められた刺激知覚推定量とを関連付けて出力する出力手段と
   を備えた知覚情報提示装置。
2. 請求項１に記載の知覚情報提示装置において、
   前記刺激を受けた人の生理的反応量を、この人によってなされる前記入力手段への感覚量の入力と同期してセンシングし、センシング結果を出力する生理的反応量センシング手段を更に備え、
   前記データベース部は、前記履歴情報として、前記感覚量と、前記刺激物理量とに加えて、前記刺激知覚量推定手段によって求められた対応する刺激知覚推定量と、前記生理的反応量センシング手段によってセンシングされた対応する生理的反応量とをそれぞれ関連付けて蓄積した履歴情報を保持し、
   前記刺激知覚量推定手段は、前記生理的反応量センシング手段からセンシング結果が出力されると、前記データベース部にこのセンシング結果が蓄積される前の履歴情報と、前記出力されたセンシング結果とに基づいて、前記出力されたセンシング結果に対応する刺激によって前記人が知覚したと推定される刺激知覚推定量を求める
   知覚情報提示装置。
3. 請求項２に記載の知覚情報提示装置において、
   前記刺激知覚量推定手段は、前記生理的反応量センシング手段からセンシング結果が出力されると、前記データベース部にこのセンシング結果が蓄積される前の履歴情報において感覚量と刺激物理量とが一対一に対応して蓄積されていない場合にのみ、前記センシング結果である生理的反応量に対応する刺激によって前記人が知覚したと推定される刺激知覚推定量を求める
   知覚情報提示装置。
4. 請求項２又は請求項３に記載の知覚情報提示装置において、
   前記生理学的反応量センシング手段によってセンシングされた生理的反応量をクラスタリングするクラスタリング手段を更に備え、
   前記データベース部は、前記履歴情報として、前記生理的反応量の代わりに、前記クラスタリング手段によってクラスタリングされた生理学的反応量を蓄積した前記履歴情報を保持し、
   前記刺激知覚推定手段は、センシング結果が出力されると、前記データベース部にこのセンシング結果が蓄積される前の履歴情報と、前記クラスタリング手段によるクラスタリング結果と、前記出力されたセンシング結果とに基づいて、前記分類結果に対応する生理的反応量に対応する刺激によって前記人が知覚したと推定される刺激知覚推定量を求める
   知覚情報提示装置。
5. 請求項１に記載の知覚情報提示装置において、
   前記刺激を受けた人が晒されていた環境の情報を、この人によってなされる前記入力手段への感覚量の入力と同期してセンシングし、センシング結果を出力する環境情報センシング手段を更に備え、
   前記データベース部は、前記履歴情報として、前記感覚量と、前記刺激物理量とに加えて、前記環境情報センシング手段によってセンシングされた環境情報をそれぞれ関連付けて蓄積した履歴情報を保持し、
   前記刺激知覚推定手段は、前記環境情報センシング手段からセンシング結果が出力されると、前記データベース部にこのセンシング結果が蓄積される前の履歴情報と、前記出力されたセンシング結果とに基づいて、前記出力されたセンシング結果に対応する環境において前記人が受けた刺激によって前記人が知覚したと推定される刺激知覚推定量を求める
   知覚情報提示装置。

Images