JP2005095570A - 画像表示システム、画像表示装置、画像表示方法 - Google Patents

Abstract

【課題】 人間の状態を漠然と表出する。
【解決手段】 被測定者は、携帯端末１０を携帯する。携帯端末１０は、被測定者の生体情報を測定する生体センサ１１と被測定者の周囲の環境情報を測定すると環境情報センサ１２とを備え、測定した情報を画像表示装置２３に送信する。画像表示装置２０のＣＰＵ２９は、生体情報と環境情報とから被測定者の状態を判断し、被測定者の状態を表出する画像を生成して表示部２３に表示する。
【選択図】 図１

Description

本発明は、被測定者の状態を視認可能な形態で表示装置にて表示する画像表示システム及び画像表示方法、並びに離れた場所にある被測定者の生体情報を視認可能な形態で表示する画像表示装置に関する。

人間は、緊張したときに心拍数が上昇し、落ち着いたときに心拍数が安定する。心拍数は、心臓の収縮リズムであり、人間の状態を示すパラメータである。心拍数の他にも呼吸や脳波など人間の状態を示すデータは複数存在する。これらのデータは生体データ呼ばれ、人間の状態を定量的に示すパラメータとして医療やサービスの分野で活用されている。
また、環境情報は、環境情報は、気温の変化や風の強さなど、人間を取り巻く周囲の環境を定量的に示したものである。環境情報は、生体情報と同様に人間の置かれている状態を知るために情報として活用されている。

従来、生体情報と環境情報を活用した装置の例として浴槽に入った被測定者の心電図を計測し、この心電図の計測結果に応じて画像を生成するという装置がある。この装置では、生体情報として心電図を計測し、環境情報として浴槽の温度を計測している。そして、計測動作に伴って変化する画像を生体情報の被測定者に対して提示し、被測定者がこの画像を楽しんでいる間に心電図を測定する。（特許文献１参照。）。

特許文献１に示す発明は、心電図を正確に測定させるためのものであり、測定する生体情報の種類及び使用目的が限定されている。また、この特許文献１に示す発明は、被測定者が自分の心電図を確認するためのものであるため、被測定者以外の人間に被測定者の状態を通知するものではない。

上述したように、生体情報や環境情報は、ユーザの感情や体調、周囲の環境などを示す指標である。生体情報や環境情報を活用すると、被測定者以外の人間に被測定者の状態を通知することができる。しかしながら、生体情報は、数値情報であるため、その数値の意味を理解するための経験と時間が必要になる。また、生々しい情報を観測されることは、見られる側にとっても苦痛である。また、被測定者の体の一部や部屋の一角にビデオカメラを設置し、被測定者の画像を撮影する方法もある。この方法を用いると被測定者の状態が一目でわかるが、被測定者のプライバシーを侵害してしまう。

特開２００２−２８２２２７号公報

本発明は、上記課題に鑑みてなされたものであって、人間の状態や環境状態を漠然と表出する画像表示装置、画像表示システム及び画像表示方法を提供することを目的とする。

本発明に係る画像表示システムは、生体情報測定装置と画像表示装置とを異なる２地点に配置し、生体情報測定装置はネットワークを介して測定した生体情報を画像表示装置に送信する。画像表示装置は、生体情報を基に被測定者の状態を表出する画像を生成して表示する。

また、本発明に係る画像表示装置は、生体情報測定装置が送信した生体情報を受信し、この生体情報を基に被測定者の状態を表出する画像を生成して表示する。さらに、本発明に係る画像表示方法では、被測定者の生体情報を遠隔に送信し、この生体情報を基に被測定者の状態を表出する画像を生成する。

本発明によれば、被測定者の生体情報や環境情報に基づく画像を生成し、被測定者の状態を被測定者とは異なる地点に存在する画像表示装置に表示できる。本発明で生成される画像は、遠隔地の被測定者の状態を実画像ではなく、生体情報や環境情報を基に生成された画像画像であるため、精密な医用用途とは異なり、被測定者の状態を漠然と表現することができるだけでなく、生成された画像を楽しむことができエンターテインメント性が向上する。

本発明によれば、被測定者の状態を被測定者とは異なる地点で表示することができ、遠隔地から被測定者の状態をさりげなく把握することができる。画像表示装置は、被測定者の漠然とした状態を表しているため、被測定者のプライバシーを侵害することはない。

本発明を適用した画像表示システムは、生体情報測定装置が人物（以下、被測定者と記す）の生体情報及び被測定者の周囲の環境情報を測定し、測定した生体情報及び環境情報を遠隔地に存在する画像表示装置に出力する。画像表示装置は、画像表示装置が生体情報及び環境情報を基に被測定者の状態を表出する画像を生成して表示する。画像表示システムでは、ネットワークを介して生体情報を伝送することにより、遠隔地に存在する人間の状態を伝達することができる。

以下、本発明の実施例である画像表示システム１について説明する。図１に示す画像表示システム１は、ネットワーク接続可能であって生体情報の測定機能を備えた電子機器１０と、この電子機器にて測定された被測定者の生体情報を受信して表示する画像表示装置２０とからなる。これらは、互いにネットワーク１００を介して接続されている。ここで、ネットワーク１００としては、いわゆるインターネットを想定している。また、電子機器１０として、携帯電話、携帯型個人情報端末（Personal Digital Assistant）等、常時携帯して持ち歩くような機器であることが好ましい。そして、この機器には、この機器の使用者の生体情報を効率的に取得できる位置に生体センサが設けられている。本具体例では電子機器を携帯電話１０として説明する。

なお、生体センサには、携帯電話１０に内蔵されたものと携帯電話１０と分離したものとがある。携帯電話１０と分離した生体センサには、イスやベッド、他の電子機器等と人体の接触部分に設けられるタイプ（１１ａ）、人体各部に直接装着して生体データが検出できるようになったタイプ（１１ｂ）等があげられる。なお、ここでは、被測定者を撮像するビデオカメラ（１１ｃ）、被測定者の音声を収集するマイクロフォンも生体センサに含む。

図２に示す携帯端末１０は、生体情報を測定する生体センサ１１と、環境情報を測定する環境情報センサ１２と、プログラムや設定情報などを記録するＲＯＭ（Read Only Memory）１３と、一時記憶領域としてのＲＡＭ（Random Access Memory）１４と、ＲＯＭ１３に記述されたプログラムに従った演算及び携帯端末１０全体の制御を行うＣＰＵ（Central Processing Unit）１５と、インターネットプロトコルに従いデータ通信を行う通信インターフェース１６と、外部の生体センサ１１から生体情報を受信する生体情報受信部１７を備え、これらの各ブロックはバス１８を介して接続されている。

生体センサ１１は、生体情報を測定する。生体情報は、血圧、脈拍、脳波など人体を構成する器官の動きを定量的に示した情報である。生体センサ１１は、携帯端末１０の表面や携帯端末１０内部に設けられる。例えば、携帯端末１０の把持部分には、体温計、脈拍計、発汗計などが設けられる。携帯端末１０の内部には、加速度計、振動計などが設けられる。また、携帯端末１０のマイクロフォン部分には、呼吸計が設けられる。

また、生体センサ１１は、ユーザの体の一部、家具、部屋の一部など携帯端末１０と異なる位置にも設けられている。様々な位置に生体センサを取り付けることにより、さらに多様な生体情報を測定することができる。

ユーザの体の一部に取り付ける生体センサ１１ｂには、血流計、脳波計、眼球運動センサ、心電計、振動ジャイロ、加速度センサ、皮膚温度センサ、体動加速度センサ、皮膚導電率センサ、脈拍計、血圧計、呼吸センサ、瞳孔径センサ、傾斜センサ、血中酸素飽和度センサなどがある。血流計は、人体に赤外線を放射し、その赤外光の反射により脳内血流量や血中酸素の濃度を測定する。脳波計は、脳内を流れる電流を基にα波やβ波などの脳波を測定する。眼球運動センサは、頭部に取り付けられ頭部電圧を基に眼球の振動周波数成分を測定する。心電計は、心筋が発信する電流を基に心拍数を計測する。振動ジャイロは、角速度を基に胸部運動や呼吸数を測定する。皮膚温度センサは、体温を計測する。皮膚導電率センサは、皮膚電気抵抗を基に発汗量を測定する。呼吸センサは、ユーザの腹胸部に巻きつけてその呼吸に応じた圧力変動を検出する。傾斜センサは、体の各部の傾きを基に体位を測定する。

また、家具や床面に設ける生体センサ１１ａには、サーモグラフィ、体動計、呼吸計、脈拍計などがある。ソファやベッドなどに設置する生体センサ１１は、ソファやベッドの弾性体を介して伝達される人体による圧力変化のパターンを基に脈拍、呼吸、体動を抽出する。サーモグラフィは、赤外線センサにより人体の温度分布を測定する。被測定者の映像や音声を収集する生体センサ１１ｃには、ビデオカメラやマイクロフォンがある。ビデオカメラが撮像した画像から人間の動作、表情の変化、眼球の動きを測定することができる。マイクロフォンは、人間の声を収集する。これらの生体センサ１１は、赤外線もしくは無線を介して測定した生体情報を携帯端末１０に送信する。

環境情報センサ１２は、測定者の周囲の環境情報を測定するセンサである。環境情報センサ１２には、明度計、ガスセンサ、温度計、気圧計、高度計、ＧＰＳ（Global Positioning System）などがある。明度計は被測定者の周囲の明るさを測定し、ガスセンサは匂いを測定する。ＧＰＳは、衛星からの電波を基に被測定者が存在する位置の緯度経度を測定する。携帯端末１０は、ネットワーク１００を介して環境情報を取得することもできる。ネットワーク１００を介して取得する環境情報には、天気、月齢、積雪量、降雨量、大気汚染度、風速などがある。

通信インターフェース１６は、生体センサ１１が測定した生体情報と、環境情報センサ１２が測定した環境情報とを画像表示装置２０に送信する。通信インターフェース１６の送信処理は、ＣＰＵ１５が制御している。ＣＰＵ１５は、生体情報と環境情報を送信するプログラムをバックグラウンドで実行し、タイマの値をトリガとして、通信インターフェース１６に指示信号を出力する。

画像表示装置２０は、携帯端末１０から受信した生体情報と環境情報とを基に被測定者の状態を表出する画像を生成する。画像表示装置２０は、テレビや携帯電話、パーソナルコンピュータなど表示画面と情報処理部を備えた装置でもよいし、専用の装置でもよい。

図３は画像表示装置２０の内部構成を示す。画像表示装置２０は、ユーザのキー入力を受け付ける入力部２１、音声を出力する音声出力部２２、画像を表示する表示部２３、プログラムや設定情報を記録するＲＯＭ２４、ＣＰＵ２９の作業領域としてのＲＡＭ２５、記録媒体に記録された情報を読み出すデバイスドライバ２６、所定の通信プロトコルに従いデータ通信を行う通信インターフェース２７と、画像を記憶する画像記憶部２８とを備え、これらの各ブロックはバス２００を介して接続されている。

ＣＰＵ２９は、生体情報を基に被測定者の大まかな感情や動作を推測し、被測定者の状態を表出する画像を生成する。生成した画像は、被測定者の状態を抽象化及び象徴化したものである。すなわち、画像表示装置２０が生成する画像は、被測定者の大まかな感情や動作を表現するが、リアルな描写はしない。この発明では、被測定者の漠然とした画像を生成し、何気なく表示することを特徴とする。

画像生成方法の一例を説明する。ここでは、被測定者を魚で表現する。画像記憶部２８には、生体情報と環境情報とから画像を生成するプログラムと、被測定者の状態を表現する魚の画像が複数格納されている。魚の画像は、例えば、魚がエサを取っている画像、魚が勢いよく泳いでいる画像、睡眠中の魚の画像などがある。また、画像記憶部２８には、背景画像が複数格納されている。背景画像には、清んだ水、濁った水、流れの激しい水、夜の水中などがある。

ＣＰＵ２９は、生体情報や環境情報から被測定者の状態を推測し、この状態を表現する魚の画像を選択する。状態の推測方法を説明する。被測定者の状態には、喜怒哀楽などの感情、快不快のような感覚、食事、移動、睡眠などの動作がある。

感情、感覚、動作の推測方法には、様々な方法がある。例えば、皮膚抵抗を基に驚き、恐怖、不安という感情を推測することができる。また、心拍数と体温が上昇し、心電図周波数が上昇したとき、喜びという感情を推測することができる。さらに、精神的、心理的に安定な状態にある場合は、抹消血管が拡張し、動脈血が流入するため、心拍数や脈拍はゆっくりとした変化を示し、体温は上昇傾向にある。また、精神的、心理的に高い緊張状態にある場合は、抹消血管が収縮し、動脈血流が減るため、心拍や脈拍は速まり、体温は下降傾向にある。さらに、人は緊張すると手に汗をかき皮膚電気反射の値、心拍数、呼吸サイクルふり幅などに差ができるとこが知られている。不快な状況では、指先と掌にあるいは、鼻の頭と額の温度差が大きくなることが報告されている。脳はから喜怒哀楽を推定する方法もすでに発表されている。これらの生理指標とともに表情による筋電の変化や画像による表情認識、加速度センサ、傾斜センサによる姿勢認識、音声認識などを複合的に用いることによって怒りや悲しみなどの感情を評価することができる。

以上、感情、感覚、動作の推測方法の一例を説明したが、推測の精度をより高めるためには、複数のセンサを使用し、複数の生体情報からこれらの推測を行うことがより望ましいことはもちろんである。

次いで、動作の推測について説明する。人間の動作は、例えば、ビデオカメラが撮像した画像を基に推測することができる。ビデオカメラは、被測定者の頭部や部屋の一角に設けられる。ＣＰＵ１５は、ビデオカメラが撮像した画像を基に被測定者の周囲に存在する物体や被測定者の動作を推測することができる。また、被測定者の動作は、被測定者の位置からも推定することができる。例えば、会社にいるときは仕事をし、病院にいるときは不調であり、ジムにいるときは運動し、レストランにいるときは食事をしている可能性が高い。被測定者の位置情報のみでは、動作を特定することが難しいので、ＣＰＵ１５は、被測定者の生体情報や環境情報と複合した情報を用いて被測定者の動作を推測する。例えば、体温の高い被測定者が病院にいる場合、被測定者が病気であると推測し、ジムにいる被測定者の体温が徐々に上昇すると被測定者が運動中であると推測する。さらに、被測定者の周囲の音声から被測定者の動作を推測することができる。この場合、収集した音の音質や音程などから周囲に何が存在するかを推測したり、人間の声をテキストマイニングして被測定者の動作を推測することができる。

以上説明したように、ＣＰＵ２９は、被測定者の感情、感覚、動作を推測する。そして、ＣＰＵ２９は、被測定者の状態に応じた画像を生成する。画像の生成方法には、被測定者の状態と画像とを関連付けるテーブルをＲＯＭ２４に格納し、このテーブルに従い画像記憶部２８に格納された画像を選択する方法や感情、感覚、動作などの状態の入力に対し画像を出力するオブジェクトを生成する方法等がある。何れの方法であっても生成された画像は、被測定者の状態を想起させるものとする。例えば、被測定者がレストランで食事をしているときには、魚がエサをとっている画像を生成し、気分のすぐれないときには濁った水の背景画像と水中深くに沈んだ魚の画像を生成する。また、被測定者が活発で元気がよいときには、清んだ水の背景画像と勢いよく泳いでいる魚の画像を生成する。また、晴れた日には、明るい水中の背景画像を生成し、気温の高い日には少しのぼせた魚の画像を生成する。

ＣＰＵ２９は、魚の動き、水の動き、水中の泡の数や大きさ、水の濁り具合などの細かい動きを制御する。この動きの制御には、生体情報や環境情報に無相関な要素が入っていてもよい。また、ＣＰＵ２９は、生体情報や環境情報に関係なく、画像を自動的に生成することもある。画像の自動生成は、被測定者が生体情報の測定を拒否しているときや生体情報が測定できないときや伝送路の不具合により生体情報及び環境情報が受信できないときに実行される。

ＣＰＵ２９は、画像を表示部２３に表示させる。表示部２３には、被測定者の状態を表出する画像が表示されるが、これは、リアルな画像ではなく、被測定者の状態を曖昧に表現した画像である。この画像は、抽象的であるため、常時表示していても被測定者のプライバシーに深く立ち入ることはなく長時間観測しても苦にならない。また、この画像で生物や風景などで表現すると、写真立てや絵画のようにリビングの壁や家具の上に設置することができる。また、携帯端末１０に画像を表示させると、被測定者の状態を常に観察することができる。

表示部２３に表示される画像は、魚に限定されず、犬や猫などの他の生物、コンピュータグラフィックスなどでもよく、同時に音声出力部２２によりサンプリングされた音声、合成された音声などを出力するようにしてもよい。表示画像は、選択することができる。画像記憶部２８には、様々な画像や音声が格納されている。画像表示装置２０は、表示画像をユーザの選択に応じて、表示内容を変化させることができる。図４では、魚を表示した画面２３ａと猫を表示した画面２３ｂの例を示している。これらの画像は、表示内容が異なるが、同一の生体情報及び環境情報を基に生成される。表示画像は、写真のようにリアルな画像であってもよいし、アニメのようにデフォルメしたものでもよい。いずれにしても、被測定者の状態を想起しやすい画像であればよい。

表示画像は、予め画像記憶部２８に記録していてもよいし、ネットワーク１００や記録媒体を介して外部から取得してもよい。画像記憶部２８に格納されていない表示画像を外部から取得するようにすると、表示できる画像のバリエーションが多様化し、画像を販売するビジネスを展開することができる。

このように、画像表示システム１では、被測定者の状態を遠隔地に存在するユーザに通知する。被測定者の状態を示す画像は、漠然とした画像であり、見る側にも見られる側にも不快感を与えず被測定者の大まかな変化を通知することができる。この画像表示システム１は、遠隔地に住む老人や遠くに出かけた子供の看視に役立てることができる。また、この画像表示システム１では、人間の状態の変化を実画像ではないイメージで表現することができる。

この画像表示システムは、被測定者の状況を画像で表現し遠隔地にいるユーザに通知するものであるが、この画像は観賞用の画像になりエンターテインメント的に活用することもできる。

次いで、多数の被測定者の画像を１つの画像表示装置２０に表示させる例を説明する。この例では、図５に示すように、複数の携帯端末１０からサーバ３０に対して被測定者の生体情報及び環境情報を集積される。サーバ３０は、携帯端末１０から伝送された生体情報及び環境情報を多重化して画像表示装置２０に転送する。なお、１つの画像表示装置２０に被測定者の情報を集積する場合、サーバ３０は、不要である。

画像表示装置２０は、被測定者の関係を画像に反映させる。被測定者の関係には、位置関係、データの同期関係、被測定者の環境の関係、被測定者の感情の関係などがある。位置情報はＧＰＳが測定する。図６は、左側に被測定者同士の地図上の位置関係を描画し、右側に位置関係を反映した画像を描画している。画像表示装置２０には、所定のルールに従い位置関係を画像の変化に反映する。このルールは、プログラムという形で画像表示装置２０のＲＯＭ２４やＲＡＭ２５に格納されている。ＣＰＵ２９は、プログラムを読み込んで画像を変化させる。このプログラムでは、被測定者をあるオブジェクト（ここでは、クラゲ）とを対応付ける。そして、近い位置に存在する被測定者のオブジェクトを近づけて表示させる。また、このプログラムでは、被測定者と画像表示装置２０との距離からオブジェクトのサイズを決定する。このプログラムでは、画像表示装置２０に近い位置に存在する被測定者のオブジェクトを大きく、遠い位置に存在する被測定者のオブジェクトを小さく表示させる。

図６の例では、被測定者Ａ，Ｂに対応するクラゲが近い位置に配置され、被測定者Ｃに対応するクラゲが離れた位置に配置される。また、被測定者Ａ，Ｂは画像表示装置２０に近い位置に存在するので、被測定者Ａ，Ｂに対応するクラゲを大きく表示し、被測定者Ｃに対応するクラゲを小さく表示している。

画像表示装置２０は、被測定者の位置情報を簡単なルールにあてはめて被測定者同士の関係や被測定者と画像表示装置２０の関係を画像に反映させる。被測定者の自発的な移動は、独立した事象であるがルールを適用することにより関係性が生まれる。

画像表示装置２０は、データの同期関係を画像生成に反映する。ここで、参照されるデータは、呼吸、心拍、歩行リズム、動作など所定の周期で発生又は変化するデータである。
画像表示装置２０は、このようなデータが偶然に同期したとき、同期したことを示す画像を生成する。図７の左図は被測定者Ｄ，Ｅの心拍数が同期していることを示し、図７の右図は被測定者Ｄ，Ｅに対応するクラゲが協調してダンスを踊っていることを示す。ここでも、心拍数を入力し、ダンスを踊る画像を生成するというルールが適用している。

環境の関係とは、環境情報の差などである。明度、温度、気圧、高度、天気などの環境情報は、環境情報センサ１２で測定することができる。画像表示装置２０は、被測定者の周囲の温度差が激しいほど表示するクラゲの行動が激しくしたり、被測定者がいる場所の天気が悪いと、うねりの大きな波の画像を表示したり、濁った水を表示したりする。

画像表示装置２０は、被測定者の生体情報や環境情報から被測定者の感情や気分を推測し、被測定者の感情の関係を画像に反映させる。感情の推測方法は、上述したとおりである。図８は、快不快という気分を画像に反映させた摸式図である。画像表示装置２０は、被測定者の気分が快であるか不快であるかによってグループ分けする。快のグループに属する被測定者に対応するクラゲを協調して動かせたり、近づかせたりする。一方、不快のグループに属する被測定者に対応するクラゲを敵対させたり、お互いに離れさせたり、攻撃的にさせたりする。

以上のように画像表示装置２０は、複数の被測定者のデータを受信すると、これらの被測定者の関係から画像を生成する。ここで入力されるデータは、被測定者の生体情報や環境情報である。画像表示装置２０は、入力されたデータから被測定者の関係を求め、この関係を画像に反映させるプログラムを格納している。入力されるデータや関係、画像への反映方法などを特に限定されるものではない。本発明は、データから関係を求め、この関係を画像に反映させるというプロセスを提案している。

次いで、複数の被測定者のデータを伝送する方法について説明する。サーバ３０は、携帯端末１０から伝送されたデータを多重化する。多重化された情報は、図９に示すように、複数のパケット４０から構成される。各パケット４０は、通信ヘッダ４１とデータ部４２からなる。通信ヘッダ４１には、送信先と送信元のアドレスのような通信制御情報が格納されている。データ部４２は、データヘッダ４３と、データ格納部４４とから構成される。データヘッダ４３は、被測定者のＩＤ４５、時間的同期を取るためのタイムスタンプ４６、情報のカテゴリーを示す情報カテゴリーコード４７、情報の種類を示す情報種コード４８から構成される。情報カテゴリーコード４７とは、データ格納部４４に格納されるデータが生体情報、環境情報の何れであるかを示すコードである。将来新たな情報カテゴリーが測定されるようになった場合にはこのコードを拡張することが可能である。情報種コード４８は、データ格納部４４に格納された情報がどのようなものであるかを示すコードである。例えば、「心拍数」「筋電」「呼吸」を「Ｈ２３」「Ｈ２４」「Ｈ２５」、「気温」「湿度」「天気」を「Ｋ１１」「Ｋ１２」「Ｋ１３」というコードで示す。

データ格納部４４には、情報種コード４８で示された項目の実際の値が入る。例えば、情報種コード４８が「脈拍」であれば「７２」などの数値が入り、情報種コード４８が「天気」であれば「晴れ」を表す数値もしくは文字列が入る。このフィールドは可変長であり、データ格納部４４の先頭にはデータ格納部自身の長さを示す数値が入る。

画像表示装置２０は、被測定者のＩＤを基にデータを多重化分離する。そして、タイムスタンプを基に情報を時系列に整列する。画像表示装置２０は、被測定者それぞれの状態を示す画像を生成し、生成した画像を表示部に表示させる。画像の生成方法は、実施例１で紹介した。図５の例では、３人の被測定者が夫々携帯端末１０ａ、１０ｂ、１０ｃを携帯し、３つの携帯端末１０ａ、１０ｂ、１０ｃがサーバ３０に生体情報及び環境情報を送信している。サーバ３０は受信した生体情報及び環境情報を多重化し、画像表示装置２０に送信する。画像表示装置２０は、３人の被測定者の状態を示す画像を生成し、生成した画像を１つの表示部２３に表示させている。

なお、上述した例では、データ伝送の中継装置としてサーバ３０を配置したが、サーバ３０を配置せずに、携帯端末１０と画像表示装置２０とが直接データをやり取りする構成にしてもよい。また、サーバ３０が生成するパケットの構成やデータ識別子のコードなども上述のものに限定されるわけではない。

さらに、上述した例では、各被測定者を擬似生物で表現したが、実際には、各被測定者の生体情報及び環境情報を基に１つの物体又は生物を表現してもよい。例えば、１機の飛行機のエンジン、尾翼、主翼の動きをそれぞれ異なる被測定者に割り当てて、１機の飛行機の飛行を表すような表現方法も可能である。また、あるいは、ボールの色、大きさ、弾み方など運動状態で表現することも考えられる。

次に、画像の視聴者と、被測定者とが相互に作用する例について説明する。この例では、視聴者が被測定者の皮膚感覚（特に、触覚）に刺激を与える。被測定者の生体情報は、刺激により変化し、この変化により被測定者を示す画像も変化する。実施例３では、被測定者と視聴者との間のフィードバックループが形成される。

被測定者には、皮膚に刺激を与える刺激提示デバイス９０が取り付けられる。図１０は、刺激提示デバイス９０の取り付け位置を示している。刺激提示デバイス９０は、被測定者の体の1つ以上の箇所に取り付けられる。刺激提示デバイス９０は、遠隔地で入力した触覚信号を物理的な刺激に変換する。触覚信号は、携帯端末１０から入力する。携帯端末１０と刺激提示デバイス９０とは、有線若しくは無線で接続されている。刺激提示デバイス９０は、触覚刺激を提示するために、アクチュエータやモータによる振動、低周波治療器に用いられるような電気刺激のうち少なくとも1つを利用して被測定者に刺激を与える。なお、刺激提示デバイス９０を特別に設けなくとも、携帯端末１０のバイブレーション機能により刺激を提示することも可能である。

画像表示装置２０の表示部２３には、タッチパネル９１が設けられている。タッチパネル９１は抵抗値や静電容量の変化により入力を感知するもの、ＰＶＤＦ（ポリフッ化ビニリデン）などの圧電素子を利用してもよい。抵抗値や圧電素子を使用したタッチパネルの場合、触覚の強さも取得することが可能である。

次に示す例では、被測定者は、あるオブジェクト（ここでは、クラゲ）と対応付けられている。表示部２３には、被測定者と同じ数のクラゲが表示される。各クラゲはそれぞれ一枚のレイヤ上に描画されている。レイヤを重ねて表示することにより、複数のクラゲが１つの表示部に表示される。図１１に示すように、ユーザがタッチパネル９１に触れると、画像表示装置２０は、触れた部分の座標Ｐを得る。画像表示装置２０は、オブジェクトの座標と点Ｐを比較し、点Ｐがオブジェクトに含まれるか判別する。この判別は、最も奥のレイヤに順に行われる。最も手前のレイヤまで比較すると、画像表示装置２０は、最後に点Ｐを含むオブジェクトと判別されたオブジェクトを触れられたオブジェクトであると判定する。

触れられたオブジェクトが回転しているとき、画像表示装置２０は、オブジェクトの正規化を行う。画像表示装置２０は、オブジェクトと判定すると、ユーザがオブジェクトのどの部位に触れたかを判定する。この判定を行うために、オブジェクトをエリアに分割されている。図１２に示す対応表９２には、エリアの座標と、触覚刺激を与える対応部位の名称が記録されている。図１３は、視聴者が画面に触れてから、エリアを特定するまでの過程を摸式的に示している。エリアａはクラゲの頭部に対応し、エリアｂはクラゲの胸部に対応し、エリアｃがクラゲの腹部に対応し、エリアｄがクラゲの足上部に対応し、エリアｄがクラゲの足下部に対応する。この例では、視聴者が触れた点Ｐはエリアｄ、すなわち足上部に含まれる。

なお、この対応表９２は、タッチパネル９１を装備した画像表示装置２０上で表示する画像データとともに管理することが望ましい。画像データをネットワークからダウンロードして、例えばネコの画像にした場合には、同時に対応表もダウンロードされる。触覚刺激を与える部位は、各部位ごとに一意のコードが与えられており、表示画像がクラゲであってもネコであっても対応部位のコードは変わらない。この例では、頭部は０×０１、胸部は０×０２などと決まっている。対応部位のコードは２のｎ乗になっており、同時に複数の触覚刺激デバイスに対応させることができる。対応部位は、この例では５種類しかないが、コードが重ならなければいくらでも増やしてかまわない。ただし、この番号は一意であるため、すでに使用されているコードと重複してはならない。

画像表示装置２０は、対応部位を求めると、触れられたオブジェクトに対応する被測定者に対して、対応部位のコード及び刺激の強さ、刺激タイプなどをまとめた触覚信号を遠隔地にある携帯端末１０に送信する。携帯端末１０は、触覚信号を受信すると刺激提示デバイス９０を駆動して、被測定者に物理的な皮膚刺激を提示する。図１４は、画像表示装置２０から刺激提示デバイス９０への触覚の伝達を模式的に示している。

刺激タイプは、アクチュエータの振動パターンや電気刺激などの刺激の種類を表すコードである。このパラメータによりアクチュエータの振動周波数を変えたり、振動リズム、電気刺激のパターンを変化させることができ、単一ではない刺激パターンを与えることが可能である。

画像表示システム３は、特定の被測定者の生体情報及び環境情報を不特定多数の画像表示装置２０に配信する構成にしてもよい。このとき、画像生成システム３は、図１５に示すように被測定者の生体情報及び環境情報を測定する生体情報測定装置５０と、生体情報及び環境情報を多数の画像表示装置２０に送信するサーバ６０と、生体情報及び環境情報を基に画像を生成する画像表示装置２０とからなる。

生体情報測定装置５０は、上述した携帯端末１０と略同じ構成である。画像表示システム３では、個人のプライベートな情報を多数の人間に配信するため、携帯端末のように常時携帯するものではなく、ある程度公共性が高い空間に設置されていることが望ましい。もちろん、個人の承諾が得られれば、個人的な生体情報を配信してもよい。

このシステムは、不特定多数の人間が欲する生体情報、例えば、コンサート中のミュージシャンや試合中のスポーツ選手の生体情報や環境情報の配信に利用される。ミュージシャンやスポーツ選手の生体情報や環境情報を配信することにより、仕事場で実際のスポーツを観戦することができない状況であっても、試合の大まかな流れを掴んだり、ビデオ画像では見えないスポーツ選手の感情の変化などを観察することができる。

次いで、測定した生体情報及び環境情報をリアルタイムに再生するのではなく、過去に測定された生体情報及び環境情報を基に画像を生成する画像表示装置２０について説明する。既に測定された生体情報や環境情報は、図１６に示すようにネットワーク１００上の生体情報格納サーバ７０あるいはＣＤ−ＲＯＭや半導体メモリモジュールなどの記録媒体８０に記録されている。画像表示装置２０は、これらの生体情報や環境情報を基に画像を生成する。これにより、ユーザは、何度でも同じ映像を楽しむことができる。また、生体情報や環境情報のみを予め測定しておき、時間の余裕があるときに表示させることもできる。例えば、故人の生体情報を生前に記録しておき、生前の様子を象徴的な画像により適時再生することができる。

画像表示システムの構成を示す概念図である。 携帯端末の構成を示すブロック図である。 画像表示装置の構成を示すブロック図である。 同一の生体情報及び環境情報から異なる画像を生成する過程を示す図である。 実施例２における画像表示システムの構成を示す概念図である。 位置関係を画像に反映させた例を模式的に示した図である。 データの同期関係を画像に反映させた例を模式的に示した図である。 被測定者の感情の関係を画像に反映させた例を模式的に示した図である。 多重化データの構成を示す図である。 刺激提示デバイスの取り付け位置を示す図である。 視聴者がタッチパネルに触れる様子を示す図である。 対応表の一例を示す図である。 視聴者が画面に触れてからエリアを特定するまでの過程を模式的に示した図である。 画像表示装置から刺激提示デバイスへの触覚の提示を模式的に示した図である。 実施例４における画像表示システムの構成を示す図である。 実施例５における画像表示システムの構成を示す図である。

符号の説明

１ 画像表示システム、１０ 携帯端末、１１ 生体センサ、１２ 環境情報センサ、１３ ＲＯＭ、１４ ＲＡＭ、１５ ＣＰＵ、１６ 通信インターフェース、１７ 生体情報受信部、２０ 画像表示装置、２１ 入力部、２２ 音声出力部、２３ 表示部、２４ ＲＯＭ、２５ ＲＡＭ、２６ デバイスドライバ、２７ 通信インターフェース、２８ 画像記憶部、２９ ＣＰＵ、５０ 生体情報測定装置、６０ サーバ、７０ 生体情報格納サーバ、８０ 記録媒体、９０ 刺激提示デバイス、９１ タッチパネル、９２ 対応表

Claims (24)

1. 被測定者の生体情報を測定する生体情報測定手段と、
   上記生体情報を送信する送信手段と
   を備えた生体情報測定装置と、
   上記生体情報を受信する受信手段と、
   上記生体情報を基に画像を生成する画像生成手段と、
   上記画像を表示する表示手段と
   を備えた画像表示装置と
   を備え、
   上記生体情報測定装置と、画像表示装置とは異なる地点に存在し、ネットワークを介して接続されている
   ことを特徴とする画像表示システム。
2. 上記画像生成手段は、上記被測定者の状態を表出する画像を生成することを特徴とする請求項１記載の画像表示システム。
3. 上記生体情報測定装置は、
   上記被測定者の周囲の環境を定量的に測定する環境情報測定手段を備え、
   上記画像生成手段は、上記生体情報及び環境情報を基に被測定者の状態及び周囲の環境を表出する画像を生成することを特徴とする請求項１記載の画像表示システム。
4. 複数の被測定者の生体情報を受信し、各被測定者の状態を表出する擬似生物の画像を生成し、上記表示手段は複数の擬似生物を同時に表示することを特徴とする請求項１記載の画像表示システム。
5. 上記画像生成手段は、複数の被測定者の生体情報の関係性を画像の変化に反映させることを特徴とする請求項１記載の画像表示システム。
6. 上記画像生成手段は、複数の被測定者の環境情報の関係性を画像の変化に反映させることを特徴とする請求項３記載の画像表示システム。
7. 上記画像表示装置は、上記表示手段に対する接触を検出する接触検出手段と、上記接触検出手段の出力に基づく接触信号を上記生体情報測定装置に対して送信する接触信号送信手段とを備え、
   上記生体情報測定装置は、上記接触信号を受信すると被測定者の皮膚感覚に刺激を与える皮膚刺激手段を備えることを特徴とする請求項１記載の画像表示システム。
8. 上記皮膚刺激手段は、振動、電気刺激、摩擦の少なくとも１つにより皮膚刺激を与えることを特徴とする請求項７記載の画像表示システム。
9. 上記画像表示装置は、
   記録媒体に記録された情報を読み出す読出手段を備え、
   上記画像生成手段は、上記読出手段が読み出した生体情報及び環境情報を基に被測定者の状態及び被測定者の周囲の環境を表出する画像を生成すること
   を特徴とする請求項１記載の画像表示システム。
10. 上記画像表示装置は、上記生体情報を基に上記被測定者の状態を表出する音声を生成する音声生成手段と、
    上記音声を出力する音声出力手段と
    を備えることを特徴とする請求項１記載の画像表示システム。
11. 被測定者の生体情報を測定する生体情報測定装置とネットワーク介して接続される画像表示装置であって、
    上記生体情報測定装置から送信された生体情報を受信する生体情報受信手段と、
    上記生体情報を基に画像を生成する画像生成手段と、
    上記画像を表示する表示手段と
    を備えることを特徴とする画像表示装置。
12. 上記生体情報測定装置は、
    上記被測定者の周囲の環境を定量的に測定する環境情報測定手段を備え、
    上記画像生成手段は、上記生体情報及び環境情報を基に被測定者の状態及び被測定者の周囲の環境を表出する画像を生成すること
    を特徴とする請求項１１記載の画像表示装置。
13. 記録媒体に記録された情報を読み出す読出手段を備え、
    上記画像生成手段は、記録媒体に予め記録された生体情報及び環境情報を基に被測定者の状態及び被測定者の周囲の環境を表出する画像を生成すること
    を特徴とする請求項１１記載の画像表示装置。
14. 複数の生体情報測定装置から異なる複数の被測定者の生体情報を受信したとき、
    上記画像生成手段は、各被測定者の状態を表出する画像を生成し、上記表示手段は、上記各被測定者の状態を表出画像を同時に表示することを特徴とする請求項１１記載の画像表示装置。
15. 上記画像生成手段は、複数の被測定者の生体情報の関係性を画像の変化に反映させることを特徴とする請求項１１記載の画像表示装置。
16. 上記画像生成手段は、複数の被測定者の環境情報の関係性を画像の変化に反映させることを特徴とする請求項１２記載の画像表示装置。
17. 上記画像表示手段は、上記表示手段に対する接触を検出する接触検出手段と、上記接触検出手段の出力に基づく接触信号を上記生体情報測定装置に対して送信する接触信号送信手段とを備えることを特徴とする請求項１１記載の画像表示装置。
18. 記録媒体に記録された情報を読み出す読出手段を備え、
    上記画像生成手段は、上記記録媒体に予め記録された生体情報及び環境情報を基に被測定者の状態及び被測定者の周囲の環境を表出する画像を生成すること
    を特徴とする請求項１１記載の画像表示装置。
19. 被測定者の生体情報を測定する生体情報測定工程と、
    上記生体情報を遠隔に送信する送信工程と、
    上記送信工程にて送信された生体情報を受信する受信工程と、
    上記受信工程にて受信した生体情報を基に画像を生成する画像生成工程と、
    上記画像生成工程にて生成した画像を表示する表示工程と
    を有する
    ことを特徴とする画像表示方法。
20. 上記被測定者の周囲の環境を定量的に測定する環境情報測定工程を有し、
    上記画像生成工程では、上記生体情報と環境情報とを基に上記被測定者の状態を表出する画像を生成する
    ことを特徴とする請求項１９記載の画像表示方法。
21. 上記受信工程にて複数の被測定者の生体情報を受信したとき、
    上記画像生成工程では、各被測定者の状態を表出する画像を生成し、
    上記表示工程では、複数の被測定者の状態を表出する画像を同時に表示する
    ことを特徴とする請求項１９記載の画像表示方法。
22. 上記複数の被測定者の生体情報の関係性を画像の変化に反映させることを特徴とする請求項２１記載の画像表示方法。
23. 上記複数の被測定者の環境情報の関係性を画像の変化に反映させることを特徴とする請求項２１記載の画像表示方法。
24. 上記画像に対する接触を検出する接触検出工程と、
    上記接触検出工程において検出される接触信号を基に被測定者の皮膚感覚に刺激を与える皮膚刺激工程と
    を備えることを特徴とする請求項１９記載の画像表示方法。
    

Images