JP2003299013A - 体験情報再現装置 - Google Patents

Abstract

(57)【要約】 【課題】体験者が体験した出来事を臨場感をもって再体
験することができる体験情報再現装置を提供する。 【解決手段】体験情報再現装置１０は入力部１２と、こ
の入力部１２に接続された処理部１４と、この処理部１
４に接続された再生部１６とを備える。入力部１２は情
報記録装置１８、環境情報取得手段１９、人体情報が取
得される人体情報取得手段２０および記憶部２２を備え
る。情報記録装置１８および環境情報取得手段１９によ
り体験者が体験した周囲の出来事が取得される。処理部
１４は入力部１２で取得された画像、音声および入力環
境情報の中から入力部１２の人体情報取得手段２０で取
得された人体情報に基づいて画像、音声および入力環境
情報に基づく周囲環境の少なくとも１つを体験環境とし
て再現するための再生情報を生成する。再生部１６はこ
の再生情報を再生し、体験者は自分の体験を再体験でき
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、体験者が体験した
出来事を再現する体験情報再現装置に関し、特に体験者
の体験情報および人体情報を取得し、前記人体情報に基
づいて、前記体験情報から再生情報を生成し、この再生
情報を体験環境として再現する体験情報再現装置に関す
る。

【０００２】

【従来の技術】従来、画像とともに、撮影位置の地理情
報を記録する画像記録装置が種々提案されている（特開
平７−８４３０８号公報および特開平９−３７２０３号
公報など）。特開平７−８４３０８号公報（以下、従来
技術１という）には、ＧＰＳ（グローバルポジショニン
グシステム）を利用し、光学カメラまたはＶＴＲカメラ
により記録媒体に画像とともに、地理情報を記録する画
像記録システムが開示されている。

【０００３】また、特開平９−３７２０３号公報（以
下、従来技術２という）においては、スチルビデオカメ
ラに、位置情報（緯度および経度）を得るＧＰＳ部、な
らびにカメラの向きおよび仰角を検出する撮影方位仰角
検出部が設けられたものが開示されている。従来技術２
においては、プリント時に、スチルビデオカメラにより
撮影された画像の画像データとともに、ＧＰＳ部および
撮影方位仰角検出部により得られた撮影位置の位置情報
を読み出す。そして、撮影地名を特定するとともに、撮
影方位仰角情報および撮影レンズの焦点距離情報から被
写体主題を特定する。

【０００４】

【発明が解決しようとする課題】上述の従来技術１およ
び従来技術２は、いずれも画像およびその撮影場所を記
録することができ、撮影位置を特定することができる。
しかしながら、撮影場所の雰囲気、および撮影時におけ
る撮影者の感情などを十分に記録することができない。
このため、画像を見て撮影者が自分の記憶を頼りに思い
出すだけで、記憶の再現性に乏しく、また臨場感も乏し
いという問題点がある。また、自分の体験を他人に伝達
する場合、画像を見せて説明し、それ以外の付加情報と
しては撮影位置程度であるので、必ずしも自分の体験を
正確な伝達することができないという問題点がある。

【０００５】本発明はかかる問題点に鑑みてなされたも
のであり、体験者が体験した出来事を体験環境として臨
場感をもって再体験することができる体験情報再現装置
を提供することを目的とする。また、本発明の他の目的
は、第三者が前記体験者による体験を体験環境として追
体験することができる体験情報再現装置を提供すること
を目的とする。

【０００６】

【課題を解決するための手段】前記目的を達成するため
に、本発明の態様は、周囲の出来事を体験している体験
者の前記周囲の体験情報を取得する第１の取得手段と、
前記体験者に取り付けられ、前記体験者の人体情報を取
得する第２の取得手段と、この第２の取得手段によって
取得された前記人体情報に基づいて、前記第１の取得手
段によって取得された前記体験情報を前記体験者の体験
環境として再現するための再生情報を生成する処理部
と、前記再生情報を再生して、前記体験者の前記体験環
境を再現する再生部とを有することを特徴とする体験情
報再現装置を提供するものである。

【０００７】このような本発明の体験情報再現装置にお
いては、前記体験情報は、前記体験者が見ている前記周
囲の画像、前記体験者が聞いている前記周囲の音声およ
び前記体験者の前記周囲の環境情報の少なくとも１つで
あり、前記第１の取得手段は、情報記録装置および第３
の取得手段の少なくとも一方を含み、前記情報記録装置
は、前記体験者が見ている前記周囲の画像および前記体
験者が聞いている前記周囲の音声の少なくとも一方を記
録するものであり、前記第３の取得手段は、前記周囲の
環境情報を取得するものであり、前記処理部は、前記人
体情報に基づいて、前記画像、前記音声および前記周囲
の環境情報に基づく周囲環境の少なくとも１つを前記体
験環境として再現するための前記再生情報を生成するも
のであり、前記再生情報は、前記画像を再生する再生画
像情報、前記音声を再生する再生音声情報および前記周
囲環境を再生する再生環境情報の少なくとも１つを含
み、前記再生部は、前記再生画像情報を再生する画像再
生部、前記再生音声情報を再生する音声再生部および前
記再生環境情報を再生する環境再生部の少なくとも１つ
を含むことが好ましい。

【０００８】本発明においては、さらに、前記体験情報
および前記人体情報が同期して記録される記憶部を有す
ることが好ましい。前記処理部は、前記人体情報に基づ
いて、前記体験情報に、検索処理、抽出処理、編集処理
および加工処理の少なくとも１つを施して前記再生情報
を生成することもできる。前記処理部は、前記体験者の
前記人体情報と第三者の人体情報との差異に基づいて、
前記再生情報を補正する補正部を有してもよい。

【０００９】また、前記処理部は、前記人体情報に基づ
いて前記体験情報の情報量を調整することが好ましい。
また、前記再生部は、前記画像再生部による前記再生画
像情報の再生、前記音声再生部による前記再生音声情報
の再生および前記環境再生部による前記再生環境情報の
再生の少なくとも２つを同期させて行うのが好ましい。

【００１０】また、前記第２の取得手段は、前記人体情
報を測定するセンサなどの測定手段を含むことが好まし
い。さらに、前記第３の取得手段は、前記周囲の環境情
報を測定するセンサなどの測定手段を含むことが好まし
い。また、前記人体情報は、顔の表情などの筋肉動作、
姿勢、眼球の動き、まばたきの回数、心拍数、体温、血
圧、発汗量、血流量および脳波などの受動的な情報、な
らびに皮膚刺激反応、視覚刺激反応および聴覚刺激反応
などの能動的な情報があり、これらの人体情報のうち、
少なくとも１つを含むことが好ましい。また、前記画像
は、静止画および動画の少なくとも１つを含むことが好
ましい。また、前記音声は、音楽、会話および環境音の
少なくとも１つを含むことが好ましい。

【００１１】また、前記周囲の環境情報は、前記体験者
の前記体験情報を取得した位置情報、時間情報、震動情
報、加速度情報、気象情報、環境光情報、空気情報およ
び匂い情報の少なくとも１つを含むことが好ましい。ま
た、前記再生環境情報は、震動情報、加速度情報、環境
温度、環境湿度情報、気圧情報、風情報、環境光情報、
空気組成情報および匂い情報の少なくとも１つを含むこ
とが好ましい。また、前記処理部は、前記再生部で前記
体験者の前記再生情報が再生され、前記体験情報の再現
を受けている前記第三者の人体情報を前記体験者の人体
情報に整合させるフィードバック部を有してもよい。

【００１２】さらに、本発明の他の態様は、体験者の人
体情報に基づいて、周囲の出来事を体験している前記体
験者の前記周囲の体験情報を前記体験者の体験環境とし
て再現するための再生情報を生成する処理部を有するこ
とを特徴とする再生情報処理装置を提供するものであ
る。この再生情報処理装置において、前記体験情報は、
前記体験者が見ている前記周囲の画像、前記体験者が聞
いている前記周囲の音声および前記体験者の前記周囲の
環境情報の少なくとも１つであり、前記処理部は、前記
人体情報に基づいて、前記画像、前記音声および前記周
囲の環境情報に基づく周囲環境の少なくとも１つを前記
体験環境として再現するための前記再生情報を生成する
ものであり、前記再生情報は、前記画像を再生する再生
画像情報、前記音声を再生する再生音声情報および前記
周囲環境を再生する再生環境情報の少なくとも１つを含
み、前記再生部は、前記再生画像情報を再生する画像再
生部、前記再生音声情報を再生する音声再生部および前
記再生環境情報を再生する環境再生部の少なくとも１つ
を含むことが好ましい。

【００１３】

【発明の実施の形態】以下、本発明に係る体験情報再現
装置について、添付の図面に示される好適実施例を基に
詳細に説明する。図１は本発明の実施例に係る体験情報
再現装置を示すブロック図、図２は本実施例の体験情報
再現装置の処理部を示すブロック図である。図１に示す
ように、本実施例の体験情報再現装置１０は、入力部１
２と、この入力部１２に接続された処理部１４と、この
処理部１４に接続された再生部１６とを備えるものであ
る。

【００１４】入力部１２は、情報記録装置１８、環境情
報取得手段１９（第３の取得手段）、人体情報取得手段
２０（第２の取得手段）および記憶部２２を備える。情
報記録装置１８および環境情報取得手段１９（第３の取
得手段）により、体験者が体験した周囲の出来事が取得
される。

【００１５】情報記録装置１８は、体験者が見ている周
囲の画像および体験者が聞いている周囲の音声の少なく
とも一方を記録するものであり、撮影装置１８ａおよび
録音装置１８ｂを有する。撮影装置１８ａは、体験者の
周囲の画像を静止画または動画として撮影するものであ
る。撮影装置１８ａとしては、静止画および動画の少な
くともいずれか一方の画像を記録することができればよ
く、特に限定されるものではない。撮影装置１８ａとし
ては、例えばフィルムカメラ、デジタルカメラ、８ｍｍ
フィルムカメラなどを挙げることができる。また、録音
装置１８ｂは、体験者の周囲の音声を録音するものであ
る。録音装置１８ｂとしては、例えば、音楽、会話およ
び環境音などの音声を記録することができればよく、特
に限定されるものではない。録音装置１８ｂとしては、
例えばテープレコーダ、デジタルオーディオテープレコ
ーダおよびミニディスクレコーダなどを挙げることがで
きる。また、情報記録装置１８は、図示例のものに限定
されず、撮影装置１８ａおよび録音装置１８ｂの一方の
みを有するものであってもよいし、また、撮影装置１８
ａおよび録音装置１８ｂが一体になったビデオカメラお
よびデジタルビデオカメラなどのように、画像（静止画
および動画を含む）および音声がまとめて記録できる装
置でもよい。情報記録装置１８は、例えば体験者に取り
付けられ、または体験者が保持し、もしくは体験者の近
傍に配置され、画像および周囲の音声の少なくとも一方
は、自動的にまたは体験者が操作することによって記録
される。情報記録装置１８は、体験者の視野全域を撮影
したり、体験者の可聴域全域を録音したりすることがで
きることが好ましい。

【００１６】環境情報取得手段１９は、情報記録装置１
８によって記録された画像または音声を再現するために
必要な体験者の周囲の環境に関する情報またはこれらの
画像もしくは音声とともに再現される体験者の周囲の環
境に関する情報などの入力環境情報を取得するものであ
り、例えば、後述する入力環境情報を測定する種々のセ
ンサを有するものである。環境情報取得手段１９は、特
に限定されるものではなく、直接入力環境情報を計測す
るセンサ以外にも問い合わせることによって、入力され
た入力環境情報、例えば位置または地図の情報に基づい
て、他の入力環境情報を取得することもできるデータベ
ース機関またはその他の外部機関も含まれる。この入力
環境情報としては、気圧、温度、湿度、風向または風力
などの気象情報、体験者の体験情報を取得した位置情
報、時間情報、震動情報、加速度情報、環境光情報、空
気情報、匂い、電磁波、地磁気および屋外または屋内に
いるかの情報などを挙げることができる。環境情報取得
手段１９は、これらの情報のうち、少なくとも１つの情
報を得ることができる。

【００１７】各情報については、例えば、ＧＰＳまたは
携帯電話の位置情報サービスにより体験者の位置情報を
得る。時計により時間情報が特定される。加速度センサ
などにより、地震または電車の揺れなどの環境の震動情
報、および体験者が乗っているもの（エレベータまたは
ジェットコースターなど）の加速度情報が得られる。ま
た、体験者が気象庁に問い合わせることにより気象情報
が特定される。この場合、地震などの震動情報について
特定することもできる。光センサにより環境光が測定さ
れる。オゾンセンサにより空気組成が測定される。電磁
波センサにより電磁波が測定される。匂いセンサにより
匂いが測定される。磁気センサにより地磁気が測定され
る。体験者がいる場所が屋外または屋内であるかについ
ては、体験者が記録してもよい。情報記録装置１８およ
び環境情報取得手段１９によって、周囲の出来事を体験
している体験者の周囲の体験情報を取得することができ
る。

【００１８】人体情報取得手段２０は、体験者に取り付
けられ、体験者の人体情報を取得するものである。人体
情報取得手段２０は、後述する人体情報を測定できるも
のであれば、特に限定されるものではなく、例えばセン
サである。人体情報としては、顔の表情などの筋肉動
作、姿勢、眼球の動き、まばたきの回数、心拍数、体
温、血圧、発汗量、血流量および脳波などの受動的な情
報、ならびに皮膚刺激反応、視覚刺激反応および聴覚刺
激反応などの能動的な情報がある。人体情報取得手段２
０は、これらの人体情報のうち、少なくとも１つを、例
えばセンサで測定することができる。

【００１９】各情報については、例えば、変位計または
筋電位計により、顔の筋肉動作を測定する。変位計また
は筋電位計の出力結果と表情との対応関係を予め求めて
おくことにより、顔の表情を特定できる。これにより、
顔の筋肉動作から感情を分類することができる。膝関節
角度を角度センサまたは筋電位計により測定することに
より、立っているかまたは座っているかなどの姿勢を特
定する。視線位置検出センサにより眼球の動きおよび瞬
きの回数を測定する。視線位置検出センサとしては、例
えばキヤノン社製の視線入力センサがある。心拍計によ
り心拍数を測定する。体温計により体温を測定する。血
流量センサにより血流量を測定する。高速絶対湿度計測
器により発汗量を測定する。脳波計により脳波を測定す
る。

【００２０】変位計または筋電位計により皮膚刺激反応
を測定する。加速度センサまたは筋電位計により体験者
の動きを測定する。変位計、筋電位計または視線位置検
出センサにより視覚刺激反応を測定する。変位計または
筋電位計により聴覚刺激反応を測定する。人体情報は特
にこれに限定されるものではなく、これ以外にも、人体
の生体反応などについて測定してもよい。人体情報の各
項目については、感情に対応つけて閾値を設定しておく
ことが好ましい。例えば、発汗量または心拍数によっ
て、緊張状態にあるか判断するようにしてもよい。

【００２１】人体情報取得手段２０においては、人体情
報の取得頻度に応じて情報記録装置１８における画像お
よび音声の少なくとも一方の記録頻度、ならびに環境情
報取得手段１９における入力環境情報の記録頻度を調整
することが好ましい。例えば、上述の眼球の動きの程度
によって、情報記録装置１８における画像の画素数また
は単位時間あたりの記録数などの記録密度、および環境
情報取得手段１９における各種センサのサンプリングレ
ートを大きくするか、または小さくする。すなわち、眼
球運動が少ない（凝視）か、または眼球が頻繁に動いて
いる（サッカードしている）かによって、上述の記録密
度およびサンプリングレートを調整する。例えば、睡眠
中には、記録すべき事項が少ないので上述の記録密度お
よびサンプリングレートを小さくする。一方、眼球運動
が多い場合には、目から得られる情報量が多くなるの
で、記録すべき事項が多くなり、上述の記録密度および
サンプリングレートを大きくする。これらの記録頻度の
調整は、眼球の動きについて、閾値を決めておくことに
より、自動化することができる。また、体験者が手動で
調整してもよいことはもちろんである。

【００２２】なお、人体情報取得手段２０以外にも、例
えば環境情報取得手段１９の音声入力特性のうち、体験
者もしくは他人の会話、ノイズ、音楽、または波もしく
は川のせせらぎなどの自然音に応じて、録音装置１８ｂ
の音声の記録帯域または記録密度を変えるようにしても
よい。この場合も、音声入力特性に閾値を設けることに
より、記録している音声の記録帯域または記録密度を自
動的に調整することができる。また、体験者が音声の記
録帯域または記録密度を手動で調整できることはいうま
でもない。

【００２３】情報記録装置１８、環境情報取得手段１９
および人体情報取得手段２０により取得された体験者の
情報は、処理部１４に出力される。この場合、情報記録
装置１８、環境情報取得手段１９および人体情報取得手
段２０により取得された体験者の情報は、記憶部２２に
記憶されてもよく、情報記録装置１８、環境情報取得手
段１９および人体情報取得手段２０により取得された情
報（データ）は同期して記録部２２に記録されることが
好ましい。この記録部２２から処理部１４に体験者の情
報が出力される。また、記憶部２２に記録された情報
は、例えば、ハードディスク、磁気テープおよびフレキ
シブルディスクなどの記憶媒体に記憶されるか、また
は、データベースに格納される。体験者の情報は、記憶
部２２に記憶された場合、記憶部２２から処理部１４に
出力される。

【００２４】なお、人体情報に基づいて体験者の状態が
判別できるようしておくことが好ましい。例えば、眼球
の動きおよび心拍数により寝ているか、または起きてい
るかを判別する。なお、本発明においては、人体情報お
よび入力環境情報を取得できればよく、センサを必ずし
も体験者に取り付ける必要はない。

【００２５】次に、本実施例の処理部１４について説明
する。図２に示すように、処理部１４は、検索・抽出部
２４、加工・編集部２６、補正部２８および再生情報記
録部３０を備えるものであり、入力部１２で取得された
画像、音声および入力環境情報の中から、入力部１２の
人体情報取得手段２０で取得された人体情報に基づい
て、情報記録装置１８で記録された画像および音声、な
らびに環境情報取得手段１９で取得された入力環境情報
に基づく周囲環境の少なくとも１つを体験環境として再
現するための再生情報を生成するものである。

【００２６】検索・抽出部２４は、例えば、顔の表情
（人体情報）に基づく「楽しかった思い出」、「怒りの
思い出」および「悲しみの思い出」などの項目によっ
て、上述の画像、音声、および入力環境情報から必要な
情報を検索または抽出するものである。このようにして
検索された検索情報、または抽出された抽出情報は、再
生情報として、再生部１６に出力して再生してもよい。
また、検索情報または抽出情報を加工・編集部２６に出
力し、後述するように、検索情報または抽出情報につい
て加工処理および／または編集処理を施してもよい。こ
の場合、人体情報、画像、音声、および入力環境情報
（以下、入力情報という）が同期して記録されている
と、人体情報に基づく検索および抽出が容易になるので
好ましい。なお、検索または抽出に使用する項目は、特
に限定されるものではなく、入力情報のうち、思い出な
どを想起できる項目であれば、情報の種類はなんでもよ
い。検索情報および抽出情報は、再生情報記録部３０に
再生情報として記録してもよい。

【００２７】加工・編集部２６は、入力情報または検索
情報もしくは抽出情報が入力されるものであり、これら
の情報について加工処理および編集処理の少なくとも一
方の処理を施し、再生情報を生成する。加工・編集部２
６における加工処理とは、人体情報を除いた入力情報、
検索情報または抽出情報について、例えば画像処理およ
び音声処理などを施すことである。加工処理は、画像処
理および音声処理に限定されるものではなく、人体情報
に基づいて画像、音声および入力環境情報の少なくとも
１つの情報を調整し、体験者が出来事を体験したときの
人体情報となるように調整する処理も含む。画像処理と
は、例えば、再生部１６の再生能力に合わせて画像を圧
縮したり、再生部１６の色再現域に合わせて色を変える
ことなどである。また、音声処理とは、例えば、再生部
１６の再生能力に合わせて高域または低域の音をカット
することである。さらに、例えば、瞬きの回数に応じ
て、環境光の光量を調整し、瞬きの回数が同じになるよ
うにしてもよい。また、例えば、体験者の色の見え方
（視覚特性）に合わせて画像の色を変え、体験者が見た
色に合わせる。さらに、例えば、体験者の聞こえ方（聴
覚特性）に応じて高域または低域の音をカットし、体験
者が聞いた音となるようにする。

【００２８】加工・編集部２６における編集とは、入力
情報または検索情報もしくは抽出情報のうち、再生部１
６で再生する情報を選択し、再生情報を生成することで
ある。例えば、画像、音声および入力環境情報のうち、
再生部１６でこれらの全ての情報について再生できない
場合には、必要に応じて画像、音声および入力環境情報
のうち再生できる情報を選択する。また、加工処理して
生成された加工情報についても、編集処理を施してよい
ことはもちろんである。加工・編集部２６において生成
された再生情報は、再生部１６に出力されて再生する
か、または必要に応じて補正部２８もしくは再生情報記
録部３０に出力する。

【００２９】補正部２８は、体験者の体験を第三者が体
験する場合に、体験者の人体情報と第三者の人体情報と
の差異に基づいて再生情報を補正し、補正再生情報を生
成するものである。この補正再生情報とは、例えば、体
験者の人体情報と第三者の人体情報とが整合するように
再生情報を補正して得られたものである。例えば、気温
については、体験者と第三者との平均体温の差を調べ、
この差によって、再生するときに気温を上げるか、また
は下げる。また、これ以外にも、体験者および第三者の
気温と発汗量との関係を調べ、例えば両者の発汗量が同
等になるように、再生するときの気温を調整する。

【００３０】また、加速度については、例えば体験者お
よび第三者の加速度と心拍数または眼球の動きを調べ
る。例えば、両者の心拍数または眼球の動きが同等にな
るように、再生するときに加速度を調整する。さらに、
音声については、体験者および第三者の聴覚刺激反応の
関係から、音量または音質を調整する。また、環境光に
ついては、体験者および第三者の視覚刺激反応の関係か
ら、再生するときに光の強度または色を調整する。な
お、再生情報について、補正されるものは、上記項目に
限定されるものではなく、再生部１６で再生される再生
情報の全ての項目について、体験者の人体情報と第三者
の人体情報とが合うように補正することが好ましい。こ
のように、例えば、予め人体情報が整合するように生成
された補正再生情報は、再生情報記録部３０または再生
部１６に出力される。また、補正部２８による補正は、
体験者の人体情報と第三者の人体情報とが整合するよう
に補正することに限定されるものではなく、所定の人体
情報となるようにしてもよい。

【００３１】また、処理部１４には、後述する再生部１
６にて、体験者の体験に基づく再生情報を再生し、第三
者が体験者の体験を追体験しているとき、第三者の人体
情報と体験者の人体情報とを実時間で整合させるフィー
ドバック部を設けてもよい。この場合、第三者の人体情
報は、上述の各手段を用いて測定して得られた情報であ
る。なお、フィードバック部は、上述の本実施例の補正
部２８と同様の構成とすることできるので、その詳細な
説明は省略する。このフィードバック部を設けることに
より、予め再現情報を補正部２８で補正することなく、
第三者が体験者の体験を追体験しながら、例えば体験者
と第三者との人体情報の整合を図ることができる。

【００３２】再生情報記録部３０は、検索・抽出部２４
および加工・編集部２６で生成された再生情報ならびに
補正部２８で補正された補正再生情報のうち、少なくと
も１つの情報が入力され、これらの情報を記憶するもの
である。なお、再生情報記録部３０は、ハードディス
ク、磁気テープ、フレキシブルディスクおよびＭＯディ
スクなどの記憶媒体に再生情報および補正再生情報を記
録するようにしてもよく、また、データベースに格納す
るようにしてもよい。再生画像記録部３０は、再生部１
６に再生情報および補正再生情報を出力する。

【００３３】本実施例の処理部１４においては、図２に
示すように、検索・抽出部２４および加工・編集部２６
の少なくとも一方で検索処理、抽出処理、編集処理およ
び加工処理が施されて再生情報が生成される。再生情報
は、上述の画像、音声および入力環境情報に上述の加工
処理を施したものであり、画像情報は再生画像情報とな
り、音声情報は、再生音声情報となり、入力環境情報は
再生環境情報となる。これらの再生画像情報に基づいて
画像が再生され、再生音声情報に基づいて音声が再生さ
れ、再生環境情報に基づいて周囲の環境が再生される。
なお、再生情報は、再生画像情報、再生音声情報および
再生環境情報のうち、少なくとも１つの情報があればよ
い。なお、本発明においては、処理部１４において、検
索・抽出部２４および加工・編集部２６は、必ずしも２
つ必要ではなく、少なくとも一方があればよい。

【００３４】次に、再生部１６について説明する。再生
部１６は、例えば、加振台上に載置された筐体に、画像
再生部３２、音声再生部３４および環境再生部３６が設
けられたものである。再生部１６は、処理部１４で生成
された再生情報を再生し、体験者の体験を再現するもの
である。

【００３５】画像再生部３２は、画像を再現するもので
あり、再生画像情報に基づいて画像を再生する。この画
像再生部３２としては、例えばＣＲＴモニタ、プロジェ
クタスクリーン、スライドスクリーンおよび液晶ディス
プレイなどの白黒またはカラーの画像表示装置、ならび
に白黒またはカラーの写真プリントおよび白黒またはカ
ラーの印刷物などのものが挙げられる。音声再生部３４
は、音声を再現するものであり、再生音声情報に基づい
て音声を再生する。この音声再生部３４としては、例え
ばテープレコーダ、デジタルテープレコーダ、ミニディ
スクレコーダおよびコンパクトディスクレコーダなどが
挙げられる。

【００３６】環境再生部３６は、上述の再現環境情報を
再現する手段のことである。例えば、震動および加速度
については、筐体または体験者を加振器で揺らすことに
より再現する。気圧については、ポンプにより筐体内を
排気することにより再現する。温度については、体験者
または筐体内部をヒータまたはクーラなどを使用して再
現する。湿度については、湿った空気を筐体内に送り込
むか、または除湿剤などにより湿気を吸収させて再現す
る。風向または風力については、ファンを使って再現す
る。環境光については、照明の明るさを調整することに
より再現する。空気の組成については、体験者または筐
体に供給する酸素およびオゾンなどの組成量を変えるこ
とにより再現する。匂いについては、実物または各種香
料により再現する。電磁波および地磁気については、電
磁波発生装置により再現する。屋外または屋内について
は、体験者のいる場所を変えるか、筐体の上部の壁を外
すか、または照明の光量または色を変えるなどして再現
する。再生部１６においては、例えば、ジェットコース
ターに乗ったときの思い出を画像、音声および加速度を
用いて再現する。また、山に登ったときの思い出を音
声、画像、空気組成および風力を用いて再現する。な
お、再生部１６は、必ずしも筐体が必要ではなく、再生
環境情報が再現できるものであればよく、例えば、衣服
にヒータおよび冷却装置を取り付け温度調整ができるよ
うにしてもよい。

【００３７】次に、本実施例の体験再現装置の作用につ
いて説明する。図３は本実施例の体験情報再現装置の編
集方法を説明する模式図である。本実施例においては、
体験者の体験について、人体情報が３項目（眼球の動
き、心拍数、瞬きの回数）、入力環境情報が９項目（加
速度、気温、湿度、空気組成、天気、環境光、位置、匂
い）、画像および音声の２項目の合計１４項目の情報を
取得し、これらの情報に基づいて再生情報を作成する場
合について説明する。この場合、図３に示す入力情報の
各項目について測定できるように、体験者にはセンサが
取り付けられている。

【００３８】先ず、入力部１２において、情報記録装置
１８、環境情報取得手段１９、人体情報取得手段２０に
より、取得された上記１４項目の情報を処理部１４の検
索・抽出部２４に出力する。次に、図３に示すように、
「波の音」という項目により、入力情報の中から、海の
思い出に関する検索する。この場合、波の音と同じ時系
列に記録されている入力情報の全ての項目の情報が検索
される。また、「心拍数が高い」という項目により緊張
した思い出を検索する。この場合も、心拍数が高かった
ときと同じ時系列に記録されている入力情報の全ての項
目の情報が検索される。さらに、「気温が高い」または
「気温が低い」という項目により暑かったときの思い出
または寒かったときの思い出を検索する。この場合も、
気温が高いか、または低くかったときと同じ時系列に記
録されている入力情報の全ての項目の情報が検索され
る。さらにまた、「気圧が低い」という項目により登山
したときの思い出を検索する。この場合も、気圧が低く
かったときと同じ時系列に記録されている入力情報の全
ての項目の情報が検索される。このようにして、入力情
報について検索する。

【００３９】また、思い出を検索する場合には、複数の
項目で検索することもできる。例えば、「波の音」およ
び「気温が低い」という項目の組み合わせによって、
「冬の海の思い出」を検索できる。また、「気圧が低
い」および「心拍数が高い」という項目の組み合わせに
よって、「登山で疲れた思い出」を検索することができ
る。なお、これら検索項目の組み合わせは適宜選択可能
であり、これにより複雑な思い出を検索することができ
る。なお、抽出は検索と同様にすることができる。検索
された検索情報および抽出された抽出情報は、再生情報
として再生部１６もしくは再生情報記録部３０に出力さ
れるか、または加工・編集部２６に出力される。

【００４０】なお、入力情報から検索または抽出する際
に、検索項目における高いおよび低いなどの程度は、各
検索項目の体験者の基準データを予め測定して、基準値
を求めておくことが好ましい。また、センサによる測定
データの平均値を各検索項目の基準値としてもよい。な
お、このように各項目について基準値を設けることによ
り、体験者が欲しい思い出を自動的に記録することがで
きる。すなわち、抽出情報を自動的に作成することがで
きる。

【００４１】次に、加工・編集部２６で検索した検索情
報について加工する。図４は、本発明の実施例に係る体
験情報再現装置の加工処理を示す模式図である。本実施
例の加工方法について説明する。本実施例においては、
眼球の動き（人体情報）に基づいて画像の再生方法を変
える。例えば、眼球の動きがゆっくりであれば、画像を
スロー再生し、眼球が停止していれば、画像を静止す
る。また、眼球の動きが速ければ、画像を早送りする。
他にも、眼球の動きによって、画像をズームインまたは
ズームアウトしたり、画像をぶれたものにしたり、さら
には画像をぼかすなどする。なお、予め被験者の行動と
眼球の動きとの対応関係を調べておくことにより、より
精度が高い画像の再生が可能となる。

【００４２】また、心拍数（人体情報）に基づいて音声
の再生方法を変える。例えば、心拍数が高い場合には、
音声の高域を強調する。心拍数が低い場合には、音声の
低域を強調する。心拍数が周期的に変化するような場合
には、音声に強弱をつける。さらに、瞬きの回数（人体
情報）に基づいて環境光情報の再生方法を変える。例え
ば、瞬きの回数が多い場合には、環境光の強度を高くす
る。また、瞬きの回数が少ない場合には、環境光の強度
を低くする。このように画像、音声および入力環境情報
の再生方法を調整し、体験者が出来事を体験したときと
同じ生体反応が生じるようした再生情報を生成すること
ができる。また、再生情報において、位置情報と気圧情
報とは気圧情報の１つにまとめた。このようにして、図
４に示すように、１４項目ある入力情報に対して、再生
項目が１０項目の再生情報に加工することができる。こ
こで、加工処理された後、編集処理もされる再生情報を
加工情報という。加工・編集部２６で加工処理された入
力情報は、再生情報として、再生部１６または再生情報
記録部３０に出力される。

【００４３】次に、加工・編集部２６における編集方法
について説明する。図５（ａ）は本実施例の体験情報再
現装置の加工・編集部の編集方法を説明する模式図、
（ｂ）は同じくその加工・編集部の他の編集方法を説明
する模式図である。図４に示す加工情報について、さら
に編集処理を施してもよい。編集処理を施さない場合、
図４に示す再生情報に基づいて体験が再生される。例え
ば、夏の海を思い出を編集する場合、図５（ａ）に示す
ように、加工情報（（１）画像、（２）音声、（３）加
速度（振動）、（４）気温、（５）湿度、（６）空気組
成、（７）風、（８）環境光、（９）気圧および（１
０）匂い）のうち、（３）加速度、（９）気圧および
（１０）匂いの項目を削除して再生情報とする。例え
ば、緊張した思い出を再現する場合には、図５（ｂ）に
示すように、加工情報のうち、（１）画像および（２）
音声だけを残して、残りの項目は全て削除して再生情報
とする。

【００４４】本実施例においては、加工情報を編集する
際に、必要のない再生項目を削除しているが、これは特
に限定されるものではなく、思い出の種類および再生部
１６で再生できる項目などにより体験者が決定すればよ
い。このようして生成された再生情報を再生部１６で再
生することにより、体験者は、自分が体験した出来事に
ついて臨場感をもって再体験できる。

【００４５】また、体験者の体験を第三者が体験する場
合、上述の如く、補正部３０により体験者の人体情報と
第三者の人体情報との差異に基づいて再生情報を補正す
る。すなわち、体験者の感覚を第三者の感覚に整合させ
て補正再生情報を生成する。そして、補正再生情報を再
生部１６で再生することにより、第三者が体験者の体験
を自分の体験の如く臨場感をもって追体験できる。さら
に、体験者の体験を第三者が体験する場合、フィードバ
ック部により、第三者が体験者の体験を追体験しなが
ら、第三者の人体情報を体験者の人体情報に整合させつ
つ、第三者が体験者の体験を自分の体験の如く臨場感を
もって追体験できる。

【００４６】また、本実施においては、入力部１２、処
理部１４および再生部１６を備える構成としたが、本発
明はこれに限定されるものではない。本発明は、体験者
の情報について、再生部の再現特性および再現機能に合
わせて加工および選択の少なくとも一方を行い、再生情
報を作成する処理部を有する再生情報処理装置とするこ
ともできる。この場合、処理部は、上述の本実施例の処
理部１４と同様のものとすることができるので、その詳
細な説明は省略する。また、体験者の情報は、上述の本
実施例の入力部１２により得られるものであればよい。
体験者の情報は、例えば、記録媒体に記憶されるか、ま
たはデータベースに格納される。さらに、再生情報処理
装置により生成された再現情報も、記録媒体に記憶する
か、またはデータベースに格納してもよい。このような
記憶または格納された再生情報を、上述の本実施例の再
生部１６で再生することができる。

【００４７】

【発明の効果】以上詳細に説明したように本発明によれ
ば、体験者の周囲の体験情報と、人体情報とを取得し、
人体情報に基づいて、周囲の体験情報を体験者の体験環
境として再現することにより、体験者が体験したこと
を、所定の時間が経過した後、臨場感をもって再体験す
ることができる。さらに体験者と第三者との感覚を整合
させて周囲の体験情報を体験環境として再現することに
より、第三者が体験者の体験を自分の体験の如く追体験
できる。

【図面の簡単な説明】

【図１】 本発明の実施例に係る体験情報再現装置を示
すブロック図である。

【図２】 本実施例の体験情報再現装置の処理部を示す
ブロック図である。

【図３】 本実施例の体験情報再現装置の編集方法を説
明する模式図である。

【図４】 本発明の実施例に係る体験情報再現装置の加
工処理を示す模式図である。

【図５】 （ａ）は本実施例の体験情報再現装置の加工
・編集部の編集方法を説明する模式図、（ｂ）は同じく
その加工・編集部の他の編集方法を説明する模式図であ
る。

【符号の説明】

１０ 体験情報再現装置 １２ 入力部 １４ 処理部 １６ 再生部 １８ 情報記録装置 １９ 環境情報取得手段 ２０ 人体情報取得手段 ２２ 記憶部 ２４ 検索・抽出部 ２６ 加工・編集部 ２８ 補正部 ３０ 再生情報記録部 ３２ 画像再生部 ３４ 音声再生部 ３６ 環境再生部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA08 AA09 BA06 BA08 BA11 BA12 BA15 CA07 DA02 DA04 EA09 EA10 EA12 EA24 FA02 FA05 FA08 FA10 5B057 BA01 BA02 BA04 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CD05 CE11 CE17 CG01 CH07 CH08 CH11 CH12 CH18 5C052 AC08 DD04 DD06 EE06 5C053 FA04 FA08 FA21 FA23 GA11 GB21 HA29 KA05 LA01 LA06

Claims (5)

【特許請求の範囲】
1. 【請求項１】周囲の出来事を体験している体験者の前記
   周囲の体験情報を取得する第１の取得手段と、 前記体験者に取り付けられ、前記体験者の人体情報を取
   得する第２の取得手段と、 この第２の取得手段によって取得された前記人体情報に
   基づいて、前記第１の取得手段によって取得された前記
   体験情報を前記体験者の体験環境として再現するための
   再生情報を生成する処理部と、 前記再生情報を再生して、前記体験者の前記体験環境を
   再現する再生部とを有することを特徴とする体験情報再
   現装置。
2. 【請求項２】前記体験情報は、前記体験者が見ている前
   記周囲の画像、前記体験者が聞いている前記周囲の音声
   および前記体験者の前記周囲の環境情報の少なくとも１
   つであり、 前記第１の取得手段は、情報記録装置および第３の取得
   手段の少なくとも一方を含み、前記情報記録装置は、前
   記体験者が見ている前記周囲の画像および前記体験者が
   聞いている前記周囲の音声の少なくとも一方を記録する
   ものであり、前記第３の取得手段は、前記周囲の環境情
   報を取得するものであり、 前記処理部は、前記人体情報に基づいて、前記画像、前
   記音声および前記周囲の環境情報に基づく周囲環境の少
   なくとも１つを前記体験環境として再現するための前記
   再生情報を生成するものであり、 前記再生情報は、前記画像を再生する再生画像情報、前
   記音声を再生する再生音声情報および前記周囲環境を再
   生する再生環境情報の少なくとも１つを含み、 前記再生部は、前記再生画像情報を再生する画像再生
   部、前記再生音声情報を再生する音声再生部および前記
   再生環境情報を再生する環境再生部の少なくとも１つを
   含む請求項１に記載の体験情報再現装置。
3. 【請求項３】請求項１または２に記載の体験情報再現装
   置であって、 さらに、前記体験情報および前記人体情報が同期して記
   録される記憶部を有することを特徴とする体験情報再現
   装置。
4. 【請求項４】前記処理部は、前記人体情報に基づいて、
   前記体験情報に、検索処理、抽出処理、編集処理および
   加工処理の少なくとも１つを施して前記再生情報を生成
   するものである請求項１乃至３のいずれか１項に記載の
   体験情報再現装置。
5. 【請求項５】前記処理部は、前記体験者の前記人体情報
   と第三者の人体情報との差異に基づいて、前記再生情報
   を補正する補正部を有する請求項１乃至４のいずれか１
   項に記載の体験情報再現装置。