JP2005071256A - 画像表示装置及び画像表示方法 - Google Patents

Abstract

【課題】 多様に変化する画像や音声を出力する。
【解決手段】 画像生成部１３は、数値を入力し画像を出力する。画像生成部１３は、数値の変化に応じて異なる画像を出力する。入力する数値は、生体センサ１０が測定した生体情報や環境センサ１２が測定した環境情報である。生体情報や環境情報は、変化が予測できない不確定値であるため、出力する画像が多様に変化する。表示部１４は、画像生成部が生成した画像を表示する。
【選択図】図１

Description

多様な画像を表示する画像表示装置、多様な画像を生成する画像生成方法に関する。

パーソナルコンピュータのスクリーンセーバは、画面の焼き付けを防止するソフトウェアであるが、幾何学模様、文字、イメージなどの表示パターンを変更し、エンターテインメント性を向上させている。また、近年、熱帯魚や星空など観賞用の画像を表示する装置が存在し、インテリアとして活用されている。

スクリーンセーバは、予め決められたイメージを単純な法則に従って変形、移動させている。そのため、画像の変化が単調であり、長時間の観賞に耐えうるものではない。また観賞用の画像を表示する装置は、予め記録媒体に記録している画像を高画質の画像表示装置に表示したものである。そのため、画面の変化のバリエーションが少なく予め決められた画像しか表示することができない。

さらに、近年、音楽を入力し、音量や音程の変化に応じて画像を変換する装置がある。この装置は、関節物体の動作を記録する動作データベースと、音楽の音程を検出する音程検出部、音楽の音量を検出する音量検出部と、動作データベースから動作データを取り出して動作を生成する動作生成部とを備え、音量や音程に合わせて関節物体の関節を動かし音楽に同期した画像を生成する（例えば、特許文献１参照。）。

また、ユーザの生体情報を測定する生体情報測定部を備え、生体情報の測定結果に基づいて仮想ペットの成長シナリオを選択する仮想ペットの飼育装置が存在する（例えば、特許文献２参照。）。この装置では、仮想ペットの成長状態に応じて異なる画像が表示される。

しかしながら、特許文献１に記載の装置は、動作データベースに記録された画像を選択しているだけであるので、表示画像のパターン数が限定されてしまう。また、特許文献２に記載の発明は、ユーザの生体情報を予め用意した成長シナリオを選択するために利用しているだけであって、表示状態は成長シナリオの数に制限されている。

特開平８−２９３０３９ 特開平１１−０６５４１７

本発明は、上記課題に鑑みてなされたものであり、多様に変化する画像を表示する画像表示装置、多様に変化する画像及び／音声を生成する画像音声生成方法とを提供することを目的とする。

本発明にかかる画像表示装置によれば、取得手段が不確定に変動する不確定値を取得し、画像生成手段が不確定値を基に画像を生成し、画像生成手段が生成した画像を表示手段に表示させる。また、本発明にかかる画像表示方法によれば、不確定に変動する不確定値を取得し、不確定値を基に画像を生成し、生成した画像を表示部に表示する。

本発明によれば、生体情報や環境情報のような不確定値を基に画像を生成するため、バリエーションに富んだ画像を生成することができる。また、ネットワークを介して他のユーザから不確定値を取得することにより、さらに表示画像のバリエーションが増加する。

図１は、本発明の最も単純なモデルである。このモデルの中心である画像生成部１００は、数値の入力に対し、異なる画像を出力する。入力と出力には、所定の関連があり、入力される数値に応じて出力する画像が変化する。本発明では、画像生成部１００に入力数値として不確定値を利用している。不確定値とは、予測できない変化をする数値である。不確定値の例としては、生体情報、環境情報、為替の変動などがある。生体情報は人間の心拍数、呼吸、脈、発汗など人間の内在的な変化を定量的に示した情報であり、環境情報は天候、気圧、気温、湿度、風速、風量など環境の状態を定量的に示した情報である。

以下、本発明の具体例を図面を参照して詳細に説明する。図２は、本発明を適用した画像表示装置１の内部構成を示している。画像表示装置１は、生体情報を測定する生体センサ１０、生体センサ１０から送信される生体情報を受信する生体情報受信部１１、環境情報を測定する環境センサ１２、生体情報及び環境情報を不確定要素として画像を生成する画像生成部１３、画像生成部１３が生成した画像を表示する表示部１４、画像を記憶する画像記憶部１５、画像処理を行う画像処理部１６、画像表示装置１の統括的な制御を行うＣＰＵ１７、ＣＰＵ１７の作業領域であるＲＡＭ１９、プログラムや設定情報を記録するＲＯＭ１８がバス３０により接続されている。

生体センサ１０は、人間の体の一部や部屋の一角に設けられる。生体センサ１０には、例えば、血流計、脳波計、眼球運動センサ、心電計、振動ジャイロ、加速度センサ、筋音計、皮膚温度センサ、体動加速度センサ、皮膚導電率センサ、脈拍計などがある。血流計は、人体に赤外線を放射し、その赤外光の反射により脳内血流量や血中酸素の濃度を測定する。脳波計は、脳内を流れる電流を基にα波やβ波などの脳波を測定する。眼球運動センサは、頭部に取り付けられ頭部電圧を基に眼球の振動周波数成分を測定する。心電計は、心筋が発信する電流を基に心拍数を計測する。振動ジャイロは、角速度を基に胸部運動や呼吸数を測定する。皮膚温度センサは、体温を計測する。皮膚導電率センサは、皮膚電気抵抗を基に発汗量を測定する。

上述した生体センサ１０は、自律神経及び中枢神経に依存した内在的な変化を定量的に測定するセンサである。人体の変化は、表情や発話など、人間が意識的に外部に表出する外在的な変化がある。このような変化を測定するための生体センサ１０には、ビデオカメラ、マイクロフォン、姿勢センサ、体動センサなどがある。ビデオカメラは、カメラの視野に存在する物体を撮像する。ビデオカメラは、人間の周囲の環境や人間の表情を撮像することができる。また、マイクロフォンで人間の声を収集することができる。姿勢センサは、複数の傾斜センサから構成され、胴体や四肢の角度から人間の体位を知ることができる。

環境センサ１２は、環境情報を取得する。環境情報は、例えば、ユーザの位置、天気、気温、湿度、風速、風量、降雨量、日時、匂いなどがある。環境センサ１２には、温度計、高度計、気圧計、湿度計、ガスセンサ、ＧＰＳ（Global Positioning System）などがある。なお、天気や温度などの環境情報は、インターネットなどの通信網を介して外部から取得することができる。

画像生成部１３は、生体情報や環境情報を不確定要素として画像を生成する。画像の生成例を説明する。第１の生成例において、画像生成部１３ａは、図３（ａ）に示すように所定の関数を記憶する関数ライブラリ２０と、この関数に従い仮想座標系上に点をプロットする画像描画部２１とを備える。簡単な例を紹介する。円を描画させる関数（Ｘ^２＋Ｙ^２＝ｒ^２）のｒに生体情報もしくは環境情報を代入すると、半径が変化する円が描画される。比較的変化の激しい、心電や体動などを基に画像を描画するとアニメーションのように連続して円が収縮、拡大する画像を生成することができる。

なお、関数は、フラクタルのように複雑なものでもよいし、独自に生成したものでもよい。すなわち、ある値（生体情報、環境情報）を２次元平面や複素平面上の点に変換する関数であればよい。また、ＸＹ軸の軸変換をすることにより、画面全体を回転したり、画面を水平垂直移動することも可能である。関数の変数や画面の回転角、移動の距離など全てのパラメータに生体情報や環境情報を対応させることができる。軸数を増加し３次元画像を生成してもよい。生体情報や環境情報に応じて、円や背景の色を変化させることができる。上述した関数は、関数ライブラリ２０が記憶している。

第２の生成例は、既存の画像に画像処理を施し画像を変化させる方法である。画像生成部１３ｂは、図３（ｂ）に示すように何れの画像処理を施すかを決定する画像処理決定部２２と、画像処理決定部２２の決定結果を画像処理部１６に指示する画像処理指示部２３とを備える。従来、画像処理の方法として、画像の表示、消去、複製、拡大、縮小、回転、フェードイン、フェードアウト、ソフトフォーカスなどの様々な方法がある。画像決定部は、図３（ｃ）に示すように生体情報や環境情報などのセンサデータの入力に対して、画像の処理内容を出力する。

次いで、他の画像生成方法について説明する。この画像生成部１３ｃは、生体情報や感情情報を基に感情や体調など指標を示すの副次的なデータを算出したのち、副次的なデータを基に画像データを生成する。以下の例では、副次的なデータとして体調と天候を求め、この２つの因子を基に仮想生物（くらげ）に画像処理を施す。

実施例２における画像生成部１３ｃは、図４に示すようにユーザの体調を判断する体調判断部２４、天候を判断する天候判断部２５、体調と天候の判断結果を基に画像処理を決定する画像処理決定部２６、決定結果を画像処理部１６に通知する画像処理指示部２７とを備える。

図５は、画像生成の手順を示したフローチャートである。画像生成処理では、まず、生体センサ１０が測定した生体情報と環境センサ１２が測定した環境情報とを画像生成部１３ｃに出力する（ステップＳ１１）。体調判断部２４は、入力した生体情報を基にユーザの体調を判断する。体調判断の一例を説明する。画像生成部１３は、常時、ユーザの体温や心拍数、呼吸数を計測し、ユーザの平均体温、平均心拍数、及び平均呼吸数などを算出する。一般的にストレスを受けたり、疲れが溜まっているなど、体調が悪いと安静時の心拍数が普段より高くなり、体調が悪いときやストレスを感じたときには呼吸が浅く短くなる。体調判断部２４は、体温、心拍数、呼吸数が普段とあまり変わらない場合は、体調が良いと判断し、体温、心拍数、呼吸数が大きく変動した場合には、体調不良であると判断する。なお、体調の判断方法は、上述したものに限らず既存の他の方法を用いてもよい（ステップＳ１２）。

天候判断部２５は、気温、風速、湿度、降雨量などの環境情報から天候の良否を判断する。天候判断部２５は、人間が快適と感じる気温や湿度を記憶しており、気温や湿度がこの値を大きく外れると天候が悪いと判断する。また、天候判断部２５は、強風が吹いている場合や雨が降っているときには、天候が悪いと判断する（ステップＳ１３）。

次いで、体調と天候の２つの因子から画像を生成する方法を説明する。図６は、体調と天候と画像処理の方法との関係と示している。画像処理決定部２６は、この図に従い、体調と天候が良いときには（ステップＳ１４；ＹＥＳ、ステップＳ１５；ＹＥＳ）、画像の拡大と効果音の発音を決定し（ステップＳ１７）、体調が良く天候が悪いときには（ステップｓ１４；ＹＥＳ、ステップＳ１５；ＮＯ）、画像の拡大と効果音の消音を決定し（ステップＳ１８）、体調が悪く天候が良いときには（ステップＳ１４；ＮＯ、ステップＳ１６；ＹＥＳ）、画像の縮小と効果音の消去を決定し（ステップＳ１９）、体調と天候が悪いときには（ステップＳ１４；ＮＯ、ステップＳ１６；ＮＯ）、画像の縮小と画像の上下反転と効果音の消音を決定する（ステップＳ２０）。図６の縦軸と横軸の交点は、平均的な体調及び平均的な天候を示しており、この交点からの変化量に応じて画像の拡大率、縮小率、効果音量など画像処理のパラメータが変化する。

画像生成部１３ｃは、画像処理決定部２６が決定した画像処理内容及びパラメータを画像処理部１６に出力する。画像処理部１６は、画像処理内容及びパラメータに従って画像の再生状態を変化させる（ステップＳ２１）。

実施例２における画像表示装置１は、体調という副次的なデータを基に画像を変化し、意味のある画像を提供する。なお、副次的なデータは、体調に限らず、感情、情動、興奮度、運動量などのその他のデータでもよい。また、画像処理方法も限定されるわけではない。例えば、体調の良いときには、画像の数を増やしたり、画像の動きを活発にしてもよい。

実施例３は、実施例１及び実施例２で紹介した画像表示装置がネットワークに接続された例を紹介する。図７に示す概念図では、画像表示装置１Ａと画像表示装置１Ｂとがインターネットに接続されており、画像表示装置１Ｃがプライベートネットワークを介してインターネットに接続されている。このように画像表示装置をネットワークに接続すると、他のネットワークから画像やセンサデータを入力することができる。図８（ａ）は、画像表示装置１Ｂが画像表示装置１Ａから受信した画像２Ａを表示したときの画面例を示している。

また、画像の代わりに生体情報や環境情報などのセンサデータを送信してもよい。図８（ｂ）では、画像表示装置１Ｂが入力したセンサデータを基に異なる仮想生物（熱帯魚）３Ａを生成したときの画面例を示している。さらに、ネットワークを介して外部から受信したデータのみを表示することができる。図８（ｃ）は、画像表示装置１Ｂが画像表示装置１Ａから受信した画像４Ａを表示したときの画面例である。

実施例４は、実施例３で紹介した画像表示装置が他の画像表示装置から受信した生体情報を組み合わせて新しい画像を生成する例である。この例において生体情報生成部１３ｄは、図９（ａ）に示すようにプロパティを記憶するプロパティ記憶部２８と、プロパティの値を更新するプロパティ更新部２９を有する。プロパティとは、仮想生物（くらげ）の特徴を示すデータであり、図９（ｂ）に示すようにくらげの種類、くらげの色、くらげの足の本数、くらげの足の長さ、くらげの頭の大きさ、くらげの移動速度、くらげの移動方向などがある。各プロパティには、ユーザＩＤ及び生体情報及び環境情報の種類を示すコードとが付けられている。

プロパティ更新部２９は、生体情報や環境情報に基づく値をプロパティに割り当てている。図９（ａ）では、ユーザＡの血圧をくらげの足の長さに割り当てる。なお、血圧は、９０〜２００ｍｍＨｇ程度である。くらげの足の長さは５ｃｍ程でよいので、プロパティ更新部２９は、血圧を足の長さに近づける補正を行う。

図９（ｃ）はユーザＡとユーザＢとの２人のユーザの生体情報及び環境情報を掛け合わせて子くらげの画像を生成した例である。図９（ｃ）では、ユーザＡとユーザＢの生体情報及び環境情報を基に４匹の子くらげ５ａ〜５ｄの画像を生成している。そして、親くらげ５Ａ，５Ｂと子くらげ５ａ〜５ｄとを同じ画面に表示している。このように、２人以上のユーザの生体情報及び環境情報を組み合わせると、多数の画像を生成することができる。

なお、実施例４は、２人以上のユーザの生体情報及び環境情報を組み合わせて、画像生成のための新しいパラメータを生成する例を示したものである。そのため、パラメータの生成方法は、特に限定せず、子くらげのプロパティには生体情報及び環境情報の平均値を割り当ててもよい。プロパティの種類も特に限定しない。仮想生物は、くらげに限定されるものではない。また、生成した値を実施例１で示した関数の引数としてもよい。

本発明の概念を示す図である。 本発明を適用した画像表示装置の構成を示すブロック図である。 実施例１における画像生成部の内部構成を示すブロック図である。 実施例２における画像生成部の内部構成を示すブロック図である。 実施例２における画像生成処理の手順を示すフローチャートである。 画像処理内容を決定するための規則を示す概念図である。 実施例３における画像生成装置の接続を示す概念図である。 実施例３における表示画面例である。 実施例４における画像生成部の内部構成を示すブロック図である。

符号の説明

１００ 画像生成部、１ 画像生成装置、１０ 生体センサ、１１ 生体情報受信部、１２ 環境センサ、１３ 画像生成部、１４ 表示部、１５ 画像記憶部、１６ 画像処理部、２０ 関数ライブラリ、２１ 画像描画部、２２ 画像処理決定部、２３ 画像処理指示部、２４ 体調判断部、２５ 天候判断部、２６ 画像処理判断部、２７ 画像処理指示部、２８ プロパティ記憶部、２９ プロパティ更新部

Claims (15)

1. 不確定に変動する不確定値を取得する取得手段と、
   上記不確定値を基に画像を生成する画像生成手段と、
   上記生成された画像を表示する表示手段と、
   を備えることを特徴とする画像表示装置。
2. 上記取得手段は、不確定値として生体情報を測定する生体情報測定手段を含むことを特徴とする請求項１記載の画像表示装置。
3. 上記取得手段は、不確定値として環境情報を測定する環境情報測定手段を含むことを特徴とする請求項１記載の画像表示装置。
4. 上記取得手段は、外部ネットワークを介して不確定値を受信する受信手段を含むことを特徴とする請求項１記載の画像表示装置。
5. 上記画像生成手段は、上記取得手段が取得した不確定値を引数として仮想座標系上に像を描くことを特徴とする請求項１記載の画像表示装置。
6. 画像を記憶する画像記憶手段を備え、
   上記画像生成手段は、上記不確定値を基に上記画像記憶手段が記憶する画像に施す画像処理を決定し、上記決定結果に基づいて当該画像に画像処理を施すことを特徴とする請求項１記載の画像表示装置。
7. 上記画像生成手段は、上記不確定値を基にある指標を示す副次的なデータを求め、上記副次データを基に画像を生成することを特徴とする請求項１記載の画像表示装置。
8. 上記画像生成手段が生成した画像に適した音声を生成する音声生成手段と、
   上記音声を出力する音声出力手段と
   を備えることを特徴とする請求項１記載の画像表示装置。
9. 不確定に変動する不確定値を取得する取得工程と、
   上記不確定値を基に画像を生成する画像生成工程と、
   上記生成された画像を表示手段に表示する表示工程と
   を備えることを特徴とする画像表示方法。
10. 上記取得工程では、不確定値として生体情報を測定することを特徴とする請求項９記載の画像表示方法。
11. 上記取得工程では、不確定値として環境情報を測定することを特徴とする請求項９記載の画像表示方法。
12. 上記取得工程では、外部ネットワークを介して不確定値を受信することを特徴とする請求項９記載の画像表示方法。
13. 上記画像生成工程では、上記取得手段が取得した不確定値を引数として仮想座標系上に像を描くことを特徴とする請求項９記載の画像表示方法。
14. 上記画像生成工程では、上記不確定値を基にある指標を示す副次的なデータを求め、この副次データを基に画像を生成することを特徴とする請求項９記載の画像表示方法。
15. 上記画像生成工程において生成した画像に適した音声を生成する音声生成工程と、
    上記音声を出力する音声出力工程と
    を備えることを特徴とする請求項９記載の画像表示方法。
    

Images