JP2006302033A - 映像生成方法、スタンドアロン型映像再生装置及びネットワーク配信型映像再生システム - Google Patents

映像生成方法、スタンドアロン型映像再生装置及びネットワーク配信型映像再生システム Download PDF

Info

Publication number
JP2006302033A
JP2006302033A JP2005123973A JP2005123973A JP2006302033A JP 2006302033 A JP2006302033 A JP 2006302033A JP 2005123973 A JP2005123973 A JP 2005123973A JP 2005123973 A JP2005123973 A JP 2005123973A JP 2006302033 A JP2006302033 A JP 2006302033A
Authority
JP
Japan
Prior art keywords
video
sound
information
basic information
chaos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005123973A
Other languages
English (en)
Other versions
JP4580812B2 (ja
Inventor
Hidenori Ito
英則 伊藤
Takeshi Nakamura
剛士 中村
Motonori Sakashita
元規 坂下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ito Hidenori
Original Assignee
Ito Hidenori
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ito Hidenori filed Critical Ito Hidenori
Priority to JP2005123973A priority Critical patent/JP4580812B2/ja
Publication of JP2006302033A publication Critical patent/JP2006302033A/ja
Application granted granted Critical
Publication of JP4580812B2 publication Critical patent/JP4580812B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】カオス性を有する基礎情報を用い新規な興趣を有する映像表現を実現する映像の生成方法を提供する。
【解決手段】カオス性を有する基礎情報を数値演算可能な演算データに変換する基礎情報変換ステップと、カオスアトラクタを算出するカオスアトラクタ算出ステップと、ポアンカレ切断面で切断するポアンカレ切断面構成ステップと、基準点を設定する基準点設定ステップとを含み、カオス特性空間を生成するカオス特性空間生成ステップと、所定のサウンド生成ルールに従いサウンドファイルを生成するサウンド生成ステップとを有し、前記の少なくとも一以上のステップから調製される演算データ、カオス特性空間、サウンドファイルの各々を映像要素情報として利用し、所定の映像生成ルールに従い映像ファイルを生成する形態生成ステップとを備える。
【選択図】図1

Description

本発明は、カオス性を有する基礎情報を用いることにより映像を生成する映像生成方法、及び当該生成映像を再生するスタンドアロン型映像再生装置、並びに当該生成映像を配信して再生するネットワーク配信型映像再生システムに関する。
一般的に、人体が「癒し」を感受する方法として、例えばヒーリングミュージック等の音楽(癒しの音楽)の再生、演奏がある。このようなヒーリングミュージックとは、作曲者、編曲者等により、傾聴者の脳波内におけるα波の出現頻度が意図的に高められている音楽である。あるいは、1/f揺らぎ等が組み込まれた自然音をそのまま録音したヒーリングサウンド等もある。傾聴者はヒーリングミュージックを傾聴することにより、傾聴者はストレスの低減を得やすくなり、リラクゼーションにより傾聴者の体調(心理状態、生理状態等)が変化する場合もある。
前記のヒーリングミュージックでは傾聴者にサウンドの情報を一方向から提供することのみに留まっていた。その一方、カオス性を有する基礎情報、特には人体の生体信号に着目することにより、被験者個人毎の体調(心理状態、生理状態等)を把握する手法も進展している。そこで、前記の生体信号に対し、カオス理論を用いて非線形処理を施す方法(カオス解析)が提案されている(例えば特許文献1,特許文献2参照)。同特許文献1のカオス解析において、脈波、心拍信号等はカオス性を有するという知見が利用されている。ちなみに、あるデータがカオス性を有するとは、非整数のフラクタル次元をもつこと、最大リアプノフ数が正であること等の条件が―般に用いられている。同様の手法を用い、睡眠移行シグナルを検出する生体評価システムも提案されている(例えば特許文献3参照)。
前記の特許文献1ないし3等で提案された手法は、カオス解析に基づく個人毎の体調(心理状態、生理状態等)の把握に留まっていた。そのため、カオス解析を用いた利用分野は限定的であった。
上記の経緯から、発明者らは、カオス解析を応用した利用の途を開くべく、被験者の生体信号についてカオス解析を行い、当該解析により取得された情報に基づいてサウンドを生成する方法に至った(特許文献4参照)。同特許文献4におけるサウンド生成方法を利用することにより、被験者自身の生体信号と連動したサウンドの生成が可能となり、被験者は従前にない新規なサウンドの興趣を得ることができる。また、同特許文献4のサウンド生成方法により得られたサウンドは種々のデータに変換することができる。このようなことから、発明者らは、携帯型の再生装置(スタンドアロン型サウンド再生装置)あるいはインターネット等の電気通信回線を経由した供給(ネットワーク配信型サウンド生成システム)を構築し提唱している。
ところで、人体が外部環境の刺激を感受する際、視覚を通じて得る情報量は、全刺激の7割に及ぶとされている。すなわち、視覚を介して、あるいは視覚と聴覚の両方を介して人体に映像,サウンド等の好適な刺激を生成して与えることが可能となるならば、従前のサウンド単独の場合にも増して、新規な興趣を得ることが予想される。
特公平6−9546号公報 特開2002−17687号公報 特開2004−344612号公報 国際公開 WO 2004/054649
その後、発明者らは、カオス解析の発展的利用の途を開くべく、鋭意研究を重ねた結果、カオス性を有する基礎情報に基づいたサウンドと併せて、当該基礎情報に基づいた映像を生成する方法の完成に至った。
本発明は前記の点に鑑みなされたものであり、カオス性を有する基礎情報を用い新規な興趣を有する映像表現を実現する映像の生成方法を提供し、かつ当該映像を再生するスタンドアロン型映像再生装置、並びに生成した映像のネットワーク配信型映像再生システムを提供する。
すなわち、請求項1の発明は、基礎情報変換手段によりカオス性を有する基礎情報を数値演算可能な演算データに変換する基礎情報変換ステップと、前記基礎情報変換ステップにて変換したデータに基づいてカオスアトラクタを算出するカオスアトラクタ算出ステップと、前記算出されたカオスアトラクタをポアンカレ切断面で切断するポアンカレ切断面構成ステップと、前記ポアンカレ切断面構成ステップにて切断された平面上に基準点を設定する基準点設定ステップとを含み、カオス特性空間生成手段によりカオス特性空間を生成するカオス特性空間生成ステップと、サウンド生成手段により前記カオス特性空間生成ステップにて生成したカオス特性空間にあるデータから所定のサウンド生成ルールに従いサウンドファイルを生成するサウンド生成ステップとを有し、映像生成手段により、前記基礎情報変換ステップ、前記カオス特性空間生成ステップ、前記サウンド生成ステップの少なくとも一以上のステップから調製される前記演算データ、前記カオス特性空間、前記サウンドファイルの各々を映像要素情報として利用し、所定の映像生成ルールに従い前記各映像要素情報に基づいて映像ファイルを生成する映像生成ステップと、を備えることを特徴とする映像生成方法に係る。
請求項2の発明は、前記映像要素情報が、少なくとも形状情報、色彩情報、エフェクト情報を含む請求項1に記載の映像生成方法に係る。
請求項3の発明は、前記カオス性を有する基礎情報が情報提供者個人の時系列的な生体信号であって、前記基礎情報変換ステップが、生体信号測定手段により生体信号を測定する生体信号測定ステップを含む請求項1に記載の映像生成方法に係る。
請求項4の発明は、請求項2に記載の映像生成方法を実行する演算実行手段と、カオス性を有する基礎情報を取得する情報取得手段と、生成されたサウンドファイルからサウンドを再生するサウンド再生手段と、生成された映像ファイルから映像を再生する映像再生手段と、を備えることを特徴とするスタンドアロン型映像再生装置に係る。
請求項5の発明は、請求項3に記載の映像生成方法を実行する演算実行手段と、カオス性を有する基礎情報を取得する情報取得手段と、生成されたサウンドファイルからサウンドを再生するサウンド再生手段と、生成された映像ファイルから映像を再生する映像再生手段と、を備えることを特徴とするスタンドアロン型映像再生装置に係る。
請求項6の発明は、前記カオス性を有する基礎情報が情報提供者個人の時系列的な生体信号であって、当該生体信号を取得する信号取得手段を備える請求項4に記載のスタンドアロン型映像再生装置に係る。
請求項7の発明は、生体信号を取得する信号取得手段を備える請求項5に記載のスタンドアロン型映像再生装置に係る。
請求項8の発明は、請求項2に記載の映像生成方法を実行するサーバコンピュータと、カオス性を有する基礎情報を取得する情報取得手段と、生成されたサウンドファイルからサウンドを再生するサウンド再生手段と、生成された映像ファイルから映像を再生する映像再生手段とを備える利用者端末と、前記サーバコンピュータと前記利用者端末とを接続するネットワークシステムと、を備えることを特徴とするネットワーク配信型映像再生システムに係る。
請求項9の発明は、請求項3に記載の映像生成方法を実行するサーバコンピュータと、カオス性を有する基礎情報を取得する情報取得手段と、生成されたサウンドファイルからサウンドを再生するサウンド再生手段と、生成された映像ファイルから映像を再生する映像再生手段とを備える利用者端末と、前記サーバコンピュータと前記利用者端末とを接続するネットワークシステムと、を備えることを特徴とするネットワーク配信型映像再生システムに係る。
請求項10の発明は、前記カオス性を有する基礎情報が情報提供者個人の時系列的な生体信号であって、当該生体信号を取得する信号取得手段を前記利用者端末に備える請求項8に記載のネットワーク配信型映像再生システムに係る。
請求項11の発明は、生体信号を取得する信号取得手段を前記利用者端末に備える請求項9に記載のネットワーク配信型映像再生システムに係る。
当該映像生成方法によると、カオス性を有する基礎情報を数値演算可能な演算データに変換する基礎情報変換ステップと、カオスアトラクタを算出するカオスアトラクタ算出ステップとポアンカレ切断面構成ステップ基準点設定ステップとを含み、カオス特性空間を生成するカオス特性空間生成ステップと、カオス特性空間にあるデータから所定のサウンド生成ルールに従いサウンドファイルを生成するサウンド生成ステップとを有し、前記の少なくとも一以上のステップから調製される演算データ、カオス特性空間、サウンドファイルの各々を映像要素情報として利用し、所定の映像生成ルールに従い各映像要素情報に基づいて映像ファイルを生成する映像生成ステップとを備えるため、諸現象から抽出される基礎情報と映像との組み合わせが可能となる。
そのため、カオス性等を有する諸現象を把握する際に、数値データの集合のみでしか確認できなかったものから、具体的に可視化した新規の興趣ある映像を得ることができ、利用者は直感的に、あるいは感性を用いて諸現象の変遷を理解することができる。
加えて、前記映像要素情報が、少なくとも形状情報、色彩情報、エフェクト情報を含むため、映像を構成する要件を具備し、映像としての完成度を高めることができる。
また、前記カオス性を有する基礎情報が情報提供者個人の時系列的な生体信号であるため、各個人の生体信号に応じた映像を生成することができる。併せて、前記基礎情報変換ステップが、生体信号測定手段により生体信号を測定する生体信号測定ステップを含むため、各個人の生体信号の取得が容易となる。
このスタンドアロン型映像再生装置によると、前記の映像生成方法を実行する演算実行手段と、カオス性を有する基礎情報を取得する情報取得手段と、生成されたサウンドファイルからサウンドを再生するサウンド再生手段と、生成された映像ファイルから映像を再生する映像再生手段とを備えるため、再生装置単独での利用が可能となる。
とりわけ、前記カオス性を有する基礎情報が情報提供者個人の時系列的な生体信号であるため、各個人の生体信号に応じた映像を生成することができる。併せて、前記基礎情報変換ステップが、生体信号測定手段により生体信号を測定する生体信号測定ステップを含むため、情報提供者個人毎に個別の生体信号の取得が容易となる。
このネットワーク配信型映像再生システムによると、前記の映像生成方法を実行するサーバコンピュータと、カオス性を有する基礎情報を取得する情報取得手段と、生成されたサウンドファイルからサウンドを再生するサウンド再生手段と、生成された映像ファイルから映像を再生する映像再生手段とを備える利用者端末と、前記サーバコンピュータと前記利用者端末とを接続するネットワークシステムとを備えるため、ネットワークを介した映像の再生、取得が可能となる。
特に、前記カオス性を有する基礎情報が情報提供者個人の時系列的な生体信号であるため、各個人の生体信号に応じた映像を生成することができる。併せて、前記基礎情報変換ステップが、生体信号測定手段により生体信号を測定する生体信号測定ステップを含むため、ネットワークを介して情報提供者個人毎に個別の生体信号の取得が容易となる。
以下添付の図面に従って本発明を説明する。図1は本発明の映像生成方法の一実施例を示す全体概念図、図2はスタンドアロン型映像再生装置の概略構成図、図3はネットワーク配信型映像再生システムの概略構成図、図4は測定した指尖容積脈波のグラフ、図5は図4のグラフより算出したカオスアトラクタの3次元グラフ、図6は切断面にプロットされるベクトルを示す概念図、図7は映像生成方法の他の実施例を示す全体概念図、図8は測定した指尖容積脈波のスケーリング変換を示すグラフ、図9は図8のスケーリング変換に対応するアトラクタの3次元グラフ、図10は測定した指尖容積脈波のグラフから直接フラクタル特徴を抽出する概念図である。
はじめに、カオス性とは、決定論的な方程式に従う系であっても周期性や概周期性をもたず、一見不規則な挙動を示す性質をいう。換言すると、法則自体は因果律に従っているにも関わらず、結果の予測が確率で捕捉できず不確定になる現象である。また、フラクタル性とは、自己相似性とも言われる。或るカオス性を有する系の中に相似するカオス性が次々と見られる場合、これは多段性カオスとなり、フラクタル性の一つの表現系と言うことができる。
本発明の映像生成方法は、後述する図3に示すようなスタンドアロン型映像再生装置10、いわゆる独立した端末により実行され、当該端末に再生映像が表示される。あるいは、本発明の映像生成方法は、図4に示すようなネットワーク配信型映像再生システム100を用いてネットワーク配信により実行され、再生映像のデータが配信され各利用者の端末にて再生映像が表示される。
図1の全体概念図から理解されるように、この映像生成方法は、映像のもととなるカオス性を有する基礎情報BIを基礎情報変換手段により数値演算可能な演算データに変換する基礎情報変換ステップ(S10)と、カオス特性空間生成手段によりカオス特性空間を生成するカオス空間生成ステップ(S20)と、サウンド生成手段によりサウンド生成ルールR1に従いサウンドファイルを生成するサウンド生成ステップ(S30)とを有する。
さらに、この映像生成方法は、映像生成手段により、前記のステップ(S10,S20,S30)の少なくとも一以上のステップから調製される演算データ、カオス特性空間、サウンドファイルの各々を映像要素情報Ei1,Ei2,Ei3として利用し、映像生成ルールR2に従い各映像要素情報Ei1,Ei2,Ei3に基づいて映像ファイルAFを生成する形態生成ステップ(S40)を備える。図示の符号Dは、再生出力・記憶保存部である。
前記の基礎情報変換手段、カオス特性空間生成手段、サウンド生成手段、映像生成手段については、後のスタンドアロン型映像再生装置10、ネットワーク配信型映像再生システム100の説明に委ねる。以下、図中の構成について個別に説明する。
〈カオス性を有する基礎情報〉
カオス性を有する基礎情報BIとは、広義に生物及び気象等に由来して実測される信号である。この例として次述の生体信号の他、自然界で発生する情報、例えば、川のせせらぎ、滝壺の轟音、風の音等の実測した音データ、風の強さや方向、海流・波の強さ方向の測定データ、地震計で計測された振動データ、恒星の輝き等の自然界の諸現象から取得可能な時系列で変化するデータを挙げることができる。
特に、カオス性を有する基礎情報BIは、情報提供者個人の時系列的な生体信号である。この生体信号とは、身体から測定可能な信号であり、時系列で変化する信号である。例えば、脳波、脈拍を測定して得られた脈波、心臓の拍動に伴う活動電位の時間的変化である心電、筋肉の収縮に伴う電位の時間的変化である筋電、口・鼻からはき出す息(または吸気)の圧力や流量、体温の変化、血流量の変化等を例示することができる。また、生体信号として列記の身体の信号に加え、植物の体温変化(特開2004−174036参照)を用いる他、微生物の挙動(膜電位の変化)等も含めることができる。実施例においては、ヒトの指尖容積脈波が採用されている。
〈基礎情報変換ステップ〉
基礎情報変換ステップ(S10)では、カオス性を有する基礎情報BIは、適宜の集音機、温度計、流量計等により取得される。基礎情報変換ステップ(S10)には、生体信号測定手段により生体信号を測定する生体信号測定ステップ(S11)が含められる。基礎情報が情報提供者個人の時系列的な生体信号である場合、公知の脈波計、心電計、血流計、吸気量計、体温計等により生体信号は取得される。実施例においては、指尖容積脈波検出センサ(図示せず)が採用されている。
取得されたカオス性を有する基礎情報BI(生体信号)は、一次元の数値演算可能な演算データに変換される。なお、基礎情報変換ステップ(S10)にて調製される演算データは、映像要素情報Ei1として以降の映像生成ステップ(S40)においても必要により利用される。
〈カオス特性空間生成ステップ〉
カオス特性空間生成ステップ(S20)には、前記S10の基礎情報変換ステップにて変換、調製されたデータ(演算データ:映像要素情報Ei1)に基づいてカオスアトラクタ(図5参照)を算出するカオスアトラクタ算出ステップ(S21)と、当該算出されたカオスアトラクタをポアンカレ切断面で切断するポアンカレ切断面構成ステップ(S22)と、S22のポアンカレ切断面構成ステップにて切断された平面上に基準点を設定する基準点設定ステップ(S23)が含められている。
カオスアトラクタ算出ステップ(S21)においては、1次元の観測時系列からm次元の遅延座標系への変換が行われる。
これを具体的に述べると、カオス性を有する基礎情報BIの時系列の生体信号として指尖容積脈波を用いた場合、例えば図4のグラフとして示すことができる。測定された生体信号(指尖容積脈波)は、1次元離散時系列の時系列データ(前記の演算データに相当する。)とみなされ、x(t)と表現される。通常、カオスアトラクタの構築手法として遅延座標系が用いられる。すなわち、時系列x(t)に対し、遅延時間τを伴ったm個の状態変数を成分とするベクトルが用いられ、m次元力学系のアトラクタ軌道が再構築される。この際、Takensの埋め込み定理を用いることにより、1次元の観測時系列からm次元の遅延座標系への変換が行われる。時刻tにおけるアトラクタ軌道V(t)は下記数1となる。
Figure 2006302033
図5は、図4の指尖容積脈波グラフに基づき、遅延時間τを0.1秒、埋め込み次元mを3次元として設定することによって得たカオスアトラクタの3次元グラフである。こうして得られたカオスアトラクタが確かにカオス特徴を有するか否かについて、好適な算定方法により得られた最大リアプノフ数が正となることを一つの指標としている。なお、カオスアトラクタは3次元に限られることはなく、2次元とすることも、また4次元以上とすることもできる。1次元の観測時系列から高次元化するには、前記のTakensの埋め込み定理の他、Roessler方程式等の適宜手法を用いることも可能である。
次に、ポアンカレ切断面構成ステップ(S22)では、ポアンカレ写像を用いてカオスアトラクタにおけるカオス周期の微小な「ずれ」が計算される。
上記カオス周期のずれの計算によると、カオスアトラクタは任意の切断面(ポアンカレ切断面)により切断され、その切断面上にプロットされる(m−1)次元の点p(i)が求められる。i=0,…,nであり、iはカオスアトラクタと切断面の交点における時間推移的な順番である。切断面上の点p(i)から再び切断面上に戻ってくるまでの時間をγ(p(i))とすると、ポアンカレ写像ψにより下記数2のとおり表現される。
Figure 2006302033
続く基準点設定ステップ(S23)では、切断面上の基準点と各点とのベクトルの差が算出される。
図6の概念図に示すように、カオスアトラクタの切断面Cp上(ポアンカレ切断面上)に、カオス周期における微小な「ずれ」は点列(p(i))として構成される。ここで、切断面上の任意の位置に基準点(O)を設定すると、点列(p(i))の位置ベクトル(p(i)→)と基準点(O)の位置ベクトル(O→)との差であるベクトル(P(i)→)が算出される(数3参照)。なお、i=1,2,3,4,5として概略表記した。
Figure 2006302033
S20のカオス特性空間生成ステップを経て調製されるカオス特性空間データ(ベクトル(P(i)→))は、映像要素情報Ei2として以降の映像生成ステップ(S40)においても必要により利用される。
〈サウンド生成ステップ〉
サウンド生成ステップ(S30)においては、S20のカオス特性空間生成ステップにて調製されたデータ(カオス特性空間データ:映像要素情報Ei2)である前記のベクトル(P(i)→)とサウンド生成ルールR1が、サウンド生成ルール適用ステップ(S31)にて組み合わされる。結果、ベクトル(P(i)→)に応じたサウンドが生成される。
サウンド生成では、高さn、長さs、強さvから構成されるサウンドの最小単位(音素)が決定される。m次元のカオスアトラクタから生成されるサウンドは、少なくともm音の和音の系列として構成される。サウンド生成ルールR1の一例として、数4ないし数9の変換式を用い、ポアンカレ切断面Cp上の点列(p(i))の(m−1)次元のべクトル(P(i)→)は変換される。
Figure 2006302033
Figure 2006302033
Figure 2006302033
Figure 2006302033
Figure 2006302033
Figure 2006302033
前掲の変換式において、Sk(i)はチャンネルkにおけるi番目の音素である。m(a,b)は音階要素を示し、aはオクターブ高、bは12平均律音階番号である。rは選択された音階における音の数(オクターブ幅)である。Pk(i)はべクトル(P(i)→)におけるk番目の要素値を表し、modは剰余演算を表す。
サウンド生成ルールは、上記の生成ルールR1以外の生成ルールを適用することも当然可能である。例えば、現時点と直前の点から得られる2つのべクトル(P(i−1)→)と(P(i)→)との偏角等について、ポアンカレ切断面上の交点や基準点から求めることができる。このようにベクトルに着目してその長さ、角度等の任意の要素を用いることができる。また、これらの要素を用いて、演奏楽器(音色)の種類、コード進行、ビブラート、ポルタメント(グリッサンド)及びエコー、速度等の演奏効果を決定することにより、個人の嗜好に適合したサウンドが生成される。
S30のサウンド生成ステップを経て調製されるサウンドファイルは、映像要素情報Ei3として以降の映像生成ステップ(S40)において必要により利用される。
前記のサウンドファイルとは、サウンドとして再生可能なデータである。特にその形式を問わない。この例として、音声信号をPCM(Pu1se Code Modulation)等でサンプリングした形式や、音の周波数や長さを所定の形式で列挙する形式などを挙げることができる。具体的には、スタンダードMIDIフォーマットファイル(MIDIファイル、SMFファイルとも言う。)やPCM等の形式でサンプリングしてファイル化した(WAVEファイル)等を挙げることができる。なお、実施例では、サウンドファイルとしてMIDIファイルの形式が用いられる。
〈映像生成ステップ〉
映像生成ステップ(S40)においては、既述のS10,S20,S30のステップから調製される各々の映像要素情報(前記の演算データ,カオス空間特性データ,サウンドファイル)Ei1,Ei2,Ei3のうち、少なくとも一以上の映像要素情報が集約される。そして、当該集約された映像要素情報と映像生成ルールR2が、映像生成ルール適用ステップ(S41)にて組み合わされる。この結果、カオス性を有する基礎情報(生体信号)に基づく映像ファイルAFが生成される。
映像とは、アニメーション等の動画を意味するものであり、通常、1秒当たり10〜100枚のこま撮りの画面(静止画)の連続として構成される。ただし、必ずしもこのような動画に限定されることはなく、場面毎の随時切り換わる切り換え表示等であっても良い。
また、映像ファイルAFとは、アニメーション等の動画として再生可能なデータである。映像ファイルのファイル形式としては、AVI、MPEG1、MPEG2、MPEG4、MPEG7等が例示される。
ここで、映像を構成する要素について分解するならば、おおよそ、映像中の場面に現れる形状(shapes)、場面に現れる色彩(colors)、場面に施される演出上の効果(effects)の3種類に大別することができる。そして、映像であるためには、これらのうち少なくとも一種以上を有することが必要とされる。
従って、映像生成ステップ(S40)に集約される映像要素情報(前記の演算データ,カオス空間特性データ,サウンドファイル)Ei1,Ei2,Ei3は、少なくとも形状情報、色彩情報、エフェクト情報を包含していることが望ましい。これらを備えることにより、映像としての完成度を充実させることができる。
各映像要素情報について以下のとおり規定される。形状情報とは、映像中の場面に表現すべき形状に関する情報である。色彩情報とは、映像中の場面に表現すべき色彩に関する情報である。エフェクト情報とは、映像中の場面に表現すべき視覚効果の演出に関する情報である。ちなみに、形状情報のみから映像を生成する場合、例えばモノクローム画像の線画等を用いた動画映像となる。色彩情報のみから映像を生成する場合、例えば画面上に種々の色が現れて変化する動画映像となる。エフェクト情報のみから映像を生成する場合、例えば画面上の図形に揺らぎや回転等を生じさせる他、再生速度の変動を伴う等の動画映像となる。
上記のとおり、形状情報、色彩情報、エフェクト情報のそれぞれを単独で用いることも可能であるが、いずれか2種類、さらには3種類全てを用いることにより、多様性に富む優れた映像表現を得ることができる。
前記の映像生成ルールR2は、映像の種類に応じて適宜に設定変更可能である。例えば、後述する実施例に示すように、映像がオーロラである場合、映像要素情報Ei1(演算データ)に形状情報としてオーロラの形状が適用される。そこで一次元の演算データからオーロラの形状が規定される。一方、映像が水面である場合、映像要素情報Ei1(演算データ)にエフェクト情報として水面のきらめきが適用され、映像要素情報Ei3(サウンドファイル)に形状情報として水面の基本形状が適用される。このように、演算データ,カオス空間特性データ,サウンドファイルのいずれが形状情報、色彩情報、エフェクト情報と対応するかは、映像に応じて自由に設定される。当然ながら、形状情報、色彩情報、エフェクト情報は、後述の実施例に例示する適用例に限られることはなく、所望の映像に応じて適宜である。
前記のステップにおける調製により得られたサウンドファイルEi3、映像ファイルAFは、データとして再生出力・記憶保存部Dに送信(転送)されて、映像の再生、音と映像の同期再生が行われる。あるいはサウンドファイルEi3、映像ファイルAFは、データとして再生出力・記憶保存部D内に記憶保存される。
カオス性を有する基礎情報と並びフラクタル性を有する基礎情報も利用可能である。図7の全体概念図から理解されるように、この映像生成方法においても、映像のもととなるフラクタル性を有する基礎情報BIIを基礎情報変換手段により数値演算可能な演算データに変換する基礎情報変換ステップ(S10)と、フラクタル特性空間生成手段によりフラクタル特性空間を生成するフラクタル空間生成ステップ(S60)と、サウンド生成手段によりサウンド生成ルールR6に従いサウンドファイルを生成するサウンド生成ステップ(S70)とを有する。
同様に、この映像生成方法も、映像生成手段により、前記のステップ(S10,S60,S70)の少なくとも一以上のステップから調製される演算データ、フラクタル特性空間、サウンドファイルの各々を映像要素情報Ei1,Ei6,Ei7として利用し、映像生成ルールR7に従い各映像要素情報Ei1,Ei6,Ei7に基づいて映像ファイルAFを生成する形態生成ステップ(S80)を備える。図7において図1と共通する箇所は同一符号とし、その説明を省略する。
フラクタル性を有する基礎情報BIIとは、前記のカオス性を有する基礎情報BIとほぼ共通であり、自然界の諸現象から取得可能な時系列で変化するデータの他、身体から測定可能な信号である。実施例においては、ヒトの指尖容積脈波が採用されている。
基礎情報変換ステップ(S10)においても、前記のカオス性を有する基礎情報BIと同様に基礎情報、生体信号が取得され、一次元の数値演算可能な演算データ(x(t)と定義する)に変換される。なお、基礎情報変換ステップ(S10)にて調製される演算データは、映像要素情報Ei1として以降の映像生成ステップ(S80)においても必要により利用される。
フラクタル特性空間生成ステップ(S60)には、前記S10の基礎情報変換ステップにて変換、調製されたデータ(演算データ:映像要素情報Ei1)に基づいてスケーリング幅を変換するスケーリング変換ステップ(S61)と、当該スケーリング変換により得られた変換済みの基礎情報からフラクタル特徴を抽出するフラクタル特徴抽出ステップ(S62)と、スケーリング変換により得られた変換済みの基礎情報に基準点を設定する基準点設定ステップ(S63)が含められている。
スケーリング変換ステップ(S61)においては、演算データx(t)の時系列(時間軸)方向の尺度(スケール)が複数回にわたり変換される。例えば、指尖容積脈波センサにより4秒間測定された生体信号は、指尖容積脈波の演算データとして図8上段のグラフとして示される。図8上段のグラフを時系列方向に5倍伸長すると図8中段のグラフとなり、さらにこれを時系列方向に5倍伸長すると図8下段のグラフとなる。
スケーリング変換ステップ(S61)において、1次元の観測時系列からTakensの埋め込み定理を用いてm次元の遅延座標系へ変換することが行われる。前出の数1を用い、時刻tにおけるアトラクタ軌道V(t)が得られる(図9の各アトラクタ参照)。
続くフラクタル特徴抽出ステップ(S62)では、ポアンカレ写像を用いてアトラクタにおける周期の微小な「ずれ」が計算される。同ステップS62においても前記S22のポアンカレ切断面構成ステップと同様に任意の切断面(ポアンカレ切断面)により切断される。詳細については前出の数2及びその説明が参照される。
次に、基準点設定ステップ(S63)では、切断面上の基準点と各点とのベクトルの差が算出される。詳細については前出の図6及びその説明が参照される。
S60のフラクタル特性空間生成ステップを経て調製されるフラクタル特性空間データ(ベクトル等)は、映像要素情報Ei6として以降の映像生成ステップ(S80)においても必要により利用される。
サウンド生成ステップ(S70)においては、S60のフラクタル特性空間生成ステップにて調製されたデータ(フラクタル特性空間データ:映像要素情報Ei6)である前記のベクトルとサウンド生成ルールR6が、サウンド生成ルール適用ステップ(S71)にて組み合わされる。結果、ベクトルに応じたサウンド、すなわちフラクタル性を有する基礎情報に応じたサウンドが生成される。S70のサウンド生成ステップを経て調製されるサウンドファイルは、映像要素情報Ei7として以降の映像生成ステップ(S80)において必要により利用される。
映像生成ステップ(S80)においては、既述のS10,S60,S70のステップから調製される各々の映像要素情報(前記の演算データ,フラクタル空間特性データ,サウンドファイル)Ei1,Ei6,Ei7のうち、少なくとも一以上の映像要素情報が集約される。そして、当該集約された映像要素情報と映像生成ルールR8が、映像生成ルール適用ステップ(S81)にて組み合わされる。この結果、フラクタル性を有する基礎情報(生体信号)に基づく映像ファイルAFが生成される。S80の映像生成ステップの詳細は前記S40の映像生成ステップと共通するため、その説明を省略する。
上述のとおり、フラクタル特性空間を求める方法として、時系列のフラクタル性を有する基礎情報に対してスケーリング変換を繰り返し行い、個々の基礎情報毎にアトラクタを算出する方法を開示している。他に、個々の基礎情報から直接算出する方法もある。
つまり、時系列データの変化がもたらす複雑な形状を偏角の変動と捉えることができる。複数の適切なスケールで偏角の変動を観測することにより、測定された基礎情報から直接フラクタル特徴を抽出することも可能となる。
例えば、測定された指尖容積脈波に対して、図10に示すように、偏角の変動θ(t)は、範囲|ti−ti±k|にて変化させながら測定される。この手法によると、ある所定周期が形成されている基礎情報の一点にPi(ti,y(ti))が求められて基準点が設定される。当該基準点Piの前周期に当たる点Pi-k(ti-k,y(ti-k))と、次周期に当たる点Pi+k(ti+k,y(ti+k))の2点から形成される角度(図示のベクトルvi1及びvi2により形成される角度)はθ(ti)となる。
範囲|ti−ti±k|は、例えば0.5〜0.005(秒)の間で適宜変更設定される。そうすると、各々の範囲(秒)に応じて偏角の変動θ(t)が得られる。偏角の変動θ(t)を別途、映像要素情報として用い、サウンド生成ルールを適用することも可能である。
上記から理解されるように、カオス性を有する基礎情報もフラクタル性を有する基礎情報も、対象とする時系列信号である点においては共通である。説明の便宜上カオス性の映像生成方法とフラクタル性の映像生成方法の2系統に分けて述べているが、この両者を並行に、あるいは組み合わせて、同時に処理することは当然可能である。従って、映像生成ステップに集約される映像要素情報は、カオス性由来の情報のみの場合もある。また、映像要素情報は、カオス性由来、フラクタル性由来の両系統の情報となることもある。
これまでに詳述してきた映像生成方法によると、初期段階で取得されたカオス性を有する基礎情報(フラクタル性を有する基礎情報)に基づいて所望の映像を生成する方法である。そこで、随時変化する脳波、脈波、心電、筋電、血流量の変化等を別途取得し、数値データ化を行う。この数値データを前記のカオス特性空間生成ステップ(S20)あるいはフラクタル特性空間生成ステップ(S60)に反映させることにより、映像要素情報としてのカオス特性空間、フラクタル特性空間に更新がもたらされる。この結果、随時状況が変化して行く映像(映像ファイル)を得ることができる。つまり、映像生成のフィードバック更新が可能となる。
これより、本発明の映像生成方法が、スタンドアロン型映像再生装置にて実行される場合を説明する。すなわち、図2に示すように、スタンドアロン型映像再生装置10には、当該映像生成方法を実行する演算実行手段としてマイクロコンピュータ20が備えられている。また、同装置10には、カオス性(フラクタル性)を有する基礎情報を取得する情報取得手段として信号測定部11が備えられている。併せて、同装置10には、生成されたサウンドファイルからサウンドを再生(合成)するサウンド再生手段としてサウンド再生部12が備えられ、生成された映像ファイルから映像を再生(合成)する映像再生手段として映像再生部13が備えられている。ちなみに、前記の再生出力・記憶保存部Dは当該スタンドアロン型映像再生装置10に相当する。
利用者Pが自然界Nsのカオス性(フラクタル性)を有する基礎情報をこのスタンドアロン型映像再生装置10に入力しようとする場合、信号測定部11がこれらの基礎情報を取得することとなる。そのため、基礎情報が音であるときには信号測定部11は集音マイクとなる。なお、自然界Nsの基礎情報は多様であるため、図示しない信号測定部のインターフェイス(接続端子)に温度計、風速計、流速計等の各種の分析、測定機器等が接続され、基礎情報は取得される。
これに対して、カオス性を有する基礎情報(フラクタル性を有する基礎情報)が情報提供者である利用者Pの時系列的な生体信号であって、当該生体信号をこのスタンドアロン型映像再生装置10に入力しようとする場合、信号測定部11は生体信号測定部(信号取得手段)となる。そして、生体信号測定部が基礎情報(生体信号)を取得する。具体的には、信号測定部11自体が脈波計となる他、図示しない信号測定部のインターフェイス(接続端子)に脈波計、心電計、血流計、吸気量計、体温計等が接続され、基礎情報(生体信号)は取得される。
マイクロコンピュータ20内には、カオス/フラクタル特徴抽出・演算部21、サウンド生成部22、サウンド生成ルール部23、映像生成部24、映像生成ルール部25が規定されている。ここで、マイクロコンピュータ20には、公知のCPU、ROM、RAM等が実装され、演算機能が保証される。実施例では、カオス/フラクタル特徴抽出・演算部21、サウンド生成部22、映像生成部24は、マイクロコンピュータ20内のCPUに相当する。サウンド生成ルール部23、映像生成ルール部25はマイクロコンピュータ20内のROMに相当し、各種のサウンド、映像の生成に必要なルールが蓄積されている。なお、各種のルールは更新することも可能であるため、サウンド生成ルール部23、映像生成ルール部25は外部メモリーとなることもある。
サウンドファイルはサウンド再生部12に送信され、利用者Pは実際にサウンドを得ることができる。サウンド再生部12にはアンプ(増幅器)、スピーカあるいはヘッドホン等が備えられる。
映像ファイルは映像再生部13に送信され、利用者Pは実際に映像(アニメーション)を得ることができる。サウンド再生部12の形態は適宜ではあるものの、CRT、TFT−LCDモジュール(液晶表示装置)、有機ELディスプレイ、ビデオプロジェクター等の各種画像表示装置が用いられる。
次に、スタンドアロン型映像再生装置10における動作を説明する。信号測定部11にて取得されたカオス性(フラクタル性)を有する基礎情報(生体信号)は、マイクロコンピュータ20に送信される。ここで、マイクロコンピュータ20内のCPU、ROM、RAMの協動により、カオス/フラクタル特徴抽出・演算部21、サウンド生成部22、サウンド生成ルール部23を伴い、サウンドファイルが生成される。同じく、カオス/フラクタル特徴抽出・演算部21、映像生成部24、映像生成ルール部25を伴い、映像ファイルが生成される。
こうして、生成されたサウンドファイル、映像ファイルは、サウンド再生部12、映像再生部13に送信され、再生される。また、生成されたサウンドファイル、映像ファイルは、マイクロコンピュータ20内のRAMの他、図示しないフラッシュメモリー(NANDまたはNOR型等)、ハードディスクドライブ等に記憶されることもある。
図示し開示するスタンドアロン型映像再生装置10において、前出の基礎情報変換手段及び生体信号測定手段は、信号測定部11あるいはマイクロコンピュータ20に相当する。特にマイクロコンピュータ20である場合、内部のCPUとなる。
カオス特性空間生成手段は、マイクロコンピュータ20内のCPUに相当し、特にカオス/フラクタル特徴抽出・演算部21となる。
サウンド生成手段は、マイクロコンピュータ20内のCPUに相当し、特にカオス/フラクタル特徴抽出・演算部21及びサウンド生成部22となる。
映像生成手段は、マイクロコンピュータ20内のCPUに相当し、特にカオス/フラクタル特徴抽出・演算部21及び映像生成部24となる。
続いて、本発明の映像生成方法が、ネットワーク配信型映像再生システム100にて実行される場合を説明する。すなわち、図3に示すように、ネットワーク配信型映像再生システム100には、当該映像生成方法を実行する演算実行手段としてサーバコンピュータ120が備えられている。また、同システム100には、利用者端末1101,110N、並びにサーバコンピュータ120と利用者端末1101,110Nを接続するネットワークシステム105が備えられている。
このネットワーク配信型映像再生システム100は不特定多数あるいは特定の会員のみの利用(利用者1〜利用者Nの利用)を想定している。利用者P1が使用する利用者端末1101も利用者Pnが利用する利用者端末110Nも、それぞれの端末の内部にカオス性(フラクタル性)を有する基礎情報を取得する情報取得手段として信号測定部111が備えられる。併せて、それぞれの端末の内部に生成されたサウンドファイルからサウンドを再生(合成)するサウンド再生手段としてサウンド再生部112が備えられ、生成された映像ファイルから映像を再生(合成)する映像再生手段として映像再生部113が備えられている。ちなみに、前記の再生出力・記憶保存部Dは当該ネットワーク配信型映像再生システム100に相当する。
利用者Pnが自然界Nsのカオス性(フラクタル性)を有する基礎情報について利用者端末110Nを通じてネットワーク配信型映像再生システム100に入力しようとする場合、信号測定部111が基礎情報を取得することとなる。
また、カオス性を有する基礎情報(フラクタル性を有する基礎情報)が情報提供者である利用者P1の時系列的な生体信号であって、当該生体信号をこの利用者端末1101に入力しようとする場合、信号測定部11は生体信号測定部(信号取得手段)となる。そして、生体信号測定部が基礎情報(生体信号)を取得する。図示の信号測定部111の機能は、前記の信号測定部11(生体信号測定部)と同様であるため詳細を省略する。
サーバコンピュータ120内には、マイクロコンピュータ129が備えられ、同マイクロコンピュータ129内に、カオス/フラクタル特徴抽出・演算部121、サウンド生成部122、サウンド生成ルール部123、映像生成部124、映像生成ルール部125が規定されている。ここで、マイクロコンピュータ129には、公知のCPU、ROM、RAM等が実装され、演算機能が保証される。
実施例では、カオス/フラクタル特徴抽出・演算部121、サウンド生成部122、映像生成部124は、マイクロコンピュータ129内のCPUに相当する。サウンド生成ルール部123、映像生成ルール部125はマイクロコンピュータ129内のROMに相当し、各種のサウンド、映像の生成に必要なルールが蓄積されている。なお、各種のルールは更新することも可能であるため、サウンド生成ルール部123、映像生成ルール部125は外部メモリー、ハードディスクドライブ等となることもある。
次に、ネットワーク配信型映像再生システム100における動作を説明する。信号測定部111にて取得されたカオス性(フラクタル性)を有する基礎情報(生体信号)は、ネットワークシステム105を経由してサーバコンピュータ120内のマイクロコンピュータ129に送信される。ここで、マイクロコンピュータ129内のCPU、ROM、RAMの協動により、カオス/フラクタル特徴抽出・演算部121、サウンド生成部122、サウンド生成ルール部123を伴い、サウンドファイルが生成される。同じく、カオス/フラクタル特徴抽出・演算部121、映像生成部124、映像生成ルール部125を伴い、映像ファイルが生成される。
こうして、生成されたサウンドファイル、映像ファイルは、各基礎情報(生体信号)を送信した利用者端末にネットワークシステム105を経由して配信される。また、マイクロコンピュータ129内のRAMの他、図示しないフラッシュメモリー(NANDまたはNOR型等)、サーバコンピュータ内のハードディスクドライブ等の記憶装置(ストレージャー)に蓄積、記憶されることもある。
生成されたサウンドファイルはサウンド再生部112に送信され、各利用者は実際にサウンドを得ることができる。また生成された映像ファイルは映像再生部113に送信され、各利用者は実際に映像(アニメーション)を得ることができる。サウンド再生部112、映像再生部113の構成は、前記のスタンドアロン型映像再生装置にて開示したサウンド再生部12、映像再生部13と同様の構成が適用される。
前記のネットワークシステム105は、インターネット回線、携帯電話網等の電気通信回線、通信衛星を介した無線通信回線等の公知の通信網である。さらに、これには、光ファイバー網、電力線を用いた種々の形態の通信網も適用される。
図示し開示するネットワーク配信型映像再生システム100において、前出の基礎情報変換手段及び生体信号測定手段は、信号測定部111あるいはサーバコンピュータ120(マイクロコンピュータ129)に相当する。特にマイクロコンピュータ129である場合、内部のCPUとなる。
カオス特性空間生成手段は、サーバコンピュータ120(マイクロコンピュータ129)内のCPUに相当し、特にカオス/フラクタル特徴抽出・演算部121となる。
サウンド生成手段は、サーバコンピュータ120(マイクロコンピュータ129)内のCPUに相当し、特にカオス/フラクタル特徴抽出・演算部121及びサウンド生成部22となる。
映像生成手段は、サーバコンピュータ120(マイクロコンピュータ129)内のCPUに相当し、特にカオス/フラクタル特徴抽出・演算部121及び映像生成部124となる。
以上のとおり詳述した本発明の映像生成方法によると、カオス性(フラクタル性も含まれる)を有する基礎情報と、映像とを組み合わせることができる。つまり、人間の創作活動、初期値に基づくコンピュータによる数値計算等と全く異なった新規の映像生成方法を実現することができる。この結果、従前、カオス性等を有する諸現象を把握する際に、数値データの集合のみでしか確認できなかったものから、具体的に可視化した映像を得ることができる。このため、利用者は直感的(感性を用いて)に諸現象の変遷を理解することができる。さらに述べると、基礎情報の音声化を経て画像化まで実現しているため、可視化した音楽の提供と言うことができる。このため、聴覚に障害があるような場合であっても映像を介して音を楽しむことができる。
この映像生成方法をスタンドアロン型映像再生装置により実行すると、利用者は、自ら取得した自然現象並びに生体情報等の基礎情報毎に生成される映像の差を得ることができる。このスタンドアロン型映像再生装置は、専用装置とする他、携帯電話、PDA(Personal Digital Assistance)、パーソナルコンピュータ、車載誘導装置(カーナビゲーションシステム)等の機器を用いることができ、これらの機器に映像生成方法を実行するプログラム等が入力(インストール)され用いられる。すなわち、再生装置の移動、携帯等が容易となり、使用する場所の自由度が高まる。
ネットワーク配信型映像再生システムにあっては、ASP(Application Service Provider)等のシステムが用いられる。この映像生成方法をネットワーク配信型映像再生システムにより実行すると、利用者は、自ら取得した自然現象並びに生体情報に加え、サーバコンピュータ内のデータベースに蓄積された基礎情報に基づく映像を取得することも可能となる。すなわち、映像ファイルの交換等により、より多彩で興趣ある映像の取得が可能となる。
以上を勘案すると、各種の測定装置(機器)等に組み込み測定、解析に用いるほか、映像を楽しむため個別のゲーム機、オンライン上で提供されるゲーム等のアミューズメント目的にも取り入れられる。
映像生成ステップにおいて適用される映像生成ルールの具体例について、発明者らは以下の3種類の映像作成例を開示し説明する。まず、映像生成ルールの適用にあたり、以下の前提に基づき定義した。
カオス性を有する基礎情報である1次元の時系列データx(t)を用い、これを変換してz(t)=x(α・t)と定義する。ここで、0<α<1.0、t=0〜Tmaxまでの最大値max(z(t))、最小値min(z(t))とする。z(t)の概形は図11のグラフとなる。
チャネル(チャンネル)kにおけるi番目の音素Sk(i)が発音(ノートオン)する時刻をtk(i)と定義する。
チャネル総数をK個とすると共に、このK個の中から3個のチャネルを選択する。そして、3個のチャネルはSa(i),Sb(i),Sc(i)と定義する。Kが3に満たない場合にはチャネルの重複も許容する。前記のSa(i),Sb(i),Sc(i)のいずれかを示す場合にはSx(i)とする。
映像は一連のフレームをつなぎ合わせた時系列データとすることができる。そこで、時刻tのフレームをF(t)と定義することができる。すなわち、音素Sk(i)発音時のフレームは、時刻tk(i)のフレームF(tk(i))と表現することができる。フレームの総数をMと定義すると、Mはサウンド全体の長さ、あるいはフレームレートにより可変である。サウンドに同期化して再生される映像は、F(1),...,F(M)となる。
また、フレームの大きさをW(幅)×H(高さ)とする。
[映像例1:オーロラ]
オーロラの映像の生成は、図12のフローチャートに基づく。このオーロラ映像生成ルール(S200)において、まず音階と色との対応適用にて対応付けを行う(S210)。フレームF(t)の生成(S220)において、オーロラの色彩を決定し(S221)、形状を決定し(S222)、ぼかし処理を行う(S223)。時刻tにおけるフレームF(t)の生成を時刻1〜Mまで繰り返し(S230)、フレームF(t)を逐次生成して一連の映像ファイルを生成する。
音階と色との対応適用(S210)では、下記の表1の対応関係に基づいてSx(tx(i))の音階に対応した色彩値Cx(tx(i))を決定する。この対応の決定には、色彩情報として映像要素情報Ei3のサウンドファイルを用いる。サウンドファイルはMIDIファイルの形式であるため、音階と色との対応が比較的容易となる。
Figure 2006302033
オーロラの色彩の決定(S221)では、時刻tにおけるオーロラの描画色C(t)を数10より求める。ただし、ta(ia)≦t≦ta(ia+1)、tb(ib)≦t≦tb(ib+1)、tc(ic)≦t≦tc(ic+1)を満たすこととする。色彩の決定(S221)において、色彩情報として映像要素情報Ei3のサウンドファイルを用いる。
Figure 2006302033
オーロラの形状の決定(S222)では、フレーム内のオーロラの形状を定める。実施例の図13に示すように、時刻tにおけるオーロラ形状を示す図形として、曲線w=g(h,t)を規定する。当該曲線w=g(h,t)をフレームF(t−1)上に描画してF0(t)とする。このとき、前記の色彩の決定(S221)より規定された色彩により、曲線の色彩C(t)が求まる。g(h,t)>W−1の場合、w=g(h,t)−Wとして描画する。曲線w=g(h,t)は、数11のとおり示すことができる。
Figure 2006302033
ここで、時刻t0は時刻t0<tを満たし、かつ、Sa(ia),Sb(ib),Sc(ic)の全てが同時にノートオン(発音)となる時刻を示す。なお、aは時刻t0において設定される乱数であり、0<a<1.0の範囲をとる。また、T=0.1とした。形状の決定(S222)においては、数11からも理解されるように、形状情報として映像要素情報Ei1の演算データを用いる。
ぼかし処理(S223)では、オーロラの色彩にぼかしを形成して、微妙な色調を表現する。いわゆるエフェクト態様の1つである。すなわち、フレームF(t−1)上のオーロラ曲線w=g(h,t)を色彩C(t)により描画することにより得たF0(t)に対し、ぼかし処理を行いF(t)を得る。フレーム生成の流れから判るように、ぼかし処理(S223)においても、エフェクト情報として映像要素情報Ei3のサウンドファイルを用いる。
0(t)上の座標点を(w,h)とし、点(w,h)の色彩値をCF0(t)(w,h)とする。F0(t)上の全ての点(w,h)について、数12に示すとおり、(w,h−1),(w,h),(w,h+1),(w,h+2),(w,h+3),(w,h+4)の計6点の平均となる色彩を求める。この6点平均の色彩をF(t)の(w,h)座標における色彩値CF(t)(w,h)とする。
Figure 2006302033
そして、時刻tが時刻Mに達するか否か判断され(S230)、時刻tがMに至るまでフレームF(t)の生成(S220)を繰り返す。このようにしてオーロラ映像F(1)〜F(M)までを蓄積し、一連の映像ファイルAFを生成する。図14は生成されたフレーム列の一部を示す。時刻が1秒(t=1.0)から6秒(t=6.0)までのフレームを各秒毎に取り出している。オーロラの形状、色彩及びぼかし(図示では白黒印刷のため明暗として表現される。)が時間の経過と共に変化する様子を読み取ることができる。
[映像例2:樹木]
樹木の映像の生成は、図15のフローチャートに基づく。この樹木映像生成ルール(S300)において、まず樹木の形状の決定を行う(S310)。フレームF(t)の生成(S320)において、枝揺れの決定(S321)、葉のエフェクトの決定(S322)を行う。時刻tにおけるフレームF(t)の生成を時刻1〜Mまで繰り返し(S330)、フレームF(t)を逐次生成して一連の映像ファイルを生成する。
樹木の形状の決定(S310)について、図16及び図17を用い説明する。なお、以下の文中、図及び数式中において、便宜上、EnをE(n)と表記する場合もある。
1.)最初に、フレームの最下点から1本の枝E(1)を上方に描画する。このとき、フレームの最下点から枝E(1)までの長さ(枝高)をd(=1)とする(図16(a)参照)。
2.)この枝高dの加算を行う。つまり、d=d+1となる。
3.)枝高dである枝の全てに対し、その上方側の端点から左右に1本ずつ枝を描画する。そして、描画した枝をフレームの左側から順にE(2(d-1)),...,E((2d)−1)とする(図16(b)参照)。
4.)d<Dmaxならば、上記2.)及び3.)を繰り返す(図16(c)参照)。
5.)上方側の端点に枝を持たないE(2(Dmax-1)),...,E((2Dmax)−1)の枝上に、4枚ずつ葉を描画する(図16(d)参照)。
続いて、元となる枝Ekの上方側の端点を描画位置(始点)とする枝Ejについて、元となる枝Ekに対する当該枝Ejの相対角度φjを数13のとおり規定する。併せて、元となる枝Ekに対する当該枝Ejの長さλjを数14のとおり規定する。なお、Ej=E1の場合を除き、描画する枝Ejが右枝の場合、j=2kとなり、これが左枝となる場合、j=2k+1とする関係を満たす。なお、図17(a)は樹木の全体を表し、図17(b)は図17(a)のQ部分の拡大図を表す。
Figure 2006302033
Figure 2006302033
数13及び数14において、カオスアトラクタの切断面(ポアンカレ切断面)に現れる点列(p(j))の総数をNp個とする。max(‖P‖)は、‖ベクトルP(j)→‖の最大値であり、min(‖P‖)は、‖ベクトルP(j)→‖の最小値である。a,bは定数である。このように、樹木の形状決定(S310)では、形状情報として映像要素情報Ei2のカオス特性空間データ(ベクトル(P(i)→))を用いる。
あるいは、上記のカオス性を有する基礎情報の代わりに、フラクタル性を有する基礎情報も利用することができる。前出の図9に示した3つのアトラクタの中から、1つのアトラクタを適宜乱数により選択し、そのアトラクタにポアンカレ切断面を設定する。このポアンカレ切断面上のベクトルを利用するものである。すなわち、形状情報として映像要素情報Ei6のフラクタル特性空間データ(ベクトル)を用いることも可能である。
枝揺れの決定(S321)では、形状決定した樹木が風を受けてそよぐ枝の動きを規定する。この映像例においては、チャネル毎の発音(ノートオン)のタイミングに同調して一定方向から風が吹き、風から受ける力により枝が揺れるものとする。この映像例は、フレームの右方向から左方向に風が吹くものとする。枝が揺れる様子を下記の3通りに定める。
チャネルSa(ia)がノートオンとなる時刻ta(ia)には、枝高Dmax−2の枝に風の力Fwが加わる。
チャネルSb(ib)がノートオンとなる時刻tb(ib)には、枝高Dmax−1の枝に風の力Fwが加わる。
チャネルSc(ic)がノートオンとなる時刻tc(ic)には、枝高Dmaxの枝に風の力Fwが加わる。
風の力Fwが加えられた枝Ejに対し、角度φjの変化角Δφj(t)を減衰振動させることにより、枝は振動する。すなわち、時刻tにおける角度φj(t)を数15として示すことができる。
Figure 2006302033
そこで、時刻ta(ia)にチャネルSa(ia)がノートオンして枝高Dmax−2の枝Ejに風の力Fwが加わったとき、枝Ejの変化角Δφj(t)を数16、さらには図18のグラフとして示すことができる。数16中、α0,β0は正の定数である。
Figure 2006302033
また、τaとは、Sa(ta(ia))がノートオンとなる1つ前の時刻ta(ia)−1の変化角Δφj(ta(ia)−1)により定まる値である。すなわち、前掲の数16中のsin関数において、その周期をT0とするとき、−T0/4≦τ≦T0/4の範囲において、Δφj(ta(ia)−1)=Δφ(τ)を満たすτを求め、τ=τaと定義する。従って、Δφ(τ)は、数17として示すことができる。
Figure 2006302033
チャネルSb(ib)により揺らされる枝高Dmax−1の枝、及びチャネルSc(ic)により揺らされる枝高Dmaxの枝に対しても、上記と同様に演算する。このように、枝揺れの決定(S321)では、エフェクト情報として映像要素情報Ei3のサウンドファイルを用いる。
葉のエフェクトの決定(S322)では、葉の色及び葉が枝から落ちる様子を表現する。葉の色彩をRGB値で表し、各値について“150<R<225,150<G<255,20<B<125”の範囲とし、各時刻tで乱数値を取得して葉の色彩を変化させる。また、各時刻tにて一定の確率q1=1/(2Dmax―1)により葉が枝から離れ、等速で落下する。加えて、前記のとおり風は右方向から吹いてくる前提としているため、枝から離れた葉は、フレームの左方向へ各時刻tで取得される乱数を利用しながら移動する。なお、落葉する葉の揺れについては、上記の枝の場合と同様に減衰振動(数15ないし数17参照)を用い演算する。葉のエフェクトの決定(S322)でも、エフェクト情報として映像要素情報Ei3のサウンドファイルを用いる。
そして、時刻tが時刻Mに達するか否か判断され(S330)、時刻tがMに至るまでフレームF(t)の生成(S320)を繰り返す。このようにして樹木映像F(1)〜F(M)までを蓄積し、一連の映像ファイルAFを生成する。図19は生成されたフレーム列の一部を示す。時刻が1秒(t=1.0)から6秒(t=6.0)までのフレームを各秒毎に取り出している。樹木(図示では白黒印刷として表現される。)が時間の経過と共に微妙に変化する様子を読み取ることができる。
[映像例3:水面]
水面の映像の生成は、図20のフローチャートに基づく。この水面映像生成ルール(S400)において、まず水面のキーフレーム列の生成を行う(S410)。フレームF(t)の生成(S420)において、基本フレームの決定(S421)、波紋エフェクトの決定(S422)、きらめきエフェクトの決定を行う(S423)。時刻tにおけるフレームF(t)の生成を時刻1〜Mまで繰り返し(S430)、フレームF(t)を逐次生成して一連の映像ファイルを生成する。
水面のキーフレーム列の生成(S410)では、図21に示すとおり、音階{ド(C)〜シ(B)}と水面の静止画像とを対応させて割り当てる。併せて、この音と画像の対応関係に基づいてチャネルSa(ia)の各発音(ノートオン)時刻ta(ia)に対応するキーフレームF0(ta(ia))を生成し、一連の水面のキーフレーム列を構成する。この対応の割り当てには、形状情報として映像要素情報Ei3のサウンドファイルを用いる。サウンドファイルはMIDIファイルの形式であるため、音階と水面形状との対応が比較的容易となる。
基本フレームの決定(S421)では、キーフレーム列を構成する個々のキーフレーム同士の間隔を線形補間する。つまり、ta(ia)≦t≦ta(ia+1)の関係を満たす時刻tにおける基本フレームF1(t)は、時刻ta(ia)におけるキーフレームF0(ta(ia))と、時刻ta(ia+1)におけるキーフレームF0(ta(ia+1))との間の色彩を時間的比率により線形補間して生成する。数18中のr(t)は時刻tの時間的比率を示し、数19中のCF1(t)(w,h)は基本フレームF1(t)上の座標点(w,h)における色彩値を示す。例えば、図22に示すように、キーフレームF0(ta(ia))とキーフレームF0(ta(ia+1))の間に基本フレームF1(t)を線形補間して生成している。
Figure 2006302033
Figure 2006302033
基本フレームF1(t)上の全ての座標点(w,h)に対し、上記数18、数19の演算を行うことにより基本フレームF1(t)を完成する。さらに、水面が少しずつ滑らかに変化する様子を表現するため、基本フレームF1(t)〜F1(M)も同様に生成する。基本フレームの決定(S421)では、形状情報として映像要素情報Ei3のサウンドファイルを用いる。
波紋エフェクトの決定(S422)では、水面の色彩を変化させることにより、揺らぐ波紋を表現する。前記のとおり生成された基本フレームF1(t)について、当該フレームの時刻tにおけるF1(t)上の座標点(w,h)の色彩値CF1(t)(w,h)を変換することにより、F2(t)上の座標点(w,h+f(t,h))の色彩値CF2(t)(w,h+f(t,h))に移動させる(数20,数21参照)。すなわち、CF1(t)(w,h)をCF2(t)(w,h+f(t,h))に移動させることにより、h軸方向に揺らぐ波紋を表現することができる(図23参照)。
Figure 2006302033
Figure 2006302033
ここで、αwは1より大きい定数とする。nb(t)は時刻tにおけるチャネルSb(ib)の音の高さを表す。ただし、tb(ib)≦t≦tb(ib+1)を満たす。nb(t)は0〜127の範囲であり、値が大きいほど高音となる。波紋エフェクトの決定(S422)では、エフェクト情報として映像要素情報Ei1の演算データを用いる。
きらめきエフェクトの決定(S423)では、水面に光が当たりきらめきながら反射する様子を表現する。すなわち、前記S422の波紋エフェクトの決定により処理されたフレーム列F2(1)〜F2(M)に対し、ここできらめきエフェクトを実行することにより最終的な映像フレーム列F(1)〜F(M)を生成する。
各フレームF2(t)上の座標点(w,h)について、この座標点の明度をv(w,h)とする。そしてこの座標点の明度が一定値以上であるならば、確率q2(t)の頻度により図24に示す略四角形状(とげのある四角形状)のきらめきエフェクト用オブジェクトGLを座標点(w,h)に描画配置する。前記の確率q2(t)は、チャネルSc(ic)の音の高さnc(t)より数22によって規定する。ただし、tc(ic)≦t≦tc(ic+1)を満たし、Ncは定数(=128)とする。nc(t)も0〜127の範囲であり、値が大きいほど高音となる。きらめきエフェクトの決定(S423)でも、エフェクト情報として映像要素情報Ei3のサウンドファイルを用いる。
Figure 2006302033
そして、時刻tが時刻Mに達するか否か判断され(S430)、時刻tがMに至るまでフレームF(t)の生成(S420)を繰り返す。このようにして水面映像F(1)〜F(M)までを蓄積し、一連の映像ファイルAFを生成する。図25は生成されたフレーム列の一部を示す。時刻が1秒(t=1.0)から6秒(t=6.0)までのフレームを各秒毎に取り出している。水面ときらめき(図示では白黒印刷として表現される。)が時間の経過と共に変化する様子を読み取ることができる。
本発明の映像生成方法の一実施例を示す全体概念図である。 スタンドアロン型映像再生装置の概略構成図である。 ネットワーク配信型映像再生システムの概略構成図である。 測定した指尖容積脈波のグラフである。 図4のグラフより算出したカオスアトラクタの3次元グラフである。 切断面にプロットされるベクトルを示す概念図である。 映像生成方法の他の実施例を示す全体概念図である。 測定した指尖容積脈波のスケーリング変換を示すグラフである。 図8のスケーリング変換に対応するアトラクタの3次元グラフである。 測定した指尖容積脈波のグラフから直接フラクタル特徴を抽出する概念図である。 1次元の時系列データx(t)を変換したz(t)のグラフである。 オーロラ映像生成ルールを示すフローチャートである。 フレーム内のオーロラの形状を示す模式図である。 生成されたオーロラの映像例である。 樹木映像生成ルールを示すフローチャートである。 樹木の形状決定を示す模式図である。 樹木の枝の長さ及び角度を示す模式図である。 変化角Δφj(t)の減衰振動を示すグラフである。 生成された樹木の映像例である。 水面映像生成ルールを示すフローチャートである。 音階と水面の静止画像の割り当て図である。 フレーム間の線形補間を示す概念図である。 波紋エフェクトを示す概念図である。 水面上のきらめき用オブジェクトの模式図である。 生成された水面の映像例である。
符号の説明
10 スタンドアロン型映像再生装置
11 信号測定部(生体信号測定部)
12 サウンド再生部
13 映像再生部
20 マイクロコンピュータ
100 ネットワーク配信型映像再生システム
111 信号測定部(生体信号測定部)
112 サウンド再生部
113 映像再生部
129 マイクロコンピュータ
1101,110N 利用者端末
105 ネットワークシステム
120 サーバコンピュータ
BI カオス性を有する基礎情報
BII フラクタル性を有する基礎情報
Ei1,Ei2,Ei3,Ei4,Ei5,Ei6,Ei7 映像要素情報
R1,R6 サウンド生成ルール
R2,R7 映像生成ルール
AF 映像ファイル

Claims (11)

  1. 基礎情報変換手段によりカオス性を有する基礎情報を数値演算可能な演算データに変換する基礎情報変換ステップと、
    前記基礎情報変換ステップにて変換したデータに基づいてカオスアトラクタを算出するカオスアトラクタ算出ステップと、前記算出されたカオスアトラクタをポアンカレ切断面で切断するポアンカレ切断面構成ステップと、前記ポアンカレ切断面構成ステップにて切断された平面上に基準点を設定する基準点設定ステップとを含み、カオス特性空間生成手段によりカオス特性空間を生成するカオス特性空間生成ステップと、
    サウンド生成手段により前記カオス特性空間生成ステップにて生成したカオス特性空間にあるデータから所定のサウンド生成ルールに従いサウンドファイルを生成するサウンド生成ステップとを有し、
    映像生成手段により、前記基礎情報変換ステップ、前記カオス特性空間生成ステップ、前記サウンド生成ステップの少なくとも一以上のステップから調製される前記演算データ、前記カオス特性空間、前記サウンドファイルの各々を映像要素情報として利用し、所定の映像生成ルールに従い前記各映像要素情報に基づいて映像ファイルを生成する映像生成ステップと、
    を備えることを特徴とする映像生成方法。
  2. 前記映像要素情報が、少なくとも形状情報、色彩情報、エフェクト情報を含む請求項1に記載の映像生成方法。
  3. 前記カオス性を有する基礎情報が情報提供者個人の時系列的な生体信号であって、前記基礎情報変換ステップが、生体信号測定手段により生体信号を測定する生体信号測定ステップを含む請求項1に記載の映像生成方法。
  4. 請求項2に記載の映像生成方法を実行する演算実行手段と、
    カオス性を有する基礎情報を取得する情報取得手段と、
    生成されたサウンドファイルからサウンドを再生するサウンド再生手段と、
    生成された映像ファイルから映像を再生する映像再生手段と、
    を備えることを特徴とするスタンドアロン型映像再生装置。
  5. 請求項3に記載の映像生成方法を実行する演算実行手段と、
    カオス性を有する基礎情報を取得する情報取得手段と、
    生成されたサウンドファイルからサウンドを再生するサウンド再生手段と、
    生成された映像ファイルから映像を再生する映像再生手段と、
    を備えることを特徴とするスタンドアロン型映像再生装置。
  6. 前記カオス性を有する基礎情報が情報提供者個人の時系列的な生体信号であって、
    当該生体信号を取得する信号取得手段を備える請求項4に記載のスタンドアロン型映像再生装置。
  7. 生体信号を取得する信号取得手段を備える請求項5に記載のスタンドアロン型映像再生装置。
  8. 請求項2に記載の映像生成方法を実行するサーバコンピュータと、
    カオス性を有する基礎情報を取得する情報取得手段と、生成されたサウンドファイルからサウンドを再生するサウンド再生手段と、生成された映像ファイルから映像を再生する映像再生手段とを備える利用者端末と、
    前記サーバコンピュータと前記利用者端末とを接続するネットワークシステムと、
    を備えることを特徴とするネットワーク配信型映像再生システム。
  9. 請求項3に記載の映像生成方法を実行するサーバコンピュータと、
    カオス性を有する基礎情報を取得する情報取得手段と、生成されたサウンドファイルからサウンドを再生するサウンド再生手段と、生成された映像ファイルから映像を再生する映像再生手段とを備える利用者端末と、
    前記サーバコンピュータと前記利用者端末とを接続するネットワークシステムと、
    を備えることを特徴とするネットワーク配信型映像再生システム。
  10. 前記カオス性を有する基礎情報が情報提供者個人の時系列的な生体信号であって、
    当該生体信号を取得する信号取得手段を前記利用者端末に備える請求項8に記載のネットワーク配信型映像再生システム。
  11. 生体信号を取得する信号取得手段を前記利用者端末に備える請求項9に記載のネットワーク配信型映像再生システム。
JP2005123973A 2005-04-21 2005-04-21 映像生成方法、スタンドアロン型映像再生装置及びネットワーク配信型映像再生システム Expired - Fee Related JP4580812B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005123973A JP4580812B2 (ja) 2005-04-21 2005-04-21 映像生成方法、スタンドアロン型映像再生装置及びネットワーク配信型映像再生システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005123973A JP4580812B2 (ja) 2005-04-21 2005-04-21 映像生成方法、スタンドアロン型映像再生装置及びネットワーク配信型映像再生システム

Publications (2)

Publication Number Publication Date
JP2006302033A true JP2006302033A (ja) 2006-11-02
JP4580812B2 JP4580812B2 (ja) 2010-11-17

Family

ID=37470235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005123973A Expired - Fee Related JP4580812B2 (ja) 2005-04-21 2005-04-21 映像生成方法、スタンドアロン型映像再生装置及びネットワーク配信型映像再生システム

Country Status (1)

Country Link
JP (1) JP4580812B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011130122A (ja) * 2009-12-16 2011-06-30 Canon Inc 画像処理装置及び画像処理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004054649A1 (ja) * 2002-12-12 2004-07-01 Hidenori Ito サウンド生成方法、コンピュータ読み取り可能な記憶媒体、スタンドアロン型サウンド生成再生装置及びネットワーク配信型サウンド生成再生システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004054649A1 (ja) * 2002-12-12 2004-07-01 Hidenori Ito サウンド生成方法、コンピュータ読み取り可能な記憶媒体、スタンドアロン型サウンド生成再生装置及びネットワーク配信型サウンド生成再生システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CSNB200100256001, 平田 圭二 KEIJI HIRATA, コンピュータと音楽の世界−基礎からフロンティアまで 初版 Computer & Music, 19990815, 第1版, 413〜416頁, JP, 共立出版株式会社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011130122A (ja) * 2009-12-16 2011-06-30 Canon Inc 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP4580812B2 (ja) 2010-11-17

Similar Documents

Publication Publication Date Title
US11670188B2 (en) Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
JP3381074B2 (ja) 音響構成装置
US9467673B2 (en) Method, system, and computer-readable memory for rhythm visualization
Dean Hyperimprovisation: computer-interactive sound improvisation
US11972693B2 (en) Method, device, system and apparatus for creating and/or selecting exercises for learning playing a music instrument
CN108780580B (zh) 数据生成装置、存储介质及信息处理方法
JP6428066B2 (ja) 採点装置及び採点方法
US20220180767A1 (en) Crowd-based device configuration selection of a music teaching system
CN104574453A (zh) 用图像表达音乐的软件
US11893898B2 (en) Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
Friedland et al. Multimedia computing
JP2024096376A (ja) 演奏データに対する観衆の評価を推論する方法、システム、及びプログラム
JP4580812B2 (ja) 映像生成方法、スタンドアロン型映像再生装置及びネットワーク配信型映像再生システム
CN114495871A (zh) 基于多线条特征信息生成音乐旋律的方法、系统与装置
Taylor et al. Visualizing emotion in musical performance using a virtual character
Hamilton Perceptually coherent mapping schemata for virtual space and musical method
McGregor et al. Using participatory visualisation of soundscapes to compare designers’ and listeners’ experiences of sound designs
Frisson et al. Multimodal guitar: Performance toolbox and study workbench
JP6644293B1 (ja) コンテンツ供給装置、コンテンツ提供システム、コンテンツ提供サーバ装置、コンテンツ提供方法およびコンテンツ提供用プログラム
Kang Sonic Hypermirror: Attuning to Hyperobjects
Stimberg Affect-Conveying Visual-Musical Analogies in an Artistic Generative System
US12112731B2 (en) Method and apparatus for generating music file, and electronic device and storage medium
US11900825B2 (en) Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
CN117234327A (zh) 以脑波为基础的元宇宙社群多媒体系统
Juneja et al. WaveTune: Harnessing Radar Sensors to Compose Music Beats with Body Gestures

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100830

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees