以下添付の図面に従って本発明を説明する。図1は本発明の映像生成方法の一実施例を示す全体概念図、図2はスタンドアロン型映像再生装置の概略構成図、図3はネットワーク配信型映像再生システムの概略構成図、図4は測定した指尖容積脈波のグラフ、図5は図4のグラフより算出したカオスアトラクタの3次元グラフ、図6は切断面にプロットされるベクトルを示す概念図、図7は映像生成方法の他の実施例を示す全体概念図、図8は測定した指尖容積脈波のスケーリング変換を示すグラフ、図9は図8のスケーリング変換に対応するアトラクタの3次元グラフ、図10は測定した指尖容積脈波のグラフから直接フラクタル特徴を抽出する概念図である。
はじめに、カオス性とは、決定論的な方程式に従う系であっても周期性や概周期性をもたず、一見不規則な挙動を示す性質をいう。換言すると、法則自体は因果律に従っているにも関わらず、結果の予測が確率で捕捉できず不確定になる現象である。また、フラクタル性とは、自己相似性とも言われる。或るカオス性を有する系の中に相似するカオス性が次々と見られる場合、これは多段性カオスとなり、フラクタル性の一つの表現系と言うことができる。
本発明の映像生成方法は、後述する図3に示すようなスタンドアロン型映像再生装置10、いわゆる独立した端末により実行され、当該端末に再生映像が表示される。あるいは、本発明の映像生成方法は、図4に示すようなネットワーク配信型映像再生システム100を用いてネットワーク配信により実行され、再生映像のデータが配信され各利用者の端末にて再生映像が表示される。
図1の全体概念図から理解されるように、この映像生成方法は、映像のもととなるカオス性を有する基礎情報BIを基礎情報変換手段により数値演算可能な演算データに変換する基礎情報変換ステップ(S10)と、カオス特性空間生成手段によりカオス特性空間を生成するカオス空間生成ステップ(S20)と、サウンド生成手段によりサウンド生成ルールR1に従いサウンドファイルを生成するサウンド生成ステップ(S30)とを有する。
さらに、この映像生成方法は、映像生成手段により、前記のステップ(S10,S20,S30)の少なくとも一以上のステップから調製される演算データ、カオス特性空間、サウンドファイルの各々を映像要素情報Ei1,Ei2,Ei3として利用し、映像生成ルールR2に従い各映像要素情報Ei1,Ei2,Ei3に基づいて映像ファイルAFを生成する形態生成ステップ(S40)を備える。図示の符号Dは、再生出力・記憶保存部である。
前記の基礎情報変換手段、カオス特性空間生成手段、サウンド生成手段、映像生成手段については、後のスタンドアロン型映像再生装置10、ネットワーク配信型映像再生システム100の説明に委ねる。以下、図中の構成について個別に説明する。
〈カオス性を有する基礎情報〉
カオス性を有する基礎情報BIとは、広義に生物及び気象等に由来して実測される信号である。この例として次述の生体信号の他、自然界で発生する情報、例えば、川のせせらぎ、滝壺の轟音、風の音等の実測した音データ、風の強さや方向、海流・波の強さ方向の測定データ、地震計で計測された振動データ、恒星の輝き等の自然界の諸現象から取得可能な時系列で変化するデータを挙げることができる。
特に、カオス性を有する基礎情報BIは、情報提供者個人の時系列的な生体信号である。この生体信号とは、身体から測定可能な信号であり、時系列で変化する信号である。例えば、脳波、脈拍を測定して得られた脈波、心臓の拍動に伴う活動電位の時間的変化である心電、筋肉の収縮に伴う電位の時間的変化である筋電、口・鼻からはき出す息(または吸気)の圧力や流量、体温の変化、血流量の変化等を例示することができる。また、生体信号として列記の身体の信号に加え、植物の体温変化(特開2004−174036参照)を用いる他、微生物の挙動(膜電位の変化)等も含めることができる。実施例においては、ヒトの指尖容積脈波が採用されている。
〈基礎情報変換ステップ〉
基礎情報変換ステップ(S10)では、カオス性を有する基礎情報BIは、適宜の集音機、温度計、流量計等により取得される。基礎情報変換ステップ(S10)には、生体信号測定手段により生体信号を測定する生体信号測定ステップ(S11)が含められる。基礎情報が情報提供者個人の時系列的な生体信号である場合、公知の脈波計、心電計、血流計、吸気量計、体温計等により生体信号は取得される。実施例においては、指尖容積脈波検出センサ(図示せず)が採用されている。
取得されたカオス性を有する基礎情報BI(生体信号)は、一次元の数値演算可能な演算データに変換される。なお、基礎情報変換ステップ(S10)にて調製される演算データは、映像要素情報Ei1として以降の映像生成ステップ(S40)においても必要により利用される。
〈カオス特性空間生成ステップ〉
カオス特性空間生成ステップ(S20)には、前記S10の基礎情報変換ステップにて変換、調製されたデータ(演算データ:映像要素情報Ei1)に基づいてカオスアトラクタ(図5参照)を算出するカオスアトラクタ算出ステップ(S21)と、当該算出されたカオスアトラクタをポアンカレ切断面で切断するポアンカレ切断面構成ステップ(S22)と、S22のポアンカレ切断面構成ステップにて切断された平面上に基準点を設定する基準点設定ステップ(S23)が含められている。
カオスアトラクタ算出ステップ(S21)においては、1次元の観測時系列からm次元の遅延座標系への変換が行われる。
これを具体的に述べると、カオス性を有する基礎情報BIの時系列の生体信号として指尖容積脈波を用いた場合、例えば図4のグラフとして示すことができる。測定された生体信号(指尖容積脈波)は、1次元離散時系列の時系列データ(前記の演算データに相当する。)とみなされ、x(t)と表現される。通常、カオスアトラクタの構築手法として遅延座標系が用いられる。すなわち、時系列x(t)に対し、遅延時間τを伴ったm個の状態変数を成分とするベクトルが用いられ、m次元力学系のアトラクタ軌道が再構築される。この際、Takensの埋め込み定理を用いることにより、1次元の観測時系列からm次元の遅延座標系への変換が行われる。時刻tにおけるアトラクタ軌道V(t)は下記数1となる。
図5は、図4の指尖容積脈波グラフに基づき、遅延時間τを0.1秒、埋め込み次元mを3次元として設定することによって得たカオスアトラクタの3次元グラフである。こうして得られたカオスアトラクタが確かにカオス特徴を有するか否かについて、好適な算定方法により得られた最大リアプノフ数が正となることを一つの指標としている。なお、カオスアトラクタは3次元に限られることはなく、2次元とすることも、また4次元以上とすることもできる。1次元の観測時系列から高次元化するには、前記のTakensの埋め込み定理の他、Roessler方程式等の適宜手法を用いることも可能である。
次に、ポアンカレ切断面構成ステップ(S22)では、ポアンカレ写像を用いてカオスアトラクタにおけるカオス周期の微小な「ずれ」が計算される。
上記カオス周期のずれの計算によると、カオスアトラクタは任意の切断面(ポアンカレ切断面)により切断され、その切断面上にプロットされる(m−1)次元の点p(i)が求められる。i=0,…,nであり、iはカオスアトラクタと切断面の交点における時間推移的な順番である。切断面上の点p(i)から再び切断面上に戻ってくるまでの時間をγ(p(i))とすると、ポアンカレ写像ψにより下記数2のとおり表現される。
続く基準点設定ステップ(S23)では、切断面上の基準点と各点とのベクトルの差が算出される。
図6の概念図に示すように、カオスアトラクタの切断面Cp上(ポアンカレ切断面上)に、カオス周期における微小な「ずれ」は点列(p(i))として構成される。ここで、切断面上の任意の位置に基準点(O)を設定すると、点列(p(i))の位置ベクトル(p(i)→)と基準点(O)の位置ベクトル(O→)との差であるベクトル(P(i)→)が算出される(数3参照)。なお、i=1,2,3,4,5として概略表記した。
S20のカオス特性空間生成ステップを経て調製されるカオス特性空間データ(ベクトル(P(i)→))は、映像要素情報Ei2として以降の映像生成ステップ(S40)においても必要により利用される。
〈サウンド生成ステップ〉
サウンド生成ステップ(S30)においては、S20のカオス特性空間生成ステップにて調製されたデータ(カオス特性空間データ:映像要素情報Ei2)である前記のベクトル(P(i)→)とサウンド生成ルールR1が、サウンド生成ルール適用ステップ(S31)にて組み合わされる。結果、ベクトル(P(i)→)に応じたサウンドが生成される。
サウンド生成では、高さn、長さs、強さvから構成されるサウンドの最小単位(音素)が決定される。m次元のカオスアトラクタから生成されるサウンドは、少なくともm音の和音の系列として構成される。サウンド生成ルールR1の一例として、数4ないし数9の変換式を用い、ポアンカレ切断面Cp上の点列(p(i))の(m−1)次元のべクトル(P(i)→)は変換される。
前掲の変換式において、Sk(i)はチャンネルkにおけるi番目の音素である。m(a,b)は音階要素を示し、aはオクターブ高、bは12平均律音階番号である。rは選択された音階における音の数(オクターブ幅)である。Pk(i)はべクトル(P(i)→)におけるk番目の要素値を表し、modは剰余演算を表す。
サウンド生成ルールは、上記の生成ルールR1以外の生成ルールを適用することも当然可能である。例えば、現時点と直前の点から得られる2つのべクトル(P(i−1)→)と(P(i)→)との偏角等について、ポアンカレ切断面上の交点や基準点から求めることができる。このようにベクトルに着目してその長さ、角度等の任意の要素を用いることができる。また、これらの要素を用いて、演奏楽器(音色)の種類、コード進行、ビブラート、ポルタメント(グリッサンド)及びエコー、速度等の演奏効果を決定することにより、個人の嗜好に適合したサウンドが生成される。
S30のサウンド生成ステップを経て調製されるサウンドファイルは、映像要素情報Ei3として以降の映像生成ステップ(S40)において必要により利用される。
前記のサウンドファイルとは、サウンドとして再生可能なデータである。特にその形式を問わない。この例として、音声信号をPCM(Pu1se Code Modulation)等でサンプリングした形式や、音の周波数や長さを所定の形式で列挙する形式などを挙げることができる。具体的には、スタンダードMIDIフォーマットファイル(MIDIファイル、SMFファイルとも言う。)やPCM等の形式でサンプリングしてファイル化した(WAVEファイル)等を挙げることができる。なお、実施例では、サウンドファイルとしてMIDIファイルの形式が用いられる。
〈映像生成ステップ〉
映像生成ステップ(S40)においては、既述のS10,S20,S30のステップから調製される各々の映像要素情報(前記の演算データ,カオス空間特性データ,サウンドファイル)Ei1,Ei2,Ei3のうち、少なくとも一以上の映像要素情報が集約される。そして、当該集約された映像要素情報と映像生成ルールR2が、映像生成ルール適用ステップ(S41)にて組み合わされる。この結果、カオス性を有する基礎情報(生体信号)に基づく映像ファイルAFが生成される。
映像とは、アニメーション等の動画を意味するものであり、通常、1秒当たり10〜100枚のこま撮りの画面(静止画)の連続として構成される。ただし、必ずしもこのような動画に限定されることはなく、場面毎の随時切り換わる切り換え表示等であっても良い。
また、映像ファイルAFとは、アニメーション等の動画として再生可能なデータである。映像ファイルのファイル形式としては、AVI、MPEG1、MPEG2、MPEG4、MPEG7等が例示される。
ここで、映像を構成する要素について分解するならば、おおよそ、映像中の場面に現れる形状(shapes)、場面に現れる色彩(colors)、場面に施される演出上の効果(effects)の3種類に大別することができる。そして、映像であるためには、これらのうち少なくとも一種以上を有することが必要とされる。
従って、映像生成ステップ(S40)に集約される映像要素情報(前記の演算データ,カオス空間特性データ,サウンドファイル)Ei1,Ei2,Ei3は、少なくとも形状情報、色彩情報、エフェクト情報を包含していることが望ましい。これらを備えることにより、映像としての完成度を充実させることができる。
各映像要素情報について以下のとおり規定される。形状情報とは、映像中の場面に表現すべき形状に関する情報である。色彩情報とは、映像中の場面に表現すべき色彩に関する情報である。エフェクト情報とは、映像中の場面に表現すべき視覚効果の演出に関する情報である。ちなみに、形状情報のみから映像を生成する場合、例えばモノクローム画像の線画等を用いた動画映像となる。色彩情報のみから映像を生成する場合、例えば画面上に種々の色が現れて変化する動画映像となる。エフェクト情報のみから映像を生成する場合、例えば画面上の図形に揺らぎや回転等を生じさせる他、再生速度の変動を伴う等の動画映像となる。
上記のとおり、形状情報、色彩情報、エフェクト情報のそれぞれを単独で用いることも可能であるが、いずれか2種類、さらには3種類全てを用いることにより、多様性に富む優れた映像表現を得ることができる。
前記の映像生成ルールR2は、映像の種類に応じて適宜に設定変更可能である。例えば、後述する実施例に示すように、映像がオーロラである場合、映像要素情報Ei1(演算データ)に形状情報としてオーロラの形状が適用される。そこで一次元の演算データからオーロラの形状が規定される。一方、映像が水面である場合、映像要素情報Ei1(演算データ)にエフェクト情報として水面のきらめきが適用され、映像要素情報Ei3(サウンドファイル)に形状情報として水面の基本形状が適用される。このように、演算データ,カオス空間特性データ,サウンドファイルのいずれが形状情報、色彩情報、エフェクト情報と対応するかは、映像に応じて自由に設定される。当然ながら、形状情報、色彩情報、エフェクト情報は、後述の実施例に例示する適用例に限られることはなく、所望の映像に応じて適宜である。
前記のステップにおける調製により得られたサウンドファイルEi3、映像ファイルAFは、データとして再生出力・記憶保存部Dに送信(転送)されて、映像の再生、音と映像の同期再生が行われる。あるいはサウンドファイルEi3、映像ファイルAFは、データとして再生出力・記憶保存部D内に記憶保存される。
カオス性を有する基礎情報と並びフラクタル性を有する基礎情報も利用可能である。図7の全体概念図から理解されるように、この映像生成方法においても、映像のもととなるフラクタル性を有する基礎情報BIIを基礎情報変換手段により数値演算可能な演算データに変換する基礎情報変換ステップ(S10)と、フラクタル特性空間生成手段によりフラクタル特性空間を生成するフラクタル空間生成ステップ(S60)と、サウンド生成手段によりサウンド生成ルールR6に従いサウンドファイルを生成するサウンド生成ステップ(S70)とを有する。
同様に、この映像生成方法も、映像生成手段により、前記のステップ(S10,S60,S70)の少なくとも一以上のステップから調製される演算データ、フラクタル特性空間、サウンドファイルの各々を映像要素情報Ei1,Ei6,Ei7として利用し、映像生成ルールR7に従い各映像要素情報Ei1,Ei6,Ei7に基づいて映像ファイルAFを生成する形態生成ステップ(S80)を備える。図7において図1と共通する箇所は同一符号とし、その説明を省略する。
フラクタル性を有する基礎情報BIIとは、前記のカオス性を有する基礎情報BIとほぼ共通であり、自然界の諸現象から取得可能な時系列で変化するデータの他、身体から測定可能な信号である。実施例においては、ヒトの指尖容積脈波が採用されている。
基礎情報変換ステップ(S10)においても、前記のカオス性を有する基礎情報BIと同様に基礎情報、生体信号が取得され、一次元の数値演算可能な演算データ(x(t)と定義する)に変換される。なお、基礎情報変換ステップ(S10)にて調製される演算データは、映像要素情報Ei1として以降の映像生成ステップ(S80)においても必要により利用される。
フラクタル特性空間生成ステップ(S60)には、前記S10の基礎情報変換ステップにて変換、調製されたデータ(演算データ:映像要素情報Ei1)に基づいてスケーリング幅を変換するスケーリング変換ステップ(S61)と、当該スケーリング変換により得られた変換済みの基礎情報からフラクタル特徴を抽出するフラクタル特徴抽出ステップ(S62)と、スケーリング変換により得られた変換済みの基礎情報に基準点を設定する基準点設定ステップ(S63)が含められている。
スケーリング変換ステップ(S61)においては、演算データx(t)の時系列(時間軸)方向の尺度(スケール)が複数回にわたり変換される。例えば、指尖容積脈波センサにより4秒間測定された生体信号は、指尖容積脈波の演算データとして図8上段のグラフとして示される。図8上段のグラフを時系列方向に5倍伸長すると図8中段のグラフとなり、さらにこれを時系列方向に5倍伸長すると図8下段のグラフとなる。
スケーリング変換ステップ(S61)において、1次元の観測時系列からTakensの埋め込み定理を用いてm次元の遅延座標系へ変換することが行われる。前出の数1を用い、時刻tにおけるアトラクタ軌道V(t)が得られる(図9の各アトラクタ参照)。
続くフラクタル特徴抽出ステップ(S62)では、ポアンカレ写像を用いてアトラクタにおける周期の微小な「ずれ」が計算される。同ステップS62においても前記S22のポアンカレ切断面構成ステップと同様に任意の切断面(ポアンカレ切断面)により切断される。詳細については前出の数2及びその説明が参照される。
次に、基準点設定ステップ(S63)では、切断面上の基準点と各点とのベクトルの差が算出される。詳細については前出の図6及びその説明が参照される。
S60のフラクタル特性空間生成ステップを経て調製されるフラクタル特性空間データ(ベクトル等)は、映像要素情報Ei6として以降の映像生成ステップ(S80)においても必要により利用される。
サウンド生成ステップ(S70)においては、S60のフラクタル特性空間生成ステップにて調製されたデータ(フラクタル特性空間データ:映像要素情報Ei6)である前記のベクトルとサウンド生成ルールR6が、サウンド生成ルール適用ステップ(S71)にて組み合わされる。結果、ベクトルに応じたサウンド、すなわちフラクタル性を有する基礎情報に応じたサウンドが生成される。S70のサウンド生成ステップを経て調製されるサウンドファイルは、映像要素情報Ei7として以降の映像生成ステップ(S80)において必要により利用される。
映像生成ステップ(S80)においては、既述のS10,S60,S70のステップから調製される各々の映像要素情報(前記の演算データ,フラクタル空間特性データ,サウンドファイル)Ei1,Ei6,Ei7のうち、少なくとも一以上の映像要素情報が集約される。そして、当該集約された映像要素情報と映像生成ルールR8が、映像生成ルール適用ステップ(S81)にて組み合わされる。この結果、フラクタル性を有する基礎情報(生体信号)に基づく映像ファイルAFが生成される。S80の映像生成ステップの詳細は前記S40の映像生成ステップと共通するため、その説明を省略する。
上述のとおり、フラクタル特性空間を求める方法として、時系列のフラクタル性を有する基礎情報に対してスケーリング変換を繰り返し行い、個々の基礎情報毎にアトラクタを算出する方法を開示している。他に、個々の基礎情報から直接算出する方法もある。
つまり、時系列データの変化がもたらす複雑な形状を偏角の変動と捉えることができる。複数の適切なスケールで偏角の変動を観測することにより、測定された基礎情報から直接フラクタル特徴を抽出することも可能となる。
例えば、測定された指尖容積脈波に対して、図10に示すように、偏角の変動θ(t)は、範囲|ti−ti±k|にて変化させながら測定される。この手法によると、ある所定周期が形成されている基礎情報の一点にPi(ti,y(ti))が求められて基準点が設定される。当該基準点Piの前周期に当たる点Pi-k(ti-k,y(ti-k))と、次周期に当たる点Pi+k(ti+k,y(ti+k))の2点から形成される角度(図示のベクトルvi1及びvi2により形成される角度)はθ(ti)となる。
範囲|ti−ti±k|は、例えば0.5〜0.005(秒)の間で適宜変更設定される。そうすると、各々の範囲(秒)に応じて偏角の変動θ(t)が得られる。偏角の変動θ(t)を別途、映像要素情報として用い、サウンド生成ルールを適用することも可能である。
上記から理解されるように、カオス性を有する基礎情報もフラクタル性を有する基礎情報も、対象とする時系列信号である点においては共通である。説明の便宜上カオス性の映像生成方法とフラクタル性の映像生成方法の2系統に分けて述べているが、この両者を並行に、あるいは組み合わせて、同時に処理することは当然可能である。従って、映像生成ステップに集約される映像要素情報は、カオス性由来の情報のみの場合もある。また、映像要素情報は、カオス性由来、フラクタル性由来の両系統の情報となることもある。
これまでに詳述してきた映像生成方法によると、初期段階で取得されたカオス性を有する基礎情報(フラクタル性を有する基礎情報)に基づいて所望の映像を生成する方法である。そこで、随時変化する脳波、脈波、心電、筋電、血流量の変化等を別途取得し、数値データ化を行う。この数値データを前記のカオス特性空間生成ステップ(S20)あるいはフラクタル特性空間生成ステップ(S60)に反映させることにより、映像要素情報としてのカオス特性空間、フラクタル特性空間に更新がもたらされる。この結果、随時状況が変化して行く映像(映像ファイル)を得ることができる。つまり、映像生成のフィードバック更新が可能となる。
これより、本発明の映像生成方法が、スタンドアロン型映像再生装置にて実行される場合を説明する。すなわち、図2に示すように、スタンドアロン型映像再生装置10には、当該映像生成方法を実行する演算実行手段としてマイクロコンピュータ20が備えられている。また、同装置10には、カオス性(フラクタル性)を有する基礎情報を取得する情報取得手段として信号測定部11が備えられている。併せて、同装置10には、生成されたサウンドファイルからサウンドを再生(合成)するサウンド再生手段としてサウンド再生部12が備えられ、生成された映像ファイルから映像を再生(合成)する映像再生手段として映像再生部13が備えられている。ちなみに、前記の再生出力・記憶保存部Dは当該スタンドアロン型映像再生装置10に相当する。
利用者Pが自然界Nsのカオス性(フラクタル性)を有する基礎情報をこのスタンドアロン型映像再生装置10に入力しようとする場合、信号測定部11がこれらの基礎情報を取得することとなる。そのため、基礎情報が音であるときには信号測定部11は集音マイクとなる。なお、自然界Nsの基礎情報は多様であるため、図示しない信号測定部のインターフェイス(接続端子)に温度計、風速計、流速計等の各種の分析、測定機器等が接続され、基礎情報は取得される。
これに対して、カオス性を有する基礎情報(フラクタル性を有する基礎情報)が情報提供者である利用者Pの時系列的な生体信号であって、当該生体信号をこのスタンドアロン型映像再生装置10に入力しようとする場合、信号測定部11は生体信号測定部(信号取得手段)となる。そして、生体信号測定部が基礎情報(生体信号)を取得する。具体的には、信号測定部11自体が脈波計となる他、図示しない信号測定部のインターフェイス(接続端子)に脈波計、心電計、血流計、吸気量計、体温計等が接続され、基礎情報(生体信号)は取得される。
マイクロコンピュータ20内には、カオス/フラクタル特徴抽出・演算部21、サウンド生成部22、サウンド生成ルール部23、映像生成部24、映像生成ルール部25が規定されている。ここで、マイクロコンピュータ20には、公知のCPU、ROM、RAM等が実装され、演算機能が保証される。実施例では、カオス/フラクタル特徴抽出・演算部21、サウンド生成部22、映像生成部24は、マイクロコンピュータ20内のCPUに相当する。サウンド生成ルール部23、映像生成ルール部25はマイクロコンピュータ20内のROMに相当し、各種のサウンド、映像の生成に必要なルールが蓄積されている。なお、各種のルールは更新することも可能であるため、サウンド生成ルール部23、映像生成ルール部25は外部メモリーとなることもある。
サウンドファイルはサウンド再生部12に送信され、利用者Pは実際にサウンドを得ることができる。サウンド再生部12にはアンプ(増幅器)、スピーカあるいはヘッドホン等が備えられる。
映像ファイルは映像再生部13に送信され、利用者Pは実際に映像(アニメーション)を得ることができる。サウンド再生部12の形態は適宜ではあるものの、CRT、TFT−LCDモジュール(液晶表示装置)、有機ELディスプレイ、ビデオプロジェクター等の各種画像表示装置が用いられる。
次に、スタンドアロン型映像再生装置10における動作を説明する。信号測定部11にて取得されたカオス性(フラクタル性)を有する基礎情報(生体信号)は、マイクロコンピュータ20に送信される。ここで、マイクロコンピュータ20内のCPU、ROM、RAMの協動により、カオス/フラクタル特徴抽出・演算部21、サウンド生成部22、サウンド生成ルール部23を伴い、サウンドファイルが生成される。同じく、カオス/フラクタル特徴抽出・演算部21、映像生成部24、映像生成ルール部25を伴い、映像ファイルが生成される。
こうして、生成されたサウンドファイル、映像ファイルは、サウンド再生部12、映像再生部13に送信され、再生される。また、生成されたサウンドファイル、映像ファイルは、マイクロコンピュータ20内のRAMの他、図示しないフラッシュメモリー(NANDまたはNOR型等)、ハードディスクドライブ等に記憶されることもある。
図示し開示するスタンドアロン型映像再生装置10において、前出の基礎情報変換手段及び生体信号測定手段は、信号測定部11あるいはマイクロコンピュータ20に相当する。特にマイクロコンピュータ20である場合、内部のCPUとなる。
カオス特性空間生成手段は、マイクロコンピュータ20内のCPUに相当し、特にカオス/フラクタル特徴抽出・演算部21となる。
サウンド生成手段は、マイクロコンピュータ20内のCPUに相当し、特にカオス/フラクタル特徴抽出・演算部21及びサウンド生成部22となる。
映像生成手段は、マイクロコンピュータ20内のCPUに相当し、特にカオス/フラクタル特徴抽出・演算部21及び映像生成部24となる。
続いて、本発明の映像生成方法が、ネットワーク配信型映像再生システム100にて実行される場合を説明する。すなわち、図3に示すように、ネットワーク配信型映像再生システム100には、当該映像生成方法を実行する演算実行手段としてサーバコンピュータ120が備えられている。また、同システム100には、利用者端末1101,110N、並びにサーバコンピュータ120と利用者端末1101,110Nを接続するネットワークシステム105が備えられている。
このネットワーク配信型映像再生システム100は不特定多数あるいは特定の会員のみの利用(利用者1〜利用者Nの利用)を想定している。利用者P1が使用する利用者端末1101も利用者Pnが利用する利用者端末110Nも、それぞれの端末の内部にカオス性(フラクタル性)を有する基礎情報を取得する情報取得手段として信号測定部111が備えられる。併せて、それぞれの端末の内部に生成されたサウンドファイルからサウンドを再生(合成)するサウンド再生手段としてサウンド再生部112が備えられ、生成された映像ファイルから映像を再生(合成)する映像再生手段として映像再生部113が備えられている。ちなみに、前記の再生出力・記憶保存部Dは当該ネットワーク配信型映像再生システム100に相当する。
利用者Pnが自然界Nsのカオス性(フラクタル性)を有する基礎情報について利用者端末110Nを通じてネットワーク配信型映像再生システム100に入力しようとする場合、信号測定部111が基礎情報を取得することとなる。
また、カオス性を有する基礎情報(フラクタル性を有する基礎情報)が情報提供者である利用者P1の時系列的な生体信号であって、当該生体信号をこの利用者端末1101に入力しようとする場合、信号測定部11は生体信号測定部(信号取得手段)となる。そして、生体信号測定部が基礎情報(生体信号)を取得する。図示の信号測定部111の機能は、前記の信号測定部11(生体信号測定部)と同様であるため詳細を省略する。
サーバコンピュータ120内には、マイクロコンピュータ129が備えられ、同マイクロコンピュータ129内に、カオス/フラクタル特徴抽出・演算部121、サウンド生成部122、サウンド生成ルール部123、映像生成部124、映像生成ルール部125が規定されている。ここで、マイクロコンピュータ129には、公知のCPU、ROM、RAM等が実装され、演算機能が保証される。
実施例では、カオス/フラクタル特徴抽出・演算部121、サウンド生成部122、映像生成部124は、マイクロコンピュータ129内のCPUに相当する。サウンド生成ルール部123、映像生成ルール部125はマイクロコンピュータ129内のROMに相当し、各種のサウンド、映像の生成に必要なルールが蓄積されている。なお、各種のルールは更新することも可能であるため、サウンド生成ルール部123、映像生成ルール部125は外部メモリー、ハードディスクドライブ等となることもある。
次に、ネットワーク配信型映像再生システム100における動作を説明する。信号測定部111にて取得されたカオス性(フラクタル性)を有する基礎情報(生体信号)は、ネットワークシステム105を経由してサーバコンピュータ120内のマイクロコンピュータ129に送信される。ここで、マイクロコンピュータ129内のCPU、ROM、RAMの協動により、カオス/フラクタル特徴抽出・演算部121、サウンド生成部122、サウンド生成ルール部123を伴い、サウンドファイルが生成される。同じく、カオス/フラクタル特徴抽出・演算部121、映像生成部124、映像生成ルール部125を伴い、映像ファイルが生成される。
こうして、生成されたサウンドファイル、映像ファイルは、各基礎情報(生体信号)を送信した利用者端末にネットワークシステム105を経由して配信される。また、マイクロコンピュータ129内のRAMの他、図示しないフラッシュメモリー(NANDまたはNOR型等)、サーバコンピュータ内のハードディスクドライブ等の記憶装置(ストレージャー)に蓄積、記憶されることもある。
生成されたサウンドファイルはサウンド再生部112に送信され、各利用者は実際にサウンドを得ることができる。また生成された映像ファイルは映像再生部113に送信され、各利用者は実際に映像(アニメーション)を得ることができる。サウンド再生部112、映像再生部113の構成は、前記のスタンドアロン型映像再生装置にて開示したサウンド再生部12、映像再生部13と同様の構成が適用される。
前記のネットワークシステム105は、インターネット回線、携帯電話網等の電気通信回線、通信衛星を介した無線通信回線等の公知の通信網である。さらに、これには、光ファイバー網、電力線を用いた種々の形態の通信網も適用される。
図示し開示するネットワーク配信型映像再生システム100において、前出の基礎情報変換手段及び生体信号測定手段は、信号測定部111あるいはサーバコンピュータ120(マイクロコンピュータ129)に相当する。特にマイクロコンピュータ129である場合、内部のCPUとなる。
カオス特性空間生成手段は、サーバコンピュータ120(マイクロコンピュータ129)内のCPUに相当し、特にカオス/フラクタル特徴抽出・演算部121となる。
サウンド生成手段は、サーバコンピュータ120(マイクロコンピュータ129)内のCPUに相当し、特にカオス/フラクタル特徴抽出・演算部121及びサウンド生成部22となる。
映像生成手段は、サーバコンピュータ120(マイクロコンピュータ129)内のCPUに相当し、特にカオス/フラクタル特徴抽出・演算部121及び映像生成部124となる。
以上のとおり詳述した本発明の映像生成方法によると、カオス性(フラクタル性も含まれる)を有する基礎情報と、映像とを組み合わせることができる。つまり、人間の創作活動、初期値に基づくコンピュータによる数値計算等と全く異なった新規の映像生成方法を実現することができる。この結果、従前、カオス性等を有する諸現象を把握する際に、数値データの集合のみでしか確認できなかったものから、具体的に可視化した映像を得ることができる。このため、利用者は直感的(感性を用いて)に諸現象の変遷を理解することができる。さらに述べると、基礎情報の音声化を経て画像化まで実現しているため、可視化した音楽の提供と言うことができる。このため、聴覚に障害があるような場合であっても映像を介して音を楽しむことができる。
この映像生成方法をスタンドアロン型映像再生装置により実行すると、利用者は、自ら取得した自然現象並びに生体情報等の基礎情報毎に生成される映像の差を得ることができる。このスタンドアロン型映像再生装置は、専用装置とする他、携帯電話、PDA(Personal Digital Assistance)、パーソナルコンピュータ、車載誘導装置(カーナビゲーションシステム)等の機器を用いることができ、これらの機器に映像生成方法を実行するプログラム等が入力(インストール)され用いられる。すなわち、再生装置の移動、携帯等が容易となり、使用する場所の自由度が高まる。
ネットワーク配信型映像再生システムにあっては、ASP(Application Service Provider)等のシステムが用いられる。この映像生成方法をネットワーク配信型映像再生システムにより実行すると、利用者は、自ら取得した自然現象並びに生体情報に加え、サーバコンピュータ内のデータベースに蓄積された基礎情報に基づく映像を取得することも可能となる。すなわち、映像ファイルの交換等により、より多彩で興趣ある映像の取得が可能となる。
以上を勘案すると、各種の測定装置(機器)等に組み込み測定、解析に用いるほか、映像を楽しむため個別のゲーム機、オンライン上で提供されるゲーム等のアミューズメント目的にも取り入れられる。
映像生成ステップにおいて適用される映像生成ルールの具体例について、発明者らは以下の3種類の映像作成例を開示し説明する。まず、映像生成ルールの適用にあたり、以下の前提に基づき定義した。
カオス性を有する基礎情報である1次元の時系列データx(t)を用い、これを変換してz(t)=x(α・t)と定義する。ここで、0<α<1.0、t=0〜Tmaxまでの最大値max(z(t))、最小値min(z(t))とする。z(t)の概形は図11のグラフとなる。
チャネル(チャンネル)kにおけるi番目の音素Sk(i)が発音(ノートオン)する時刻をtk(i)と定義する。
チャネル総数をK個とすると共に、このK個の中から3個のチャネルを選択する。そして、3個のチャネルはSa(i),Sb(i),Sc(i)と定義する。Kが3に満たない場合にはチャネルの重複も許容する。前記のSa(i),Sb(i),Sc(i)のいずれかを示す場合にはSx(i)とする。
映像は一連のフレームをつなぎ合わせた時系列データとすることができる。そこで、時刻tのフレームをF(t)と定義することができる。すなわち、音素Sk(i)発音時のフレームは、時刻tk(i)のフレームF(tk(i))と表現することができる。フレームの総数をMと定義すると、Mはサウンド全体の長さ、あるいはフレームレートにより可変である。サウンドに同期化して再生される映像は、F(1),...,F(M)となる。
また、フレームの大きさをW(幅)×H(高さ)とする。
[映像例1:オーロラ]
オーロラの映像の生成は、図12のフローチャートに基づく。このオーロラ映像生成ルール(S200)において、まず音階と色との対応適用にて対応付けを行う(S210)。フレームF(t)の生成(S220)において、オーロラの色彩を決定し(S221)、形状を決定し(S222)、ぼかし処理を行う(S223)。時刻tにおけるフレームF(t)の生成を時刻1〜Mまで繰り返し(S230)、フレームF(t)を逐次生成して一連の映像ファイルを生成する。
音階と色との対応適用(S210)では、下記の表1の対応関係に基づいてSx(tx(i))の音階に対応した色彩値Cx(tx(i))を決定する。この対応の決定には、色彩情報として映像要素情報Ei3のサウンドファイルを用いる。サウンドファイルはMIDIファイルの形式であるため、音階と色との対応が比較的容易となる。
オーロラの色彩の決定(S221)では、時刻tにおけるオーロラの描画色C(t)を数10より求める。ただし、ta(ia)≦t≦ta(ia+1)、tb(ib)≦t≦tb(ib+1)、tc(ic)≦t≦tc(ic+1)を満たすこととする。色彩の決定(S221)において、色彩情報として映像要素情報Ei3のサウンドファイルを用いる。
オーロラの形状の決定(S222)では、フレーム内のオーロラの形状を定める。実施例の図13に示すように、時刻tにおけるオーロラ形状を示す図形として、曲線w=g(h,t)を規定する。当該曲線w=g(h,t)をフレームF(t−1)上に描画してF0(t)とする。このとき、前記の色彩の決定(S221)より規定された色彩により、曲線の色彩C(t)が求まる。g(h,t)>W−1の場合、w=g(h,t)−Wとして描画する。曲線w=g(h,t)は、数11のとおり示すことができる。
ここで、時刻t0は時刻t0<tを満たし、かつ、Sa(ia),Sb(ib),Sc(ic)の全てが同時にノートオン(発音)となる時刻を示す。なお、aは時刻t0において設定される乱数であり、0<a<1.0の範囲をとる。また、T=0.1とした。形状の決定(S222)においては、数11からも理解されるように、形状情報として映像要素情報Ei1の演算データを用いる。
ぼかし処理(S223)では、オーロラの色彩にぼかしを形成して、微妙な色調を表現する。いわゆるエフェクト態様の1つである。すなわち、フレームF(t−1)上のオーロラ曲線w=g(h,t)を色彩C(t)により描画することにより得たF0(t)に対し、ぼかし処理を行いF(t)を得る。フレーム生成の流れから判るように、ぼかし処理(S223)においても、エフェクト情報として映像要素情報Ei3のサウンドファイルを用いる。
F0(t)上の座標点を(w,h)とし、点(w,h)の色彩値をCF0(t)(w,h)とする。F0(t)上の全ての点(w,h)について、数12に示すとおり、(w,h−1),(w,h),(w,h+1),(w,h+2),(w,h+3),(w,h+4)の計6点の平均となる色彩を求める。この6点平均の色彩をF(t)の(w,h)座標における色彩値CF(t)(w,h)とする。
そして、時刻tが時刻Mに達するか否か判断され(S230)、時刻tがMに至るまでフレームF(t)の生成(S220)を繰り返す。このようにしてオーロラ映像F(1)〜F(M)までを蓄積し、一連の映像ファイルAFを生成する。図14は生成されたフレーム列の一部を示す。時刻が1秒(t=1.0)から6秒(t=6.0)までのフレームを各秒毎に取り出している。オーロラの形状、色彩及びぼかし(図示では白黒印刷のため明暗として表現される。)が時間の経過と共に変化する様子を読み取ることができる。
[映像例2:樹木]
樹木の映像の生成は、図15のフローチャートに基づく。この樹木映像生成ルール(S300)において、まず樹木の形状の決定を行う(S310)。フレームF(t)の生成(S320)において、枝揺れの決定(S321)、葉のエフェクトの決定(S322)を行う。時刻tにおけるフレームF(t)の生成を時刻1〜Mまで繰り返し(S330)、フレームF(t)を逐次生成して一連の映像ファイルを生成する。
樹木の形状の決定(S310)について、図16及び図17を用い説明する。なお、以下の文中、図及び数式中において、便宜上、EnをE(n)と表記する場合もある。
1.)最初に、フレームの最下点から1本の枝E(1)を上方に描画する。このとき、フレームの最下点から枝E(1)までの長さ(枝高)をd(=1)とする(図16(a)参照)。
2.)この枝高dの加算を行う。つまり、d=d+1となる。
3.)枝高dである枝の全てに対し、その上方側の端点から左右に1本ずつ枝を描画する。そして、描画した枝をフレームの左側から順にE(2(d-1)),...,E((2d)−1)とする(図16(b)参照)。
4.)d<Dmaxならば、上記2.)及び3.)を繰り返す(図16(c)参照)。
5.)上方側の端点に枝を持たないE(2(Dmax-1)),...,E((2Dmax)−1)の枝上に、4枚ずつ葉を描画する(図16(d)参照)。
続いて、元となる枝Ekの上方側の端点を描画位置(始点)とする枝Ejについて、元となる枝Ekに対する当該枝Ejの相対角度φjを数13のとおり規定する。併せて、元となる枝Ekに対する当該枝Ejの長さλjを数14のとおり規定する。なお、Ej=E1の場合を除き、描画する枝Ejが右枝の場合、j=2kとなり、これが左枝となる場合、j=2k+1とする関係を満たす。なお、図17(a)は樹木の全体を表し、図17(b)は図17(a)のQ部分の拡大図を表す。
数13及び数14において、カオスアトラクタの切断面(ポアンカレ切断面)に現れる点列(p(j))の総数をNp個とする。max(‖P‖)は、‖ベクトルP(j)→‖の最大値であり、min(‖P‖)は、‖ベクトルP(j)→‖の最小値である。a,bは定数である。このように、樹木の形状決定(S310)では、形状情報として映像要素情報Ei2のカオス特性空間データ(ベクトル(P(i)→))を用いる。
あるいは、上記のカオス性を有する基礎情報の代わりに、フラクタル性を有する基礎情報も利用することができる。前出の図9に示した3つのアトラクタの中から、1つのアトラクタを適宜乱数により選択し、そのアトラクタにポアンカレ切断面を設定する。このポアンカレ切断面上のベクトルを利用するものである。すなわち、形状情報として映像要素情報Ei6のフラクタル特性空間データ(ベクトル)を用いることも可能である。
枝揺れの決定(S321)では、形状決定した樹木が風を受けてそよぐ枝の動きを規定する。この映像例においては、チャネル毎の発音(ノートオン)のタイミングに同調して一定方向から風が吹き、風から受ける力により枝が揺れるものとする。この映像例は、フレームの右方向から左方向に風が吹くものとする。枝が揺れる様子を下記の3通りに定める。
チャネルSa(ia)がノートオンとなる時刻ta(ia)には、枝高Dmax−2の枝に風の力Fwが加わる。
チャネルSb(ib)がノートオンとなる時刻tb(ib)には、枝高Dmax−1の枝に風の力Fwが加わる。
チャネルSc(ic)がノートオンとなる時刻tc(ic)には、枝高Dmaxの枝に風の力Fwが加わる。
風の力Fwが加えられた枝Ejに対し、角度φjの変化角Δφj(t)を減衰振動させることにより、枝は振動する。すなわち、時刻tにおける角度φj(t)を数15として示すことができる。
そこで、時刻ta(ia)にチャネルSa(ia)がノートオンして枝高Dmax−2の枝Ejに風の力Fwが加わったとき、枝Ejの変化角Δφj(t)を数16、さらには図18のグラフとして示すことができる。数16中、α0,β0は正の定数である。
また、τaとは、Sa(ta(ia))がノートオンとなる1つ前の時刻ta(ia)−1の変化角Δφj(ta(ia)−1)により定まる値である。すなわち、前掲の数16中のsin関数において、その周期をT0とするとき、−T0/4≦τ≦T0/4の範囲において、Δφj(ta(ia)−1)=Δφ(τ)を満たすτを求め、τ=τaと定義する。従って、Δφ(τ)は、数17として示すことができる。
チャネルSb(ib)により揺らされる枝高Dmax−1の枝、及びチャネルSc(ic)により揺らされる枝高Dmaxの枝に対しても、上記と同様に演算する。このように、枝揺れの決定(S321)では、エフェクト情報として映像要素情報Ei3のサウンドファイルを用いる。
葉のエフェクトの決定(S322)では、葉の色及び葉が枝から落ちる様子を表現する。葉の色彩をRGB値で表し、各値について“150<R<225,150<G<255,20<B<125”の範囲とし、各時刻tで乱数値を取得して葉の色彩を変化させる。また、各時刻tにて一定の確率q1=1/(2Dmax―1)により葉が枝から離れ、等速で落下する。加えて、前記のとおり風は右方向から吹いてくる前提としているため、枝から離れた葉は、フレームの左方向へ各時刻tで取得される乱数を利用しながら移動する。なお、落葉する葉の揺れについては、上記の枝の場合と同様に減衰振動(数15ないし数17参照)を用い演算する。葉のエフェクトの決定(S322)でも、エフェクト情報として映像要素情報Ei3のサウンドファイルを用いる。
そして、時刻tが時刻Mに達するか否か判断され(S330)、時刻tがMに至るまでフレームF(t)の生成(S320)を繰り返す。このようにして樹木映像F(1)〜F(M)までを蓄積し、一連の映像ファイルAFを生成する。図19は生成されたフレーム列の一部を示す。時刻が1秒(t=1.0)から6秒(t=6.0)までのフレームを各秒毎に取り出している。樹木(図示では白黒印刷として表現される。)が時間の経過と共に微妙に変化する様子を読み取ることができる。
[映像例3:水面]
水面の映像の生成は、図20のフローチャートに基づく。この水面映像生成ルール(S400)において、まず水面のキーフレーム列の生成を行う(S410)。フレームF(t)の生成(S420)において、基本フレームの決定(S421)、波紋エフェクトの決定(S422)、きらめきエフェクトの決定を行う(S423)。時刻tにおけるフレームF(t)の生成を時刻1〜Mまで繰り返し(S430)、フレームF(t)を逐次生成して一連の映像ファイルを生成する。
水面のキーフレーム列の生成(S410)では、図21に示すとおり、音階{ド(C)〜シ(B)}と水面の静止画像とを対応させて割り当てる。併せて、この音と画像の対応関係に基づいてチャネルSa(ia)の各発音(ノートオン)時刻ta(ia)に対応するキーフレームF0(ta(ia))を生成し、一連の水面のキーフレーム列を構成する。この対応の割り当てには、形状情報として映像要素情報Ei3のサウンドファイルを用いる。サウンドファイルはMIDIファイルの形式であるため、音階と水面形状との対応が比較的容易となる。
基本フレームの決定(S421)では、キーフレーム列を構成する個々のキーフレーム同士の間隔を線形補間する。つまり、ta(ia)≦t≦ta(ia+1)の関係を満たす時刻tにおける基本フレームF1(t)は、時刻ta(ia)におけるキーフレームF0(ta(ia))と、時刻ta(ia+1)におけるキーフレームF0(ta(ia+1))との間の色彩を時間的比率により線形補間して生成する。数18中のr(t)は時刻tの時間的比率を示し、数19中のCF1(t)(w,h)は基本フレームF1(t)上の座標点(w,h)における色彩値を示す。例えば、図22に示すように、キーフレームF0(ta(ia))とキーフレームF0(ta(ia+1))の間に基本フレームF1(t)を線形補間して生成している。
基本フレームF1(t)上の全ての座標点(w,h)に対し、上記数18、数19の演算を行うことにより基本フレームF1(t)を完成する。さらに、水面が少しずつ滑らかに変化する様子を表現するため、基本フレームF1(t)〜F1(M)も同様に生成する。基本フレームの決定(S421)では、形状情報として映像要素情報Ei3のサウンドファイルを用いる。
波紋エフェクトの決定(S422)では、水面の色彩を変化させることにより、揺らぐ波紋を表現する。前記のとおり生成された基本フレームF1(t)について、当該フレームの時刻tにおけるF1(t)上の座標点(w,h)の色彩値CF1(t)(w,h)を変換することにより、F2(t)上の座標点(w,h+f(t,h))の色彩値CF2(t)(w,h+f(t,h))に移動させる(数20,数21参照)。すなわち、CF1(t)(w,h)をCF2(t)(w,h+f(t,h))に移動させることにより、h軸方向に揺らぐ波紋を表現することができる(図23参照)。
ここで、αwは1より大きい定数とする。nb(t)は時刻tにおけるチャネルSb(ib)の音の高さを表す。ただし、tb(ib)≦t≦tb(ib+1)を満たす。nb(t)は0〜127の範囲であり、値が大きいほど高音となる。波紋エフェクトの決定(S422)では、エフェクト情報として映像要素情報Ei1の演算データを用いる。
きらめきエフェクトの決定(S423)では、水面に光が当たりきらめきながら反射する様子を表現する。すなわち、前記S422の波紋エフェクトの決定により処理されたフレーム列F2(1)〜F2(M)に対し、ここできらめきエフェクトを実行することにより最終的な映像フレーム列F(1)〜F(M)を生成する。
各フレームF2(t)上の座標点(w,h)について、この座標点の明度をv(w,h)とする。そしてこの座標点の明度が一定値以上であるならば、確率q2(t)の頻度により図24に示す略四角形状(とげのある四角形状)のきらめきエフェクト用オブジェクトGLを座標点(w,h)に描画配置する。前記の確率q2(t)は、チャネルSc(ic)の音の高さnc(t)より数22によって規定する。ただし、tc(ic)≦t≦tc(ic+1)を満たし、Ncは定数(=128)とする。nc(t)も0〜127の範囲であり、値が大きいほど高音となる。きらめきエフェクトの決定(S423)でも、エフェクト情報として映像要素情報Ei3のサウンドファイルを用いる。
そして、時刻tが時刻Mに達するか否か判断され(S430)、時刻tがMに至るまでフレームF(t)の生成(S420)を繰り返す。このようにして水面映像F(1)〜F(M)までを蓄積し、一連の映像ファイルAFを生成する。図25は生成されたフレーム列の一部を示す。時刻が1秒(t=1.0)から6秒(t=6.0)までのフレームを各秒毎に取り出している。水面ときらめき(図示では白黒印刷として表現される。)が時間の経過と共に変化する様子を読み取ることができる。