JP2004061666A - 情報信号コンバートシステム - Google Patents

Abstract

【課題】感情を表現するメロディからなる情報信号と、メロディ以外の感情を表現する情報信号とで相互変換を行う。
【解決手段】感情を表現する１以上の感情パラメータの各状態を数値的又は段階的に表した前記情報信号毎に固有のデータを、相互に対応させ格納している感情データベースと、協和音及び／又は音階の構成音を格納している協和音データベースと、感情を表現するメロディ以外の情報信号から抽出された感情パラメータのデータ毎に前記協和音データベースから抽出された協和音の構成音を１音以上ずつ割り当て、感情を表現するメロディからなる情報信号への変換及び／又はそれらの逆変換を行う変換手段とを有する情報信号コンバートシステムである。
【選択図】　図２

Description

【０００１】
【発明の属する技術分野】
本発明は、「調和する」ものとして広く認識されている協和音を媒体として、感情を表現するメロディからなる情報信号と、メロディ以外の感情を表現する情報信号とで相互変換を円滑に行う情報信号コンバートシステムに関する。
【０００２】
【従来の技術】
従来より、個人が持つ喜怒哀楽等の感情を第三者に伝える為のコミュニケーション媒体としては、言語（言葉）、空間芸術、時間芸術等が挙げられる。空間芸術の代表的なものは同一時間に二次元や三次元で表現される絵画や彫刻であり、時間芸術の代表的なものは音楽である。
【０００３】
しかし、例えば「うれしい」という言葉で第三者に感情を伝える場合、異なる言語間ではその言語に内在する情緒的意味合いを伝達することは不可能であった。
【０００４】
絵画や彫刻は、技術や道具（筆や絵の具）が必要なので、万人が自己の感情をそのまま絵画や彫刻にして伝達するということは非常に困難であった。又、音楽等に比べて風土や歴史条件等に影響されるところが大であり、同じ絵画や彫刻から異なった感情が生じるという状態は避けられなかった。しかし、その構成単位である色彩や図形には比較的万人共通の感情が生じやすい。例えば、色彩は図１２の略円錐を並べた色立体に示されるように、赤、青、黄等の虹色の原色で構成された環状の「色相」１０１を中心として、白と黒のバランスで表現される「明度」１０３、原色の鮮やかさの度合いで表現される「彩度」１０５の計３種類の感情を示すパラメータの組み合わせで表現されることが一般に知られている。例えば、赤は「情熱」や「怒り」、ピンクや水色は「淡い思い」等といった感情を表現することが可能である。
【０００５】
【発明が解決しようとする課題】
これに対し、音楽は国籍、宗教、民族を超えて感情のコミュニケーションがしやすい。この理由は後述するように協和音という概念が存在し、万人共通の基盤となっているからである。しかし、音楽を創作する為には、ある一定水準以上の知識と技術、更には時間と道具（声や楽器）が必要であった。すなわち、誰もが容易かつ即座に音楽を創作して自己の感情を主張、伝達したり、互いに感情を共有することは出来ず、技術を必要としない言語や図形又は自分の得意技術を手段とした場合には、感情のコミュニケーションを図れないという問題があった。
【０００６】
ところで、音楽の構成要素であるメロディ（旋律）は、単に偶発的な音の羅列によって生み出されるものではなく、「協和音」という概念があって、初めて成立するものである。すなわち、「協和音」とは、図１１にその一例を示すように、構成音の全ての２音間の周波数比率が１５：１６以下の簡単な整数比（低い方の音の周波数を高い方の音の周波数で割ったものが１５／１６以下）で表され、かつ唸りが発生しない周波数の音の集まりを指し、協和音は人間の耳に心地よく、馴染みやすい（調和する）ことが明らかとなっており、全世界的にその理論が確立されている。この協和音を同時に複数音鳴らしたものが一般に「コード」と呼ばれ、非同時（時系列的）に１以上の音を鳴らしたものが「メロディ（分散コードとも言われる）」と呼ばれ、以降、本発明に於いてもその定義を引用する。「メロディ」は必ずしも協和音のみで構成されている訳ではないが、必ずコードの下で奏でられ、少なくとも協和音を含んでいるので、協和音の概念なくしてメロディは生まれないのである。又、協和音やメロディには、「短調（マイナー）」、「長調（メジャー）」による情緒的分類があり、これも全世界共通に認識されている。短調や長調以外にも、感情を表すパラメータとしては「音符（音の長短）」、「ピッチ（音の高低）」、「音の大小」、「音色（音の種類）」、「テンポ（速い、遅い）」、「トーン（弾む、伸びる）」等が挙げられる。例えば、長調で、テンポが速く、ピアノの音色で、かつ高音で１６分音符のメロディを聴けば、誰もが「明るい、楽しい、やさしい」といった感覚を連想するので、例え言語環境や風土等が異なっていても、調和されたメロディを通じて感情の共有が可能である。
【０００７】
【課題を解決するための手段】
そこで本発明者は上記問題に鑑み、「調和する」ものとして広く認識されている「協和音」を媒体として、芸術に精通していない子供からお年寄りまでの全ての人が、言語や図形や自分の得意とする技術で生成された情報信号を、誰もがその感情を共有することが出来る調和されたメロディからなる情報信号に変換したり、又はその逆変換を行うことにより、感情の補完を行うことが出来、コミュニケーションする当人同士が同じ場所に居合わせていなくても、即座かつ容易に、その感情を、仮想的に同じ場所（ネットワーク）で共有することが出来、円滑なコミュニケーションを促進する情報信号コンバートシステムを発明した。
【０００８】
請求項１の発明は、
感情を表現するメロディからなる情報信号と、感情を表現するメロディ以外の情報信号とを、調和性のある協和音を媒体として相互に変換する情報信号コンバートシステムであって、感情を表現する１以上の感情パラメータの各状態を数値的又は段階的に表した前記情報信号毎に固有のデータを、相互に対応させ格納している感情データベースと、協和音及び／又は音階の構成音を格納している協和音データベースと、感情を表現するメロディ以外の情報信号から抽出された感情パラメータのデータ毎に前記協和音データベースから抽出された協和音の構成音を１音以上ずつ割り当て、感情を表現するメロディからなる情報信号への変換及び／又はそれらの逆変換を行う変換手段とを有する情報信号コンバートシステムである。
【０００９】
請求項１の発明により、調和されたメロディとメロディ以外の情報信号の相互変換が円滑に行われ、情報信号同士で感情の補完がなされる。
【００１０】
請求項２の発明は、
前記感情パラメータのデータ及び／又は前記協和音及び／又は音階及び／又は協和音からなるコード進行を任意に設定する感情設定手段を有する情報信号コンバートシステムである。
【００１１】
請求項２の発明により、感情パラメータや協和音の選択をユーザが自由に、逐次変えることにより、感情の変化やユーザの好みや用途に柔軟に対応することが出来る。
【００１２】
請求項３の発明は、
前記感情を表現するメロディからなる情報信号が、短調・長調の種類、音符種類、音の高低、音の大小、音色、テンポ、トーンの少なくとも１以上からなる感情パラメータを有する情報信号コンバートシステムである。
【００１３】
請求項３の発明により、これら万人が共通の感覚として持ち合わせている感情パラメータにより、メロディとしての感情表現が豊かなものとなる。
【００１４】
請求項４の発明は、
前記感情を表現する情報信号に、喜怒哀楽等の感情パラメータを有する感情種類が含まれる情報信号コンバートシステムである。
【００１５】
請求項４の発明により、言語等の感情を表現しない情報信号であっても、感情種類を付加することにより感情を表現する情報信号とすることが出来る。
【００１６】
請求項５の発明は、
前記感情を表現する情報信号に、色相、明度、彩度の少なくとも１以上からなる感情パラメータを有する色彩が含まれる情報信号コンバートシステムである。
【００１７】
請求項６の発明は、
前記変換手段に於いて、前記感情を表現するメロディと色彩以外の情報信号から、前記メロディからなる情報信号と前記色彩からなる情報信号とに変換及び／又はそれらの逆変換を行う情報信号コンバートシステムである。
【００１８】
請求項６の発明により、メロディと色彩をともに出力することにより、より効果的な感情表現が可能となる。
【００１９】
請求項７の発明は、
前記感情を表現する情報信号に、座標データ、コントローラ等の入力デバイスからの入力信号種類、筆圧、図形種類、色彩の少なくとも１以上からなる感情パラメータを有する空間図形が含まれる情報信号コンバートシステムである。
【００２０】
請求項８の発明は、
前記感情を表現する情報信号に、キーボードの打鍵タイミング、文字種類、単語の少なくとも１以上からなる感情パラメータを有する言語が含まれる情報信号コンバートシステムである。
【００２１】
請求項５、請求項７、請求項８の発明により、感情を表現するメロディ以外の情報信号にその情報信号固有の感情を表すパラメータが付加され、感情の相互対応、補完がより明確となる。
【００２２】
請求項９の発明は、
前記情報信号を格納する蓄積データベースを有するネットワークサーバ又は他の情報信号コンバートシステムとで、ネットワークを介して情報信号の送受信を行う通信手段を有する情報信号コンバートシステムである。
【００２３】
請求項９の発明により、世界中で、より感情豊かで、多彩なチャット、ゲーム、メール送受信、セッション等を行うことが出来る。
【００２４】
【発明の実施の形態】
本発明の実施態様の一例を図を用いて詳細に説明する。図１は本発明の情報信号コンバートシステム１のシステム構成の一例である。
【００２５】
情報信号コンバートシステム１は、入力手段３、変換手段５、感情設定手段７、感情データベース９、協和音データベース１１、出力手段１３を有する。
【００２６】
入力手段３は、任意の情報信号を入力する手段である。例えば、言語を入力する場合には、キーボード等の入力デバイスから文字を逐次入力したり、文字が入力されたテキストファイルを読み込んだり、音声認識ソフト等によって認識した文字列や文章をテキストファイルに変換して、文字列（単語）や、複数の文字列によって構成された文章からなる言語による情報信号を入力する。
【００２７】
変換手段５は、入力手段３に於いて入力された感情を有さない情報信号にユーザの感情を付加したもの又は感情を有する情報信号を、協和音という媒体を用いて、別の形態の感情を有する情報信号に変換する手段である。言語を情報信号として入力する場合を例に詳細を説明すると、まず入力手段３に於いて入力された情報信号をアスキーコードやＥＵＣコードやシフトＪＩＳコードやフォントデータ等のコンピュータ上で文字を表す為の数値情報に変換する。次に感情設定手段７に於いて、感情データベース９に格納されている感情パラメータの選択と、協和音データベース１１に格納されている変換媒体である協和音又は音階の選択を行い、これら選択に基づいて、先に変換された数値情報毎に、選択された感情パラメータの状態を反映させた協和音の構成音を１音以上割り当て、入力信号とは別の形態の、感情を表すことが出来る「メロディ」を少なくとも含む情報信号に変換する。協和音の構成音の割り当て方や、変換の順序（情報信号の入力順に変換する等）は任意である。尚、変換の際に、文字種類（フォント）を考慮しない場合は、入力された情報信号をアスキーコード等の文字コードに変換するだけでよい。
【００２８】
ここで、感情データベース９に格納されている感情パラメータと、協和音データベース１１に格納されている変換媒体である協和音について各々説明を行う。感情パラメータとは、変換手段５に於いて変換される情報信号の一形態である「メロディ」を構成する長調・短調の種類、音符の種類、ピッチ、大小、音色、テンポ、トーン等の感情的要素、同様に、変換される情報信号の一形態である「色彩」を構成する色相、明度、彩度の感情的要素を、数値又は段階によってデータ化したものであり、これらの感情パラメータと、喜怒哀楽等の特定の感情種類とが対応付けられ、感情データベース９に格納されている。尚、感情パラメータは情報信号の形態（メロディ、色彩等）毎に固有で、その情報信号を構成する要素であり、感情種類も感情パラメータかつ情報信号の一形態である。一方、感情種類は情報信号に特に依存することのない全ての情報信号に共通の感情であり感情データベースの必須構成要素ではないが、異なる情報信号の感情パラメータ同士の紐付けがしやすくなるという利点がある。又、感情を有さない言語（例えば文字コードのみ）を感情を有するメロディ等に変換する際には、当然言語（文字コード）に感情を付加する必要があるので、その場合に於いても感情種類という情報信号が有効に利用出来る。感情データベース９内の対応の一例を図３に示す。図３に於いて、例えば「悲しい」という感情には、「短調、ピッチが低い、テンポが遅い、音色は低音楽器」で構成されるメロディと、「紺青、明度割合が１０：９０、彩度割合が０〜３０」で構成される色彩が対応していることが分かる。これらの対応付けは、予め用意されたものでもよいし、ユーザ毎にカスタマイズしてもよい。又、喜怒哀楽等の感情種類と感情パラメータとを対応付けるだけではなく、入力手段３に於いて入力される文字列に含まれる単語や文字種類（フォント）やキーボードへの打鍵タイミングと、感情パラメータとを対応付けてもよい。単語や文字種類によっては喜怒哀楽等の感情を表すことが出来るものもあり、これらは「言語」を構成する感情パラメータの一種である。メロディを構成する感情パラメータの１つである「音符」の種類は、入力手段３に於いて入力される文字列のキーボードへの打鍵タイミングそのもの（打鍵タイミングが速い時は１６分音符、遅い時は２分音符等）と対応させてもよいし、リアルタイムでキーボードから入力するのではなくテキストファイルを読み込む時等は、設定されたテンポやトーンに合わせて、又はランダムに、音符の種類を定めてもよい。
【００２９】
次に、本発明で変換媒体として用いる「協和音又は音階」は、入力手段３に於いて入力された情報信号を変換手段５に於いて、別の形態の情報信号に変換するに際し、変換の手助けを行うものである。協和音についての定義と役割は、発明が解決しようとする課題に於いて説明した通りである。すなわち、協和音はメロディを生成する為の不可欠要素であるが、一からメロディを生成することが困難で、音楽や協和音の概念に精通していない一般ユーザであっても、協和音を媒体として与えれば、協和音の構成音を分解して、それを時系列的に奏でることによって容易に「調和された」メロディを生成することが出来る。協和音を媒体として変換を行う具体例としては、文字種類や単語そのもの、又は文字コード（アスキーコードの場合はキーボードのアルファベットキーそのもの）に、協和音の構成音を１音ずつ割り当てる。例えば、「ドミソシ」の４音からなる協和音を媒体として選択した場合は、図７のように、キーボードの左下から順にドとミとソとシを割り当ててもよいし、ランダムにドとミとソとシを割り当ててもよい。同様に、「ドミソラレ」の５音からなる協和音を文字コードに割り当てた例を図７に示す。尚、音の割り当て方は必ずしも１音ずつである必要はなく、１音以上であればよい。又、先の感情設定手段７に於いて設定された感情パラメータの状態に基づいて、例えば「短調」が選択されている場合、「ドミソ」の３音の協和音（これは長調である）は「ドミ♭ソ」という短調の協和音に変換され、ドとミ♭とソがキーボードの各キーに割り当てられる。又、例えば、感情パラメータのうち、ピッチが「高い」と選択されている場合は、高い方のドミソの音をキーボードの各キーに割り当てればよい。特にピッチの状態が選択されていない場合には、音が低い方から高い方に順番に構成音を割り当ててもよい。このように、文字コードに対応した協和音の各構成音に、その他の感情パラメータの状態（音色、テンポ等）も反映させて、入力された文字コードを変換すると、感情パラメータの状態によるある特定の感情が反映されたメロディ（文字コード毎に協和音の構成音を２音以上ずつ割り当てた場合には、多重音のメロディ）が生成され、しかもこのメロディは協和音の構成音によって生成されているので、単に音をランダムに並べるよりも遥かに音楽的なものとなり、誰でも容易にメロディを生成することが出来る。
【００３０】
ここで、協和音と音階の仕組みについて、図１３を参照しながら触れておくと、音階には一般に、１２通りの音階があることが知られ、誰もが不快とは感じない音列を指す。例えばＣ音階であれば、その構成音は図１３に示すように、「Ｃ」そのものを表す「ド」を起点として「ドレミファソラシド」であり、Ｃ音階の場合にはピアノの鍵盤で言うところの黒鍵は含まれない。又、音階の各構成音には度数が付けられており、例えばＣ音階の場合は、起点となる「ド」を「１度」として、図１３に示すように、各音に度数が割り振られている。一般に、１度と３度と５度の３音を組み合わせた音が「基本となる協和音」である。この基本の協和音に、残りの度数の音を組み合わせたものも又協和音である。例えば、Ｃの基本協和音に７度の「シ」を組み合わせたものをそのまま「Ｃ７」と呼ぶ。このように、Ｃ音階の構成音の任意の組み合わせは、いずれも協和音となる。従って、協和音データベース１１には、協和音のみならず、音階を格納してもよく、図４に一例を示すように、音階又は協和音の名称と構成音の対応を格納しておき、ユーザの好みで任意の協和音や音階を選択して媒体とする。この媒体そのものを感情パラメータと見なしてもよい。又、協和音からなる特定のコード進行を協和音データベース１１に格納しておいてもよい。コード進行を媒体として選択すれば、コード進行（例えば、Ｃ→Ｇ→Ｃ等）に沿ったメロディが生成され、より音楽的になる。コード理論に詳しいユーザであれば、自分で作成したコード進行を登録しておけば、簡易作曲ツールとしても本発明を利用することが出来る。
【００３１】
変換手段５に於いて変換されるメロディ以外の情報信号である「色彩」については、ある感情を示している間は一色に固定して変換するようにしてもよいし、協和音の構成音に各色彩を割り当ててもよい。例えば、色相と明度を固定して、彩度をある一定の範囲で可変させたものをグラデーション的に割り当ててもよいし、色相をランダムにすれば、虹色の色彩を合わせ持つメロディが生成される。虹色のメロディは「目まぐるしい、忙しい」という感情を表すかもしれないし、「とても楽しい」という感情を表すかもしれないが、それは他の感情パラメータや入力文字列とを総合すれば、どちらの感情を表すのかは、第三者でも一義的に判断可能である。すなわち、変換されるメロディや色彩の感情パラメータの設定数が多い程、一義的に感情を判断しやすくなるのは当然であるが、「メロディだけ」又は「色彩だけ」では、必ずしも感情を正確に表現出来ない場合もある為、入力情報信号と、感情が付加された複数の出力情報信号とが相互に補完しあうことによって、感情を表現し、第三者に伝達したり、共有することが出来るようになるのである。
【００３２】
尚、感情設定手段７は、前述の通り、感情パラメータと媒体を選択する手段であるが、必ずしも全ての感情パラメータを選択する必要はなく、その場合はランダム又は任意に決定してもよい。又、感情データベース９に格納されている感情パラメータや協和音データベース１１に格納されている協和音を変更したい時は、逐次キーボード等から変更出来るようにすれば、文字列毎や文章毎に逐次感情を切替えることが容易となる。例えば、テンキー等の特定のキー列を音色や色彩の感情パラメータや媒体の切替えに割り当てておいてもよいし、感情パラメータや媒体の設定データを格納したファイルを逐次読み込んでもよい。又、男性か女性か等の差異によって、感情パラメータを変更出来るようにしてもよい。
【００３３】
出力手段１３は、変換手段５に於いて変換された情報信号を出力する手段である。メロディの聴覚的信号はスピーカーによって耳に聴こえるものとなり、色彩の視覚的信号はディスプレイ等の表示装置によって目に見えるものとなる。色彩は、メロディのような時系列情報ではないので出力形態（形やタイミング）に特に決まりはないが、色彩を音符の形で表現して、メロディの出力と同期させて出力するとより効果的な感情表現が可能となる。尚、変換、出力される情報信号の形態は、上記のメロディや色彩に限らず、固有の感情パラメータで表現される情報信号であればよい。座標データや、筆圧や、コントローラ等の入力デバイスからの入力信号等によって表現される空間図形等も固有の感情パラメータを有する情報信号の一例である。
【００３４】
以上のように、感情データベース９及び協和音データベース１１が用意されていれば、ユーザによって入力された文字列や文章に、ユーザのその時々（リアルタイム）に於ける感情又は単語や文字種類によって表される感情をメロディや色彩といった情報信号に変換して付加することが出来、文字情報にいわば表情を付けることが出来る。これにより、感情を表現する為にわざわざ音楽を創作する必要はなく、誰でも容易に感情を表現し、共有することが出来る。
【００３５】
尚、本発明の情報信号コンバートシステム１は、逆の変換プロセスも実行可能である。入力手段３に於いて予め感情パラメータを有するメロディや色彩等の情報信号を入力すれば、メロディや色彩に含まれる感情パラメータの状態と、媒体となった協和音を、感情データベース９及び協和音データベース１１から特定し、変換手段５に於いて変換を行えば、出力手段１３に於いては、特定の文字列や文章及び／又は感情種類が出力される。このように、メロディや色彩が先にあるような場合であっても、メロディや色彩に言語という別の感情表現手段による情報信号を付加することにより、感情の相互補完を図ることが出来る。
【００３６】
以上は、感情を持たない言語と感情を有するメロディや色彩との相互変換の例であったが、本発明は、協和音を媒体とした情報信号の相互変換ツールであることからも明らかなように、図２の概念図に示されるように、協和音の構成音を含むメロディからなる情報信号と、色彩・図形・言語・感情種類等のメロディ以外の感情を有する情報信号（感情を有さない言語の場合には感情種類等を付加して感情を持たせる）との相互変換ツールであることに他ならない。すなわち、メロディ以外の情報信号からメロディに変換する場合は、メロディ以外の情報信号が有する感情パラメータを抽出し、その感情パラメータと対応するメロディの感情パラメータを協和音の構成音に反映させたものを、メロディ以外の情報信号が有する感情パラメータに割り当て、メロディに変換する。メロディをメロディ以外の情報信号に変換する場合は、メロディを構成する構成音からメロディの感情パラメータと協和音を抽出し、メロディ以外の情報信号が有する感情パラメータに割り当て、各構成音をメロディ以外の情報信号に変換する。もちろん、メロディとメロディ以外の情報信号の相互変換に限らず、メロディを介して、メロディ以外の情報信号間（例えば、言語と色彩、図形と色彩等）の相互変換も「調和性」を持ったメロディ（協和音）を経由して円滑に行われることになる。
【００３７】
【実施例１】
次に本発明のプロセスの流れの一例を図５のフローチャート図、図１のシステム構成図、図２の概念図とを用いて詳細に説明する。本実施例に於いては、感情を有さない言語による情報信号に感情を付加して、入力された順にメロディと色彩の情報信号に変換して出力する場合について説明する。
【００３８】
感情設定手段７に於いて、喜怒哀楽等の感情種類及び／又は音色や色相等の感情パラメータの設定をキーボードのキーの押下や設定ファイルの読み込み等により受信する（Ｓ１０）。
【００３９】
同様に感情設定手段７に於いて、媒体となる協和音の設定を行う（Ｓ２０）。予め任意の協和音が設定されていてもよいし、任意の協和音を複数含む音階を媒体として設定してもよい。尚、Ｓ１０とＳ２０の順序についてはこれに限らない。
【００４０】
感情及び協和音の設定がされた段階で、入力情報信号の情報単位である文字コード毎に、設定された感情が付加された協和音の構成音及び色彩を１つずつ割り当て、文字コードと協和音及び色彩との対応テーブルを作成する（Ｓ３０）。例えば、文字コードがアスキーコードで、感情設定手段７に於いて、媒体を「Ｃ７」という協和音に設定し、「楽しい」という感情種類を設定した場合、図４の協和音データベース１１からＣ７に相当する構成音（ドミソシ）を抽出し、図３の感情データベース９から「楽しい」に相当する感情パラメータを抽出する。ここで、例えばメロディには「長調」、音色は「ピアノ」という感情、色彩には「黄」、明度は白と黒の割合が８０：２０、彩度は一定の範囲内で任意、等という感情が対応していることが分かるので、音色をピアノの音に設定した上で、協和音の構成音は長調でそのまま「ドミソシ」として、文字コードに「ドミソシ」のいずれかを割り当てる。又、文字コードには、協和音だけでなく色彩も割り当てる。黄色系で彩度を可変させた色彩を順に文字コードに割り当ててもよい。この対応テーブルをキーボード上に置き換えたものが、図７に示す例である。（図示はされていないが、図７の各キーには色彩も割り当てられているものとする。）尚、媒体としてＣ音階（ドレミファソラシド）を設定した場合には、図８に一例を示すような対応テーブルが作成される。
【００４１】
入力手段３に於いてキーボードや、テキストファイルの読み込みによって言語による情報信号を入力し、この情報信号を変換手段５に於いて文字コードに変換する（Ｓ４０、Ｓ５０）。例えば、「こんにちわ」という情報信号が入力された場合は、「ｋｏｎｎｎｉｃｈｉｗａ」の各アルファベットに対応する文字コードに順次変換される。尚、例えば「ありがとう」という単語が入力された時に図３の感情データベース９に示されるような表の右列に記載された感情パラメータを設定し、対応テーブルを作成するという場合には、対応テーブルを作成する前に入力手段３に於いて情報信号を入力し、「ありがとう」に対応する文字コードが入力されたことを検知してから対応テーブルを作成する必要があるので、当然のことながら、Ｓ３０とＳ４０〜Ｓ５０の順序は逆となる。
【００４２】
変換手段５に於いて、作成された対応テーブルに基づいて、入力された情報信号を逐次メロディと色彩の情報信号に変換し、出力手段１３に於いて出力する（Ｓ６０）。先に作成された図７の対応テーブルに基づいて、「こんにちわ」と入力した時に出力される「楽しい」メロディは図９に示した通りである。同様に、「はじめまして」と入力した時に出力されるメロディも図９に示す。音符は、打鍵タイミングに従って生成されてもよいし、予め設定したテンポやトーンに合うようにランダムに生成されてもよい。本発明の情報信号コンバートシステム１を用いて変換されたメロディは、協和音を媒体としているので、必ず調和性のある音楽的なメロディが生成され、かつ「楽しい」という感情が反映されたものとなる。又、図９の「シドミミミシソミシミド」というメロディの各音に同期して、音符の形をした「楽しい」色彩がディスプレイ等に表示されてもよい。「楽しい」という感情が反映されたメロディと「楽しい」という感情が反映された色彩との組み合わせによって、より感情表現が豊かとなる。
【００４３】
感情や媒体の設定に変更がある場合は、逐次Ｓ１０に戻り、対応テーブルを再生成する（Ｓ７０）。
【００４４】
これまでのステップとは逆に、図９の「シドミミミシソミシミド」というメロディが先にあり、このメロディを文字コードに変換する場合について説明すると、まずメロディがどの協和音で構成されているかを協和音データベース１１から抽出する。ここで、メロディが「ドミソシ」の協和音で出来ていることが分かり、「ドミソシ」と文字コードとを対応させ、メロディの順番に文字コードに変換していくと「こんにちわ」という言葉に変換される。更には、メロディの感情パラメータを分析し、感情データベース９から対応する感情種類を探せば、その感情種類が「楽しい」であることが分かる。
【００４５】
尚、入力情報信号と、変換された出力情報信号と、感情設定手段７に於いて設定した感情パラメータと、媒体として用いた協和音は、コンピュータのハードディスクやネットワークサーバ等に蓄積することが可能である。従って、ユーザは過去のメロディや色彩の作成結果を入力情報信号と対応させたデータとして保存し、いつでも再現させることが可能である。
【００４６】
【実施例２】
次に、セッション、チャット、ゲーム、メール送受信等の用途に於いて、本発明の情報信号コンバートシステム１を複数のユーザがネットワークを介して、利用する場合の実施例を説明する。図６に本実施例に於けるシステム構成の一例を示す。各ユーザの情報信号コンバートシステム１又は情報信号コンバートシステム１を搭載したコンピュータは、ネットワーク通信機能（通信手段）を有し、ネットワーク１５を介してネットワークサーバ１７に接続される。ネットワークサーバ１７は蓄積データベース１９を管理している。
【００４７】
各ユーザの情報信号コンバートシステム１のシステム構成及び実施例は、先に説明したのと同様であるが、その他に通信手段を有することにより、ネットワークサーバ１７又は他のユーザとの間で、入力情報信号や、メロディや色彩に変換された出力情報信号の送受信を行うことが出来る。
【００４８】
ネットワークサーバ１７は、ユーザ間の情報信号の送受信の仲介を行ってもよいし、ネットワーク１５を介して送受信された情報信号や変換に用いた感情パラメータや変換媒体となった協和音を蓄積データベース１９に蓄積してもよい。蓄積データベース１９に情報信号等を格納することにより、複数のユーザが同時にネットワークサーバ１７にアクセスしない場合でも、他のユーザが過去に生成した情報信号を閲覧したり、他のユーザが生成した情報信号に別のユーザが手を加えて、別の情報信号を生成することも出来る。
【００４９】
本発明の情報信号コンバートシステム１を用いて、ネットワーク１５を介して、複数ユーザがチャットを行う場合の一例を図１０に示す。図１０に於いて、タローとハナコとイチローは、それぞれの感情を感情設定手段７に於いて設定し、媒体である協和音についても同様に各自設定しており、各々対応テーブルが生成されているものとする。
【００５０】
図１０に於いて、タローによって「こんにちわ」と入力されると、「ｋｏｎｎｎｉｃｈｉｗａ」に対応する文字コードに変換され、対応テーブルに従って、図１０に示すような「シドミミミシソミシミド」という感情を持ったメロディが出力され、感情を表す色彩とともに、ハナコとイチローに送信される。ハナコによって「はじめまして」と入力された時も、イチローによって「昨日はありがとう」と入力された時も同様の手順で、メロディと色彩を出力し、互いにこれら入出力情報信号の送受信を行い、文字のみをやりとりするよりも遥かに感情表現豊かなチャットが行われる。
【００５１】
図１０の例のように複数のユーザが各々異なる媒体を設定しても音楽的な表現が豊かになるが、一方で、例えば「Ｃの協和音の部屋」、「Ｇ音階のコード進行の部屋」、「短調の部屋」等といった、ネットワークサーバ１７側で媒体や感情パラメータを予め設定したチャットの場を用意しておいたり、自分が設定した媒体や感情の全て又は一部を他のユーザに公開しておくようにしても、同じような感情を持ったユーザが集いやすくなり、又、複数のユーザが同時にメロディや色彩を出力した時に、メロディや色彩のセッションを違和感なく円滑に行うことが出来る。
【００５２】
以上のように、本実施例に於いては、ネットワークを介して、複数のユーザ間の同時又は非同時による感情の共有、伝達を円滑に行うことが出来、メロディや色彩によるセッション、チャット、ゲーム、メール送受信等が可能となる。
【００５３】
【実施例３】
次に、異なる表現手法によって生成され、各々感情を有する情報信号（例えば空間芸術と時間芸術）間で実行される情報信号コンバートシステム１である場合の実施例を説明する。
【００５４】
本実施例に於いては、入出力されるいずれの情報信号にも感情が含まれている。従って、感情データベース９には、入力手段３に於いて入力される情報信号が有する感情パラメータの状態と、出力手段１３に於いて出力される情報信号が有する感情パラメータの状態との対応を設定し、格納しておく必要がある。例えば、マウス、ペンタブレット、コントローラ等の入力デバイスにより図形（空間芸術）を創作し、これをメロディ（時間芸術）に変換する場合、図形の感情パラメータである座標データの数値や、マウスのＯＮ／ＯＦＦ、ペンダブレット操作による筆圧等の数値データ（色が付けられている場合は、色相、明度、彩度等も感情パラメータに含んでもよい）と、出力されるべきメロディの感情パラメータである音符や、音色や、トーン等の数値データとを対応付けておく。
【００５５】
更に、協和音データベース１１から任意の協和音又は音階を選択し、入力された図形の座標データやコントローラの○、△、□、×等の信号に、対応するメロディの感情パラメータの状態を反映させた協和音の構成音を割り当て、メロディに変換する。これは、実施例１に於いて、文字コードに協和音の構成音を割り当てたのと同様の手順である。
【００５６】
実施例１に於いては、文字コードが入力された順にメロディに変換されたが、変換の順序は任意である。従って、本実施例に於いては、例えば、ｘｙｚからなる座標データの場合には各値の昇順や降順で順にメロディに変換してもよいし、極座標の場合には中心からの半径距離とラジアン値の昇順や降順で順にメロディに変換してもよいし、コントローラの○、△、□、×の場合には○→△→□→×のように順番を決めて順にメロディに変換してもよい。
【００５７】
逆にメロディを図形に変換する場合は、メロディを構成している協和音及び感情パラメータを協和音データベース１１及び感情データベース９から抽出し、メロディの感情パラメータに対応する出力すべき図形の感情パラメータの状態を抽出するとともに、協和音の構成音を出力すべき図形の座標データやコントローラの○、□、△、×等に割り当て、順次図形に変換する。
【００５８】
以上のように、感情を有する情報信号同士を相互に変換することにより、一方が他方の感情表現を補完し、より効果的な感情表現や芸術表現が可能となる。空間芸術と時間芸術の例に於いては、空間芸術と時間芸術を同時に出力することにより、感情表現豊かなセッションや、音と図形の融合が容易に行える。
【００５９】
本発明に於ける各手段、データベースは、その機能が論理的に区別されているのみであって、物理上あるいは事実上は同一の領域を為していてもよい。又データベースの代わりにデータファイルであってもよいことは言うまでもなく、データベースとの記載にはデータファイルをも含んでいる。
【００６０】
尚、本発明を実施するにあたり本実施態様の機能を実現するソフトウェアのプログラムを記録した記憶媒体をシステムに供給し、そのシステムのコンピュータが記憶媒体に格納されたプログラムを読み出し実行することによっても実現される。
【００６１】
この場合、記憶媒体から読み出されたプログラム自体が前記した実施態様の機能を実現することとなり、そのプログラムを記憶した記憶媒体は本発明を構成する。
【００６２】
プログラムを供給する為の記憶媒体としては、例えば磁気ディスク、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等を使用することが出来る。
【００６３】
又、コンピュータが読み出したプログラムを実行することにより、上述した実施態様の機能が実現されるだけではなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステムなどが実際の処理の一部又は全部を行い、その処理によって前記した実施態様の機能が実現される場合も本発明に含まれる。
【００６４】
【発明の効果】
本発明は、文字にメロディ、色彩を付加したり、又はメロディ、色彩に文字を付加したり、メロディと図形を相互変換するという、感情の相互補完ツールとして、誰でも簡単に即座に利用することが出来る。子供からお年寄りまで、音楽や絵画を創作する技術を持たないユーザが入力された文字列や文章に、ユーザのその時々（リアルタイム）に於ける感情をメロディや色彩といった情報信号に変換して付加することが出来、誰でも簡単に感情を表現することが出来る。
【００６５】
文字列や文章に表情を付けることが出来るので、その場に居合わせることなく、ネットワークを介して、複数のユーザ間の同時又は非同時による感情の共有、伝達や、音や色による情緒溢れるセッションやチャットやゲームやメール送受信が可能となり、世界中の円滑なコミュニケーションの促進が図られる。
【００６６】
空間芸術と時間芸術のいずれか一方にしか秀でていない又は精通していない人にとっては、精通していない芸術を自分の得意な芸術表現手法で理解することが出来るようになる。例えば、目の不自由な人にとっては、与えられた空間芸術を時間芸術に変換することにより、目に見えない空間芸術を理解する為の一助となり、耳の不自由な人にとっては、与えられた時間芸術を空間芸術に変換することにより、耳に聴こえない時間芸術を理解する為の一助となる。
【００６７】
異なる芸術表現手法を有する芸術家同士が、互いの創作物を容易に異なる芸術表現手法に変換して、交換したり、セッションすることが出来る。又、例えば美術の分野に精通していない音楽家が、自分の創作した音楽を空間芸術に変換することにより、容易に音と絵の融合を図ることが出来る。音楽に精通していない美術家についても同様である。
【図面の簡単な説明】
【図１】本発明のシステム構成の一例を示す図である。
【図２】本発明の概念を示す図である。
【図３】本発明の感情データベースの詳細の一例を示す図である。
【図４】本発明の協和音データベースの詳細の一例を示す図である。
【図５】本発明のプロセスの流れの一例を示すフローチャート図である。
【図６】本発明のシステム構成の他の一例を示す図である。
【図７】文字コードに協和音の構成音を割り当てた一例を示す図である。
【図８】文字コードに音階の構成音を割り当てた一例を示す図である。
【図９】入力した文字列をメロディと色彩に変換した一例を示す図である。
【図１０】複数のユーザがネットワークを介してチャットを行う一例を示す図である。
【図１１】協和音の一例を示す図である。
【図１２】色立体の一例を示す図である。
【図１３】音階と協和音の構成の一例を示す図である。
【符号の説明】
１：情報信号コンバートシステム
３：入力手段
５：変換手段
７：感情設定手段
９：感情データベース
１１：協和音データベース
１３：出力手段
１５：ネットワーク
１７：ネットワークサーバ
１９：蓄積データベース
１０１：色相
１０３：明度
１０５：彩度

Claims (9)

1. 感情を表現するメロディからなる情報信号と、感情を表現するメロディ以外の情報信号とを、調和性のある協和音を媒体として相互に変換する情報信号コンバートシステムであって、
   感情を表現する１以上の感情パラメータの各状態を数値的又は段階的に表した前記情報信号毎に固有のデータを、相互に対応させ格納している感情データベースと、
   協和音及び／又は音階の構成音を格納している協和音データベースと、
   感情を表現するメロディ以外の情報信号から抽出された感情パラメータのデータ毎に前記協和音データベースから抽出された協和音の構成音を１音以上ずつ割り当て、感情を表現するメロディからなる情報信号への変換及び／又はそれらの逆変換を行う変換手段とを、
   有することを特徴とする情報信号コンバートシステム。
2. 前記情報信号コンバートシステムは、
   前記感情パラメータのデータ及び／又は前記協和音及び／又は音階及び／又は協和音からなるコード進行を任意に設定する感情設定手段を
   有することを特徴とする請求項１に記載の情報信号コンバートシステム。
3. 前記情報信号コンバートシステムは、
   前記感情を表現するメロディからなる情報信号が、
   短調・長調の種類、音符種類、音の高低、音の大小、音色、テンポ、トーンの少なくとも１以上からなる感情パラメータを有する
   ことを特徴とする請求項１又は請求項２に記載の情報信号コンバートシステム。
4. 前記情報信号コンバートシステムは、
   前記感情を表現する情報信号に、
   喜怒哀楽等の感情パラメータを有する感情種類が含まれる
   ことを特徴とする請求項１から請求項３のいずれかに記載の情報信号コンバートシステム。
5. 前記情報信号コンバートシステムは、
   前記感情を表現する情報信号に、
   色相、明度、彩度の少なくとも１以上からなる感情パラメータを有する色彩が含まれる
   ことを特徴とする請求項１から請求項４のいずれかに記載の情報信号コンバートシステム。
6. 前記情報信号コンバートシステムは、
   前記変換手段に於いて、前記感情を表現するメロディと色彩以外の情報信号から、前記メロディからなる情報信号と前記色彩からなる情報信号とに変換及び／又はそれらの逆変換を行う
   ことを特徴とする請求項５に記載の情報信号コンバートシステム。
7. 前記情報信号コンバートシステムは、
   前記感情を表現する情報信号に、
   座標データ、コントローラ等の入力デバイスからの入力信号種類、筆圧、図形種類、色彩の少なくとも１以上からなる感情パラメータを有する空間図形が含まれる
   ことを特徴とする請求項１から請求項６のいずれかに記載の情報信号コンバートシステム。
8. 前記情報信号コンバートシステムは、
   前記感情を表現する情報信号に、
   キーボードの打鍵タイミング、文字種類、単語の少なくとも１以上からなる感情パラメータを有する言語が含まれる
   ことを特徴とする請求項１から請求項７のいずれかに記載の情報信号コンバートシステム。
9. 前記情報信号コンバートシステムは、
   前記情報信号を格納する蓄積データベースを有するネットワークサーバ又は他の情報信号コンバートシステムとで、ネットワークを介して情報信号の送受信を行う通信手段を
   有することを特徴とする請求項１から請求項８のいずれかに記載の情報信号コンバートシステム。

Images