JP2003507799A - 和声法を用いた調和色選定方法及び装置、並びに音・色及び色・音変換方法及び装置 - Google Patents

和声法を用いた調和色選定方法及び装置、並びに音・色及び色・音変換方法及び装置

Info

Publication number
JP2003507799A
JP2003507799A JP2001517354A JP2001517354A JP2003507799A JP 2003507799 A JP2003507799 A JP 2003507799A JP 2001517354 A JP2001517354 A JP 2001517354A JP 2001517354 A JP2001517354 A JP 2001517354A JP 2003507799 A JP2003507799 A JP 2003507799A
Authority
JP
Japan
Prior art keywords
sound
color
frequency
sound source
harmonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001517354A
Other languages
English (en)
Inventor
キム,ギル−ホ
Original Assignee
ハーモニーカラー システム カンパニー,リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハーモニーカラー システム カンパニー,リミテッド filed Critical ハーモニーカラー システム カンパニー,リミテッド
Publication of JP2003507799A publication Critical patent/JP2003507799A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065Aids for the handicapped in understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Auxiliary Devices For Music (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 音・色及び色・音変換方法及び装置を開示しており、特に、和声法に基づいて任意の基準色と正確に調律される調和色を選定すること、及び波動の属性を有する音及び色を相互に周波数変換することによって、音のカラー映像化及び映像のサウンド化を可能にした方法及び装置を開示している。和声法を用いて調和色を選定する方法は、音階分割率と和声法コードとを選択するステップと;基準色を選択するステップと;選択した基準色の輝度を演算するステップと:その輝度に対応したオクターブを決定する段階と、上記の決定されたオクターブにおける音階周波数比に応じて、選択した和声法コードの調和周波数比を参照して、前記基準とした周波数から調和色周波数を演算するステップとを有し、もしその演算した調和色が可視周波数帯からずれている場合には、その調和周波数を可視周波数帯に変換する。

Description

【発明の詳細な説明】
【0001】 技術分野 本発明は和声法(ハーモニクス)を用いた調和色選定方法及び装置、並びに音
・色及び色・音変換方法及び装置に関し、より詳しくは和声法に基づいて任意の
基準色と正確に調律される調和色を選定し、波動の属性を有する音及び色を相互
に周波数変換して音のカラー映像化及び映像のサウンド化を可能にした方法及び
装置に関するものである。
【0002】 背景技術 カラーテレビ放送によりカラーの大衆化が急速に行われるにつれ、色の経済的
な価値が高くなっている。また、色の商業化競争に因る無差別的な色の供給で、
不協和的な色相は人間生活環境に新たな色公害の問題を起こしている。
【0003】 したがって、ウェブデザイナー、美術家、建築家、室内装飾家、産業デザイナ
ー、景観設計家、衣裳デザイナー、舞台監督、多様な分野の創作者や商品購買者
にとっては調和の取れた色合いの選定が極めて重要となっている。
【0004】 ここで、色調和(Color Harmony)とは2つ以上の色が互いに隣接して使われ
ることにより有用な効果をもたらすことを言う。
【0005】 これまでの色調和は、人の視覚的な経験を基にして任意の基準色及び上記基準
色と調和している調和色を天然色で印刷したカラー印刷形態の本を参考して調和
色を採択しており、代表的な色相調和の基準としては、塗り絵帳(Coloring Boo
k)やマンセル(Muncell)表色系及び陰極線管のような表示装置における正確な
可視光の具現のために国際照明機構(CIE)が提案したCIE表色系などが挙
げられる。
【0006】 しかし、従来の色調和方法は、人の経験や実験に基づいた調和方法であって、
客観性が欠如しており、印刷形態の基準資料を基にして人の視覚的な感覚に依存
して調和色を選択しなければならならため、色相の正確性が劣り、また印刷形態
の基準資料はコンピュータを用いたデスクトップ出版システム(Desk Top Publi
shing system;DTP)に直接応用されることができないという限界がある。
【0007】 さらに、和声的に既に調和している音楽から調和のとれた色相を導出する方法
として提示する音・色相互変換において、色と音はそれぞれ視覚と聴覚に適用さ
れる周波数の帯域のみが異なっているだけで、物理的な波動の属性は同一である
ものの、これに基づいた色と音の可逆変換についてはこれまで研究されたことが
ない。
【0008】 音の変化を視覚化したグラフィック・イコライザー(graphic equalizer)に
代表される従来の音圧表示装置は単に周波数帯域別の音圧の大きさを表示するだ
けで、表示される画像が単純で応用範囲が狭いという短所がある。
【0009】 ハバス(Havass)による米国特許第6,046,724号では、音を光
に変換する方法及び装置を開示している。上記ハバス特許においては、3オクタ
ーブから8オクターブに対応する6つのフィルタ手段を介して音の周波数及び音
の強弱に応じてRGBの3色光源を制御して音に対応する光を表示する。
【0010】 発明の開示 従って、本発明の第1目的は、上記した問題点を解消するために、和声法に基
づいて任意の基準色に正確に調律された調和色を選定する方法及び装置を提供す
ることにある。
【0011】 本発明の第2目的は、10オクターブ当たり12音階と、10輝度当たり12
色とを1:1に対応させて第1の座標軸場に配列させることにより、音と色の相
互変換を一目で見られる音・色変換表を提供することにある。
【0012】 本発明の第3目的は、音・色変換表により音階位置を着色することによって、
音楽演奏時に各音階を色として認知できる楽器を提供することにある。
【0013】 本発明の第4目的は、色と音の波動、すなわち周波数の特性を用いて客観的で
且つ妥当性のある数式化された周波数変換基準を提供し、この基準に基づき可視
及び可聴周波数を、可聴及び可視周波数にそれぞれ容易に変換することにより、
色の聴覚化及び音の視覚化を可能にする音・色及び色・音変換方法及び装置を提
供することにある。
【0014】 本発明の第5目的は、音・色変換時、ステレオ音の音源位置を表現するために
音源の位置を決定できる音源位置決定方法及び装置を提供することにある。
【0015】 上記の目的を達成するために、本発明の1態様による調和色選定方法は、音階
分割率及び和声法コードを選択する段階と、基準色を選択する段階と、上記選択
された基準色の輝度(明度)を算出する段階と、算出された明度に対応するオク
ターブを定める段階と、定められたオクターブ内における音階周波数比に応答し
て上記選択された和声法コードの調和周波数比に基づいて上記基準色周波数から
調和色周波数を演算し、上記演算された調和色周波数が可視周波数帯域を外れた
場合は、調和色周波数を可視周波数帯域に切り換える段階と、上記演算された調
和色周波数を上記基準色の調和色として表示する段階とを含むことを特徴とする
【0016】 上記音階分割率は平均律或いは純正律である。平均律である場合は、次の数式
によって調和色が求められる。
【0017】
【数9】
【0018】 本発明の他の態様による調和色選定装置は、音階分割率、和声法コード、及び
基準色を選択するための選択手段と、音階分割率に応じた上記和声法コードによ
る調和音階の調和周波数比表を貯蔵するための貯蔵手段と、上記選択された基準
色の明度を算出し、算出された明度に対応するオクターブを定め、定められたオ
クターブ内における音階周波数比に応答して上記選択された和声法コードの調和
周波数比を上記表を参照して上記基準色周波数から調和色周波数を演算し、上記
演算された調和色周波数が可視周波数帯域を外れた場合は、調和色周波数を可視
周波数帯域に切り換える演算手段と、上記演算された調和色周波数を上記基準色
の調和色として表示する表示手段とを備えることを特徴とする。
【0019】 本発明の他の態様による音・色変換表は、第1座標軸上に音階“ド”と色系“
赤”とを座標原点にして12等間隔で12音階及び12色系を1:1に対応させ
て配列し、第2座標軸上に10オクターブ及び10段階の輝度を1:1に対応さ
せて配列したことを特徴とする。上記音・色変換表は円形座標系又は直交座標系
で構成する。上記色系“赤”は、色系“赤、緑、青”に近接する音階“ド、ミ、
ソ”の波長を有する。
【0020】 上記円形座標系は第1座標軸が円周方向であり、第2座標軸が円中心方向であ
る。上記直交座標系は、音階に輝度が正比例するようになすことができる。
【0021】 本発明の他の態様による楽器は、音・色変換表による色に対応する音階位置が
着色されていることを特徴とする。
【0022】 本発明による音・色変換方法は、入力された音をフーリエ変換する段階と、フ
ーリエ変換された信号のうち、少なくとも1つの特定の可聴周波数信号をサンプ
リングする段階と、サンプリングされた少なくとも1つの可聴周波数信号を次の
数式によって可視周波数信号に変換する段階と、上記変換された少なくとも1つ
の可視周波数に対応する色を表示する段階とを含むことを特徴とする。すなわち
【数10】
【0023】 上記サンプリングする段階は、上記フーリエ変換された信号を一定の時間間隔
毎にフレーム単位で入力する段階と、各フレーム毎に少なくとも1つ以上のピー
ク値を求める段階と、求められたピーク値を音圧の大きさの順に整える段階と、
上記音圧の大きさ順に所定の個数のピーク値をサンプリングする段階とを含む。
【0024】 上記表示段階は、上記サンプリングされた各ピーク値の周波数位置において各
ピーク値の音圧に比例する大きさを有し、上記変換された色でカラー化された映
像を表示する。また、上記表示段階は、上記サンプリングされた各ピーク値の周
波数に対応するアニメーションの各位置において各ピーク値の音圧に比例するア
ニメーションの動きを持ち、上記変換された色でカラー化された映像を表示する
こともできる。さらに、上記表示段階は、所望の位置に全てのピーク値の音圧に
比例する大きさを有する映像を重ねて表示することも可能である。
【0025】 本発明の更に他の態様による音・色変換方法は、複数のチャンネルを介して入
力された複数の音をそれぞれフーリエ変換する段階と、各フーリエ変換された信
号のうち特定の可聴周波数の少なくとも1つの信号をサンプリングする段階と、
互いに対応する周波数の可聴周波数信号を用いて上記複数のチャンネル間の音源
位置を演算する段階と、サンプリングされた複数の信号のうち、サンプリングさ
れた少なくとも1つの可聴周波数信号を前式と同様に可視周波数信号に変換する
段階と、上記変換された少なくとも1つの可視周波数に対応する色を周波数及び
音源位置に応じて表示する段階とを含むことを特徴とする。
【0026】
【数11】
【0027】 上記複数のチャンネルの音源入力位置の間において音源の発生位置を下記の数
式に基づいて演算する。
【0028】
【数12】
【0029】 本発明の他の態様による音・色変換装置は、音を入力するための入力手段と、
入力された音を増幅するための増幅手段と、増幅された音をフーリエ変換するた
めのフーリエ変換手段と、フーリエ変換された信号のうち、特定の可聴周波数の
少なくとも1つの信号をサンプリングするためのサンプリング手段と、上記サン
プリングされた可聴周波数信号を可視周波数信号に変換する音・色変換手段と、
上記変換された少なくとも1つの可視周波数に対応する色を表示する表示手段と
を備えることを特徴とする。
【0030】 本発明の更に他の態様による音・色変換装置は、複数のチャンネルを介して入
力された複数の音源をフーリエ変換する手段と、入力された音を増幅するための
増幅手段と、増幅された音をフーリエ変換するためのフーリエ変換手段と、フー
リエ変換された信号のうち、特定の可聴周波数の少なくとも1つの信号をサンプ
リングするためのサンプリング手段と、上記複数のチャンネル間の音源位置を、
互いに対応する周波数の可聴周波数信号を用いて演算する演算手段と、上記少な
くとも1つのサンプリングされた可聴周波数信号を可視周波数信号に変換する手
段と、上記各可聴周波数からそれぞれ変換された少なくとも1つの可視周波数に
対応する色を音源位置に応じて表示する表示手段とを備えることを特徴とする。
【0031】 上記表示手段は、CRT、LCDのような映像表示装置や、フルカラー表示ラ
ンプ、及びカラーレーザ光源装置等の照明装置で構成することができる。
【0032】 本発明の更に他の態様による色・音変換方法は、入力された色に対応する可視
周波数(F)及び輝度(BFi)を求める段階と、求められた可視周波数を次
の数式によって可聴周波数に変換する段階と、上記変換された可聴周波数を音と
して出力する段階とを含むことを特徴とする。
【0033】
【数13】
【0034】 本発明の更に他の態様による色・音変換装置は、入力された色に対応する可視
周波数及び輝度を求める手段、求められた可視周波数を前と同様の式によって可
聴周波数に変換する色・音変換手段と、上記変換された可聴周波数を音として出
力する出力手段とを備えることを特徴とする。
【0035】
【数14】
【0036】 本発明の更に他の態様による音源位置をサンプルする方法は、互いに一定の間
隔だけ離れた複数のチャンネルを介して音源から音を入力する段階と、各チャン
ネルを介して入力された音をそれぞれフーリエ変換する段階と、上記各フーリエ
変換された信号のピーク値をサンプリングする段階と、上記サンプリングされた
各周波数で複数のチャンネルの音圧を用いて複数のチャンネル間の音源発生位置
を演算する段階とを含むことを特徴とする。
【0037】 上記複数のチャンネルの音源入力位置の間における音源の発生位置を下記の数
式に基づいて演算する。
【0038】
【数15】
【0039】 上記複数のチャンネルの音源入力位置の間における音源の発生位置を下記の数
式に基づいて決定する。
【0040】
【数16】
【0041】 本発明の更に他の態様による音源位置決定装置は、互いに一定の間隔だけ離れ
た複数のチャンネルを介して音源から音を入力する入力手段と、各チャンネルを
介して入力された音をそれぞれフーリエ変換するフーリエ変換手段と、上記各フ
ーリエ変換された信号のピーク点を求め、ピーク点の周波数及びレベルをサンプ
リングするサンプリング手段と、上記サンプリングされた各周波数で複数のチャ
ンネルの各音圧を用いて複数のチャンネル間の音源発生位置を演算する演算手段
とを備えることを特徴とする。
【0042】 発明を実施するための最良の形態 以下、添付した図面を参照して本発明の好適な実施の形態をより詳しく説明す
る。
【0043】 図1は、本発明による円形座標系の音・色変換表を示すもので、和声法の12
音階を色に対応させた一例であり、“ド”音(図面中においてCと表記する)を
赤色(632nm)に対応させた例を示している。同図において、色相は可視周
波数を低周波数からログ(log)を取った値が円上の“ド(C)”が位置した
地点を、0度を基準として角度に正比例するように配置し、赤色から橙色、黄色
、緑色、青色、及び紫色の順に表れる。次に、系円上の音階の数(すなわち、1
オクターブの周波数帯域をログ的に(logarithmically)一定した間隔で等分し
た数)は、ド(C)、ド#(C#)、レ(D)、レ#(Eb)、ミ(E)、ファ
(F)、ファ#(F#)、ソ(G)、ソ#(Ab)、ラ(A)、ラ#(Bb)、
スィ(B)のように表現される12音階を基にして配置した。円中心方向に色系
の明度と音階のオクターブとが1:1に対応して色相輪で配列される。従って、
円中心に近付くほど輝度及びオクターブが高くなり、また逆に円中心から遠ざか
るほど輝度及びオクターブが低くなる。
【0044】 図2は、本発明による直交座標系の第1音・色変換表を示すもので、第1音・
色変換表の横軸は音の高さ及び色を示し、縦軸はオクターブ及び輝度を示してい
る。第1音・色変換表は音の高さに色の彩度が正比例するように変換される。従
って、同一のオクターブにおいて、色の輝度は相異なるが、彩度は互いに同一で
ある。
【0045】 図3は、本発明による直交座標系の第2音・色変換表を示すもので、第2音・
色変換表の横軸は音の高さ及び色を示し、縦軸はオクターブ及び輝度を示してい
る。第2音・色変換表は音の高さに色の輝度が正比例するように変換される。従
って、横方向には色の輝度が互いに同一であるが、彩度は相異なるように表示さ
れる。
【0046】 図4及び図5は、本発明の音・色変換表によって音階位置が着色された楽器を
示すもので、図4はギター及びピアノの音階位置を音の高さに輝度が比例する第
2音・色変換表に基づいて着色した場合を示し、図5は第1音・色変換表に基づ
いて着色した場合を示している。
【0047】 したがって、本発明による楽器では、演奏者が音階位置を色として認知するこ
とができて、音階のオクターブ及び音の高さを容易に識別可能である。
【0048】 図6は、本発明による調和色選定装置のブロック図を示す。図6の調和色選定
装置は、選択手段10、貯蔵手段12、演算手段14、及び表示手段16を含む
【0049】 選択手段10は、調和色を捜すための基準色を選択し、音階分割率及び和声法
コードを選択する。
【0050】 貯蔵手段12は、図7、図8に示した表1及び表2を貯蔵する。図7は音階分
割率及び調和周波数比を示す表1であり、図8は和声コードに対応する調和周波
数比を示す表2を示している。
【0051】 演算手段14は音階分割率が平均律として選択された場合は、次の数式により
調和色を演算する。
【0052】
【数17】
【0053】 通常、12音階を主に使用するため、kが12であり、nが1乃至11である
場合について説明する。上記数式において、kが12であるので、
【数18】 は約1.0594であって、1オクターブの周波数を等間隔のログ(log)率で
12等分したとき、隣接する周波数間の比率である。すなわち、音において、和
声法で1オクターブの音を12音階に分けた場合、隣接する音(例えば、“ド”
と“ド#”)間の周波数比と同一である。
【0054】 これにより、調和周波数比nは特定のコードを構成する音の等比率間隔を意味
するが、その一例として“ドミソ”からなるメジャーコードは“ド”音に当る周
波数を基準として、“ミ”音と“ソ”音に当る周波数間の等比率間隔がそれぞれ
4と7であるため、上記表においてメジャーコードの調和周波数値は4及び7と
して現われる。このため、入力周波数が“ド”音に対応する場合、上記入力周波
数と調和している複数の調和周波数はそれぞれ“ミ”音と“ソ”音に対応する周
波数となる。
【0055】 例えば、入力手段11から提供された入力周波数が青色に対応する約690T
Hz(435nmの波長)であり、マイナーコードに該当する調和周波数を演算
する場合、調和周波数比nがそれぞれ3と7であるため、
【数19】 である。
【0056】 ところが、Fh2は可視周波数範囲を外れるので、第1演算部17は演算され
た調和周波数が可視周波数範囲を外れる場合、演算された調和周波数を2で分け
ることにより、可視周波数範囲を外れることがないようにする。したがって 、
h2は2で分けた516.92THz(580.36nmの波長)となる。
【0057】 また、既存の平均律上における12音階は、上記した数式のように1オクター
ブの周波数を等間隔のログ比率で等分すると、隣接する音との周波数間隔はいず
れの音でも
【数20】 と同一であるが、純正律の場合は、“ド”音を基準として分数形態でその上の音
を作る方式であるので、隣接する音との周波数間隔が一定していない。しかしな
がら、純正律は今までも調律方法として使用されるべき平均律に比べてその調和
程度が優れている。
【0058】 したがって、音階を純正律で等分した場合において、調和周波数を演算するた
めに、メイン周波数(上記“ド”音に当る周波数)を基準として上記調和周波数
比n値に対応する分数形態の周波数比(以下、“純正律周波数比”という)を導
出しており、図7はメイン周波数を基準として各音階に該当する純正律周波数を
示すものである。
【0059】 例えば、入力手段11から提供された入力周波数が赤色に当る460THzで
あり、ユーザがメジャーコードを選択して上記した表1から導出された調和周波
数比nがそれぞれ4と7である場合、上記調和周波数比4と7に対応する純正律
周波数比は夫々5/4と3/2であるため、
【数21】 である。
【0060】 表示手段16は、入力された調和周波数を可視光に変換し、モニタのスクリー
ン上に調和色をディスプレーする。
【0061】 図9は、本発明による調和色選定方法の一例を説明するためのコンピュータモ
ニタ上に提供される画面状態図である。同図に示したように、左窓において和声
法コードリスト欄をクリックすると、中央窓で和声法コードリストが表示される
。表示された和声法コードリストの中で、たとえば“SUS4”コードを選択す
れば、右窓において選択された±1オクターブと±3オクターブでそれぞれ3つ
の調和色が表示され、下端には色相輪に“SUS4”の調和周波数の図形が表示
される。色相輪において、基準色を選択すると、上端の調和色表示窓には関連し
た調和色が変化しながら表示される。
【0062】 図10は、本発明による調和色選定方法の他の例を説明するためのコンピュー
タモニタ上に提供される画面の状態図を示すもので、同図において、和声法コー
ド“AUG”と“7/ALT”に対応するそれぞれの調和色選定画面を示す。各
調和色選定画面にて、左側には選択された和声法コードの調和色表示窓、輝度選
択バー、彩度選択バー、及び色相輪が表示され、右側には表作成された全ての和
声法コードの調和色が表示される。右側の色相輪において、基準色を選択すれば
、調和色表示窓の色が変化する。
【0063】 図11は、本発明による好ましい一実施の形態の音・色変換装置のブロック図
を示す。図11に示した装置は、マイク22、24、増幅器26、28、フーリ
エ変換器30、32、サンプリング手段34、36、音・色変換演算手段38、
40、音源位置演算手段42、表示制御手段44、表示装置46、命令入力手段
48、貯蔵手段50、及び制御手段52を含む。
【0064】 図11に示した音・色変換装置は、音源20から音を入力するための複数のマ
イク22、24を介してL、Rの2つのチャンネルの音をそれぞれ入力する。入
力されたL、Rチャンネルの音信号は増幅器26、28を介して増幅され、増幅
された信号はフーリエ変換器30、32で毎フレーム単位で夫々高速フーリエ変
換される。フーリエ変換された信号はサンプリング手段34、36で所定のフィ
ルタリングアルゴリズムによってフィルタリングされ、フィルタリングされたピ
ーク値は音圧値の順に分類された後、適正のピーク値の数、例えば30個以下に
サンプリングされる。サンプリングされた各ピーク値信号はそれぞれ周波数値及
び音圧値を有する。これらの信号は音・色変換演算手段38、40で前述した音
・色変換公式によって可視周波数に変換される。
【0065】 その一例を挙げると、上記入力可聴周波数fが4オクターブの“ミ”音に当
る329.6Hzであり、“赤色”に当る基準周波数によって常数C′が0.2
9の値を示し、最低の可聴周波数f及び最低の可視周波数Fをそれぞれ20
Hz及び350THzに設定すると、上記数式により導出される可視周波数は4
41THzであり、求めようとする色の輝度は上記演算されたx値に比例して4
.33(43.3%)の輝度値を有する。
【0066】 一方、サンプリングされたピーク値は音源位置演算手段42に提供される。音
源位置演算手段42では同一周波数でL、Rチャンネルの2つの信号の音源位置
を演算する。
【0067】 図12は第1実施の形態による音源発生位置演算工程の細部動作を説明するた
めの流れ図である。
【0068】 図12の流れ図は、図13に示したように、実際の音源の位置が分かり、音源
が移動する領域が第1チャンネルと第2チャンネルとの間に限定されるとすると
、複数個のチャンネルのうち、2つのチャンネル、即ち第1チャンネルの音源入
力位置と第2チャンネルの音源入力位置との間で音源の発生位置を演算するため
のものである。
【0069】 同図において、dは第1チャンネルの音源入力位置と第2チャンネルの音源入
力位置との間の距離、sは上記2つのチャンネルの音源入力位置間を繋ぐ直線と
実際の音源との間の垂直距離、aは特定のチャンネル(たとえば、第1チャンネ
ル)の音源位置を‘0’とすることによって求めようとする音源発生位置値を示
す。
【0070】 上記した音源発生位置値aを演算するために、上述したようにチャンネル別の
音源信号を入力され(S100)、上記制御信号及びチャンネル別の音源信号に
基づいて各チャンネルを介して入力される可聴周波数を所定の周波数間隔で高速
フーリエ変換(Fast Fourier Transform;以下、“FFT”という)演算し(S
101)、FFT演算結果に基づいて、各チャンネル別に一つ或いは複数個のピ
ーク点を検出する(S102)。
【0071】 より詳しくは、図14は1フレームにおいて、各チャンネル別に可聴周波数を
FFT演算した結果を示した周波数スペクトル図であって、横軸及び縦軸がそれ
ぞれ周波数軸と音圧レベル軸(図面に表記したデシベル数値は負(−)値である
)を示し、入力された音の電気的信号を周波数別の音圧の大きさで分析した結果
を示している。上記したFFT演算結果に基づいて、同一周波数に対し、第1チ
ャンネルで第1ピーク点(P)、第2ピーク点(P)及び第3ピーク点(P )など複数のピーク点を検出し、第2チャンネルで第1ピーク点(P1′)、
第2ピーク点(P2′)及び第3ピーク点(P3′)など複数のピーク点を検出
する。
【0072】 次いで、チャンネル別に検出された各ピーク点における該当周波数及びdB(
デシベル)単位で換算した音圧レベル値を検出し、該当周波数別のピーク点を音
圧差を演算し、これをIdiffとして出力する(S103)。すなわち、第1
及び第2チャンネルで第1ピーク点を比較する場合、IdiffはPの音圧レ
ベル値−P1′の音圧レベル値を意味し、出力されたIdiffと既設定のs及
びd値に応じて次の数式に基づきピーク発生周波数別の音源発生位置aを演算す
る。
【0073】
【数22】
【0074】 ここで、aは第1チャンネルの音源位置を“0”とすることによって求めよう
とする音源発生位置値であり、kはk>0である常数であり、またs及びdは前
述したものと同様である。
【0075】 上記した数式に基づいて各ピーク発生周波数別の音源発生位置aを演算し(S
104)、検出されたa値とd値とを比較判別して(S105)、a<d/2で
ある場合、音源の発生位置が第1チャンネルに近接したものと判断し(S106
)、またa>d/2である場合は、音源の発生位置が第2チャンネルに近接した
ものと判断する(S107)。次に、検出された各ピーク点の周波数値、音圧レ
ベル値、及び上記演算された音源の発生位置値を出力する(S108)。
【0076】 上記表示制御手段44は、入力された音源発生位置と各ピーク点の周波数値及
び音圧レベル値に基づいて可視光を出力し、表示画面の一例として図15に示し
たように、横軸に該当する第1軸の両端をそれぞれ第1チャンネル及び第2チャ
ンネルに対応して設定して第1軸上に音源の発生位置を第1軸の座標とし、各音
源の周波数値を縦軸に該当する第2軸の座標とすることで上記した数式によって
音源の周波数から演算した色相を音圧に比例する面積で表示する。
【0077】 したがって、表示制御手段44は第1軸と第2軸とを組み合わせた2次元の平
面上にピーク発生周波数別の音源の発生位置、音源に対応する色相及び音圧の大
きさを容易に表示することができる。
【0078】 このように本実施の形態では、ピーク点が検出された該当周波数別に音源の発
生位置を演算するので、1つの地点で発生した音源から入力された周波数を分析
しても1フレーム内でピーク発生周波数別に音源発生位置値がそれぞれ相異なる
値を持つことができるが、次の第2実施の形態を適用すると、1フレーム内で同
一の音源発生位置値を導出することができる。
【0079】 図16は、第2実施の形態による音源発生位置の演算工程の細部動作を説明す
るための流れ図である。
【0080】 図16の流れ図は、図17に示したように、複数のチャンネルのうち2つのチ
ャンネル、即ち第1チャンネル及び第2チャンネルの音源入力位置間の距離dが
与えられず、実際の音源の位置及び上記音源が移動する領域が第1及び第2チャ
ンネル間に限定されることなく、上記音源が第1及び第2チャンネルを連結する
軸に垂直な軸上においても移動するとする場合、2つのチャンネル間の中間地点
を“0”とする音源発生位置を検出するためのものである。
【0081】 まず、チャンネル別の音源信号が入力され(S110)、各チャンネルを介し
て入力される可聴周波数を所定の周波数間隔でFFT演算し(S111)、各チ
ャンネル別にFFT演算した結果に基づいて、チャンネル別に複数のピーク点を
検出する段階(S112)は、第1実施の形態と同様である。
【0082】 次いで、チャンネル別に検出された各ピーク点での音圧レベル値を検出し、次
の数式に基づいて第1チャンネルの音圧エネルギー及び第2チャンネルの音圧エ
ネルギーをそれぞれ演算し(S114)、各チャンネル別に演算された音圧エネ
ルギーを比較検出して音源の発生位置を演算する。
【0083】
【数23】
【0084】 ここで、Ediffは2つのチャンネル間の中間地点を‘0’とする音源発生
位置値、Pはピーク点が検出された該当周波数別の音圧レベル値、nは検出さ
れたピークの数であり、M1エネルギーは第1チャンネルの音圧エネルギー値、
M2エネルギーは第2チャンネルの音圧エネルギー値を示すものである。
【0085】 上記した数式に基づいて、第1及び第2チャンネルにおいてピーク点の検出さ
れた該当周波数別の音圧レベル値に応じてM1エネルギー及びM2エネルギー
演算し、M1エネルギー及びM2エネルギーの結果値によって、Ediffを検
出する。更に、検出されたEdiffは正数であるか、それとも負数であるかを
判別し(S115)、上記Ediff>0である場合、音源の発生位置が第1チ
ャンネルに近接すると判断し(S116)、Ediff<0である場合、音源の
発生位置が第2チャンネルに近接すると判断し(S117)、検出された各ピー
ク点における該当周波数値、音圧レベル値、及び音源発生位置を表示制御手段4
4に出力する(S118)。
【0086】 図18は上記表示手段が表示可能な画面の一例を示すもので、画面構成は第1
実施の形態と同様であり、1フレーム内における1つの音源発生位置値を演算す
ることにより、丸にて表示される周波数別の音源の発生位置は第2軸に平行な直
線上に配列される。
【0087】 図19は、第3実施の形態による音源発生位置の演算工程の細部動作を説明す
るための流れ図であって、本実施の形態は周波数帯域別に音源の発生位置を演算
することを特徴としており、実際の音源の位置及び音源が移動する領域に対する
仮定は、第2実施の形態と同様であり、図19の流れ図において、段階120乃
至段階122は第1実施の形態と同一である。
【0088】 段階122において、各チャンネル別に検出された複数のピーク点における音
圧レベル値を検出し、所定の周波数分割基準に基づいて、周波数を帯域別に分離
するが(S123)、例えば、周波数を3つの領域に分割する場合、可聴周波数
を低周波数帯域、中間周波数帯域、及び高周波数帯域に分け、その一例として2
0Hz〜200Hz区間を低周波数帯域に、200Hz〜2kHz区間を中間周
波数帯域に、2kHz〜20kHz区間を高周波数帯域に分けることができる。
【0089】 低周波数帯域で検出された各ピーク点の音圧レベル値に応じて上記した数式に
基づいて、低周波数帯域で第1チャンネルの音圧エネルギー(M1エネルギー/ low )及び第2チャンネルの音圧エネルギー(M2エネルギー/low)をそ
れぞれ演算し(S124)、各チャンネル別に検出された音圧エネルギーに基づ
いてEdiff/lowを演算して正数であるか、それとも負数であるかを判断
し(S125)、上記Ediff/lowを判別してEdiff/low>0で
ある場合、低周波数帯域で音源の発生位置が第1チャンネルに近接すると判断し
(S126)、Ediff/low<0である場合、低周波数帯域で音源の発生
位置が第2チャンネルに近接すると判断する(S127)。
【0090】 上記と同様な原理に基づいて、中間周波数帯域及び高周波数帯域で検出された
各ピーク点の音圧レベル値によって、M1エネルギー/midとM2エネルギー /mid 及びM1エネルギー/highとM2エネルギー/highをそれぞれ
演算し(S128、S132)、各チャンネルの音圧エネルギーからEdiff /mid 及びEdiff/highをそれぞれ演算して正数であるか、それとも
負数であるかを判別し、中間周波数及び高周波数帯域における音源の発生位置を
判断する(S129〜S131、S132〜S135)。次いで、各周波数帯域
別に検出された音源発生位置値、各ピーク点での周波数及び音圧レベル値を表示
制御手段44に出力する(S136)。
【0091】 図20は、上記表示手段が表示可能な画面の一例を示すものであり、画面構成
は前述の実施の形態と同様であり、1フレーム内で周波数帯域別に音源の発生位
置を演算することにより、例えば丸にて表示される音源の発生位置は各周波数帯
域別に同一の値を有するため、各周波数帯域別に第2軸に平行な直線上に配列さ
れる。
【0092】 ここで、音の情報を音源から入力受けず、ミディ(MIDI)装置からミディ
信号を入力されると、上記ミディ信号は固有のプロトコルを用いて256チャン
ネル以上のチャンネルが互いに異なる音源の位置情報、楽器情報、音階情報等を
有するため、チャンネル別に周波数分析(FFT演算)して各音源の周波数と音
源の発生位置を演算することが不要になる。
【0093】 これにより、ミディ信号を入力受けて再生して視覚化する場合、楽器情報に対
応する固有の倍音構造情報(メイン音を中心として高周波部分に特定の間隔、特
定の大きさ、特定の個数で発生するオーバートーン)が貯蔵部に貯蔵されている
ので、音階情報によって倍音を一緒に発生させることで、楽器固有の音を再生す
るとともに、音源の発生位置情報を第1軸上に表示し、第2軸上にメイン音(音
階情報)および倍音(楽器情報によって予め設定されている値)の音階情報を表
示し、その位置に該当する大きさ及び色を示す。
【0094】 これにより、ミディ信号が入力される場合は、チャンネル別に(つまり、楽器
別に)模様を異にしてディスプレーすることができ、FFT演算が不要なので低
コストとなり、既存のミディ信号再生装置に容易に付加することができるという
長所がある。
【0095】 このように表示制御手段44は入力される各ピークの情報を周波数別に音源の
発生位置に音圧の大きさに比例する面積及び周波数に対応する色の可視光に表示
でき、音を色に変換してこれを視覚的に表示する方法の他の実施の形態として、
上述した各ピークの音源発生位置及び周波数に基づく座標上における分布状態を
アニメーションのキーフレーム(keyframe)として活用し、このキーフレームを
基にしてマッピング(mapping)して音源の発生位置及び音の高低に反応するア
ニメーション動作を表示することができる。
【0096】 すなわち、各ピークの音源発生位置を演算すると、各ピークの音源発生位置及
び周波数に基づく2次元の座標値をキーフレーム情報として入力受け、入力され
たキーフレーム情報に基づいてマッピングして音源の発生位置及び音の高低を示
す(たとえば、踊る人形など)アニメーション動作に変換して表示制御手段44
に出力する。これによって、表示制御手段44は上記した動作情報に基づいてア
ニメーション動作をディスプレーする。
【0097】 図21は、本発明の第1実施の形態による表示手段が表示可能な画面の一例で
あって、人体に適用するためにアニメーションキーフレームとして活用されるべ
き音源発生位置の分布状態を示した概略図であり、図22は図21に分布された
音源のうち、キーフレームとして活用するべき音源だけを選択して示した概略図
である。
【0098】 また、図23は図22のキーフレーム情報に基づいてマッピングする工程を示
す概略図であり、図24は図23のマッピング工程が終了された状態を示した概
略図である。
【0099】 同図において、人体の模様と類似した部分だけをアニメーションのキーフレー
ムデータとして取得してこれに基づいて人体および特定の形態でマッピングした
後アニメーション動作をディスプレーする。
【0100】 図25は本発明による音・色変換モードの命令入力手段の一例および、固定モ
ードで音を映像表現した画面表示状態を示す。図25に示した本発明の音・色変
換入力手段は画面上に表示される。
【0101】 音・色変換命令手段は、左側に音楽ファイル開きキー、音楽ファイルリスト窓
、再生キー、一時停止キー、停止キー、高速巻き戻しキー、高速再生キー、リピ
ートキー、フーリエ変換解像度調整キー、大きさ調整キー、スケーリング調整キ
ー、ピーク値調整キーなどを含む。
【0102】 音楽ファイル開きキーは、音楽ファイルを他のディレクトリーから呼び出すと
きに使用する。
【0103】 音楽ファイルリスト窓は、呼び出した音楽ファイルのリストを提供する。
【0104】 フーリエ変換解像度調整キーは、画面の縦軸の解像度を調整するものであり、
フーリエ変換時、各フレーム単位でサンプリング解像度を調整する。
【0105】 大きさ調整キーは、サンプリングされたピーク値の大きさを調整する。
【0106】 スケーリングキーは、サンプリングされたピーク値の大きさを線形的または非
線形的にスケーリングを調整する。
【0107】 ピーク値調整キーは、各フレーム当りのサンプリングされた全てのサンプル値
の中で選択されたピーク値の数を調整する。
【0108】 音・色変換命令手段は、右側にイメージファイル開きキー、イメージファイル
リスト窓、スクリーンモード選択キー、音入力選択キー、画面幅調整キー、画面
高さ調整キー、サウンド周波数帯域設定キー、画面出力モード選択キー、設定値
メモリキーなどを含む。
【0109】 イメージファイル開きキーは、各周波数に対応して表現しようとする基本イメー
ジファイルを呼び出すためのものである。
【0110】 イメージファイルリスト窓は、選択されたイメージファイルのリストを表示す
る。
【0111】 スクリーンモード選択キーは、フルスクリーン、図示された縮小スクリーン、縦
方向のスクリーン、横方向のスクリーン、横方向の周波数スクリーンなどを提供
する。
【0112】 音入力選択キーは、コンピュータのハード上の音楽ファイルである場合は、C
Dモードを、マイクを介した実際の音を実時間的に入力する場合はラインモード
を選択する。
【0113】 画面幅調整キーは、左方向であれば音源の位置が中央の縦軸に集まって表示さ
れ、右方向であれば左右方向に広がって表示される。したがって、左端部ではモ
ノ音源のように中央の縦軸にのみイメージが表示される。ステレオ感を大げさに
表現するためには、右端側に調整すればよい。
【0114】 画面高さ調整キーは、左方向であれば周波数位置が中央の横軸上に集まって表
示され、右方向でれば、上下に広がって表示される。
【0115】 画面出力モード選択キーは、固定モード、ビットモード、トーンモードを選択
する。
【0116】 固定モードである場合は、図25に示したように、選択された1つのイメージフ
ァイルとして映像が表示される。
【0117】 ビットモードである場合は、図26に示したように、条件によってイメージフ
ァイルが変わりながら映像が表示される。イメージファイルの差替え条件は、画
面の左右に表示されているキーを使用する。右側キーは、条件を検出するべき周
波数帯域を設定するためのもので、左側キーは設定された周波数帯域内において
イメージファイルの容量を検出するためのスレッショルドを設定するためのもの
である。したがって、設定された帯域内で大きな音圧に対応してスレッショルド
を超過するサイズを有するイメージが表示されると、次の順番のイメージに切り
替えられて映像が表示されることになる。
【0118】 トーンモードの場合は、図27に示したように、円周に沿って時間に応じたウ
ェーブ状の映像が表示される。これにより、トーンモードであるときは、入力さ
れた音の時間に応じた波形変化が分かる。
【0119】 図28乃至図33は、多様なイメージファイルによる音・色変換映像の例を示
している。従って、本発明では基本イメージファイルの多様な形状によって音楽
を色々の映像に表現することができる。
【0120】 また、図34は本発明による色・音変換装置の好ましい一例を示している。色
・音変換装置は、映像入力手段60、映像走査手段62、64、色抽出手段66
、色・音変換演算手段68、サブ音合成手段70、Lチャンネル合成手段72、
Rチャンネル合成手段74、増幅器76、78、スピーカー80、82を含む。
【0121】 映像入力手段60は、ビデオカメラ、ディジタルカメラなどでピックアップさ
れた動映像又は停止映像を入力する。入力された映像は、1秒当り30フレーム
で映像走査手段62、64に提供される。
【0122】 映像走査手段62、64は、サブ領域62と単位セル領域64とから構成され
る。本実施の形態では、サブ領域62は図36に示したように、複数の単位セル
が垂直に配列されたスキャンバー形態をもつ。各単位セルはm×nサイズの複数
のピクセルを含む。よって、2次元の映像は図37に示したように、複数のサブ
領域に分割される。
【0123】 色抽出手段66は、各単位セル64から複数のピクセル値を入力してピクセル
の代表値、たとえば、平均値、中央値、最高値のように単位セルの色周波数及び
輝度を抽出する。
【0124】 色・音変換手段68は、色抽出手段66から提供された色周波数及び輝度をも
って色・音変換公式に基づいて可聴周波数を生成する。
【0125】 サブ音合成手段70は、生成された各単位セルに対応する可聴周波数を合成し
て一つの複合音信号を発生する。
【0126】 複数の合成手段は、それぞれサブ領域が元映像で配置された位置値に対応して
Lチャンネル複合音LiとRチャンネル複合音Riをそれぞれ出力する。たとえ
ば、最左側に配置されたサブ領域は、L位置値が10であればR位置値は0であ
り、最右側に配置されたサブ領域は、L位置値が0であれば、R位置値は10で
ある。
【0127】 Lチャンネル合成手段72は、複数のLチャンネル複合音L1〜Lnを合成し
てLチャンネル音を発生し、Rチャンネル合成手段74は複数のRチャンネル複
合音R1〜Rnを合成してRチャンネル音を発生する。
【0128】 発生されたL、Rチャンネル音は、それぞれ増幅器76、78によってスピー
カー80、82を介して音として出力される。
【0129】 従って、各フレーム単位で映像の色がステレオ音として出力される。
【0130】 映像をモノ音に表現しようとする場合は、サブ領域を映像の左から右へのスキャ
ンしながら、各サブ領域の音をスキャン速度に応答して出力することもできる。
【0131】 産業上の利用可能性 このように本発明は和声法を用いて色相を調和させる方法を提供することによ
って、より客観的で科学的な色調和理論を提示し、任意の基準色と正確に調律さ
れる色系を導出することができる。さらに、客観的で妥当性のある周波数変換基
準を提供することで、色の聴覚化及び音の視覚化を可能にする。
【0132】 また、音を視覚化する場合、音源の発生位置を演算して上記音から変換された
可視光を音源の発生位置に、周波数別の音圧の大きさに比例する面積で表示する
など、可視光の多様な出力を提供することによって、本発明による装置は、既に
和声法的に調和している色合いを導出することができるばかりでなく、公演舞台
の照明や、都市建築の造景及び、聴覚障害人のための分野などに応用でき、視覚
情報を聴覚化する場合、画像を用いた作曲、環境音楽、視覚障害人のための分野
などの様々な分野に広く応用できるという効果を有する。
【0133】 尚、前記各実施の形態は一例として開示したもので、本発明はこれらの実施の
形態に限定されるものではなく、実施に際しては請求項に記載した技術的事項の
範囲内で適宜変更又は修正して実施できることは勿論である。
【図面の簡単な説明】
【図1】 本発明による円形座標系の音・色変換表を示す図である。
【図2】 本発明による直交座標系の第1の音・色変換表を示す図である。
【図3】 本発明による直交座標系の第2の音・色変換表を示す図である。
【図4】 本発明の音・色変換表によって音階位置が着色された楽器を示す図である。
【図5】 本発明の音・色変換表によって音階位置が着色された楽器を示す図である。
【図6】 本発明による調和色選定装置のブロック図である。
【図7】 音階分割率及び調和周波数比を示す表1である。
【図8】 和声法コードに対応した調和周波数比を示す表2である。
【図9】 本発明による調和色選定方法の一例を説明するためのコンピュータモニタ上に
表示される画面状態図である。
【図10】 本発明による調和色選定方法の他の例を説明するためのコンピュータモニタ上
に表示される画面状態図である。
【図11】 本発明による好ましい一実施の形態の音・色変換装置のブロック図である。
【図12】 本発明による音源発生位置の演算アルゴリズムの第1実施の形態を説明するた
めの流れ図である。
【図13】 第1実施の形態による各チャンネルの音源入力位置及び音源の位置を示した概
略図である。
【図14】 特定のフレームにおいて各チャンネルの課長周波数のFFT演算した結果を示
す周波数スペクトル図である。
【図15】 第1実施の形態による音を映像で表示した画面の一例を示した概略図である。
【図16】 本発明による音源発生位置の演算アルゴリズムの第2実施の形態を説明するた
めの流れ図である。
【図17】 第2実施の形態による各チャンネルの音源入力位置及び音源の位置を示した概
略図である。
【図18】 第2実施の形態による音を映像で表示した画面の一例を示した概略図である。
【図19】 本発明による音源発生位置の演算アルゴリズムの第3実施の形態を説明するた
めの流れ図である。
【図20】 第3実施の形態による音を映像で表示した画面の一例を示した概略図である。
【図21】 第1実施の形態による表示手段が表示可能な画面の一例であって、人体に適用
するためのアニメーションのキーフレームとして活用されるべき音源発生位置の
分布状態を示した概略図である。
【図22】 図21に分布された音源のうちキーフレームとして活用するべき音源だけを選
択して示した概略図である。
【図23】 図22のキーフレーム情報に基づいてマッピングする工程を示す概略図である
【図24】 図23のマッピング工程か終了された状態を示す概略図である。
【図25】 本発明による音・色変換モードの命令入力手段の一例及び固定モードで音を映
像表現した画面表示状態を示す図である。
【図26】 ビットモードで音を映像表示した画面表示状態を示す図である。
【図27】 トーンモードで音を映像表示した画面表示状態を示す図である。
【図28】 本発明の音・色変換による映像表示の複数の例を示す図である。
【図29】 本発明の音・色変換による映像表示の複数の例を示す図である。
【図30】 本発明の音・色変換による映像表示の複数の例を示す図である。
【図31】 本発明の音・色変換による映像表示の複数の例を示す図である。
【図32】 本発明の音・色変換による映像表示の複数の例を示す図である。
【図33】 本発明の音・色変換による映像表示の複数の例を示す図である。
【図34】 本発明による色・音変換装置の好ましい一例を示すブロック図である。
【図35】 色・音変換のための映像系を示す図である。
【図36】 映像系に適用されたサブ領域を説明するための表示画面状態図である。
【図37】 映像系の全面に複数のサブ領域を適用した表示画面状態図である。
───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 2000/28147 (32)優先日 平成12年5月24日(2000.5.24) (33)優先権主張国 韓国(KR) (31)優先権主張番号 PCT/KR00/00556 (32)優先日 平成12年5月29日(2000.5.29) (33)優先権主張国 韓国(KR) (81)指定国 AE,AL,AM,AT,AU, AZ,BA,BB,BG,BR,BY,CA,CH,C N,CR,CU,CZ,DE,DK,DM,EE,ES ,FI,GB,GD,GE,GH,GM,HR,HU, ID,IL,IN,IS,JP,KE,KG,KP,K R,KZ,LC,LK,LR,LS,LT,LU,LV ,MA,MD,MG,MK,MN,MW,MX,NO, NZ,PL,PT,RO,RU,SD,SE,SG,S I,SK,SL,TJ,TM,TR,TT,TZ,UA ,UG,US,UZ,VN,YU,ZA,ZW Fターム(参考) 5B057 AA20 BA02 BA04 CA01 CA08 CA12 CA16 CA20 CB01 CB08 CB12 CB16 CB20 CC01 CE16 5D082 AA24 5D378 TT04 TT06 TT23

Claims (30)

    【特許請求の範囲】
  1. 【請求項1】 音階分割率及び和声法コードを選択する段階と、 基準色を選択する段階と、 上記選択された基準色の輝度を算出する段階と、 算出された輝度に対応するオクターブを定める段階と、 定められたオクターブ内における音階周波数比に応答して上記選択された和声
    法コードの調和周波数比に基づいて上記基準色周波数から調和色周波数を演算し
    、上記演算された調和色周波数が可視周波数帯域を外れた場合は、調和色周波数
    を可視周波数帯域に切り換える段階と、 上記演算された調和色周波数を上記基準色の調和色として表示する段階とを含
    むことを特徴とする和声法を用いた調和色選定方法。
  2. 【請求項2】 上記音階分割率は平均律或いは純正律のいずれか1つである
    ことを特徴とする和声法を用いた請求項1に記載の調和色選定方法。
  3. 【請求項3】 音階分割率、和声法コード、及び基準色を選択するための選
    択手段と、 音階分割率に応じた上記和声法コードによる調和音階の調和周波数比表が貯蔵
    された貯蔵手段と、 上記選択された基準色の輝度を算出し、算出された輝度に対応するオクターブ
    を定め、定められたオクターブ内における音階周波数比に応答して上記選択され
    た和声法コードの調和周波数比を上記表を参照して上記基準色周波数から調和色
    周波数を演算し、上記演算された調和色周波数が可視周波数帯域を外れた場合は
    、調和色周波数を可視周波数帯域に切り換える演算手段と、 上記演算された調和色周波数を上記基準色の調和色として表示する表示手段と
    を備えることを特徴とする和声法を用いた調和色選定装置。
  4. 【請求項4】 第1座標軸上に音階“ド”と色系“赤”とを座標原点にして
    12等間隔で12音階及び12色系を1:1に対応させて配列し、第2座標軸上
    に10オクターブ及び10段階の輝度を1:1に対応させて配列したことを特徴
    とする音・色変換表。
  5. 【請求項5】 上記音・色変換表は、円形座標系又は直交座標系のいずれか
    1つであることを特徴とする請求項4に記載の音・色変換表。
  6. 【請求項6】 上記色系“赤”は、色系“赤、緑、青”に近接する音階“ド
    、ミ、ソ”の波長を有することを特徴とする請求項4に記載の音・色変換表。
  7. 【請求項7】 上記色系“赤”の波長は682nmであることを特徴とする
    請求項6に記載の音・色変換表。
  8. 【請求項8】 上記円形座標系は第1座標軸が円周方向であり、第2座標軸
    が円中心方向であることを特徴とする請求項5に記載の音・色変換表。
  9. 【請求項9】 上記直交座標系は音階に彩度が正比例するように作成されて
    いることを特徴とする請求項5に記載の音・色変換表。
  10. 【請求項10】 上記直交座標系は音階に輝度が正比例するように作成され
    ていることを特徴とする請求項5に記載の音・色変換表。
  11. 【請求項11】 音階位置が音・色変換表による色に対応して着色されてい
    ることを特徴とする楽器。
  12. 【請求項12】 上記音・色変換表は音階に彩度が正比例するように作成さ
    れていることを特徴とする請求項11に記載の楽器。
  13. 【請求項13】 上記音・色変換表は音階に輝度が正比例するように作成さ
    れていることを特徴とする請求項11に記載の楽器。
  14. 【請求項14】 入力された音をフーリエ変換する段階と、 フーリエ変換された信号のうち、特定の可聴周波数の少なくとも1つの信号を
    サンプリングする段階と、 サンプリングされた少なくとも1つの可聴周波数信号を次の数式によって可視
    周波数信号に変換する段階と、 上記変換された少なくとも1つの可視周波数に対応する色を表示する段階とを
    含むことを特徴とする音・色変換方法: 【数1】
  15. 【請求項15】 上記サンプリングする段階は、上記フーリエ変換された信
    号を一定の時間間隔毎にフレーム単位で入力する段階と、 各フレーム毎に少なくとも1つのピーク値を求める段階と、 求められたピーク値を音圧の大きさの順に整える段階と、 上記音圧の大きさ順に所定の個数のピーク値をサンプリングする段階とを含む
    ことを特徴とする請求項14に記載の音・色変換方法。
  16. 【請求項16】 上記表示段階は、上記サンプリングされた各ピーク値の周
    波数位置において各ピーク値の音圧に比例する大きさを有すると共に、上記変換
    された色に着色された映像を表示することを特徴とする請求項15に記載の音・
    色変換方法。
  17. 【請求項17】 上記表示段階は、上記サンプリングされた各ピーク値の周
    波数に対応するアニメーションの各位置において各ピーク値の音圧に比例するア
    ニメーションの動きを持つと共に、上記変換された色に着色された映像を表示す
    ることを特徴とする請求項15に記載の音・色変換方法。
  18. 【請求項18】 上記表示段階は、サンプリングされた全てのピーク値の各
    音圧に比例する大きさを有する映像を所定の位置に重ねて表示することを特徴と
    する請求項15に記載の音・色変換方法。
  19. 【請求項19】 複数のチャンネルを介して入力された複数の音をそれぞれ
    フーリエ変換する段階と、 各フーリエ変換された信号のうち特定の可聴周波数の少なくとも1つの信号を
    サンプリングする段階と、 上記複数のチャンネル間の音源位置を、互いに対応する周波数の可聴周波数信
    号を用いて演算する段階と、 上記複数の音のうち、少なくとも1つのサンプリングされた可聴周波数信号を
    次の数式によって可視周波数信号に変換する段階と、 上記変換された少なくとも1つの可視周波数に対応する色を周波数及び音源位
    置に応じて表示する段階とを含むことを特徴とする音・色変換方法: 【数2】
  20. 【請求項20】 上記複数のチャンネルの音源入力位置の間における音源の
    発生位置を下記の数式に基づいて演算することを特徴とする請求項19に記載の
    音・色変換方法: 【数3】
  21. 【請求項21】 音を入力するための入力手段と、 入力された音を増幅するための増幅手段と、 増幅された音をフーリエ変換するためのフーリエ変換手段と、 フーリエ変換された信号のうち、特定の可聴周波数の少なくとも1つの信号を
    サンプリングするためのサンプリング手段と、 上記少なくとも1つのサンプリングされた各可聴周波数信号を可視周波数信号
    に変換する音・色変換手段と、 上記変換された少なくとも1つの可視周波数に対応する色を表示する表示手段
    とを備えることを特徴とする音・色変換装置。
  22. 【請求項22】 上記音・色変換手段は、上記少なくとも1つの可聴周波数
    を、次の数式によって、可視周波数に変換することを特徴とする請求項21に記
    載の音・色変換装置: 【数4】
  23. 【請求項23】 複数のチャンネルを介して入力した音をそれぞれフーリエ
    変換する手段と、 入力された音を増幅するための増幅手段と、 増幅された音をフーリエ変換するためのフーリエ変換手段と、 フーリエ変換された信号のうち、特定の可聴周波数の少なくとも1つの信号を
    サンプリングするためのサンプリング手段と、 上記複数のチャンネル間の音源位置を互いに対応する可聴周波数信号を用いて
    演算する演算手段と、 上記少なくとも1つのサンプリングされた可聴周波数信号を可視周波数信号に
    変換する音・色変換手段と、 上記変換された少なくとも1つの可視周波数に対応する色を周波数及び音源位
    置に応じて表示する表示手段とを備えることを特徴とする音・色変換装置。
  24. 【請求項24】 上記表示手段は、CRT、LCDのような映像表示装置や
    、フルカラー表示ランプ、及びカラーレーザ光源装置等の照明装置のうちいずれ
    か1つであることを特徴とする請求項23に記載の音・色変換装置。
  25. 【請求項25】 入力された色に対応する可視周波数(F)及び輝度(B Fi )を求める段階と、 求められた可視周波数を次の数式によって可聴周波数に変換する段階と、 上記変換された可聴周波数を音として出力する段階とを含むことを特徴とする
    色・音変換方法: 【数5】
  26. 【請求項26】 入力された色に対応する可視周波数(F)及び輝度(B Fi )を求める入力手段と、 求められた可視周波数を次の数式によって可聴周波数に変換する色・音変換手
    段と、 上記変換された可聴周波数を音として出力する出力手段とを備えることを特徴
    とする色・音変換装置: 【数6】
  27. 【請求項27】 互いに一定の間隔だけ離れた複数のチャンネルを介して音
    源からの音を入力する段階と、 各チャンネルを介して入力された音をそれぞれフーリエ変換する段階と、 上記各フーリエ変換された信号のピーク値をサンプリングする段階と、 複数のチャンネル間の音源発生位置を、上記サンプリングされた各周波数にお
    ける複数のチャンネルの音圧を用いて演算する段階とを含むことを特徴とする音
    源位置決定方法。
  28. 【請求項28】 上記複数のチャンネルの音源入力位置の間における音源の
    発生位置を下記の数式に基づいて演算することを特徴とする請求項27に記載の
    音源位置決定方法: 【数7】
  29. 【請求項29】 上記複数のチャンネルの音源入力位置の間における音源の
    発生位置を下記の数式に基づいて決定することを特徴とする請求項27に記載の
    音源位置決定方法: 【数8】
  30. 【請求項30】 音源からの音を互いに一定の間隔だけ離れた複数のチャン
    ネルを介して入力する入力手段と、 各チャンネルを介して入力された音をそれぞれフーリエ変換するフーリエ変換
    手段と、 上記各フーリエ変換された信号のピーク値をサンプリングするサンプリング手
    段と、 複数のチャンネル間の音源発生位置を、上記サンプリングされた各周波数にお
    ける複数のチャンネルの各音圧を用いて演算する演算手段とを備えることを特徴
    とする音源位置決定装置。
JP2001517354A 1999-08-18 2000-08-18 和声法を用いた調和色選定方法及び装置、並びに音・色及び色・音変換方法及び装置 Pending JP2003507799A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR19990034242 1999-08-18
KR1999/34242 1999-08-18
KR20000021548 2000-04-22
KR2000/21548 2000-04-22
KR1020000028147A KR20010020900A (ko) 1999-08-18 2000-05-24 화성법과 색음 상호변환을 이용하여 색채를 조화하는 방법및 장치
KR2000/28147 2000-05-24
KR00/00556 2000-05-29
KR0000556 2000-05-29
PCT/KR2000/000925 WO2001013336A1 (en) 1999-08-18 2000-08-18 Method and apparatus for selecting harmonic color using harmonics, and method and apparatus for converting sound to color or color to sound

Publications (1)

Publication Number Publication Date
JP2003507799A true JP2003507799A (ja) 2003-02-25

Family

ID=27350043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001517354A Pending JP2003507799A (ja) 1999-08-18 2000-08-18 和声法を用いた調和色選定方法及び装置、並びに音・色及び色・音変換方法及び装置

Country Status (7)

Country Link
US (1) US6686529B2 (ja)
JP (1) JP2003507799A (ja)
KR (3) KR20010020900A (ja)
CN (1) CN1229759C (ja)
AU (1) AU6735300A (ja)
GB (1) GB2369978B (ja)
WO (1) WO2001013336A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133758A (ja) * 2004-10-07 2006-05-25 National Institute Of Advanced Industrial & Technology 音階作成方法、音階作成プログラム、該プログラムを記録したコンピュータ読取可能な記録媒体及び音階作成装置、並びに演奏装置及び照明装置
JP2009527779A (ja) * 2006-02-22 2009-07-30 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 音声データを分析するための装置および方法
JP2011509419A (ja) * 2007-12-20 2011-03-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 照明雰囲気に関連付けられている音を自動的に生成するシステム及び方法
KR20180008804A (ko) * 2017-12-11 2018-01-24 전대연 스마트 음악-그림 앱 시스템

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6930235B2 (en) * 2001-03-15 2005-08-16 Ms Squared System and method for relating electromagnetic waves to sound waves
US6831219B1 (en) * 2001-04-23 2004-12-14 George E. Furgis Chromatic music notation system
US7212213B2 (en) * 2001-12-21 2007-05-01 Steinberg-Grimm, Llc Color display instrument and method for use thereof
TW571266B (en) * 2002-02-27 2004-01-11 Friend Spring Ind Co Ltd Control method and device of full-color LED audio/visual generating system
KR20030005117A (ko) * 2002-12-05 2003-01-15 김영애 음을 시각화하여 만든 디자인을 섬유제품에 활용하는 방법.
US20060236845A1 (en) * 2003-08-18 2006-10-26 Siir Kilkis Universal method and apparatus for mutual sound and light correlation
US20050229769A1 (en) * 2004-04-05 2005-10-20 Nathaniel Resnikoff System and method for assigning visual markers to the output of a filter bank
JP3978506B2 (ja) * 2004-07-29 2007-09-19 国立大学法人九州工業大学 楽音生成方法
US7525034B2 (en) * 2004-12-17 2009-04-28 Nease Joseph L Method and apparatus for image interpretation into sound
WO2006078597A2 (en) * 2005-01-18 2006-07-27 Haeker Eric P Method and apparatus for generating visual images based on musical compositions
US20060181537A1 (en) * 2005-01-25 2006-08-17 Srini Vasan Cybernetic 3D music visualizer
JPWO2006100980A1 (ja) * 2005-03-18 2008-09-04 パイオニア株式会社 音声信号処理装置及びそのためのコンピュータプログラム
US20060274144A1 (en) * 2005-06-02 2006-12-07 Agere Systems, Inc. Communications device with a visual ring signal and a method of generating a visual signal
KR100767060B1 (ko) * 2005-07-11 2007-10-18 김병천 다기능 조명 오디오 장치
US7601904B2 (en) * 2005-08-03 2009-10-13 Richard Dreyfuss Interactive tool and appertaining method for creating a graphical music display
DE102006008298B4 (de) * 2006-02-22 2010-01-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Notensignals
WO2007105927A1 (en) * 2006-03-16 2007-09-20 Harmonicolor System Co., Ltd. Method and apparatus for converting image to sound
KR100893223B1 (ko) * 2007-03-12 2009-04-16 주식회사 하모니칼라시스템 영상을 음향으로 변환하는 방법과 장치
US7538265B2 (en) * 2006-07-12 2009-05-26 Master Key, Llc Apparatus and method for visualizing music and other sounds
US8843377B2 (en) * 2006-07-12 2014-09-23 Master Key, Llc System and method for foreign language processing
KR100772168B1 (ko) * 2006-09-14 2007-10-31 이창주 음악 및 색채 연동 시스템 및 그 방법, 이를 수행하는프로그램이 기록된 기록매체
GB2442983A (en) * 2006-10-16 2008-04-23 Martin Audio Ltd A computer-based method of configuring loudspeaker arrays
WO2008101253A1 (en) * 2007-02-16 2008-08-21 Loud Technologies Inc Speaker assembly
US20080229200A1 (en) * 2007-03-16 2008-09-18 Fein Gene S Graphical Digital Audio Data Processing System
USD609714S1 (en) * 2007-03-22 2010-02-09 Fujifilm Corporation Electronic camera
US7880076B2 (en) * 2007-04-03 2011-02-01 Master Key, Llc Child development and education apparatus and method using visual stimulation
US7589269B2 (en) * 2007-04-03 2009-09-15 Master Key, Llc Device and method for visualizing musical rhythmic structures
US7932454B2 (en) * 2007-04-18 2011-04-26 Master Key, Llc System and method for musical instruction
WO2008130697A1 (en) * 2007-04-19 2008-10-30 Master Key, Llc Method and apparatus for editing and mixing sound recordings
US8127231B2 (en) * 2007-04-19 2012-02-28 Master Key, Llc System and method for audio equalization
US7820900B2 (en) * 2007-04-20 2010-10-26 Master Key, Llc System and method for sound recognition
US7928306B2 (en) 2007-04-20 2011-04-19 Master Key, Llc Musical instrument tuning method and apparatus
WO2008130659A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc Method and apparatus for identity verification
WO2008130666A2 (en) * 2007-04-20 2008-10-30 Master Key, Llc System and method for music composition
US7932455B2 (en) 2007-04-20 2011-04-26 Master Key, Llc Method and apparatus for comparing musical works
WO2008130696A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc Calibration of transmission system using tonal visualization components
WO2008130660A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc Archiving of environmental sounds using visualization components
US7947888B2 (en) 2007-04-20 2011-05-24 Master Key, Llc Method and apparatus for computer-generated music
DE102007043829A1 (de) * 2007-09-13 2009-04-02 Winterfeld, Helmuth, Dipl.-Ing. Verfahren und Vorrichtung zur Transformation von Wellen
KR101238362B1 (ko) 2007-12-03 2013-02-28 삼성전자주식회사 음원 거리에 따라 음원 신호를 여과하는 방법 및 장치
US7875787B2 (en) * 2008-02-01 2011-01-25 Master Key, Llc Apparatus and method for visualization of music using note extraction
US7919702B2 (en) * 2008-02-01 2011-04-05 Master Key, Llc Apparatus and method of displaying infinitely small divisions of measurement
EP2136356A1 (en) * 2008-06-16 2009-12-23 Yamaha Corporation Electronic music apparatus and tone control method
WO2011040660A1 (ko) * 2009-10-04 2011-04-07 Kang Min-Su 좌표와 색을 이용한 전자악기
JP5477357B2 (ja) * 2010-11-09 2014-04-23 株式会社デンソー 音場可視化システム
BE1019823A3 (nl) * 2011-02-16 2013-01-08 Robrecht Karel V Noens Werkwijze en inrichting voor het omzetten van een audiosignaal naar een stuursignaal voor een audiovisualisatiesysteem en audiovisualisatiesysteem.
CN102289778A (zh) * 2011-05-10 2011-12-21 南京大学 一种图像至音乐的转换方法
US9281793B2 (en) 2012-05-29 2016-03-08 uSOUNDit Partners, LLC Systems, methods, and apparatus for generating an audio signal based on color values of an image
CN103578324A (zh) * 2012-07-19 2014-02-12 明馨国际有限公司 乐器的光声装置
KR101466345B1 (ko) * 2013-04-24 2014-12-11 경북대학교 산학협력단 영상 음향 변환 장치 및 영상 음향 변환 방법
KR101411650B1 (ko) * 2013-06-21 2014-06-24 김남규 키 입력 장치, 키 입력 인식 장치 및 이들을 이용한 키 입력 시스템
TWI553270B (zh) * 2013-10-30 2016-10-11 緯創資通股份有限公司 情境式聲光效果產生方法及裝置
USD750103S1 (en) * 2014-01-30 2016-02-23 Pepsico, Inc. Display screen or portion thereof with graphical user interface
CN104464741B (zh) * 2014-12-29 2018-04-06 中山大学花都产业科技研究院 一种音频信号转视觉颜色信息的方法及系统
US9520117B2 (en) 2015-02-20 2016-12-13 Specdrums, Inc. Optical electronic musical instrument
WO2017196016A1 (ko) * 2016-05-12 2017-11-16 김영언 소리를 감지하여 상응하는 빛으로 변환하는 장치
EP3465110A4 (en) * 2016-05-27 2019-11-20 Qiu, Zi Hao METHOD AND APPARATUS FOR CONVERTING COLOR DATA TO MUSIC NOTES
PL232436B1 (pl) * 2017-07-19 2019-06-28 Politechnika Lodzka Sposób odczytywania barw obrazów za pomocą dźwięku
USD863427S1 (en) * 2018-08-19 2019-10-15 Lukas Häne Color harmony scale chart for music
US10755683B1 (en) * 2019-02-02 2020-08-25 Shawn Baltazor Transformation of sound to visual and/or tactile stimuli
CN112857560B (zh) * 2021-02-06 2022-07-22 河海大学 一种基于声音频率的声学成像方法
CN113108893B (zh) * 2021-03-22 2022-08-16 北京科技大学 一种基于声压和质点振速的声场重构系统及方法
JP1721930S (ja) * 2021-09-01 2022-08-09 位置情報計測用画像

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03134696A (ja) * 1989-10-20 1991-06-07 Mitsubishi Heavy Ind Ltd 音響信号の色彩変換装置
JPH03134697A (ja) * 1989-10-20 1991-06-07 Mitsubishi Heavy Ind Ltd 音響信号の色彩変換装置
JPH04170574A (ja) * 1990-11-01 1992-06-18 Mitsuo Hirase 楽譜に載置する音階色分け透明板と鍵盤楽器の鍵盤上に載置する音階色分けベルト及び音階色分け透明板を載置した楽譜で音階色分けベルトを鍵盤上に載置した鍵盤楽器を演奏する方法
JPH07191800A (ja) * 1993-12-27 1995-07-28 Yamatake Honeywell Co Ltd 空間動作インターフェイス
JPH10320570A (ja) * 1997-05-16 1998-12-04 Toray Ind Inc 色柄模様表示方法およびその装置
JPH10318840A (ja) * 1997-05-16 1998-12-04 Naoya Sugiki 色合わせ方法
JPH1152949A (ja) * 1997-07-30 1999-02-26 Yamaha Corp 音階表示シートおよび音階表示装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB212315A (en) * 1922-12-08 1924-03-10 Mary Sargant Florence Improvements relating to indicators applicable to the teaching of music or the selection and combining of colours
US3990105A (en) * 1974-02-19 1976-11-02 Fast Robert E Audio-visual convertor
DE2843180C3 (de) * 1978-10-04 1981-11-05 Robert Bosch Gmbh, 7000 Stuttgart Verfahren und Vorrichtung zur akustisch-optischen Umwandlung von Signalen
WO1981000637A1 (en) * 1979-08-27 1981-03-05 N Louez Method of representing sound by colour
DE3681866D1 (de) * 1985-03-20 1991-11-14 Roger M Paist Videoanzeige mit zweikanal-audiosignalen.
JP2559390B2 (ja) * 1987-01-28 1996-12-04 株式会社日立製作所 音・画像変換装置
US5005459A (en) * 1987-08-14 1991-04-09 Yamaha Corporation Musical tone visualizing apparatus which displays an image of an animated object in accordance with a musical performance
US5191319A (en) * 1990-10-15 1993-03-02 Kiltz Richard M Method and apparatus for visual portrayal of music
US5359341A (en) * 1992-04-22 1994-10-25 Tek Electronics Manufacturing Corporation Power supply for sequentially energizing segments of an electroluminescent panel to produce animated displays
KR960000010A (ko) * 1994-06-25 1996-01-25 김오영 식물재배용 쇼케이스의 제어방법
ATE235291T1 (de) * 1995-06-08 2003-04-15 Claus Hvass Verfahren zur umsetzung von tonsignalen in licht
US5689078A (en) * 1995-06-30 1997-11-18 Hologramaphone Research, Inc. Music generating system and method utilizing control of music based upon displayed color
GB2319346B (en) * 1996-11-13 2001-03-21 Sony Uk Ltd Analysis of audio signals
JP3724246B2 (ja) * 1999-03-23 2005-12-07 ヤマハ株式会社 音楽画像表示装置
GB2353395A (en) * 2000-07-26 2001-02-21 Ashley John Renham Musical instrument and musical notation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03134696A (ja) * 1989-10-20 1991-06-07 Mitsubishi Heavy Ind Ltd 音響信号の色彩変換装置
JPH03134697A (ja) * 1989-10-20 1991-06-07 Mitsubishi Heavy Ind Ltd 音響信号の色彩変換装置
JPH04170574A (ja) * 1990-11-01 1992-06-18 Mitsuo Hirase 楽譜に載置する音階色分け透明板と鍵盤楽器の鍵盤上に載置する音階色分けベルト及び音階色分け透明板を載置した楽譜で音階色分けベルトを鍵盤上に載置した鍵盤楽器を演奏する方法
JPH07191800A (ja) * 1993-12-27 1995-07-28 Yamatake Honeywell Co Ltd 空間動作インターフェイス
JPH10320570A (ja) * 1997-05-16 1998-12-04 Toray Ind Inc 色柄模様表示方法およびその装置
JPH10318840A (ja) * 1997-05-16 1998-12-04 Naoya Sugiki 色合わせ方法
JPH1152949A (ja) * 1997-07-30 1999-02-26 Yamaha Corp 音階表示シートおよび音階表示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133758A (ja) * 2004-10-07 2006-05-25 National Institute Of Advanced Industrial & Technology 音階作成方法、音階作成プログラム、該プログラムを記録したコンピュータ読取可能な記録媒体及び音階作成装置、並びに演奏装置及び照明装置
JP4665123B2 (ja) * 2004-10-07 2011-04-06 独立行政法人産業技術総合研究所 音階作成方法、音階作成プログラム、該プログラムを記録したコンピュータ読取可能な記録媒体及び音階作成装置、並びに演奏装置及び照明装置
JP2009527779A (ja) * 2006-02-22 2009-07-30 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 音声データを分析するための装置および方法
JP2011509419A (ja) * 2007-12-20 2011-03-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 照明雰囲気に関連付けられている音を自動的に生成するシステム及び方法
KR20180008804A (ko) * 2017-12-11 2018-01-24 전대연 스마트 음악-그림 앱 시스템
KR102587069B1 (ko) * 2017-12-11 2023-10-11 전대연 스마트 음악-그림 앱 시스템

Also Published As

Publication number Publication date
GB2369978B (en) 2004-06-09
AU6735300A (en) 2001-03-13
CN1370310A (zh) 2002-09-18
KR100736434B1 (ko) 2007-07-09
US6686529B2 (en) 2004-02-03
GB0204790D0 (en) 2002-04-17
KR20010020900A (ko) 2001-03-15
CN1229759C (zh) 2005-11-30
US20020114511A1 (en) 2002-08-22
KR20010084954A (ko) 2001-09-07
WO2001013336A1 (en) 2001-02-22
KR20020038563A (ko) 2002-05-23
GB2369978A (en) 2002-06-12
KR100322347B1 (ko) 2002-02-04

Similar Documents

Publication Publication Date Title
JP2003507799A (ja) 和声法を用いた調和色選定方法及び装置、並びに音・色及び色・音変換方法及び装置
US5048390A (en) Tone visualizing apparatus
US9557956B2 (en) Information processing apparatus, information processing method, and program
JP2020003537A (ja) オーディオ抽出装置、学習装置、カラオケ装置、オーディオ抽出方法、学習方法及びプログラム
EP1020843A1 (en) Automatic musical composition method
CN110444185B (zh) 一种音乐生成方法及装置
CN1111382A (zh) 在卡拉ok装置中使用的演唱评分器
US20080223196A1 (en) Semiconductor Device Having Music Generation Function, and Mobile Electronic Device, Mobile Telephone Device, Spectacle Instrument, and Spectacle instrument Set Using the Same
KR20150112048A (ko) 모바일 앱 기반의 실시간 영상의 배경음악 생성방법
JP2008233576A (ja) 楽曲及び楽譜の映像化及び画像化の方法
EP2133865A2 (en) Sound synthesizer
US10453478B2 (en) Sound quality determination device, method for the sound quality determination and recording medium
RU2411593C2 (ru) Устройство для преобразования частотного спектра в частоты природной гармоники
JP2020021098A (ja) 情報処理装置、電子機器及びプログラム
JP3643829B2 (ja) 楽音生成装置、楽音生成プログラムおよび楽音生成方法
KR20020013825A (ko) 화성법을 이용한 음색변환표로 채색한 악기
JP2001265330A (ja) 旋律抽出装置および旋律抽出方法
KR20070094207A (ko) 영상을 소리로 변환하는 방법 및 장치
Segnini et al. Scoregram: Displaying gross timbre information from a score
CA2382167A1 (en) Method and apparatus for selecting harmonic color using harmonics, and method and apparatus for converting sound to color or color to sound
ITPI20100013A1 (it) Metodo di conversione in immagini tridimensionali in movimento di suoni caratterizzati da cinque parametri, e relativo processo inverso.
JPH06186958A (ja) サウンドデータ生成システム
JP2629740B2 (ja) 音響処理装置
JP2689438B2 (ja) 楽音映像化装置
JP6915422B2 (ja) 音処理装置及び表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101013

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110309