JP2003507799A - 和声法を用いた調和色選定方法及び装置、並びに音・色及び色・音変換方法及び装置 - Google Patents

和声法を用いた調和色選定方法及び装置、並びに音・色及び色・音変換方法及び装置

Info

Publication number
JP2003507799A
JP2003507799A JP2001517354A JP2001517354A JP2003507799A JP 2003507799 A JP2003507799 A JP 2003507799A JP 2001517354 A JP2001517354 A JP 2001517354A JP 2001517354 A JP2001517354 A JP 2001517354A JP 2003507799 A JP2003507799 A JP 2003507799A
Authority
JP
Japan
Prior art keywords
sound
color
frequency
sound source
harmonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001517354A
Other languages
English (en)
Inventor
キム，ギル−ホ
Original Assignee
ハーモニーカラー システム カンパニー，リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハーモニーカラー システム カンパニー，リミテッド filed Critical ハーモニーカラー システム カンパニー，リミテッド
Publication of JP2003507799A publication Critical patent/JP2003507799A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065—Aids for the handicapped in understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Auxiliary Devices For Music (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 音・色及び色・音変換方法及び装置を開示しており、特に、和声法に基づいて任意の基準色と正確に調律される調和色を選定すること、及び波動の属性を有する音及び色を相互に周波数変換することによって、音のカラー映像化及び映像のサウンド化を可能にした方法及び装置を開示している。和声法を用いて調和色を選定する方法は、音階分割率と和声法コードとを選択するステップと；基準色を選択するステップと；選択した基準色の輝度を演算するステップと：その輝度に対応したオクターブを決定する段階と、上記の決定されたオクターブにおける音階周波数比に応じて、選択した和声法コードの調和周波数比を参照して、前記基準とした周波数から調和色周波数を演算するステップとを有し、もしその演算した調和色が可視周波数帯からずれている場合には、その調和周波数を可視周波数帯に変換する。

Description

【発明の詳細な説明】
【０００１】 技術分野 本発明は和声法（ハーモニクス）を用いた調和色選定方法及び装置、並びに音
・色及び色・音変換方法及び装置に関し、より詳しくは和声法に基づいて任意の
基準色と正確に調律される調和色を選定し、波動の属性を有する音及び色を相互
に周波数変換して音のカラー映像化及び映像のサウンド化を可能にした方法及び
装置に関するものである。
【０００２】 背景技術 カラーテレビ放送によりカラーの大衆化が急速に行われるにつれ、色の経済的
な価値が高くなっている。また、色の商業化競争に因る無差別的な色の供給で、
不協和的な色相は人間生活環境に新たな色公害の問題を起こしている。
【０００３】 したがって、ウェブデザイナー、美術家、建築家、室内装飾家、産業デザイナ
ー、景観設計家、衣裳デザイナー、舞台監督、多様な分野の創作者や商品購買者
にとっては調和の取れた色合いの選定が極めて重要となっている。
【０００４】 ここで、色調和（Color Harmony）とは２つ以上の色が互いに隣接して使われ
ることにより有用な効果をもたらすことを言う。
【０００５】 これまでの色調和は、人の視覚的な経験を基にして任意の基準色及び上記基準
色と調和している調和色を天然色で印刷したカラー印刷形態の本を参考して調和
色を採択しており、代表的な色相調和の基準としては、塗り絵帳（Coloring Boo
k）やマンセル（Muncell）表色系及び陰極線管のような表示装置における正確な
可視光の具現のために国際照明機構（ＣＩＥ）が提案したＣＩＥ表色系などが挙
げられる。
【０００６】 しかし、従来の色調和方法は、人の経験や実験に基づいた調和方法であって、
客観性が欠如しており、印刷形態の基準資料を基にして人の視覚的な感覚に依存
して調和色を選択しなければならならため、色相の正確性が劣り、また印刷形態
の基準資料はコンピュータを用いたデスクトップ出版システム（Desk Top Publi
shing system；ＤＴＰ）に直接応用されることができないという限界がある。
【０００７】 さらに、和声的に既に調和している音楽から調和のとれた色相を導出する方法
として提示する音・色相互変換において、色と音はそれぞれ視覚と聴覚に適用さ
れる周波数の帯域のみが異なっているだけで、物理的な波動の属性は同一である
ものの、これに基づいた色と音の可逆変換についてはこれまで研究されたことが
ない。
【０００８】 音の変化を視覚化したグラフィック・イコライザー（graphic equalizer）に
代表される従来の音圧表示装置は単に周波数帯域別の音圧の大きさを表示するだ
けで、表示される画像が単純で応用範囲が狭いという短所がある。
【０００９】 ハバス（Ｈａｖａｓｓ）による米国特許第６，０４６，７２４号では、音を光
に変換する方法及び装置を開示している。上記ハバス特許においては、３オクタ
ーブから８オクターブに対応する６つのフィルタ手段を介して音の周波数及び音
の強弱に応じてＲＧＢの３色光源を制御して音に対応する光を表示する。
【００１０】 発明の開示 従って、本発明の第１目的は、上記した問題点を解消するために、和声法に基
づいて任意の基準色に正確に調律された調和色を選定する方法及び装置を提供す
ることにある。
【００１１】 本発明の第２目的は、１０オクターブ当たり１２音階と、１０輝度当たり１２
色とを１：１に対応させて第１の座標軸場に配列させることにより、音と色の相
互変換を一目で見られる音・色変換表を提供することにある。
【００１２】 本発明の第３目的は、音・色変換表により音階位置を着色することによって、
音楽演奏時に各音階を色として認知できる楽器を提供することにある。
【００１３】 本発明の第４目的は、色と音の波動、すなわち周波数の特性を用いて客観的で
且つ妥当性のある数式化された周波数変換基準を提供し、この基準に基づき可視
及び可聴周波数を、可聴及び可視周波数にそれぞれ容易に変換することにより、
色の聴覚化及び音の視覚化を可能にする音・色及び色・音変換方法及び装置を提
供することにある。
【００１４】 本発明の第５目的は、音・色変換時、ステレオ音の音源位置を表現するために
音源の位置を決定できる音源位置決定方法及び装置を提供することにある。
【００１５】 上記の目的を達成するために、本発明の１態様による調和色選定方法は、音階
分割率及び和声法コードを選択する段階と、基準色を選択する段階と、上記選択
された基準色の輝度（明度）を算出する段階と、算出された明度に対応するオク
ターブを定める段階と、定められたオクターブ内における音階周波数比に応答し
て上記選択された和声法コードの調和周波数比に基づいて上記基準色周波数から
調和色周波数を演算し、上記演算された調和色周波数が可視周波数帯域を外れた
場合は、調和色周波数を可視周波数帯域に切り換える段階と、上記演算された調
和色周波数を上記基準色の調和色として表示する段階とを含むことを特徴とする
。
【００１６】 上記音階分割率は平均律或いは純正律である。平均律である場合は、次の数式
によって調和色が求められる。
【００１７】
【数９】
【００１８】 本発明の他の態様による調和色選定装置は、音階分割率、和声法コード、及び
基準色を選択するための選択手段と、音階分割率に応じた上記和声法コードによ
る調和音階の調和周波数比表を貯蔵するための貯蔵手段と、上記選択された基準
色の明度を算出し、算出された明度に対応するオクターブを定め、定められたオ
クターブ内における音階周波数比に応答して上記選択された和声法コードの調和
周波数比を上記表を参照して上記基準色周波数から調和色周波数を演算し、上記
演算された調和色周波数が可視周波数帯域を外れた場合は、調和色周波数を可視
周波数帯域に切り換える演算手段と、上記演算された調和色周波数を上記基準色
の調和色として表示する表示手段とを備えることを特徴とする。
【００１９】 本発明の他の態様による音・色変換表は、第１座標軸上に音階“ド”と色系“
赤”とを座標原点にして１２等間隔で１２音階及び１２色系を１：１に対応させ
て配列し、第２座標軸上に１０オクターブ及び１０段階の輝度を１：１に対応さ
せて配列したことを特徴とする。上記音・色変換表は円形座標系又は直交座標系
で構成する。上記色系“赤”は、色系“赤、緑、青”に近接する音階“ド、ミ、
ソ”の波長を有する。
【００２０】 上記円形座標系は第１座標軸が円周方向であり、第２座標軸が円中心方向であ
る。上記直交座標系は、音階に輝度が正比例するようになすことができる。
【００２１】 本発明の他の態様による楽器は、音・色変換表による色に対応する音階位置が
着色されていることを特徴とする。
【００２２】 本発明による音・色変換方法は、入力された音をフーリエ変換する段階と、フ
ーリエ変換された信号のうち、少なくとも１つの特定の可聴周波数信号をサンプ
リングする段階と、サンプリングされた少なくとも１つの可聴周波数信号を次の
数式によって可視周波数信号に変換する段階と、上記変換された少なくとも１つ
の可視周波数に対応する色を表示する段階とを含むことを特徴とする。すなわち
：
【数１０】
【００２３】 上記サンプリングする段階は、上記フーリエ変換された信号を一定の時間間隔
毎にフレーム単位で入力する段階と、各フレーム毎に少なくとも１つ以上のピー
ク値を求める段階と、求められたピーク値を音圧の大きさの順に整える段階と、
上記音圧の大きさ順に所定の個数のピーク値をサンプリングする段階とを含む。
【００２４】 上記表示段階は、上記サンプリングされた各ピーク値の周波数位置において各
ピーク値の音圧に比例する大きさを有し、上記変換された色でカラー化された映
像を表示する。また、上記表示段階は、上記サンプリングされた各ピーク値の周
波数に対応するアニメーションの各位置において各ピーク値の音圧に比例するア
ニメーションの動きを持ち、上記変換された色でカラー化された映像を表示する
こともできる。さらに、上記表示段階は、所望の位置に全てのピーク値の音圧に
比例する大きさを有する映像を重ねて表示することも可能である。
【００２５】 本発明の更に他の態様による音・色変換方法は、複数のチャンネルを介して入
力された複数の音をそれぞれフーリエ変換する段階と、各フーリエ変換された信
号のうち特定の可聴周波数の少なくとも１つの信号をサンプリングする段階と、
互いに対応する周波数の可聴周波数信号を用いて上記複数のチャンネル間の音源
位置を演算する段階と、サンプリングされた複数の信号のうち、サンプリングさ
れた少なくとも１つの可聴周波数信号を前式と同様に可視周波数信号に変換する
段階と、上記変換された少なくとも１つの可視周波数に対応する色を周波数及び
音源位置に応じて表示する段階とを含むことを特徴とする。
【００２６】
【数１１】
【００２７】 上記複数のチャンネルの音源入力位置の間において音源の発生位置を下記の数
式に基づいて演算する。
【００２８】
【数１２】
【００２９】 本発明の他の態様による音・色変換装置は、音を入力するための入力手段と、
入力された音を増幅するための増幅手段と、増幅された音をフーリエ変換するた
めのフーリエ変換手段と、フーリエ変換された信号のうち、特定の可聴周波数の
少なくとも１つの信号をサンプリングするためのサンプリング手段と、上記サン
プリングされた可聴周波数信号を可視周波数信号に変換する音・色変換手段と、
上記変換された少なくとも１つの可視周波数に対応する色を表示する表示手段と
を備えることを特徴とする。
【００３０】 本発明の更に他の態様による音・色変換装置は、複数のチャンネルを介して入
力された複数の音源をフーリエ変換する手段と、入力された音を増幅するための
増幅手段と、増幅された音をフーリエ変換するためのフーリエ変換手段と、フー
リエ変換された信号のうち、特定の可聴周波数の少なくとも１つの信号をサンプ
リングするためのサンプリング手段と、上記複数のチャンネル間の音源位置を、
互いに対応する周波数の可聴周波数信号を用いて演算する演算手段と、上記少な
くとも１つのサンプリングされた可聴周波数信号を可視周波数信号に変換する手
段と、上記各可聴周波数からそれぞれ変換された少なくとも１つの可視周波数に
対応する色を音源位置に応じて表示する表示手段とを備えることを特徴とする。
【００３１】 上記表示手段は、ＣＲＴ、ＬＣＤのような映像表示装置や、フルカラー表示ラ
ンプ、及びカラーレーザ光源装置等の照明装置で構成することができる。
【００３２】 本発明の更に他の態様による色・音変換方法は、入力された色に対応する可視
周波数（Ｆｉ）及び輝度（ＢＦｉ）を求める段階と、求められた可視周波数を次
の数式によって可聴周波数に変換する段階と、上記変換された可聴周波数を音と
して出力する段階とを含むことを特徴とする。
【００３３】
【数１３】
【００３４】 本発明の更に他の態様による色・音変換装置は、入力された色に対応する可視
周波数及び輝度を求める手段、求められた可視周波数を前と同様の式によって可
聴周波数に変換する色・音変換手段と、上記変換された可聴周波数を音として出
力する出力手段とを備えることを特徴とする。
【００３５】
【数１４】
【００３６】 本発明の更に他の態様による音源位置をサンプルする方法は、互いに一定の間
隔だけ離れた複数のチャンネルを介して音源から音を入力する段階と、各チャン
ネルを介して入力された音をそれぞれフーリエ変換する段階と、上記各フーリエ
変換された信号のピーク値をサンプリングする段階と、上記サンプリングされた
各周波数で複数のチャンネルの音圧を用いて複数のチャンネル間の音源発生位置
を演算する段階とを含むことを特徴とする。
【００３７】 上記複数のチャンネルの音源入力位置の間における音源の発生位置を下記の数
式に基づいて演算する。
【００３８】
【数１５】
【００３９】 上記複数のチャンネルの音源入力位置の間における音源の発生位置を下記の数
式に基づいて決定する。
【００４０】
【数１６】
【００４１】 本発明の更に他の態様による音源位置決定装置は、互いに一定の間隔だけ離れ
た複数のチャンネルを介して音源から音を入力する入力手段と、各チャンネルを
介して入力された音をそれぞれフーリエ変換するフーリエ変換手段と、上記各フ
ーリエ変換された信号のピーク点を求め、ピーク点の周波数及びレベルをサンプ
リングするサンプリング手段と、上記サンプリングされた各周波数で複数のチャ
ンネルの各音圧を用いて複数のチャンネル間の音源発生位置を演算する演算手段
とを備えることを特徴とする。
【００４２】 発明を実施するための最良の形態 以下、添付した図面を参照して本発明の好適な実施の形態をより詳しく説明す
る。
【００４３】 図１は、本発明による円形座標系の音・色変換表を示すもので、和声法の１２
音階を色に対応させた一例であり、“ド”音（図面中においてＣと表記する）を
赤色（６３２ｎｍ）に対応させた例を示している。同図において、色相は可視周
波数を低周波数からログ（ｌｏｇ）を取った値が円上の“ド（Ｃ）”が位置した
地点を、０度を基準として角度に正比例するように配置し、赤色から橙色、黄色
、緑色、青色、及び紫色の順に表れる。次に、系円上の音階の数（すなわち、１
オクターブの周波数帯域をログ的に（logarithmically）一定した間隔で等分し
た数）は、ド（Ｃ）、ド＃（Ｃ＃）、レ（Ｄ）、レ＃（Ｅｂ）、ミ（Ｅ）、ファ
（Ｆ）、ファ＃（Ｆ＃）、ソ（Ｇ）、ソ＃（Ａｂ）、ラ（Ａ）、ラ＃（Ｂｂ）、
スィ（Ｂ）のように表現される１２音階を基にして配置した。円中心方向に色系
の明度と音階のオクターブとが１：１に対応して色相輪で配列される。従って、
円中心に近付くほど輝度及びオクターブが高くなり、また逆に円中心から遠ざか
るほど輝度及びオクターブが低くなる。
【００４４】 図２は、本発明による直交座標系の第１音・色変換表を示すもので、第１音・
色変換表の横軸は音の高さ及び色を示し、縦軸はオクターブ及び輝度を示してい
る。第１音・色変換表は音の高さに色の彩度が正比例するように変換される。従
って、同一のオクターブにおいて、色の輝度は相異なるが、彩度は互いに同一で
ある。
【００４５】 図３は、本発明による直交座標系の第２音・色変換表を示すもので、第２音・
色変換表の横軸は音の高さ及び色を示し、縦軸はオクターブ及び輝度を示してい
る。第２音・色変換表は音の高さに色の輝度が正比例するように変換される。従
って、横方向には色の輝度が互いに同一であるが、彩度は相異なるように表示さ
れる。
【００４６】 図４及び図５は、本発明の音・色変換表によって音階位置が着色された楽器を
示すもので、図４はギター及びピアノの音階位置を音の高さに輝度が比例する第
２音・色変換表に基づいて着色した場合を示し、図５は第１音・色変換表に基づ
いて着色した場合を示している。
【００４７】 したがって、本発明による楽器では、演奏者が音階位置を色として認知するこ
とができて、音階のオクターブ及び音の高さを容易に識別可能である。
【００４８】 図６は、本発明による調和色選定装置のブロック図を示す。図６の調和色選定
装置は、選択手段１０、貯蔵手段１２、演算手段１４、及び表示手段１６を含む
。
【００４９】 選択手段１０は、調和色を捜すための基準色を選択し、音階分割率及び和声法
コードを選択する。
【００５０】 貯蔵手段１２は、図７、図８に示した表１及び表２を貯蔵する。図７は音階分
割率及び調和周波数比を示す表１であり、図８は和声コードに対応する調和周波
数比を示す表２を示している。
【００５１】 演算手段１４は音階分割率が平均律として選択された場合は、次の数式により
調和色を演算する。
【００５２】
【数１７】
【００５３】 通常、１２音階を主に使用するため、ｋが１２であり、ｎが１乃至１１である
場合について説明する。上記数式において、ｋが１２であるので、
【数１８】 は約１．０５９４であって、１オクターブの周波数を等間隔のログ（log）率で
１２等分したとき、隣接する周波数間の比率である。すなわち、音において、和
声法で１オクターブの音を１２音階に分けた場合、隣接する音（例えば、“ド”
と“ド＃”）間の周波数比と同一である。
【００５４】 これにより、調和周波数比ｎは特定のコードを構成する音の等比率間隔を意味
するが、その一例として“ドミソ”からなるメジャーコードは“ド”音に当る周
波数を基準として、“ミ”音と“ソ”音に当る周波数間の等比率間隔がそれぞれ
４と７であるため、上記表においてメジャーコードの調和周波数値は４及び７と
して現われる。このため、入力周波数が“ド”音に対応する場合、上記入力周波
数と調和している複数の調和周波数はそれぞれ“ミ”音と“ソ”音に対応する周
波数となる。
【００５５】 例えば、入力手段１１から提供された入力周波数が青色に対応する約６９０Ｔ
Ｈｚ（４３５ｎｍの波長）であり、マイナーコードに該当する調和周波数を演算
する場合、調和周波数比ｎがそれぞれ３と７であるため、
【数１９】 である。
【００５６】 ところが、Ｆｈ２は可視周波数範囲を外れるので、第１演算部１７は演算され
た調和周波数が可視周波数範囲を外れる場合、演算された調和周波数を２で分け
ることにより、可視周波数範囲を外れることがないようにする。したがって 、
Ｆｈ２は２で分けた５１６．９２ＴＨｚ（５８０．３６ｎｍの波長）となる。
【００５７】 また、既存の平均律上における１２音階は、上記した数式のように１オクター
ブの周波数を等間隔のログ比率で等分すると、隣接する音との周波数間隔はいず
れの音でも
【数２０】 と同一であるが、純正律の場合は、“ド”音を基準として分数形態でその上の音
を作る方式であるので、隣接する音との周波数間隔が一定していない。しかしな
がら、純正律は今までも調律方法として使用されるべき平均律に比べてその調和
程度が優れている。
【００５８】 したがって、音階を純正律で等分した場合において、調和周波数を演算するた
めに、メイン周波数（上記“ド”音に当る周波数）を基準として上記調和周波数
比ｎ値に対応する分数形態の周波数比（以下、“純正律周波数比”という）を導
出しており、図７はメイン周波数を基準として各音階に該当する純正律周波数を
示すものである。
【００５９】 例えば、入力手段１１から提供された入力周波数が赤色に当る４６０ＴＨｚで
あり、ユーザがメジャーコードを選択して上記した表１から導出された調和周波
数比ｎがそれぞれ４と７である場合、上記調和周波数比４と７に対応する純正律
周波数比は夫々５／４と３／２であるため、
【数２１】 である。
【００６０】 表示手段１６は、入力された調和周波数を可視光に変換し、モニタのスクリー
ン上に調和色をディスプレーする。
【００６１】 図９は、本発明による調和色選定方法の一例を説明するためのコンピュータモ
ニタ上に提供される画面状態図である。同図に示したように、左窓において和声
法コードリスト欄をクリックすると、中央窓で和声法コードリストが表示される
。表示された和声法コードリストの中で、たとえば“ＳＵＳ４”コードを選択す
れば、右窓において選択された±１オクターブと±３オクターブでそれぞれ３つ
の調和色が表示され、下端には色相輪に“ＳＵＳ４”の調和周波数の図形が表示
される。色相輪において、基準色を選択すると、上端の調和色表示窓には関連し
た調和色が変化しながら表示される。
【００６２】 図１０は、本発明による調和色選定方法の他の例を説明するためのコンピュー
タモニタ上に提供される画面の状態図を示すもので、同図において、和声法コー
ド“ＡＵＧ”と“７／ＡＬＴ”に対応するそれぞれの調和色選定画面を示す。各
調和色選定画面にて、左側には選択された和声法コードの調和色表示窓、輝度選
択バー、彩度選択バー、及び色相輪が表示され、右側には表作成された全ての和
声法コードの調和色が表示される。右側の色相輪において、基準色を選択すれば
、調和色表示窓の色が変化する。
【００６３】 図１１は、本発明による好ましい一実施の形態の音・色変換装置のブロック図
を示す。図１１に示した装置は、マイク２２、２４、増幅器２６、２８、フーリ
エ変換器３０、３２、サンプリング手段３４、３６、音・色変換演算手段３８、
４０、音源位置演算手段４２、表示制御手段４４、表示装置４６、命令入力手段
４８、貯蔵手段５０、及び制御手段５２を含む。
【００６４】 図１１に示した音・色変換装置は、音源２０から音を入力するための複数のマ
イク２２、２４を介してＬ、Ｒの２つのチャンネルの音をそれぞれ入力する。入
力されたＬ、Ｒチャンネルの音信号は増幅器２６、２８を介して増幅され、増幅
された信号はフーリエ変換器３０、３２で毎フレーム単位で夫々高速フーリエ変
換される。フーリエ変換された信号はサンプリング手段３４、３６で所定のフィ
ルタリングアルゴリズムによってフィルタリングされ、フィルタリングされたピ
ーク値は音圧値の順に分類された後、適正のピーク値の数、例えば３０個以下に
サンプリングされる。サンプリングされた各ピーク値信号はそれぞれ周波数値及
び音圧値を有する。これらの信号は音・色変換演算手段３８、４０で前述した音
・色変換公式によって可視周波数に変換される。
【００６５】 その一例を挙げると、上記入力可聴周波数ｆｉが４オクターブの“ミ”音に当
る３２９．６Ｈｚであり、“赤色”に当る基準周波数によって常数Ｃ′が０．２
９の値を示し、最低の可聴周波数ｆｌ及び最低の可視周波数Ｆｌをそれぞれ２０
Ｈｚ及び３５０ＴＨｚに設定すると、上記数式により導出される可視周波数は４
４１ＴＨｚであり、求めようとする色の輝度は上記演算されたｘ値に比例して４
．３３（４３．３％）の輝度値を有する。
【００６６】 一方、サンプリングされたピーク値は音源位置演算手段４２に提供される。音
源位置演算手段４２では同一周波数でＬ、Ｒチャンネルの２つの信号の音源位置
を演算する。
【００６７】 図１２は第１実施の形態による音源発生位置演算工程の細部動作を説明するた
めの流れ図である。
【００６８】 図１２の流れ図は、図１３に示したように、実際の音源の位置が分かり、音源
が移動する領域が第１チャンネルと第２チャンネルとの間に限定されるとすると
、複数個のチャンネルのうち、２つのチャンネル、即ち第１チャンネルの音源入
力位置と第２チャンネルの音源入力位置との間で音源の発生位置を演算するため
のものである。
【００６９】 同図において、ｄは第１チャンネルの音源入力位置と第２チャンネルの音源入
力位置との間の距離、ｓは上記２つのチャンネルの音源入力位置間を繋ぐ直線と
実際の音源との間の垂直距離、ａは特定のチャンネル（たとえば、第１チャンネ
ル）の音源位置を‘０’とすることによって求めようとする音源発生位置値を示
す。
【００７０】 上記した音源発生位置値ａを演算するために、上述したようにチャンネル別の
音源信号を入力され（Ｓ１００）、上記制御信号及びチャンネル別の音源信号に
基づいて各チャンネルを介して入力される可聴周波数を所定の周波数間隔で高速
フーリエ変換（Fast Fourier Transform；以下、“ＦＦＴ”という）演算し（Ｓ
１０１）、ＦＦＴ演算結果に基づいて、各チャンネル別に一つ或いは複数個のピ
ーク点を検出する（Ｓ１０２）。
【００７１】 より詳しくは、図１４は１フレームにおいて、各チャンネル別に可聴周波数を
ＦＦＴ演算した結果を示した周波数スペクトル図であって、横軸及び縦軸がそれ
ぞれ周波数軸と音圧レベル軸（図面に表記したデシベル数値は負（−）値である
）を示し、入力された音の電気的信号を周波数別の音圧の大きさで分析した結果
を示している。上記したＦＦＴ演算結果に基づいて、同一周波数に対し、第１チ
ャンネルで第１ピーク点（Ｐ１）、第２ピーク点（Ｐ２）及び第３ピーク点（Ｐ ３ ）など複数のピーク点を検出し、第２チャンネルで第１ピーク点（Ｐ１′）、
第２ピーク点（Ｐ２′）及び第３ピーク点（Ｐ３′）など複数のピーク点を検出
する。
【００７２】 次いで、チャンネル別に検出された各ピーク点における該当周波数及びｄＢ（
デシベル）単位で換算した音圧レベル値を検出し、該当周波数別のピーク点を音
圧差を演算し、これをＩｄｉｆｆとして出力する（Ｓ１０３）。すなわち、第１
及び第２チャンネルで第１ピーク点を比較する場合、ＩｄｉｆｆはＰ１の音圧レ
ベル値−Ｐ１′の音圧レベル値を意味し、出力されたＩｄｉｆｆと既設定のｓ及
びｄ値に応じて次の数式に基づきピーク発生周波数別の音源発生位置ａを演算す
る。
【００７３】
【数２２】
【００７４】 ここで、ａは第１チャンネルの音源位置を“０”とすることによって求めよう
とする音源発生位置値であり、ｋはｋ＞０である常数であり、またｓ及びｄは前
述したものと同様である。
【００７５】 上記した数式に基づいて各ピーク発生周波数別の音源発生位置ａを演算し（Ｓ
１０４）、検出されたａ値とｄ値とを比較判別して（Ｓ１０５）、ａ＜ｄ／２で
ある場合、音源の発生位置が第１チャンネルに近接したものと判断し（Ｓ１０６
）、またａ＞ｄ／２である場合は、音源の発生位置が第２チャンネルに近接した
ものと判断する（Ｓ１０７）。次に、検出された各ピーク点の周波数値、音圧レ
ベル値、及び上記演算された音源の発生位置値を出力する（Ｓ１０８）。
【００７６】 上記表示制御手段４４は、入力された音源発生位置と各ピーク点の周波数値及
び音圧レベル値に基づいて可視光を出力し、表示画面の一例として図１５に示し
たように、横軸に該当する第１軸の両端をそれぞれ第１チャンネル及び第２チャ
ンネルに対応して設定して第１軸上に音源の発生位置を第１軸の座標とし、各音
源の周波数値を縦軸に該当する第２軸の座標とすることで上記した数式によって
音源の周波数から演算した色相を音圧に比例する面積で表示する。
【００７７】 したがって、表示制御手段４４は第１軸と第２軸とを組み合わせた２次元の平
面上にピーク発生周波数別の音源の発生位置、音源に対応する色相及び音圧の大
きさを容易に表示することができる。
【００７８】 このように本実施の形態では、ピーク点が検出された該当周波数別に音源の発
生位置を演算するので、１つの地点で発生した音源から入力された周波数を分析
しても１フレーム内でピーク発生周波数別に音源発生位置値がそれぞれ相異なる
値を持つことができるが、次の第２実施の形態を適用すると、１フレーム内で同
一の音源発生位置値を導出することができる。
【００７９】 図１６は、第２実施の形態による音源発生位置の演算工程の細部動作を説明す
るための流れ図である。
【００８０】 図１６の流れ図は、図１７に示したように、複数のチャンネルのうち２つのチ
ャンネル、即ち第１チャンネル及び第２チャンネルの音源入力位置間の距離ｄが
与えられず、実際の音源の位置及び上記音源が移動する領域が第１及び第２チャ
ンネル間に限定されることなく、上記音源が第１及び第２チャンネルを連結する
軸に垂直な軸上においても移動するとする場合、２つのチャンネル間の中間地点
を“０”とする音源発生位置を検出するためのものである。
【００８１】 まず、チャンネル別の音源信号が入力され（Ｓ１１０）、各チャンネルを介し
て入力される可聴周波数を所定の周波数間隔でＦＦＴ演算し（Ｓ１１１）、各チ
ャンネル別にＦＦＴ演算した結果に基づいて、チャンネル別に複数のピーク点を
検出する段階（Ｓ１１２）は、第１実施の形態と同様である。
【００８２】 次いで、チャンネル別に検出された各ピーク点での音圧レベル値を検出し、次
の数式に基づいて第１チャンネルの音圧エネルギー及び第２チャンネルの音圧エ
ネルギーをそれぞれ演算し（Ｓ１１４）、各チャンネル別に演算された音圧エネ
ルギーを比較検出して音源の発生位置を演算する。
【００８３】
【数２３】
【００８４】 ここで、Ｅｄｉｆｆは２つのチャンネル間の中間地点を‘０’とする音源発生
位置値、Ｐｎはピーク点が検出された該当周波数別の音圧レベル値、ｎは検出さ
れたピークの数であり、Ｍ１エネルギーは第１チャンネルの音圧エネルギー値、
Ｍ２エネルギーは第２チャンネルの音圧エネルギー値を示すものである。
【００８５】 上記した数式に基づいて、第１及び第２チャンネルにおいてピーク点の検出さ
れた該当周波数別の音圧レベル値に応じてＭ１エネルギー及びＭ２エネルギーを
演算し、Ｍ１エネルギー及びＭ２エネルギーの結果値によって、Ｅｄｉｆｆを検
出する。更に、検出されたＥｄｉｆｆは正数であるか、それとも負数であるかを
判別し（Ｓ１１５）、上記Ｅｄｉｆｆ＞０である場合、音源の発生位置が第１チ
ャンネルに近接すると判断し（Ｓ１１６）、Ｅｄｉｆｆ＜０である場合、音源の
発生位置が第２チャンネルに近接すると判断し（Ｓ１１７）、検出された各ピー
ク点における該当周波数値、音圧レベル値、及び音源発生位置を表示制御手段４
４に出力する（Ｓ１１８）。
【００８６】 図１８は上記表示手段が表示可能な画面の一例を示すもので、画面構成は第１
実施の形態と同様であり、１フレーム内における１つの音源発生位置値を演算す
ることにより、丸にて表示される周波数別の音源の発生位置は第２軸に平行な直
線上に配列される。
【００８７】 図１９は、第３実施の形態による音源発生位置の演算工程の細部動作を説明す
るための流れ図であって、本実施の形態は周波数帯域別に音源の発生位置を演算
することを特徴としており、実際の音源の位置及び音源が移動する領域に対する
仮定は、第２実施の形態と同様であり、図１９の流れ図において、段階１２０乃
至段階１２２は第１実施の形態と同一である。
【００８８】 段階１２２において、各チャンネル別に検出された複数のピーク点における音
圧レベル値を検出し、所定の周波数分割基準に基づいて、周波数を帯域別に分離
するが（Ｓ１２３）、例えば、周波数を３つの領域に分割する場合、可聴周波数
を低周波数帯域、中間周波数帯域、及び高周波数帯域に分け、その一例として２
０Ｈｚ〜２００Ｈｚ区間を低周波数帯域に、２００Ｈｚ〜２ｋＨｚ区間を中間周
波数帯域に、２ｋＨｚ〜２０ｋＨｚ区間を高周波数帯域に分けることができる。
【００８９】 低周波数帯域で検出された各ピーク点の音圧レベル値に応じて上記した数式に
基づいて、低周波数帯域で第１チャンネルの音圧エネルギー（Ｍ１エネルギー／ ｌｏｗ ）及び第２チャンネルの音圧エネルギー（Ｍ２エネルギー／ｌｏｗ）をそ
れぞれ演算し（Ｓ１２４）、各チャンネル別に検出された音圧エネルギーに基づ
いてＥｄｉｆｆ／ｌｏｗを演算して正数であるか、それとも負数であるかを判断
し（Ｓ１２５）、上記Ｅｄｉｆｆ／ｌｏｗを判別してＥｄｉｆｆ／ｌｏｗ＞０で
ある場合、低周波数帯域で音源の発生位置が第１チャンネルに近接すると判断し
（Ｓ１２６）、Ｅｄｉｆｆ／ｌｏｗ＜０である場合、低周波数帯域で音源の発生
位置が第２チャンネルに近接すると判断する（Ｓ１２７）。
【００９０】 上記と同様な原理に基づいて、中間周波数帯域及び高周波数帯域で検出された
各ピーク点の音圧レベル値によって、Ｍ１エネルギー／ｍｉｄとＭ２エネルギー ／ｍｉｄ 及びＭ１エネルギー／ｈｉｇｈとＭ２エネルギー／ｈｉｇｈをそれぞれ
演算し（Ｓ１２８、Ｓ１３２）、各チャンネルの音圧エネルギーからＥｄｉｆｆ ／ｍｉｄ 及びＥｄｉｆｆ／ｈｉｇｈをそれぞれ演算して正数であるか、それとも
負数であるかを判別し、中間周波数及び高周波数帯域における音源の発生位置を
判断する（Ｓ１２９〜Ｓ１３１、Ｓ１３２〜Ｓ１３５）。次いで、各周波数帯域
別に検出された音源発生位置値、各ピーク点での周波数及び音圧レベル値を表示
制御手段４４に出力する（Ｓ１３６）。
【００９１】 図２０は、上記表示手段が表示可能な画面の一例を示すものであり、画面構成
は前述の実施の形態と同様であり、１フレーム内で周波数帯域別に音源の発生位
置を演算することにより、例えば丸にて表示される音源の発生位置は各周波数帯
域別に同一の値を有するため、各周波数帯域別に第２軸に平行な直線上に配列さ
れる。
【００９２】 ここで、音の情報を音源から入力受けず、ミディ（ＭＩＤＩ）装置からミディ
信号を入力されると、上記ミディ信号は固有のプロトコルを用いて２５６チャン
ネル以上のチャンネルが互いに異なる音源の位置情報、楽器情報、音階情報等を
有するため、チャンネル別に周波数分析（ＦＦＴ演算）して各音源の周波数と音
源の発生位置を演算することが不要になる。
【００９３】 これにより、ミディ信号を入力受けて再生して視覚化する場合、楽器情報に対
応する固有の倍音構造情報（メイン音を中心として高周波部分に特定の間隔、特
定の大きさ、特定の個数で発生するオーバートーン）が貯蔵部に貯蔵されている
ので、音階情報によって倍音を一緒に発生させることで、楽器固有の音を再生す
るとともに、音源の発生位置情報を第１軸上に表示し、第２軸上にメイン音（音
階情報）および倍音（楽器情報によって予め設定されている値）の音階情報を表
示し、その位置に該当する大きさ及び色を示す。
【００９４】 これにより、ミディ信号が入力される場合は、チャンネル別に（つまり、楽器
別に）模様を異にしてディスプレーすることができ、ＦＦＴ演算が不要なので低
コストとなり、既存のミディ信号再生装置に容易に付加することができるという
長所がある。
【００９５】 このように表示制御手段４４は入力される各ピークの情報を周波数別に音源の
発生位置に音圧の大きさに比例する面積及び周波数に対応する色の可視光に表示
でき、音を色に変換してこれを視覚的に表示する方法の他の実施の形態として、
上述した各ピークの音源発生位置及び周波数に基づく座標上における分布状態を
アニメーションのキーフレーム（keyframe）として活用し、このキーフレームを
基にしてマッピング（mapping）して音源の発生位置及び音の高低に反応するア
ニメーション動作を表示することができる。
【００９６】 すなわち、各ピークの音源発生位置を演算すると、各ピークの音源発生位置及
び周波数に基づく２次元の座標値をキーフレーム情報として入力受け、入力され
たキーフレーム情報に基づいてマッピングして音源の発生位置及び音の高低を示
す（たとえば、踊る人形など）アニメーション動作に変換して表示制御手段４４
に出力する。これによって、表示制御手段４４は上記した動作情報に基づいてア
ニメーション動作をディスプレーする。
【００９７】 図２１は、本発明の第１実施の形態による表示手段が表示可能な画面の一例で
あって、人体に適用するためにアニメーションキーフレームとして活用されるべ
き音源発生位置の分布状態を示した概略図であり、図２２は図２１に分布された
音源のうち、キーフレームとして活用するべき音源だけを選択して示した概略図
である。
【００９８】 また、図２３は図２２のキーフレーム情報に基づいてマッピングする工程を示
す概略図であり、図２４は図２３のマッピング工程が終了された状態を示した概
略図である。
【００９９】 同図において、人体の模様と類似した部分だけをアニメーションのキーフレー
ムデータとして取得してこれに基づいて人体および特定の形態でマッピングした
後アニメーション動作をディスプレーする。
【０１００】 図２５は本発明による音・色変換モードの命令入力手段の一例および、固定モ
ードで音を映像表現した画面表示状態を示す。図２５に示した本発明の音・色変
換入力手段は画面上に表示される。
【０１０１】 音・色変換命令手段は、左側に音楽ファイル開きキー、音楽ファイルリスト窓
、再生キー、一時停止キー、停止キー、高速巻き戻しキー、高速再生キー、リピ
ートキー、フーリエ変換解像度調整キー、大きさ調整キー、スケーリング調整キ
ー、ピーク値調整キーなどを含む。
【０１０２】 音楽ファイル開きキーは、音楽ファイルを他のディレクトリーから呼び出すと
きに使用する。
【０１０３】 音楽ファイルリスト窓は、呼び出した音楽ファイルのリストを提供する。
【０１０４】 フーリエ変換解像度調整キーは、画面の縦軸の解像度を調整するものであり、
フーリエ変換時、各フレーム単位でサンプリング解像度を調整する。
【０１０５】 大きさ調整キーは、サンプリングされたピーク値の大きさを調整する。
【０１０６】 スケーリングキーは、サンプリングされたピーク値の大きさを線形的または非
線形的にスケーリングを調整する。
【０１０７】 ピーク値調整キーは、各フレーム当りのサンプリングされた全てのサンプル値
の中で選択されたピーク値の数を調整する。
【０１０８】 音・色変換命令手段は、右側にイメージファイル開きキー、イメージファイル
リスト窓、スクリーンモード選択キー、音入力選択キー、画面幅調整キー、画面
高さ調整キー、サウンド周波数帯域設定キー、画面出力モード選択キー、設定値
メモリキーなどを含む。
【０１０９】 イメージファイル開きキーは、各周波数に対応して表現しようとする基本イメー
ジファイルを呼び出すためのものである。
【０１１０】 イメージファイルリスト窓は、選択されたイメージファイルのリストを表示す
る。
【０１１１】 スクリーンモード選択キーは、フルスクリーン、図示された縮小スクリーン、縦
方向のスクリーン、横方向のスクリーン、横方向の周波数スクリーンなどを提供
する。
【０１１２】 音入力選択キーは、コンピュータのハード上の音楽ファイルである場合は、Ｃ
Ｄモードを、マイクを介した実際の音を実時間的に入力する場合はラインモード
を選択する。
【０１１３】 画面幅調整キーは、左方向であれば音源の位置が中央の縦軸に集まって表示さ
れ、右方向であれば左右方向に広がって表示される。したがって、左端部ではモ
ノ音源のように中央の縦軸にのみイメージが表示される。ステレオ感を大げさに
表現するためには、右端側に調整すればよい。
【０１１４】 画面高さ調整キーは、左方向であれば周波数位置が中央の横軸上に集まって表
示され、右方向でれば、上下に広がって表示される。
【０１１５】 画面出力モード選択キーは、固定モード、ビットモード、トーンモードを選択
する。
【０１１６】 固定モードである場合は、図２５に示したように、選択された１つのイメージフ
ァイルとして映像が表示される。
【０１１７】 ビットモードである場合は、図２６に示したように、条件によってイメージフ
ァイルが変わりながら映像が表示される。イメージファイルの差替え条件は、画
面の左右に表示されているキーを使用する。右側キーは、条件を検出するべき周
波数帯域を設定するためのもので、左側キーは設定された周波数帯域内において
イメージファイルの容量を検出するためのスレッショルドを設定するためのもの
である。したがって、設定された帯域内で大きな音圧に対応してスレッショルド
を超過するサイズを有するイメージが表示されると、次の順番のイメージに切り
替えられて映像が表示されることになる。
【０１１８】 トーンモードの場合は、図２７に示したように、円周に沿って時間に応じたウ
ェーブ状の映像が表示される。これにより、トーンモードであるときは、入力さ
れた音の時間に応じた波形変化が分かる。
【０１１９】 図２８乃至図３３は、多様なイメージファイルによる音・色変換映像の例を示
している。従って、本発明では基本イメージファイルの多様な形状によって音楽
を色々の映像に表現することができる。
【０１２０】 また、図３４は本発明による色・音変換装置の好ましい一例を示している。色
・音変換装置は、映像入力手段６０、映像走査手段６２、６４、色抽出手段６６
、色・音変換演算手段６８、サブ音合成手段７０、Ｌチャンネル合成手段７２、
Ｒチャンネル合成手段７４、増幅器７６、７８、スピーカー８０、８２を含む。
【０１２１】 映像入力手段６０は、ビデオカメラ、ディジタルカメラなどでピックアップさ
れた動映像又は停止映像を入力する。入力された映像は、１秒当り３０フレーム
で映像走査手段６２、６４に提供される。
【０１２２】 映像走査手段６２、６４は、サブ領域６２と単位セル領域６４とから構成され
る。本実施の形態では、サブ領域６２は図３６に示したように、複数の単位セル
が垂直に配列されたスキャンバー形態をもつ。各単位セルはｍ×ｎサイズの複数
のピクセルを含む。よって、２次元の映像は図３７に示したように、複数のサブ
領域に分割される。
【０１２３】 色抽出手段６６は、各単位セル６４から複数のピクセル値を入力してピクセル
の代表値、たとえば、平均値、中央値、最高値のように単位セルの色周波数及び
輝度を抽出する。
【０１２４】 色・音変換手段６８は、色抽出手段６６から提供された色周波数及び輝度をも
って色・音変換公式に基づいて可聴周波数を生成する。
【０１２５】 サブ音合成手段７０は、生成された各単位セルに対応する可聴周波数を合成し
て一つの複合音信号を発生する。
【０１２６】 複数の合成手段は、それぞれサブ領域が元映像で配置された位置値に対応して
Ｌチャンネル複合音ＬｉとＲチャンネル複合音Ｒｉをそれぞれ出力する。たとえ
ば、最左側に配置されたサブ領域は、Ｌ位置値が１０であればＲ位置値は０であ
り、最右側に配置されたサブ領域は、Ｌ位置値が０であれば、Ｒ位置値は１０で
ある。
【０１２７】 Ｌチャンネル合成手段７２は、複数のＬチャンネル複合音Ｌ１〜Ｌｎを合成し
てＬチャンネル音を発生し、Ｒチャンネル合成手段７４は複数のＲチャンネル複
合音Ｒ１〜Ｒｎを合成してＲチャンネル音を発生する。
【０１２８】 発生されたＬ、Ｒチャンネル音は、それぞれ増幅器７６、７８によってスピー
カー８０、８２を介して音として出力される。
【０１２９】 従って、各フレーム単位で映像の色がステレオ音として出力される。
【０１３０】 映像をモノ音に表現しようとする場合は、サブ領域を映像の左から右へのスキャ
ンしながら、各サブ領域の音をスキャン速度に応答して出力することもできる。
【０１３１】 産業上の利用可能性 このように本発明は和声法を用いて色相を調和させる方法を提供することによ
って、より客観的で科学的な色調和理論を提示し、任意の基準色と正確に調律さ
れる色系を導出することができる。さらに、客観的で妥当性のある周波数変換基
準を提供することで、色の聴覚化及び音の視覚化を可能にする。
【０１３２】 また、音を視覚化する場合、音源の発生位置を演算して上記音から変換された
可視光を音源の発生位置に、周波数別の音圧の大きさに比例する面積で表示する
など、可視光の多様な出力を提供することによって、本発明による装置は、既に
和声法的に調和している色合いを導出することができるばかりでなく、公演舞台
の照明や、都市建築の造景及び、聴覚障害人のための分野などに応用でき、視覚
情報を聴覚化する場合、画像を用いた作曲、環境音楽、視覚障害人のための分野
などの様々な分野に広く応用できるという効果を有する。
【０１３３】 尚、前記各実施の形態は一例として開示したもので、本発明はこれらの実施の
形態に限定されるものではなく、実施に際しては請求項に記載した技術的事項の
範囲内で適宜変更又は修正して実施できることは勿論である。
【図面の簡単な説明】
【図１】 本発明による円形座標系の音・色変換表を示す図である。
【図２】 本発明による直交座標系の第１の音・色変換表を示す図である。
【図３】 本発明による直交座標系の第２の音・色変換表を示す図である。
【図４】 本発明の音・色変換表によって音階位置が着色された楽器を示す図である。
【図５】 本発明の音・色変換表によって音階位置が着色された楽器を示す図である。
【図６】 本発明による調和色選定装置のブロック図である。
【図７】 音階分割率及び調和周波数比を示す表１である。
【図８】 和声法コードに対応した調和周波数比を示す表２である。
【図９】 本発明による調和色選定方法の一例を説明するためのコンピュータモニタ上に
表示される画面状態図である。
【図１０】 本発明による調和色選定方法の他の例を説明するためのコンピュータモニタ上
に表示される画面状態図である。
【図１１】 本発明による好ましい一実施の形態の音・色変換装置のブロック図である。
【図１２】 本発明による音源発生位置の演算アルゴリズムの第１実施の形態を説明するた
めの流れ図である。
【図１３】 第１実施の形態による各チャンネルの音源入力位置及び音源の位置を示した概
略図である。
【図１４】 特定のフレームにおいて各チャンネルの課長周波数のＦＦＴ演算した結果を示
す周波数スペクトル図である。
【図１５】 第１実施の形態による音を映像で表示した画面の一例を示した概略図である。
【図１６】 本発明による音源発生位置の演算アルゴリズムの第２実施の形態を説明するた
めの流れ図である。
【図１７】 第２実施の形態による各チャンネルの音源入力位置及び音源の位置を示した概
略図である。
【図１８】 第２実施の形態による音を映像で表示した画面の一例を示した概略図である。
【図１９】 本発明による音源発生位置の演算アルゴリズムの第３実施の形態を説明するた
めの流れ図である。
【図２０】 第３実施の形態による音を映像で表示した画面の一例を示した概略図である。
【図２１】 第１実施の形態による表示手段が表示可能な画面の一例であって、人体に適用
するためのアニメーションのキーフレームとして活用されるべき音源発生位置の
分布状態を示した概略図である。
【図２２】 図２１に分布された音源のうちキーフレームとして活用するべき音源だけを選
択して示した概略図である。
【図２３】 図２２のキーフレーム情報に基づいてマッピングする工程を示す概略図である
。
【図２４】 図２３のマッピング工程か終了された状態を示す概略図である。
【図２５】 本発明による音・色変換モードの命令入力手段の一例及び固定モードで音を映
像表現した画面表示状態を示す図である。
【図２６】 ビットモードで音を映像表示した画面表示状態を示す図である。
【図２７】 トーンモードで音を映像表示した画面表示状態を示す図である。
【図２８】 本発明の音・色変換による映像表示の複数の例を示す図である。
【図２９】 本発明の音・色変換による映像表示の複数の例を示す図である。
【図３０】 本発明の音・色変換による映像表示の複数の例を示す図である。
【図３１】 本発明の音・色変換による映像表示の複数の例を示す図である。
【図３２】 本発明の音・色変換による映像表示の複数の例を示す図である。
【図３３】 本発明の音・色変換による映像表示の複数の例を示す図である。
【図３４】 本発明による色・音変換装置の好ましい一例を示すブロック図である。
【図３５】 色・音変換のための映像系を示す図である。
【図３６】 映像系に適用されたサブ領域を説明するための表示画面状態図である。
【図３７】 映像系の全面に複数のサブ領域を適用した表示画面状態図である。
───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 ２０００／２８１４７ (32)優先日 平成12年５月24日(2000．5．24) (33)優先権主張国 韓国（ＫＲ） (31)優先権主張番号 ＰＣＴ／ＫＲ００／００５５６ (32)優先日 平成12年５月29日(2000．5．29) (33)優先権主張国 韓国（ＫＲ） (81)指定国 ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ， ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，Ｃ Ｎ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ，ＥＳ ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ， ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，Ｋ Ｒ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ， ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，Ｓ Ｉ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ Ｆターム(参考） 5B057 AA20 BA02 BA04 CA01 CA08 CA12 CA16 CA20 CB01 CB08 CB12 CB16 CB20 CC01 CE16 5D082 AA24 5D378 TT04 TT06 TT23

Claims (30)

    【特許請求の範囲】
  1. 【請求項１】 音階分割率及び和声法コードを選択する段階と、 基準色を選択する段階と、 上記選択された基準色の輝度を算出する段階と、 算出された輝度に対応するオクターブを定める段階と、 定められたオクターブ内における音階周波数比に応答して上記選択された和声
    法コードの調和周波数比に基づいて上記基準色周波数から調和色周波数を演算し
    、上記演算された調和色周波数が可視周波数帯域を外れた場合は、調和色周波数
    を可視周波数帯域に切り換える段階と、 上記演算された調和色周波数を上記基準色の調和色として表示する段階とを含
    むことを特徴とする和声法を用いた調和色選定方法。
  2. 【請求項２】 上記音階分割率は平均律或いは純正律のいずれか１つである
    ことを特徴とする和声法を用いた請求項１に記載の調和色選定方法。
  3. 【請求項３】 音階分割率、和声法コード、及び基準色を選択するための選
    択手段と、 音階分割率に応じた上記和声法コードによる調和音階の調和周波数比表が貯蔵
    された貯蔵手段と、 上記選択された基準色の輝度を算出し、算出された輝度に対応するオクターブ
    を定め、定められたオクターブ内における音階周波数比に応答して上記選択され
    た和声法コードの調和周波数比を上記表を参照して上記基準色周波数から調和色
    周波数を演算し、上記演算された調和色周波数が可視周波数帯域を外れた場合は
    、調和色周波数を可視周波数帯域に切り換える演算手段と、 上記演算された調和色周波数を上記基準色の調和色として表示する表示手段と
    を備えることを特徴とする和声法を用いた調和色選定装置。
  4. 【請求項４】 第１座標軸上に音階“ド”と色系“赤”とを座標原点にして
    １２等間隔で１２音階及び１２色系を１：１に対応させて配列し、第２座標軸上
    に１０オクターブ及び１０段階の輝度を１：１に対応させて配列したことを特徴
    とする音・色変換表。
  5. 【請求項５】 上記音・色変換表は、円形座標系又は直交座標系のいずれか
    １つであることを特徴とする請求項４に記載の音・色変換表。
  6. 【請求項６】 上記色系“赤”は、色系“赤、緑、青”に近接する音階“ド
    、ミ、ソ”の波長を有することを特徴とする請求項４に記載の音・色変換表。
  7. 【請求項７】 上記色系“赤”の波長は６８２ｎｍであることを特徴とする
    請求項６に記載の音・色変換表。
  8. 【請求項８】 上記円形座標系は第１座標軸が円周方向であり、第２座標軸
    が円中心方向であることを特徴とする請求項５に記載の音・色変換表。
  9. 【請求項９】 上記直交座標系は音階に彩度が正比例するように作成されて
    いることを特徴とする請求項５に記載の音・色変換表。
  10. 【請求項１０】 上記直交座標系は音階に輝度が正比例するように作成され
    ていることを特徴とする請求項５に記載の音・色変換表。
  11. 【請求項１１】 音階位置が音・色変換表による色に対応して着色されてい
    ることを特徴とする楽器。
  12. 【請求項１２】 上記音・色変換表は音階に彩度が正比例するように作成さ
    れていることを特徴とする請求項１１に記載の楽器。
  13. 【請求項１３】 上記音・色変換表は音階に輝度が正比例するように作成さ
    れていることを特徴とする請求項１１に記載の楽器。
  14. 【請求項１４】 入力された音をフーリエ変換する段階と、 フーリエ変換された信号のうち、特定の可聴周波数の少なくとも１つの信号を
    サンプリングする段階と、 サンプリングされた少なくとも１つの可聴周波数信号を次の数式によって可視
    周波数信号に変換する段階と、 上記変換された少なくとも１つの可視周波数に対応する色を表示する段階とを
    含むことを特徴とする音・色変換方法： 【数１】
  15. 【請求項１５】 上記サンプリングする段階は、上記フーリエ変換された信
    号を一定の時間間隔毎にフレーム単位で入力する段階と、 各フレーム毎に少なくとも１つのピーク値を求める段階と、 求められたピーク値を音圧の大きさの順に整える段階と、 上記音圧の大きさ順に所定の個数のピーク値をサンプリングする段階とを含む
    ことを特徴とする請求項１４に記載の音・色変換方法。
  16. 【請求項１６】 上記表示段階は、上記サンプリングされた各ピーク値の周
    波数位置において各ピーク値の音圧に比例する大きさを有すると共に、上記変換
    された色に着色された映像を表示することを特徴とする請求項１５に記載の音・
    色変換方法。
  17. 【請求項１７】 上記表示段階は、上記サンプリングされた各ピーク値の周
    波数に対応するアニメーションの各位置において各ピーク値の音圧に比例するア
    ニメーションの動きを持つと共に、上記変換された色に着色された映像を表示す
    ることを特徴とする請求項１５に記載の音・色変換方法。
  18. 【請求項１８】 上記表示段階は、サンプリングされた全てのピーク値の各
    音圧に比例する大きさを有する映像を所定の位置に重ねて表示することを特徴と
    する請求項１５に記載の音・色変換方法。
  19. 【請求項１９】 複数のチャンネルを介して入力された複数の音をそれぞれ
    フーリエ変換する段階と、 各フーリエ変換された信号のうち特定の可聴周波数の少なくとも１つの信号を
    サンプリングする段階と、 上記複数のチャンネル間の音源位置を、互いに対応する周波数の可聴周波数信
    号を用いて演算する段階と、 上記複数の音のうち、少なくとも１つのサンプリングされた可聴周波数信号を
    次の数式によって可視周波数信号に変換する段階と、 上記変換された少なくとも１つの可視周波数に対応する色を周波数及び音源位
    置に応じて表示する段階とを含むことを特徴とする音・色変換方法： 【数２】
  20. 【請求項２０】 上記複数のチャンネルの音源入力位置の間における音源の
    発生位置を下記の数式に基づいて演算することを特徴とする請求項１９に記載の
    音・色変換方法： 【数３】
  21. 【請求項２１】 音を入力するための入力手段と、 入力された音を増幅するための増幅手段と、 増幅された音をフーリエ変換するためのフーリエ変換手段と、 フーリエ変換された信号のうち、特定の可聴周波数の少なくとも１つの信号を
    サンプリングするためのサンプリング手段と、 上記少なくとも１つのサンプリングされた各可聴周波数信号を可視周波数信号
    に変換する音・色変換手段と、 上記変換された少なくとも１つの可視周波数に対応する色を表示する表示手段
    とを備えることを特徴とする音・色変換装置。
  22. 【請求項２２】 上記音・色変換手段は、上記少なくとも１つの可聴周波数
    を、次の数式によって、可視周波数に変換することを特徴とする請求項２１に記
    載の音・色変換装置： 【数４】
  23. 【請求項２３】 複数のチャンネルを介して入力した音をそれぞれフーリエ
    変換する手段と、 入力された音を増幅するための増幅手段と、 増幅された音をフーリエ変換するためのフーリエ変換手段と、 フーリエ変換された信号のうち、特定の可聴周波数の少なくとも１つの信号を
    サンプリングするためのサンプリング手段と、 上記複数のチャンネル間の音源位置を互いに対応する可聴周波数信号を用いて
    演算する演算手段と、 上記少なくとも１つのサンプリングされた可聴周波数信号を可視周波数信号に
    変換する音・色変換手段と、 上記変換された少なくとも１つの可視周波数に対応する色を周波数及び音源位
    置に応じて表示する表示手段とを備えることを特徴とする音・色変換装置。
  24. 【請求項２４】 上記表示手段は、ＣＲＴ、ＬＣＤのような映像表示装置や
    、フルカラー表示ランプ、及びカラーレーザ光源装置等の照明装置のうちいずれ
    か１つであることを特徴とする請求項２３に記載の音・色変換装置。
  25. 【請求項２５】 入力された色に対応する可視周波数（Ｆｉ）及び輝度（Ｂ Ｆｉ ）を求める段階と、 求められた可視周波数を次の数式によって可聴周波数に変換する段階と、 上記変換された可聴周波数を音として出力する段階とを含むことを特徴とする
    色・音変換方法： 【数５】
  26. 【請求項２６】 入力された色に対応する可視周波数（Ｆｉ）及び輝度（Ｂ Ｆｉ ）を求める入力手段と、 求められた可視周波数を次の数式によって可聴周波数に変換する色・音変換手
    段と、 上記変換された可聴周波数を音として出力する出力手段とを備えることを特徴
    とする色・音変換装置： 【数６】
  27. 【請求項２７】 互いに一定の間隔だけ離れた複数のチャンネルを介して音
    源からの音を入力する段階と、 各チャンネルを介して入力された音をそれぞれフーリエ変換する段階と、 上記各フーリエ変換された信号のピーク値をサンプリングする段階と、 複数のチャンネル間の音源発生位置を、上記サンプリングされた各周波数にお
    ける複数のチャンネルの音圧を用いて演算する段階とを含むことを特徴とする音
    源位置決定方法。
  28. 【請求項２８】 上記複数のチャンネルの音源入力位置の間における音源の
    発生位置を下記の数式に基づいて演算することを特徴とする請求項２７に記載の
    音源位置決定方法： 【数７】
  29. 【請求項２９】 上記複数のチャンネルの音源入力位置の間における音源の
    発生位置を下記の数式に基づいて決定することを特徴とする請求項２７に記載の
    音源位置決定方法： 【数８】
  30. 【請求項３０】 音源からの音を互いに一定の間隔だけ離れた複数のチャン
    ネルを介して入力する入力手段と、 各チャンネルを介して入力された音をそれぞれフーリエ変換するフーリエ変換
    手段と、 上記各フーリエ変換された信号のピーク値をサンプリングするサンプリング手
    段と、 複数のチャンネル間の音源発生位置を、上記サンプリングされた各周波数にお
    ける複数のチャンネルの各音圧を用いて演算する演算手段とを備えることを特徴
    とする音源位置決定装置。
JP2001517354A 1999-08-18 2000-08-18 和声法を用いた調和色選定方法及び装置、並びに音・色及び色・音変換方法及び装置 Pending JP2003507799A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR1999/34242 1999-08-18
KR19990034242 1999-08-18
KR2000/21548 2000-04-22
KR20000021548 2000-04-22
KR1020000028147A KR20010020900A (ko) 1999-08-18 2000-05-24 화성법과 색음 상호변환을 이용하여 색채를 조화하는 방법및 장치
KR2000/28147 2000-05-24
KR00/00556 2000-05-29
KR0000556 2000-05-29
PCT/KR2000/000925 WO2001013336A1 (en) 1999-08-18 2000-08-18 Method and apparatus for selecting harmonic color using harmonics, and method and apparatus for converting sound to color or color to sound

Publications (1)

Publication Number Publication Date
JP2003507799A true JP2003507799A (ja) 2003-02-25

Family

ID=27350043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001517354A Pending JP2003507799A (ja) 1999-08-18 2000-08-18 和声法を用いた調和色選定方法及び装置、並びに音・色及び色・音変換方法及び装置

Country Status (7)

Country Link
US (1) US6686529B2 (ja)
JP (1) JP2003507799A (ja)
KR (3) KR20010020900A (ja)
CN (1) CN1229759C (ja)
AU (1) AU6735300A (ja)
GB (1) GB2369978B (ja)
WO (1) WO2001013336A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133758A (ja) * 2004-10-07 2006-05-25 National Institute Of Advanced Industrial & Technology 音階作成方法、音階作成プログラム、該プログラムを記録したコンピュータ読取可能な記録媒体及び音階作成装置、並びに演奏装置及び照明装置
JP2009527779A (ja) * 2006-02-22 2009-07-30 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 音声データを分析するための装置および方法
JP2011509419A (ja) * 2007-12-20 2011-03-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 照明雰囲気に関連付けられている音を自動的に生成するシステム及び方法
KR20180008804A (ko) * 2017-12-11 2018-01-24 전대연 스마트 음악-그림 앱 시스템

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6930235B2 (en) * 2001-03-15 2005-08-16 Ms Squared System and method for relating electromagnetic waves to sound waves
US6831219B1 (en) * 2001-04-23 2004-12-14 George E. Furgis Chromatic music notation system
US7212213B2 (en) * 2001-12-21 2007-05-01 Steinberg-Grimm, Llc Color display instrument and method for use thereof
TW571266B (en) * 2002-02-27 2004-01-11 Friend Spring Ind Co Ltd Control method and device of full-color LED audio/visual generating system
KR20030005117A (ko) * 2002-12-05 2003-01-15 김영애 음을 시각화하여 만든 디자인을 섬유제품에 활용하는 방법.
TR200601222T1 (tr) * 2003-08-18 2012-10-22 Kilki� ���R Karşılıklı ses ve ışık bağlılaşımı için evrensel metot ve aparat
US20050229769A1 (en) * 2004-04-05 2005-10-20 Nathaniel Resnikoff System and method for assigning visual markers to the output of a filter bank
JP3978506B2 (ja) * 2004-07-29 2007-09-19 国立大学法人九州工業大学 楽音生成方法
US7525034B2 (en) * 2004-12-17 2009-04-28 Nease Joseph L Method and apparatus for image interpretation into sound
WO2006078597A2 (en) * 2005-01-18 2006-07-27 Haeker Eric P Method and apparatus for generating visual images based on musical compositions
US20060181537A1 (en) * 2005-01-25 2006-08-17 Srini Vasan Cybernetic 3D music visualizer
WO2006100980A1 (ja) * 2005-03-18 2006-09-28 Pioneer Corporation 音声信号処理装置及びそのためのコンピュータプログラム
US20060274144A1 (en) * 2005-06-02 2006-12-07 Agere Systems, Inc. Communications device with a visual ring signal and a method of generating a visual signal
KR100767060B1 (ko) * 2005-07-11 2007-10-18 김병천 다기능 조명 오디오 장치
US7601904B2 (en) * 2005-08-03 2009-10-13 Richard Dreyfuss Interactive tool and appertaining method for creating a graphical music display
DE102006008298B4 (de) * 2006-02-22 2010-01-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Notensignals
KR100893223B1 (ko) * 2007-03-12 2009-04-16 주식회사 하모니칼라시스템 영상을 음향으로 변환하는 방법과 장치
WO2007105927A1 (en) * 2006-03-16 2007-09-20 Harmonicolor System Co., Ltd. Method and apparatus for converting image to sound
US7538265B2 (en) * 2006-07-12 2009-05-26 Master Key, Llc Apparatus and method for visualizing music and other sounds
KR100772168B1 (ko) * 2006-09-14 2007-10-31 이창주 음악 및 색채 연동 시스템 및 그 방법, 이를 수행하는프로그램이 기록된 기록매체
GB2442983A (en) * 2006-10-16 2008-04-23 Martin Audio Ltd A computer-based method of configuring loudspeaker arrays
US20080225510A1 (en) * 2007-02-16 2008-09-18 Loud Technologies Inc Speaker assembly
US20080229200A1 (en) * 2007-03-16 2008-09-18 Fein Gene S Graphical Digital Audio Data Processing System
USD609714S1 (en) * 2007-03-22 2010-02-09 Fujifilm Corporation Electronic camera
US7589269B2 (en) * 2007-04-03 2009-09-15 Master Key, Llc Device and method for visualizing musical rhythmic structures
US7880076B2 (en) * 2007-04-03 2011-02-01 Master Key, Llc Child development and education apparatus and method using visual stimulation
US7932454B2 (en) * 2007-04-18 2011-04-26 Master Key, Llc System and method for musical instruction
WO2008130665A1 (en) * 2007-04-19 2008-10-30 Master Key, Llc System and method for audio equalization
US7994409B2 (en) * 2007-04-19 2011-08-09 Master Key, Llc Method and apparatus for editing and mixing sound recordings
WO2008130657A1 (en) 2007-04-20 2008-10-30 Master Key, Llc Method and apparatus for computer-generated music
WO2008130663A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc System and method for foreign language processing
WO2008130660A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc Archiving of environmental sounds using visualization components
WO2008130698A1 (en) 2007-04-20 2008-10-30 Master Key, Llc Musical instrument tuning method and apparatus
US7935877B2 (en) * 2007-04-20 2011-05-03 Master Key, Llc System and method for music composition
US7820900B2 (en) * 2007-04-20 2010-10-26 Master Key, Llc System and method for sound recognition
WO2008130659A1 (en) * 2007-04-20 2008-10-30 Master Key, Llc Method and apparatus for identity verification
US8018459B2 (en) * 2007-04-20 2011-09-13 Master Key, Llc Calibration of transmission system using tonal visualization components
US7932455B2 (en) 2007-04-20 2011-04-26 Master Key, Llc Method and apparatus for comparing musical works
DE202007018920U1 (de) * 2007-09-13 2009-10-22 Winterfeld, Helmuth M., Dipl.-Ing. Vorrichtung zur Transformation von Wellen
KR101238362B1 (ko) 2007-12-03 2013-02-28 삼성전자주식회사 음원 거리에 따라 음원 신호를 여과하는 방법 및 장치
US7919702B2 (en) * 2008-02-01 2011-04-05 Master Key, Llc Apparatus and method of displaying infinitely small divisions of measurement
US7875787B2 (en) * 2008-02-01 2011-01-25 Master Key, Llc Apparatus and method for visualization of music using note extraction
EP2136356A1 (en) * 2008-06-16 2009-12-23 Yamaha Corporation Electronic music apparatus and tone control method
WO2011040660A1 (ko) * 2009-10-04 2011-04-07 Kang Min-Su 좌표와 색을 이용한 전자악기
JP5477357B2 (ja) * 2010-11-09 2014-04-23 株式会社デンソー 音場可視化システム
BE1019823A3 (nl) * 2011-02-16 2013-01-08 Robrecht Karel V Noens Werkwijze en inrichting voor het omzetten van een audiosignaal naar een stuursignaal voor een audiovisualisatiesysteem en audiovisualisatiesysteem.
CN102289778A (zh) * 2011-05-10 2011-12-21 南京大学 一种图像至音乐的转换方法
US9281793B2 (en) 2012-05-29 2016-03-08 uSOUNDit Partners, LLC Systems, methods, and apparatus for generating an audio signal based on color values of an image
CN103578324A (zh) * 2012-07-19 2014-02-12 明馨国际有限公司 乐器的光声装置
KR101466345B1 (ko) * 2013-04-24 2014-12-11 경북대학교 산학협력단 영상 음향 변환 장치 및 영상 음향 변환 방법
KR101411650B1 (ko) * 2013-06-21 2014-06-24 김남규 키 입력 장치, 키 입력 인식 장치 및 이들을 이용한 키 입력 시스템
TWI553270B (zh) * 2013-10-30 2016-10-11 緯創資通股份有限公司 情境式聲光效果產生方法及裝置
USD750103S1 (en) * 2014-01-30 2016-02-23 Pepsico, Inc. Display screen or portion thereof with graphical user interface
CN104464741B (zh) * 2014-12-29 2018-04-06 中山大学花都产业科技研究院 一种音频信号转视觉颜色信息的方法及系统
US9520117B2 (en) 2015-02-20 2016-12-13 Specdrums, Inc. Optical electronic musical instrument
WO2017196016A1 (ko) * 2016-05-12 2017-11-16 김영언 소리를 감지하여 상응하는 빛으로 변환하는 장치
US20210287643A1 (en) * 2016-05-27 2021-09-16 Zi Hao QIU Method and apparatus for converting color data into musical notes
PL232436B1 (pl) * 2017-07-19 2019-06-28 Politechnika Lodzka Sposób odczytywania barw obrazów za pomocą dźwięku
USD863427S1 (en) * 2018-08-19 2019-10-15 Lukas Häne Color harmony scale chart for music
US10755683B1 (en) * 2019-02-02 2020-08-25 Shawn Baltazor Transformation of sound to visual and/or tactile stimuli
CN112857560B (zh) * 2021-02-06 2022-07-22 河海大学 一种基于声音频率的声学成像方法
CN113108893B (zh) * 2021-03-22 2022-08-16 北京科技大学 一种基于声压和质点振速的声场重构系统及方法
JP1721930S (ja) * 2021-09-01 2022-08-09 位置情報計測用画像

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03134697A (ja) * 1989-10-20 1991-06-07 Mitsubishi Heavy Ind Ltd 音響信号の色彩変換装置
JPH03134696A (ja) * 1989-10-20 1991-06-07 Mitsubishi Heavy Ind Ltd 音響信号の色彩変換装置
JPH04170574A (ja) * 1990-11-01 1992-06-18 Mitsuo Hirase 楽譜に載置する音階色分け透明板と鍵盤楽器の鍵盤上に載置する音階色分けベルト及び音階色分け透明板を載置した楽譜で音階色分けベルトを鍵盤上に載置した鍵盤楽器を演奏する方法
JPH07191800A (ja) * 1993-12-27 1995-07-28 Yamatake Honeywell Co Ltd 空間動作インターフェイス
JPH10318840A (ja) * 1997-05-16 1998-12-04 Naoya Sugiki 色合わせ方法
JPH10320570A (ja) * 1997-05-16 1998-12-04 Toray Ind Inc 色柄模様表示方法およびその装置
JPH1152949A (ja) * 1997-07-30 1999-02-26 Yamaha Corp 音階表示シートおよび音階表示装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB212315A (en) * 1922-12-08 1924-03-10 Mary Sargant Florence Improvements relating to indicators applicable to the teaching of music or the selection and combining of colours
US3990105A (en) * 1974-02-19 1976-11-02 Fast Robert E Audio-visual convertor
DE2843180C3 (de) * 1978-10-04 1981-11-05 Robert Bosch Gmbh, 7000 Stuttgart Verfahren und Vorrichtung zur akustisch-optischen Umwandlung von Signalen
WO1981000637A1 (en) * 1979-08-27 1981-03-05 N Louez Method of representing sound by colour
JPH0670748B2 (ja) * 1985-03-20 1994-09-07 ペイスト．ロジヤ−．エム ビデオデイスプレイ
JP2559390B2 (ja) * 1987-01-28 1996-12-04 株式会社日立製作所 音・画像変換装置
US5005459A (en) * 1987-08-14 1991-04-09 Yamaha Corporation Musical tone visualizing apparatus which displays an image of an animated object in accordance with a musical performance
US5191319A (en) * 1990-10-15 1993-03-02 Kiltz Richard M Method and apparatus for visual portrayal of music
US5359341A (en) * 1992-04-22 1994-10-25 Tek Electronics Manufacturing Corporation Power supply for sequentially energizing segments of an electroluminescent panel to produce animated displays
KR960000010A (ko) * 1994-06-25 1996-01-25 김오영 식물재배용 쇼케이스의 제어방법
DK0889746T3 (da) * 1995-06-08 2003-07-21 Claus Hvass Fremgangsmåde og apparat til omdannelse af lydsignaler til lys
US5689078A (en) * 1995-06-30 1997-11-18 Hologramaphone Research, Inc. Music generating system and method utilizing control of music based upon displayed color
GB2319346B (en) * 1996-11-13 2001-03-21 Sony Uk Ltd Analysis of audio signals
JP3724246B2 (ja) * 1999-03-23 2005-12-07 ヤマハ株式会社 音楽画像表示装置
GB2353395A (en) * 2000-07-26 2001-02-21 Ashley John Renham Musical instrument and musical notation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03134697A (ja) * 1989-10-20 1991-06-07 Mitsubishi Heavy Ind Ltd 音響信号の色彩変換装置
JPH03134696A (ja) * 1989-10-20 1991-06-07 Mitsubishi Heavy Ind Ltd 音響信号の色彩変換装置
JPH04170574A (ja) * 1990-11-01 1992-06-18 Mitsuo Hirase 楽譜に載置する音階色分け透明板と鍵盤楽器の鍵盤上に載置する音階色分けベルト及び音階色分け透明板を載置した楽譜で音階色分けベルトを鍵盤上に載置した鍵盤楽器を演奏する方法
JPH07191800A (ja) * 1993-12-27 1995-07-28 Yamatake Honeywell Co Ltd 空間動作インターフェイス
JPH10318840A (ja) * 1997-05-16 1998-12-04 Naoya Sugiki 色合わせ方法
JPH10320570A (ja) * 1997-05-16 1998-12-04 Toray Ind Inc 色柄模様表示方法およびその装置
JPH1152949A (ja) * 1997-07-30 1999-02-26 Yamaha Corp 音階表示シートおよび音階表示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006133758A (ja) * 2004-10-07 2006-05-25 National Institute Of Advanced Industrial & Technology 音階作成方法、音階作成プログラム、該プログラムを記録したコンピュータ読取可能な記録媒体及び音階作成装置、並びに演奏装置及び照明装置
JP4665123B2 (ja) * 2004-10-07 2011-04-06 独立行政法人産業技術総合研究所 音階作成方法、音階作成プログラム、該プログラムを記録したコンピュータ読取可能な記録媒体及び音階作成装置、並びに演奏装置及び照明装置
JP2009527779A (ja) * 2006-02-22 2009-07-30 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 音声データを分析するための装置および方法
JP2011509419A (ja) * 2007-12-20 2011-03-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 照明雰囲気に関連付けられている音を自動的に生成するシステム及び方法
KR20180008804A (ko) * 2017-12-11 2018-01-24 전대연 스마트 음악-그림 앱 시스템
KR102587069B1 (ko) * 2017-12-11 2023-10-11 전대연 스마트 음악-그림 앱 시스템

Also Published As

Publication number Publication date
WO2001013336A1 (en) 2001-02-22
KR20010084954A (ko) 2001-09-07
GB2369978A (en) 2002-06-12
GB0204790D0 (en) 2002-04-17
KR20010020900A (ko) 2001-03-15
KR20020038563A (ko) 2002-05-23
CN1370310A (zh) 2002-09-18
KR100322347B1 (ko) 2002-02-04
KR100736434B1 (ko) 2007-07-09
CN1229759C (zh) 2005-11-30
US6686529B2 (en) 2004-02-03
US20020114511A1 (en) 2002-08-22
AU6735300A (en) 2001-03-13
GB2369978B (en) 2004-06-09

Similar Documents

Publication Publication Date Title
JP2003507799A (ja) 和声法を用いた調和色選定方法及び装置、並びに音・色及び色・音変換方法及び装置
US5048390A (en) Tone visualizing apparatus
US9557956B2 (en) Information processing apparatus, information processing method, and program
JP2020003537A (ja) オーディオ抽出装置、学習装置、カラオケ装置、オーディオ抽出方法、学習方法及びプログラム
EP1020843A1 (en) Automatic musical composition method
CN110444185B (zh) 一种音乐生成方法及装置
JP2003346137A (ja) 色再現装置
CN1111382A (zh) 在卡拉ok装置中使用的演唱评分器
US20080223196A1 (en) Semiconductor Device Having Music Generation Function, and Mobile Electronic Device, Mobile Telephone Device, Spectacle Instrument, and Spectacle instrument Set Using the Same
KR20150112048A (ko) 모바일 앱 기반의 실시간 영상의 배경음악 생성방법
JP2008233576A (ja) 楽曲及び楽譜の映像化及び画像化の方法
US20180204588A1 (en) Sound quality determination device, method for the sound quality determination and recording medium
RU2411593C2 (ru) Устройство для преобразования частотного спектра в частоты природной гармоники
JP2020021098A (ja) 情報処理装置、電子機器及びプログラム
JP3643829B2 (ja) 楽音生成装置、楽音生成プログラムおよび楽音生成方法
KR20020013825A (ko) 화성법을 이용한 음색변환표로 채색한 악기
JP2001265330A (ja) 旋律抽出装置および旋律抽出方法
KR20070094207A (ko) 영상을 소리로 변환하는 방법 및 장치
Segnini et al. Scoregram: Displaying gross timbre information from a score
CA2382167A1 (en) Method and apparatus for selecting harmonic color using harmonics, and method and apparatus for converting sound to color or color to sound
ITPI20100013A1 (it) Metodo di conversione in immagini tridimensionali in movimento di suoni caratterizzati da cinque parametri, e relativo processo inverso.
JPH06186958A (ja) サウンドデータ生成システム
JP2629740B2 (ja) 音響処理装置
JP2689438B2 (ja) 楽音映像化装置
JP6915422B2 (ja) 音処理装置及び表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101013

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110309