CN1370310A - 利用和声法的调和色选择方法与装置,以及声音颜色的互换方法与装置 - Google Patents

Abstract

本发明涉及到基于和声法的调和色选择方法与装置、声音颜色转换方法与装置、以及颜色声音转换方法与装置。尤其是本发明的调和色选择方法如下:选择音阶分割律及和声法编码,选择基础色,计算上述选定基础色的亮度,对于算出的亮度决定其对应音级,选择与算出的亮度对应的音级,然后根据选定音级内的音阶频率比,把上面选定和声法编码的调和频率比以基础色频率演算出调和色频率,而且如果算出的调和色频率超出可视频宽时,把调和色频率除以2或乘以2的频率作为调和色频率,把前面算出的调和色频率显示成上述基础色的调和色。由于本发明选择与和声法的调和音对应的调和色,进行颜色设计时,可以轻易地选择配色(harmonious colors)。

Description

利用和声法的调和色选择方法与装置，以及声音颜色的互换方法与装置

技术领域

本发明涉及利用和声法的调和色选择方法与装置，以及声音颜色互换方法与装置。更详细说明的话，本发明涉及利用和声法选择可以准确地配合任意基础色的调和色，将同样具备波属性的声色予以相互转换频率，达到声音的彩色影像化与影像的声音化的方法与装置。

背景技术

随着彩色电视节目带来颜色的急速大众化，颜色的经济价值也日益提高。与此同时，对于色彩的商业化竞争导致了毫无节制地供应众多颜色，不协调的颜色构成了影响人类生活环境的色公害。

因此对于网页设计人员、美术家、建筑师、室内装潢人员、工业设计人员、造景师、服饰设计家、舞台装置技师、各种领域的创造者与商品消费者们来说，选择调和的颜色变得非常重要。

颜色调和(Color Harmony)是指将两个以上的颜色用于较近的地方并获得良好的效果。

目前为止的颜色调和根基于人的视觉经验，将任意基础色及与其调和的调和色以天然色印刷的彩色印刷书籍是他们选择调和色时的参考，代表性的颜色调和标准有色簿(Coloring Book)、孟塞尔(Munsell)颜色系统、以及国际照明委员会(CIE)为了在阴极射线管之类的显示装置准确显示可视光而建议的CIE标准色度学系统等。

但是传统的色彩调和方法是以人的经验或实验作为其基础，缺乏客观性。由于该方法是基于现有的印刷形态资料并依靠人的视觉敏感性来选择调和色，因此色彩的准确性差，而且现有的印刷形态资料无法直接用于桌面出版系统(Desk Top Publishing System；DTP)。

此外，作为从已利用和声法调和好的音乐中提取调和色的声音颜色互换方法，虽然颜色与声音在物理上拥有相同的波性质，只是作用在视觉与听觉的频带不同而已，但是目前为止却还没有根基于该物理性质的音色可逆转换研究。

把声音的变化视觉化了的多频音调补偿器(Graphic Equalizer)是传统的音乐显示装置中最具代表性的，然而它也只是单纯地表示各频宽的音压大小而已，它所能显示的影像过于单纯，其应用范围也过于狭窄。

美国专利第6,046,724号揭示了将声音转换成光的方法与装置。在上述专利中，提出了通过分别与3度到8度的6音对应的6个过滤单元；根据各频率与音的强弱，控制RGB的3色光源以对应声音的光。

因此本发明的第一个目的是，为了解决上述问题，提供可以从已利用和声法调和好的音乐中提取调和色的基于和声法的调和色选择方法与装置。

本发明的第二个目的是，将10度12音阶与10亮度12颜色一比一对应起来，提供一个可以一眼看出音色互换的声音颜色转换表。

本发明的第三个目的是，提供可以根据声音颜色转换表给音阶位置赋予色彩，并在演奏音乐时以颜色识别各音阶的乐器。

本发明的第四个目的是，利用色与声的波动(频率)特性，提供客观而公式化的频率转换基准，再根据该基准将可视及可听频率轻易地转换成可听及可视频率，提供可以实现颜色的听觉化与声音的视觉化的声音颜色互换方法与装置。

本发明的第五个目的是，为了在声音颜色转换时能显示立体音的音源位置，提供可以决定各音源位置的方法与装置。

为了实现上述五个目的，本发明的调和色选择方法具备了下列几个阶段作为其特征：选择音阶分割律及和声法编码的阶段；选择基础色的阶段；计算上述选定基础色明度的阶段；选择上述明度的对应音级(octave)的阶段；对于选定音级内的音阶频率比，根据上面所选定和声法编码的调和频率比率，从上述基础色频率算出调和色频率，而且如果算出的调和色频率超出可视频宽时，将调和色频率转换成可视频宽的阶段；以及把前面算出的调和色频率显示成上述基础色的调和色的阶段。

上面的分割律是平均律或纯律。平均律时，可以利用下列公式求得调和色。 $F_h=F_r\×{\left(\sqrt[k]{2}\right)}^n-------\left(1\right)$ 其中，F_h是待求解的调和频率，F_r是输入频率，k是音阶数，也就是一个音级的频率等分数，n是满足1n(k-1)的调和频率比，k与n是自然数。

本发明的调和色选择装置具备了下列几个单元作为其特征：选择音阶分割律、和声法编码及基础色的选择单元；上述和声法编码基于音阶分割律，而调和频率比表根据该编码制定调和音阶，储存该表的储存单元；计算上述选定基础色的亮度后，选择与算出的亮度对应的音级，然后对于选定音级内的音阶频率比，参考上表把上面选定和声法编码的调和频率比以基础色频率演算出调和色频率，而且如果算出的调和色频率超出可视频宽时，将调和色频率转换成可视频宽的处理单元；以及把前面算出的调和色频率显示成上述基础色的调和色的显示单元。

本发明的声音颜色转换表的特征是，把第一坐标轴上的音阶”多”与色阶“红”作为其坐标原点，经过12等分将12音阶与12色阶予以一对一排列，把第二坐标轴上的10度与10等级亮度予以一对一排列。上述声音颜色转换表构成了极坐标系或直角坐标系，上述音阶“多、米、索”与色阶“红、绿、蓝”具有相似的波长。

上述极坐标系的第一坐标轴是圆周方向，第二坐标轴是半径方向。上述直角坐标系可以是彩度与音阶成正比，也可以是亮度与音阶成正比。

本发明的乐器特征是，以根据声音颜色转换表而来的颜色为对应音阶位置着色。

本发明的声音颜色转换方法具备了下列几个阶段作为其特征：把输入的声音进行傅立叶变换的阶段；在经过傅立叶变换的信号中至少取样一个以上的特定可听频率信号的阶段；在采样中至少有一个以上的可听频率信号可以经由下列公式转换成可视频率信号的阶段；对于上述经过转换的至少一个以上的可视频率，显示其对应颜色的阶段。 $F=F_l\×2^{x^{*}----------------\left(2\right)}$ B_F∝x(这时为

F是待求解的可视频率，F₁是基准可视频率，x的整数部分是音级(octave)值，B_F是颜色的亮度，x^*是以x的小数点以下的部分决定一个音级(octave)内的音阶值的变量，f_i是采样的输入可听频率，f₁是基准可听频率，C’作为常数，是满足0C’1的实数。)

上述采样的阶段包含了下列各阶段：每隔一定时间就把上述傅立叶变换的信号以幀为单位输入的阶段；每个幀至少求取一个以上峰值的阶段；把求得的峰值按照音压大小顺序整理的阶段；在上述音压大小中顺序采样特定数量的阶段。

上面的显示阶段；在上述采样的各峰值频率位置上具有与各峰值音压成正比的大小，可以显示出按照前面经过转换的颜色着色的影像。而且上面的显示阶段，在与上述采样的各峰值频率对应的各动画位置具有与各峰值音压成正比的动画移动，可以显示出按照前面经过转换的颜色着色的影像。而且上面的显示阶段也可以把大小与选定位置采样的所有峰值的每个音压成正比的影像重叠显示。

本发明的声音颜色转换方法具备了下列几个阶段作为其特征：通过多个频道把输入的多个声音分别加以傅立叶变换的阶段；在每个经过傅立叶变换的信号中至少采样一个以上特定可听频率信号的阶段；对于上述多个声音，利用相互对应的频率之可听频率信号演算上述多个频道之间的音源位置的阶段；对于上述多个声音中的每一声音，利用上面的公式(2)把至少一个以上的采样可听频率信号分别转换成可视频率信号的阶段；根据频率与音源位置把上述至少一个以上经过转换的可视频率的对应颜色显示出来的阶段。

在上述多个频道的音源输入位置之间，根据下列公式计算音源的发生位置。 $I_{\mathrm{diff}}=k(\frac{1}{s^2+a^2}-\frac{1}{s^2+{(d-a)}^2})$

(其中，a是以特定频道的音源输入位置为“0”的待求解音源发生位置值，d是第一频道的音源输入位置与第二频道的音源输入位置之间的距离，s是连接上述两个频道的音源输入位置的直线与实际音源位置之间的垂直距离，k是满足k)0的常数，I_diff是某特定峰值的第二频道音压值对第一频道音压值之差。)

本发明的声音颜色转换装置具备了下列几个单元作为其特征：输入声音的输入单元；把输入的声音放大的放大单元；把放大的声音加以傅立叶变换的傅立叶变换单元；在每个经过傅立叶变换的信号中至少采样一个以上特定可听频率信号的采样单元；把前面采样的各可听频率信号转换成可视频率信号的声音颜色转换单元；把上述采样的各可听频率中至少一个以上经过转换的可视频率的对应颜色显示出来的显示单元。

本发明的声音颜色转换方法具备了下列几个单元作为其特征：通过多个频道各自输入声音的输入单元；把输入的声音的放大的放大单元；把放大的声音加以傅立叶变换的傅立叶变换单元；在每个经过傅立叶变换的信号中至少采样一个以上特定可听频率信号的采样单元；对于上述多个声音，利用相互对应的频率之可听频率信号演算上述多个频道之间的音源位置的处理单元；把上述采样的每个可听频率信号分别转换成可视频率信号的声音颜色转换单元；根据音源位置把上述采样的各可听频率中至少一个以上经过转换的可视频率的对应颜色显示出来的显示单元。

上述显示单元可以由CRT、LCD与之类的影像显示装置或全彩色显示灯、彩色激光光源装置之类的照明装置构成。

本发明的颜色声音转换方法具备了下列几个阶段作为其特征：求取与输入的颜色对应的可视频率(F_i)及亮度(B_Fi)的阶段；根据下列公式把求得的可视频率转换成可听频率的阶段；把上述经过转换的可听频率输出的阶段。 $f=f_l\×2^{x+B_{\mathrm{Fi}}}-------------\left(4\right)$ (其中， f是待求解的声音的频率，f₁是基准可听频率，F_i是输入可视频率，F₁是基准可视频率，B_Fi是满足1B_Fi≤10的整数，C作为常数，是满足-1C1的实数。)

本发明的颜色声音转换装置具备了下列几个单元作为其特征：求取与输入的颜色对应的可视频率及亮度的单元；根据上述公式(4)把求得的可视频率转换成可听频率的颜色声音转换单元；把上述经过转换的可听频率以声音形态输出的单元。

本发明的音源位置识别方法具备了下列几个阶段作为其特征：通过等间隔的多个频道从音源输入声音的输入阶段；把通过各频道输入的声音分别加以傅立叶变换的阶段；对上述每个经过傅立叶变换的信号之峰值采样的阶段；在上面采样的各频率中利用多个频道的各音压，演算多个频道之间的音源发生位置的处理阶段。

在上述多个频道的音源输入位置之间，根据下列公式计算音源的发生位置。 $I_{\mathrm{diff}}=k(\frac{1}{s^2+a^2}-\frac{1}{s^2+{(d-a)}^2})---------\left(5\right)$

(其中，a是以特定频道的音源输入位置为“0”的待求解音源发生位置值，d是第一频道的音源输入位置与第二频道的音源输入位置之间的距离，s是连接上述两个频道的音源输入位置的直线与实际音源位置之间的垂直距离，k是满足k)0的常数，I_diff是某特定峰值的第二频道音压值对第一频道音压值之差。)

在上述多个频道的音源输入位置之间，根据下列公式决定音源的发生位置。E_diff＝M1_energy-M2_energy  ----------(6)E_diff＞0时，音源的发生位置接近第一频道E_diff＜0时，音源的发生位置接近第二频道ENERGY＝∑(P₁ ²+P₂ ²+....P_n ²)

(其中，E_diff是把两个频道之间的中间位置作为“0”的音源发生位置值，Pn是各峰值发生位置的音压值，n是检测到的峰值数，M1_energy是第一频道的音压能量值，M2_energy是第二频道的音压能量值。)

本发明的音源位置识别单元具备了下列几个单元作为其特征：通过等间隔的多个频道从音源输入声音的输入单元；把通过各频道输入的声音分别加以傅立叶变换的傅立叶变换单元；求得上述各傅立叶变换信号的最高点，并对最高点的频率与水平(level)采样的采样单元；在上面采样的各频率中利用多个频道的各音压，演算多个频道之间的音源发生位置的处理单元。

【发明的详细说明】

下面结合附图对本发明的妥善实施例做进一步说明如下。

图1表示本发明的极坐标系声音颜色转换表。图1是把和声法的12音阶与色彩对应的一个例子，把“多”音(在图形中标示为C)对应到了红色(682nm)。如图所示，色彩的排列是将可视频率从低频率取对数(log)后的值，然后以圆上的“多(C)”位置作为0度基准并与角度成正比，从红色排列到橙色、黄色、绿色、蓝色及紫色。而且环圆上音阶数(也就是说把一个音级的频宽以相同间隔将对数(logarithmically)等分的数)的配置按照以多(C)、多#(C#)、来(D)、来#(Eb)、米(E)、发(F)、发#(F#)、索(G)、索#(Ab)、啦(A)、啦#(Bb)、西(B)表现的12音阶。沿着半径方向，色阶的亮度与音阶的音级一对一地对应排列成色调环。因此越接近圆心，其亮度与音级越高；越远离圆心，其亮度与音级也越低。

图2表示本发明的直角坐标系第一声音颜色转换表。第一声音颜色转换表的横轴是音高与颜色，纵轴是音级与亮度。第一声音颜色转换表的颜色彩度与音高成正比转换。因此虽然同一音级中各颜色亮度不同，但是其彩度则相同。

图2表示本发明的直角坐标系第二声音颜色转换表。第二声音颜色转换表的横轴是音高与颜色，纵轴是音级与亮度。第二声音颜色转换表的颜色亮度与音高成正比转换。因此横向颜色的亮度虽然相同，但是其彩度不同。

图4与图5表示根据本发明的声音颜色转换表把音阶位置着色的乐器。图4表示根据亮度与音高成正比的第二声音颜色转换表把吉他及钢琴的音阶位置着色的情形，图5表示根据第一声音颜色转换表着色的情形。

因此如果使用本发明的乐器，演奏者可以利用颜色识别音阶位置，并轻易地识别音阶的音级与音高。

图6表示根据本发明的调和色选择装置方块图。图6的调和色选择装置包含选择单元(10)、储存单元(12)、处理单元(14)、显示单元(16)。

选择单元(10)为寻找调和色而选择基础色，并选择音阶分割律及和声法编码。

储存单元(12)储存图7及图8的第一与第二表。图7是表示音阶分割律与调和频率比的第一表，图8则表示与和声法编码对应的调和频率比的第二表。

在音阶分割律为平均律时，处理单元(14)根据下列公式计算调和色。 $F_h=F_r\×{\left(\sqrt[k]{2}\right)}^n$

其中，F_h是待求解的调和频率，F_r是输入频率，k是音阶数，也就是一个音级的频率等分数，n是满足1n(k-1)的调和频率比，k与n是自然数。

一般来说12音阶的使用机会比较多，因此对于k为12，n为1到11的情形予以说明。在上述数学公式，由于k为12，因此

约等于1.0594，是将一个音级的频率以对数(log)等分为12分时相邻音阶之间的频率比。也就是说，对于声音，在和声法把一个音级的音分成12音阶时，与相邻音(例如“多”与’多#’)之间的频率比相同。

因此调和频率比n表示构成特定编码音之间的等比间隔。作为一个例子，以“多米索”构成的大调编码会以相当于“多”音的频率为基准，而相当于“米”音与”索”音的频率之间的等比间隔各为4与7，因此在上表中大调编码的调和频率比值显示成4与7。因此输入频率与“多”音对应时，与上述输入频率调和的多个调和频率分别是与各”米”音与”索”音对应的频率。

作为一个例子，如果从输入单元(11)收到的输入频率约为与蓝色对应的690THz(435nm的波长)时，计算相当于小调编码的调和频率，因为调和频率比n分别为3与7，因此

1033.83THz(290.18nm的波长)。

由于F_h2超出了可视频率范围，上述第一处理部(17)在求得的调和频率超出可视频率范围时，把求得的调和频率除以2以便不超出可视频率范围。因此F_h2成为除以2之后的516.92THz(580.36nm的波长)。

而且如果将传统平均律上的12音阶如同上述公式把一个音级(octave)的频率以对数比等分时，相邻音之间的频率间隔全都是 。但是如果是纯律，因为是以“多”音为基准，以分数形式制作上面的音，相邻音之间的频率间隔不固定。但是纯律至今还被用做调律方法，可见它的调和程度比平均律优越。

因此利用纯律把音阶等分时，为了计算调和频率而导出了以主频率(相当于上述”多”音的频率)为基准，而与上述调和频率比n值对应的分数形式的频率比(以下简称“纯律频率比”)，图7表示了以主频率为基准，相当于各音阶的纯律频率比。

作为一个例子，输入单元(11)供应的输入频率是属于红色的460THz，使用者选择大调编码，而且在图8导出的调和频率比n各为4与7时，与调和频率比4与7对应的纯律频率比各为5/4与3/2，因此 $F_{h1}=460\×{\frac{5}{4}}_{\mathrm{THz}=575\mathrm{THz},}{F}_{h2}=460\×{\frac{3}{2}}_{\mathrm{THz}=690\mathrm{THz}}$ 。

显示单元(16)把输入的调和频率转换成可视光，在监视器的屏幕显示调和色。

图9是电脑监视器上的画面状态图，说明本发明的调和色选择方法中的一个例子。如同图9画面所示，单击左边窗大和声法编码列表栏时，在中间窗显示和声法编码列表，如果在显示的和声法编码列表中选择″SUS4″编码，则在右边窗显示所选定1度与3度的3个调和色，下面则在色调环显示″SUS4″的调和频率图形。如果在色调环选择基础色，相关的调和色就会变化并显示在上面的调和色显示窗。

图10是电脑监视器上的画面状态图，说明本发明的调和色选择方法中的另一个例子。在图10的另一个例子中，和声法编码″AUG″与″7/ALT″分别显示其调和色选择画面。在各调和色选择画面的左边显示所选和声法编码的调和色显示窗、亮度选择条、彩度选择条、色调环，右边则显示经过表格化的所有和声法编码的调和色。如果在右边的色调环选择基础色，调和色显示窗的颜色会改变。

图11例示了本发明的良好实施例中声音颜色转换装置的方块图。图11的装置包含麦克风(22，24)、放大器(26，28)、傅立叶变换器(30，32)、采样单元(34，36)、声音颜色转换处理单元(38，40)、音源位置计算单元(42)、显示控制单元(44)、显示装置(46)、命令输入单元(48)、储存单元(50)、控制单元(52)。

图11的声音颜色转换装置通过从音源(20)输入声音的多个麦克风(22，24)分别输入L、R两2频道的声音。输入进来的L、R频道音的信号经过放大器(26，28)的放大，放大后的信号在傅立叶转换器(30，32)分别以每幀单位的高速进行傅立叶变换。经过傅立叶变换的信号在采样单元(34，36)被某一过滤算法过滤，过滤后的峰值按照音压顺序分类后，被以适当的峰值数(例如30个以下)采样。采样后的各峰值信号分别具有频率值与音压值。该信号在声音颜色转换处理单元(38，40)根据上述声音颜色转换公式被转换成可视频率。

作为一个例子，如果上述输入可听频率f_i为相当于4音级”米”音的329.6HZ，常数C’根据相当于“红色”的基准频率而显示.29的值，最低可听频率f₁与最低可视频率F₁分别设定为20Hz与350THz，那么根据上述公式导出的可视频率为441THz，待求解颜色的亮度与上面计算的x值成正比而具有4.33(43.3％)的亮度值。

此外，采样的峰值信号被传到音源位置计算单元(42)。音源位置计算单元(42)在同一频率计算L、R频道两个信号的音源位置。

图12是流程图，它说明了第一实施例中音源发生位置处理阶段的详细步骤。

图12的流程说明在如同图13所示的情形下，也就是说假设知道实际音源的位置，音源的移动区局限于第一频道与第二频道之间时，计算多个频道中间的2个频道，即第一频道的音源输入位置与第二频道的音源输入位置之间的音源发生位置的流程。

图形中，d是第一频道的音源输入位置与第二频道的音源输入位置之间的距离，s是连接上述两个频道的音源输入位置的直线与实际音源位置之间的垂直距离，a是以特定频道的音源输入位置为“0”的待求解音源发生位置值(例如第一频道)的音源输入位置。

为了计算上面的音源发生位置值a，如上述，输入各频道的音源信号(100)，根据上述控制信号与各频道的音源信号，把通过各频道输入可听频率以特定的频率间隔加以高速傅立叶变换(Fast Fourier Transform，以下简称“FFT”)处理(101)，再根据FFT处理的结果检测各频道的一个或多个峰值点(102)。

进一步说明的话，图14是把单一幀各频道的可听频率进行FFT处理的结果显示出来的频谱。横轴与纵轴分别表示频率轴与音压水平轴(图形中显示的分贝值为(-)值)，图示了把输入的电信号按照各频率的音压大小分析后的结果。根据上面的FF处理结果，对于同一频率，在第一频道检测第一峰值点(P₁)、第二峰值点(P₂)及第三峰值点(P₃)等多个峰值点，在第二频道检测第一峰值点(P’₁)，第二峰值点(P’₂)及第三峰值点(P’₃)等多个峰值点。

然后在每个频道检测各峰值点的对应频率与以dB(分贝)单位换算的音压水平值，再计算该频率峰值点的音压差并输出到I_diff(103)。也就是说，比较第一与第二频道的第一峰值点时，I_diff表示P_1的音压水平值-P’₁的音压水平(level)值，根据输出的I_diff与已经设定的s及d值，按照下面的数学公式4计算各峰值频率的音源发生位置a。 $I_{\mathrm{diff}}=k(\frac{1}{s^2+a^2}-\frac{1}{s^2+{(d-a)}^2})$

其中，a是以第一频道的音源输入位置为“0”的待求解音源发生位置值，k是满足k)0的常数，s与d则与前面的定义相同。

根据上述公式计算各峰值频率的音源发生位置a(104)，把检测的a值与d值进行比较判断(105)，如果a(d/2，则判断音源发生位置接近第一频道(106)，如果a)d/2，则判断音源发生位置接近第二频道(107)。然后输出检测的各峰值点频率值与音压水平值，以及上面计算揣的音源发生位置值(108)。

上述显示控制单元(44)根据输入的音源发生位置与各峰值频率值及音压水平值输出可视光。图15作为显示画面的一个例子，如图所示，把相当于横轴的第一轴两端分别对应到第一频道与第二频道，把第一轴上的音源发生位置作为第一轴的坐标，把各音源的频率值作为相当于纵轴的第二轴坐标，根据上述数学式3把从音源频率计算而来的色调显示成与音压成正比的面积。

因此显示控制单元(44)可以在结合第一轴与第二轴的二维平面轻易地显示各峰值频率的音源发生位置、与音源对应的色调及音压大小。

如前述，本实施例针对检测出峰值点的各频率计算音源的发生位置，因此虽然从同一地点发生的音源输入频率后加以分析，也会在同一幀内产生各峰值频率的音源发生位置值各自不同的情形。但是如果采用下面的第二个实施例，可以在同一幀内获得同一音源发生位置值。

图16是流程图，它说明了第二实施例中音源发生位置处理阶段的详细步骤。

图16的流程图为在如同图17如示的情形下，也就是说多个频道中的2个频道，即第一频道及第二频道的音源输入位置之间的距离d是未知数，实际音源的位置与上述音源的移动区不限于第一与第二频道之间，上述音源在与连接第一与第二频道的轴垂直的轴也移动时，检测出以两个频道之间的中间位置作为“0”的音源发生位置。

首先，输入各频道的音源信号(110)，把通过各频道输入可听频率以特定的频率间隔加以FFT处理(111)，再根据FFT处理的结果检测各频道的一个或多个峰值点(112)与第一实施例与相同。

然后检测在各频道检测到的各峰值点的音压水平值，按照下面的数学公式5分别计算第一频道的音压能量与第二频道的音压能量(114)，把每个频道计算出来的音压能量予以比较判断后再计算音源的发生位置。

E_diff＝M1_energy-M2_energy

这时为∑(P₁ ²+P₂ ²+....P_n ²)

其中，E_diff是把两个频道之间的中间位置作为“0”的音源发生位置值，P_n是检测出峰值点的该频率的音压水平值，n是检测到的峰值数，M1_energy是第一频道的音压能量值，M2_energy是第二频道的音压能量值。

按照上面的公式，根据在第一与第二频道检测出峰值点的频率的音压水平值计算M1_energy与M2_energy，根据M1_energy与M2_energy的结果值检测E_diff。然后判断检测的E_diff是正数还是负数(115)，如果E_diff)0，则判断音源发生位置接近第一频道(116)，如果E_diff＜0，则判断音源的发生位置接近第二频道(117)，然后把检测出来的各峰值点频率值与音压水平值，以及上面计算揣的音源发生位置值输出(118)到显示单元(44)。

图18显示了上述显示单元可显示的画面的一个例子，其画面构成与第一实施例与相同。在一个幀内计算一个音源发生位置时，显示为圆的各频率的音源发生位置排列成与第二轴平行的直线。

图19是流程图，它说明了第三实施例中音源发生位置处理阶段的详细步骤。本实施例的特征是针对各频宽计算音源的发生位置。对于实际音源位置与音源移动区的假设与第二实施例与相同，图19流程图中的120-122阶段与第一实施例相同。

在122阶段，针对各频道检测出来的多个峰值点检测其音压水平(level)值，按照一定的频率分割基准把频率根据带宽加以分离(123)，例如把频率分割成3个区域时，把可听频率分割为低频宽、中频宽与高频宽；以数字举例说明的话，可以把20HZ~200HZ段作为低频宽，200Hz~2kHz段作为中频宽，2kHz~20kHz段作为高频宽。

根据在低频宽检测出来的各峰值点的音压水平值，按照上述公式分别计算低频宽中第一频道的音压能量M1_energy/low与第二频道的音压能量M2_emergy/low(124)，根据各频道检测出来的音压能量计算E_diff/low并判断是正数还是负数(125)，判断上述E_diff/low，如果E_diff/low)0，则判断为低频宽的音源发生位置接近第一频道(126)，如果E_diff/low＜0，则判断低频宽的音源发生位置接近第二频道(127)。

同样根据上面的原理，根据在中频率与高频宽检测出来的各峰值点的音压水平值分别计算M1_energy/mid与M2_energy/mid及M1_energy/high与M2_energy/high(128，132)，根据各频道的音压能量分别计算E_diff/mid及E_diff/high，并判断是正数还是负数，然后判断中频率与高频宽的音源发生位置(129~131与阶段132~135)。然后把检测出来的音源发生位置值与各峰值点的频率与音压水平值输出(136)到显示控制单元(44)。

图20显示了上述输出单元可显示的画面的一个例子，其画面构成与前面的实施例相同。它在一个幀内根据频宽计算音源发生位置，例如显示为圆的各频率的音源发生位置，因为各频宽具有同一值，各频宽排列成与第二轴平行的直线。

其中，如果不从音源输入声音信息而从MIDI装置输入MIDI信号时，由于上述MIDI信号使用其固有的协议，256频道以上的频道相互具有不同的其它音源的位置信息、乐器信息、音阶信息等，因此没有必要对各频道进行频率分析(FFT处理)并计算各音源的频率与音源发生位置。

因此输入MIDI信号后播放并视觉化时，因为与乐器信息对应的固有配音结构信息(以主音为中心，在高频率部分发生的特定间隔、特定大小、特定个数的泛音(overtone))已经储存在储存部而且根据音阶信息产生配音，因此不仅播放乐器的固有声音，同时还把音源的发生位置信息显示在第一轴上，第二轴上则显示主音(音阶信息)与配音(根据乐器信息而事先设置的值)的音阶信息，在该位置显示该大小与色调。

因此如果输入MIDI信号的话，每个频道(即每个乐器)可以显示不同的形状，不需要进行FFT处理，因此具有价格便宜、可轻易地添加到现有MIDI信号播放装置的优点。

如前述，显示控制单元(44)可以把输入的各峰值信息针对各频率在音源发生位置显示成与音压大小成正比的面积，以及与频率对应颜色的可视光。作为把声音转换成颜色并以视觉方式显示的方法的另一实施例，把上述各峰值的音源发生位置与基于频率的坐标分布状态作为动画的关键幀(keyframe)运用，根据该关键幀进行映射(mapping)，表现出对音源发生位置及声音高低产生反应的动画动作。

也就是说，计算各峰值的音源发生位置的话，各峰值的音源发生位置与基于频率的二维坐标值作为关键幀信息被输入，根据输入的关键关键幀信息进行映射(mapping)，转换成显示音源发生位置及声音高低的(例如跳舞的玩偶等)动画动作后输出到显示控制单元(44)。显示控制单元(44)再根据上述动作信息把动画动作显示出来。

图21是本发明第一个实施例中输出单元可表现的画面的一个例子。它为了适用于人体而将作为动画关键幀的音源发生位置分布状态概略地表现了出来。图22是在图21的音源分布中只选择可作为关键幀使用的音源加以表现的概略图。

而图23则显示了根据图22的关键幀信息进行映射过程的概略图。图24的概略图则表现了图23映射过程结束后的状态。

如图示，只把与人体形状相似的部分取为动画关键幀数据，并以此为基础映射成人体及特定形态后，显示动画动作。

图25显示了本发明声音颜色转换模式的命令输入单元的一个例子，以及fix模式下把声音表现成影像的画面显示状态。在图25显示的本发明声音颜色转换输入单元出现在画面上。

声音颜色转换命令单元的左边包含了音乐文件0PEN键、音乐文件列表窗、播放键、暂停键、停止键、高速倒带键、高速播放键、重复播放键、傅立叶变换分辨率调节键、大小调节键、缩放调节键、峰值数调节键等。

音乐文件打开键在把音乐文件从其它文件夹打开时使用。

音乐文件列表窗提供已打开的音乐文件的列表。

傅立叶变换分辨率调节键可以调节画面的纵轴分辨率。进行傅立叶变换时，可以在各幀单位调节采样分辨率。

大小调节键调节采样的峰值大小。

缩放键可以把采样的峰值大小加以线性或非线性地调节缩放。

峰值数调节键可以对从每个幀采样的总样本值中选择的峰值数加以调节。

声音颜色转换命令单元的右边包含图像文件OPEN键，图像文件列表窗，屏幕模式选择键，声音输入选择键，画面左右宽度调节键，画面上下高度调节键，声音频宽设定键，画面输出模式选择键，设定值储存键。

图像文件打开键在打开对应各频率加以表现的基本图像文件时使用。

图像文件列表窗提供已打开的图像文件的列表。

屏幕模式选择键可以提供全屏、图示的缩小屏幕、纵向屏幕、横向屏幕、纵横频率屏幕等。

声音输入选择键在输入电脑硬盘上内的音乐文件时选择CD模式，通过麦克风实时输入实际声音时选择在线模式。

画面左右宽度调节键往左方向时，音源位置聚集在中间的纵轴显示；往右方向时，向两旁散开显示。因此左边终端就像是单声音源一样，只在中间纵轴显示图像。想扩大立体感时，只要调节到右边终端即可。

画面上下高度调节键往左方向时，由于频率位置聚集到中间横轴，因此聚集到横轴显示；往右方向时，频率位置往上下散开并将上下散开显示。

画面输出模式选择键选择fix模式、beat模式、tone模式。

fix模式时，正如图25的图示，以选定的一个图像文件显示影像。

beat模式时，如同图26所示，图像文件会根据条件而改变显示。图像文件的转变条件使用显示在画面左右的键。右键用来设置进行条件检测的频宽，左键用来对频宽内检测图像文件大小的围栏。因此，在设定的带宽内因应大音压而显示超出围栏的图像时，改为下一个显示的图像的显示影像。

tone模式时，如同图27所示，显示沿着圆周方向随时间画出波浪形状的影像。因此在tone模式，人们可以知道输入声音随着时间而变化的情形。

图28到图33显示了根据各种图像文件进行声音颜色转换影像的例子。因此利用本发明，可以根据基本图像文件的各种形状，把音乐显示为多样化的影像。

图34显示了本发明中颜色声音转换装置的适宜例示。颜色声音转换装置包含影像输入单元(60)、影像扫描单元(62，64)、颜色提取单元(66)、颜色声音转换处理单元(68)、下属音合成单元(70)、L频道合成单元(72)、R频道合成单元(74)、放大器(76，78)、扬声器(80，82)。

影像输入单元(60)输入由视频摄像机、数码相机等装置提取的动画或静止图像。输入的图像以每秒30幀的速度传给影像扫描单元(62，64)。

影像扫描单元(62，64)由条区(62)与栅格区(64)构成。在本发明的实施例中，条区(62)如图36一样呈现出由多个栅格垂直排列的扫描条形态。各栅格包含mn尺寸的多个像素。因此二维影像如图37所示分割为多个条区。

颜色提取单元(66)从各栅格(64)输入多个像素值，再利用平均值，中间值，最高值之类的像素代表值提取栅格的色频率与亮度。

颜色声音转换单元(68)根据颜色声音转换公式从来自颜色提取单元(68)的色频率与亮度生成可听频率。

条区合成单元(70)则将各生成栅格的对应可听频率合成后生成一个复合音信号。

多个合成单元分别对应各条区在原影像的配置位置值而输出L频道复合音(L_i)与R频道复合音(R_i)。例如，位于最左侧的条区的L位置值为10时，R位置值则具有0值；位于最右侧的条区的L位置值为0时，R位置值则具有10值。

L频道合成单元(72)把多个L频道复合音(L₁~L_n)加以合成后生成L频道音，R频道合成单元(74)把多个R频道复合音(R₁~R_n)加以合成后生成R频道音。

这些生成的L、R频道音分别通过各放大器(76，78)与扬声器(80，82)作为声音被输出。

因此各幀单位的影像颜色作为立体音被输出。

想以单声音表现影像时，将条区从影像的左边扫描到右边，可以把各条区的声音对应扫描速度加以输出。

如前述，本发明提供利用和声法将色彩加以调和的方法，提出了更客观、更科学的颜色调和理论，可以导出把任意基础色准确调和的颜色系统。由于它能提供客观而可行的频率转换基准，让色彩的听觉化与声音的视觉化成为可能。

而且把声音加以视觉化时，可以计算音源的发生位置，以与各频率音压大小成正比的面积在音源的发生位置把上述声音转换而来的可视光显示出来，进一步提供可视光的多样化输出方式。因此本发明的装置不仅可以从已通过和声法调和好的音乐中导出调和色彩，也可以适用于表演舞台的的照明、都市建筑的造景、以及针对聋人的应用领域等；把视觉信息加以听觉化时，可以广泛适用于利用影像的作曲、环境音乐、针对盲人的应用领域等各种领域。

上面虽然就本发明的适宜实施例给予了说明，但是本发明并不局限于此，它可以在专利要求范围、发明的详细说明以及附图范围内通过各种变化而加以实施，因此它属于本发明的范围是很合理的要求。

【图式的简单说明】

图1是本发明的极坐标系声音颜色转换表图形。

图2是本发明的直角坐标系第一声音颜色转换表图形。

图3是本发明的直角坐标系第二声音颜色转换表图形。

图4与图5是根据本发明的声音颜色转换表把音阶位置着色的乐器图形。

图6是本发明的调和色选择装置的方块图.

图7表示存于图6储存单元的第一表(音阶分割律与调和频率比)的结构。

图8表示存于图6储存单元的第二表(和声法编码)的结构。

图9是电脑监视器上的画面状态图，说明本发明的调和色选择方法中的一个例子。

图9是电脑监视器上的画面状态图，说明本发明的调和色选择方法中的另一个例子。

图11例示了本发明的良好实施例中声音颜色转换装置的方块图。

图12是流程图，它说明了本发明中在音源发生位置演算算法的第一实施例。

图13是概略图，它显示了基于第一实施例的各频道音源输入位置与音源位置。

图14是在特定幀针对每个L、R频道进行FFT处理的频谱图。

图15是概略图，它显示了根据第一实施例把声音显示成影像的画面例子。

图16是流程图，它说明了本发明中在音源发生位置演算算法的第二实施例。

图17是概略图，它显示了基于第二实施例的各频道音源输入位置与音源位置

图18是概略图，它显示了根据第二实施例把声音显示成影像的画面例子。

图19是流程图，它说明了本发明中在音源发生位置演算算法的第三实施例

图20是概略图，它显示了根据第三实施例把声音显示成影像的画面例子。

图21是本发明第一个实施例中输出单元可表现的画面的一个例子。它概略地表现了用于人体的关键幀的音源发生位置分布状态。

图22是在图21的音源分布中只选择可作为关键幀使用的音源加以表现的概略图。

图23显示了根据图22的关键幀信息进行映射过程的概略图。

图24的概略图表现了图23映射过程结束后的状态。

图25显示了本发明声音颜色转换模式的命令输入单元的一个例子，以及fix模式下把声音表现成影像的画面显示状态。

图26是beat模式下把声音表现成影像的画面显示状态。

图27是tone模式下把声音表现成影像的画面显示状态。

图28到图33显示了根据本发明的声音颜色转换把声音表现成影像的画面状态。

图34显示了本发明中颜色声音转换装置的适宜例示。

图35是进行颜色声音转换的原图像。

图36是画面状态图，它显示了适用于原影像的条区。

图37是画面状态图，它显示了适用于整个原影像的多个条区。

Claims (30)

1、利用声法的调和色选择方法，该方法包括步骤：

选择音阶分割律及和声法编码；

选择基础色；

计算上述选定基础色亮度；

确定相应该亮度的八度音(octave)；

响应于所确定的八度音的一个音阶频率比，通过参照所选和声法编码的调和频率比以基础色频率演算出调和色频率，而且如果算出的调和色频率超出可视频宽时，将调和色频率转换成可视频宽；

2、如权利要求1所述的，其特征在于所述音阶分割律为平均律或纯律之中任一种。

3、一种调和色选择装置，该装置具有，

选择音阶分割律、和声法编码及基础色的选择装置；

通过基于音阶分割律的上述和声法编码，储存调和音阶的调和频率比表的储存装置；

计算上述选定基础色的亮度，确定与算出的亮度对应的八度音，并参考所述表中选定的和声法编码的调和频率比，以基础色频率演算出调和色频率的装置，其中如果算出的调和色频率超出可视频宽时，将调和色频率转换成可视频宽；

4、一种声音颜色转换表，其中，

把音阶”多”与色阶“红”作为其坐标原点，以1对2的关系，把12音阶与12色系设置在第一坐标轴，而将10个八度音以1对1的关系设置在第二坐标轴上。

5、如权利要求4所述的声音颜色转换表，其特征在于所述的声音颜色转换表为极坐标系或直角坐标系之中任一种。

6、如权利要求4所述的声音颜色转换表，其特征在于，上述色系的“红”具有这样一种波长，音阶“多、米、索”大约为“红、绿、蓝”。

7、如权利要求6所述的声音颜色转换表，其特征在于，上述色系“红”的波长为682nm。

8、如权利要求5所述的声音颜色转换表，其特征在于，所述极坐标系的第一坐标轴是圆周方向，第二坐标轴是圆的中心方向。

9、如权利要求5所述的声音颜色转换表，其特征在于，所述直角坐标系中彩度与音阶成正比。

10、如权利要求5所述的声音颜色转换表，其特征在于，所述直角坐标系中亮度与音阶成正比。

11、一种以根据声音颜色转换表而来的颜色为对应音阶位置着色的乐器。

12、如权利要求11所述的乐器，其特征在于，所述声音颜色转换表中彩度与音阶成正比。

13、如权利要求11所述的乐器，其特征在于，所述声音颜色转换表中亮度与音阶成正比。

14、一种将声音转换为颜色的方法，该方法包括步骤：

把输入的声音进行傅立叶变换；

在经过傅立叶变换的信号中至少取样一个以上的特定可听频率信号；

在采样中至少有一个以上的可听频率信号可以经由下列公式转换成可视频率信号；并且，显示相应于至少一个已转换的可视频率的颜色； $F=F_l\×2^{x^{*}}$ B_F∝x

其中，

F是待求解的可视频率，F₁是基准可视频率，x的正数部分是八度音值，B_F是颜色的亮度，x^*是以x的小数点以下的部分决定一个八度音内的音高，f_i是采样的输入可听频率，f₁是基准可听频率，C’作为常数，是满足0≤C’≤1的实数。

15、如权利要求14所述的方法，其特征在于，采样步骤包括，

每隔一定时间就把上述傅立叶变换的信号以幀为单位输入；

每个幀至少求取一个以上峰值；

把求得的峰值按照音压大小顺序整理；

按照所述音压大小顺序，采样特定数量的峰值。

16、如权利要求15所述的方法，其特征在于，

显示步骤显示出按照前面经过转换的颜色着色的影像，该影像在每一个采样峰值的频率位置上与每一个峰值的音压成比例。

17、如权利要求15所述的方法，其特征在于，

在与上述采样的各峰值频率对应的各动画位置具有与各峰值音压成正比的动画移动，显示步骤显示出按照前面经过转换的颜色着色的影像，该影像具有动画移动，该动画在相应于每一个采样峰值的频率的每一动画位置上，与每一峰值音压成比例。

18、如权利要求15所述的方法，其特征在于，

将大小与在选定位置的各峰值的音压成比例的影像重叠显示。

19、一种将声音转换成颜色的方法，具有步骤：

通过多个频道把输入的多个声音分别加以傅立叶变换；

在每个经过傅立叶变换的信号中至少采样一个以上特定可听频率信号；

利用相互对应的音频信号演算多个频道之间的音源位置；

利用下列公式把至少一个以上的采样音频信号分别转换成可视频率信号的阶段，按照频率和声音的位置，显示相应于至少一个已转换的可视频率的颜色； $F=F_l\×2^{x^{*}}$ B_F∝x

其中，

F是待求解的视频，F₁是基准视频，x的正数部分是八度音值，B_F是颜色的亮度，x^*是x的小数点以下的部分，决定一个八度音内的音高，f_i是采样的音频，f₁是基准音频，C′作为常数，是满足0C′1的实数。

20、如权利要求19所述的方法，其特征在于，在上述音源输入位置的多个频道之间，根据下列公式计算音源的发生位置； $I_{\mathrm{diff}}=k(\frac{1}{s^2+a^2}-\frac{1}{s^2+{(d-a)}^2})$

其中，a是以第一频道的音源输入位置设为“0”的待求解音源发生位置值，d是第一频道的音源输入位置与第二频道的音源输入位置之间的距离，s是连接上述两个频道的音源输入位置的直线与实际音源位置之间的垂直距离，k是满足k＞0的常数，I_diff是在一特定峰值上第一频道音压值减第二频道音压值之差。

21、一种将声音转换成颜色的装置，该装置包括：

输入声音的输入装置；

把输入的声音放大的放大装置；

把放大的声音加以傅立叶变换的傅立叶变换装置；

在经过傅立叶变换的信号中采样至少一个特定音频信号的采样装置；

把至少一个前面采样的可听频率信号转换成视频信号的声音颜色转换装置；

把至少一个经过转换的视频的对应颜色显示出来的显示装置。

22、如权利要求21所述的声音颜色转换装置，其特征在于，上述声音颜色转换装置根据下列公式把音频转换成视频； $F=F_l\×2^{x^{*}}$ B_F∝x

其中

F是待求解的可视频率，F₁是基准可视频率，X的整数部分是八度音值，B_F颜色亮度，X是小数点以下部分并表示一个音级内的音高，f_i是采样的可听频率，f₁是基准可听频率，C’作为常数，是满足0C’1的实数。

23、一种将声音转换成颜色的装置，该装置包括：

通过多个频道对多个输入声音进行傅立叶变换的傅立叶变换装置；

把输入的声音放大的放大装置；

把放大的声音加以傅立叶变换的傅立叶变换装置；

在经过傅立叶变换的信号中采样至少一个特定可听频率信号的采样装置；

利用相互对应的音频的信号演算上述多个频道之间的音源位置的处理装置；

把至少一个上述采样的音频信号转换成视频信号的声音颜色转换装置；

根据频率和声音位置至少一个以上经过转换的视频的对应颜色显示出来的显示装置。

24、如权利要求23所述的声音转换成颜色的装置，其特征在于，所述显示装置是由CRT、LCD之类的影像显示装置，或全彩色显示灯，彩色激光光源装置之类的照明装置之一。

25、一种声音颜色转换方法，

求取与输入的颜色对应的视频(F_i)及亮度(B_Fi)；

根据下列公式把求得的视频转换成音频； $f=f_l\×2^{x+B_{\mathrm{Fi}}}$

其中， f是待求解的声音的频率，f₁是基准可听频率，F_i是输入可视频率，F₁是基准可视频率，B_Fi是满足1B_Fi≤10的整数，C作为常数，是满足0C1的实数。

包括把上述经过转换的可听频率输出的阶段，作为其特征的声音颜色转换方法。

26、一种将颜色转换为声音的装置，该装置包括：

输入装置，用于获得对应于输入颜色的可视频率F_I和亮度B_Fi；

转换装置，用于按照下列等式将可视频率转换为可听频率；和

输出装置，用于将转换的可听频率以声音的形式输出： $f=f_l\×2^{x+B_{\mathrm{Fi}}}$

其中

f是待求解的声音的频率，f₁是基准可听频率，X的正数是八度音的值，B_Fi是F_i的亮度，是表示1B_Fi≤10的常数，和C是常数并且表示由基准频率确定的在0C′1之间的实数。)

27、一种选择音源位置的方法，该方法包括：

通过等间隔的多个频道从音源输入声音；

把通过各频道输入的声音分别加以傅立叶变换；

对上述每个经过傅立叶变换的信号之峰值采样；

对每个采样的频率演算在利用大量信道的声压的多个信道之间的音源发生位置。

28、如权利要求27所述的方法，其特征在于，按照下列等式演算多个信道的音源输入位置之间的音源发生位置： $I_{\mathrm{diff}}=k(\frac{1}{s^2+a^2}-\frac{1}{s^2+{(d-a)}^2})$

其中，a是通过将第一频道的音源输入位置设置为“0”而将获得的音源发生位置的值，d是从第一频道的音源输入位置与第二频道的音源输入位置之间的距离，s是连接上述两个频道的音源输入位置的直线与实际音源位置之间的垂直距离，k是满足k＞0的常数，I_diff是某特定峰值的第一频道音压值-第二频道音压值。

29如权利要求27所述的方法，其特征在于，

在上述多个频道的音源输入位置之间，根据下列公式决定音源的发生位置。

E_diff＝M1_energy-M2_energy

E_diff＞0时，音源的发生位置接近第一频道

E_diff＜0时，音源的发生位置接近第二频道

∑(P₁ ²+P₂ ²+....P_n ²)其中，E_diff是把两个频道之间的中间位置作为“0”的音源发生位置值，P_n是各峰值发生位置的音压值，n是检测到的峰值数，M1_energy是第一频道的音压能量值，M2_energy是第二频道的音压能量值。

30、一种选择音源位置的装置，该装置具有：

通过等间隔的多个频道从音源输入声音的输入装置；

把通过各频道输入的声音分别加以傅立叶变换的傅立叶变换装置；

对上述各傅立叶变换信号的峰值采样的装置；

包括在上面采样的各频率中利用多个频道的各音压，演算多个频道之间的音源发生位置的装置。

Images