CN102289778A

CN102289778A - 一种图像至音乐的转换方法

Info

Publication number: CN102289778A
Application number: CN2011101196843A
Authority: CN
Inventors: 薛亚兰; 张婕; 顾仁舒; 戴稚晖; 袁杰; 张洁; 霍伟; 付世斌
Original assignee: Nanjing University
Current assignee: Nanjing University
Priority date: 2011-05-10
Filing date: 2011-05-10
Publication date: 2011-12-21

Abstract

本发明公开了一种图像至音乐的转换方法，包括以下方面：1、颜色转换为音调：将颜色的RGB模型转换为不同音调；2、线条长短转换为音长：根据线条长短对应转换为不同的时值，即得到音长；3、线条的宽度转换为音量：根据线条的粗细对应转换为不同的音量值。本发明通过建立转换模型，将图像与音乐的基本要素对应转换，从而实现图像与音乐这两个艺术表现形式的融合。

Description

一种图像至音乐的转换方法

技术领域

本发明涉及图像处理和音乐处理领域，特别是图像与音乐转换模型的建立。

背景技术

自古以来图像和音乐就是一对孪生姐妹！当人们陶醉于世界大师笔下的美术与摄影作品的水墨丹青之时，一首基于该作品的美妙音乐似乎就萦绕在耳旁。例如在欣赏“奔腾黄河”的画卷时，人们似乎能听到黄河的咆哮声；在欣赏山林晨曲的画卷时，人们又好像听到了山间小溪的潺潺流水声和林中小鸟委婉动听的歌唱声。

随着社会的发展，电影、动漫、插画、广告等等艺术产物都离不开图像与音乐这两种艺术表现形式。音乐具有时间上连续的特性，但是不能同时展现全部；相对来说，图像的优势是能够同时展示全部内容。将色彩和音乐进行比较，我们不难发现美术和音乐都力图表现人们的情感，色彩兼有温度的感觉，例如，红、橙、黄色会使人感到温暖，称之为暖色；蓝、青绿色使人感到寒冷，称之为冷色。音乐就更是人们述说情感的方式，欢快的音乐让人幸福洋溢，哀伤的乐曲使人泫然泪下。图像与音乐的转换，使得其所表达出的情感更加具有张力。

因此，现代的多种艺术表达手法中都力求实现图像与音乐的完美结合，以取得更加强烈的感染力。

发明内容

发明目的：本发明提供一种图像至音乐的转换方法。将视觉美可听化，实现图像与音乐的完美结合，在进行绘画时，也能听到表达其情绪的音乐，从而取得更强烈的感染力和更加丰富的艺术效果。

为了取得以上效果，本发明公开了一种图像至音乐的转换方法，包括以下方面：

方面一，图像色彩转换为音调：通过提取画笔当前色彩的RGB信息，对应转换为音调的信息；

方面二，图像中线条的长度转换为音长：我们定义作画时以连续绘制出的线条作为一段，规定最短音长在空间上的对应长度为一特定长度d。计算每一段与d的比值，依据此比值通过计算将不同的段转换为不同的音长；

方面三，图像中线条的宽度转换为音量：在画图工具中提供不同粗细(宽度)的画笔选择，当选择一种宽度时，就按其所占最大宽度的比例来转换为音量。

在本发明中，优选地，所述方面一包括以下步骤：

步骤(11)，对图像色彩的RGB模型的信息提取，并计算出该颜色在HSV模型下的饱和度的值

步骤(12)，将色彩的RGB模型的数据转换为音调，HSV模型中的饱和度(S)转换为音阶

在本发明中，优选地，所述方面二包括以下步骤：

步骤(21)，由用户定义最短音长time和该最短音长所对应的长度d

步骤(22)，在作画的同时，记录下所绘画的每一笔的线条长度L。

步骤(23)，将所绘线条长度转换为对应的音长：计算L和d的比值，向下取整获取该比值的整数值K，将所绘线条L对应的音长赋值为K×time

在本发明中，优选地，所述方面三包括以下步骤：

步骤(31)，用户在绘图时，可在绘图工具栏中点击选择不同宽度(W)的画笔

步骤(32)，计算用户所选择的画笔宽度(W)与可选的最短宽度的画笔宽度(Wmin)的比值，将该比值乘以最低的音量(Volmin)，即可得到该画笔宽度所对应的音量

本发明的原理是依据人的“色-听”联觉，确定图像的组成元素与音乐组成元素间的一一对应的对象关系，再依照人对于图像和音乐特质的感受，建立它们相互对应对象间的转换模型，实现图像与音乐的转换。

有益效果：本发明所述的方法是建立在嵌入式系统的基础上，通过软件方法分别对图像和音乐进行处理和变换，本方法不消耗硬件资源，并且在电影、动漫、广告等多种领域都有着广泛的应用前景。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的具体转换模型会更加清晰明白。

图1是本发明方法的简化示意图

图2是音乐中音调信息的二维数据表

图3是图像色彩的归一化饱和度与音阶的对应表

具体实施方式

本发明方法的核心思想是将图像与音乐的组成要素一一对应，建立彼此之间的转换关系。

在本发明中所考虑的图像的组成要素是颜色、线长和线宽，音乐的组成要素是音调、音长和音量。从“色-听”联觉，即对色彩的感觉能引起相应的听觉的角度来思考图像至音乐的联系。我们将具有冷暖表现性的色彩与具有情绪表现性的音调作为相互对应的对象，建立两者之间的转换模型。将分别在空间和时间上具有长度性质的线条长度与节拍对应起来，建立它们之间的转换模型。同时，建立线宽与音量的转换关系。

如图1所示，本发明公开了一种图像至音乐的转换方法，包括以下方面：

所述方面一包括以下步骤：步骤(11)，对图像色彩的RGB模型的信息提取，并计算出该颜色在HSV模型下的饱和度的值；步骤(12)，将色彩的RGB信息转换为音调，HSV模型中的饱和度(S)转换为音阶。

步骤(11)，提取图像色彩的RGB值，并计算出该颜色的饱和度(S)

用软件方式实现的画图工具可以很容易地实现对当前画笔的颜色信息提取，得到RGB值。因为HSV(色彩H、饱和度S、明度V)模型中的饱和度S是直接与艺术家使用颜色的鲜艳程度相关的，为了更加贴近于人的感受，我们将依据下式的RGB模型与HSV模型的转换公式，计算出饱和度的值。

S = \frac{\max (R, G, B) - \min (R, G, B)}{\max (R, G, B)}

步骤(12)，将色彩的RGB信息转换为音调，HSV模型中的饱和度(S)转换为音阶。

由于每个人对于各色彩的感受是不同的，因此，在将RGB值转换为音调前，我们需要用户根据自己感受为红(FF0000)、绿(00FF00)、蓝(0000FF)分别赋予一定的音调频率f_r、f_g、f_b。但是该频率的选择必须受限，以保证计算出的频率不会超过C调中低音1到高音7的范围。

由图2的表可知，C调的音调范围是131Hz～987Hz，而RGB三值的取值范围均在0～255之间，为满足上述的条件，则对于f_r、f_g、f_b有如下的限制：

同时，由于人眼对绿色比较敏感，因此，可以提示用户在对f_r、f_g、f_b取值时，应当适当地使f_g的值大于f_r、f_b。

满足上式的限制条件后，就可以依据下式计算出色彩所对应的频率f

R×f_r+G×f_g+B×f_b＝f-131

由此，我们能够将色彩(RGB模型)转换为频率，但是依照上式计算出的频率有可能并不是整数，或者不是标准的音调频率。为此，我们可以采用邻近转换的算法将计算出的频率f转换为标准的音调频率。

邻近转换算法是将计算出的频率f与C调中每个音调的频率进行比较，计算它们的差值，同时对差值取绝对值，将差值最小的标准音调频率赋给f。

在图2的表格中，竖向的各项为不同的音调。我们首先设置音阶在C处，依据不同的RGB值计算出在调性为C处的对应的音调。

在图2的表格中，横向的各项为不同的音阶。由于音阶具有不同的感情色彩，如C大调高贵、大气，D大调辉煌，A大调典雅喜悦……我们将音阶与饱和度S作为对应对象。

它们的转换关系为，将饱和度S均等的分为7个部分，因为饱和度越高，表示该颜色越艳丽；而音阶越高，其频率越高，所能表现出的情绪越激昂。因此，将饱和度均分的7个部分从小到大分别对应的音阶为C、D、E、F、G、A、B(如图3)。

音阶确定后，只要依据之前从RGB计算出的音调频率在图2的表格中的横向偏移量，结合音阶，就能够确定当前画笔颜色所对应的最终的音调频率。

由于音调必须有一个时间延续方向才能组成乐曲，所以，按照大家的绘图习惯。我们将绘图在时间上的由先至后的绘画顺序作为音乐前进方向。

方面二，图像中线条的长度转换为音长：我们定义作画时以连续绘制出的线条作为一段，规定最短音长在空间上的对应长度为一特定长度d。计算每一段与L的比值，依据此比值通过计算将不同的段转换为不同的音长；

所述方面二包括以下步骤：步骤(21)，由用户定义最短音长time和该最短音长所对应的线条长度d；步骤(22)，在作画的同时，记录下所绘画的每一笔的线条长度L；步骤(23)，将所绘线条长度转换为对应的音长：计算L和d的比值，向下取整获取该比值的整数值K，将所绘线条L对应的音长赋值为K×time。

由于作画时所绘制的每一笔线条长度不一定是d的整数倍，故在计算L与d的比值时，需要将其比值进行向下取整，即忽略小数部分，仅保留整数部分，得到K。此处取整的意义在于，一般在以乐曲中，最短音长time很短，L与d的比值的小数部分对于音长的影响很小，人耳难以分别其区别，故将小数部分略去，可以节省运算资源和存储资源。

将线长L的对应音长赋值为K×time。

所述方面三包括以下步骤：步骤(31)，用户在绘图时，可在绘图工具栏中点击选择不同宽度(W)的画笔；步骤(32)，计算用户所选择的画笔宽度(W)与可选的最短宽度的画笔宽度(Wmin)的比值，将该比值乘以最低的音量(Volmin)，即可得到该画笔宽度所对应的音量。

绘图时，为用户提供不同宽度的画笔选择，其中最短的宽度为Wmin。当用户选择了某一宽度(W)的画笔进行作画时，计算比值W/Wmin。同样，为了节省运算资源和存储资源，对该比值进行向下取整运算，得到N。然后通过下式，计算得到当前画笔宽度对应的音量(Vol)

\begin{matrix} N = \frac{W}{W \min} \\ Vol = N \times Vol \min \end{matrix}

Claims

1.一种图像至音乐的转换方法，其特征在于，包括以下方面：

方面一，颜色转换为音调：将颜色的RGB模型转换为不同音调；

方面二，线条长短转换为音长：根据线条长短对应转换为不同的时值，即得到音长；

方面三，线条的宽度转换为音量：根据线条的粗细对应转换为不同的音量值。

2.根据权利要求1所述的一种图像至音乐的转换方法，其特征在于，所述方面一包括以下步骤：

步骤(11)，对图像色彩的RGB模型的信息提取，并计算出该颜色在HSV模型下的饱和度的值；

步骤(12)，将色彩的RGB模型的数据转换为音调，HSV模型中的饱和度(S)转换为音阶。

3.根据权利要求2所述的一种图像至音乐的转换方法，其特征在于，所述方面二包括以下步骤：

步骤(23)，将所绘线条转换为对应音长。

4.根据权利要求3所述的一种图像至音乐的转换方法，其特征在于，所述方面三包括以下步骤：

步骤(32)，计算用户所选择的画笔宽度(W)与可选的最短的画笔宽度(Wmin)的比值，将该比值乘以最低的音量(Volmin，Volmin≠0)，即可得到该画笔宽度所对应的音量。

5.根据权利要求2所述的一种图像至音乐的转换方法，其特征在于，所述步骤(12)的色彩的RGB模型的数据转换为音调、饱和度转换为音阶，它包括了音调信息的二维数据表的建立以及依据此表，分别通过饱和度和RGB值计算得出二维表中的横竖向偏移量，确定最终的乐音频率。

6.根据权利要求3所述的一种图像至音乐的转换方法，其特征在于，所述步骤(23)的将所绘线条转换为对应音长，它包括线条长度与音长的线性转换关系。