CN104574453A - 用图像表达音乐的软件 - Google Patents

Abstract

本发明涉及用图像表达音乐的软件。本软件的功能是通过音乐波形数据信息获得乐曲的频率和振幅，得到小时间段的代表频率和振幅，并据此提取图像、颜色参数、显示比例和时间段值，生成相应的图像进行实时显示。通过相应图像的形状变化、颜色变化、大小变化、显示速度变化来表达音乐的主题、节奏、音色、声量等，进而传达音乐要表现得意境、内涵和情感，使人(特别是耳聋的人)通过观看图像的变化来体会该乐曲的魅力。本软件可应用于各种带有显示功能的音乐播放系统中，如：电脑、智能手机、IPAD、MP4等。本软件可以单独构成一个音乐播放器，也可以嵌入其它音乐播放软件中使用。

Description

用图像表达音乐的软件

技术领域

本发明用图像表达音乐的软件属于信息技术处理领域，可用于计算机系统、手持智能终端、互联网、移动互联网的音乐播放功能，为听音乐的人特别是耳聋人提供音乐的图像享受。

背景技术

国家统计部门的调查，全国有上千万的聋哑人，每年有新生聋哑儿也近20万，是残疾类型中比例最高的，听力损失作为名列第十五位的世界性疾病，对这些人造成一生的遗憾。世界上人们创造了丰富多彩的歌曲和乐曲，使人得到了精神的喜悦和享受，而耳聋人终身无法感受音乐为人生带来的快乐。学者研究发现，一些聋哑人的视觉鉴别能力和对色彩刺激的视觉记忆力较强，由于生理的补偿，他们的视觉记忆和想象力有可能高于正常人。

当前，音乐播放器中已有伴随音乐带有图像显示的软件，如微软的mediaplayer是一款音乐播放器，其中一项功能是配合音乐的播放同时显示图像，但显示的图像不规则，是按软件自身设定好的方式进行显示，图像变化的节奏同播放的音乐内容关系不大，其目的是为正常人在欣赏音乐的同时伴以图像的烘托，并不是要传达音乐的内涵和情感。另外一种《音乐图片播放器》是在欣赏MP3音乐时，可以显示用户喜欢的图片来配合，一边欣赏音乐，一边观看图片了。用户可以将喜欢的图片添加到图片清单，在欣赏音乐的同时观看图片。

在专利文献(专利申请号：200680010119.0)中所揭示的音乐图像播放装置中，旨在实现的是人物脸部各部位的表情变化，试图采用动画的形式来体现音乐，该装置选取人物的部位特征(眉毛、眼睛等)的不同形态，与从傅里叶变换单元得到的多个频率成分的各成分相对应，并根据各频率成分的振幅等级相应决定所取人物的部位，尽而完成人物绘画并进行显示。根据得到的多个频率成分的各时间变化的大小来设定控制监视器上显示的人物数，根据音乐的演奏过程，逐一地显示对应的图案。专利文献中所述虽然是根据特性来对应相应的图案，问题是音乐的频率和振幅是两个特征，不能将频率的特征和振幅的特征综合起来对应一个图像，而且专利文献中给出的频率、振幅与图形的对应关系，相近频率和振幅的对应图像之间没有任何关联，随音乐变化所显示的图像前后并没有连续性，因而不能表现出音乐的内容。

本软件发明是为了解决上述的问题而提出的，其目的在于提供一种能够根据音乐的节拍、音色、音量等特性，选取相对应的图像，用图像的色彩、大小、变化节奏来表达音乐的主题、内涵、情感，来感染耳聋人，使耳聋人能够感受人类所创造的丰富的音乐成果。

发明内容

当前，为使信息系统能够处理音乐，首先对音乐的声音采用PCM方式进行数字化处理，采样频率有11.025kHz、22.05kHz、44.1kHz。音乐数字化后的信息存储格式有WAV(波形文件)、MIDI(电子音乐文件)、CDA(CD唱片文件)、MP3(高压缩格式)、RA、RM(用于网络的流式传播格式)等，不管音乐文件采用那种格式存放，在播放音乐时，首先将数字信息进行波形数据的还原，该解压的解压，该转换的转换，将还原的波形数据送给播放电路进行播放。

本软件从音乐的波形数据信息中按时间段获取频率、振幅等多个特征的代表值；按照用户默认或自定义的时间段、图像库、颜色参数、频率点和显示比例参数，根据提取的特征值从图像库中提取图像、颜色参数、显示比例和时间段值而生成相应的图像进行显示。通过相应图像的形状变化、颜色变化、大小变化、显示速度变化来表达音乐的主题、节奏、音色、声量等，进而传达音乐要表现得意境、内涵和情感，使人(特别是耳聋的人)通过观看图像的变化来体会该乐曲的魅力。该软件可应用于各种带有显示功能的音乐播放系统中，如：电脑、智能手机、IPAD、MP4等。本软件可以单独构成一个音乐播放器，也可以嵌入其它音乐播放软件中使用。

本发明的时间段管理模块可由用户默认或自行定义特征提取的时间段的长短。音乐是有拍节的，有4分、8分、16分、32分节拍。这里的4分拍对应的一拍就是1秒钟，而32分拍对应的一拍就是1／8秒钟。这里的时间段就是一个音符延续的时间。本软件的特征提取模块利用音乐的这一特点，对波形数据按时间分段进行提取，例如按1／8秒进行分段提取特征。也可以按1／4秒、1／2秒、1秒来分段进行提取。可由用户自行选择时间段长短，时间段在1／8秒到1秒之间选择。

本发明的频率点管理模块可由用户默认或自行定义采集的频率点。人耳可听到的声音为20HZ～20KHZ，男声的频率约为150～600HZ，女声的频率约为1.6KHZ～3.6KHZ，乐器的声音频率大约在27HZ～5KHZ，根据上述情况，对100HZ到5KHZ频率之间的频率给予重点采集。对频率点的选取不一定采用均匀分布的方式，可以对重点频率范围多选一些选取点。例如可以选取如下的9个频率点：100HZ、400HZ、700HZ、1000HZ、1500HZ、2000HZ、3000HZ、4000HZ、5000HZ。可以看到，前4点的间隔是300HZ，后面3点的间隔是500HZ，而最后4点的间隔是1000HZ。本模块支持用户自行选择频率点。

本发明的图像库管理模块中图像库存有圆形、正多边形、三角形、五角星等规则图形，也存有图案(花朵图案、向日葵图案等)、各种图像，所存的图像可以是平面图像，也可以是立体图形，也可以是动画。一首音乐可以对应于一个图像或几个图像。在音乐的演奏过程中，用图像来表达音乐的主题、内涵、情感。所对应的图像可由用户选择或系统默认图像；也可以是用户按照软件给出的限制条件选取其它的图像。系统将提供对图像库里图像的浏览，使用户方便地进行选取确定。

本发明的颜色参数管理模块可由用户默认或自行定义频率与颜色的对应关系，并将颜色参数并保存于存储单元。图像的颜色将随着声波的代表频率变化而变化，频率较高时，对应较为鲜艳的颜色，频率较低时对应较为暗淡的颜色。频率和颜色的对应关系及变化范围，可由系统提出参考颜色由用户自行选择确定或由系统默认。现在大部分电脑和手机可显示的颜色显示的颜色为65536种颜色以上，与人可听到的频率有足够的颜色对应，当然这种简单的对应选择可能产生不了好的效果。可根据能得到的频率点的情况建立对应的关系。模块包括颜色参数的自定义功能，图像参数选取时，首先列出已确定的各个频率点，另外给出各种色彩(例如16种、32种、64种、128种等颜色)，使用户可以直观地为每一频率点选定颜色。也可以选定一组频率点，再选定一组相同数目的颜色与之对应。将用户选定的颜色参数存入颜色参数库。作为实施例，在选择上述的9个频率点，可选取以蓝色调为主的9种颜色，这样可使每个频点对应一种颜色。

按照上述的对应关系，当给定一个频率时，通过查表就可以确定一种颜色，从而作为当前时间段里图形显示的颜色。

本发明的显示比例管理模块可由用户自行定义显示图像占可显示区域的比例大小；软件允许显示比例参数在显示的过程中可进行实时调整。每一个图像的显示，系统会给定一个显示的区域，当一个图像的外延达到可显示区域边界时，可以认为这是可显示的最大图像。因此，所要显示图像的大小可按照所占可显示区域的比例来控制，如从100％到10％，100％就是最大，50％就是占用一半的大小。根据可显示区域的大小，按用户要求的比例，在根据当前时间段的振幅值即可确定图像的大小，依次将从图像库中取出的图像进行放大或缩小。最小图像的直径不能太小，要能以清晰地看到为好，例如实际显示的图像直径最小应在1毫米以上。用户在确定显示比例时，软件给出的图像的相应显示比例的实际大小情况，作为用户的参考。软件将记录用户所选定的各个比例参数。

例如显示的图形为圆形，根据显示屏幕所用区域的大小和分辨率，根据显示比例，就可以确定显示圆形图的最大直径和最小直径。如果根据音乐的振幅情况将图形的大小分成10个等级，在最大直径和最小直径之间选取8个数值作为直径值，可以均匀选取，也可以非均匀选取。例如最小显示圆形的直径为10％，即占可显示区域直径大小的10％，最大显示园的直径为100％。如果声波的振幅数值为0～32768之间，作为实施例，我们可以给出振幅和显示大小比例的对应关系。

按照上述的设计，当给定一个声波的振幅值时，通过查表就可以确定所显示圆形的直径，从而生成确定圆形图像。

本发明的特征提取模块由通过将音乐的波形数据信息分成小的时间段(如1／8秒)，对每一段波形数据信息选用现有傅里叶变换、小波包变换等类似的变换，求得该时间段中的代表振幅和代表频率，并存于存储单元。代表振幅和代表频率是指在获得的振幅值中选取最大值作为代表振幅，而其对应的频率即为代表频率。将一个时间片的数据输入傅立叶变换中，可以得到振幅和频率，并通过比较的方法得到此时间段中最大的振幅并确定为代表振幅，该振幅对应的频率确定为代表频率，然后按照时间的顺序将代表频率和振幅存于存储单元。按照PCM脉冲编码调制的规定，当每个采样帧采用16位记录时，其振幅的最大值为32768，最小值为-32768，为了简化处理，我们可以只考虑正值，忽略负值，考虑的取值范围为0-32768。本软件可以按数据流的方式或者缓冲的方式接受乐曲的声波数据，并进行实时的处理。

本发明的图像显示模块根据软件中保存的用户选定的图像标记，提取图像的形状信息，再根据用户选定的图像颜色参数和时间段中的代表频率值，确定显示图像的颜色，再根据软件中保存的用户选定的图像大小比例信息、时间段中的代表振幅值和可显示区域情况，确定显示图像的大小，从而生成当前时间段要显示的图像。图像的大小随着振幅的大小而改变，振幅较大时，图形也较大，振幅较小时，图形较小。按照用户确定的时间段，如1／8秒，将上面生成的图像进行1／8秒的显示。1／8秒后，删除显示的图像，再提取下一个时间段的各种信息，生成相应的图像在进行新的显示。

图形刷新的间隔(显示的速度)由音乐的节奏来确定，一次显示图形最短的延续的时间为1／8秒(相当于32拍时长)或者按着用户选定的时间段长短进行显示。

图形显示的位置可以是以一个固定点为中心来显示，也可以让图像的中心点位置在显示区域内变动进行显示。

图形的显示方式可以采用渐变的方式，即显示的过程是从略小于显示图像渐变大到应显示图像的大小。如果不进行这样的处理，当乐曲有一个平稳的长音时，振幅在几个时间段中可能没有变化，这时就会出现图像的大小没有改变，失去感染力。当前后几个音节的振幅变化不大时，将渐变的过程放慢，显示出渐变的效果。具体的实现方式为在一个时间段的显示过程中，图像从90％到100％的渐变显示，这样当振幅的大小在几个时间段中相等时，就可以看到图像有一个波浪式的变化。

实施方式

将该软件作为模块嵌入音乐播放器中，将原来的解压后的音乐波形数据一路送给原来的播放器，同时分一路送给本软件的波形数据接收程序，根据输入的波形数据，本软件即可随着音乐的播放而实时显示变化得图像。当一个人(特别是耳聋人)打开音乐播放器，选定喜欢的歌曲，或选定自己喜欢的歌星及歌曲，再选定自己喜欢的显示图像(包括自己定义的图形)，选定自己喜欢的颜色集，选定希望显示图像的大小比例，随着音乐的播放，在屏幕上显示歌星的演唱画面，在屏幕某个位置实时地显示与歌曲对应的图像，且图像跟随着歌曲的声调、节奏、声强进行着大小、颜色、位置的变化，进而体会歌曲的意境。

附图说明

附图1是软件的总体框架。

附图2是一个实施例的屏幕布置图，标出了图像的显示区域和各参数的设置按钮。

附图3是时间段管理模块，用户可自行选择特征提取的时间段长短，在1／8秒到1秒之间选择。

附图4是频率点管理模块，支持用户默认或自行选择频率点，并保存于存储单元。

附图5是图像库管理模块，包括图像库中存有若干规则的图形和图像，供用户指定，并具有用户自行加入图像的功能。

附图6是颜色管理模块，支持用户默认或自行定义频率点与颜色的对应关系，获得颜色参数并保存于存储单元。

附图7是显示比例管理模块，支持用户自行定义显示图像占可显示区域的比例大小；软件允许显示比例参数在显示的过程中可进行实时调整。

附图8是特征提取模块，由通过将音乐的声波数字信息分成小的时间段(如1／8秒)，对每一段数字信息选用现有傅里叶变换、小波包变换等类似的变换，求得该时间段中的代表振幅和代表频率，并存于存储单元。

附图9是图像显示模块，提取用户选定或系统默认的图像，再根据时间段中的代表频率值及频率对应的颜色参数进行显示图像颜色的生成；再根据时间段中的代表振幅值及振幅与显示比例的对应关系确定显示图像的大小，完成显示图像的生成。根据系统指定的显示区域、按照用户确定的时间节奏将生成的图像进行显示。

Claims (8)

1.一种用图像表达音乐的软件，其特征有：

从播放的音乐的波形数据信息中按时间段获取频率、振幅等多个特征的代表值的提取模块；设有用户默认或自定义的时间段、图像库、颜色参数、频率点和显示比例参数的管理模块；根据提取的音乐的特征值从图像库中提取图像、颜色参数、显示比例和时间段值而生成相应的图像进行显示的模块。

2.如权利要求1所述的用图像表达音乐的软件，其特征在于，

时间段管理模块可由用户自行选择特征提取的时间段长短，在1／8秒到1秒之间选择。

3.如权利要求1所述的用图像表达音乐的软件，其特征在于，

频率点管理模块可由用户自行选择频率点。

4.如权利要求1所述的用图像表达音乐的软件，其特征在于，

图像库管理模块的图像库中存有若干规则的图形和图像(包括可变化得图形和图像)，供用户指定，并具有用户自行加入图像的功能。

5.如权利要求1所述的用图像表达音乐的软件，其特征在于，

颜色管理模块可由用户默认或自行定义频率与颜色的对应关系，获得颜色参数并保存于存储单元。

6.如权利要求1所述的用图像表达音乐的软件，其特征在于，

显示比例管理模块可由用户自行定义显示图像占可显示区域的比例大小；软件允许显示比例参数在显示的过程中可进行实时调整。

7.如权利要求1所述的用图像表达音乐的软件，其特征在于，

特征提取模块由通过将音乐的声波数字信息分成小的时间段(如1／8秒)，对每一段数字信息选用现有傅里叶变换、小波包变换等类似的变换，求得该时间段中的代表振幅和代表频率，并存于存储单元。

8.如权利要求1所述的用图像表达音乐的软件，其特征在于，

图像显示模块提取用户选定的图像，再根据时间段中的代表频率值及频率对应的颜色参数进行图像颜色的生成；再根据时间段中的代表振幅值及振幅与显示比例的对应关系确定显示图像的大小，完成显示图像的生成。根据系统指定的显示区域、按照用户确定的时间段将生成的图像进行显示。