CN108665888A - 一种将书面符号、图像转换成音频数据的系统及方法 - Google Patents

Abstract

本发明涉及一种将书面符号、图像转换成音频数据的系统及方法。该系统包括上位机、分别与上位机连接的用于采集声音的书面符号载体与音乐图像的数据采集模块、用于提供匹配数据信息的数据库和数据处理模块；还包括用于将现有音乐素材倒入数据库的数据录入模块、数据转化模块和数据导出模块；数据处理模块、数据转化模块和数据导出模块依次连接；数据库还分别与数据录入模块、数据处理模块连接；数据处理模块包括文字对比模块和图像比对模块；文字对比模块和图像对比模块分别与数据库连接；数据转化模块用于将比对后的文字和图像转化为音频曲线图。本发明提供了一种可以将人类语音、音乐的书面符号载体与音频、图像信号的相互转换的系统及方法。

Description

一种将书面符号、图像转换成音频数据的系统及方法

技术领域

本发明属于文字、图像处理技术领域，涉及音韵学中将文字、图像转换成音频数据的方法，尤其涉及一种将书面符号、图像转换成音频数据的系统及方法。

背景技术

人们的生活中用来记载乐谱的工具有很多，最常见的就是五线谱，五线谱是目前世界上通用的一种记谱法，通过在五根等距离的平行横线上标以不同时值的音符及其他记号来记载音乐，属于运用最广泛的乐谱之一。

而在中国的古代，人们最常用的就是用文字、图像来记载音乐。现代学科中专门用于研究中国古代音律的学科就是汉语音韵学。汉语音韵学又称声韵学，在研究汉语语音系统的过程中经常需要运用到音韵学中的知识。在汉语音韵学中，由于每个历史时期汉语的声、韵、调都是有区别的，因此单纯的通过文字记载或者是图像记载很难深入的研究该文字或图像想要表达的音乐曲调。但是所谓的音律都是有一定的相似性的，只要研究出某个历史时期汉语声、韵、调的种类及声母、韵母的配合规律，那么相应的音乐曲调也就应运而生了。

但是这是一个庞大而又繁琐的工作，如果通过人工识别、校对寻找规律，这基本上是一项不能完成的任务，因此，如何能快速的将文字、图像转换成音频成为了该学科的重要研究课题。

在人类文明史上,运用书面符号记录声音事件的方法和工具有很多，流传至今仍在使用的，最常见的就是五线谱和简谱。

在中国历史上，早在隋唐时代古人就发明了相同功用的方法和理论，这种方法和理论被应用于古琴音乐的记录并流传至今的，即所谓“减字谱”。在相关课题中，有关理论及文献史料部分的研究发现，“减字谱”还曾经被系统地运用于汉子语音的譜录中。最新的研究确认，这种减字谱系统、完整地记录了明代以前的汉语音韵，为我们今天实现真实完整的复原古汉语音读提供了强有力的理论支持。

汉语音韵学又称声韵学。在汉语音韵学中，由于每个历史时期汉语的声、韵、调都是有流变的，因此复原古汉语的音读就成为汉语音韵学领域中的一项高端课题。复原古汉语的音读在汉语音韵学界被称为“拟音”。传统上的“拟音”都是由学者们主观判断人工拟读的，不可避免的是其中每个学者的“拟音”会流露出学者自己母语的方言口音的痕迹，因此在音韵界，古汉语的最终“拟音”屡屡难以达成学界共识，至今束手无策。因此汉语音韵学领域急需一种将书面符号、图像转换成音频数据的系统及方法，以实现人类语音、声音的书面符号载体与音频、图像信号的相互转换这一庞大而又繁琐的工作。

发明内容

为了解决背景技术中所提到的快速将文字、图像转换音频的问题，本发明提出了一种将文字、图像转换成音频数据的系统及方法。本发明旨在填补有关中国古汉语语音、音乐的书面符号载体与音频、图像信号的相互转换的技术空白，并在声韵学领域还原古代文字读音。

本发明的是技术解决方案是：一种将书面符号、图像转换成音频数据的系统，其特殊之处在于：包括上位机、分别与上位机连接的用于采集声音的书面符号载体与音乐图像的数据采集模块、用于提供匹配数据信息的数据库和数据处理模块；

还包括用于将现有音乐素材倒入数据库的数据录入模块、数据转化模块和数据导出模块；

上述数据处理模块、数据转化模块和数据导出模块依次连接；

上述数据库还分别与数据录入模块、数据处理模块连接；

上述数据处理模块包括文字对比模块和图像比对模块；上述文字对比模块和图像对比模块分别与数据库连接；

上述数据转化模块用于将比对后的文字和图像转化为音频曲线图。

上述数据采集模块上设置有用于提醒操作员从新采集数据信息的报警装置。

上述音频曲线图包括X轴及Y轴；上述X轴表示音频的时间，Y轴表示音频的频率。

上述音频曲线图为单线条曲线图或多线条曲线图。

上述声音的书面符号载体包括汉字、英文、自定义书面符号。

上述音乐图像包括五线谱或简谱或自定义书面符号。

一种基于将书面符号、图像转换成音频数据的系统转换方法，其特殊之处在于：包括以下步骤：

S1通过数据采集模块采集声音的书面符号载体、图像并整理为若干条数据信息发送至上位机；上述数据信息包括书面符号载体、图像所表示的音频时长、音频音调频率；

S2上位机接收到数据采集模块所发送的数据信息时，按照顺序依次发送至数据处理模块；

S3数据处理模块接收到数据信息后，调用数据库内数据信息与接收到的数据信息进行匹配，并将相匹配的数据信息发送至数据转化模块；

S4数据转化模块接收到数据信息后，将数据信息转化为音频曲线图；并将音频曲线图发送至数据导出模块；

S4数据导出模块接收到音频曲线图后将音频曲线图转换成音频导出。

上述步骤S1：

当数据采集模块采集信息为声音的书面符号载体时，将每个文字设定为一个数据信息依次发送至上位机；

当数据采集模块采集信息为音乐图像时，将图像内所显示的每个音符设定为一个数据信息依次发送至上位机。

上述步骤S3：

当数据库内数据信息与接收到的数据信息匹配时，则将接收到数据信息传送至数据转化模块；

当数据库内数据信息与接收到的数据信息不匹配时，则将向上位机发送错误信号；上位机接收到错误信号后，向数据采集模块发送重新采集指令并启动报警装置。

本发明的优点是：本发明所提供的一种将书面符号、图像转换成音频数据的系统及方法可以实现人类语音、音乐的书面符号载体与音频、图像信号的相互转换。并填补声韵学领域还原古代文字读音(拟音)的技术空白；也可实现对具体作品的可量化数据分析。

附图说明

图1为本发明系统结构示意图；

图2为本发明自定义书面符号录入图表示意图；

其中，1-上位机、2-数据处理模块、3-数据转换模块、4-数据导出模块、5-数据录入模块、6-数据库、7-数据采集模块。

具体实施方式

为了使本发明技术方案更加清楚明白，以下结合附图1-2及实施例，对本发明进行进一步详细说明，以便本领域的技术人员能够更好的理解并实施，并不用于限定本发明。

一种将书面符号、图像转换成音频数据的系统，包括上位机1、分别与上位机1连接的用于采集声音的书面符号载体与音乐图像的数据采集模块7、用于提供匹配数据信息的数据库6和数据处理模块2；

还包括用于将现有音乐素材倒入数据库6的数据录入模块5、数据转化模块和数据导出模块4；

作为优选的，数据处理模块2、数据转化模块和数据导出模块4依次连接；

作为优选的，数据库6还分别与数据录入模块5、数据处理模块2连接；

作为优选的，数据处理模块2包括文字对比模块和图像比对模块；文字对比模块和图像对比模块分别与数据库6连接；

作为优选的，数据转化模块用于将比对后的文字和图像转化为音频曲线图。

作为优选的，数据采集模块7上设置有用于提醒操作员从新采集数据信息的报警装置。

作为优选的，音频曲线图包括X轴及Y轴；上述X轴表示音频的时间，Y轴表示音频的频率。

作为优选的，音频曲线图为单线条曲线图或多线条曲线图。

作为优选的，声音的书面符号载体包括汉字、英文、自定义书面符号。

作为优选的，音乐图像包括五线谱或简谱或自定义书面符号。

一种基于将书面符号、图像转换成音频数据的系统转换方法，其特殊之处在于：包括以下步骤：

S1通过数据采集模块7采集声音的书面符号载体、图像并整理为若干条数据信息发送至上位机1；数据信息包括书面符号载体、图像所表示的音频时长、音频频率；

S2上位机1接收到数据采集模块7所发送的数据信息时，按照顺序依次发送至数据处理模块2；

S3数据处理模块2接收到数据信息后，调用数据库6内数据信息与接收到的数据信息进行匹配；并将相匹配的数据信息发送至数据转化模块3；

S4数据转化模块快接收到数据信息后，将数据信息转化为音频曲线图；并将音频曲线图发送至数据导出模块4；

S5数据导出模块4接收到音频曲线图后将音频曲线图转换成音频导出。

作为优选的，步骤S1：

当数据采集模块7采集信息为声音的书面符号载体时，将每个文字设定为一个数据信息依次发送至上位机1；

当数据采集模块7采集信息为音乐图像时，将图像内所显示的每个音符设定为一个数据信息依次发送至上位机1。

作为优选的，步骤S3：

当数据库6内数据信息与接收到的数据信息匹配时，则将接收到数据信息传送至数据转化模块；

当数据库6内数据信息与接收到的数据信息不匹配时，则将向上位机1发送错误信号；上位机1接收到错误信号后，向数据采集模块7发送重新采集指令并启动报警装置。

本发明所提供的一种基于将声音的书面符号载体、图像转换成音频数据的系统，需要进一步说明的是，数据采集模块7主要用于图片、图像的获取；书面符号载体、图像(含乐谱)等源文件的获取的方式包括可以通过拍照、扫描或复印的方式获得，也可以是手工录入。

需要进一步说明的是，数据录入模块5可以录入的文件包括汉字、减字谱及自定义书面符号；文件录入之后数据录入模块5将文件中的声音信息识别、提取并编码，该编码后的结果产生一系列包括频率、时值、音色、清浊、调值等序列的数据文件。

文件录入可以通过USB接口连接；录入的文字、图片及自定义书面符号包含了形成音频的必要素材，如：音频时长、音频音调、文字读音等；其中自定义书面符号包括可读取的声母、韵母、清浊、调。

尤其是在录入自定义书面符号时，可以在数据库中建立多个自定义单元，包括读音单元、时间单元、音调单元等。

在数据处理模块进行数据处理的过程中，要对数据采集模块所采集的数据信息先进行数据分类，然后分别与数据库中读音单元、时间单元、音调单元中的数据信息进行匹配，信息一致的则为匹配成功，信息不一致则自动触发报警装置，提醒工作人员重新采集数据信息或者重新录入自定义书面符号的数据信息。

需要进一步说明的是，数据转换模块3数据文件转化为音乐格式的数据文件如MIDI格式的数据文件。

需要进一步说明的是，数据导出模块4将上述音乐格式的数据文件转化为初级音频信号。如果是MIDI格式的数据文件，一般采用MIDI芯片进行硬件解码即可。对于其它类型的格式文件，可以采用其它对应的芯片进行解码。

需要进一步说明的是，数据导出模块4上设置有功率放大单元；所述功率放大单元将上述初级音频信号进行功率放大，得到适合于喇叭或耳机等播放的音频信号。

还需要进一步说明的是，音频播放单元：该音频信号通过喇叭或耳机播放出来。

通过这种方法，就可以实现将声音的书面符号载体、图像(含乐谱)转换成实际的物理音频信号的目的。

这种方法的逆向运行，则可以实现物理音频信号的书面符号转换输出、图像形式的转换输出，以及可量化的序列数据输出。

上述的装置可以是计算机的一个模块，或者其他装置的一个模块。

通过这种方法，就可以实现将声音的书面符号载体、图像(含乐谱)转换成实际的物理音频信号的目的。

本发明所提出的技术解决方案也可采取逆向运行，可以实现物理音频信号的书面符号转换输出、图像形式的转换输出，以及可量化的序列数据输出。

实施例

当工作人员需要将批量的自定义书面符号转换成音频文件时，首先利用数据录入模块5将自定义书面符号逐一录入到数据库6中，并让数据库6对数据进行定义，然后利用数据采集模块7对需要批量转换的文件进行数据的采集，采集后的数据通过上位机1发送至数据处理模块2；数据处理模块2调取数据库6的数据进行匹配，匹配成功后可以将数据发送至数据转换模块3；数据转换模块3对数据文件进行编码转换，并形成数据导出模块4可以识别的数据文件，最后由数据导出模块4导出。整个过程中，工作人员只需要在文件录入时对自定义书面符号进行一一的人工识别，之后的工作全部由系统完成，大大提高了工作效率也降低了因人为原因所造成的失误。

如图2所示，图表中记载了《登黄鹤楼》这首律诗，如果从古汉语的角度去诵读这首诗的话，要包含读音、曲调等多种因素，我们利用自定义书面符号对其进行定义，在信息录入过程中录入每个字的声母、韵母、清浊、调，这样就能直接形成完整清晰的音频文件，大大降低了工作人员的工作量，提高了工作效率。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (9)

1.一种将书面符号、图像转换成音频数据的系统，其特征在于：包括上位机、分别与上位机连接的用于采集声音的书面符号载体与音乐图像的数据采集模块、用于提供匹配数据信息的数据库和数据处理模块；

还包括用于将现有音乐素材倒入数据库的数据录入模块、数据转化模块和数据导出模块；

所述数据处理模块、数据转化模块和数据导出模块依次连接；

所述数据库还分别与数据录入模块、数据处理模块连接；

所述数据处理模块包括文字对比模块和图像比对模块；所述文字对比模块和图像对比模块分别与数据库连接；

所述数据转化模块用于将比对后的文字和图像转化为音频曲线图。

2.根据权利要求1所述的一种将书面符号、图像转换成音频数据的系统，其特征在于：所述数据采集模块上设置有用于提醒操作员从新采集数据信息的报警装置。

3.根据权利要求1或2所述的一种将书面符号、图像转换成音频数据的系统，其特征在于：所述音频曲线图包括X轴及Y轴；所属X轴表示音频的时间，Y轴表示音频的频率。

4.根据权利要求3所述的一种将书面符号、图像转换成音频数据的系统，其特征在于：所述音频曲线图为单线条曲线图或多线条曲线图。

5.根据权利要求4所述的一种将书面符号、图像转换成音频数据的系统，其特征在于：所述声音的书面符号载体包括汉字、英文、自定义书面符号。

6.根据权利要求5所述的一种将书面符号、图像转换成音频数据的系统，其特征在于：所述音乐图像包括五线谱或简谱或自定义书面符号。

7.一种基于将书面符号、图像转换成音频数据的系统转换方法，其特征在于：包括以下步骤：

S1通过数据采集模块采集声音的书面符号载体、图像并整理为若干条数据信息发送至上位机；所述数据信息包括书面符号载体、图像所表示的音频时长、音频频率；

S2上位机接收到数据采集模块所发送的数据信息时，按照顺序依次发送至数据处理模块；

S3数据处理模块接收到数据信息后，调用数据库内数据信息与接收到的数据信息进行匹配，并将相匹配的数据信息发送至数据转化模块；

S4数据转化模块接收到数据信息后，将数据信息转化为音频曲线图；并将音频曲线图发送至数据导出模块；

S5数据导出模块接收到音频曲线图后将音频曲线图转换成音频导出。

8.根据权利要求7所述的一种基于将书面符号、图像转换成音频数据的系统转换方法，其特征在于：所述步骤S1：

当数据采集模块采集信息为声音的书面符号载体时，将每个文字设定为一个数据信息依次发送至上位机；

当数据采集模块采集信息为音乐图像时，将图像内所显示的每个音符设定为一个数据信息依次发送至上位机。

9.根据权利要求7所述的一种基于将书面符号、图像转换成音频数据的系统转换方法，其特征在于：所述步骤S3：

当数据库内数据信息与接收到的数据信息匹配时，则将接收到数据信息传送至数据转化模块；

当数据库内数据信息与接收到的数据信息不匹配时，则将向上位机发送错误信号；上位机接收到错误信号后，向数据采集模块发送重新采集指令并启动报警装置。