CN105869621A - 音频合成装置及其音频合成的方法 - Google Patents

Abstract

本发明公开了一种音频合成装置及其音频合成的方法。该音频合成的方法包括：获取用户演唱的第一音频数据和原唱的第二音频数据；根据第一音频数据和第二音频数据获取音调差；判断音调差是否大于预设的阈值；若是，则将第一音频数据和第一音频数据进行合成。通过上述方式，本发明能够掩盖用户在演唱中跑调部分，提高用户的体验效果。

Description

音频合成装置及其音频合成的方法

技术领域

本发明涉及音频技术领域，特别是涉及一种音频合成装置及其音频合成的方法。

背景技术

目前，用户可以通过具有录音功能的装置进行录制音乐，以使用户能够实现录制不同的歌曲。

在用户录制歌曲视频或者用户在拍摄演唱类的短拍视频时，假设用户的演唱技巧不好，用户在演唱时会出现跑调，进而导致录制效果差。并且，现有技术的录音装置并未能够针对跑调进行处理，大大地影响用户的使用效果。

发明内容

本发明主要解决的技术问题是提供一种液晶显示装置、液晶显示面板及其制作方法，以解决上述问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种音频合成的方法，其应用于音频合成装置，包括：

获取用户演唱的第一音频数据和原唱的第二音频数据；

根据第一音频数据和第二音频数据获取音调差；

判断音调差是否大于预设的阈值；

若是，则将第一音频数据和第一音频数据进行合成。

其中，获取用户演唱的第一音频数据和原唱的第二音频数据的步骤包括：

第一音频数据的旋律和第二音频数据的旋律同步。

其中，根据第一音频数据和第二音频数据获取音调差的步骤包括：

根据傅立叶变换将第一音频数据转换为第一频谱，并且将第二音频数据转换为第二频谱；

获取第一频谱和第二频谱之间差值的绝对值，并且绝对值作为音调差。

其中，将第一音频数据和第一音频数据进行合成的步骤包括：

将第一频谱的权重和第二频谱的权重进行对半合成，以形成第三频谱；

根据傅立叶逆变换将第三频谱转换为第三音频数据。

其中，若音调差小于或等于阈值，则保存第一音频数据。

其中，其中方法进一步包括：

根据音调差产生提示信息，并将提示信息反馈给用户；提示信息用于提醒用户音调偏移。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种音频合成装置，其包括依次连接的音调差计算器以及转化器，其中：

音调差计算器获取用户演唱的第一音频数据和原唱的第二音频数据，并根据第一音频数据和第二音频数据获取音调差；

音调差计算器进一步判断音调差是否大于预设的阈值；

若是，则转化器将第一音频数据和第一音频数据进行合成。

其中，音调差计算器根据傅立叶变换将第一音频数据转换为第一频谱，并且将第二音频数据转换为第二频谱；

音调差计算器获取第一频谱和第二频谱之间差值的绝对值，并将绝对值作为音调差。

其中，转化器将第一频谱的权重和第二频谱的权重进行对半合成，以形成第三频谱。

其中，音频合成装置进一步包括与转化器连接的混合器，混合器根据傅立叶逆变换将第三频谱转换为第三音频数据。

本发明的有益效果是：区别于现有技术的情况，本发明获取用户演唱的第一音频数据和原唱的第二音频数据，根据第一音频数据和第二音频数据获取音调差，并判断音调差是否大于预设的阈值，若是，则将第一音频数据和第二音频数据进行合成，能够将用户在演唱中跑调的第一音频数据与原唱的第二音频数据进行合成，进而掩盖用户在演唱中跑调部分，提高用户的体验效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，进一步可以根据这些附图获得其他的附图。其中：

图1是本发明第一实施例的音频合成的方法的流程图；

图2是本发明第一实施例的音频合成装置的结构示意图；

图3是应用图2中音频合成装置的交互系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1是本发明第一实施例的音频合成的方法的流程图。本实施例所揭示的音频合成的方法应用于音频合成装置，该音频合成装置优选为主播客户端或者移动设备等具有录制功能的设备端。

如图1所示，该音频合成的方法包括以下步骤：

步骤S11：音频合成装置获取用户演唱的第一音频数据和原唱的第二音频数据；

其中，用户在音频合成装置上进行录制歌曲视频或者演唱类的短拍视频时，音频合成装置向用户提供伴奏，用户在伴奏上进行演唱。音频合成装置获取用户演唱的第一音频数据。

音频合成装置进一步获取伴奏所对应原唱的第二音频数据，其中第一音频数据优选为演唱旋律音调数据，第二音频数据优选为原唱旋律音调数据。

优选地，第一音频数据的旋律和第二音频数据的旋律同步，即音频合成装置获取第一音频数据的时间与音频合成装置获取第二音频数据的时间相同，例如音频合成装置每一秒获取第一音频数据和第二音频数据。

步骤S12：音频合成装置根据第一音频数据和第二音频数据获取音调差；

其中，第一音频数据和第二音频数据均采用余弦波的方式，音频合成装置根据傅立叶变换将时域转换为频域，即音频合成装置根据傅立叶变换将第一音频数据转换为第一频谱，并且将第二音频数据转换为第二频谱。

傅立叶变换满足以下公式：

$F\left(w\right)=\underset{-\mathrm{\∞}}{\overset{\mathrm{\∞}}{\∫}}f\left(t\right)e^{-iwt}dt---\left(1\right)$

音频合成装置将第一音频数据代入公式(1)可得第一频谱F₁(w)，音频合成装置将第二音频数据代入公式(1)可得第二频谱F₂(w)。

音频合成装置进一步获取第一频谱F₁(w)和第二频谱F₂(w)之间差值的绝对值，并且将该绝对值作为音调差。其中音调差满足以下公式：

Diff＝|F₁(w)-F₂(w)| (2)

音频合成装置将第一频谱F₁(w)和第二频谱F₂(w)代入公式(2)，可以得到音调差Diff。

音调差Diff的数值越大，表示第一音频数据和第二音频数据偏差越大，即用户演唱产生走调。

步骤S13：音频合成装置判断音调差是否大于预设的阈值；

其中，用户在开启音频合成装置时可以根据需要预设阈值。在其他实施例中，音频合成装置通过出厂预设阈值。

步骤S14：若是，则音频合成装置将第一音频数据和第一音频数据进行合成；

其中，音频合成装置判断到音调差Diff大于预设的阈值，即音频合成装置判断第一音频数据偏移第二音频数据较大，音频合成装置需要对该第一音频数据和第二音频数据进行频谱近似，将第二音频数据向第一音频数据靠拢。

音频合成装置将第一频谱F₁(w)的权重和第二频谱F₂(w)的权重进行对半合成，以形成第三频谱F₃(w)，用于掩盖用户演唱走调的部分。

音频合成装置根据傅立叶逆变换将合成后的第三频谱F₃(w)转换为第三音频数据，傅立叶逆变换满足以下公式：

$f\left(t\right)=\frac{1}{2\mathrm{\π}}\underset{-\mathrm{\∞}}{\overset{\mathrm{\∞}}{\∫}}F\left(w\right)e^{iwt}dw---\left(3\right)$

音频合成装置将第三频谱F₃(w)代入公式(3)，即可得第三音频数据，该第三音频数据采用余弦波的方式。

音频合成装置将第三音频数据与伴奏进行合成，以生成录制的音乐，并保存该录制的音乐。

优选地，音频合成装置进一步根据音调差Diff产生提示信息，并将提示信息反馈给用户。该提示信息用于提醒用户音调偏移，并且对用户进行指正，进而帮助用户进行改正。

步骤S15：若音调差小于或等于阈值，则保存第一音频数据。

其中，音频合成装置判断到音调差Diff小于或等于阈值，则保存第一音频数据，即音频合成装置将第一音频数据与伴奏进行合成，以生成录制的音乐，并保存该录制的音乐。

本实施例通过音频合成装置根据第一音频数据和第二音频数据获取音调差Diff；判断音调差Diff是否大于预设的阈值；若是，则音频合成装置将第一音频数据和第一音频数据进行合成；能够将用户在演唱中跑调的第一音频数据与原唱的第二音频数据进行合成，进而掩盖用户在演唱中跑调部分，提高用户的体验效果。此外，音频合成装置进一步根据音调差Diff产生提示信息，并将提示信息反馈给用户，能够提醒用户音调偏移，并且对用户进行指正，进而帮助用户进行改正。

请参见图2，图2是本发明第一实施例的音频合成装置的结构示意图。本实施例所揭示的音频合成装置在第一实施例所揭示的音频合成的方法的基础上进行描述。

如图2所示，本实施例所揭示的音频合成装置包括音调差计算器21、转化器22、混合器23以及存储器24；音调差计算器21、转化器22以及混合器23依次连接，存储器24分别与音调差计算器21以及混合器23连接。

其中，音调差计算器21获取用户演唱的第一音频数据和原唱的第二音频数据。

用户在音频合成装置上进行录制歌曲视频或者演唱类的短拍视频时，音频合成装置向用户提供伴奏，用户在伴奏上进行演唱。音调差计算器21通过声音采集器(图未视)获取用户演唱的第一音频数据。

音调差计算器21进一步从存储器24获取伴奏所对应原唱的第二音频数据，其中第一音频数据优选为演唱旋律音调数据，第二音频数据优选为原唱旋律音调数据。

优选地，第一音频数据的旋律和第二音频数据的旋律同步，即音调差计算器21获取第一音频数据的时间与音频合成装置获取第二音频数据的时间相同，例如音调差计算器21每一秒获取第一音频数据和第二音频数据。

音调差计算器21进一步根据第一音频数据和第二音频数据获取音调差。其中，第一音频数据和第二音频数据均采用余弦波的方式，音调差计算器21根据傅立叶变换将时域转换为频域，即音调差计算器21根据傅立叶变换将第一音频数据转换为第一频谱，并且将第二音频数据转换为第二频谱。

音调差计算器21将第一音频数据代入公式(1)可得第一频谱F₁(w)，音调差计算器21将第二音频数据代入公式(1)可得第二频谱F₂(w)。

音调差计算器21获取第一频谱F₁(w)和第二频谱F₂(w)之间差值的绝对值，并且将该绝对值作为音调差。

音调差计算器21将第一频谱F₁(w)和第二频谱F₂(w)代入公式(2)，可以得到音调差Diff。

音调差Diff的数值越大，表示第一音频数据和第二音频数据偏差越大，即用户演唱产生走调。

音调差计算器21进一步判断音调差是否大于预设的阈值；其中，用户在开启音频合成装置时可以根据需要预设阈值。在其他实施例中，音频合成装置通过出厂预设阈值。

若是，则转化器22将第一音频数据和第一音频数据进行合成；

其中，音调差计算器21判断到音调差Diff大于预设的阈值，即音调差计算器21判断第一音频数据偏移第二音频数据较大，并将第一频谱F₁(w)和第二频谱F₂(w)发送给转化器22。转化器22需要对该第一音频数据和第二音频数据进行频谱近似，将第二音频数据向第一音频数据靠拢。

转化器22将第一频谱F₁(w)的权重和第二频谱F₂(w)的权重进行对半合成，以形成第三频谱F₃(w)，用于掩盖用户演唱走调的部分。

混合器23从转化器22获取第三频谱F₃(w)，并根据傅立叶逆变换将合成后的第三频谱F₃(w)转换为第三音频数据，即混合器23将第三频谱F₃(w)代入公式(3)，即可得第三音频数据，该第三音频数据采用余弦波的方式。

混合器23进一步将第三音频数据与伴奏进行合成，以生成录制的音乐，并保存该录制的音乐在存储器24中。

优选地，转化器22进一步根据音调差Diff产生提示信息，并将提示信息反馈给用户。该提示信息用于提醒用户音调偏移，并且对用户进行指正，进而帮助用户进行改正。

若音调差计算器21判断到音调差小于或等于阈值，则音调差计算器21判断到将第一音频数据保存在存储器24中。

混合器23从存储器24中获取第一音频数据，并将第一音频数据与伴奏进行合成，以生成录制的音乐，并保存该录制的音乐在存储器24中。

本实施例所揭示音频合成装置的应用于交互系统，如图3所示，该交互系统包括主播客户端31、服务器32以及游客客户端33。

其中，主播客户端31与游客客户端33属于同一频道，频道提供了一个用于实现多个客户端所构成的团队之间进行交互的环境。其中服务器32分别与主播客户端31和游客客户端33相连。主播客户端31、服务器32以及游客客户端33可以是智能手机、平板电脑、电子书阅读器、便携式计算机和台式计算机等等。

主播客户端31和游客客户端33分别与服务器32通过有线网络或者无线网络相连。

服务器32可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。

主播客户端31优选为上述实施例所描述的音频合成装置，当主播在主播客户端31上进行录制歌曲视频或者演唱类的短拍视频，即主播在主播客户端31进行演唱时，主播客户端31获取主播演唱的第一音频数据和原唱的第二音频数据，并根据第一音频数据和第二音频数据获取音调差；主播客户端31判断音调差是否大于预设的阈值；若是，则主播客户端31将第一音频数据和第一音频数据进行合成；若否，则主播客户端31保存第一音频数据。主播客户端31通过上述方式完成录制，并将录制的歌曲视频或者短拍视频上传服务器32，服务器32将该歌曲视频或者短拍视频发送至属于同一频道的游客客户端33，游客通过游客客户端33观看歌曲视频或者短拍视频。由于主播客户端31将主播在演唱中跑调的第一音频数据与原唱的第二音频数据进行合成，进而掩盖主播在演唱中跑调部分，能够提高游客的体验效果，进而提高主播的人气。

综上所述，本发明的音频合成装置根据第一音频数据和第二音频数据获取音调差Diff；判断音调差Diff是否大于预设的阈值；若是，则音频合成装置将第一音频数据和第一音频数据进行合成；能够将用户在演唱中跑调的第一音频数据与原唱的第二音频数据进行合成，进而掩盖用户在演唱中跑调部分，提高用户的体验效果。此外，音频合成装置进一步根据音调差Diff产生提示信息，并将提示信息反馈给用户，能够提醒用户音调偏移，并且对用户进行指正，进而帮助用户进行改正。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种音频合成的方法，其特征在于，所述方法应用于音频合成装置，所述方法包括：

获取用户演唱的第一音频数据和原唱的第二音频数据；

根据所述第一音频数据和所述第二音频数据获取音调差；

判断所述音调差是否大于预设的阈值；

若是，则将所述第一音频数据和所述第一音频数据进行合成。

2.根据权利要求1所述的方法，其特征在于，所述获取用户演唱的第一音频数据和原唱的第二音频数据的步骤包括：

所述第一音频数据的旋律和所述第二音频数据的旋律同步。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一音频数据和所述第二音频数据获取音调差的步骤包括：

根据傅立叶变换将所述第一音频数据转换为第一频谱，并且将所述第二音频数据转换为第二频谱；

获取所述第一频谱和所述第二频谱之间差值的绝对值，并且所述绝对值作为所述音调差。

4.根据权利要求3所述的方法，其特征在于，所述将所述第一音频数据和所述第一音频数据进行合成的步骤包括：

将所述第一频谱的权重和所述第二频谱的权重进行对半合成，以形成第三频谱；

根据傅立叶逆变换将所述第三频谱转换为第三音频数据。

5.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

若所述音调差小于或等于所述阈值，则保存所述第一音频数据。

6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

根据所述音调差产生提示信息，并将所述提示信息反馈给用户；所述提示信息用于提醒用户音调偏移。

7.一种音频合成装置，其特征在于，所述音频合成装置包括依次连接的音调差计算器以及转化器，其中：

所述音调差计算器获取用户演唱的第一音频数据和原唱的第二音频数据，并根据所述第一音频数据和所述第二音频数据获取音调差；

所述音调差计算器进一步判断所述音调差是否大于预设的阈值；

若是，则所述转化器将所述第一音频数据和所述第一音频数据进行合成。

8.根据权利要求7所述的装置，其特征在于，所述音调差计算器根据傅立叶变换将所述第一音频数据转换为第一频谱，并且将所述第二音频数据转换为第二频谱；

所述音调差计算器获取所述第一频谱和所述第二频谱之间差值的绝对值，并将所述绝对值作为所述音调差。

9.根据权利要求8所述的装置，其特征在于，所述转化器将所述第一频谱的权重和所述第二频谱的权重进行对半合成，以形成第三频谱。

10.根据权利要求9所述的装置，其特征在于，所述音频合成装置进一步包括与所述转化器连接的混合器，所述混合器根据傅立叶逆变换将所述第三频谱转换为第三音频数据。