CN103065623A

CN103065623A - 音色匹配方法和装置

Info

Publication number: CN103065623A
Application number: CN2012105483790A
Authority: CN
Inventors: 潘世明
Original assignee: Shenzhen TCL New Technology Co Ltd
Current assignee: Shenzhen TCL New Technology Co Ltd
Priority date: 2012-12-17
Filing date: 2012-12-17
Publication date: 2013-04-24
Anticipated expiration: 2032-12-17
Also published as: CN103065623B

Abstract

本发明公开了一种音色匹配方法和装置，所述音色匹配方法包括步骤：将收集到的用户的声音转化为声波曲线图；根据所述声波曲线图和预先存储的标准音色函数图匹配出用户的标准音色函数；根据用户的标准音色函数于音色库中匹配出与用户的音色最接近的匹配对象。实现了将声音转化为数学表达式，从而将音色量化，再对量化的音色进行比较匹配，从而匹配出音色相近的两个对象，当应用于K歌系统时，就可以实现根据用户的声音匹配出与用户的音色最接近的匹配对象即歌手的功能。

Description

音色匹配方法和装置

技术领域

本发明涉及智能语音技术领域，尤其是涉及一种音色匹配方法和装置。

背景技术

随着智能终端的普及，人们对生活智能化服务的要求越来越高，语音智能化服务成为人们迫切需要。然而现在的K歌系统都无法实现根据用户的声音匹配出与用户的音色最接近的歌手，进而向用户推荐适合用户音色的歌手的歌曲，从而影响了K歌系统的智能化，降低了K歌的趣味性。

人们辨别不同的发声对象，并不是依靠声音的频率，频率只决定音调，而是发声对象所固有的音色。声音是振动产生的，而一个物体来回振动，几乎不可能一直按照确定的周期振动，也就是说发声对象发声时，会产生许多分振动，从而产生许多不同频率的波（谐波）。这许多不同频率的波由于相位差很小（也就是相隔时间很短），人们无法单独分辨，所以这些波会混合在一起给人一个整体的感受，而这个感受就形成了音色。一个声音中相对量最大的频率决定了声音的音调，而其他频率的相对量大小分布则决定了音色。例如A发出一个声音里如果有3单位444hz（la音）的频率，1单位222hz的频率，那么我们听起来就是la音；如果有3单位444hz的频率，2单位的222hz的频率，那么我们听起来仍然是la音，但是音色却不同。

一个声音的声波曲线图实则由若干正弦或余弦曲线图组成，即每一个分振动所产生的声波可以用一个正弦或余弦函数来描述，如coswt，其中w 就是声波的频率。因此任何一个声音都可以用下列数学式表达：

fx=a1cosw1t+b1sinw1t+a2cosw2t+b2sinw2t+a3cosw3t+b3sinw3t+ …

即

fx=∑ (ai *cos(wi*t)+bi*sin(wi*t) ) （i=1-20000）；

式中的 wi就是一个声音所包含的各种分振动的频率，由于人耳能听到声音的频率分布于20HZ-20KHZ之间，因此i取值1-20000，包含1HZ-20000HZ的频率。ai、bi就是分振动的相对量。当不同的发声对象发出同一个声音时，该声音中所包含的频率w1、w2 、w3…相同，但各频率所对应的相对量（a1,b1）、（a2,b2）、（a3,b3）…却各不相同，从而形成了不同的音色。因此上述数学表达式实则是标准音色函数，函数中的分振动频率的相对量（ai,bi）就是音色参数。

而现有的K歌系统无法对发声对象发出的声音进行量化、比较，匹配出音色相近的两个对象，因而不能实现根据用户的声音匹配出与用户的音色最接近的歌手的功能。

发明内容

本发明的主要目的在于提供一种音色匹配方法和装置，实现通过声音匹配出音色相近的两个对象的功能。

为达以上目的，本发明提出一种音色匹配方法，包括步骤：

将收集到的用户的声音转化为声波曲线图；

根据所述声波曲线图和预先存储的标准音色函数图匹配出用户的标准音色函数；

根据用户的标准音色函数于音色库中匹配出与用户的音色最接近的匹配对象。

优选地，所述根据声波曲线图和预先存储的标准音色函数图匹配出用户的标准音色函数包括：

调节预先存储的标准音色函数图的音色参数以使其与所述声波曲线图重合；

获取调节后的标准音色函数图所对应的标准音色函数，将其作为与所述声波曲线图相匹配的用户的标准音色函数。

优选地，所述根据用户的标准音色函数于音色库中匹配出与用户的音色最接近的匹配对象包括：

获取用户的标准音色函数中的用户的音色参数矩阵；

比较用户的音色参数矩阵与音色库中匹配对象的音色参数矩阵之间的差距；

匹配出与用户的音色参数矩阵差距最小的匹配对象，并将该匹配对象作为与用户的音色最接近的匹配对象。

优选地，所述根据用户的标准音色函数于音色库中匹配出与用户的音色最接近的匹配对象的步骤之后还包括：

向用户推送与用户的音色最接近的匹配对象的歌曲。

优选地，所述根据所述声波曲线图和预先存储的标准音色函数图匹配出用户的标准音色函数之后还包括：

存储用户的标准音色函数或存储用户的标准音色函数中的用户的音色参数矩阵。

本发明同时提出一种音色匹配装置，包括接收模块、存储模块和分析处理模块，其中：

接收模块，用于收集用户的声音，并将收集到的用户的声音转化为声波曲线图后发送给分析处理模块；

存储模块，用于存储标准音色函数图和音色库；

分析处理模块，用于根据所述声波曲线图和存储的标准音色函数图匹配出用户的标准音色函数，再根据用户的标准音色函数于音色库中匹配出与用户的音色最接近的匹配对象。

优选地，所述分析处理模块用于：

获取用户的标准音色函数中的用户的音色参数矩阵；

优选地，所述存储模块用于存储音乐数据库；所述分析处理模块用于查询存储的音乐数据库中或网络云端的音乐数据库中与用户的音色最接近的匹配对象的歌曲，并将所述歌曲推送给用户。

优选地，所述存储模块用于存储用户的标准音色函数或存储用户的标准音色函数中的用户的音色参数矩阵。

本发明所提供的一种音色匹配方法，通过将声音转化为图形，再将图形转化为标准音色函数，实现了将声音转化为数学表达式，从而将音色量化，再对量化的音色进行比较匹配，从而匹配出音色相近的两个对象，当应用于K歌系统时，就可以实现根据用户的声音匹配出与用户的音色最接近的匹配对象即歌手的功能。

附图说明

图1是本发明的音色匹配方法一实施例的流程图；

图2是本发明的音色匹配方法中根据声波曲线图和预先存储的标准音色函数图匹配出用户的标准音色函数的步骤的流程图；

图3 是本发明的音色匹配方法中根据用户的标准音色函数于音色库中匹配出与用户的音色最接近的匹配对象的步骤的流程图；

图4 是本发明的音色匹配装置一实施例的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1-图3，提出本发明的音色匹配方法第一实施例，本实施例以音色匹配方法应用于K歌系统为例，包括以下步骤：

步骤S101、收集用户的声音，并将收集到的声音转化为声波曲线图。

当用户初次使用K歌系统K歌时，需要收集用户的声音来匹配与用户的音色最接近的匹配对象，此处的匹配对象为歌手。用户可以试唱一小段歌曲或者说一句话，录音软件录下用户声音，模数转换器则将用户的声音转化成声波曲线图。

步骤S102、根据声波曲线图和预先存储的标准音色函数图匹配出用户的标准音色函数。

本步骤S102的目的是将声波曲线图转化成数学表达式，以实现对用户音色的量化。

参见图2，图2为本发明的音色匹配方法中根据声波曲线图和预先存储的标准音色函数图匹配出用户的标准音色函数的步骤流程图，具体包括步骤S201和S202。

步骤S201、调节预先存储的标准音色函数图的音色参数以使其与声波曲线图重合。

标准音色函数图所对应的标准音色函数为：

fx=∑(ai *cos(wi*t)+bi*sin(wi*t) ) i=1-20000，

式中（ai,bi）则为函数的音色参数。可以在声波曲线图上选取一个区间（0,x），调节标准音色函数图的参数向量（ai,bi,wi）让两曲线图在（0,x）区间内大致重合；然后微调参数组合向量（ai,wi），（bi,wi）修正水平方向的位移，以达到两曲线图在（0,x）区间内水平方向的完全重合；再微调参数向量（ai,bi）修正竖直方向的位移，以实现两曲线图在（0,x）区间内竖直方向的完全重合，从而完成了两曲线图在（0,x）区间的完全匹配。再选新的区间，重复上述步骤完成两曲线图在该新区间内的完全匹配，直到标准音色函数图与声波曲线图在所有区间内都完全重合。最后可以利用图片比较法或者随机点估算法来判断两曲线图是否完全重合，以图片比较法为例：把声波曲线图和调节后的标准音色函数图输出到同一张图片里，用图片分析技术，分析图片里曲线的条数，如果出现多条，说明曲线没有重合；如果只有一条曲线，说明曲线重合，匹配成功。

步骤S202、获取调节后的标准音色函数图所对应的标准音色函数，将其作为与声波曲线图相匹配的用户的标准音色函数。

当调节后的标准音色函数图与声波曲线图完全重合后，调节后的标准音色函数图所对应的标准音色函数也就是用户的标准音色函数，从而将用户的声音转化为数学表达式，函数中的（ai,bi）即为用户的音色参数，实现了对用户音色的量化，接下来就可以对量化的音色进行比较。

步骤S103、根据用户的标准音色函数于音色库中匹配出与用户的音色最接近的匹配对象。

音色库中预先存储了众多匹配对象如歌手的音色参数，将用户的音色参数分别与各个匹配对象的音色参数进行比较，就可以匹配出与用户的音色最接近的匹配对象。

参见图3，图3 为本发明的音色匹配方法中根据用户的标准音色函数于音色库中匹配出与用户的音色最接近的匹配对象的步骤流程图，具体包括步骤S301，S302和S303。：

步骤S301、获取用户的标准音色函数中的用户的音色参数矩阵。

假设用户的标准音色函数为A_fx=∑ (Ai *cos(wi*t)+Bi*sin(wi*t) )，其中i=1-20000，则用户的音色参数矩阵为：

A_fxA=[A1,A2,A3……,A19999,A20000 ];

A_fxB=[B1,B2,B3……,B19999,B20000 ];

A_fxW=[W1,W2,W3……,W19999,W20000 ];

由于在对用户和匹配对象的音色进行比较时，是针对发出的同一个声音做比较，即标准音色函数中的频率相同，因此A_fxW可忽略，即用户的音色参数矩阵为（A_fxA，A_fxB）。

在步骤S102中根据声波曲线图和预先存储的标准音色函数图匹配出用户的标准音色函数之后，可以将用户的标准音色函数或者其用户的音色参数矩阵与用户相关联并存储起来，当用户再次使用K歌系统时，就可以直接进入步骤S103，利用历史存储的音色参数于音色库中匹配出与用户的音色最接近的匹配对象。

步骤S302、比较用户的音色参数矩阵与音色库中的匹配对象的音色参数矩阵之间的差距。

在标准音色函数fx=∑ (ai *cos(wi*t)+bi*sin(wi*t) )中，如果声音频率和音色参数（ai,bi）确定，曲线图将最终确定，因此比较两个发声对象的音色时，只要他们之间参数矩阵的差距越小，音色就越接近，从而音色的差距就可以量化成参数矩阵之差。音色库中储存了众多匹配对象的音色参数矩阵，假设某匹配对象的音色参数矩阵为(B_fxa，B _fxb)，则用户与该匹配对象的音色差距就可以量化为D=A参数矩阵(A_fxA，A_fxB)-B参数矩阵(B_fxa，B _fxb),具体为：

D_fxa=A_fxA-B_fxa=[(A1-a1),(A2-a2)…,(A19999-a19999),(A20000-a20000)]；

D_fxb=A_fxB-B_fxb=[(B1-b1),(B2-b2)…,(B19999-b19999),(B20000-b20000)]；

由于需要得到的是距离差距，希望得到的是正值，因此可对每项差值取平方，因此可得：

Dfxa=∑(Ai-ai)² (i=1-20000);

Dfxb=∑(Bi-bi)² (i=1-20000);

Dfxa+Dfxb则为用户与匹配对象的音色差距。

步骤S303、匹配出与用户的音色参数矩阵差距最小的匹配对象，并将该匹配对象作为与用户的音色最接近的匹配对象。

如果 Dfxa+Dfxb越大，则说明用户与匹配对象的音色差距大；Dfxa+Dfxb越小，则说明用户与匹配对象的音色差距小。在所有的比较值中，Dfxa+Dfxb最小时所对应的匹配对象与用户的音色就最接近，从而就匹配出与用户音色最接近的匹配对象。可以将该匹配对象的名字呈现给用户，或者通过语音告知用户匹配对象的名字，用户可以自由选择该匹配对象即歌手的歌曲。当然，也可以对比较值进行排序，选出与用户的音色差距在一定范围内的匹配对象，并进行排序后把多个匹配对象的名字呈现给用户，供用户自由选择。可以将匹配出的匹配对象与用户相关联并存储起来，当用户再次使用K歌系统时，就可以直接将与用户音色接近的匹配对象呈现给用户；由于不断有新的匹配对象即歌手诞生，因此用户也可以选择通过历史存储的音色参数重新匹配匹配对象。

步骤S104、向用户推送与用户的音色最接近的匹配对象的歌曲。

当匹配出与用户音色最接近的匹配对象后，还可以主动为用户在音乐数据库中查找该匹配对象即歌手的歌曲，并将查找到的歌曲推送给用户。可以于本地存储的音乐数据库中查找，也可以在网络云端的音乐数据库中查找。

据此，本实施例通过将声音转化为图形，再将图形转化为标准音色函数，实现了将声音转化为数学表达式，从而将音色量化，再对量化的音色进行比较匹配，从而匹配出音色相近的两个对象，当应用于K歌系统时，就可以实现根据用户的声音匹配出与用户的音色最接近的匹配对象即歌手的功能。

本实施例的音色匹配方法也可以应用于其他需要匹配音色的技术领域，上述实施例中提及的用户可以是任何待匹配音色的发声对象。

参见图4，提出本发明的音色匹配装置一实施例，同样以该音色匹配装置100应用于K歌系统为例，所述音色匹配装置100包括接收模块110、存储模块120和分析处理模块130。

当用户首次使用K歌系统时，就需要用户试唱一段歌曲或者说一句话来发出声音，接收模块110通过各种声音输入设备收集用户的声音，并将收集到的用户的声音信号通过模数转换器转化为声波曲线图，再将该声波曲线图发送给分析处理模块130。

存储模块120用于存储标准音色函数图和音色库。标准音色函数图实则是由标准音色函数生成的声波曲线图，所述标准音色函数为：

fx=∑ (ai *cos(wi*t)+bi*sin(wi*t) ) （i=1-20000）；

式中（ai,bi）则为函数的音色参数，调节该音色参数，则标准音色函数图也会相应的改变。音色库中存储了众多匹配对象的音色参数，具体可以是匹配对象的标准音色函数图，但图形占用空间较大，因此最好存储匹配对象的标准音色函数，因数字的占用空间较小。由于决定音色的是标准音色函数中的音色参数，且为了方便后续的比较计算，因此最好是直接存储匹配对象的音色参数矩阵。应用于K歌系统时，匹配对象即歌手。

分析处理模块130接收到声波曲线图后，调用存储模块120中的标准音色函数图，根据所述声波曲线图和存储的标准音色函数图匹配出用户的标准音色函数，再根据用户的标准音色函数于音色库中匹配出与用户的音色最接近的匹配对象。

具体的，分析处理模块130首先调节预先存储的标准音色函数图的音色参数，以使其与用户的声波曲线图重合。分析处理模块130可以在声波曲线图上选取一个区间（0,x），调节标准音色函数图的参数向量（ai,bi,wi）让两曲线图在（0,x）区间内大致重合；然后微调参数组合向量（ai,wi），（bi,wi）修正水平方向的位移，以达到两曲线图在（0,x）区间内水平方向的完全重合；再微调参数向量（ai,bi）修正竖直方向的位移，以实现两曲线图在（0,x）区间内竖直方向的完全重合，从而完成了两曲线图在（0,x）区间的完全匹配。分析处理模块130再选新的区间，重复上述步骤完成两曲线图在该新区间内的完全匹配，直到标准音色函数图与声波曲线图在所有区间内都完全重合。最后分析处理模块130可以利用图片比较法或者随机点估算法来判断两曲线图是否完全重合，以图片比较法为例：把声波曲线图和调节后的标准音色函数图输出到同一张图片里，用图片分析技术，分析图片里曲线的条数，如果出现多条，说明曲线没有重合；如果只有一条曲线，说明曲线重合，匹配成功。

当调节后的标准音色函数图与声波曲线图完全重合后，调节后的标准音色函数图所对应的标准音色函数也就是用户的标准音色函数。因此分析处理模块130获取调节后的标准音色函数图所对应的标准音色函数，将其作为与声波曲线图相匹配的用户的标准音色函数。从而实现将用户的声音转化为数学表达式，函数中的（ai,bi）即为用户的音色参数，实现了对用户音色的量化，接下来就可以对量化的音色进行比较，即分析处理模块130可以根据用户的标准音色函数于音色库中匹配出与用户的音色最接近的匹配对象。

A_fxA=[A1,A2,A3……,A19999,A20000 ];

A_fxB=[B1,B2,B3……,B19999,B20000 ];

A_fxW=[W1,W2,W3……,W19999,W20000 ];

由于在对用户和匹配对象的音色进行比较时，是针对发出的同一个声音做比较，即标准音色函数中的频率相同，因此A_fxW可忽略，从而分析处理模块130可以从标准音色函数中获取用户的音色参数矩阵（A_fxA，A_fxB）。

当分析处理模块130根据声波曲线图和预先存储的标准音色函数图匹配出用户的标准音色函数之后，存储模块120可以将用户的标准音色函数或者其用户的音色参数矩阵与用户相关联并存储起来，当用户再次使用K歌系统时，分析处理模块130就可以直接利用历史存储的音色参数于音色库中匹配出与用户的音色最接近的匹配对象。

在标准音色函数fx=∑(ai *cos(wi*t)+bi*sin(wi*t) )中，如果声音频率和音色参数（ai,bi）确定，曲线图将最终确定，因此比较两个发声对象的音色时，只要他们之间参数矩阵的差距越小，音色就越接近，从而音色的差距就可以量化成参数矩阵之差。因此，分析处理模块130获取用户的音色参数矩阵后，就可以比较用户的音色参数矩阵与音色库中的匹配对象的音色参数矩阵之间的差距。音色库中储存了众多匹配对象的音色参数矩阵，假设某匹配对象的音色参数矩阵为(B_fxa，B _fxb)，则用户与该匹配对象的音色差距就可以量化为D=A参数矩阵(A_fxA，A_fxB)-B参数矩阵(B_fxa，B _fxb),具体为：

D_fxa=A_fxA-B_fxa=[(A1-a1),(A2-a2)…,(A19999-a19999),(A20000-a20000)]；

D_fxb=A_fxB-B_fxb=[(B1-b1),(B2-b2)…,(B19999-b19999),(B20000-b20000)]；

Dfxa=∑(Ai-ai)² (i=1-20000);

Dfxb=∑(Bi-bi)² (i=1-20000);

Dfxa+Dfxb则为用户与匹配对象的音色差距。如果 Dfxa+Dfxb越大，则说明用户与匹配对象的音色差距大；Dfxa+Dfxb越小，则说明用户与匹配对象的音色差距小。在所有的比较值中，Dfxa+Dfxb最小时所对应的匹配对象与用户的音色就最接近，分析处理模块130就选出与用户的音色参数矩阵差距最小的匹配对象的音色参数矩阵，并将该匹配对象的音色参数矩阵所对应的匹配对象作为与用户的音色最接近的匹配对象，从而就匹配出与用户的音色最接近的匹配对象。分析处理模块130可以将该匹配对象的名字呈现给用户，或者通过语音告知用户匹配对象的名字，用户可以自由选择该匹配对象的歌曲。当然，分析处理模块130也可以对比较值进行排序，选出与用户的音色差距在一定范围内的匹配对象，并进行排序后把多个匹配对象的名字呈现给用户，供用户自由选择。

此时，存储模块120可以将匹配出的匹配对象与用户相关联并存储起来，当用户再次使用K歌系统时，分析处理模块130就可以直接将与用户音色接近的匹配对象呈现给用户；由于不断有新的匹配对象即歌手诞生，因此用户也可以选择通过历史存储的音色参数重新匹配匹配对象。

进一步地，存储模块120中还存储有音乐数据库，分析处理模块130匹配出与用户音色最接近的匹配对象后，还可以主动为用户在本地存储的音乐数据库中查找该匹配对象即歌手的歌曲，并将查找到的歌曲推送给用户，当然分析处理模块130也可以在网络云端的音乐数据库中查找。

据此，本实施例的音色匹配装置，通过将声音转化为图形，再将图形转化为标准音色函数，实现了将声音转化为数学表达式，从而将音色量化，再对量化的音色进行比较匹配，匹配出音色相近的两个对象，当应用于K歌系统时，就可以实现根据用户的声音匹配出与用户的音色最接近的匹配对象即歌手的功能。

本实施例的音色匹配装置也可以应用于其他需要匹配音色的技术领域，上述实施例中提及的用户可以是任何待匹配音色的发声对象。

应当理解的是，以上仅为本发明的优选实施例，不能因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种音色匹配方法，其特征在于，包括步骤：

将收集到的用户的声音转化为声波曲线图；

2.根据权利要求1所述的音色匹配方法，其特征在于，所述根据声波曲线图和预先存储的标准音色函数图匹配出用户的标准音色函数包括：

3.根据权利要求1所述的音色匹配方法，其特征在于，所述根据用户的标准音色函数于音色库中匹配出与用户的音色最接近的匹配对象包括：

获取用户的标准音色函数中的用户的音色参数矩阵；

4.根据权利要求1所述的音色匹配方法，其特征在于，所述根据用户的标准音色函数于音色库中匹配出与用户的音色最接近的匹配对象的步骤之后还包括：

向用户推送与用户的音色最接近的匹配对象的歌曲。

5.根据权利要求1-4任一项所述的音色匹配方法，其特征在于，所述根据所述声波曲线图和预先存储的标准音色函数图匹配出用户的标准音色函数之后还包括：

6.一种音色匹配装置，其特征在于，包括接收模块、存储模块和分析处理模块，其中：

存储模块，用于存储标准音色函数图和音色库；

7.根据权利要求6所述的音色匹配装置，其特征在于，所述分析处理模块用于：

8.根据权利要求6所述的音色匹配装置，其特征在于，所述分析处理模块用于：

获取用户的标准音色函数中的用户的音色参数矩阵；

9.根据权利要求6所述的音色匹配装置，其特征在于，所述存储模块用于存储音乐数据库；所述分析处理模块用于查询存储的音乐数据库中或网络云端的音乐数据库中与用户的音色最接近的匹配对象的歌曲，并将所述歌曲推送给用户。

10.根据权利要求6-9任一项所述的音色匹配装置，其特征在于，所述存储模块用于存储用户的标准音色函数或存储用户的标准音色函数中的用户的音色参数矩阵。