CN113593529B - 说话人分离算法的评估方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开提供一种说话人分离算法的评估方法、装置、电子设备和存储介质。该方法的一具体实施方式包括：将样本音频的说话人分离结果与样本音频的预设语音分段结果对齐，得到第一对齐结果，其中，说话人分离结果通过待评估的说话人分离算法得到，第一对齐结果中语音段落的划分方式与预设语音分段结果一致，第一对齐结果中的说话人标签根据说话人分离结果中的预测说话人标签确定；根据第一对齐结果，评估待评估的说话人分离算法的覆盖效果。上述实施方式能够获得合理的说话人分离算法的评估结果。

Description

说话人分离算法的评估方法、装置、电子设备和存储介质

技术领域

本公开的实施例涉及语音识别技术领域，具体涉及说话人分离算法的评估方法、装置、电子设备和存储介质

背景技术

说话人分离(Diarization)算法，是将多人说话的音频按相应说话人进行分段、聚类的算法。通常对于一整段音频，如相声、圆桌派、采访、会议等场景，通常可以通过说话人分离算法，将不同的人区分开来。

现有技术中，通常根据DER(diarization error rate，说话人分离错误率)评估话人分离算法的效果。然而，在生成音频文本(例如生成会议字幕或会议记录)的场景中，DER的评估效果不理想，原因在于：一方面，在DER评估方案中，是将说话人分离结果中的说话人标签与真实标签进行比较，而在生成音频文本的场景中，更关注说话人分离结果中的说话人标签与文本断句后的说话人标签之间的比较。另一方面，在DER评估方案中，会将某些情形(例如Unknown，即说话人分离结果中包含未知说话人；又例如False Alarm，即将非人声判断为人声)认定为错误，而这些情形在生成音频文本的场景中是可接受的。例如，可以以“未知”为标签显示字幕。又例如，ASR(Automatic Speech Recognition，自动语音识别技术)可以将False Alarm中的非人声过滤掉，从而不影响会议文本的最终显示效果。

因此，有必要提出一种新的对文本进行处理的说话人分离算法的评估方法，以解决上述至少一个技术问题。

发明内容

本公开的实施例提出了说话人分离算法的评估方法、装置、电子设备和存储介质。

第一方面，本公开提供了一种说话人分离算法的评估方法，包括：

将样本音频的说话人分离结果与上述样本音频的预设语音分段结果对齐，得到第一对齐结果，其中，上述说话人分离结果通过待评估的说话人分离算法得到，上述第一对齐结果中语音段落的划分方式与上述预设语音分段结果一致，上述第一对齐结果中的说话人标签根据上述说话人分离结果中的预测说话人标签确定；

根据上述第一对齐结果，评估上述待评估的说话人分离算法的覆盖效果。

在一些可选的实施方式中，上述方法还包括：

将上述样本音频的真实说话人信息与上述样本音频的预设语音分段结果对齐，得到第二对齐结果，其中，上述第二对齐结果中语音段落的划分方式与上述预设语音分段结果一致，上述第二对齐结果中的说话人标签根据上述真实说话人信息中的真实说话人标签确定；

根据上述第一对齐结果和上述第二对齐结果，评估上述待评估的说话人分离算法的预测效果。

在一些可选的实施方式中，上述方法还包括：

根据上述第二对齐结果，评估上述预设语音分段结果对应的分段算法的分段效果。

在一些可选的实施方式中，上述根据上述第一对齐结果，评估上述待评估的说话人分离算法的覆盖效果，包括：

根据上述第一对齐结果中每个说话人标签对应的语音段落的段落时长确定上述第一对齐结果对应的预测时长，以及根据上述第一对齐结果中每个语音段落的段落时长确定上述第一对齐结果对应的总时长；

根据上述第一对齐结果对应的上述预测时长和上述总时长，得到上述待评估的说话人分离算法的覆盖率，以衡量上述待评估的说话人分离算法的覆盖效果。

在一些可选的实施方式中，上述根据上述第一对齐结果和上述第二对齐结果，评估上述待评估的说话人分离算法的预测效果，包括：

根据上述第二对齐结果中的说话人标签和上述第一对齐结果中的说话人标签，确定上述第一对齐结果对应的正确预测时长；

根据上述第一对齐结果对应的上述预测时长和上述正确预测时长，得到上述待评估的说话人分离算法的精确度，以衡量上述待评估的说话人分离算法的预测效果。

在一些可选的实施方式中，上述根据上述第二对齐结果，评估上述预设语音分段结果对应的分段算法的分段效果，包括：

对于上述第二对齐结果中每个语音段落，根据该语音段落在上述第二对齐结果中的说话人标签和该语音段落对应的上述真实说话人标签，确定该语音段落的纯净度；

根据上述第二对齐结果中每个语音段落的纯净度，得到上述第二对齐结果的纯净度，以衡量上述预设语音分段结果对应的分段算法的分段效果。

在一些可选的实施方式中，对于上述第二对齐结果中的每个语音段落，该语音段落的说话人标签通过以下方式确定：

根据上述样本音频的真实说话人信息，确定与该语音段落对应的至少一个候选语音段落；

将上述候选语音段落中段落时长最长的语音段落确定为目标语音段落；

根据上述目标语音段落对应的说话人标签，得到该语音段落的说话人标签。

在一些可选的实施方式中，上述样本音频通过以下方式得到：

获取预设音频和上述预设音频对应的来源设备信息；

根据上述来源设备信息，确定上述预设音频对应的语音段落和相应的真实说话人标签，以得到上述样本音频。

在一些可选的实施方式中，上述样本音频为线上会议音频。

第二方面，本公开提供了一种说话人分离算法的评估装置，包括：

第一对齐单元，用于将样本音频的说话人分离结果与上述样本音频的预设语音分段结果对齐，得到第一对齐结果，其中，上述说话人分离结果通过待评估的说话人分离算法得到，上述第一对齐结果中语音段落的划分方式与上述预设语音分段结果一致，上述第一对齐结果中的说话人标签根据上述说话人分离结果中的预测说话人标签确定；

评估单元，用于根据上述第一对齐结果，评估上述待评估的说话人分离算法的覆盖效果。

在一些可选的实施方式中，上述装置还包括：

第二对齐单元，用于将上述样本音频的真实说话人信息与上述样本音频的预设语音分段结果对齐，得到第二对齐结果，其中，上述第二对齐结果中语音段落的划分方式与上述预设语音分段结果一致，上述第二对齐结果中的说话人标签根据上述真实说话人信息中的真实说话人标签确定；以及

上述评估单元还用于根据上述第一对齐结果和上述第二对齐结果，评估上述待评估的说话人分离算法的预测效果。

在一些可选的实施方式中，上述评估单元还用于：

根据上述第二对齐结果，评估上述预设语音分段结果对应的分段算法的分段效果。

在一些可选的实施方式中，上述评估单元还用于：

根据上述第一对齐结果中每个说话人标签对应的语音段落的段落时长确定上述第一对齐结果对应的预测时长，以及根据上述第一对齐结果中每个语音段落的段落时长确定上述第一对齐结果对应的总时长；

根据上述第一对齐结果对应的上述预测时长和上述总时长，得到上述待评估的说话人分离算法的覆盖率，以衡量上述待评估的说话人分离算法的覆盖效果。

在一些可选的实施方式中，上述评估单元还用于：

根据上述第二对齐结果中的说话人标签和上述第一对齐结果中的说话人标签，确定上述第一对齐结果对应的正确预测时长；

根据上述第一对齐结果对应的上述预测时长和上述正确预测时长，得到上述待评估的说话人分离算法的精确度，以衡量上述待评估的说话人分离算法的预测效果。

在一些可选的实施方式中，上述评估单元还用于：

对于上述第二对齐结果中每个语音段落，根据该语音段落在上述第二对齐结果中的说话人标签和该语音段落对应的上述真实说话人标签，确定该语音段落的纯净度；

根据上述第二对齐结果中每个语音段落的纯净度，得到上述第二对齐结果的纯净度，以衡量上述预设语音分段结果对应的分段算法的分段效果。

在一些可选的实施方式中，对于上述第二对齐结果中的每个语音段落，该语音段落的说话人标签通过以下方式确定：

根据上述样本音频的真实说话人信息，确定与该语音段落对应的至少一个候选语音段落；

将上述候选语音段落中段落时长最长的语音段落确定为目标语音段落；

根据上述目标语音段落对应的说话人标签，得到该语音段落的说话人标签。

在一些可选的实施方式中，上述样本音频通过以下方式得到：

获取预设音频和上述预设音频对应的来源设备信息；

根据上述来源设备信息，确定上述预设音频对应的语音段落和相应的真实说话人标签，以得到上述样本音频。

在一些可选的实施方式中，上述样本音频为线上会议音频。

第三方面，本公开提供了一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如本公开第一方面任一实施方式描述的方法。

第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，上述计算机程序被一个或多个处理器执行时实现如本公开第一方面任一实施方式描述的方法。

本公开的实施例提供的说话人分离算法的评估方法、装置、电子设备和存储介质，通过使说话人分离结果的段落划分与预设语音分段结果对齐，可以消除False Alarm的影响(预设语音分段结果中可以将False Alarm的非人声过滤)，从而获得合理的说话人分离算法的评估结果。

此外，通过对齐处理可以使真实说话人信息的段落划分和说话人分离结果的段落划分均与预设语音分段结果一致，进而基于预设语音分段结果对比预测说话人标签和真实说话人标签，更贴合生成会议文本的应用场景，能过获得更加合理的说话人分离算法的评估结果。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图仅用于示出具体实施方式的目的，而并不认为是对本发明的限制。在附图中：

图1是根据本公开的说话人分离算法的评估系统的一个实施例的系统架构图；

图2是根据本公开的说话人分离算法的评估方法的一个实施例的流程图；

图3A是根据本公开的获取第一对齐结果的例子的示意图；

图3B是根据本公开的计算覆盖率的例子的示意图；

图3C是根据本公开的获取第二对齐结果的例子的示意图；

图3D是根据本公开的计算精确度的例子的示意图；

图4是根据本公开的说话人分离算法的评估装置的一个实施例的结构示意图；

图5是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的说话人分离算法的评估方法、装置、终端设备和存储介质的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如语音交互类应用、视频会议类应用、短视频社交类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有麦克风和扬声器的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture E第二对齐结果perts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture E第二对齐结果perts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如进行说话人分离算法的评估)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上采集的音频进行处理的后台服务器。后台服务器可以基于等终端设备采集的音频进行相应处理。

在一些情况下，本公开所提供的说话人分离算法的评估方法可以由终端设备101、102、103和服务器105共同执行，例如，“将样本音频的说话人分离结果与样本音频的预设语音分段结果对齐，得到第一对齐结果”的步骤可以由终端设备101、102、103执行，“根据第一对齐结果，评估待评估的说话人分离算法的覆盖效果”的步骤可以由服务器105执行。本公开对此不做限定。相应地，说话人分离算法的评估装置也可以分别设置于终端设备101、102、103和服务器105中。

在一些情况下，本公开所提供的说话人分离算法的评估方法可以由服务器105执行，相应地，说话人分离算法的评估装置也可以设置于服务器105中，这时，系统架构100也可以不包括终端设备101、102、103。

在一些情况下，本公开所提供的说话人分离算法的评估方法可以由终端设备101、102、103执行，相应地，说话人分离算法的评估装置也可以设置于终端设备101、102、103中，这时，系统架构100也可以不包括服务器105。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，其示出了根据本公开的说话人分离算法的评估方法的一个实施例的流程200，应用于图1中的终端设备或服务器，该流程200包括以下步骤：

步骤201，将样本音频的说话人分离结果与预设语音分段结果对齐，得到第一对齐结果，其中，说话人分离结果通过待评估的说话人分离算法得到，第一对齐结果中语音段落的划分方式与预设语音分段结果一致，第一对齐结果中的说话人标签根据说话人分离结果中的预测说话人标签确定。

在本实施例中，样本音频是用来进行说话人分离算法评估的音频。样本音频例如是线上会议音频、线下会议录音、采访录音、讲座录音等。

在本实施例中，样本音频的说话人分离结果通过待评估的说话人分离算法得到。其中，样本音频的说话人分离结果包括样本音频的预测语音分段结果和相应的预测说话人标签。样本音频的预测语音分段结果包括多个预测语音段落，每个预测语音段落具有相应的预测说话人标签。需要说明的是，本实施例中预测说话人标签可以包括“unknown(即未知)”。

请参见图3A，图3A的上部示出了一个说话人分离结果的例子。在该例子中，样本音频的预测语音分段结果包括3个预测语音段落，其中0s-10s为第一个语音段落，10s-12s为第二个语音段落，12s-20s为第三个语音段落。上述第一个语音段落对应的预测说话人标签为“spk1(即说话人1)”。类似地，上述第二个语音段落和第三个语音段落对应的真实说话人标签依次为“spk2(即说话人2)”和“spk1(即说话人1)”。

在本实施例中，第一对齐结果中语音段落的划分方式与预设语音分段结果一致，第一对齐结果中的说话人标签根据说话人分离结果中的预测说话人标签确定。

请参见图3A，图3A示出了一个获取第一对齐结果的例子。在图3B所示的例子中，样本音频的预测语音分段结果包括0s-10s、10s-12s和12s-20s三个语音段落，相应的预测说话人标签依次为“spk1”、“spk2”和“spk1”。样本音频的预设语音分段结果包括0s-10s和10s-20s两个语音段落。

在该例子中，第一对齐结果的语音段落划分方式与预设语音分段结果一致，即包括0s-10s和10s-20s两个语音段落。

在该例子中，第一对齐结果中的说话人标签根据说话人分离结果中的预测说话人标签确定。在第一对齐结果中，0s-10s语音段落对应于说话人分离结果中0s-10s语音段落，相应的预测说话人标签为“spk1”。这里，可以根据时间占比最高的预测说话人标签确定第一对齐结果中的说话人标签。由于预测说话人标签“spk1”的时间占比最高(为100％)，因此可以将其确定为第一对齐结果中0s-10s语音段落的说话人标签。

类似地，在第一对齐结果中，10s-20s语音段落对应于说话人分离结果中10s-12s和12s-20s两个语音段落，相应的预测说话人标签依次为“spk2”和“spk1”。由于预测说话人标签“spk2”的时间长度为2s，预测说话人标签“spk1”的时间长度为8s，因此可以将时间占比最高的预测说话人标签“spk1”确定为第一对齐结果中10s-20s语音段落的说话人标签。

步骤202，根据第一对齐结果，评估待评估的说话人分离算法的覆盖效果。

说话人分离算法的覆盖效果，例如是说话人分离算法给出的说话人分离结果所覆盖样本音频的范围大小。

在一个例子中，可以基于第一对齐结果确定待评估的说话人分离算法的覆盖率，以衡量待评估的说话人分离算法的覆盖效果，具体包括：

首先，可以根据第一对齐结果中每个说话人标签对应的语音段落的段落时长确定第一对齐结果对应的预测时长，以及根据第一对齐结果中每个语音段落的段落时长确定第一对齐结果对应的总时长。

其次，可以根据第一对齐结果对应的预测时长和总时长，得到待评估的说话人分离算法的覆盖率。

请参见图3B，图3B是根据本公开的计算覆盖率的例子的示意图。在图3B所示的例子中，第一对齐结果包括0s-10s、10s-18s和18s-20s三个语音段落，相应的说话人标签依次为“spk1”、“spk2”和“unknown”。

在计算覆盖率时，首先可以根据非“unknown”的说话人标签确定第一对齐结果对应的预测时长。具体来说，非“unknown”的说话人标签包括“spk1”和“spk2”，相应的时间长度依次为10s和8s，因此第一对齐结果对应的预测时长为18s。此外，还可以根据每个语音段落的段落时长确定第一对齐结果对应的总时长。具体来说，第一对齐结果中0s-10s、10s-18s和18s-20s三个语音段落的时间长度依次为10s、8s和2s，因此第一对齐结果对应的总时长为20s。

其次，可以根据第一对齐结果对应的预测时长和总时长的比值，得到待评估的说话人分离算法的覆盖率。具体来说，第一对齐结果对应的预测时长18s和总时长20s的比值为0.9，因此待评估的说话人分离算法的覆盖率为0.9。

容易理解，覆盖率的数值越大，待评估的说话人分离算法越能够在更长时间上给出预测结果，算法的覆盖效果越好。

在一个例子中，说话人分离算法的评估方法还可以包括以下步骤：，将样本音频的真实说话人信息与样本音频的预设语音分段结果对齐，得到第二对齐结果，其中，第二对齐结果中语音段落的划分方式与预设语音分段结果一致，第二对齐结果中的说话人标签根据真实说话人信息中的真实说话人标签确定。

在本实施例中，样本音频具有相应的真实说话人信息。其中，样本音频的真实说话人信息包括样本音频的真实语音分段结果(即分段信息)和相应的真实说话人标签。样本音频的真实语音分段结果包括多个真实语音段落，每个真实语音段落具有相应的真实说话人标签。

请参见图3C，图3C的上部示出了一个真实说话信息的例子。在该例子中，样本音频的真实语音分段结果包括3个真实语音段落，其中0s-8s为第一个语音段落，8s-10s为第二个语音段落，10s-20s为第三个语音段落。上述第一个语音段落对应的真实说话人标签为“spk1(即说话人1)”。类似地，上述第二个语音段落和第三个语音段落对应的真实说话人标签依次为“spk2(即说话人2)”和“spk1(即说话人1)”。

在本实施例中，样本音频的预设语音分段结果可作为分段的标准。在一个例子中，样本音频的预设语音分段结果可以通过自动语音识别技术(Automatic SpeechRecognition，ASR)得到。上述自动语音识别技术可将语音转换为文本，同时也可以产生相应的语音分段结果。

在本实施例中，第二对齐结果中语音段落的划分方式与预设语音分段结果一致，第二对齐结果中的说话人标签根据真实说话人信息中的真实说话人标签确定。

在一个例子中，对于第二对齐结果中的每个语音段落，该语音段落的说话人标签可以通过以下方式确定：首先，可以根据样本音频的真实说话人信息，确定与该语音段落对应的至少一个候选语音段落。其次，可以将候选语音段落中段落时长最长的语音段落确定为目标语音段落。最后，可以根据目标语音段落对应的说话人标签，得到该语音段落的说话人标签。

请参见图3C，图3C示出了一个获取第二对齐结果的例子。在图3C所示的例子中，样本音频的真实语音分段结果包括0s-8s、8s-10s和10s-20s三个语音段落，相应的真实说话人标签依次为“spk1”、“spk2”和“spk1”。样本音频的预设语音分段结果包括0s-10s和10s-20s两个语音段落。

在该例子中，第二对齐结果的语音段落划分方式与预设语音分段结果一致，即包括0s-10s和10s-20s两个语音段落。

在该例子中，第二对齐结果中的说话人标签可以根据真实说话人信息中的真实说话人标签确定。在第二对齐结果中，0s-10s语音段落对应于真实说话人信息中0s-8s和8s-10s两个语音段落，相应的真实说话人标签依次为“spk1”和“spk2”。这里，可以根据时间占比最高的真实说话人标签确定第二对齐结果中的说话人标签。由于第二对齐结果中0s-10s语音段落对应的真实说话人标签“spk1”的时间长度为8s，对应的真实说话人标签“spk2”的时间长度为2s，因此可以将时间占比最高的真实说话人标签“spk1”确定为第二对齐结果中0s-10s语音段落的说话人标签。

类似地，在第二对齐结果中，10s-20s的语音段落对应于真实说话人信息中10s-20s语音段落，相应的真实说话人标签为“spk1”。容易理解，真实说话人标签“spk1”的时间占比最高(为100％)，因此可将其确定为第二对齐结果中10s-20s语音段落的说话人标签。

上述例子是将时间占比最高的真实说话人标签确定相应的第二对齐结果中的说话人标签。在其他例子中，也可以采用其他方法确定第二对齐结果中的说话人标签，例如将在段落首尾处相同的说话人标签确定为第二对齐结果中的说话人标签，本公开对此不作限定。

在一个例子中，可以基于第二对齐结果和第一对齐结果确定待评估的说话人分离算法的精确度，以衡量待评估的说话人分离算法的预测效果，具体包括：

首先，可以根据第二对齐结果中的说话人标签和第一对齐结果中的说话人标签，确定第一对齐结果对应的正确预测时长。

其次，可以根据第一对齐结果对应的预测时长和正确预测时长，得到待评估的说话人分离算法的精确度，以衡量待评估的说话人分离算法的预测效果。

请参见图3D，图3D是根据本公开的计算精确度的例子的示意图(图3D中的第一对齐结果与图3B中的第一对齐结果相同)。在图3D所示的例子中，第二对齐结果包括0s-10s、10s-18s和18s-20s三个语音段落，相应的说话人标签依次为“spk1”、“spk1”和“spk3”。第一对齐结果包括0s-10s、10s-18s和18s-20s三个语音段落，相应的说话人标签依次为“spk1”、“spk2”和“unknown”。

在计算精确度时，首先可以根据第二对齐结果中的说话人标签和第一对齐结果中的说话人标签，确定第一对齐结果对应的正确预测时长。具体来说，可以以第二对齐结果中的说话人标签为标准，判断第一对齐结果中的说话人标签是否正确。其中，第一对齐结果中0s-10s时间段落的说话人标签为“spk1”，与第二对齐结果中0s-10s时间段落的说话人标签“spk1”一致，因此该部分预测正确。第一对齐结果中10s-18s时间段落的说话人标签为“spk2”，与第二对齐结果中10s-18s时间段落的说话人标签“spk1”不一致，因此该部分预测错误。第一对齐结果中18s-20s时间段落的说话人标签为“unknown”，视为未预测部分，在计算精确度时可以不予考虑。因此，第一对齐结果对应的正确预测时长为10s。

其次，根据第一对齐结果对应的预测时长和正确预测时长，得到待评估的说话人分离算法的精确度。参见针对图3B的描述可知，第一对齐结果对应的预测时长为18s。第一对齐结果对应的正确预测时长10s与第一对齐结果对应的预测时长18s的比值为0.56，因此待评估的说话人分离算法的精确度为0.56。

容易理解，精确度的数值越大，待评估的说话人分离算法的预测结果的正确率越高，算法的预测效果越好。

通过在覆盖率的基础上计算精确度(计算精确度时去除了“unknown”部分)，可以消除“unknown”的影响，更符合生成音频文本场景下的评估需求。

在一个例子中，可以计算第二对齐结果的纯净度，以衡量预设语音分段结果对应的分段算法的分段效果，具体包括：

首先，对于第二对齐结果中每个语音段落，可以根据该语音段落在第二对齐结果中的说话人标签和该语音段落对应的真实说话人标签，确定该语音段落的纯净度。

其次，可以根据第二对齐结果中每个语音段落的纯净度，得到第二对齐结果的纯净度。

在图3C所示的例子中，第二对齐结果中0s-10s语音段落的说话人标签为“spk1”，该语音段落对应的真实说话人标签包括“spk1”和“spk2”，其中真实说话人标签“spk1”的时间长度为8s。因此该语音段落的纯净度为相应的真实说话人标签“spk1”的时间长度8s与该语音段落的时间长度10s的比值，即为0.8。第二对齐结果中10s-20s语音段落的说话人标签为“spk1”，该语音段落对应的真实说话人标签也为“spk1”，因此该语音段落的纯净度为1。在得到第一对齐中每个语音段落的纯净度后，可以以各个语音段落的时长占比为权重计算第二对齐结果的纯净度。具体来说，第二对齐结果中0s-10s语音段落的时间长度为10s，第二对齐结果中各语音段落的总时长为20s，因此第二对齐结果中0s-10s语音段落对应的权重为0.5。类似地，第二对齐结果中10s-20s语音段落对应的权重也为0.5。据此，可以得到第二对齐结果的纯净度为0.8×0.5+1×0.5，即0.9。

容易理解，纯净度的数值越大，预设语音分段结果与真实语音分段结果越接近，相应分段算法的分段效果越好。

本公开的实施例提供的说话人分离算法的评估方法，通过使说话人分离结果的段落划分与预设语音分段结果对齐，可以消除False Alarm的影响(预设语音分段结果中可以将False Alarm的非人声过滤)，从而获得合理的说话人分离算法的评估结果。

此外，通过对齐处理可以使真实说话人信息的段落划分和说话人分离结果的段落划分均与预设语音分段结果一致，进而基于预设语音分段结果对比预测说话人标签和真实说话人标签，更贴合生成会议文本的应用场景，能过获得更加合理的说话人分离算法的评估结果。

上述覆盖率、精确度和纯净度三个指标可以单独使用也可以结合使用。例如，可以先筛选出精确度大于预设阈值(例如0.9)的说话人分离算法，再从中选出覆盖率最大的说话人分离算法，将其作为最佳算法。本公开对此不做限定。

在一个例子中，样本音频可以通过以下方式得到：首先，可以获取预设音频，其中，预设音频具有相应的来源设备信息。其次，可以根据来源设备信息，确定预设音频对应的语音段落和相应的真实说话人标签，以得到样本音频。

举例来说，样本音频可以是会议音频，该会议音频具有相应的来源设备信息，例如会议音频的0s-10s部分对应设备标识1，会议音频的10s-20部分对应设备标识2。据此，可以将会议音频划分为0s-10s和10s-20两个语音段落，并且相应的真实说话人标签依次为“spk1(对应设备标识1)”和“spk2(对应设备标识2)”。通过上述方法，无需人工标注即可得到用于进行说话人分离算法评估的样本音频。

进一步参考图4，作为对上述各图所示方法的实现，本公开提供了一种说话人分离算法的评估装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种终端设备中。

如图4所示，本实施例的说话人分离算法的评估装置400包括：第一对齐单元401和评估单元402。其中，第一对齐单元401，将样本音频的说话人分离结果与样本音频的预设语音分段结果对齐，得到第一对齐结果，其中，说话人分离结果通过待评估的说话人分离算法得到，第一对齐结果中语音段落的划分方式与预设语音分段结果一致，第一对齐结果中的说话人标签根据说话人分离结果中的预测说话人标签确定；评估单元402，用于根据第一对齐结果，评估待评估的说话人分离算法的覆盖效果。

在本实施例中，说话人分离算法的第一对齐单元401和评估单元402的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201和步骤202的相关说明，在此不再赘述。

在一些可选的实施方式中，上述装置可以还包括：第二对齐单元(图中未示出)，用于将上述样本音频的真实说话人信息与上述样本音频的预设语音分段结果对齐，得到第二对齐结果，其中，上述第二对齐结果中语音段落的划分方式与上述预设语音分段结果一致，上述第二对齐结果中的说话人标签根据上述真实说话人信息中的真实说话人标签确定；以及上述评估单元402还可以用于根据上述第一对齐结果和上述第二对齐结果，评估上述待评估的说话人分离算法的预测效果。

在一些可选的实施方式中，上述评估单元402还可以用于：根据上述第二对齐结果，评估上述预设语音分段结果对应的分段算法的分段效果。

在一些可选的实施方式中，上述评估单元402还可以用于：根据上述第一对齐结果中每个说话人标签对应的语音段落的段落时长确定上述第一对齐结果对应的预测时长，以及根据上述第一对齐结果中每个语音段落的段落时长确定上述第一对齐结果对应的总时长；根据上述第一对齐结果对应的上述预测时长和上述总时长，得到上述待评估的说话人分离算法的覆盖率，以衡量上述待评估的说话人分离算法的覆盖效果。

在一些可选的实施方式中，上述评估单元402还可以用于：根据上述第二对齐结果中的说话人标签和上述第一对齐结果中的说话人标签，确定上述第一对齐结果对应的正确预测时长；根据上述第一对齐结果对应的上述预测时长和上述正确预测时长，得到上述待评估的说话人分离算法的精确度，以衡量上述待评估的说话人分离算法的预测效果。

在一些可选的实施方式中，上述评估单元402还可以用于：对于上述第二对齐结果中每个语音段落，根据该语音段落在上述第二对齐结果中的说话人标签和该语音段落对应的上述真实说话人标签，确定该语音段落的纯净度；根据上述第二对齐结果中每个语音段落的纯净度，得到上述第二对齐结果的纯净度，以衡量上述预设语音分段结果对应的分段算法的分段效果。

在一些可选的实施方式中，对于上述第二对齐结果中的每个语音段落，该语音段落的说话人标签可以通过以下方式确定：根据上述样本音频的真实说话人信息，确定与该语音段落对应的至少一个候选语音段落；将上述候选语音段落中段落时长最长的语音段落确定为目标语音段落；根据上述目标语音段落对应的说话人标签，得到该语音段落的说话人标签。

在一些可选的实施方式中，上述样本音频可以通过以下方式得到：获取预设音频和上述预设音频对应的来源设备信息；根据上述来源设备信息，确定上述预设音频对应的语音段落和相应的真实说话人标签，以得到上述样本音频。

在一些可选的实施方式中，上述样本音频可以为线上会议音频。

需要说明的是，本公开的实施例提供的说话人分离算法的评估装置中各单元的实现细节和技术效果可以参考本公开中其它实施例的说明，在此不再赘述。

下面参考图5，其示出了适于用来实现本公开的终端设备的计算机系统500的结构示意图。图5示出的计算机系统500仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有计算机系统500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许计算机系统500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备的计算机系统500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备实现如图2所示的实施例及其可选实施方式示出的说话人分离算法的评估方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，评估单元还可以被描述为“用于评估待评估的说话人分离算法的覆盖效果的单元”。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (11)

1.一种说话人分离算法的评估方法，包括：

将样本音频的说话人分离结果与所述样本音频的预设语音分段结果对齐，得到第一对齐结果，其中，所述说话人分离结果通过待评估的说话人分离算法得到，所述第一对齐结果中语音段落的划分方式与所述预设语音分段结果一致，所述第一对齐结果中的说话人标签根据所述说话人分离结果中的预测说话人标签确定；

根据所述第一对齐结果，评估所述待评估的说话人分离算法的覆盖效果，其中，所述待评估的说话人分离算法的覆盖效果为所述待评估的说话人分离算法输出的所述说话人分离结果覆盖所述样本音频的范围大小。

2.根据权利要求1所述的方法，其中，所述方法还包括：

将所述样本音频的真实说话人信息与所述样本音频的预设语音分段结果对齐，得到第二对齐结果，其中，所述第二对齐结果中语音段落的划分方式与所述预设语音分段结果一致，所述第二对齐结果中的说话人标签根据所述真实说话人信息中的真实说话人标签确定；

根据所述第一对齐结果和所述第二对齐结果，评估所述待评估的说话人分离算法的预测效果；

其中，所述根据所述第一对齐结果和所述第二对齐结果，评估所述待评估的说话人分离算法的预测效果，包括：

根据所述第二对齐结果中的说话人标签和所述第一对齐结果中的说话人标签，确定所述第一对齐结果对应的正确预测时长；

根据所述第一对齐结果对应的所述预测时长和所述正确预测时长，得到所述待评估的说话人分离算法的精确度，评估所述待评估的说话人分离算法的预测效果。

3.根据权利要求2所述的方法，其中，所述方法还包括：

根据所述第二对齐结果，评估所述预设语音分段结果对应的分段算法的分段效果。

4.根据权利要求1所述的方法，其中，所述根据所述第一对齐结果，评估所述待评估的说话人分离算法的覆盖效果，包括：

根据所述第一对齐结果中每个说话人标签对应的语音段落的段落时长确定所述第一对齐结果对应的预测时长，以及根据所述第一对齐结果中每个语音段落的段落时长确定所述第一对齐结果对应的总时长；

根据所述第一对齐结果对应的所述预测时长和所述总时长，得到所述待评估的说话人分离算法的覆盖率，以衡量所述待评估的说话人分离算法的覆盖效果。

5.根据权利要求3所述的方法，其中，所述根据所述第二对齐结果，评估所述预设语音分段结果对应的分段算法的分段效果，包括：

对于所述第二对齐结果中每个语音段落，根据该语音段落在所述第二对齐结果中的说话人标签和该语音段落对应的所述真实说话人标签，确定该语音段落的纯净度，其中，该语音段落的纯净度为所述真实说话人标签的时间长度与该语音段落的时间长度的比值；

根据所述第二对齐结果中每个语音段落的纯净度，得到所述第二对齐结果的纯净度，以衡量所述预设语音分段结果对应的分段算法的分段效果。

6.根据权利要求2所述的方法，其中，对于所述第二对齐结果中的每个语音段落，该语音段落的说话人标签通过以下方式确定：

根据所述样本音频的真实说话人信息，确定与该语音段落对应的至少一个候选语音段落；

将所述候选语音段落中段落时长最长的语音段落确定为目标语音段落；

根据所述目标语音段落对应的说话人标签，得到该语音段落的说话人标签。

7.根据权利要求1-6中任一项所述的方法，其中，所述样本音频通过以下方式得到：

获取预设音频和所述预设音频对应的来源设备信息；

根据所述来源设备信息，确定所述预设音频对应的语音段落和相应的真实说话人标签，以得到所述样本音频。

8.根据权利要求1-6中任一项所述的方法，其中，所述样本音频为线上会议音频。

9.一种说话人分离算法的评估装置，包括：

第一对齐单元，用于将样本音频的说话人分离结果与所述样本音频的预设语音分段结果对齐，得到第一对齐结果，其中，所述说话人分离结果通过待评估的说话人分离算法得到，所述第一对齐结果中语音段落的划分方式与所述预设语音分段结果一致，所述第一对齐结果中的说话人标签根据所述说话人分离结果中的预测说话人标签确定；

评估单元，用于根据所述第一对齐结果，评估所述待评估的说话人分离算法的覆盖效果，其中，所述待评估的说话人分离算法的覆盖效果为所述待评估的说话人分离算法输出的所述说话人分离结果覆盖所述样本音频的范围大小。

10.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-8中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被一个或多个处理器执行时实现如权利要求1-8中任一项所述的方法。