CN111202511B - 一种心电数据标注的推荐分发方法及装置 - Google Patents

Abstract

本发明涉及心电信号标注技术领域，公开了一种心电数据标注的推荐分发方法，包括以下步骤：建立心电样本数据集，对心电样本数据集中每一心电样本数据进行标注，得到所有心电样本数据的标准标签数据；根据标准标签数据判断各专家对每一心电样本数据的标注结果是否准确，统计每一专家对于每一种病症类型的标注准确率，得到准确率矩阵；以心电样本数据作为输入数据，以标准标签数据作为输出数据，对神经网络进行训练，得到预测模型；根据预测模型对待标注心电数据进行预测得到其预测病症类型；根据预测病症类型以及准确率矩阵进行专家推荐，将待标注心电数据分发至推荐的专家进行标注。本发明具有心电数据标注投放精准的技术效果。

Description

一种心电数据标注的推荐分发方法及装置

技术领域

本发明涉及心电数据标注技术领域，具体涉及一种心电数据标注的推荐分发方法、装置以及计算机存储介质。

背景技术

人工智能中深度学习的方法建立在对大量的样本数据训练基础上的，数据在深度学习中起着决定性的作用。而被准确标注过的高质量数据才是深度学习所需要的，那些标注错误或者标注不完善的数据如果参与了训练，对算法有害无益。因此，数据的准确标注成为了获取数据后的工作之中的重中之重。心电数据的标注具有工作量大、效率低的特点，这无疑了深度学习方法在智能心电诊断中的应用。

发明内容

本发明的目的在于克服上述技术不足，提供一种心电数据标注的推荐分发方法、装置以及计算机存储介质，解决现有技术中心电数据标注工作量大、效率低的技术问题。

为达到上述技术目的，本发明的技术方案提供一种心电数据标注的推荐分发方法，包括以下步骤：

建立心电样本数据集，对所述心电样本数据集中每一心电样本数据进行标注，得到所有心电样本数据的标准标签数据；

根据所述标准标签数据判断各专家对每一所述心电样本数据的标注结果是否准确，统计每一专家对于每一种病症类型的标注准确率，得到准确率矩阵；

以所述心电样本数据作为输入数据，以所述标准标签数据作为输出数据，对神经网络进行训练，得到预测模型；

根据所述预测模型对待标注心电数据进行预测得到其预测病症类型；

根据所述预测病症类型以及所述准确率矩阵进行专家推荐，将所述待标注心电数据分发至推荐的专家进行标注。

本发明还提供一种心电数据标注的推荐分发装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述心电数据标注的推荐分发方法。

本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述心电数据标注的推荐分发方法。

与现有技术相比，本发明的有益效果包括：本发明基于已经准确标注的心电样本数据，一方面以标注后的心电样本数据作为训练数据进行训练，得到预测模型；另一方面，利用标准标签数据对专家的标注结果进行判断，进而统计专家对于每一种病症类型的标注准确率，得到准确率矩阵。根据预测模型可以预测出待标注心电数据的病症类型，根据准确率矩阵找到判断该种病症类型时准确率高的专家进行标注，从而实现待标注心电数据的精准投放，提高心电数据的标注准确率和标注效率，同时预测模型给出的预测病症类型还可给予一定的参考意义，帮助推荐专家更加快速、准确地进行标注。

附图说明

图1是本发明提供的心电数据标注的推荐分发方法一实施方式的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明的实施例1提供了心电数据标注的推荐分发方法，以下简称本方法，包括以下步骤：

S1、建立心电样本数据集，对所述心电样本数据集中每一心电样本数据进行标注，得到所有心电样本数据的标准标签数据；

S2、根据所述标准标签数据判断各专家对每一所述心电样本数据的标注结果是否准确，统计每一专家对于每一种病症类型的标注准确率，得到准确率矩阵；

S3、以所述心电样本数据作为输入数据，以所述标准标签数据作为输出数据，对神经网络进行训练，得到预测模型；

S4、根据所述预测模型对待标注心电数据进行预测得到其预测病症类型；

S5、根据所述预测病症类型以及所述准确率矩阵进行专家推荐，将所述待标注心电数据分发至推荐的专家进行标注。

本发明实施例首先建立心电样本数据集，对心电样本数据集内心电样本数据进行准确标注，基于已经准确标注的心电样本数据，进行后续待标注心电数据的推荐分发，将待标注心电数据分发至合适的专家处进行标注。具体的，一方面以标注后的心电样本数据作为训练数据进行训练，得到预测模型，利用预测模型预测待标注心电数据的病症类型；另一方面，利用标准标签数据对专家的标注结果进行判断，进而统计专家对于每一种病症类型的标注准确率，得到准确率矩阵。根据准确率矩阵推荐判断待标注心电数据准确率高的专家进行标注，从而实现待标注心电数据的精准推荐投放，由于推荐的专家是根据准确率矩阵进行推荐的，因此可以保证待标注心电数据的标注准确度，同时，不需要将待标注的心电数据发送给所有专家进行标注，从而提高心电数据的标注效率。同时预测模型给出的预测病症类型还可给予一定的参考意义，帮助推荐专家更加快速、准确地进行标注。

本发明实施例提供了一套标注、预测、推荐分发的方法，集成心电数据标注、心电数据诊断、心电数据推荐分发功能，具有可以将心电数据精准投放至相应专家的优点，某些专家擅长的哪几种类型病症的诊断，则更多的推送相应类型的心电数据给该专家进行标注，加快标注进度，提高标注准确率，减轻了专家的工作量。同时，预测模型能够给出一定参考意义的结果利于专家看图标注时参考借鉴。

优选的，建立心电样本数据集，具体为：

确定需要诊断的病症类型的数量，针对每一类病症类型收集同样数量的心电样本数据，得到所述心电样本数据集。

从心电数据库中随机抽取一定量的心电样本数据，该心电样本数据的数据量根据需要诊断的病症类型的数量不同而不同。例如，本优选实施例选取的数据量为1000*N，其中：N为需要诊断的病症类型的数量，如：需要诊断的病症类型只有心室早搏、心动过速、I度房室传导阻滞、早期复极，那么N为4，在标注初始阶段，只需从心电数据库里选取4*1000份心电样本数据建立心电样本数据集。

优选的，对所述心电样本数据进行标注，得到标准标签数据，具体为：

将所述心电样本数据分发给所有专家进行标注，如果所有专家对所述心电数据的标注结果一致，则以标注结果作为所述标准标签数据，如果所有专家对所述心电数据的标注结果不一致，则进行会诊并以会诊结果作为所述标准标签数据。

对心电样本数据进行标注时，同一份心电样本数据会分发给所有的专家进行标注，设定专家编号为：1,2,…,M,每个专家会对分配到的心电样本数据进行诊断，通过标注平台标注出自己的诊断结论。由此可知，同一份心电样本数据会被所有专家标注，最后，对标注后的结果进行专家会诊，会诊的机制为：某一心电样本数据被所有专家标注的结果一致，那么该条心电样本数据对应于该条标注结果；某一心电样本数据被所有专家标注的结果不一致，那么专家会诊后，确定出该条心电样本数据对应的会诊结果，以会诊后的结果为准。

优选的，统计每一专家对于每一类病症的标注准确率，得到准确率矩阵，具体为：

计算每一专家对于每一类病症的F1分数作为所述标注准确率：

F1＝2*(precision*recall)/(precision+recall)

其中，F1为F1分数，即标注准确率，precision为调和平均数，recall为召回率；

根据各专家对各类病症的F1分数，得到所述准确率矩阵：

其中，F为准确率矩阵，F1(i,j)为第i位专家对第j种病症的标注准确率，i＝1,2,…,M，M为专家的数量，j＝1,2,…,N，N为病症类型的数量。

得到标准标签数据后，以标准标签数据作为判断标准，对各专家的标注结果进行判断，判断各专家的标注结果是否正确，判断完后通过数据统计，得到各个专家对各种病症类型的标注准确率。

本优选实施例中以数据统计中常用的判定指标F1score值(即F1分数)作为专家(即心电图医师)对某种类型病症的判断准确程度，为后续的推荐分发做准备。F1score值越大，表示该专家对该类型病症的识别准确程度越高。

优选的，根据所述预测病症类型以及所述准确率矩阵进行专家推荐，具体为：

根据所述准确率矩阵，对判断所述预测病症类型时标注准确率最高的设定数量的专家进行推荐。

根据准确率矩阵将待标注心电数据分发给判断该类型的病症时准确率较高的部分专家进行标注，不用再像建立心电样本数据集那样，每条心电数据分发给所有专家，从而提高标注效率以及准确率。设定数量可以是一个、两个或多个。超过一个以上推荐专家对待标注心电数据进行标注时，如果标注结果不一致，可借鉴建立心电样本数据集时的会诊方法，即如果各推荐专家对待标注心电数据的标注结果不一致，则进行会诊，以会诊结果作为最终的标准标签数据，同时以会诊结果为准对准确率矩阵以及预测模型进行更新。

具体的，设定数量为一个时：预测模型对待标注心电数据进行预测后，预测结果为第二种病症类型，从准确率矩阵中查询得知，第n位专家对第二种病症类型的诊断准确率最高。

即：F1(m,2)＞F1(c,2)，其中，c∈[1,2,…,M]且c≠m；

那么将该条待标注心电数据优先分发给第n位专家。

优选的，将待标注心电数据分发给推荐专家的同时，将待标注心电数据随机分发给除推荐专家以外的其他专家，一方面，每一个专家对于心电数据标注的水平是动态的，因此，在根据经验进行专家推荐的同时，给予其他专家进行标注的机会，以便及时更新准确率矩阵；另一方面避免在前期时，准确率矩阵和预测模型的精度还不够高时，仅根据推荐专家单一的判断可能出现标注错误等情况。

优选的，本方法还包括：根据推荐专家对所述待标注心电数据的标注结果对推荐专家的表述准确率进行更新，从而对所述准确率矩阵进行更新，并将更新后的准确率矩阵用于下一次的专家推荐。

在利用准确率矩阵以及预测模型对待标注心电数据进行推荐分发的同时，根据推荐的专家对待标注心电数据的标注结果对准确率矩阵进行更新，使得准确率矩阵能够能加准确的描述每个专家对不同种类病症类型的标注准确程度，在下一次待标注心电数据的投放中，更加精准的进行专家推荐。

优选的，逐次减少推荐的专家的数量。

随着准确率矩阵以及预测模型的不断更新，准确率矩阵对于各专家的标注准确度的描述越来越准确，预测模型对于待标注心电数据的预测也越来越准确，因此根据准确率矩阵和预测模型推荐的专家可以更加熟练的对待标注心电数据进行标注，各专家分配到的待标注心电数据更加匹配个专家的能力和特长。因此，可以逐渐减少推荐专家的数量，最终能够做到，一条待标注心电数据只需要一个专家进行标注即可，不用重复的分发给多个专家。

优选的，本方法还包括：每一所述待标注心电数据标注完后，将所述待标注心电数据及其标注结果更新至所述心电样本数据集，利用更新后的心电样本数据集对所述神经网络重新进行训练，得到更新后的预测模型，将更新后的预测模型用于下一个待标注心电数据的预测。

根据推荐的专家对待标注心电数据的标注结果不断的更新预测模型参数，使得预测模型学到更加全面的专家经验，同时其预测的预测病症类型更加接近正确的诊断结果，为后续待标注心电数据的推荐分发提供更准确的预测，同时，给予推荐的专家更准确的参考借鉴意见。

实施例2

本发明的实施例2提供了心电数据标注的推荐分发装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现实施例1提供的心电数据标注的推荐分发方法。

本发明实施例提供的心电数据标注的推荐分发装置，用于实现心电数据标注的推荐分发方法，因此，心电数据标注的推荐分发方法所具备的技术效果，心电数据标注的推荐分发装置同样具备，在此不再赘述。

实施例3

本发明的实施例3提供了计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1提供的心电数据标注的推荐分发方法。

本发明实施例提供的计算机存储介质，用于实现心电数据标注的推荐分发方法，因此，心电数据标注的推荐分发方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (9)

1.一种心电数据标注的推荐分发装置，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如下心电数据标注的推荐分发方法：所述心电数据标注的推荐分发方法包括如下步骤：

建立心电样本数据集，对所述心电样本数据集中每一心电样本数据进行标注，得到所有心电样本数据的标准标签数据；

根据所述标准标签数据判断各专家对每一所述心电样本数据的标注结果是否准确，统计每一专家对于每一种病症类型的标注准确率，得到准确率矩阵；

以所述心电样本数据作为输入数据，以所述标准标签数据作为输出数据，对神经网络进行训练，得到预测模型；

根据所述预测模型对待标注心电数据进行预测得到其预测病症类型；

根据所述预测病症类型以及所述准确率矩阵进行专家推荐，将所述待标注心电数据分发至推荐的专家进行标注。

2.根据权利要求1所述的心电数据标注的推荐分发装置，其特征在于，建立心电样本数据集，具体为：

确定需要诊断的病症类型的数量，针对每一类病症类型收集同样数量的心电样本数据，得到所述心电样本数据集。

3.根据权利要求1所述的心电数据标注的推荐分发装置，其特征在于，对所述心电样本数据进行标注，得到标准标签数据，具体为：

将所述心电样本数据分发给所有专家进行标注，如果所有专家对所述心电数据的标注结果一致，则以标注结果作为所述标准标签数据，如果所有专家对所述心电数据的标注结果不一致，则进行会诊并以会诊结果作为所述标准标签数据。

4.根据权利要求3所述的心电数据标注的推荐分发装置，其特征在于，统计每一专家对于每一类病症的标注准确率，得到准确率矩阵，具体为：

计算每一专家对于每一类病症的F1分数作为所述标注准确率：

其中，F1为F1分数，即标注准确率，为调和平均数，为召回率；

根据各专家对各类病症的F1分数，得到所述准确率矩阵：

其中，F为准确率矩阵，为第i位专家对第j种病症的标注准确率，，M为专家的数量，，N为病症类型的数量。

5.根据权利要求1所述的心电数据标注的推荐分发装置，其特征在于，根据所述预测病症类型以及所述准确率矩阵进行专家推荐，具体为：

根据所述准确率矩阵，对判断所述预测病症类型时标注准确率最高的设定数量的专家进行推荐。

6.根据权利要求1所述的心电数据标注的推荐分发装置，其特征在于，还包括：根据推荐专家对所述待标注心电数据的标注结果对推荐专家的表述准确率进行更新，从而对所述准确率矩阵进行更新，并将更新后的准确率矩阵用于下一次的专家推荐。

7.根据权利要求6所述的心电数据标注的推荐分发装置，其特征在于，逐次减少推荐的专家的数量。

8.根据权利要求1所述的心电数据标注的推荐分发装置，其特征在于，还包括：每一所述待标注心电数据标注完后，将所述待标注心电数据及其标注结果更新至所述心电样本数据集，利用更新后的心电样本数据集对所述神经网络重新进行训练，得到更新后的预测模型，将更新后的预测模型用于下一个待标注心电数据的预测。

9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如下心电数据标注的推荐分发方法：所述心电数据标注的推荐分发方法包括如下步骤：

建立心电样本数据集，对所述心电样本数据集中每一心电样本数据进行标注，得到所有心电样本数据的标准标签数据；

根据所述标准标签数据判断各专家对每一所述心电样本数据的标注结果是否准确，统计每一专家对于每一种病症类型的标注准确率，得到准确率矩阵；

以所述心电样本数据作为输入数据，以所述标准标签数据作为输出数据，对神经网络进行训练，得到预测模型；

根据所述预测模型对待标注心电数据进行预测得到其预测病症类型；

根据所述预测病症类型以及所述准确率矩阵进行专家推荐，将所述待标注心电数据分发至推荐的专家进行标注。

Images