CN116167352A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置、电子设备及存储介质，该方法包括：在接收到待处理文本时，确定与待处理文本相关联的至少一条具有标准化编码的待使用数据；对于各待使用数据，确定待处理文本中至少一个分词词汇与当前待使用数据中所述正向特征字符串和/或逆向特征字符串之间的特征相似度属性；基于各待使用数据所对应的语句相似度以及相应的特征相似度属性，确定各待使用数据的目标相似度；基于各目标相似度，确定待处理文本所对应的目标标准化编码。本实施例的技术方案，实现了将字符重合率、正向特征字符串以及逆向特征字符转相结合，对待处理文本进行识别，确定相应的标准化编码的效果，提高了识别准确率以及数据治理效率。

Description

数据处理方法、装置、电子设备及存储介质

技术领域

本发明涉及数据治理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着信息技术的发展，互联网、云服务、物联网等各种新兴信息技术与医疗行业进行融合，其中，大数据系统的应用更是为健康医疗行业带来了前所未有的技术突破。随着大数据技术的不断发展，数据治理在医疗行业中的地位也越来越重要。

在数据治理过程中，将不同医疗系统中所存储的就诊数据进行整合时，可能会出现对于同一项事件的描述可能多达上千种，如何将不同描述识别为同一事件，对医疗数据治理至关重要。

目前，在对多条就诊数据进行识别时，通常采用相似度算法，确定数据之间的字符重合率，以基于字符重合率，确定这些就诊数据是否相似。然而，仅通过字符重合率进行判断，可能会将字符重合率较高，但是属于不同事件的数据归到一起，从而可能导致数据识别准确率低，进而，影响数据治理效率。

发明内容

本发明提供了一种数据处理方法、装置、电子设备及存储介质，以实现将字符重合率、正向特征字符串以及逆向特征字符转相结合，对未被识别的待处理文本进行处理，以确定待处理文本的标准化编码的效果，提高了识别准确率以及数据治理效率。

根据本发明的一方面，提供了一种数据处理方法，该方法包括：

在接收到待处理文本时，确定与所述待处理文本相关联的至少一条具有标准化编码的待使用数据；其中，各所述待使用数据分别具有不同的标准化编码；所述待使用数据中包括预先设定的至少一个正向特征字符串和/或至少一个逆向特征字符串；

对于各待使用数据，确定所述待处理文本中至少一个分词词汇与当前待使用数据中所述正向特征字符串和/或逆向特征字符串之间的特征相似度属性；

基于各待使用数据所对应的语句相似度以及相应的特征相似度属性，确定各所述待使用数据的目标相似度；其中，所述语句相似度为所述待处理文本与所述待使用数据之间的相似度；

基于各所述目标相似度，确定所述待处理文本所对应的目标标准化编码。

根据本发明的另一方面，提供了一种数据处理装置，该装置包括：

待使用数据确定模块，用于在接收到待处理文本时，确定与所述待处理文本相关联的至少一条具有标准化编码的待使用数据；其中，各所述待使用数据分别具有不同的标准化编码；所述待使用数据中包括预先设定的至少一个正向特征字符串和/或至少一个逆向特征字符串；

特征相似度属性确定模块，用于对于各待使用数据，确定所述待处理文本中至少一个分词词汇与当前待使用数据中所述正向特征字符串和/或逆向特征字符串之间的特征相似度属性；

目标相似度确定模块，用于基于各待使用数据所对应的语句相似度以及相应的特征相似度属性，确定各所述待使用数据的目标相似度；其中，所述语句相似度为所述待处理文本与所述待使用数据之间的相似度；

目标标准化编码确定模块，用于基于各所述目标相似度，确定所述待处理文本所对应的目标标准化编码。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据处理方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据处理方法。

本发明实施例的技术方案，通过在接收到待处理文本时，确定与待处理文本相关联的至少一条具有标准化编码的待使用数据，然后，对于各待使用数据，确定待处理文本中至少一个分词词汇与当前待使用数据中正向特征字符串和/或逆向特征字符串之间的特征相似度属性，进一步的，基于各待使用数据所对应的语句相似度以及相应的特征相似度属性，确定各待使用数据的目标相似度，最后，基于各目标相似度，确定待处理文本所对应的目标标准化编码，解决了仅通过字符重合率进行判断，可能会将字符重合率较高，但是属于不同事件的数据归到一起，从而可能导致数据识别准确率低，进而，影响数据治理效率，实现了将字符重合率、正向特征字符串以及逆向特征字符转相结合，对未被识别的待处理文本进行处理，以确定待处理文本的标准化编码的效果，提高了识别准确率以及数据治理效率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种数据处理方法的流程图；

图2是根据本发明实施例二提供的一种数据处理方法的流程图；

图3是根据本发明实施例三提供的一种数据处理装置的结构示意图；

图4是实现本发明实施例的数据处理方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1是本发明实施例一提供的一种数据处理方法的流程图，本实施例可适用于对于未被识别的待处理文本，基于语句相似度、正向特征字符串和/或逆向特征字符串，确定与待处理文本相对应的目标标准化编码的情况，该方法可以由数据处理装置来执行，该数据处理装置可以采用硬件和/或软件的形式实现，该数据处理装置可配置于终端和/或服务器中。如图1所示，该方法包括：

S110、在接收到待处理文本时，确定与待处理文本相关联的至少一条具有标准化编码的待使用数据。

在本实施例中，待处理文本可以为需要进行处理的文本信息，也可以为未进行标准化处理的文本信息。待处理文本也可以理解为无法仅通过文本信息进行编码分类的文本。示例性的，待处理可以文本可以为“血红细胞”，对于“血红细胞”，数据治理终端无法仅通过这四个字，确定其所对应的编码。标准化编码可以为用于识别相应文本信息的编码。示例性的，红细胞计数的标准化编码为123，白细胞计数的标准化编码为124。待使用数据可以为经过数据治理后，存储在数据治理平台中，并且与待处理文本相关联的数据。在实际应用过程中，数据治理平台中存储着海量的数据，在接收到待处理文本时，为了可以在数据治理平台中快速定位与待处理文本相似度较高的数据，可以首先基于待处理文本，对数据治理平台中的海量数据进行粗略的筛选，得到与待处理文本相关联的数据，此时，可以将这些数据作为待使用数据。

在本实施例中，待使用数据中包括预先设定的至少一个正向特征字符串和/或至少一个逆向特征字符串。其中，正向特征字符串可以为数据中一定含有的特征字符串。相反的，逆向特征字符串可以为数据中一定不含有的特征字符串。示例性的，以待使用数据为血红细胞计数所对应的数据为例，其对应的正向特征字符串可以包括“血”、“红”、“细胞”以及“计数”；其对应的逆向特征字符串可以包括“白”和“尿”等。

在实际应用过程中，在接收到待处理文本时，可以首先基于待处理文本对数据治理平台中所存储的数据进行粗略的筛选，以得到与待处理文本相关联的至少一个待使用数据。

可选的，在接收到待处理文本时，确定与待处理文本相关联的至少一个具有标准化编码的待使用数据，包括：基于待处理文本，以及数据库中每一条具有标准化编码的待应用数据，确定待处理文本与每一条待应用数据中所包括的待应用信息之间的语句相似度；将语句相似度高于预设相似度阈值的至少一条待应用数据作为待使用数据。

在本实施例中，待应用数据可以为经过数据治理后，存储在数据治理平台中的数据库中的数据。相应的，待应用信息可以为与待应用数据中的数据所对应的字段。示例性的，当待应用数据为血红细胞计数的数据时，则待应用信息即为“血红细胞计数”；当待应用数据为血白细胞的数据时，则待应用信息即为“血白细胞”。语句相似度可以为任意两条文本信息之间的字符重合个数与其中一条文本信息的总字符个数之间的比值。预设相似度阈值可以为预先设置的，用于对数据库中所存储的数据进行筛选的阈值。预设相似度阈值可以为任意值，可选的，可以为80%。

在具体实施中，在接收到待处理文本时，可以首先根据预先设置的相似度算法（如，余弦相似度算法或编辑距离算法），对待处理文本以及数据库中每一条具有标准化编码的待应用数据进行处理，对于每一条待应用数据，可以确定待处理文本与当前待应用数据中待应用信息的字符重合个数，然后，确定待处理文本与待应用信息之间字符数量较多的文本，进而，确定字符重合个数与字符较多的文本的总字符数之间的比值，将该比值作为待处理文本与当前待应用数据之间的语句相似度。进一步的，在得到各语句相似度后，可以基于预设相似度阈值对各语句相似度进行筛选，并将语句相似度高于预设相似度阈值的至少一条待应用数据作为与待处理文本相关联的待使用数据。

S120、对于各待使用数据，确定待处理文本中至少一个分词词汇与当前待使用数据中正向特征字符串和/或逆向特征字符串之间的特征相似度属性。

在本实施例中，分词词汇可以为待处理文本中所包括的字符或字符串。示例性的，若待处理文本为“血红细胞”，则分词词汇可以为“血”、“红”以及“细胞”。特征相似度属性可以为用于表征待处理文本与正向特征字符串和/或逆向特征字符串之间的匹配程度的数值。

在实际应用过程中，在基于待处理文本对数据库中每一条待应用数据进行粗略筛选，并得到至少一个待应用数据之后，还可以对这些待应用数据进行再次筛选，以便可以从这些待应用数据中确定出与待处理文本最相近的数据。在对这些待应用数据进行再次筛选时，通过待处理文本中所包括的字符串，确定待处理文本中一定包含的特征，以及一定不包含的特征，进而，可以基于待应用数据中所包括的正向特征字符串和/或逆向特征字符串，确定与待处理文本最接近的数据。

可选的，确定待处理文本中至少一个分词词汇与当前待使用数据中正向特征字符串和/或逆向特征字符串之间的特征相似度属性，包括：对待处理文本进行分词处理，得到与待处理文本相对应的至少一个分词词汇；判断至少一个分词词汇中是否包括至少一个正向特征字符串和/或至少一个逆向特征字符串，并基于判断结果，确定特征相似度属性。

在具体实施中，可以基于预先设置的文本分词算法（如，自然语言处理算法），或者，预先训练完成的神经网络模型，对待处理文本进行分词处理，得到至少一个分词词汇，进一步，对于各待应用数据，判断待处理文本中的至少一个分词词汇中是否存在与正向特征字符串和/或逆向特征字符串相匹配的词汇，进而，基于判断结果，确定待处理文本与当前待应用数据之间的特征相似度属性。

在实际应用过程中，在确定特征相似度属性时，可以通过检测至少一个分词词汇中所包括的正向特征字符串和/或逆向特征字符串的字符串数量，进而，根据字符串数量，确定相应的特征相似度属性。

可选的，判断至少一个分词词汇中是否包括至少一个正向特征字符串和/或至少一个逆向特征字符串，并基于判断结果，确定特征相似度属性，包括：若检测到至少一个分词词汇中包括至少一个正向特征字符串时，确定至少一个分词词汇中所包括的正向特征字符串的数量，基于数量和第一预设相似度参数，确定第一特征相似度属性；或者，若检测到至少一个分词词汇中未包括至少一个逆向特征字符串，确定逆向特征字符串的总数量，基于总数量和第二预设相似度参数，确定第二特征相似度属性；或者，若检测到至少一个分词词汇中包括至少一个逆向特征字符串时，确定至少一个分词词汇中所包括的逆向特征字符串的数量，基于数量和第三预设相似度参数，确定第三特征相似度属性；将第一特征相似度属性、第二特征相似度属性和/或第三特征相似度属性相加，得到特征相似度属性。

在本实施例中，第一预设相似度参数可以为任意参数，可选的，可以为1。第二预设相似度参数可以为任意参数，可选的，可以为1。第三预设相似度参数可以为任意参数，可选的，可以为-1。

在具体实施中，对于各待使用数据，若检测到待处理文本中的至少一个分词词汇与当前待使用数据中所包括的至少一个正向特征字符串相重合，即，至少一个分词词汇中包括至少一个正向特征字符串时，则可以确定分词词汇与正向特征字符串之间的字符串重合数量，进一步的，将该字符串重合数量与第一预设相似度参数相乘，并将该乘积作为第一特征相似度属性。示例性的，若字符串重合数量为2个，且第一预设相似度参数为1，则第一特征相似度属性为2。或者，若检测到待处理文本中的至少一个分词词汇与当前待使用数据中所包括的至少一个逆向特征字符串均不重合，即，至少一个分词词汇中不包括至少一个逆向特征字符串时，则可以确定当前待使用数据中所包括的逆向特征字符串的总数量，进一步的，将该总数量与第二预设相似度参数相乘，并将该乘积作为第二特征相似度属性。示例性的，若当前待使用数据中所包括的逆向特征字符串的总数量为4个，且第二预设相似度参数为1，当检测到待处理文本中至少一个分词词汇中不包括逆向特征字符串时，则其对应的第二特征相似度属性为4。或者，若检测到待处理文本中所包括的至少一个分词词汇与当前待使用数据中所包括的至少一个逆向特征字符串，即，至少一个分词词汇中包括至少一个逆向特征字符串时，则可以确定分词词汇与逆向特征字符串之间的字符串重合数量，进一步的，将该字符串重合数量与第三预设相似度参数相乘，并将该乘积作为第三特征相似度属性。

进一步的，在得到第一特征相似度属性、第二特征相似度属性和/或第三相似度属性之后，可以将第一特征相似度属性、第二特征相似度属性和/或第三相似度属性相加，即可得到待处理文本与当前待使用数据之间的特征相似度属性。

示例性的，若待处理文本为“血红细胞”，其对应的分词词汇可以为“血”、“红”以及“细胞”，同时，当前待使用数据中所包括的正向特征字符串为“血”、“红”、“细胞”以及“计数”，逆向特征字符串为“白”和“尿”时，此时，待处理文本中所包括的分词词汇中包括3个正向特征字符串，不包括逆向特征字符串，则其对应的特征相似度属性为5（分词词汇中所包括的3个正向特征字符串与当前待使用数据中所包括的2个逆向特征字符串相加）。

S130、基于各待使用数据所对应的语句相似度以及相应的特征相似度属性，确定各待使用数据的目标相似度。

在本实施例中，目标相似度可以为语句相似度和特征相似度属性相加之后得到的相似度。

在实际应用过程中，在得到各待使用数据所对应的语句相似度和特征相似度之后，即可基于各语句相似度以及相应的特征相似度属性，确定各待使用数据的目标相似度。

可选的，基于各待使用数据所对应的语句相似度以及相应的特征相似度属性，确定各待使用数据的目标相似度，包括：对于各待使用数据，将当前待使用数据所对应的语句相似度以及相应的特征相似度属性相加，得到与当前待使用数据相对应的目标相似度。

在具体实施中，对于各待使用数据，可以将当前待使用数据所对应的语句相似度以及相应的特征相似度属性相加，即可得到与当前待使用数据所对应的目标相似度。

示例性的，若当前待使用数据所对应的语句相似度为0.85，同时，当前待使用数据所对应的特征相似度属性为4，则与当前待使用数据相对应的目标相似度为4.85。

S140、基于各目标相似度，确定待处理文本所对应的目标标准化编码。

在实际应用过程中，在得到待处理文本与其相关联的每一个待使用数据之间的目标相似度之后，即可对各目标相似度进行筛选，从而可以基于筛选后的结果，确定与待处理文本相对应的目标标准化编码。

可选的，基于各目标相似度，确定待处理文本所对应的目标标准化编码，包括：确定各目标相似度中的最高值，并将最高值所对应的待使用数据的标准化编码，作为目标标准化编码。

在具体实施中，在得到各目标相似度之后，可以从这些目标相似度中筛选出最高值，进而，确定最高值所对应的待使用数据以及该待使用数据所对应的标准化编码，并将该标准化编码作为待处理文本所对应的目标标准化编码。

本发明实施例的技术方案，通过在接收到待处理文本时，确定与待处理文本相关联的至少一条具有标准化编码的待使用数据，然后，对于各待使用数据，确定待处理文本中至少一个分词词汇与当前待使用数据中正向特征字符串和/或逆向特征字符串之间的特征相似度属性，进一步的，基于各待使用数据所对应的语句相似度以及相应的特征相似度属性，确定各待使用数据的目标相似度，最后，基于各目标相似度，确定待处理文本所对应的目标标准化编码，解决了仅通过字符重合率进行判断，可能会将字符重合率较高，但是属于不同事件的数据归到一起，从而可能导致数据识别准确率低，进而，影响数据治理效率，实现了将字符重合率、正向特征字符串以及逆向特征字符转相结合，对未被识别的待处理文本进行处理，以确定待处理文本的标准化编码的效果，提高了识别准确率，进而，降低了人工利用率，提高了数据治理效率。

实施例二

图2是本发明实施例二提供的一种数据处理方法的流程图，在前述实施例的基础上，可以预先确定数据库中所存储的每一待应用数据的正向特征字符串和/或逆向特征字符串，以基于正向特征字符串和/或逆向特征字符串，确定特征相似度属性。其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。

如图2所示，该方法包括：

S210、获取多条原始数据，并按照标准化编码字段将多条原始数据划分为至少一个原始数据组。

在本实施例中，原始数据可以为未确定正向特征字符串和逆向特征字符串的数据。标准化编码字段可以为标准化编码所对应的字段。

在实际应用过程中，在将各个业务系统中所存储的全部原始数据汇总在一起时，由于各个业务系统所对应的管理要求不同，或者，个人表达不同，或者，系统预设词条不同等因素，可能会存在对于同一标准化编码所对应的数据，会有多种不同的描述或表达的情况。示例性的，标准化编码为123的红细胞计数，也可以被描述为：红细胞、血红细胞计数、血清红细胞（计数）、血清红细胞测评定（数）、血清红细胞测评定（个数）。此时，为了可以确定同一标准化编码所对应的原始数据共同具有的特征字段，则可以将这些原始数据按照标准化编码进行划分，将同一标准化编码的原始数据划分为同一组。

在具体实施中，可以从数据库中获取多条原始数据，然后，确定每一条原始数据所对应的标准化编码，进而，将标准化编码字段作为分组标准，将多条原始数据按照标准化编码字段划分为至少一个数据组，此时，可以将这些数据组作为原始数据组。原始数据组与标准化编码相对应，即，每一原始数据组均对应不同的标准化编码。每一原始数据组中包括至少一条原始数据。

S220、对于各原始数据组，对当前原始数据组中所包括的每一条原始数据进行分词处理，确定各分词词汇在当前原始数据组中所对应的累计频次，并基于各累计频次，确定与当前原始数据组相对应的至少一个正向特征字符串。

在本实施例中，累计频次可以为分词词汇在相应原始数据组中被检测到的次数。

在实际应用过程中，对于每一个原始数据组，可以基于预先设置的分词算法或者预先训练好的神经网络模型，对当前原始数据组中的每一条原始数据进行分词处理，得到当前原始数据组中每一条原始数据所对应的分词词汇，进一步的，对这些分词词汇进行统计分析，确定各分词词汇在当前原始数据组中所对应的累计频次，然后，对这些累计频次按照从大到小的顺序进行排序，并基于排序顺序选取预设数量的分词词汇，并将这些分词词汇作为与当前原始数据组相对应的正向特征字符串。可选的，预设数量可以为3，即，可以将排在前三位的分词词汇作为相应原始数据组所对应的正向特征字符串。

需要说明的是，在确定与当前原始数据组相对应的正向特征字符串的同时，还可以确定与当前原始数据组相对应的负向特征字符串，在确定负向特征字符串时，可以通过从其他原始数据组中定位与当前原始数据组中任意一条原始数据最为相近的原始数据，并将该原始数据所对应的分词词汇作为当前原始数据组所对应的逆向特征字符串。

在上述各技术方案的基础上，还包括：针对各原始数据组：基于当前原始数据组中所包括的至少一条原始数据，确定目标原始数据；基于目标原始数据，从区别与当前原始数据组的各原始数据中确定至少一条待处理原始数据；对至少一条待处理原始数据进行分词处理，以基于各分词词汇，确定与当前原始数据组相对应的至少一个负向特征字符串。

在本实施例中，针对各原始数据组，可以首先从当前原始数据组中所包括的至少一条原始数据中任意选取一条原始数据作为目标原始数据，也可以基于用户需求设置筛选条件，以基于筛选条件从至少一个原始数据中确定目标原始数据，本实施例对比不作具体限定。待处理原始数据可以是与目标原始数据之间的语句相似度达到预设相似度阈值的数据。

在实际应用过程中，针对各原始数据组，可以首先从当前原始数据组中的至少一条原始数据中选取一条原始数据，并将这条原始数据作为目标原始数据，然后，根据预先设置的相似度算法，确定目标原始数据与区别于当前原始数据组之外的其他原始数据之间的语句相似度，并将语句相似度超过预设相似度阈值的原始数据作为待处理原始数据，进一步的，对待处理原始数据进行分词处理，得到至少一个分词词汇，并将这些分词词汇作为当前原始数据组所对应的负向特征字符串。

S230、在接收到待处理文本时，确定与待处理文本相关联的至少一条具有标准化编码的待使用数据。

S240、对于各待使用数据，确定待处理文本中至少一个分词词汇与当前待使用数据中所述正向特征字符串和/或逆向特征字符串之间的特征相似度属性。

S250、基于各待使用数据所对应的语句相似度以及相应的特征相似度属性，确定各待使用数据的目标相似度。

S260、基于各目标相似度，确定待处理文本所对应的目标标准化编码。

本发明实施例的技术方案，通过在接收到待处理文本时，确定与待处理文本相关联的至少一条具有标准化编码的待使用数据，然后，对于各待使用数据，确定待处理文本中至少一个分词词汇与当前待使用数据中正向特征字符串和/或逆向特征字符串之间的特征相似度属性，进一步的，基于各待使用数据所对应的语句相似度以及相应的特征相似度属性，确定各待使用数据的目标相似度，最后，基于各目标相似度，确定待处理文本所对应的目标标准化编码，解决了仅通过字符重合率进行判断，可能会将字符重合率较高，但是属于不同事件的数据归到一起，从而可能导致数据识别准确率低，进而，影响数据治理效率，实现了将字符重合率、正向特征字符串以及逆向特征字符转相结合，对未被识别的待处理文本进行处理，以确定待处理文本的标准化编码的效果，提高了识别准确率以及数据治理效率。

实施例三

图3是本发明实施例三提供的一种数据处理装置的结构示意图。如图3所示，该装置包括：待使用数据确定模块310、特征相似度属性确定模块320、目标相似度确定模块330以及目标标准化编码确定模块340。

其中，待使用数据确定模块310，用于在接收到待处理文本时，确定与所述待处理文本相关联的至少一条具有标准化编码的待使用数据；其中，各所述待使用数据分别具有不同的标准化编码；所述待使用数据中包括预先设定的至少一个正向特征字符串和/或至少一个逆向特征字符串；

特征相似度属性确定模块320，用于对于各待使用数据，确定所述待处理文本中至少一个分词词汇与当前待使用数据中所述正向特征字符串和/或逆向特征字符串之间的特征相似度属性；

目标相似度确定模块330，用于基于各待使用数据所对应的语句相似度以及相应的特征相似度属性，确定各所述待使用数据的目标相似度；其中，所述语句相似度为所述待处理文本与所述待使用数据之间的相似度；

目标标准化编码确定模块340，用于基于各所述目标相似度，确定所述待处理文本所对应的目标标准化编码。

本发明实施例的技术方案，通过在接收到待处理文本时，确定与待处理文本相关联的至少一条具有标准化编码的待使用数据，然后，对于各待使用数据，确定待处理文本中至少一个分词词汇与当前待使用数据中正向特征字符串和/或逆向特征字符串之间的特征相似度属性，进一步的，基于各待使用数据所对应的语句相似度以及相应的特征相似度属性，确定各待使用数据的目标相似度，最后，基于各目标相似度，确定待处理文本所对应的目标标准化编码，解决了仅通过字符重合率进行判断，可能会将字符重合率较高，但是属于不同事件的数据归到一起，从而可能导致数据识别准确率低，进而，影响数据治理效率，实现了将字符重合率、正向特征字符串以及逆向特征字符转相结合，对未被识别的待处理文本进行处理，以确定待处理文本的标准化编码的效果，提高了识别准确率，进而，降低了人工利用率，提高了数据治理效率。

可选的，所述装置还包括：原始数据组划分模块和正向特征字符串确定模块。

原始数据组划分模块，用于获取多条原始数据，并按照标准化编码字段将所述多条原始数据划分为至少一个原始数据组；其中，所述原始数据组与所述标准化编码相对应，所述原始数据组中包括至少一条原始数据；

正向特征字符串确定模块，用于对于各所述原始数据组，对当前原始数据组中所包括的至少一条原始数据进行分词处理，确定各分词词汇在所述当前原始数据组中所对应的累计频次，并基于各所述累计频次，确定与所述当前原始数据组相对应的至少一个正向特征字符串。

可选的，所述装置还包括：目标原始数据确定模块、待处理数据确定模块以及负向特征字符串确定模块。

针对各所述原始数据组：

目标原始数据确定模块，用于基于当前原始数据组中所包括的至少一条原始数据，确定目标原始数据；

待处理数据确定模块，用于基于所述目标原始数据，从区别与所述当前原始数据组的各原始数据中确定至少一条待处理原始数据；

负向特征字符串确定模块，用于对所述至少一条待处理原始数据进行分词处理，以基于各分词词汇，确定与所述当前原始数据组相对应的至少一个负向特征字符串。

可选的，待使用数据确定模块310包括：语句相似度确定单元和待使用数据确定单元。

语句相似度确定单元，用于基于所述待处理文本，以及数据库中每一条具有标准化编码的待应用数据，确定所述待处理文本与每一条待应用数据中所包括的待应用信息之间的语句相似度；

待使用数据确定单元，用于将所述语句相似度高于预设相似度阈值的至少一条待应用数据作为所述待使用数据。

可选的，特征相似度属性确定模块320包括：分词处理子模块和特征相似度属性确定子模块。

分词处理子模块，用于对所述待处理文本进行分词处理，得到与所述待处理文本相对应的至少一个分词词汇；

特征相似度属性确定子模块，用于判断所述至少一个分词词汇中是否包括所述至少一个正向特征字符串和/或至少一个逆向特征字符串，并基于判断结果，确定所述特征相似度属性。

可选的，特征相似度属性确定子模块包括：第一特征相似度属性确定单元、第二特征相似度属性确定单元、第三特征相似度属性确定单元以及特征相似度属性确定单元。

第一特征相似度属性确定单元，用于若检测到所述至少一个分词词汇中包括至少一个正向特征字符串时，确定所述至少一个分词词汇中所包括的正向特征字符串的数量，基于所述数量和第一预设相似度参数，确定第一特征相似度属性；或者，

第二特征相似度属性确定单元，用于若检测到所述至少一个分词词汇中未包括至少一个逆向特征字符串，确定所述逆向特征字符串的总数量，基于所述总数量和第二预设相似度参数，确定第二特征相似度属性；或者，

第三特征相似度属性确定单元，用于若检测到所述至少一个分词词汇中包括至少一个逆向特征字符串时，确定所述至少一个分词词汇中所包括的逆向特征字符串的数量，基于所述数量和第三预设相似度参数，确定第三特征相似度属性；

特征相似度属性确定单元，用于将所述第一特征相似度属性、第二特征相似度属性和/或第三特征相似度属性相加，得到所述特征相似度属性。

可选的，目标相似度确定模块330，具体用于对于各所述待使用数据，将当前待使用数据所对应的语句相似度以及相应的特征相似度属性相加，得到与所述当前待使用数据相对应的目标相似度。

可选的，目标标准化编码确定模块340，具体用于确定各所述目标相似度中的最高值，并将所述最高值所对应的待使用数据的标准化编码，作为所述目标标准化编码。

本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据处理方法。

在一些实施例中，数据处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种数据处理方法，其特征在于，包括：

在接收到待处理文本时，确定与所述待处理文本相关联的至少一条具有标准化编码的待使用数据；其中，各所述待使用数据分别具有不同的标准化编码；所述待使用数据中包括预先设定的至少一个正向特征字符串和/或至少一个逆向特征字符串；

对于各待使用数据，确定所述待处理文本中至少一个分词词汇与当前待使用数据中所述正向特征字符串和/或逆向特征字符串之间的特征相似度属性；

基于各待使用数据所对应的语句相似度以及相应的特征相似度属性，确定各所述待使用数据的目标相似度；其中，所述语句相似度为所述待处理文本与所述待使用数据之间的相似度；

基于各所述目标相似度，确定所述待处理文本所对应的目标标准化编码。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取多条原始数据，并按照标准化编码字段将所述多条原始数据划分为至少一个原始数据组；其中，所述原始数据组与所述标准化编码相对应，所述原始数据组中包括至少一条原始数据；

对于各所述原始数据组，对当前原始数据组中所包括的每一条原始数据进行分词处理，确定各分词词汇在所述当前原始数据组中所对应的累计频次，并基于各所述累计频次，确定与所述当前原始数据组相对应的至少一个正向特征字符串。

3.根据权利要求2所述的方法，其特征在于，还包括：

针对各所述原始数据组：

基于当前原始数据组中所包括的至少一条原始数据，确定目标原始数据；

基于所述目标原始数据，从区别与所述当前原始数据组的各原始数据中确定至少一条待处理原始数据；

对所述至少一条待处理原始数据进行分词处理，以基于各分词词汇，确定与所述当前原始数据组相对应的至少一个负向特征字符串。

4.根据权利要求1所述的方法，其特征在于，所述在接收到待处理文本时，确定与所述待处理文本相关联的至少一个具有标准化编码的待使用数据，包括：

基于所述待处理文本，以及数据库中每一条具有标准化编码的待应用数据，确定所述待处理文本与每一条待应用数据中所包括的待应用信息之间的语句相似度；

将所述语句相似度高于预设相似度阈值的至少一条待应用数据作为所述待使用数据。

5.根据权利要求1所述的方法，其特征在于，所述确定所述待处理文本中至少一个分词词汇与当前待使用数据中所述正向特征字符串和/或逆向特征字符串之间的特征相似度属性，包括：

对所述待处理文本进行分词处理，得到与所述待处理文本相对应的至少一个分词词汇；

判断所述至少一个分词词汇中是否包括所述至少一个正向特征字符串和/或至少一个逆向特征字符串，并基于判断结果，确定所述特征相似度属性。

6.根据权利要求5所述的方法，其特征在于，所述判断所述至少一个分词词汇中是否包括所述至少一个正向特征字符串和/或至少一个逆向特征字符串，并基于判断结果，确定所述特征相似度属性，包括：

若检测到所述至少一个分词词汇中包括至少一个正向特征字符串时，确定所述至少一个分词词汇中所包括的正向特征字符串的数量，基于所述数量和第一预设相似度参数，确定第一特征相似度属性；或者，

若检测到所述至少一个分词词汇中未包括至少一个逆向特征字符串，确定所述逆向特征字符串的总数量，基于所述总数量和第二预设相似度参数，确定第二特征相似度属性；或者，

若检测到所述至少一个分词词汇中包括至少一个逆向特征字符串时，确定所述至少一个分词词汇中所包括的逆向特征字符串的数量，基于所述数量和第三预设相似度参数，确定第三特征相似度属性；

将所述第一特征相似度属性、第二特征相似度属性和/或第三特征相似度属性相加，得到所述特征相似度属性。

7.根据权利要求1所述的方法，其特征在于，所述基于各待使用数据所对应的语句相似度以及相应的特征相似度属性，确定各所述待使用数据的目标相似度，包括：

对于各所述待使用数据，将当前待使用数据所对应的语句相似度以及相应的特征相似度属性相加，得到与所述当前待使用数据相对应的目标相似度。

8.根据权利要求1所述的方法，其特征在于，所述基于各所述目标相似度，确定所述待处理文本所对应的目标标准化编码，包括：

确定各所述目标相似度中的最高值，并将所述最高值所对应的待使用数据的标准化编码，作为所述目标标准化编码。

9.一种数据处理装置，其特征在于，包括：

待使用数据确定模块，用于在接收到待处理文本时，确定与所述待处理文本相关联的至少一条具有标准化编码的待使用数据；其中，各所述待使用数据分别具有不同的标准化编码；所述待使用数据中包括预先设定的至少一个正向特征字符串和/或至少一个逆向特征字符串；

特征相似度属性确定模块，用于对于各待使用数据，确定所述待处理文本中至少一个分词词汇与当前待使用数据中所述正向特征字符串和/或逆向特征字符串之间的特征相似度属性；

目标相似度确定模块，用于基于各待使用数据所对应的语句相似度以及相应的特征相似度属性，确定各所述待使用数据的目标相似度；其中，所述语句相似度为所述待处理文本与所述待使用数据之间的相似度；

目标标准化编码确定模块，用于基于各所述目标相似度，确定所述待处理文本所对应的目标标准化编码。

10.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的数据处理方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的数据处理方法。

Images