CN114328948A - 文本标准化模型的训练方法、文本标准化方法及装置 - Google Patents

Abstract

本申请提供了一种文本标准化模型的训练方法、文本标准化方法及装置，属于人工智能技术领域。所述方法包括：获取标准词汇集，所述标准词汇集包括多个标准词汇；基于所述标准词汇集中各标准词汇之间的相似程度，确定多个样本三元组，所述样本三元组包括中心样本词汇以及所述中心样本词汇关联的正样本词汇和负样本词汇；基于所述多个样本三元组，对文本标准化模型进行训练，所述文本标准化模型用于确定输入词汇之间的相似程度。上述技术方案，通过在训练模型时使用标准词汇集，使得不需要使用人工标注数据即可进行模型训练，从而实现了训练数据与细分领域下的人工标注数据的解耦，降低了训练成本，且具有广泛的适用性不受领域的局限。

Description

文本标准化模型的训练方法、文本标准化方法及装置

技术领域

本申请涉及人工智能技术领域，特别涉及一种文本标准化模型的训练方法、文本标准化方法及装置。

背景技术

在医疗领域中，随着人工智能技术的飞速发展，使得医疗信息化的进程不断加快。其中，诊断文本标准化是医疗信息化过程中的一项重要技术能力，同时也是医疗人工智能的重要基石。

目前，基于文本信息匹配或者深度学习的文本标准化方案已经取得了一定的效果。如通过模型提取诊断文本的多种字面特征，来建模非标准词汇到标准词汇的概率分布，从而实现对诊断文本的标准化。其中，字面特征包括分词特征、词性特征、字符特征、上下文特征以及术语特征等。

然而，由于医疗领域较为庞大，能够被划分为多个细分的领域，目前的文本标准化方案需要在不同细分领域下使用大量的人工标注数据分别进行模型训练，才能得到对应各细分领域的模型，并且人工标注数据的获取成本较高，导致目前的文本标准化方案的训练成本高，具有局限性。

发明内容

本申请实施例提供了一种文本标准化模型的训练方法、文本标准化方法及装置，实现了训练数据与细分领域下的人工标注数据的解耦，降低了训练成本，且具有广泛的适用性不受领域的局限。所述技术方案如下：

一方面，提供了一种文本标准化模型的训练方法，所述方法包括：

获取标准词汇集，所述标准词汇集包括多个标准词汇；

基于所述标准词汇集中各标准词汇之间的相似程度，确定多个样本三元组，所述样本三元组包括中心样本词汇以及所述中心样本词汇关联的正样本词汇和负样本词汇；

基于所述多个样本三元组，对文本标准化模型进行训练，所述文本标准化模型用于确定输入词汇之间的相似程度。

另一方面，提供了一种文本标准化方法，所述方法包括：

从待处理的目标文本中，获取待标准化的多个目标词汇；

基于文本标准化模型和标准词汇集对所述多个目标词汇进行标准化，得到所述多个目标词汇对应的多个标准词汇，所述文本标准化模型基于标准数据集训练得到，用于确定输入词汇之间的相似程度。

另一方面，提供了一种文本标准化模型的训练装置，所述装置包括：

词汇集获取模块，用于获取标准词汇集，所述标准词汇集包括多个标准词汇；

三元组确定模块，用于基于所述标准词汇集中各标准词汇之间的相似程度，确定多个样本三元组，所述样本三元组包括中心样本词汇以及所述中心样本词汇关联的正样本词汇和负样本词汇；

模型训练模块，用于基于所述多个样本三元组，对文本标准化模型进行训练，所述文本标准化模型用于确定输入词汇之间的相似程度。

在一些实施例中，所述三元组确定模块，包括：

采样单元，用于对于所述标准词汇集中的任一标准词汇，基于所述标准词汇与所述标准词汇集中其他标准词汇之间的相似程度进行随机正负样本采样，得到多个正样本词汇和多个负样本词汇；

组合单元，用于以所述标准词汇为中心样本词汇，将所述多个正样本词汇与所述多个负样本词汇分别组合，得到所述标准词汇对应的多个样本三元组。

在一些实施例中，所述采样单元，用于从所述标准词汇集中获取多个第一词汇和多个第二词汇，所述第一词汇为与所述标准词汇具有同义等价关系的词汇，所述第二词汇为与所述标准词汇不具有同义等价关系的词汇；基于所述多个第一词汇与所述标准词汇之间的相似程度，从所述多个第一词汇中，获取相似程度最低的所述多个正样本词汇；基于所述多个第二词汇与所述标准词汇之间的相似程度，从所述多个第二词汇中，获取相似程度最低的所述多个负样本词汇。

在一些实施例中，所述采样单元，用于将所述标准词汇集划分为至少一个批次；从所述标准词汇所属的批次中，获取所述多个第一词汇和所述多个第二词汇。

在一些实施例中，所述模型训练模块，包括：

相似度确定单元，用于对于所述多个样本三元组中的任一样本三元组，基于第i轮迭代的文本标准化模型，确定所述样本三元组对应的第一相似度和第二相似度，所述第一相似度用于表示所述样本三元组中的正样本词汇和中心样本词汇之间的相似程度，所述第二相似度用于表示所述样本三元组中的负样本词汇和中心样本词汇之间的相似程度，i为正整数；

损失确定单元，用于基于所述第一相似度和所述第二相似度，确定所述第i轮迭代的训练损失；

调整单元，用于基于所述第i轮迭代的训练损失，调整所述第i轮迭代的文本标准化模型的模型参数。

在一些实施例中，所述相似度确定单元，用于对所述样本三元组中的正样本词汇、中心样本词汇以及负样本词汇分别进行编码，得到正样本向量、中心样本向量以及负样本向量；基于所述正样本向量和所述中心样本向量，确定所述第一相似度；基于所述中心样本向量和所述负样本向量，确定所述第二相似度。

另一方面，提供了一种文本标准化装置，所述装置包括：

词汇获取模块，用于从待处理的目标文本中，获取待标准化的多个目标词汇；

标准化模块，用于基于文本标准化模型和标准词汇集对所述多个目标词汇进行标准化，得到所述多个目标词汇对应的多个标准词汇，所述文本标准化模型基于标准数据集训练得到，用于确定输入词汇之间的相似程度。

在一些实施例中，所述装置包括：

词汇集获取模块，用于获取标注词汇集，所述标注词汇集中包括多个标注词汇之间的等价映射关系；

所述标准化模块，还用于基于所述文本标准化模型对所述多个标注词汇进行标准化，得到所述多个标注词汇对应的多个标准词汇；

所述标准化模块，还用于对于任一目标词汇，在所述目标词汇与任一标注词汇具有所述等价映射关系的情况下，将所述目标词汇标准化为与所述标注词汇对应的标准词汇。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行以实现本申请实施例中的文本标准化模型的训练方法，或者，所述至少一段计算机程序由所述处理器加载并执行以实现本申请实施例中的文本标准化方法。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段计算机程序，所述至少一段计算机程序由处理器加载并执行以实现如本申请实施例中文本标准化模型的训练方法，或者，所述至少一段计算机程序由处理器加载并执行以实现如本申请实施例中文本标准化方法。

另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述各个方面的各种可选实现方式中提供的文本标准化模型的训练方法。

本申请实施例提供了一种文本标准化模型的训练方案，通过在训练模型时使用标准词汇集，使得不需要使用人工标注数据即可进行模型训练，从而实现了训练数据与细分领域下的人工标注数据的解耦，降低了训练成本，且具有广泛的适用性不受领域的局限。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例提供的一种文本标准化模型的训练方法的实施环境示意图；

图2是根据本申请实施例提供的一种文本标准化模型的训练方法的流程图；

图3是根据本申请实施例提供的一种文本标准化方法的流程图；

图4是根据本申请实施例提供的一种文本标准化方法的交互流程图；

图5是根据本申请实施例提供的一种文本标准化模型的架构示意图；

图6是根据本申请实施例提供的一种文本标准化界面的示意图；

图7是根据本申请实施例提供的一种文本标准化模型的训练装置的框图；

图8是根据本申请实施例提供的另一种文本标准化模型的训练装置的框图；

图9是根据本申请实施例提供的一种文本标准化装置的框图；

图10是根据本申请实施例提供的另一种文本标准化装置的框图；

图11是根据本申请实施例提供的一种终端的结构框图；

图12是根据本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。

本申请中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上。

需要说明的是，在本申请的实施方式中所涉及到诊断文本等相关数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

以下，对本申请涉及的术语进行解释。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。本申请实施例涉及自然语言处理技术和机器学习。

随着人工智能技术的研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。本申请实施例涉及人工智能技术在智能医疗领域的应用。

自然语言处理(Nature Language Processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

ICD-10(International Classification of Diseases 10，国际疾病伤害及死因分类标准第十版)是世界卫生组织依据疾病的某些特征，按照规则将疾病分门别类，并用编码的方式来表示的系统，现有版本包括15.5万种代码，并记录多种新型诊断及预测。

三元组(triplet)，即<中心样本，正样本，负样本>组成的三元组，与知识谱图中的三元组不同。

同义等价关系，两个不同的词语具有相同的含义、能够互相替换时，具有同义等价关系。

孪生神经网络(Siamese neural network)，又名双生神经网络、孪生网络，是基于两个人工神经网络建立的耦合构架。孪生神经网络以两个样本为输入，输出其嵌入高维度空间的表征，以比较两个样本的相似程度。

余弦相似度(Cosine Similarity)，又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值，绘制到向量空间中，如最常见的二维空间。

自然对数(Natural logarithm)，是以常数e为底数的对数，记作lnN(N>0)。

以下介绍本申请实施例的实施环境。本申请实施例提供的文本标准化模型的训练方法，能够由计算机设备执行。在一些实施例中，该计算机设备为终端或服务器。下面以计算机设备为服务器为例，介绍一下本申请实施例提供的文本标准化模型的训练方法的实施环境，图1是根据本申请实施例提供的一种文本标准化模型的训练方法的实施环境示意图。参见图1所示，该实施环境包括终端101和服务器102。

终端101和服务器102能够通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

在一些实施例中，终端101是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端101安装和运行有支持文本标准化的应用程序，如医疗信息录入程序、在线问诊程序以及投诉信息录入程序等。本领域技术人员可以知晓，上述终端101的数量可以更多或更少。比如上述终端可以为一个，或者上述终端为几十个或几百个，或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。

在一些实施例中，服务器102是独立的物理服务器，也能够是多个物理服务器构成的服务器集群或者分布式系统，还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102用于为支持文本标准化的应用程序提供后台服务。在一些实施例中，服务器102承担主要计算工作，终端101承担次要计算工作；或者，服务器102承担次要计算工作，终端101承担主要计算工作；或者，服务器102和终端101二者之间采用分布式计算架构进行协同计算。

在该实施环境中，终端101能够执行本申请实施例提供的文本标准化方法。终端101从服务器102获取已训练完毕的文本标准化模型，终端基于显示的文本标准化界面来获取待标准化的目标文本，然后基于该文本标准化模型对该目标文本中的目标词汇进行标准化，得到标准词汇。

图2是根据本申请实施例提供的一种文本标准化模型的训练方法的流程图，如图2所示，在本申请实施例中以由服务器执行为例进行说明。该文本标准化模型的训练方法包括以下步骤：

201、获取标准词汇集，该标准词汇集包括多个标准词汇。

在本申请实施例中，不同领域具有不同的标准体系，如ICD-10是医疗领域的标准体系，ISO9001是生产领域的质量管理体系等，本申请实施例对标准体系不进行限制。本申请实施例以医疗领域为例，服务器能够获取由医疗领域标准体系中的标准词汇构成的标准词汇集。

202、基于标准词汇集中各标准词汇之间的相似程度，确定多个样本三元组，该样本三元组包括中心样本词汇以及中心样本词汇关联的正样本词汇和负样本词汇。

在本申请实施例中，对于标准词汇集中的任一标准词汇，该标准词汇可以与标准词汇集中的其他标准词汇具有同义等价关系，也即两个标准词汇在标准体系内部是相互等价的。具有同义等价关系的标准词汇之间的相似程度较高，而不具有同义等价关系的标准词汇之间的相似程度较低，基于标准词汇之间的相似程度能够对标准词汇集进行正负样本采样，基于采样结果来生成多个样本三元组。其中，样本三元组中的正样本词汇和中心样本词汇之间具有同义等价关系，样本三元组中的负样本词汇和中心样本词汇之间不具有同义等价关系。

203、基于多个样本三元组，对文本标准化模型进行训练，文本标准化模型用于确定输入词汇之间的相似程度。

在本申请实施例中，基于样本三元组中正样本词汇、负样本词汇以及中心样本词汇之间的相似程度，以正样本词汇与中心样本词汇之间的相似程度大于负样本词汇与中心样本词汇之间的相似程度为训练目标，训练文本标准化模型，使得该文本标准化模型能够确定输入词汇之间的相似程度。

本申请实施例提供的一种文本标准化模型的训练方案，通过在训练模型时使用标准词汇集，使得不需要使用人工标注数据即可进行模型训练，从而实现了训练数据与细分领域下的人工标注数据的解耦，降低了训练成本，且具有广泛的适用性不受领域的局限。

图3是根据本申请实施例提供的一种文本标准化方法的流程图，如图3所示，在本申请实施例中以由终端执行为例进行说明。该文本标准化方法包括以下步骤：

301、从待处理的目标文本中，获取待标准化的多个目标词汇。

在本申请实施例中，该待处理的目标文本为待标准化的文本，如门诊诊断文本、在线问诊文本、投诉文本以及建筑工程文本等不同领域的文本。终端能够从该目标文本中，提取出待标准化的多个目标词汇。

302、基于文本标准化模型和标准词汇集对多个目标词汇进行标准化，得到该多个目标词汇对应的多个标准词汇。

在本申请实施例中，该文本标准化模型为基于图2所示的文本标准化模型的训练方法所训练得到的模型，也即该文本标准化模型基于标准数据集训练得到，用于确定输入词汇之间的相似程度。通过将待标准化的目标词汇输入该文本标准化模型，以对应领域的标准词汇为文本标准化模型的候选集，即可根据该目标词汇与标准词汇之间的相似程度，确定该目标词汇对应的标准词汇。

本申请实施例提供了一种文本标准化方案，通过在对文本进行标准化时，使用基于标准词汇集训练得到的文本标准化模型，从而实现了以较低的训练成本训练得到具有广泛的适用性的文本标准化模型，从而能够高效的对不同领域的文本进行标准化的处理，提高文本标准化的处理效率。

图2和图3示例性的示出了本申请实施例提供的文本标准化模型的训练方法和文本标准化方法的主要流程。下面基于医疗诊断场景来对上述文本标准化模型的训练方法和文本标准化方法进行进一步的描述。在医疗诊断场景中，待标准化的文本包括社区医院的门诊诊断文本和大型医院的入院诊断文本等，以标准化体系为ICD-10为例进行说明。图4是根据本申请实施例提供的一种文本标准化方法的交互流程图，如图4所示，在本申请实施例中以由终端和服务器交互实现为例进行说明。该方法包括以下步骤：

401、服务器获取标准词汇集，该标准词汇集包括多个标准词汇。

在本申请实施例中，该标准词汇集可以由服务器基于标准体系构建，也可以由服务器直接获取已构建完毕的标准词汇集，本申请实施例对此不进行限制。

需要说明的是，本申请实施例在进行模型训练时不使用标准词汇集以外的数据集进行模型训练，以将标准化任务和领域的标注数据集进行解耦。在一些实施例中，通过在标准词汇集的基础上增加医疗领域的标注数据集，能够提升文本标准化模型的性能，也即通过平衡训练成本和模型性能之间的矛盾关系，能够在可接收的成本范围内，最大化的提高模型的性能，本申请实施例对此不进行限制。

402、对于标准词汇集中的任一标准词汇，服务器基于该标准词汇与标准词汇集中其他标准词汇之间的相似程度进行随机正负样本采样，得到多个正样本词汇和多个负样本词汇。

在本申请实施例中，不同于在训练之前预先构建负样本的方式，本申请采用在线三元组挖掘策略(online triplet mining)，在训练过程中进行随机的正负样本采样，基于采样结果来生成三元组，以得到困难的正样本词汇和困难的负样本词汇。

在一些实施例中，对于任一标准词汇，服务器能够从与该标准词汇具有同义等价关系的标准词汇中，获取正样本词汇；从与该标准词汇不具有同义等价关系的标准词汇中，获取负样本词汇。服务器基于标准词汇与标准词汇集中其他标准词汇之间的相似程度进行随机正负样本采样，得到多个正样本词汇和多个负样本词汇，包括：首先，服务器从标准词汇集中获取多个第一词汇和多个第二词汇。其中，该第一词汇为与标准词汇具有同义等价关系的词汇，该第二词汇为与标准词汇不具有同义等价关系的词汇。换而言之，多个第一词汇构成的集合表示的是标准词汇集的子集，该标准词汇与该子集中的标准词汇之间具有同义等价关系。该多个第二词汇构成的集合表示的也是标准词汇集的子集，该标准词汇与该子集中的标准词汇之间不具有同义等价关系。然后，服务器基于多个第一词汇与该标准词汇之间的相似程度，从多个第一词汇中，获取相似程度最低的多个正样本词汇。同理，服务器基于多个第二词汇与该标准词汇之间的相似程度，从多个第二词汇中，获取相似程度最低的多个负样本词汇。通过从具有同义等价关系的多个第一词汇中获取相似程度最低的正样本词汇，使得获取到的正样本词汇为较为困难的正样本词汇。同理，通过从不具有同义等价关系的多个第二词汇中获取相似程度最低的负样本词汇，使得获取到的负样本词汇为较为困难的负样本词汇。进而基于上述正样本词汇和负样本词汇构建的三元组，能够显著提高模型的训练效率。

在一些实施例中，服务器能够将标准词汇集划分为一个或者多个批次，该多个是指两个或两个以上。服务器从标准词汇集中获取多个第一词汇和多个第二词汇的步骤，包括：服务器将标准词汇集划分为至少一个批次。然后，对于任一标准词汇，服务器从该标准词汇所属的批次中，获取该标准词汇对应的多个第一词汇和多个第二词汇。通过对标准词汇集进行批次的划分，使得服务器在训练过程中的每个批次中随机的进行正负样本采样，也即采样范围限制在标准词汇所属的批次中，提高采样的随机性，进而提高模型的性能。

在一些实施例中，服务器能够基于下述公式(1)和(2)采样得到任一标准词汇的正样本词汇和负样本词汇。

t_p＝argmin_{i≠p；C(i)＝C(p)}S_ip (1)；

其中，t_p表示标准词汇t_i对应的正样本词汇；argmin(·)表示最小值函数；i≠p表示标准词汇t_p和标准词汇t_i是不同的词汇；C(i)表示与标准词汇t_i具有同义等价关系的标准词汇的集合；C(p)表示与标准词汇t_p具有同义等价关系关系的标准词汇的集合；C(i)＝C(p)表示标准词汇t_i和标准词汇t_p在标准体系中具有同义等价关系；S_ip表示标准词汇t_i和标准词汇t_p之间的相似度。

t_n＝argmin_{i≠n；C(i)≠C(n)}S_in (2)；

其中，t_n表示标准词汇t_i对应的负样本词汇；argmin(·)表示最小值函数；i≠n表示标准词汇t_n和标准词汇t_i是不同的词汇；C(i)表示与标准词汇t_i具有同义等价关系的标准词汇的集合；C(n)表示与标准词汇t_n具有同义等价关系关系的标准词汇的集合；C(i)≠C(n)表示标准词汇t_i和标准词汇t_n在标准体系中不具有同义等价关系；S_in表示标准词汇t_i和标准词汇t_n之间的相似度。

在一些实施例中，某个batch(批次)中的标准词汇一共有M个，M为正整数，则对于该batch中的每个标准词汇，服务器根据标准词汇之间的相似度，从该batch中获取与该标准词汇最不接近的M//100个正负样本词汇。其中，M//100表示M除以100的余数。如M＝312时，M//100＝12；M＝10时，M//100＝10。M//100的数量可以是该标准词汇对应的正负样本词汇的总数量，或者是该标准词汇对应的正样本词汇的数量，或者是该样本词汇对应的负样本词汇的数量。其中，正样本词汇的数量和负样本词汇的数量可以相等，也可以不相等，本申请实施例对此不进行限制。

403、服务器以标准词汇为中心样本词汇，将多个正样本词汇与多个负样本词汇分别组合，得到标准词汇对应的多个样本三元组。

在本申请实施例中，对于任一标准词汇，服务器能够基于上述步骤402描述的方法，得到该标准词汇对应的多个样本三元组。该标准词汇对应的多个样本三元组中的中心样本词汇为该标准词汇，该多个样本三元组中的正样本词汇和负样本词汇之间分别对应。

例如，对于任一标准词汇，服务器基于该标准词汇得到5个正样本词汇和10个负样本词汇，则服务器将该5个正样本词汇和10个负样本词汇分别进行组合，最多能够得到50个样本三元组。

需要说明的是，对于任一标准词汇，服务器能够将该标准词汇对应的全部样本三元组投入训练，也可以将部分样本三元组投入训练。相应的，服务器能够从该标准词汇对应的全部样本三元组中选择部分样本三元组，或者从该标准词汇对应的多个正样本词汇和多个负样本词汇中，选择部分正样本词汇，或者选择部分负样本词汇，或者正负样本词汇均选择部分。

404、服务器基于多个标准词汇对应的多个样本三元组，对文本标准化模型进行训练，该文本标准化模型用于确定输入词汇之间的相似程度。

在本申请实施例中，该文本标准化模型的模型结构类似于孪生网络，由共享模型权重的编码器为基础。该文本标准化模型的输入为样本三元组，样本三元组中的中心样本词汇、正样本词汇以及负样本词汇经过编码器后得到对应的特征向量，然后再通过基于余弦相似性构建的相似程度度量函数Sim(·)来获取上述特征向量之间的相似程度。

例如，图5是根据本申请实施例提供的一种文本标准化模型的架构示意图。参见图5所示，该文本标准化模型包括三个共享权重的文本编码器：文本编码器1、文本编码器2以及文本编码器3。文本编码器1将正样本词汇编码为正样本向量，文本编码器2将中心样本词汇编码为中心样本向量，文本编码器3将负样本词汇编码为负样本向量。然后，服务器确定正样本向量和中心样本向量之间的第一相似度，负样本向量和中心样本向量之间的第二相似度。最后，服务器基于上述第一相似度和第二相似度确定训练损失。以正样本词汇为“甲亢”、中心样本词汇为“甲状腺功能亢进症”、负样本词汇为“甲状腺功能减退”为例，该第一相似度表示“甲亢”与“甲状腺功能亢进症”之间的相似程度，第二相似度表示“甲状腺功能亢进症”与“甲状腺功能减退”之间的相似度。由于“甲亢”与“甲状腺功能亢进症”具有同义等价关系，即“甲亢”等价于“甲状腺功能亢进症”，则模型的训练目标是：第一相似度大于第二相似度。

在一些实施例中，以第i轮迭代为例进行说明，i为正整数。其中，若i＝1，则第i轮迭代的文本标准化模型为初始模型；i＞1，则第i轮迭代的文本标准化模型为第i-1轮迭代完成后调整了模型参数的文本标准化模型。服务器基于多个样本三元组，对文本标准化模型进行训练的步骤，包括：对于多个样本三元组中的任一样本三元组，服务器基于第i轮迭代的文本标准化模型，确定该样本三元组对应的第一相似度和第二相似度。然后，服务器基于上述第一相似度和第二相似度，确定第i轮迭代的训练损失。最后，服务器基于第i轮迭代的训练损失，调整第i轮迭代的文本标准化模型的模型参数。其中，该第一相似度用于表示样本三元组中的正样本词汇和中心样本词汇之间的相似程度，第二相似度用于表示样本三元组中的负样本词汇和中心样本词汇之间的相似程度。而模型的训练目标为第一相似度大于第二相似度，即正样本词汇和中心样本词汇之间的相似程度，大于负样本词汇和中心样本词汇之间的相似程度。通过基于模型确定样本三元组中词汇之间的第一相似度和第二相似度，使得该文本标准化模型能够学习到具有同义等价关系的标准词汇之间的相似性。

在一些实施例中，服务器基于编码器和Sim(·)函数确定样本三元组对应的第一相似度和第二相似度的步骤，包括：服务器对样本三元组中的正样本词汇、中心样本词汇以及负样本词汇分别进行编码，得到正样本向量、中心样本向量以及负样本向量，正样本向量为正样本词汇编码后的向量表示，中心样本向量为中心样本词汇编码后的向量表示，负样本向量为负样本词汇编码后的向量表示。服务器基于正样本向量和中心样本向量，确定第一相似度。同理，服务器基于中心样本向量和负样本向量，确定第二相似度。通过对样本三元组中的正样本词汇、中心样本词汇以及负样本词汇分别进行编码，能够基于余弦相似性的度量函数来对编码后的结果进行相似程度的度量，得到取值范围为[0-1]的第一相似度和第二相似度。

在一些实施例中，第一相似度能够基于下述公式(3)计算得到：

其中，S_ip表示中心样本词汇t_i和正样本词汇t_p之间的第一相似度；Sim(·)表示相似度函数；Enc(t_i)表示中心样本向量；Enc(t_p)表示正样本向量；||·||表示范数。

在一些实施例中，第二相似度能够基于下述公式(4)计算得到：

其中，S_in表示中心样本词汇t_i和负样本词汇t_n之间的第二相似度；Sim(·)表示相似度函数；Enc(t_i)表示中心样本向量；Enc(t_n)表示负样本向量；||·||表示范数。

基于上述公式(3)和公式(4)，在文本标准化模型的训练过程中，上述第一相似度和第二相似度需要满足公式(5)所示的限制条件：

Sim(Enc(t_i)，Enc(t_p))＞Sim(Enc(t_i)，Enc(t_n)) (5)；

其中，Sim(Enc(t_i)，Enc(t_p))表示中心样本词汇t_i和正样本词汇t_p之间的第一相似度；Sim(·)表示相似度函数；Enc(t_i)表示中心样本向量；Enc(t_p)表示正样本向量；Sim(Enc(t_i)，Enc(t_n))表示中心样本词汇t_i和负样本词汇t_n之间的第二相似度；Enc(t_n)表示负样本向量。

在一些实施例中，模型的训练损失能够基于下述公式(6)计算得到：

其中，L表示训练损失；Loss(·)表示损失函数，S_ip表示中心样本词汇t_i和正样本词汇t_p之间的第一相似度；S_in表示中心样本词汇t_i和负样本词汇t_n之间的第二相似度；ln(·)表示自然对数函数。

需要说明的是，为了验证按照本申请实施例提供的方案所训练得到的文本标准化模型，还设计了一组对照实验。该对照实验包括三个数据集，数据集1来自于门诊诊断记录，数据集2和数据集3来自于入院诊断记录。在实验中，以现有模型为基线模型，将以标准词汇集和标注词汇集作为候选集的文本标准化模型作为V1模型，将以标准词汇集为候选集的文本标准化模型作为V2模型。实验的评估指标为精准率(Precision)、召回率(Recall)以及F1分数(F1-score)。实验结果参见表1所示。

表1

通过上述表1可知，基于本申请实施例提供的方案所得到的V1模型和V2模型，在上述三个数据集上均达到了不低于基线模型的性能，并且不依赖标注数据集的V2模型也有部分指标不低于基线模型。因此证明基于本申请实施例提供的文本标准模型的训练方法所训练得到的模型，能够在多个领域中应用。

405、终端从待处理的目标文本中，获取待标准化的多个目标词汇。

在本申请实施例中，该待处理的目标文本为医疗领域的诊断文本，如门诊诊断文本和入院诊断文本等。终端能够显示文本标准化界面，该文本标准化界面用于输入上述目标文本，终端能够对该目标文本进行分词处理，得到多个目标词汇，该多个目标词汇为待标准化的词汇。

例如，图6是根据本申请实施例提供的一种文本标准化界面的示意图。参见图6所示，该文本标准化界面包括两个部分，上侧部分用于输入待处理的目标文本，下侧区域用于显示结构化信息，该结构化信息用于表示该目标文本中的内容，该结构化信息中的词汇为标准化后的词汇。用户通过点击确认按钮，即可对目标文本进行标准化。该文本标准化界面便于快速的将诊断信息进行信息化存储，减少了医院病案编码人员的工作量。

406、终端基于文本标准化模型和标准词汇集对多个目标词汇进行标准化，得到该多个目标词汇对应的多个标准词汇。

在本申请实施例中，终端能够从服务器获取已训练完毕的文本标准化模型，对于任一目标词汇，终端能够基于该文本标准化模型确定该目标词汇与标准词汇集中各标准词汇之间的相似度，从而确定该目标词汇对应的标准词汇。其中，该标准词汇集为文本标准化模型的候选集。由于候选集不包括标准词汇集以外的其他词汇集，如标注数据集和标注数据集中词汇之间的等价映射关系，通过依据标准词汇集中的同义等价关系和不同义等价关系这两个来自标准体系内部的定义，能够使文本标准化模型不受领域的限制，进而广泛的应用于多种领域。

在一些实施例中，服务器还能够对标准词汇集中的标准词汇进行预处理，以使得终端在对目标词汇进行标准化时，不需要遍历标准词汇集中的全部词汇，从而降低运算量。本申请实施例对预处理的方式不进行限定。

在一些实施例中，文本标准化模型的候选集还可以加入标注词汇集，然后基于该标注词汇集，来扩大文本标准化模型的标准化范围，其中，该标注词汇集中包括多个标注词汇之间的等价映射关系。终端获取标注词汇集，然后基于文本标准化模型对该多个标注词汇进行标准化，得到多个标注词汇对应的多个标准词汇。然后，对于任一目标词汇，终端在目标词汇与任一标注词汇具有等价映射关系的情况下，将该目标词汇标准化为与标注词汇对应的标准词汇。通过引入标注词汇集，使得对于模型无法准确预测的词汇，在加入标注词汇集后，基于标注词汇集中的等价映射关系，能够延伸词汇之间的对应关系，从而实现对词汇的标准化。

例如，标准词汇集表示为C，标注词汇集表示为M_k，标注词汇集中的等价映射关系表示为f(m)＝c，m∈M_k(c)，其中，m和c表示M_k中的词汇，M_k(c)表示标准词汇c对应的多个非标准词汇的集合。当文本标准化模型判断m可以标准化到M_k中的另一个词汇m’时，模型通过lookup(查找)方式基于函数f(m’)＝c确定标准词汇c，进而能够确定m对应的标准词汇为c。如在某一场景下，文本标准化模型无法准确预测“甲亢”到“甲状腺功能亢进症”的映射，即不能将“甲亢”标准化为“甲状腺功能亢进症”，而标注词汇集中包括“甲亢”到“甲状腺功能亢进”的映射，因此终端能够通过“甲状腺功能亢进”来转移映射结果，即将“甲亢”标准化为“甲状腺功能亢进症”。

本申请实施例提供了一种文本标准化模型的训练方案，通过在训练模型时使用标准词汇集，使得不需要使用人工标注数据即可进行模型训练，从而实现了训练数据与细分领域下的人工标注数据的解耦，降低了训练成本，且具有广泛的适用性不受领域的局限。

图7是根据本申请实施例提供的一种文本标准化模型的训练装置的框图。该装置用于执行上述文本标准化模型的训练方法中的步骤，参见图7所示，装置包括：词汇集获取模块701、三元组确定模块702以及模型训练模块703。

词汇集获取模块701，用于获取标准词汇集，该标准词汇集包括多个标准词汇；

三元组确定模块702，用于基于该标准词汇集中各标准词汇之间的相似程度，确定多个样本三元组，该样本三元组包括中心样本词汇以及该中心样本词汇关联的正样本词汇和负样本词汇；

模型训练模块703，用于基于该多个样本三元组，对文本标准化模型进行训练，该文本标准化模型用于确定输入词汇之间的相似程度。

在一些实施例中，图8是根据本申请实施例提供的另一种文本标准化模型的训练装置的框图，参见图8所示，该三元组确定模块702，包括：

采样单元7021，用于对于该标准词汇集中的任一标准词汇，基于该标准词汇与该标准词汇集中其他标准词汇之间的相似程度进行随机正负样本采样，得到多个正样本词汇和多个负样本词汇；

组合单元7022，用于以该标准词汇为中心样本词汇，将该多个正样本词汇与该多个负样本词汇分别组合，得到该标准词汇对应的多个样本三元组。

在一些实施例中，该采样单元7021，用于从该标准词汇集中获取多个第一词汇和多个第二词汇，该第一词汇为与该标准词汇具有同义等价关系的词汇，该第二词汇为与该标准词汇不具有同义等价关系的词汇；基于该多个第一词汇与该标准词汇之间的相似程度，从该多个第一词汇中，获取相似程度最低的该多个正样本词汇；基于该多个第二词汇与该标准词汇之间的相似程度，从该多个第二词汇中，获取相似程度最低的该多个负样本词汇。

在一些实施例中，该采样单元7021，用于将该标准词汇集划分为至少一个批次；从该标准词汇所属的批次中，获取该多个第一词汇和该多个第二词汇。

在一些实施例中，该模型训练模块703，包括：

相似度确定单元7031，用于对于该多个样本三元组中的任一样本三元组，基于第i轮迭代的文本标准化模型，确定该样本三元组对应的第一相似度和第二相似度，该第一相似度用于表示该样本三元组中的正样本词汇和中心样本词汇之间的相似程度，该第二相似度用于表示该样本三元组中的负样本词汇和中心样本词汇之间的相似程度，i为正整数；

损失确定单元7032，用于基于该第一相似度和该第二相似度，确定该第i轮迭代的训练损失；

调整单元7033，用于基于该第i轮迭代的训练损失，调整该第i轮迭代的文本标准化模型的模型参数。

在一些实施例中，该相似度确定单元7031，用于对该样本三元组中的正样本词汇、中心样本词汇以及负样本词汇分别进行编码，得到正样本向量、中心样本向量以及负样本向量；基于该正样本向量和该中心样本向量，确定该第一相似度；基于该中心样本向量和该负样本向量，确定该第二相似度。

本申请实施例提供的一种文本标准化模型的训练方案，通过在训练模型时使用标准词汇集，使得不需要使用人工标注数据即可进行模型训练，从而实现了训练数据与细分领域下的人工标注数据的解耦，降低了训练成本，且具有广泛的适用性不受领域的局限。

需要说明的是：上述实施例提供的文本标准化模型的训练装置在进行模型训练时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的文本标准化模型的训练装置与文本标准化模型的训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图9是根据本申请实施例提供的一种文本标准化装置的框图。该装置用于执行上述文本标准化方法中的步骤，参见图9所示，装置包括：词汇获取模块901和标准化模块902。

词汇获取模块901，用于从待处理的目标文本中，获取待标准化的多个目标词汇；

标准化模块902，用于基于文本标准化模型和标准词汇集对该多个目标词汇进行标准化，得到该多个目标词汇对应的多个标准词汇，该文本标准化模型基于标准数据集训练得到，用于确定输入词汇之间的相似程度。

在一些实施例中，图10是根据本申请实施例提供的另一种文本标准化装置的框图，参见图10所示，该装置包括：

词汇集获取模块903，用于获取标注词汇集，该标注词汇集中包括多个标注词汇之间的等价映射关系；

该标准化模块902，还用于基于该文本标准化模型对该多个标注词汇进行标准化，得到该多个标注词汇对应的多个标准词汇；

该标准化模块902，还用于对于任一目标词汇，在该目标词汇与任一标注词汇具有该等价映射关系的情况下，将该目标词汇标准化为与该标注词汇对应的标准词汇。

本申请实施例提供的一种文本标准化方案，通过在对文本进行标准化时，使用基于标准词汇集训练得到的文本标准化模型，从而实现了以较低的训练成本训练得到具有广泛的适用性的文本标准化模型，从而能够高效的对不同领域的文本进行标准化的处理，提高文本标准化的处理效率。

需要说明的是：上述实施例提供的文本标准化装置在进行文本标准化时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的文本标准化装置与文本标准化方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在本申请实施例中，计算机设备能够被配置为终端或者服务器，当计算机设备被配置为终端时，可以由终端作为执行主体来实施本申请实施例提供的技术方案，当计算机设备被配置为服务器时，可以由服务器作为执行主体来实施本申请实施例提供的技术方案，也可以通过终端和服务器之间的交互来实施本申请提供的技术方案，本申请实施例对此不作限定。

计算机设备被配置为终端时，图11是根据本申请实施例提供的一种终端1100的结构框图。该终端1100可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1100包括有：处理器1101和存储器1102。

处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一个计算机程序，该至少一个计算机程序用于被处理器1101所执行以实现本申请中方法实施例提供的文本标准化模型的训练方法，或者，该至少一个计算机程序用于被处理器1101所执行以实现本申请中方法实施例提供的文本标准化方法。

在一些实施例中，终端1100还可选包括有：外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地，外围设备包括：射频电路1104、显示屏1105、摄像头组件1106、音频电路1107、定位组件1108和电源1109中的至少一种。

外围设备接口1103可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中，处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上；在一些其他实施例中，处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1104用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。在一些实施例中，射频电路1104包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1104还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1105用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时，显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时，显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1105可以为一个，设置在终端1100的前面板；在另一些实施例中，显示屏1105可以为至少两个，分别设置在终端1100的不同表面或呈折叠设计；在另一些实施例中，显示屏1105可以是柔性显示屏，设置在终端1100的弯曲表面上或折叠面上。甚至，显示屏1105还可以设置成非矩形的不规则图形，也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode，有机发光二极管)等材质制备。

摄像头组件1106用于采集图像或视频。在一些实施例中，摄像头组件1106包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1101进行处理，或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1107还可以包括耳机插孔。

定位组件1108用于定位终端1100的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1108可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1109用于为终端1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于：加速度传感器1111、陀螺仪传感器1112、压力传感器1113、指纹传感器1114、光学传感器1115以及接近传感器1116。

加速度传感器1111可以检测以终端1100建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号，控制显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1112可以检测终端1100的机体方向及转动角度，陀螺仪传感器1112可以与加速度传感器1111协同采集用户对终端1100的3D动作。处理器1101根据陀螺仪传感器1112采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1113可以设置在终端1100的侧边框和/或显示屏1105的下层。当压力传感器1113设置在终端1100的侧边框时，可以检测用户对终端1100的握持信号，由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在显示屏1105的下层时，由处理器1101根据用户对显示屏1105的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1114用于采集用户的指纹，由处理器1101根据指纹传感器1114采集到的指纹识别用户的身份，或者，由指纹传感器1114根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1101授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1114可以被设置在终端1100的正面、背面或侧面。当终端1100上设置有物理按键或厂商Logo时，指纹传感器1114可以与物理按键或厂商Logo集成在一起。

光学传感器1115用于采集环境光强度。在一个实施例中，处理器1101可以根据光学传感器1115采集的环境光强度，控制显示屏1105的显示亮度。具体地，当环境光强度较高时，调高显示屏1105的显示亮度；当环境光强度较低时，调低显示屏1105的显示亮度。在另一个实施例中，处理器1101还可以根据光学传感器1115采集的环境光强度，动态调整摄像头组件1106的拍摄参数。

接近传感器1116，也称距离传感器，通常设置在终端1100的前面板。接近传感器1116用于采集用户与终端1100的正面之间的距离。在一个实施例中，当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变小时，由处理器1101控制显示屏1105从亮屏状态切换为息屏状态；当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变大时，由处理器1101控制显示屏1105从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图11中示出的结构并不构成对终端1100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

计算机设备被配置为服务器时，图12是根据本申请实施例提供的一种服务器的结构示意图，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)1201和一个或一个以上的存储器1202，其中，该存储器1202中存储有至少一条计算机程序，该至少一条计算机程序由该处理器1201加载并执行以实现上述各个方法实施例提供的文本标准化模型的训练方法，或者，该至少一条计算机程序由该处理器1201加载并执行以实现上述各个方法实施例提供的文本标准化方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一段计算机程序，该至少一段计算机程序由计算机设备的处理器加载并执行以实现上述实施例的方法中计算机设备所执行的操作。例如，所述计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在一些实施例中，本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述各种可选实现方式中提供的文本标准化模型的训练方法，或者，使得该计算机设备执行上述各种可选实现方式中提供的文本标准化方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种文本标准化模型的训练方法，其特征在于，所述方法包括：

获取标准词汇集，所述标准词汇集包括多个标准词汇；

基于所述标准词汇集中各标准词汇之间的相似程度，确定多个样本三元组，所述样本三元组包括中心样本词汇以及所述中心样本词汇关联的正样本词汇和负样本词汇；

基于所述多个样本三元组，对文本标准化模型进行训练，所述文本标准化模型用于确定输入词汇之间的相似程度。

2.根据权利要求1所述的方法，其特征在于，所述基于所述标准词汇集中各标准词汇之间的相似程度，确定多个样本三元组，包括：

对于所述标准词汇集中的任一标准词汇，基于所述标准词汇与所述标准词汇集中其他标准词汇之间的相似程度进行随机正负样本采样，得到多个正样本词汇和多个负样本词汇；

以所述标准词汇为中心样本词汇，将所述多个正样本词汇与所述多个负样本词汇分别组合，得到所述标准词汇对应的多个样本三元组。

3.根据权利要求2所述的方法，其特征在于，所述基于所述标准词汇与所述标准词汇集中其他标准词汇之间的相似程度进行随机正负样本采样，得到多个正样本词汇和多个负样本词汇，包括：

从所述标准词汇集中获取多个第一词汇和多个第二词汇，所述第一词汇为与所述标准词汇具有同义等价关系的词汇，所述第二词汇为与所述标准词汇不具有同义等价关系的词汇；

基于所述多个第一词汇与所述标准词汇之间的相似程度，从所述多个第一词汇中，获取相似程度最低的所述多个正样本词汇；

基于所述多个第二词汇与所述标准词汇之间的相似程度，从所述多个第二词汇中，获取相似程度最低的所述多个负样本词汇。

4.根据权利要求3所述的方法，其特征在于，所述从所述标准词汇集中获取多个第一词汇和多个第二词汇，包括：

将所述标准词汇集划分为至少一个批次；

从所述标准词汇所属的批次中，获取所述多个第一词汇和所述多个第二词汇。

5.根据权利要求1所述的方法，其特征在于，所述基于所述多个样本三元组，对文本标准化模型进行训练，包括：

对于所述多个样本三元组中的任一样本三元组，基于第i轮迭代的文本标准化模型，确定所述样本三元组对应的第一相似度和第二相似度，所述第一相似度用于表示所述样本三元组中的正样本词汇和中心样本词汇之间的相似程度，所述第二相似度用于表示所述样本三元组中的负样本词汇和中心样本词汇之间的相似程度，i为正整数；

基于所述第一相似度和所述第二相似度，确定所述第i轮迭代的训练损失；

基于所述第i轮迭代的训练损失，调整所述第i轮迭代的文本标准化模型的模型参数。

6.根据权利要求5所述的方法，其特征在于，所述确定所述样本三元组对应的第一相似度和第二相似度，包括：

对所述样本三元组中的正样本词汇、中心样本词汇以及负样本词汇分别进行编码，得到正样本向量、中心样本向量以及负样本向量；

基于所述正样本向量和所述中心样本向量，确定所述第一相似度；

基于所述中心样本向量和所述负样本向量，确定所述第二相似度。

7.一种文本标准化方法，其特征在于，所述方法包括：

从待处理的目标文本中，获取待标准化的多个目标词汇；

基于文本标准化模型和标准词汇集对所述多个目标词汇进行标准化，得到所述多个目标词汇对应的多个标准词汇，所述文本标准化模型基于标准数据集训练得到，用于确定输入词汇之间的相似程度。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取标注词汇集，所述标注词汇集中包括多个标注词汇之间的等价映射关系；

基于所述文本标准化模型对所述多个标注词汇进行标准化，得到所述多个标注词汇对应的多个标准词汇；

对于任一目标词汇，在所述目标词汇与任一标注词汇具有所述等价映射关系的情况下，将所述目标词汇标准化为与所述标注词汇对应的标准词汇。

9.一种文本标准化模型的训练装置，其特征在于，所述装置包括：

词汇集获取模块，用于获取标准词汇集，所述标准词汇集包括多个标准词汇；

三元组确定模块，用于基于所述标准词汇集中各标准词汇之间的相似程度，确定多个样本三元组，所述样本三元组包括中心样本词汇以及所述中心样本词汇关联的正样本词汇和负样本词汇；

模型训练模块，用于基于所述多个样本三元组，对文本标准化模型进行训练，所述文本标准化模型用于确定输入词汇之间的相似程度。

10.一种文本标准化装置，其特征在于，所述装置包括：

词汇获取模块，用于从待处理的目标文本中，获取待标准化的多个目标词汇；

标准化模块，用于基于文本标准化模型和标准词汇集对所述多个目标词汇进行标准化，得到所述多个目标词汇对应的多个标准词汇，所述文本标准化模型基于标准数据集训练得到，用于确定输入词汇之间的相似程度。

11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行权利要求1至6任一项权利要求所述的文本标准化模型的训练方法，或者，所述至少一段计算机程序由所述处理器加载并执行权利要求7或8所述的文本标准化方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储至少一段计算机程序，所述至少一段计算机程序用于执行权利要求1至6任一项权利要求所述的文本标准化模型的训练方法，或者，所述至少一段计算机程序用于执行权利要求7或8所述的文本标准化方法。

13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项权利要求所述的文本标准化模型的训练方法，或者，所述计算机程序被所述处理器执行时实现如权利要求7或8所述的文本标准化方法。

Images