CN107908635B - 建立文本分类模型以及文本分类的方法、装置 - Google Patents

建立文本分类模型以及文本分类的方法、装置 Download PDF

Info

Publication number
CN107908635B
CN107908635B CN201710882685.0A CN201710882685A CN107908635B CN 107908635 B CN107908635 B CN 107908635B CN 201710882685 A CN201710882685 A CN 201710882685A CN 107908635 B CN107908635 B CN 107908635B
Authority
CN
China
Prior art keywords
text
classification model
classification
training
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710882685.0A
Other languages
English (en)
Other versions
CN107908635A (zh
Inventor
夏源
周景博
董维山
范伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710882685.0A priority Critical patent/CN107908635B/zh
Publication of CN107908635A publication Critical patent/CN107908635A/zh
Priority to US16/116,710 priority patent/US10783331B2/en
Application granted granted Critical
Publication of CN107908635B publication Critical patent/CN107908635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/53—Processing of non-Latin text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/268—Lexical context

Abstract

本发明提供一种建立文本分类模型与文本分类的方法、装置，建立方法包括：获取训练样本；基于实体词典对文本进行切词后获取对应的向量矩阵；利用文本的向量矩阵以及文本的分类，训练第一分类模型和第二分类模型；在训练过程中，利用第一分类模型与第二分类模型的损失函数得到文本分类模型的损失函数，并利用文本分类模型的损失函数对第一和第二分类模型调整参数，得到由第一和第二分类模型构成的文本分类模型。文本分类的方法包括：获取待分类的文本；基于实体词典对文本进行切词后获取文本对应的向量矩阵；将向量矩阵输入文本分类模型，根据文本分类模型的输出，得到该文本的分类结果。通过本发明所提供的技术方案，能够提高文本分类的效果。

Description

建立文本分类模型以及文本分类的方法、装置
【技术领域】
本发明涉及自然语言处理技术，尤其涉及一种建立文本分类模型以及文本分类的方法、装置。
【背景技术】
在互联网时代，文本自动分类的方法应用于互联网领域的各个方面，包括网页分类、微博情感分析、用户评论挖掘等。目前，文本分类在广泛领域的精度已经达到很高的程度，但是在垂直领域的分类仍具有一定的缺陷，例如医疗领域、法律领域、科技领域等。现有技术通常采用单一模型对文本进行分类，已有的模型各有优缺点，例如对短文本分类效果不好、鲁棒性和泛化性能不佳，等等。因此将单一模型应用于垂直领域的文本分类往往无法达到很好的分类效果。
【发明内容】
有鉴于此，本发明提供了一种建立文本分类模型以及文本分类的方法和装置，用于提高文本分类的效果。
本发明为解决技术问题所采用的技术方案是提供一种建立文本分类模型的方法，所述方法包括：获取训练样本，所述训练样本包括：文本及其对应的分类；基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵；利用所述文本对应的向量矩阵以及所述文本的分类，分别训练第一分类模型和第二分类模型；在所述训练过程中，利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数，并利用文本分类模型的损失函数对所述第一分类模型和第二分类模型进行参数调整，得到由第一分类模型和第二分类模型构成的文本分类模型。
根据本发明一优选实施例，所述文本分类模型用于医疗文本的分类。
根据本发明一优选实施例，所述第一分类模型和第二分类模型的训练目标为最小化所述文本分类模型的损失函数。
根据本发明一优选实施例，所述第一分类模型为基于概率的分类模型.
根据本发明一优选实施例，所述第一分类模型包括基于双向长度记忆单元和卷积神经网络组合的分类模型。
根据本发明一优选实施例，训练第一分类模型包括：将所述文本作为输入，所述文本的分类作为输出，训练第一分类模型。
根据本发明一优选实施例，所述第二分类模型为基于相似度的分类模型。
根据本发明一优选实施例，所述第二分类模型包括基于深度神经网络的分类模型。
根据本发明一优选实施例，训练第二分类模型包括：将所述文本以及与该文本的分类对应的专家数据作为输入，将文本与专家数据的相似度作为输出，训练第二分类模型。
根据本发明一优选实施例，所述利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数包括：使用预设组合形式，对第一分类模型的损失函数以及第二分类模型的损失函数进行整合，得到文本分类模型的损失函数。
本发明为解决技术问题而采用的技术方案是提供一种建立文本分类模型的装置，所述装置包括：第一获取单元，用于获取训练样本，所述训练样本包括：文本及其对应的分类；第二获取单元，用于基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵；训练单元，用于利用所述文本对应的向量矩阵以及所述文本的分类，分别训练第一分类模型和第二分类模型；其中，在所述训练过程中，利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数，并利用文本分类模型的损失函数对所述第一分类模型和第二分类模型进行参数调整，得到由第一分类模型和第二分类模型构成的文本分类模型。
根据本发明一优选实施例，所述训练单元在训练第一分类模型和第二分类模型的目标为最小化所述文本分类模型的损失函数。
根据本发明一优选实施例，所述训练单元在训练第一分类模型时，具体执行：将所述文本作为输入，所述文本的分类作为输出，训练第一分类模型。
根据本发明一优选实施例，所述训练单元在训练第二分类模型时，具体执行：将所述文本以及与该文本的分类对应的专家数据作为输入，将文本与专家数据的相似度作为输出，训练第二分类模型。
根据本发明一优选实施例，所述训练单元在利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数时，具体执行：使用预设组合形式，对第一分类模型的损失函数以及第二分类模型的损失函数进行整合，得到文本分类模型的损失函数。
本发明为解决技术问题而采用的技术方案是提供一种文本分类的方法，所述方法包括：获取待分类的文本；基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵；将所述向量矩阵输入文本分类模型，根据所述文本分类模型的输出，得到该文本的分类结果。
本发明为解决技术问题而采用的技术方案是提供一种文本分类的装置，所述装置包括：第三获取单元，用于获取待分类的文本；第四获取单元，用于基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵；分类单元，用于将所述向量矩阵输入文本分类模型，根据所述文本分类模型的输出，得到该文本的分类结果。
由以上技术方案可以看出，本发明通过使用新构造的损失函数来整合两个分类模型以得到文本分类模型，从而在使用该文本分类模型进行文本分类时，能够提高文本分类的效果。
【附图说明】
图1为本发明一实施例提供的建立文本分类模型的结构图。
图2为本发明一实施例提供的对文本进行分类的方法流程图。
图3为本发明一实施例提供的建立文本分类模型的装置结构图。
图4为本发明一实施例提供的对文本进行分类的装置结构图。
图5为本发明一实施例提供的计算机系统/服务器的框图。
【具体实施方式】
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
本发明的核心思想在于，如图1中所示：创建一种包括多种分类模型的文本分类模型以用于文本的分类，并且利用整合构成的损失函数对多种分类模型进行训练，使得由多种分类模型构成的文本分类模型能够同时考虑多种分类模型的相关程度；更进一步地，可以在训练过程中引入专家数据，使得该文本分类模型能够对文本进行更加准确地分类。该文本分类模型可以用于各种垂直领域，例如医疗领域、科技领域、法律领域等，本文以文本分类模型应用于医疗领域为例进行说明。
首先对建立文本分类模型的过程进行描述。在本发明中，文本分类模型包括多种分类模型，可以为两种、三种或者更多种，本文以由两种分类模型构成文本分类模型为例进行说明。
具体地，文本分类模型可以采用以下训练方式得到：
1)获取训练样本，所获取的训练样本包括：文本及其对应的分类。
在本步骤中，所获取的训练样本中包括的医疗文本为已标注分类的医疗文本，即根据医疗文本的标注结果能够获得该医疗文本的分类。
2)基于实体词典对文本进行切词后，获取文本对应的向量矩阵。
在本步骤中，首先基于实体词典对文本进行切词处理，然后对切词结果进行词向量化处理，最后将所得到的词向量进行拼接，从而得到文本的向量矩阵。
其中，实体词典为包含各领域专业名称的词典。在实施例中所使用的实体词典为医学实体词典，其包含有各种医学实体的专业名称，例如各种药品的名称、各种疾病的名称或者各种症状的名称等。同理可知，科技实体词典包含有各种科技实体的专业名称，法律词典包含有各种法律实体的专业名称。因此在本步骤中，基于医学实体词典对医疗文本进行切词，能够有效地避免对医疗文本进行错误切词的情形。这是因为，不同领域的文本会包含不同领域的专业名称，例如医疗文本中包含非常长或者非常复杂的药物名称，而在使用普通的切词方法时，如果无法对专业名称进行区分，则可能会出现将某一完整的名称切分成不同部分的情形。因此，本步骤中使用实体词典对文本进行切词，能够尽可能地保证对文本进行正确地切词处理。
在对医疗文本进行切词处理后，对切词结果进行词向量化处理，即将各词语表示为向量，可以使用例如Word2Vec、GloVe等方法将词语映射到向量。然后，对所获得的向量进行拼接，从而得到对应医疗文本的向量矩阵。
3)利用所述文本对应的向量矩阵以及所述文本的分类，分别训练第一分类模型和第二分类模型。
首先对第一分类模型的训练过程进行描述：
在本步骤中，第一分类模型为基于概率的分类模型，其可以包括基于双向长度记忆单元和卷积神经网络组合的分类模型，也可以为双向长度记忆单元和深度神经网络组合的分类模型，还可以为卷积神经网络和深度神经网络组合的分类模型。
在训练第一分类模型的时候，将医疗文本作为输入，医疗文本的分类作为输出，训练第一分类模型。而第一分类模型的训练目标为最小化文本分类模型的损失函数，根据文本分类模型的损失函数对第一分类模型的参数进行调整。对于文本分类模型的损失函数将在下文详述。
然后对第二分类模型的训练过程进行详述：
在本步骤中，第二分类模型为基于相似度的分类模型，其可以包括基于深度神经网络的分类模型，还可以为基于卷积神经网络的分类模型。
在训练第二分类模型的时候，将医疗文本以及与该医疗文本的分类对应的医疗领域专家数据作为输入，将该医疗文本与该医疗领域专家数据的相似度作为输出，训练第二分类模型。
其中，专家数据为各专业领域相关的书籍、论文或者报告中的至少一种，在本步骤中使用的医疗领域专家数据即为与医疗领域相关的书籍、论文或者报告中的至少一种。此外，各领域专家数据会预先标注分类，即通过标注可以得到该专家数据的分类。例如在医疗领域专家数据中，标注为“药理学”的医疗领域专家数据可以包括书籍A、报告B、论文C等，标注为“呼吸科”的医疗领域专家数据可以包括书籍E、书籍F等。这是因为各种专业领域的书籍、报告或者论文都是由各领域专家编撰，其中包含有细粒度的章节、摘要、介绍等，可以将这些细粒度的章节、摘要等提取，以作为各领域专家数据标注的分类。
此外，本步骤中所使用的与医疗文本对应的医疗领域专家数据，即为分类与医疗文本的分类一致的医疗领域专家数据。例如，若某医疗文本的分类为“药理学”，则与该医疗文本一致的医疗领域专家数据为书籍A、报告B、论文C，其相似度标注结果为1。
与第一分类模型的训练目标一致，第二分类模型的训练目标也为最小化文本分类模型的损失函数，根据该损失函数对第二分类模型的参数进行调整。
4)在所述训练过程中，利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数，并利用文本分类模型的损失函数对所述第一分类模型和第二分类模型进行参数调整，得到由第一分类模型和第二分类模型构成的文本分类模型。
在本步骤中，首先构建上述两种模型在训练过程中使用的损失函数：
在通常情况下，不同模型根据其自身所对应的损失函数进行模型参数的调整。但是在垂直领域的文本分类中，例如说医疗文本，由于医疗文本自身的复杂性，使用单独的模型对其进行分类的效果不够好。因此，本发明通过建立一个新的损失函数，同时对上述两个模型的训练过程进行监督，从而提高文本分类的准确性。使用预设组合形式，对第一分类模型和第二分类模型的损失函数进行整合，以获取文本分类模型的损失函数。
在本实施例中，假设第一分类模型的损失函数为Qcls，第二分类模型的损失函数为Qmatch，则可以使用下面的公式得到文本分类模型的损失函数Loss：
Loss＝G(Qcls,Qmatch)
在公式中：Loss为文本分类模型的损失函数，Qcls为第一分类模型的损失函数，Qmatch为第二分类模型的损失函数，G为两类损失函数的组合形式。
下面对上述文本分类模型的损失函数可能的组合形式进行列举，即G可能存在的形式，可以理解的是，文本分类模型的损失函数并不限于以下所列举的组合形式：
Loss＝λ·Qcls+(1-λ)·Qmatch或者；
Loss＝λ·Qcls·Qmatch或者；
Loss＝λ·Q2 cls+(1-λ)·Q2 match
在公式中：Loss为文本分类模型的损失函数，Qcls为第一分类模型的损失函数，Qmatch为第二分类模型的损失函数，λ为权重参数。
因此，在上述步骤中对第一分类模型和第二分类模型的参数进行调整时，所使用的损失函数就是由上述公式所获取的Loss。在同时使用文本分类模型的损失函数对第一分类模型和第二分类模型的参数进行调整，能够使得两种模型所得到的结果更加准确。这是因为，在单独使用基于概率的文本分类模型时，虽然对于粗粒度的文本分类取得了很好的效果，但由于没有引入专家数据作为约束，在细粒度的领域分类还存在问题；而在单独使用基于相似度的分类模型时也存在缺陷，该模型没有利用文本的多元标签，仅仅利用二元标签(是否相似)进行文本的分类，从而导致模型的召回率较低。
例如，若输入的文本为医疗文本，该医疗文本是某道医学试题，利用第一分类模型得到该试题的类别为“药理学”，但第二分类模型却得到该试题与药理学的医疗领域专家数据不相似，因此无法判断哪个模型的输出为正确结果；但是，当第一分类模型得到该试题的类别为“药理学”，且第二分类模型得到该试题与药理学的医疗领域专家数据相似，则可以确定该医疗文本的分类为“药理学”。使得两个模型在训练过程中互相约束，所输出的分类结果一致，而这也是使用同一个损失函数对两个模型进行优化来获取文本分类模型的目的。
图2为本发明一实施例提供的一种文本分类的方法流程图，如图1中所示，所述方法包括：
在201中，获取待分类的文本。
在本步骤中，所获取的文本可以为各领域的文本，例如医学、科技、法律等领域。本发明以获取的待分类文本为医学领域的文本进行举例说明，例如所获取的文本可以为医学文献、电子病历文本、医学考试试题等。
在202中，基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵。
在本步骤中，对由步骤201所获取的医疗文本进行切词，获取对应该医疗文本的向量矩阵。其中，基于实体词典对文本的切词处理为基于医学实体词典对医疗文本进行切词，然后对切词结果进行词向量化处理，最后将词向量进行拼接处理，得到该医疗文本的向量矩阵。本步骤中进行的切词处理、词向量化处理以及拼接处理与上述步骤中对训练样本中的文本进行的处理过程一致，在此不再进行赘述。
在203中，将所述向量矩阵输入文本分类模型，根据所述文本分类模型的输出，得到该文本的分类结果。
在本步骤中，将由步骤202所得到的对应医疗文本的向量矩阵，输入预先训练得到的文本分类模型中，根据该文本分类模型的输出，得到该医疗文本的分类结果。
具体来说，在本步骤中由文本分类模型所得到的医疗文本的分类结果包括两部分：一部分是由第一分类模型得到的该医疗文本的分类结果，另一部分是由第二分类模型得到的该医疗文本与该医疗文本的分类所对应的医疗领域专家数据的相似度。
因此，利用上述方法能够实现对不同领域的文本进行更加精确地分类，可以用于实现自动地对不同领域的文本进行归类，例如对医疗文献、医学考试试题、电子病历的问诊信息等进行归类；另外，由于在模型的训练过程中引入了专家数据，因此利用本发明还能够根据分类结果，对不同领域的文本建立专家数据的索引，例如对医疗文献、医学考试试题等建立医疗领域专家数据的索引。
图3为本发明一实施例提供建立文本分类模型的装置结构图，如图3中所述，该装置包括：第一获取单元31、第二获取单元32、训练单元33。
第一获取单元31，用于获取训练样本，所述训练样本包括：文本及其对应的分类。
第一获取单元31所获取的训练样本中包括的医疗文本为已标注分类的医疗文本，即根据医疗文本的标注结果能够获得该医疗文本的分类。
第二获取单元32，用于基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵。
第二获取单元32首先基于实体词典对文本进行切词处理，然后对切词结果进行词向量化处理，最后将所得到的词向量进行拼接，从而得到文本的向量矩阵。
其中，实体词典为包含各领域专业名称的词典。第二获取单元32所使用的实体词典为医学实体词典，其包含有各种医学实体的专业名称，例如各种药品的名称、各种疾病的名称或者各种症状的名称等。同理可知，科技实体词典包含有各种科技实体的专业名称，法律词典包含有各种法律实体的专业名称。
第二获取单元32基于医学实体词典对医疗文本进行切词，能够有效地避免对医疗文本进行错误切词的情形，尽可能地保证对医疗文本进行正确地切词处理。
在对医疗文本进行切词处理后，第二获取单元32对切词结果进行词向量化处理，即将各词语表示为向量，可以使用例如Word2Vec、GloVe等方法将词语映射到向量。然后，第二获取单元32对所获得的向量进行拼接，从而得到对应医疗文本的向量矩阵。
训练单元33，用于利用所述文本对应的向量矩阵以及所述文本的分类，分别训练第一分类模型和第二分类模型。
训练单元33包括两个训练过程，下面对这两个训练过程分别描述：
(1)训练单元33可以采用如下方式，对第一分类模型进行训练：
训练单元33所训练的第一分类模型为基于概率的分类模型，其可以包括基于双向长度记忆单元和卷积神经网络组合的分类模型，也可以为双向长度记忆单元和深度神经网络组合的分类模型，还可以为卷积神经网络和深度神经网络组合的分类模型。
在训练单元33训练第一分类模型的时候，将医疗文本作为输入，医疗文本的分类作为输出，来训练第一分类模型。而第一分类模型的训练目标为最小化文本分类模型的损失函数。对于文本分类模型的损失函数将在下文详述。
(2)训练单元33可以采用以下方式，对第二分类模型进行训练：
训练单元33所训练的第二分类模型为基于相似度的分类模型，其可以包括基于深度神经网络的分类模型，还可以为基于卷积神经网络的分类模型。
在训练单元33训练第二分类模型的时候，将医疗文本以及与该医疗文本的分类对应的医疗领域专家数据作为输入，将该医疗文本与该医疗领域专家数据的相似度作为输出，来训练第二分类模型。
其中，专家数据为各专业领域相关的书籍、论文或者报告中的至少一种，并且各领域专家数据会预先标注分类，即通过标注可以得到该专家数据的分类。这是因为各种专业领域的书籍、报告或者论文都是由各领域专家编撰，其中包含有细粒度的章节、摘要、介绍等，可以将这些细粒度的章节、摘要等提取，以作为各领域专家数据标注的分类。
训练单元33使用的医疗领域专家数据即为与医疗领域相关的书籍、论文或者报告中的至少一种。例如在医疗领域专家数据中，标注为“药理学”的医疗领域专家数据可以包括书籍A、报告B、论文C等，标注为“呼吸科”的医疗领域专家数据可以包括书籍E、书籍F等。
此外，训练单元33所使用的与医疗文本对应的医疗领域专家数据，即为分类与医疗文本的分类一致的医疗领域专家数据。例如，若某医疗文本的分类为“药理学”，则与该医疗文本一致的医疗领域专家数据为书籍A、报告B、论文C，其相似度标注结果为1。
与第一分类模型的训练目标一致，训练单元33对第二分类模型的训练目标也为最小化文本分类模型的损失函数。
其中，在所述训练过程中，训练单元33利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数，并利用文本分类模型的损失函数对所述第一分类模型和第二分类模型进行参数调整，得到由第一分类模型和第二分类模型构成的文本分类模型。
训练单元33首先构建上述两种模型在训练过程中使用的损失函数。
训练单元33使用预设组合形式，对第一分类模型和第二分类模型的损失函数进行整合，以获取文本分类模型的损失函数。在本实施例中，假设第一分类模型的损失函数为Qcls，第二分类模型的损失函数为Qmatch，训练单元33则可以使用以下公式得到文本分类模型的损失函数Loss：
Loss＝G(Qcls,Qmatch)
在公式中：Loss为文本分类模型的损失函数，Qcls为第一分类模型的损失函数，Qmatch为第二分类模型的损失函数，G为两类损失函数的组合形式。
下面对上述文本分类模型的损失函数可能的组合形式进行列举，即G可能存在的形式，可以理解的是，文本分类模型的损失函数并不限于以下所列举的组合形式：
Loss＝λ·Qcls+(1-λ)·Qmatch或者；
Loss＝λ·Qcls·Qmatch或者；
Loss＝λ·Q2 cls+(1-λ)·Q2 match
在公式中：Loss为文本分类模型的损失函数，Qcls为第一分类模型的损失函数，Qmatch为第二分类模型的损失函数，λ为权重参数。
因此，训练单元33在对第一分类模型和第二分类模型的参数进行调整时，所使用的损失函数就是由上述公式所获取的Loss，在训练完毕后得到由第一分类模型和第二分类模型所构成的文本分类模型，使用该文本分类模型能够获取更为准确的文本分类的结果。
图4为本发明一实施例提供的文本分类的装置结构图，如图4中所示，该装置包括：第三获取单元41、第四获取单元42以及分类单元43。
第三获取单元41，用于获取待分类的文本。
第三获取单元41所获取的文本可以为各领域的文本，例如医学领域、科技领域、法律领域等。本实施例以获取的待分类文本为医学领域的文本进行举例说明，则第三获取单元41所获取的文本可以为医学文献、电子病历文本、医学考试试题等。
第四获取单元42，用于基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵。
第四获取单元42对由第三获取单元41所获取的医疗文本进行切词，获取对应该医疗文本的向量矩阵。具体地，第四获取单元42基于医学实体词典对医疗文本进行切词，然后对切词结果进行词向量化处理，最后将词向量进行拼接处理，得到该医疗文本的向量矩阵。第四获取单元42所进行的切词处理、词向量化处理以及拼接处理与上述第二获取单元32所进行处理的过程一致，在此不再进行赘述。
分类单元43，用于将所述向量矩阵输入文本分类模型，根据所述文本分类模型的输出，得到该文本的分类结果。
分类单元43将由第四获取单元42所得到的对应医疗文本的向量矩阵，输入预先训练得到的文本分类模型中，根据该文本分类模型的输出，得到该医疗文本的分类结果。
具体来说，分类单元43所得到的医疗文本的分类结果包括两部分：一部分是由第一分类模型得到的该医疗文本的分类结果，另一部分是由第二分类模型得到的该医疗文本与该医疗文本的分类所对应的医疗领域专家数据的相似度。
图5示出了适于用来实现本发明实施方式的示例性计算机系统/服务器012的框图。图5显示的计算机系统/服务器012仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统/服务器012以通用计算设备的形式表现。计算机系统/服务器012的组件可以包括但不限于：一个或者多个处理器或者处理单元016，系统存储器028，连接不同系统组件(包括系统存储器028和处理单元016)的总线018。
总线018表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器012典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器012访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器028可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)030和/或高速缓存存储器032。计算机系统/服务器012可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统034可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线018相连。存储器028可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块042的程序/实用工具040，可以存储在例如存储器028中，这样的程序模块042包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块042通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器012也可以与一个或多个外部设备014(例如键盘、指向设备、显示器024等)通信，在本发明中，计算机系统/服务器012与外部雷达设备进行通信，还可与一个或者多个使得用户能与该计算机系统/服务器012交互的设备通信，和/或与使得该计算机系统/服务器012能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口022进行。并且，计算机系统/服务器012还可以通过网络适配器020与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器020通过总线018与计算机系统/服务器012的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器012使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元016通过运行存储在系统存储器028中的程序，从而执行各种功能应用以及数据处理，例如实现一种建立文本分类模型的方法，可以包括：
获取训练样本，所述训练样本包括：文本及其对应的分类；
基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵；
利用所述文本对应的向量矩阵以及所述文本的分类，分别训练第一分类模型和第二分类模型；
在所述训练过程中，利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数，并利用文本分类模型的损失函数对所述第一分类模型和第二分类模型进行参数调整，得到由第一分类模型和第二分类模型构成的文本分类模型。
又或者例如实现一种文本分类的方法，可以包括：
获取待分类的文本；
基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵；
将所述向量矩阵输入文本分类模型，根据所述文本分类模型的输出，得到该文本的分类结果。
上述的计算机程序可以设置于计算机存储介质中，即该计算机存储介质被编码有计算机程序，该程序在被一个或多个计算机执行时，使得一个或多个计算机执行本发明上述实施例中所示的方法流程和/或装置操作。例如，被上述一个或多个处理器执行的方法流程，可以包括：
获取训练样本，所述训练样本包括：文本及其对应的分类；
基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵；
利用所述文本对应的向量矩阵以及所述文本的分类，分别训练第一分类模型和第二分类模型；
在所述训练过程中，利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数，并利用文本分类模型的损失函数对所述第一分类模型和第二分类模型进行参数调整，得到由第一分类模型和第二分类模型构成的文本分类模型。
或者还可以包括：
获取待分类的文本；
基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵；
将所述向量矩阵输入文本分类模型，根据所述文本分类模型的输出，得到该文本的分类结果。
随着时间、技术的发展，介质含义越来越广泛，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载等。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
利用本发明所提供的技术方案，通过使用新构造的损失函数来整合两个分类模型以得到文本分类模型，从而在使用该文本分类模型进行文本分类时，能够提高文本分类的效果。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (19)

1.一种建立文本分类模型的方法，其特征在于，所述方法包括：
获取训练样本，所述训练样本包括：文本及其对应的分类；
基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵；
利用所述文本对应的向量矩阵以及所述文本的分类，分别训练第一分类模型和第二分类模型；
在所述训练过程中，利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数，并利用文本分类模型的损失函数对所述第一分类模型和第二分类模型进行参数调整，得到由第一分类模型和第二分类模型构成的文本分类模型。
2.根据权利要求1所述的方法，其特征在于，所述文本分类模型用于医疗文本的分类。
3.根据权利要求1所述的方法，其特征在于，所述第一分类模型和第二分类模型的训练目标为最小化所述文本分类模型的损失函数。
4.根据权利要求1所述的方法，其特征在于，所述第一分类模型为基于概率的分类模型。
5.根据权利要求4所述的方法，其特征在于，所述第一分类模型包括基于双向长度记忆单元和卷积神经网络组合的分类模型。
6.根据权利要求4所述的方法，其特征在于，训练第一分类模型包括：
将所述文本作为输入，所述文本的分类作为输出，训练第一分类模型。
7.根据权利要求1所述的方法，其特征在于，所述第二分类模型为基于相似度的分类模型。
8.根据权利要求7所述的方法，其特征在于，所述第二分类模型包括基于深度神经网络的分类模型。
9.根据权利要求7所述的方法，其特征在于，训练第二分类模型包括：
将所述文本以及与该文本的分类对应的专家数据作为输入，将文本与专家数据的相似度作为输出，训练第二分类模型。
10.根据权利要求1所述的方法，其特征在于，所述利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数包括：
使用预设组合形式，对第一分类模型的损失函数以及第二分类模型的损失函数进行整合，得到文本分类模型的损失函数。
11.一种文本分类的方法，其特征在于，所述方法包括：
获取待分类的文本；
基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵；
将所述向量矩阵输入文本分类模型，根据所述文本分类模型的输出，得到该文本的分类结果；
其中，所述文本分类模型根据如权利要求1至10任一权项所述的方法预先建立。
12.一种建立文本分类模型的装置，其特征在于，所述装置包括：
第一获取单元，用于获取训练样本，所述训练样本包括：文本及其对应的分类；
第二获取单元，用于基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵；
训练单元，用于利用所述文本对应的向量矩阵以及所述文本的分类，分别训练第一分类模型和第二分类模型；其中，在所述训练过程中，利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数，并利用文本分类模型的损失函数对所述第一分类模型和第二分类模型进行参数调整，得到由第一分类模型和第二分类模型构成的文本分类模型。
13.根据权利要求12所述的装置，其特征在于，所述训练单元在训练第一分类模型和第二分类模型的目标为最小化所述文本分类模型的损失函数。
14.根据权利要求12所述的装置，其特征在于，所述训练单元在训练第一分类模型时，具体执行：
将所述文本作为输入，所述文本的分类作为输出，训练第一分类模型。
15.根据权利要求12所述的装置，其特征在于，所述训练单元在训练第二分类模型时，具体执行：
将所述文本以及与该文本的分类对应的专家数据作为输入，将文本与专家数据的相似度作为输出，训练第二分类模型。
16.根据权利要求12所述的装置，其特征在于，所述训练单元在利用第一分类模型的损失函数以及所述第二分类模型的损失函数得到文本分类模型的损失函数时，具体执行：
使用预设组合形式，对第一分类模型的损失函数以及第二分类模型的损失函数进行整合，得到文本分类模型的损失函数。
17.一种文本分类的装置，其特征在于，所述装置包括：
第三获取单元，用于获取待分类的文本；
第四获取单元，用于基于实体词典对所述文本进行切词后，获取所述文本对应的向量矩阵；
分类单元，用于将所述向量矩阵输入文本分类模型，根据所述文本分类模型的输出，得到该文本的分类结果；
其中，所述文本分类模型根据如权利要求12至16任一权项所述的装置预先建立。
18.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。
19.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-11中任一所述的方法。
CN201710882685.0A 2017-09-26 2017-09-26 建立文本分类模型以及文本分类的方法、装置 Active CN107908635B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710882685.0A CN107908635B (zh) 2017-09-26 2017-09-26 建立文本分类模型以及文本分类的方法、装置
US16/116,710 US10783331B2 (en) 2017-09-26 2018-08-29 Method and apparatus for building text classification model, and text classification method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710882685.0A CN107908635B (zh) 2017-09-26 2017-09-26 建立文本分类模型以及文本分类的方法、装置

Publications (2)

Publication Number Publication Date
CN107908635A CN107908635A (zh) 2018-04-13
CN107908635B true CN107908635B (zh) 2021-04-16

Family

ID=61840268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710882685.0A Active CN107908635B (zh) 2017-09-26 2017-09-26 建立文本分类模型以及文本分类的方法、装置

Country Status (2)

Country Link
US (1) US10783331B2 (zh)
CN (1) CN107908635B (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908635B (zh) * 2017-09-26 2021-04-16 百度在线网络技术（北京）有限公司 建立文本分类模型以及文本分类的方法、装置
CN108629377A (zh) * 2018-05-10 2018-10-09 北京达佳互联信息技术有限公司 一种分类模型的损失值获取方法及装置
CN108766545B (zh) * 2018-05-31 2023-10-03 平安医疗科技有限公司 在线问诊科室分配方法、装置、计算机设备和存储介质
CN109255025A (zh) * 2018-08-01 2019-01-22 华中科技大学鄂州工业技术研究院 一种短文本分类方法
CN110969181A (zh) * 2018-09-30 2020-04-07 北京国双科技有限公司 数据推送方法及装置
CN111199170B (zh) * 2018-11-16 2022-04-01 长鑫存储技术有限公司 配方文件识别方法及装置、电子设备、存储介质
CN109597888A (zh) * 2018-11-19 2019-04-09 北京百度网讯科技有限公司 建立文本领域识别模型的方法、装置
CN109918499A (zh) * 2019-01-14 2019-06-21 平安科技（深圳）有限公司 一种文本分类方法、装置、计算机设备及存储介质
CN109886211B (zh) * 2019-02-25 2022-03-01 北京达佳互联信息技术有限公司 数据标注方法、装置、电子设备及存储介质
CN111723198B (zh) * 2019-03-18 2023-09-01 北京汇钧科技有限公司 一种文本情绪识别方法、装置及存储介质
US11210470B2 (en) * 2019-03-28 2021-12-28 Adobe Inc. Automatic text segmentation based on relevant context
CN110263328B (zh) * 2019-05-22 2024-01-23 平安国际智慧城市科技股份有限公司 一种学科能力类型标注方法、装置、存储介质及终端设备
CN110334209A (zh) * 2019-05-23 2019-10-15 平安科技（深圳）有限公司 文本分类方法、装置、介质及电子设备
CN110321557A (zh) * 2019-06-14 2019-10-11 广州多益网络股份有限公司 一种文本分类方法、装置、电子设备及存储介质
US11676034B2 (en) * 2019-06-27 2023-06-13 The Nielsen Company (Us), Llc Initialization of classification layers in neural networks
CN110717333B (zh) * 2019-09-02 2024-01-16 平安科技（深圳）有限公司 文章摘要自动生成方法、装置及计算机可读存储介质
CN110781677B (zh) * 2019-10-12 2023-02-07 深圳平安医疗健康科技服务有限公司 药品信息匹配处理方法、装置、计算机设备和存储介质
CN111090748A (zh) * 2019-12-18 2020-05-01 广东博智林机器人有限公司 一种文本分类方法、装置、网络及存储介质
CN111222330B (zh) * 2019-12-26 2022-07-12 中国电力科学研究院有限公司 一种中文事件的检测方法和系统
CN111145913B (zh) * 2019-12-30 2024-02-20 讯飞医疗科技股份有限公司 基于多重注意力模型的分类方法、装置及设备
CN111209740B (zh) * 2019-12-31 2023-08-15 中移（杭州）信息技术有限公司 文本模型训练方法、文本纠错方法、电子设备及存储介质
CN111259112B (zh) * 2020-01-14 2023-07-04 北京百度网讯科技有限公司 医疗事实的验证方法和装置
CN111460162B (zh) * 2020-04-11 2021-11-02 科技日报社 一种文本分类方法、装置、终端设备及计算机可读存储介质
CN111625645B (zh) * 2020-05-14 2023-05-23 北京字节跳动网络技术有限公司 文本生成模型的训练方法、装置和电子设备
CN111738014B (zh) * 2020-06-16 2023-09-08 北京百度网讯科技有限公司 一种药物分类方法、装置、设备及存储介质
CN111737429B (zh) * 2020-06-16 2023-11-03 平安科技（深圳）有限公司 训练方法、ai面试方法及相关设备
CN111507099A (zh) * 2020-06-19 2020-08-07 平安科技（深圳）有限公司 文本分类方法、装置、计算机设备及存储介质
CN111753543B (zh) * 2020-06-24 2024-03-12 北京百度网讯科技有限公司 药物推荐方法、装置、电子设备及存储介质
CN111767405B (zh) * 2020-07-30 2023-12-08 腾讯科技（深圳）有限公司 文本分类模型的训练方法、装置、设备及存储介质
CN112073757B (zh) * 2020-08-13 2023-01-24 北京奇艺世纪科技有限公司 情绪波动指数获取方法、显示方法及多媒体内容制作方法
CN112035660A (zh) * 2020-08-14 2020-12-04 海尔优家智能科技（北京）有限公司 基于网络模型的对象类别确定方法及装置
CN112507186A (zh) * 2020-11-27 2021-03-16 北京数立得科技有限公司 网页元素分类方法
CN112579775B (zh) * 2020-12-21 2022-11-22 国网福建省电力有限公司经济技术研究院 非结构化文本的分类方法及计算机可读存储介质
CN113010669B (zh) * 2020-12-24 2022-06-21 华戎信息产业有限公司 一种新闻分类方法和系统
CN112905736B (zh) * 2021-01-27 2023-09-19 郑州轻工业大学 一种基于量子理论的无监督文本情感分析方法
CN112836049B (zh) * 2021-01-28 2023-04-07 杭州网易智企科技有限公司 一种文本分类方法、装置、介质和计算设备
CN112966109B (zh) * 2021-03-09 2023-04-18 北京邮电大学 一种多层级的中文文本的分类方法及其系统
CN113111183A (zh) * 2021-04-20 2021-07-13 通号（长沙）轨道交通控制技术有限公司 一种牵引供电设备缺陷等级分类方法
CN113378950A (zh) * 2021-06-22 2021-09-10 深圳市查策网络信息技术有限公司 一种长文本的无监督分类方法
CN113673222B (zh) * 2021-07-12 2022-09-20 华南理工大学 基于双向协同网络的社交媒体文本细粒度情感分析方法
CN114880462A (zh) * 2022-02-25 2022-08-09 北京百度网讯科技有限公司 医用文档的分析方法、装置、设备以及存储介质
CN114676255A (zh) * 2022-03-29 2022-06-28 腾讯科技（深圳）有限公司 文本处理方法、装置、设备、存储介质及计算机程序产品
CN116257623B (zh) * 2022-09-07 2023-11-28 中债金科信息技术有限公司 文本情感分类模型训练方法、文本情感分类方法及设备
CN116340510B (zh) * 2023-02-14 2023-10-24 北京数美时代科技有限公司 一种文本分类变体召回的优化方法、系统、介质及设备
CN116975296A (zh) * 2023-09-22 2023-10-31 北京数语科技有限公司 一种基于词向量的数据安全分类方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106169075A (zh) * 2016-07-11 2016-11-30 北京小米移动软件有限公司 身份验证方法及装置
CN106709568A (zh) * 2016-12-16 2017-05-24 北京工业大学 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN107133220A (zh) * 2017-06-07 2017-09-05 东南大学 一种地理学科领域命名实体识别方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137898A (en) * 1997-08-28 2000-10-24 Qualia Computing, Inc. Gabor filtering for improved microcalcification detection in digital mammograms
US6925432B2 (en) * 2000-10-11 2005-08-02 Lucent Technologies Inc. Method and apparatus using discriminative training in natural language call routing and document retrieval
US7707129B2 (en) * 2006-03-20 2010-04-27 Microsoft Corporation Text classification by weighted proximal support vector machine based on positive and negative sample sizes and weights
US8478748B2 (en) * 2008-09-24 2013-07-02 Microsoft Corporation Directly optimizing evaluation measures in learning to rank
CN104484322A (zh) * 2010-09-24 2015-04-01 新加坡国立大学 用于自动化文本校正的方法和系统
US8856050B2 (en) * 2011-01-13 2014-10-07 International Business Machines Corporation System and method for domain adaption with partial observation
US8892488B2 (en) * 2011-06-01 2014-11-18 Nec Laboratories America, Inc. Document classification with weighted supervised n-gram embedding
US10042845B2 (en) * 2014-10-31 2018-08-07 Microsoft Technology Licensing, Llc Transfer learning for bilingual content classification
US10296846B2 (en) * 2015-11-24 2019-05-21 Xerox Corporation Adapted domain specific class means classifier
US20170308790A1 (en) * 2016-04-21 2017-10-26 International Business Machines Corporation Text classification by ranking with convolutional neural networks
WO2018126325A1 (en) * 2017-01-06 2018-07-12 The Toronto-Dominion Bank Learning document embeddings with convolutional neural network architectures
US10268646B2 (en) * 2017-06-06 2019-04-23 Facebook, Inc. Tensor-based deep relevance model for search on online social networks
CN107908635B (zh) * 2017-09-26 2021-04-16 百度在线网络技术（北京）有限公司 建立文本分类模型以及文本分类的方法、装置
US10540446B2 (en) * 2018-01-31 2020-01-21 Jungle Disk, L.L.C. Natural language generation using pinned text and multiple discriminators
US10885277B2 (en) * 2018-08-02 2021-01-05 Google Llc On-device neural networks for natural language understanding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106169075A (zh) * 2016-07-11 2016-11-30 北京小米移动软件有限公司 身份验证方法及装置
CN106709568A (zh) * 2016-12-16 2017-05-24 北京工业大学 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN107133220A (zh) * 2017-06-07 2017-09-05 东南大学 一种地理学科领域命名实体识别方法

Also Published As

Publication number Publication date
CN107908635A (zh) 2018-04-13
US10783331B2 (en) 2020-09-22
US20190095432A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
CN107908635B (zh) 建立文本分类模型以及文本分类的方法、装置
CN107291828B (zh) 基于人工智能的口语查询解析方法、装置及存储介质
CN107992596B (zh) 一种文本聚类方法、装置、服务器和存储介质
US11769111B2 (en) Probabilistic language models for identifying sequential reading order of discontinuous text segments
US11748232B2 (en) System for discovering semantic relationships in computer programs
CN106897439B (zh) 文本的情感识别方法、装置、服务器以及存储介质
US10372821B2 (en) Identification of reading order text segments with a probabilistic language model
US10884893B2 (en) Detecting software build errors using machine learning
CN107644011B (zh) 用于细粒度医疗实体提取的系统和方法
CN107729300B (zh) 文本相似度的处理方法、装置、设备和计算机存储介质
CN110276023B (zh) Poi变迁事件发现方法、装置、计算设备和介质
CN112015859A (zh) 文本的知识层次抽取方法及装置、计算机设备及可读介质
US10902326B2 (en) Relation extraction using co-training with distant supervision
CN109684634B (zh) 情感分析方法、装置、设备及存储介质
CN107221328B (zh) 修改源的定位方法及装置、计算机设备及可读介质
CN111079432B (zh) 文本检测方法、装置、电子设备及存储介质
CN111144120A (zh) 一种训练语句的获取方法、装置、存储介质及电子设备
US9870351B2 (en) Annotating embedded tables
CN111488742B (zh) 用于翻译的方法和装置
CN112749547A (zh) 文本分类器训练数据的产生
CN111597800B (zh) 同义句的获取方法及装置、设备及存储介质
CN111143556A (zh) 软件功能点自动计数方法、装置、介质及电子设备
US11630869B2 (en) Identification of changes between document versions
CN113947086A (zh) 样本数据生成方法、训练方法、语料生成方法和装置
CN112989050B (zh) 一种表格分类方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant