CN107273357A - 基于人工智能的分词模型的修正方法、装置、设备和介质 - Google Patents

基于人工智能的分词模型的修正方法、装置、设备和介质 Download PDF

Info

Publication number
CN107273357A
CN107273357A CN201710449945.5A CN201710449945A CN107273357A CN 107273357 A CN107273357 A CN 107273357A CN 201710449945 A CN201710449945 A CN 201710449945A CN 107273357 A CN107273357 A CN 107273357A
Authority
CN
China
Prior art keywords
model
participle
model parameter
word segmentation
training corpus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710449945.5A
Other languages
English (en)
Other versions
CN107273357B (zh
Inventor
郑利群
詹金波
肖求根
付志宏
何径舟
周古月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710449945.5A priority Critical patent/CN107273357B/zh
Publication of CN107273357A publication Critical patent/CN107273357A/zh
Priority to US15/934,496 priority patent/US10664659B2/en
Application granted granted Critical
Publication of CN107273357B publication Critical patent/CN107273357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种基于人工智能的分词模型的修正方法、装置、设备和介质。所述方法包括：获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到设定泛化特征的模型参数；根据分词模型的模型参数和设定泛化特征的模型参数对第一训练语料进行分词处理，得到分词结果；根据设定规则比较分词结果与第一训练语料，依据比较结果修正分词模型的模型参数和神经网络参数。本发明实施例的技术方案实现了简便和快速地扩展已有分词模型的泛化能力，准确地获取具有泛化性的分词结果，同时，还是可以依据该泛化性的分词结果对已有分词模型进行修正，增加已有分词模型的模型参数的准确度。

Description

基于人工智能的分词模型的修正方法、装置、设备和介质
技术领域
本发明实施例涉及分词处理技术领域，尤其涉及一种基于人工智能的分词模型的修正方法、装置、设备和介质。
背景技术
人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
中文分词指的是将一个汉字序列切分成一个一个单独的词。中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到电脑自动识别语句含义的效果。
现有的分词模型一般为基于统计的分词模型或基于词典的分词模型，这两种分词模型的泛化能力一般较差，即便是具有一定泛化能力的基于统计的有监督分词模型，由于人工标注语料较少，因此该分词模型较小，容易导致泛化错误。现有技术中一般通过使用泛化特征向量重新训练分词模型的方法获得具有一定泛化能力的分词模型。
重新训练分词模型不但费时费力，而且难以保证分词的质量。
发明内容
有鉴于此，本发明实施例提供了一种基于人工智能的分词模型的修正方法、装置、设备和介质，以解决现有技术中增加分词模型泛化能力的方法费时费力，且难以保证分词质量的技术缺陷。
在第一方面，本发明实施例提供了一种基于人工智能的分词模型的修正方法，包括：
获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到所述设定泛化特征的模型参数；
根据所述分词模型的模型参数和所述设定泛化特征的模型参数对所述第一训练语料进行分词处理，得到分词结果；
根据设定规则比较所述分词结果与所述第一训练语料，依据比较结果修正所述分词模型的模型参数和所述神经网络参数。
在第二方面，本发明实施例提供了一种基于人工智能的分词模型的修正装置，包括：
模型参数获取模块，用于获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到所述设定泛化特征的模型参数；
分词处理模块，用于根据所述分词模型的模型参数和所述设定泛化特征的模型参数对所述第一训练语料进行分词处理，得到分词结果；
模型参数修正模块，用于根据设定规则比较所述分词结果与所述第一训练语料，依据比较结果修正所述分词模型的模型参数和所述神经网络参数。
在第三方面，本发明实施例提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所述的基于人工智能的分词模型的修正方法。
在第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述的基于人工智能得的分词模型的修正方法。
本发明实施例提供了一种基于人工智能的分词模型的修正方法、装置、设备和介质，通过先获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到设定泛化特征的模型参数，然后根据分词模型的模型参数和设定泛化特征的模型参数对第一训练语料进行分词处理，得到分词结果，最后根据设定规则比较分词结果与第一训练语料，依据比较结果修正分词模型的模型参数和神经网络参数，解决了现有技术中增加分词模型泛化能力的方法费时费力，且难以保证分词质量的技术缺陷，实现了简便和快速地扩展已有分词模型的泛化能力，准确地获取具有泛化性的分词结果，同时，还是可以依据该泛化性的分词结果对已有分词模型进行修正，增加已有分词模型的模型参数的准确度。
附图说明
图1是本发明实施例一提供的一种基于人工智能的分词模型的修正方法的流程图；
图2是本发明实施例二提供的一种基于人工智能的分词模型的修正方法的流程图；
图3是本发明实施例三提供的一种基于人工智能的分词模型的修正方法的流程图；
图4是本发明实施例四提供的一种基于人工智能的分词模型的修正装置的结构图；
图5是本发明实施例五中的一种设备的结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种基于人工智能的分词模型的修正方法的流程图，本实施例的方法可以由基于人工智能的分词模型的修正装置来执行，该装置可通过硬件和/或软件的方式实现，并一般可集成于设备中。本实施例的方法具体包括：
110、获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到设定泛化特征的模型参数。
在本实施例中，分词模型具体是指可用于对文本进行分词处理的模型。
在本实施例中，第一训练语料具体可以是人工标注的训练语料等。
在本实施例中，设定泛化特征具体可以是统计词向量特征，可以是词组统计特征，还可以是词典词向量特征等泛化特征。
其中，统计词向量特征具体是指通过使用词向量工具训练大规模的语料得到的词向量特征，典型的统计词向量特征可以是：两字统计词向量特征或三字统计词向量特征等，统计词向量特征的维数典型的可以是50维等；词组统计特征具体可以是词组的频次、左邻熵、右邻熵、左邻接数、右邻接数或逐点互信息等，典型的词组统计特征可以是：两字词组统计特征或三字词组统计特征等；词典词向量特征具体是指利用词典生成的词组特征向量，典型的词典词向量特征可以是：两字词典词向量特征或三字词典词向量特征等。
在本实施例中，可以选取一种泛化特征作为设定泛化特征，也可以同时选取多种泛化特征作为设定泛化特征。在一个具体的例子中，当选取一种泛化特征作为设定泛化特征时，对应的特征向量为50维的特征向量；当选取两种泛化特征作为设定泛化特征时，对应的特征向量为55维的特征向量，也就是说，当选取的泛化特征的种类有所增加时，对应的特征向量的维度不是成倍增加的，而是将增加的泛化特征对应的特征向量与原有的设定泛化特征的特征向量融合生成新的特征向量。
在本实施例中，神经网络参数的初始数值是随机赋予的，将设定泛化特征的特征向量输入至神经网络的输入层，神经网络根据输入的设定泛化特征的特征向量、内部各个节点间的连接权重以及内部各个节点的偏置项等数值，计算得到与设定泛化特征的特征向量对应的设定泛化特征的模型参数，由于此过程属于现有技术，因此在此不再进行详细阐述。
120、根据分词模型的模型参数和设定泛化特征的模型参数对第一训练语料进行分词处理，得到分词结果。
在本实施例中，对第一训练语料进行分词处理的方法具体可以是：先从分词模型的模型参数提取出第一转移矩阵，根据分词模型的模型参数和第一训练语料获取发射矩阵，再根据设定泛化特征的模型参数获取第二发射矩阵和第二转移矩阵，其中第二转移矩阵是通过对第一转移矩阵修正得到的，然后将第一发射矩阵和第二发射矩阵相加得到第三发射矩阵，最后对第三发射矩阵和第二转移矩阵进行马尔可夫解码操作，获的分词结果等。
130、根据设定规则比较分词结果与第一训练语料，依据比较结果修正分词模型的模型参数和神经网络参数。
在本实施例中，设定规则具体可以是随机梯度下降法等。具体而言，本步骤130的具体过程可以是：使用随机梯度下降法对分词结果和第一训练语料进行比对，获取优化信息，然后根据优化信息分别对分词模型的模型参数以及神经网络参数进行修正，该过程属于现有技术，在此不再进行详细阐述。
本发明实施例一提供了一种基于人工智能的分词模型的修正方法，通过先获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到设定泛化特征的模型参数，然后根据分词模型的模型参数和设定泛化特征的模型参数对第一训练语料进行分词处理，得到分词结果，最后根据设定规则比较分词结果与第一训练语料，依据比较结果修正分词模型的模型参数和神经网络参数，解决了现有技术中增加分词模型泛化能力的方法费时费力，且难以保证分词质量的技术缺陷，实现了简便和快速地扩展已有分词模型的泛化能力，准确地获取具有泛化性的分词结果，同时，还是可以依据该泛化性的分词结果对已有分词模型进行修正，增加已有分词模型的模型参数的准确度。
实施例二
图2是本发明实施例二提供的一种基于人工智能的分词模型的修正方法的流程图。本实施例以上述实施例为基础进行优化，在本实施例中，将根据分词模型的模型参数和设定泛化特征的模型参数对第一训练语料进行分词处理，得到分词结果，具体化为：根据分词模型的模型参数和第一训练语料，获得第一发射矩阵和第一转移矩阵，根据设定泛化特征的模型参数和第一训练语料，获得第二发射矩阵和第二转移矩阵；根据第一发射矩阵和第二发射矩阵，生成第三发射矩阵；根据第三发射矩阵和第二转移矩阵对第一训练语料进行分词处理，得到分词结果。
进一步地，将根据第一发射矩阵和第二发射矩阵，生成第三发射矩阵，具体化为：将第一发射矩阵和第二发射矩阵相加，生成第三发射矩阵。
进一步地，将根据设定规则比较分词结果与第一训练语料，依据比较结果修正分词模型的模型参数和神经网络参数，具体化为：根据设定规则比较分词结果与第一训练语料，得到比较结果；降低分词模型的学习率；依据比较结果修正降低学习率后的分词模型的模型参数和神经网络参数。
相应的，本实施例的方法具体包括：
210、获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到设定泛化特征的模型参数。
220、根据分词模型的模型参数和第一训练语料，获得第一发射矩阵和第一转移矩阵，根据设定泛化特征的模型参数和第一训练语料，获得第二发射矩阵和第二转移矩阵。
在本实施例中，第一转移矩阵具体可以是从分词模型的模型参数中直接提取的，第一转移矩阵是一个4×4的矩阵，其中的数值表明了汉字标签间的转移概率，其中，汉字标签具体为开头字、中间字、结束字以及单字词组这四种标签，第一转移矩阵中的四行从上到下依次对应开头字、中间字、结束字以及单字词，四列从左到右依次对应开头字、中间字、结束字以及单字词，举例来说，第一转移矩阵的第一行第三列的数值表示从“开头字”转变为“结束字”的概率。
在本实施例中，第一发射矩阵是由分词模型的模型参数和第一训练语料生成的。第一发射矩阵为4行n列矩阵，其中，四行从上到下依次对应开头字、中间字、结束字以及单字词组，n列从左至右依次对应本次进行分词的语句的第一个字至最后一个字，其中，本次进行分词的语句为第一训练语料中的语句。
一般来说，分词模型在对待分词语料进行分词的过程中，不是一次将所有内容进行分词处理的，而是分多次进行分词处理的，这样可以减少分词过程中发射矩阵包含的数据量，进而减少内存的占用空间，比如每一次可以对待分词语料中的一行文字或多行文字进行分词处理。
同样的，在本实施例中，第二发射矩阵是由设定泛化特征的模型参数和第一训练语料生成的。第二发射矩阵为4行n列矩阵，其中，四行从上到下依次对应开头字、中间字、结束字以及单字词组，n列从左至右依次对应本次进行分词的语句的第一个字至最后一个字，其中，本次进行分词的语句为第一训练语料中的语句。
在本实施例中，第二转移矩阵是根据设定泛化特征的模型参数对第一转移矩阵进行修正得到的。
230、将第一发射矩阵和第二发射矩阵相加，生成第三发射矩阵。
在本实施例中，将第一发射矩阵和第二发射矩阵中对应位置的数值相加求和，生成了第三发射矩阵。
240、根据第三发射矩阵和第二转移矩阵对第一训练语料进行分词处理，得到分词结果。
在本实施例中，对第三发射矩阵和第二转移矩阵进行马尔可夫解码操作，得到第一分词结果，此过程属于现有技术，在此不再进行详细阐述。
250、根据设定规则比较分词结果与第一训练语料，得到比较结果。
260、降低分词模型的学习率。
一般来说，分词模型的模型参数中有一个参数是用来表示该分词模型的学习率的，该参数的数值越大，该分词模型每次学习的过程中，对模型参数的单词修正数值就越大。
在本实施例中，降低分词模型的学习率具体而言就是将该分词模型中用于表示学习率的参数的数值减小，典型的可以是减小为原数值的五分之或十分之一等。
270、依据比较结果修正降低学习率后的分词模型的模型参数和神经网络参数。
本发明实施例二提供了一种基于人工智能的分词模型的修正方法，具体化了第一训练语料进行分词处理的过程，可以获得准确的分词结果，同时，还具体化了模型参数的修正过程，通过降低分词模型的学习率减小模型参数的改变量。利用该方法，可以通过生成具有一定泛化能力的第三发射矩阵和第二转移矩阵，使得第一训练语料的分词结果更加准确，同时，还可以合理控制泛化特征对应分词模型的模型参数的影响程度，并且可以通过对泛化特征的选取解决分词中的垂类问题。
实施例三
图3是本发明实施例三提供的一种基于人工智能的分词模型的修正方法的流程图。本实施例以上述实施例为基础进行优化，在本实施例中，将获取分词模型的模型参数，具体化为：通过结构化感知机对第二训练语料进行训练，得到一字词向量、两字词向量和第三转移矩阵；根据一字词向量、两字词向量和第三转移矩阵生成分词模型的模型参数。
进一步地，在通过结构化感知机对第二训练语料进行训练，得到一字词向量、两字词向量和第三转移矩阵之前，还包括：获取基于统计的无监督分词模型；使用无监督的分词模型对大量语料进行分词处理，得到第二训练语料。
相应的，本实施例的方法具体包括：
310、获取基于统计的无监督分词模型。
在本实施例中，步骤310和步骤320是获取第二训练语料的过程，首先需要获取用于生成第二训练语料的分词模型，在本实施例中获取的是基于统计的无监督分词模型。另外，在本实施例中，获取其他分词模型也是可以的，只要该分词模型具有较高的分词准确度即可。
320、使用无监督的分词模型对大量语料进行分词处理，得到第二训练语料。
在本实施例中，大量语料具体是指通用文本，例如新闻文本、小说文本等，而不是专业领域的文本。
330、通过结构化感知机对第二训练语料进行训练，得到一字词向量、两字词向量和第三转移矩阵。
在本实施例中，一字词向量具体是指第二训练语料中出现的单个汉字的词向量，典型的可以是12维的一字词向量。两字的词向量具体是指第二训练语料中出现的两字词组的词向量，典型的可以是16维的两字词向量。
在一个具体的例子中，“我”字的12维的一字词向量为[A1 A2 A3 A4 A5 A6 A7 A8A9 A10 A11 A12]，其中，A1至A4分别为在第二训练语料中“我”字前面的字的标签分别为开头字、中间字、结束字和单字词组的权值，A5至A8分别为在第二训练语料中“我”字的标签分别为开头字、中间字、结束字和单字词组的权值，A9至A12分别为在第二训练语料中“我”字后面的字的标签分别为开头字、中间字、结束字和单字词组的权值。
在一个具体的例子中，“喜欢”词组的16维的两字词向量为[B1 B2 B3 B4 B5 B6B7 B8 B9 B10 B11 B12 B13 B14 B15 B16]，其中，B1至B4分别为在第二训练语料中“喜欢”这一词组前面的字的标签分别为开头字、中间字、结束字和单字词组的权值，B5至B8分别为在第二训练语料中“喜欢”这一词组中“喜”字的标签分别为开头字、中间字、结束字和单字词组的权值，B9至B12分别为在第二训练语料中“喜欢”这一词组中“欢”字的标签分别为开头字、中间字、结束字和单字词组的权值，B13至B16分别为在第二训练语料中“喜欢”这一词组中后面的字的标签分别为开头字、中间字、结束字和单字词组的权值。
本领域技术人员可以理解的是，通过使用结构化感知机对语料进行训练，不但可以得到一字词向量和两字词向量，同时也可以得到三字词向量、四字词向量等多种多字词向量，由于在生成与词向量对应的发射矩阵时，需要参照所有词向量的数值，因此，如果词向量过多，会大大降低分词的处理速度，因此，在本实施例中，在综合考虑计算速度和计算准确度的前提下，只生成了一字词向量和两字词向量用于之后的分词处理。
在本实施例中，在使用结构化感知机对第二训练语料进行训练，得到一字词向量和两字词向量的同时，还会得到第三转移矩阵。第三转移矩阵是一个4×4的矩阵，其中的数值表明了汉字标签间的转移概率，其中，汉字标签具体为开头字、中间字、结束字和单字词组这四种标签，分别用b、m、e和s表示，第三转移矩阵中的四行从上到下依次对应开头字、中间字、结束字和单字词组，四列从左到有也是依次对应开头字、中间字、结束字和单字词组，举例来说，第三转移矩阵的第二行第四列的数值表示从“中间字”转变为“单字词组”的概率。
340、根据一字词向量、两字词向量和第三转移矩阵生成分词模型的模型参数。
在本实施例中，一字词向量、两字词向量以及第三转移矩阵共同构成了分词模型的模型参数。
350、通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到设定泛化特征的模型参数。
360、根据分词模型的模型参数和设定泛化特征的模型参数对第一训练语料进行分词处理，得到分词结果。
370、根据设定规则比较分词结果与第一训练语料，依据比较结果修正分词模型的模型参数和神经网络参数。
在本实施例中，根据比较结果修正分词模型的模型参数具体是指修正步骤330所生成的一字词向量、两字词向量和第三转移矩阵中的数值。
本发明实施例三提供了一种基于人工智能的分词模型的修正方法，具体化了分词模型的模型参数的获取方法并优化增加了第二训练语料的获取方法。利用该方法可以通过对大量的训练语料进行训练而得到稳定性和一致性较好的分词模型的模型参数，同时，可以根据比较结果不断地对分词模型的模型参数和神经网络参数进行修正，以使分词模型的模型参数和神经网络参数更加合理，分词结果更加准确。
实施例四
图4是本发明实施例四提供的一种基于人工智能的分词模型的修正装置的结构图。如图4所示，所述装置包括：模型参数获取模块401、分词处理模块402以及模型参数修正模块403。其中：
模型参数获取模块401，用于获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到设定泛化特征的模型参数；
分词处理模块402，用于根据分词模型的模型参数和设定泛化特征的模型参数对第一训练语料进行分词处理，得到分词结果；
模型参数修正模块403，用于根据设定规则比较分词结果与第一训练语料，依据比较结果修正分词模型的模型参数和神经网络。
本发明实施例四提供了一种基于人工智能的分词模型的修正装置，通过先获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到设定泛化特征的模型参数，然后根据分词模型的模型参数和设定泛化特征的模型参数对第一训练语料进行分词处理，得到分词结果，最后根据设定规则比较分词结果与第一训练语料，依据比较结果修正分词模型的模型参数和神经网络参数，解决了现有技术中增加分词模型泛化能力的方法费时费力，且难以保证分词质量的技术缺陷，实现了简便和快速地扩展已有分词模型的泛化能力，准确地获取具有泛化性的分词结果，同时，还是可以依据该泛化性的分词结果对已有分词模型进行修正，增加已有分词模型的模型参数的准确度。
在上述各实施例的基础上，分词处理模块可以包括：
矩阵获取单元，用于根据分词模型的模型参数和第一训练语料，获得第一发射矩阵和第一转移矩阵，根据设定泛化特征的模型参数和第一训练语料，获得第二发射矩阵和第二转移矩阵；
矩阵生成单元，用于根据第一发射矩阵和第二发射矩阵，生成第三发射矩阵；
分词单元，用于根据第三发射矩阵和第二转移矩阵对第一训练语料进行分词处理，得到分词结果。
在上述各实施例的基础上，矩阵生成单元具体可以用于：
将第一发射矩阵和第二发射矩阵相加，生成第三发射矩阵。
在上述各实施例的基础上，模型参数获取模块可以包括：
特征向量获取单元，用于通过结构化感知机对第二训练语料进行训练，得到一字词向量、两字词向量和第三转移矩阵；
分词模型参数获取单元，用于根据一字词向量、两字词向量和第三转移矩阵生成分词模型的模型参数；
在上述各实施例的基础上，模型参数获取模块还可以包括：
无监督分词模型获取单元，用于在通过结构化感知机对第二训练语料进行训练，得到一字词向量、两字词向量和第三转移矩阵之前，获取基于统计的无监督分词模型；
第二训练语料获取单元，用于使用无监督的分词模型对大量语料进行分词处理，得到第二训练语料。
在上述各实施例的基础上，模型参数修正模块可以包括：
结果比较单元，用于根据设定规则比较分词结果与第一训练语料，得到比较结果；
学习率降低单元，用于降低分词模型的学习率；
参数修正单元，用于依据比较结果修正降低学习率后的分词模型的模型参数和神经网络参数。
在上述各实施例的基础上，设定泛化特征可以包括下述至少一项：
词向量特征、两字统计特征、三字统计特征和词典特征。
本发明实施例所提供的基于人工智能的分词模型的修正装置可用于执行本发明任意实施例提供的基于人工智能的分词模型的修正方法，具备相应的功能模块，实现相同的有益效果。
实施例五
图5为本发明实施例五提供的一种设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性设备12的框图。图5显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的基于人工智能的分词模型的修正方法，所述基于人工智能的分词模型的修正方法包括：
获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到所述设定泛化特征的模型参数；
根据所述分词模型的模型参数和所述设定泛化特征的模型参数对所述第一训练语料进行分词处理，得到分词结果；
根据设定规则比较所述分词结果与所述第一训练语料，依据比较结果修正所述分词模型的模型参数和所述神经网络参数。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明实施例所述的基于人工智能的分词模型的修正方法，所述基于人工智能的分词模型的修正方法包括：
获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到所述设定泛化特征的模型参数；
根据所述分词模型的模型参数和所述设定泛化特征的模型参数对所述第一训练语料进行分词处理，得到分词结果；
根据设定规则比较所述分词结果与所述第一训练语料，依据比较结果修正所述分词模型的模型参数和所述神经网络参数。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于人工智能的分词模型的修正方法，其特征在于，包括：
获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到所述设定泛化特征的模型参数；
根据所述分词模型的模型参数和所述设定泛化特征的模型参数对所述第一训练语料进行分词处理，得到分词结果；
根据设定规则比较所述分词结果与所述第一训练语料，依据比较结果修正所述分词模型的模型参数和所述神经网络参数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述分词模型的模型参数和所述设定泛化特征的模型参数对所述第一训练语料进行分词处理，得到分词结果，包括：
根据所述分词模型的模型参数和所述第一训练语料，获得第一发射矩阵和第一转移矩阵，根据所述设定泛化特征的模型参数和所述第一训练语料，获得第二发射矩阵和第二转移矩阵；
根据所述第一发射矩阵和所述第二发射矩阵，生成第三发射矩阵；
根据所述第三发射矩阵和所述第二转移矩阵对所述第一训练语料进行分词处理，得到分词结果。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一发射矩阵和所述第二发射矩阵，生成第三发射矩阵，包括：
将所述第一发射矩阵和所述第二发射矩阵相加，生成第三发射矩阵。
4.根据权利要求1所述的方法，其特征在于，所述获取分词模型的模型参数，包括：
通过结构化感知机对第二训练语料进行训练，得到一字词向量、两字词向量和第三转移矩阵；
根据所述一字词向量、所述两字词向量和所述第三转移矩阵生成分词模型的模型参数。
5.根据权利要求4所述的方法，其特征在于，在所述通过结构化感知机对第二训练语料进行训练，得到一字词向量、两字词向量和第三转移矩阵之前，包括：
获取基于统计的无监督分词模型；
使用所述无监督的分词模型对大量语料进行分词处理，得到所述第二训练语料。
6.根据权利要求1所述的方法，其特征在于，所述根据设定规则比较所述分词结果与所述第一训练语料，依据比较结果修正所述分词模型的模型参数和所述神经网络参数，包括：
根据设定规则比较所述分词结果与所述第一训练语料，得到比较结果；
降低所述分词模型的学习率；
依据比较结果修正降低学习率后的所述分词模型的模型参数和所述神经网络参数。
7.根据权利要求1所述的方法，其特征在于，所述设定泛化特征包括下述至少一项：
词向量特征、两字统计特征、三字统计特征和词典特征。
8.一种基于人工智能的分词模型的修正装置，其特征在于，包括：
模型参数获取模块，用于获取分词模型的模型参数，同时，通过神经网络对第一训练语料的设定泛化特征对应的特征向量进行训练得到所述设定泛化特征的模型参数；
分词处理模块，用于根据所述分词模型的模型参数和所述设定泛化特征的模型参数对所述第一训练语料进行分词处理，得到分词结果；
模型参数修正模块，用于根据设定规则比较所述分词结果与所述第一训练语料，依据比较结果修正所述分词模型的模型参数和所述神经网络参数。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的基于人工智能的分词模型的修正方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于人工智能的分词模型的修正方法。
CN201710449945.5A 2017-06-14 2017-06-14 基于人工智能的分词模型的修正方法、装置、设备和介质 Active CN107273357B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710449945.5A CN107273357B (zh) 2017-06-14 2017-06-14 基于人工智能的分词模型的修正方法、装置、设备和介质
US15/934,496 US10664659B2 (en) 2017-06-14 2018-03-23 Method for modifying segmentation model based on artificial intelligence, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710449945.5A CN107273357B (zh) 2017-06-14 2017-06-14 基于人工智能的分词模型的修正方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN107273357A true CN107273357A (zh) 2017-10-20
CN107273357B CN107273357B (zh) 2020-11-10

Family

ID=60067711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710449945.5A Active CN107273357B (zh) 2017-06-14 2017-06-14 基于人工智能的分词模型的修正方法、装置、设备和介质

Country Status (2)

Country Link
US (1) US10664659B2 (zh)
CN (1) CN107273357B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832302A (zh) * 2017-11-22 2018-03-23 北京百度网讯科技有限公司 分词处理方法、装置、移动终端及计算机可读存储介质
CN107832301A (zh) * 2017-11-22 2018-03-23 北京百度网讯科技有限公司 分词处理方法、装置、移动终端及计算机可读存储介质
CN107918605A (zh) * 2017-11-22 2018-04-17 北京百度网讯科技有限公司 分词处理方法、装置、移动终端及计算机可读存储介质
CN108038108A (zh) * 2017-12-27 2018-05-15 东软集团股份有限公司 分词模型训练方法和装置、及存储介质
CN109800298A (zh) * 2019-01-29 2019-05-24 苏州大学 一种基于神经网络的中文分词模型的训练方法
CN110019648A (zh) * 2017-12-05 2019-07-16 深圳市腾讯计算机系统有限公司 一种训练数据的方法、装置及存储介质
CN113378562A (zh) * 2020-03-10 2021-09-10 中国移动通信集团辽宁有限公司 分词处理方法、装置、计算设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930561A (zh) * 2010-05-21 2010-12-29 电子科技大学 一种基于N-Gram分词模型的反向神经网络垃圾邮件过滤装置
CN103077164A (zh) * 2012-12-27 2013-05-01 新浪网技术(中国)有限公司 文本分析方法及文本分析器
US20130204606A1 (en) * 2010-08-09 2013-08-08 Institute Of Automation, Chinese Academy Of Sciences Method for labeling semantic role of bilingual parallel sentence pair
US20140012569A1 (en) * 2012-07-03 2014-01-09 National Taiwan Normal University System and Method Using Data Reduction Approach and Nonlinear Algorithm to Construct Chinese Readability Model
CN104462758A (zh) * 2014-11-03 2015-03-25 百度在线网络技术（北京）有限公司 观测字符串的标注序列生成方法及装置
CN104715024A (zh) * 2015-03-03 2015-06-17 湖北光谷天下传媒股份有限公司 一种多媒体热点分析方法
CN104951433A (zh) * 2015-06-24 2015-09-30 北京京东尚科信息技术有限公司 基于上下文进行意图识别的方法和系统
CN105068999A (zh) * 2015-08-14 2015-11-18 浪潮集团有限公司 一种修正实体词识别的方法和装置
CN105404621A (zh) * 2015-09-25 2016-03-16 中国科学院计算技术研究所 一种用于盲人读取汉字的方法及系统
US20160247068A1 (en) * 2013-11-01 2016-08-25 Tencent Technology (Shenzhen) Company Limited System and method for automatic question answering
CN106844345A (zh) * 2017-02-06 2017-06-13 厦门大学 一种基于参数线性约束的多任务分词方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160125439A1 (en) * 2014-10-31 2016-05-05 The Nielsen Company (Us), Llc Methods and apparatus to correct segmentation errors
CN105701120B (zh) * 2014-11-28 2019-05-03 华为技术有限公司 确定语义匹配度的方法和装置
US10437556B2 (en) * 2017-07-31 2019-10-08 Allegro Artificial Intelligence Ltd Quota management in a dataset management system
US11003992B2 (en) * 2017-10-16 2021-05-11 Facebook, Inc. Distributed training and prediction using elastic resources
US10824907B2 (en) * 2017-12-07 2020-11-03 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
US10878576B2 (en) * 2018-02-14 2020-12-29 Elekta, Inc. Atlas-based segmentation using deep-learning
US11593552B2 (en) * 2018-03-21 2023-02-28 Adobe Inc. Performing semantic segmentation of form images using deep learning

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930561A (zh) * 2010-05-21 2010-12-29 电子科技大学 一种基于N-Gram分词模型的反向神经网络垃圾邮件过滤装置
US20130204606A1 (en) * 2010-08-09 2013-08-08 Institute Of Automation, Chinese Academy Of Sciences Method for labeling semantic role of bilingual parallel sentence pair
US20140012569A1 (en) * 2012-07-03 2014-01-09 National Taiwan Normal University System and Method Using Data Reduction Approach and Nonlinear Algorithm to Construct Chinese Readability Model
CN103077164A (zh) * 2012-12-27 2013-05-01 新浪网技术(中国)有限公司 文本分析方法及文本分析器
US20160247068A1 (en) * 2013-11-01 2016-08-25 Tencent Technology (Shenzhen) Company Limited System and method for automatic question answering
CN104462758A (zh) * 2014-11-03 2015-03-25 百度在线网络技术（北京）有限公司 观测字符串的标注序列生成方法及装置
CN104715024A (zh) * 2015-03-03 2015-06-17 湖北光谷天下传媒股份有限公司 一种多媒体热点分析方法
CN104951433A (zh) * 2015-06-24 2015-09-30 北京京东尚科信息技术有限公司 基于上下文进行意图识别的方法和系统
CN105068999A (zh) * 2015-08-14 2015-11-18 浪潮集团有限公司 一种修正实体词识别的方法和装置
CN105404621A (zh) * 2015-09-25 2016-03-16 中国科学院计算技术研究所 一种用于盲人读取汉字的方法及系统
CN106844345A (zh) * 2017-02-06 2017-06-13 厦门大学 一种基于参数线性约束的多任务分词方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIU KAIYING 等: "Research of automatic Chinese word segmentation", 《PROCEEDINGS. INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND CYBERNETICS》 *
PAPAVASSILIOU VASSILIS 等: "Handwritten document image segmentation into text lines and words", 《PATTERN RECOGNITION》 *
郭振: "汉语依存句法分析技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
黎航宇: "跨领域、跨风格命名实体识别技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832302A (zh) * 2017-11-22 2018-03-23 北京百度网讯科技有限公司 分词处理方法、装置、移动终端及计算机可读存储介质
CN107832301A (zh) * 2017-11-22 2018-03-23 北京百度网讯科技有限公司 分词处理方法、装置、移动终端及计算机可读存储介质
CN107918605A (zh) * 2017-11-22 2018-04-17 北京百度网讯科技有限公司 分词处理方法、装置、移动终端及计算机可读存储介质
CN107918605B (zh) * 2017-11-22 2021-08-20 北京百度网讯科技有限公司 分词处理方法、装置、移动终端及计算机可读存储介质
CN107832302B (zh) * 2017-11-22 2021-09-17 北京百度网讯科技有限公司 分词处理方法、装置、移动终端及计算机可读存储介质
CN110019648A (zh) * 2017-12-05 2019-07-16 深圳市腾讯计算机系统有限公司 一种训练数据的方法、装置及存储介质
CN110019648B (zh) * 2017-12-05 2021-02-02 深圳市腾讯计算机系统有限公司 一种训练数据的方法、装置及存储介质
CN108038108A (zh) * 2017-12-27 2018-05-15 东软集团股份有限公司 分词模型训练方法和装置、及存储介质
CN109800298A (zh) * 2019-01-29 2019-05-24 苏州大学 一种基于神经网络的中文分词模型的训练方法
CN113378562A (zh) * 2020-03-10 2021-09-10 中国移动通信集团辽宁有限公司 分词处理方法、装置、计算设备及存储介质
CN113378562B (zh) * 2020-03-10 2023-09-19 中国移动通信集团辽宁有限公司 分词处理方法、装置、计算设备及存储介质

Also Published As

Publication number Publication date
US20180365208A1 (en) 2018-12-20
US10664659B2 (en) 2020-05-26
CN107273357B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN107273357A (zh) 基于人工智能的分词模型的修正方法、装置、设备和介质
CN110032648B (zh) 一种基于医学领域实体的病历结构化解析方法
CN110750959B (zh) 文本信息处理的方法、模型训练的方法以及相关装置
CN107423274A (zh) 基于人工智能的比赛解说内容生成方法、装置及存储介质
CN108920622A (zh) 一种意图识别的训练方法、训练装置和识别装置
CN108648020A (zh) 用户行为量化方法、系统、设备及存储介质
CN108335313A (zh) 图像分割方法及装置
CN107590134A (zh) 文本情感分类方法、存储介质及计算机
CN109192300A (zh) 智能问诊方法、系统、计算机设备和存储介质
US20160012330A1 (en) Neural network and method of neural network training
CN107273356A (zh) 基于人工智能的分词方法、装置、服务器和存储介质
CN107193805A (zh) 基于人工智能的文章价值评估方法、装置及存储介质
CN107220235A (zh) 基于人工智能的语音识别纠错方法、装置及存储介质
CN108052499A (zh) 基于人工智能的文本纠错方法、装置及计算机可读介质
CN107291692A (zh) 基于人工智能的分词模型的定制方法、装置、设备和介质
US20180365594A1 (en) Systems and methods for generative learning
CN108334910A (zh) 一种事件检测模型训练方法以及事件检测方法
CN111159414A (zh) 文本分类方法及系统、电子设备、计算机可读存储介质
CN107807915A (zh) 基于纠错平台的纠错模型建立方法、装置、设备和介质
CN109033073B (zh) 基于词汇依存三元组的文本蕴含识别方法及装置
CN111191461B (zh) 一种基于课程学习的远程监督关系抽取方法
CN110457470A (zh) 一种文本分类模型学习方法及装置
CN112507663A (zh) 基于文本的判断题生成方法、装置、电子设备及存储介质
CN112420205A (zh) 实体识别模型生成方法、装置及计算机可读存储介质
CN113779988A (zh) 一种通信领域过程类知识事件抽取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant