CN112487826A - 信息抽取方法、抽取模型训练方法、装置以及电子设备 - Google Patents
信息抽取方法、抽取模型训练方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN112487826A CN112487826A CN202011375463.8A CN202011375463A CN112487826A CN 112487826 A CN112487826 A CN 112487826A CN 202011375463 A CN202011375463 A CN 202011375463A CN 112487826 A CN112487826 A CN 112487826A
- Authority
- CN
- China
- Prior art keywords
- text
- enhanced
- training
- input
- input text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 139
- 238000000605 extraction Methods 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims description 45
- 239000013598 vector Substances 0.000 claims abstract description 99
- 238000012937 correction Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 230000002457 bidirectional effect Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 235000020095 red wine Nutrition 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 241000723353 Chrysanthemum Species 0.000 description 2
- 235000007516 Chrysanthemum Nutrition 0.000 description 2
- 244000037364 Cinnamomum aromaticum Species 0.000 description 2
- 235000014489 Cinnamomum aromaticum Nutrition 0.000 description 2
- 244000269722 Thea sinensis Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000008719 thickening Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 235000014101 wine Nutrition 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开公开了信息抽取方法、抽取模型训练方法、装置以及电子设备，涉及知识图谱技术领域。具体实现方案为：获取输入文本；根据所述输入文本，确定所述输入文本的语义向量；将所述输入文本的语义向量输入至预先获取的抽取模型，获得所述输入文本的第一增强文本，所述第一增强文本为所述抽取模型输出的文本得分大于预设阈值的文本。抽取模型根据输入文本的语义向量进行文本抽取，由于语义向量具有丰富的上下文语义，可使得抽取模型抽取到的增强文本更加符合输入文本的语境。
Description
技术领域
本公开涉及人工智能领域中的知识图谱技术领域。具体地，提供了一种信息抽取方法、抽取模型训练方法、装置以及电子设备。
背景技术
内容样式增强可为对网页或文本中的特定内容进行自动样式增强，内容样式增强作为信息提取的工具，还可以应用到其他自然语言处理任务中，如内容摘要提取、卖点提取等领域。
内容样式增强可识别并抽取出原始文本中的具有强吸引力的核心片段，然后对该核心片段加以特定样式进行呈现，以增强吸引力。
发明内容
本公开提供了一种信息抽取方法、抽取模型训练方法、装置以及电子设备。
根据本公开的第一方面，提供了一种信息抽取方法，包括：
获取输入文本；
根据所述输入文本，确定所述输入文本的语义向量；
将所述输入文本的语义向量输入至预先获取的抽取模型，获得所述输入文本的第一增强文本。
根据本公开的第二方面，提供了一种抽取模型训练方法，包括：
获取训练样本，所述训练样本包括训练文本，以及所述训练文本的标注；
根据所述训练样本，确定所述训练样本的语义向量；
利用所述训练样本的语义向量对基础模型进行训练，得到抽取模型，所述抽取模型的输入包括输入文本的语义向量，所述抽取模型的输出包括所述输入文本的第一增强文本。
根据本公开的第三方面，提供了一种信息抽取装置，包括：
第一获取模块，用于获取输入文本；
确定模块，用于根据所述输入文本，确定所述输入文本的语义向量；
第二获取模块，用于将所述输入文本的语义向量输入至预先获取的抽取模型，获得所述输入文本的第一增强文本。
根据本公开的第四方面，提供了一种抽取模型训练装置，包括：
获取模块，用于获取训练样本，所述训练样本包括训练文本，以及所述训练文本的标注；
确定模块，用于根据所述训练样本，确定所述训练样本的语义向量；
训练模块，用于利用所述训练样本的语义向量对基础模型进行训练，得到抽取模型，所述抽取模型的输入包括输入文本的语义向量，所述抽取模型的输出包括所述输入文本的第一增强文本。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面任一项所述的方法，或者，以使所述至少一个处理器能够执行第二方面任一项所述的方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面任一项所述的方法，或者，所述计算机指令用于使所述计算机执行第二方面任一项所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开实施例提供的信息抽取方法的一流程图；
图2是本公开实施例提供的信息抽取方法的另一流程图；
图3是本公开实施例提供的抽取模型训练方法的流程图；
图4是本公开实施例提供的信息抽取装置的结构图；
图5是本公开实施例提供的抽取模型训练装置的结构图；
图6是用来实现本公开实施例的信息抽取方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
参见图1，图1是本公开实施例提供的信息抽取方法的流程图，如图1所示，本实施例提供一种信息抽取方法，包括以下步骤：
步骤101、获取输入文本。
输入文本可理解为一段文字，输入文本为需要进行增强文本抽取的文本。输入文本可为从网页、落地页上获取的文本，例如从落地页标题上获取的文本，或者根据图像识别技术从网页快照或者图像上获取的文本，例如，从广告文案图像中获取的文本。
步骤102、根据所述输入文本，确定所述输入文本的语义向量。
在确定输入文本的语义向量时，可采用神经网络模型来做，例如，采用来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers，BERT)来确定输入文本的语义向量。
步骤103、将所述输入文本的语义向量输入至预先获取的抽取模型，获得所述输入文本的第一增强文本，所述第一增强文本为所述抽取模型输出的文本得分大于预设阈值的文本。
抽取模型预先训练完成，抽取模型对文本得分大于预设阈值的文本进行输出，可使得第一增强文本包括的文本个数不限于一个，预设阈值可根据实际情况进行设置，在此不做限定。抽取模型基于语义向量进行分析，获得输入文本的一个或多个文本的文本得分，将文本得分大于预设阈值的文本进行输出。
若大于预设阈值的文本有多个，则输出多个文本，第一增强文本包括这多个文本。若大于预设阈值的文本有一个，则输出一个文本，第一增强文本包括该文本。
第一增强文本可理解为体现输入文本核心语义的文本，或者，第一增强文本为输入文本中更需要受到关注的文本。在获取到第一增强文本后，可对输入文本中第一增强文本采用高亮，或者加粗，或者标红等样式增强处理，使得第一增强文本的显示较为醒目，例如，若输入文本来自于广告文案图像，则可根据第一增强文本，对广告文案中的第一增强文本进行样式增强处理，以突出信息，增加广告吸引力。
本实施例中，获取输入文本；根据所述输入文本，确定所述输入文本的语义向量；将所述输入文本的语义向量输入至预先获取的抽取模型，获得所述输入文本的第一增强文本，所述第一增强文本为所述抽取模型输出的文本得分大于预设阈值的文本。抽取模型根据输入文本的语义向量进行文本抽取，由于语义向量具有丰富的上下文语义，可使得抽取模型抽取到的增强文本更加符合输入文本的语境。
上述中，在步骤103、将所述输入文本的语义向量输入至预先获取的抽取模型，获得所述输入文本的第一增强文本之后，所述方法还包括：
根据所述输入文本对所述第一增强文本进行边界校正，获得目标增强文本。
抽取模型输出的第一增强文本的边界划分可能会不准确，例如，输入文本“高度数红酒，果味十足，多一度的优雅”，获取的第一增强文本为“高度数红”，“红”这个边界不准确，正确的边界是“酒”，此种情况下，需要根据输入文本对第一增强文本进行边界校正，确定正确的边界，从而获得目标增强文本。上述中，经过校正之后，获得的目标增强文本为“高度数红酒”。
上述中，根据所述输入文本对所述第一增强文本进行边界校正，以进一步对第一增强文本的准确性进行校正，可使得目标增强文本具有正确的边界，使得目标增强文本更加符合实际情况，提高目标增强文本的准确性。
在对第一增强文本进行边界校正时，可先对输入文本进行切词处理，获得切词结果，然后根据切词结果对第一增强文本的首位和末位进行边界校正，即：
所述根据所述输入文本对所述第一增强文本进行边界校正，确定目标增强文本，包括：
对所述输入文本进行切词，获得切词结果；
根据所述切词结果，对所述第一增强文本的首位和末位进行边界校正，获得所述目标增强文本。
例如，对于输入文本“高度数红酒，果味十足，多一度的优雅”进行切词，获得的切词结果为“高”、“度数”、“红酒”、“果味”、“十足”、“多”、“一度”、“的”和“优雅”，第一增强文本为“高度数红”，则采用输入文本的切词结果对第一增强文本两端的字符“高”和“红”进行校正，获得目标增强文本，以提高目标增强文本的准确性。
在根据所述切词结果，对所述第一增强文本的首位和末位进行边界校正，获得所述目标增强文本，包括：
若所述第一增强文本的首位或末位与所述切词结果不匹配，则按照所述切词结果对所述第一增强文本的首位或末位进行补齐，获得所述目标增强文本。
第一增强文本的首位或末位与所述切词结果不匹配，可以理解为若切词结果中不包括第一增强文本的首位，则按照切词结果对第一增强文本的首位进行补齐；若切词结果中不包括第一增强文本的末位，则按照切词结果对第一增强文本的末位进行补齐。例如，上述示例中，第一增强文本的首位字符为“高”，输入文本的切词结果包括切词边界为“高”的首位，则第一增强文本的首位的边界正确，不需要进行边界校正；第一增强文本的末位字符为“红”，输入文本的切词结果不包括切词边界为“红”的末位，则第一增强文本的末位的边界不正确，需要进行边界校正，则采用切词结果中的“红酒”对边界“红”进行校正，将第一增强文本中的字符“酒”补齐，获得的目标增强文本为“高度数红酒”。
上述中，若所述第一增强文本的首位或末位与所述切词结果不匹配，则按照所述切词结果对所述第一增强文本的首位或末位进行补齐，获得所述目标增强文本，以提高目标增强文本的准确性。
如图2所示，输入文本为“菊花决明子茶，今日特价1折抢购”，经过BERT模型获得输入文本的语义向量，然后语义向量依次经过双向长短期记忆(Bi-directional LongShort-Term Memory，Bi-LSTM)模型和条件随机场(Conditional Random Fields，CRF)层，CRF层的输出结果为第一增强文本，第一增强文本经过切词边界校正，获得目标增强文本“特价1折”，即图2中的虚线框所示部分为目标增强文本。抽取模型可采用级联的Bi-LSTM模型和CRF层。
通过采用训练样本对BERT模型进行微调，能够获得更好的词嵌入表示。采用训练样本对Bi-LSTM模型和CRF层进行训练的过程，也是对BERT模型进行微调的过程；与传统序列标注方法中用到的静态的词向量相比，抽取模型训练过程中引入了更多的上下文信息和位置信息，根据字的上下文动态生成语义向量，具有更加丰富的上下文语义，能够更好的解决增强歧义问题。对抽取模型输出的第一增强文本进行边界校正，能够使模型更好的贴合实际场景，进一步提升抽取模型准确率，为落地页领域中文本的自动样式增强提供了支撑。
上述中，所述根据所述输入文本，确定所述输入文本的语义向量，包括：
对所述输入文本中的每个字进行标识转换，获得标识序列，字与标识一一对应；
将所述标识序列输入至来自变换器的双向编码器表征量模型中，获得所述输入文本的语义向量。
具体的，对输入文本中的每个字进行转换，转换成标识序列，即对输入文本以字为单位进行标识解析。不同的字对应不同的标识，字与标识一一对应。标识可为数字或字符，在此不做限定。将输入文本转换成标识序列后，将标识序列输入至BERT中，获得输入文本的语义向量，输入文本中一个字对应一个语义向量。
BERT是一种以变换器(transformer)为基础结构的语言模型。通过自我注意(self-attention)机制，使每个词的特征向量(即语义向量)都可以充分考虑上下文信息。
BERT模型的训练方式主要有两种，通过随机遮蔽(mask)预设比例(如15％)的词来进行训练，如果模型对于遮蔽掉的词预测较准，则说明其训练的语义向量也相对较好。另一种是通过预测两个句子是否应该连在一起来进行训练。BERT在训练过程中不需要标签，有语料即可训练，因此可以使用大规模的数据集对其进行无监督训练。BERT模型需要庞大的语料数据与算力，BERT模型可从网络上下载训练好的模型，然后采用训练样本进行微调，获得最终的BERT模型。在采用训练样本对Bi-LSTM模型和CRF层进行训练的过程中，对BERT模型进行微调，获得最终的BERT模型。
输入到BERT模型的是标识序列。同样的，从抽取模型输出的也是标识形式的序列，进行标识转换，即将标识转换成对应的字，可获得第一增强文本。
本实施例中，采用来自变换器的双向编码器表征量模型来确定输入文本的语义向量，由于来自变换器的双向编码器表征量模型可根据字的上下文动态生成语义向量，使得获取的语义向量具有更加丰富的上下文语义，便于后续抽取模型基于语义向量进行文本抽取时，提高第一增强文本的准确率。
参见图3，图3是本公开实施例提供的抽取模型训练方法的流程图，如图3所示，本实施例提供一种抽取模型训练方法，包括以下步骤：
步骤201、获取训练样本，所述训练样本包括训练文本，以及所述训练文本的标注。
训练文本可以为从网页、落地页上获取的文本，例如从落地页标题上获取的文本，或者根据图像识别技术从网页快照或者图像上获取的文本，例如，从广告文案图像中获取的文本，增强文本为采用高亮，或者加粗，或者标红等样式增强处理的文本。
对训练文本进行标注，以将训练文本中的增强文本标注出来。例如，可通过IOB(I是指inside，内部；O是指outside，外部；B是指begn，开始)标签规则对训练文本进行标注，其中，用B标识增强文本的开头，I标识增强文本内部及结尾，O标识训练文本其他部分(即非增强文本部分)。例如，对于增强文本“特价1折”，将被标注为<B-COL，I-COL，I-COL，I-COL>，采用IOB标注后的训练文本作为训练样本对识别模型进行训练。
步骤202、根据所述训练样本，确定所述训练样本的语义向量。
在确定训练样本的语义向量时，可采用神经网络模型来做，例如，采用来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers，BERT)来确定训练样本的语义向量。将标注后的训练样本输入至BERT模型中，获得训练样本的语义向量。
进一步的，在输入到BERT模型之前，对训练文本中的每个字进行转换，转换成标识序列，不同的字对应不同的标识，字与标识一一对应。标识可为数字或字符，在此不做限定。将训练文本的标识序列和训练文本的标注一起输入至BERT模型中，获得训练文本的语义向量，训练文本中一个字对应一个语义向量。
步骤203、利用所述训练样本的语义向量对基础模型进行训练，得到抽取模型，所述抽取模型的输入包括输入文本的语义向量，所述抽取模型的输出包括所述输入文本的第一增强文本。
训练完成的抽取模型可对输入文本中的增强文本进行抽取，输出第一增强文本。即，抽取模型对文本得分大于预设阈值的文本进行输出，可使得第一增强文本包括的文本个数不限于一个，预设阈值可根据实际情况进行设置，在此不做限定。抽取模型基于语义向量进行分析，获得输入文本的一个或多个文本的文本得分，将文本得分大于预设阈值的文本进行输出。
若大于预设阈值的文本有多个，则输出多个文本，第一增强文本包括这多个文本。若大于预设阈值的文本有一个，则输出一个文本，第一增强文本包括该文本。
第一增强文本可理解为体现输入文本核心语义的文本，或者，第一增强文本为输入文本中更需要受到关注的文本。在获取到第一增强文本后，可对输入文本中第一增强文本采用高亮，或者加粗，或者标红等样式增强处理，使得第一增强文本的显示较为醒目，例如，若输入文本来自于广告文案图像，则可根据第一增强文本，对广告文案中的第一增强文本进行样式增强处理，以突出信息，增加广告吸引力。
基础模型可采用级联的Bi-LSTM模型和CRF层。将训练样本的语义向量，依次输入Bi-LSTM模型与CRF层，对Bi-LSTM模型与CRF层进行训练，通过状态矩阵与转移矩阵进行路径解码，以获得最优路径，其中，转移矩阵表示从某个标签转移至另一个标签的概率，训练完成后得到抽取模型。抽取模型基于语义向量进行分析，获得输入文本的一个或多个文本的文本得分，将文本得分大于预设阈值的文本进行输出，输出的文本即为第一增强文本。例如对于“菊花决明子茶，今日特价1折抢购”，抽取模型输出的第一增强文本为“特价1折”。
本实施例中，获取训练样本，所述训练样本包括训练文本，以及所述训练文本的标注；根据所述训练样本，确定所述训练样本的语义向量；利用所述训练样本的语义向量对基础模型进行训练，得到抽取模型，所述抽取模型的输入包括输入文本的语义向量，所述抽取模型的输出包括所述输入文本的第一增强文本。采用语义向量对抽取模型进行训练，由于语义向量具有丰富的上下文语义，可使得训练完成的抽取模型抽取到的增强文本更加符合输入文本的语境。
上述中，所述获取训练样本，包括：
对样本图像中的文本进行图像识别，获取所述初始样本；
对所述初始样本中的目标文本进行标注，获得训练样本，所述目标文本为所述样本图像中采用样式增强处理的文本。
具体的，初始样本可以通过对大量的样本图像，例如，广告文案图像进行识别获得，识别样本图像中的高亮、飘红、加粗等样式增强处理的文本作为增强文本，由于该识别过程可能不太准确，可采用人工检查的方式进一步对识别结果进行标注和修正，例如对增强文本进行标注和修正，对识别的文字进行修正等等。
初始样本包括训练文本以及训练文本中的目标文本，目标文本即样本图像中采用了样式增强处理的文本。对所述初始样本中的目标文本进行标注，以将目标文本标注出来。例如，可通过IOB(I是指inside，内部；O是指outside，外部；B是指begn，开始)标签规则对训练文本进行标注，其中，用B标识增强文本的开头，I标识增强文本内部及结尾，O标识训练文本其他部分(即非增强文本部分)。例如，对于增强文本“特价1折”，将被标注为<B-COL，I-COL，I-COL，I-COL>，采用IOB标注后的训练文本作为训练样本对识别模型进行训练。
本实施例中，对样本图像中的文本进行图像识别，获取所述初始样本；对所述初始样本中的目标文本进行标注，获得训练样本，所述目标文本为所述样本图像中采用样式增强处理的文本，以对抽取模型进行训练，使得抽取模型可对输入文本中的增强文本进行抽取，为落地页领域中文本的自动样式增强提供了支撑。
通过训练样本对Bi-LSTM模型和CRF层进行微调，能够获得更好的词嵌入表示；与传统序列标注方法中用到的静态的词向量相比，抽取模型训练过程中引入了更多的上下文信息和位置信息，根据字的上下文动态生成语义向量，具有更加丰富的上下文语义，能够更好的解决增强歧义问题。
参见图4，图4是本公开实施例提供的信息抽取装置的结构图，如图4所示，本实施例提供一种信息抽取装置400，包括：
第一获取模块401，用于获取输入文本；
确定模块402，用于根据所述输入文本，确定所述输入文本的语义向量；
第二获取模块403，用于将所述输入文本的语义向量输入至预先获取的抽取模型，获得所述输入文本的第一增强文本。
进一步的，信息抽取装置400还包括：
第三获取模块，用于根据所述输入文本对所述第一增强文本进行边界校正，获得目标增强文本。
进一步的，所述第三获取模块，包括：
切词子模块，用于对所述输入文本进行切词，获得切词结果；
第一获取子模块，用于根据所述切词结果，对所述第一增强文本的首位和末位进行边界校正，获得所述目标增强文本。
进一步的，所述第一获取子模块，用于：
若所述第一增强文本的首位或末位与所述切词结果不匹配，则按照所述切词结果对所述第一增强文本的首位或末位进行补齐，获得所述目标增强文本。
进一步的，所述确定模块402，包括：
第二获取子模块，用于对所述输入文本中的每个字进行标识转换，获得标识序列，字与标识一一对应；
第三获取子模块，用于将所述标识序列输入至来自变换器的双向编码器表征量模型中，获得所述输入文本的语义向量。
上述信息抽取装置400能够实现图1的方法实施例中的各个过程以及达到相同的技术效果，为避免重复，这里不再赘述。
本公开实施例的信息抽取装置400，获取输入文本；根据所述输入文本，确定所述输入文本的语义向量；将所述输入文本的语义向量输入至预先获取的抽取模型，获得所述输入文本的第一增强文本，所述第一增强文本为所述抽取模型输出的文本得分大于预设阈值的文本。抽取模型根据输入文本的语义向量进行文本抽取，由于语义向量具有丰富的上下文语义，可使得抽取模型抽取到的增强文本更加符合输入文本的语境。
参见图5，图5是本公开实施例提供的抽取模型训练装置的结构图，如图5所示，本实施例提供一种抽取模型训练装置500，包括：
获取模块501，用于获取训练样本，所述训练样本包括训练文本，以及所述训练文本的标注；
确定模块502，用于根据所述训练样本，确定所述训练样本的语义向量；
训练模块503，用于利用所述训练样本的语义向量对基础模型进行训练，得到抽取模型，所述抽取模型的输入包括输入文本的语义向量，所述抽取模型的输出包括所述输入文本的第一增强文本。
进一步的，所述获取模块501，包括：
获取子模块，用于对样本图像中的文本进行图像识别，获取所述初始样本；
标注子模块，用于对所述初始样本中的目标文本进行标注，获得训练样本，所述目标文本为所述样本图像中采用样式增强处理的文本。
上述抽取模型训练装置500能够实现图2的方法实施例中的各个过程以及达到相同的技术效果，为避免重复，这里不再赘述。
本公开实施例的抽取模型训练装置500，获取训练样本，所述训练样本包括训练文本，以及所述训练文本的标注；根据所述训练样本，确定所述训练样本的语义向量；利用所述训练样本的语义向量对基础模型进行训练，得到抽取模型，所述抽取模型的输入包括输入文本的语义向量，所述抽取模型的输出包括所述输入文本的第一增强文本。采用语义向量对抽取模型进行训练，由于语义向量具有丰富的上下文语义，可使得训练完成的抽取模型抽取到的增强文本更加符合输入文本的语境。
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
如图6所示，是根据本公开实施例的信息抽取的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器701为例。
存储器702即为本公开所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的信息抽取的方法。本公开的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的信息抽取的方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本公开实施例中的信息抽取的方法对应的程序指令/模块(例如，附图4所示的第一获取模块401、确定模块402和第二获取模块403)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的信息抽取的方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据信息抽取的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至信息抽取的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
信息抽取的方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与信息抽取的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
上述电子设备也可以为进行抽取模型训练的方法的电子设备。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
本公开中，获取输入文本；根据所述输入文本，确定所述输入文本的语义向量；将所述输入文本的语义向量输入至预先获取的抽取模型，获得所述输入文本的第一增强文本，所述第一增强文本为所述抽取模型输出的文本得分大于预设阈值的文本。抽取模型根据输入文本的语义向量进行文本抽取，由于语义向量具有丰富的上下文语义，可使得抽取模型抽取到的增强文本更加符合输入文本的语境。
根据所述输入文本对所述第一增强文本进行边界校正，以进一步对第一增强文本的准确性进行校正，可使得目标增强文本具有正确的边界，使得目标增强文本更加符合实际情况，提高目标增强文本的准确性。
采用输入文本的切词结果对第一增强文本两端的字符进行校正，获得目标增强文本，以提高目标增强文本的准确性。
若所述第一增强文本的首位或末位与所述切词结果不匹配，则按照所述切词结果对所述第一增强文本的首位或末位进行补齐，获得所述目标增强文本，以提高目标增强文本的准确性。
采用来自变换器的双向编码器表征量模型来确定输入文本的语义向量，由于来自变换器的双向编码器表征量模型可根据字的上下文动态生成语义向量，使得获取的语义向量具有更加丰富的上下文语义，便于后续抽取模型基于语义向量进行文本抽取时，提高第一增强文本的准确率。
获取训练样本，所述训练样本包括训练文本，以及所述训练文本的标注；根据所述训练样本，确定所述训练样本的语义向量；利用所述训练样本的语义向量对基础模型进行训练，得到抽取模型，所述抽取模型的输入包括输入文本的语义向量，所述抽取模型的输出包括所述输入文本的第一增强文本。采用语义向量对抽取模型进行训练，由于语义向量具有丰富的上下文语义，可使得训练完成的抽取模型抽取到的增强文本更加符合输入文本的语境。
对样本图像中的文本进行图像识别，获取所述初始样本；对所述初始样本中的目标文本进行标注，获得训练样本，所述目标文本为所述样本图像中采用样式增强处理的文本，以对抽取模型进行训练，使得抽取模型可对输入文本中的增强文本进行抽取，为落地页领域中文本的自动样式增强提供了支撑。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (16)
1.一种信息抽取方法，包括：
获取输入文本；
根据所述输入文本，确定所述输入文本的语义向量；
将所述输入文本的语义向量输入至预先获取的抽取模型，获得所述输入文本的第一增强文本。
2.根据权利要求1所述的方法，其中，在所述将所述输入文本的语义向量输入至预先获取的抽取模型，获得所述输入文本的第一增强文本之后，还包括：
根据所述输入文本对所述第一增强文本进行边界校正，获得目标增强文本。
3.根据权利要求2所述的方法，其中，所述根据所述输入文本对所述第一增强文本进行边界校正，确定目标增强文本，包括：
对所述输入文本进行切词，获得切词结果；
根据所述切词结果，对所述第一增强文本的首位和末位进行边界校正，获得所述目标增强文本。
4.根据权利要求3所述的方法，其中，所述根据所述切词结果，对所述第一增强文本的首位和末位进行边界校正，获得所述目标增强文本，包括：
若所述第一增强文本的首位或末位与所述切词结果不匹配，则按照所述切词结果对所述第一增强文本的首位或末位进行补齐，获得所述目标增强文本。
5.根据权利要求1所述的方法，其中，所述根据所述输入文本，确定所述输入文本的语义向量，包括：
对所述输入文本中的每个字进行标识转换，获得标识序列，字与标识一一对应；
将所述标识序列输入至来自变换器的双向编码器表征量模型中，获得所述输入文本的语义向量。
6.一种抽取模型训练方法，包括：
获取训练样本，所述训练样本包括训练文本，以及所述训练文本的标注；
根据所述训练样本，确定所述训练样本的语义向量；
利用所述训练样本的语义向量对基础模型进行训练，得到抽取模型，所述抽取模型的输入包括输入文本的语义向量，所述抽取模型的输出包括所述输入文本的第一增强文本。
7.根据权利要求6所述的方法，其中，所述获取训练样本，包括：
对样本图像中的文本进行图像识别，获取初始样本；
对所述初始样本中的目标文本进行标注，获得训练样本，所述目标文本为所述样本图像中采用样式增强处理的文本。
8.一种信息抽取装置，包括：
第一获取模块，用于获取输入文本；
确定模块，用于根据所述输入文本，确定所述输入文本的语义向量；
第二获取模块，用于将所述输入文本的语义向量输入至预先获取的抽取模型，获得所述输入文本的第一增强文本。
9.根据权利要求8所述的装置，其中，还包括：
第三获取模块，用于根据所述输入文本对所述第一增强文本进行边界校正，获得目标增强文本。
10.根据权利要求9所述的装置，其中，所述第三获取模块，包括：
切词子模块，用于对所述输入文本进行切词，获得切词结果；
第一获取子模块，用于根据所述切词结果，对所述第一增强文本的首位和末位进行边界校正，获得所述目标增强文本。
11.根据权利要求10所述的装置，其中，所述第一获取子模块，用于：
若所述第一增强文本的首位或末位与所述切词结果不匹配，则按照所述切词结果对所述第一增强文本的首位或末位进行补齐，获得所述目标增强文本。
12.根据权利要求8所述的装置，其中，所述确定模块，包括：
第二获取子模块，用于对所述输入文本中的每个字进行标识转换，获得标识序列，字与标识一一对应；
第三获取子模块，用于将所述标识序列输入至来自变换器的双向编码器表征量模型中，获得所述输入文本的语义向量。
13.一种抽取模型训练装置，包括：
获取模块，用于获取训练样本，所述训练样本包括训练文本，以及所述训练文本的标注；
确定模块，用于根据所述训练样本，确定所述训练样本的语义向量；
训练模块，用于利用所述训练样本的语义向量对基础模型进行训练，得到抽取模型，所述抽取模型的输入包括输入文本的语义向量，所述抽取模型的输出包括所述输入文本的第一增强文本。
14.根据权利要求13所述的装置，其中，所述获取模块，包括：
获取子模块，用于对样本图像中的文本进行图像识别，获取初始样本；
标注子模块，用于对所述初始样本中的目标文本进行标注，获得训练样本，所述目标文本为所述样本图像中采用样式增强处理的文本。
15.一种电子设备，其中，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法，或者，以使所述至少一个处理器能够执行权利要求6或7中所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法，或者，所述计算机指令用于使所述计算机执行权利要求6或7所述的方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011375463.8A CN112487826A (zh) | 2020-11-30 | 2020-11-30 | 信息抽取方法、抽取模型训练方法、装置以及电子设备 |
| EP21179348.4A EP3879427A3 (en) | 2020-11-30 | 2021-06-14 | Information extraction method, extraction model training method, apparatus and electronic device |
| US17/348,306 US12079580B2 (en) | 2020-11-30 | 2021-06-15 | Information extraction method, extraction model training method, apparatus and electronic device |
| JP2021143157A JP7312799B2 (ja) | 2020-11-30 | 2021-09-02 | 情報抽出方法、抽出モデル訓練方法、装置及び電子機器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011375463.8A CN112487826A (zh) | 2020-11-30 | 2020-11-30 | 信息抽取方法、抽取模型训练方法、装置以及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112487826A true CN112487826A (zh) | 2021-03-12 |
Family
ID=74937434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011375463.8A Pending CN112487826A (zh) | 2020-11-30 | 2020-11-30 | 信息抽取方法、抽取模型训练方法、装置以及电子设备 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US12079580B2 (zh) |
| EP (1) | EP3879427A3 (zh) |
| JP (1) | JP7312799B2 (zh) |
| CN (1) | CN112487826A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113204616A (zh) * | 2021-04-30 | 2021-08-03 | 北京百度网讯科技有限公司 | 文本抽取模型的训练与文本抽取的方法、装置 |
| CN115188014A (zh) * | 2022-06-22 | 2022-10-14 | 北京百度网讯科技有限公司 | 落地页处理方法、模型训练方法、装置及电子设备 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114048747B (zh) * | 2021-11-11 | 2024-07-26 | 国网江苏省电力有限公司营销服务中心 | 基于语境响应与结构增强的电力营销实体识别方法及系统 |
| CN114338083B (zh) * | 2021-12-03 | 2024-05-28 | 中汽创智科技有限公司 | 控制器局域网络总线异常检测方法、装置和电子设备 |
| CN114706942B (zh) * | 2022-03-16 | 2023-11-24 | 马上消费金融股份有限公司 | 文本转换模型训练方法、文本转换方法、装置及电子设备 |
| CN115359383B (zh) * | 2022-07-07 | 2023-07-25 | 北京百度网讯科技有限公司 | 跨模态特征提取、检索以及模型的训练方法、装置及介质 |
| CN114881047B (zh) * | 2022-07-12 | 2022-10-25 | 杭州远传新业科技股份有限公司 | 一种蔬菜病虫害图片问答方法及装置 |
| CN116484010B (zh) * | 2023-03-15 | 2024-01-16 | 北京擎盾信息科技有限公司 | 知识图谱构建方法、装置、存储介质及电子装置 |
| CN116910187B (zh) * | 2023-09-13 | 2024-01-09 | 之江实验室 | 天文信息提取方法、装置、电子装置和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103440252A (zh) * | 2013-07-25 | 2013-12-11 | 北京师范大学 | 一种中文句子中并列信息提取方法及装置 |
| KR20140059877A (ko) * | 2012-11-08 | 2014-05-19 | 한국전자통신연구원 | 병렬 말뭉치를 이용한 중국어 단어분리 성능 향상 방법 및 장치 |
| CN105260360A (zh) * | 2015-10-27 | 2016-01-20 | 小米科技有限责任公司 | 命名实体的识别方法及装置 |
| CN109344403A (zh) * | 2018-09-20 | 2019-02-15 | 中南大学 | 一种增强语义特征嵌入的文本表示方法 |
| CN110263323A (zh) * | 2019-05-08 | 2019-09-20 | 清华大学 | 基于栅栏式长短时记忆神经网络的关键词抽取方法及系统 |
| CN111291568A (zh) * | 2020-03-06 | 2020-06-16 | 西南交通大学 | 一种应用于医学文本的实体关系自动标注方法 |
| CN111859951A (zh) * | 2020-06-19 | 2020-10-30 | 北京百度网讯科技有限公司 | 语言模型的训练方法、装置、电子设备及可读存储介质 |
| CN111967268A (zh) * | 2020-06-30 | 2020-11-20 | 北京百度网讯科技有限公司 | 文本中的事件抽取方法、装置、电子设备和存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106528655A (zh) | 2016-10-18 | 2017-03-22 | 百度在线网络技术（北京）有限公司 | 文本主题识别方法和装置 |
| CN108287858B (zh) * | 2017-03-02 | 2021-08-10 | 腾讯科技（深圳）有限公司 | 自然语言的语义提取方法及装置 |
| US11037010B2 (en) * | 2019-01-11 | 2021-06-15 | Microsoft Technology Licensing, Llc | Compositional model for text recognition |
| JP7293729B2 (ja) | 2019-03-01 | 2023-06-20 | 富士フイルムビジネスイノベーション株式会社 | 学習装置、情報出力装置、及びプログラム |
| CN111753822B (zh) * | 2019-03-29 | 2024-05-24 | 北京市商汤科技开发有限公司 | 文本识别方法及装置、电子设备和存储介质 |
| CN110705211A (zh) * | 2019-09-06 | 2020-01-17 | 中国平安财产保险股份有限公司 | 文本重点内容标记方法、装置、计算机设备及存储介质 |
| CN111324744B (zh) | 2020-02-17 | 2023-04-07 | 中山大学 | 一种基于目标情感分析数据集的数据增强方法 |
| CN111444721B (zh) | 2020-05-27 | 2022-09-23 | 南京大学 | 一种基于预训练语言模型的中文文本关键信息抽取方法 |
| CN111767732B (zh) * | 2020-06-09 | 2024-01-26 | 上海交通大学 | 基于图注意力模型的文档内容理解方法及系统 |
| CN111767405B (zh) * | 2020-07-30 | 2023-12-08 | 腾讯科技（深圳）有限公司 | 文本分类模型的训练方法、装置、设备及存储介质 |
-
2020
- 2020-11-30 CN CN202011375463.8A patent/CN112487826A/zh active Pending
-
2021
- 2021-06-14 EP EP21179348.4A patent/EP3879427A3/en not_active Withdrawn
- 2021-06-15 US US17/348,306 patent/US12079580B2/en active Active
- 2021-09-02 JP JP2021143157A patent/JP7312799B2/ja active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140059877A (ko) * | 2012-11-08 | 2014-05-19 | 한국전자통신연구원 | 병렬 말뭉치를 이용한 중국어 단어분리 성능 향상 방법 및 장치 |
| CN103440252A (zh) * | 2013-07-25 | 2013-12-11 | 北京师范大学 | 一种中文句子中并列信息提取方法及装置 |
| CN105260360A (zh) * | 2015-10-27 | 2016-01-20 | 小米科技有限责任公司 | 命名实体的识别方法及装置 |
| CN109344403A (zh) * | 2018-09-20 | 2019-02-15 | 中南大学 | 一种增强语义特征嵌入的文本表示方法 |
| CN110263323A (zh) * | 2019-05-08 | 2019-09-20 | 清华大学 | 基于栅栏式长短时记忆神经网络的关键词抽取方法及系统 |
| CN111291568A (zh) * | 2020-03-06 | 2020-06-16 | 西南交通大学 | 一种应用于医学文本的实体关系自动标注方法 |
| CN111859951A (zh) * | 2020-06-19 | 2020-10-30 | 北京百度网讯科技有限公司 | 语言模型的训练方法、装置、电子设备及可读存储介质 |
| CN111967268A (zh) * | 2020-06-30 | 2020-11-20 | 北京百度网讯科技有限公司 | 文本中的事件抽取方法、装置、电子设备和存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113204616A (zh) * | 2021-04-30 | 2021-08-03 | 北京百度网讯科技有限公司 | 文本抽取模型的训练与文本抽取的方法、装置 |
| CN113204616B (zh) * | 2021-04-30 | 2023-11-24 | 北京百度网讯科技有限公司 | 文本抽取模型的训练与文本抽取的方法、装置 |
| CN115188014A (zh) * | 2022-06-22 | 2022-10-14 | 北京百度网讯科技有限公司 | 落地页处理方法、模型训练方法、装置及电子设备 |
| CN115188014B (zh) * | 2022-06-22 | 2023-11-14 | 北京百度网讯科技有限公司 | 落地页处理方法、模型训练方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210312230A1 (en) | 2021-10-07 |
| US12079580B2 (en) | 2024-09-03 |
| JP7312799B2 (ja) | 2023-07-21 |
| JP2021192277A (ja) | 2021-12-16 |
| EP3879427A3 (en) | 2021-12-29 |
| EP3879427A2 (en) | 2021-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112487826A (zh) | 信息抽取方法、抽取模型训练方法、装置以及电子设备 | |
| CN111325020B (zh) | 一种事件论元抽取方法、装置以及电子设备 | |
| EP3896597A2 (en) | Method, apparatus for text generation, device and storage medium | |
| CN111967268A (zh) | 文本中的事件抽取方法、装置、电子设备和存储介质 | |
| CN111191428B (zh) | 评论信息处理方法、装置、计算机设备和介质 | |
| CN114495130B (zh) | 基于跨模态信息的文档阅读理解模型训练方法及装置 | |
| CN113159010B (zh) | 视频分类方法、装置、设备和存储介质 | |
| CN111709248A (zh) | 文本生成模型的训练方法、装置及电子设备 | |
| CN110797005B (zh) | 韵律预测方法、装置、设备和介质 | |
| CN112633017B (zh) | 翻译模型训练、翻译处理方法、装置、设备和存储介质 | |
| CN112001169B (zh) | 文本纠错的方法、装置、电子设备和可读存储介质 | |
| CN111143561A (zh) | 意图识别模型训练方法、装置及电子设备 | |
| CN111737965A (zh) | 文档的比对方法、装置、电子设备和可读存储介质 | |
| CN112269862B (zh) | 文本角色标注方法、装置、电子设备和存储介质 | |
| CN114841274B (zh) | 语言模型的训练方法、装置、电子设备和存储介质 | |
| CN112466277B (zh) | 韵律模型训练方法、装置、电子设备及存储介质 | |
| CN111127191A (zh) | 风险评估方法及装置 | |
| JP2021152957A (ja) | 対話感情スタイル予測方法、装置、電子機器、記憶媒体及びプログラム | |
| CN112380847A (zh) | 兴趣点处理方法、装置、电子设备及存储介质 | |
| CN113516491B (zh) | 推广信息展示方法、装置、电子设备及存储介质 | |
| CN111079449B (zh) | 平行语料数据的获取方法、装置、电子设备和存储介质 | |
| CN111666771A (zh) | 文书的语义标签抽取、装置、电子设备及可读存储介质 | |
| CN112397050B (zh) | 韵律预测方法、训练方法、装置、电子设备和介质 | |
| CN111339314A (zh) | 一种三元组数据的生成方法、装置和电子设备 | |
| CN114429106B (zh) | 页面信息处理方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |