CN114153939A - 文本识别方法及装置 - Google Patents

文本识别方法及装置 Download PDF

Info

Publication number
CN114153939A
CN114153939A CN202010928206.6A CN202010928206A CN114153939A CN 114153939 A CN114153939 A CN 114153939A CN 202010928206 A CN202010928206 A CN 202010928206A CN 114153939 A CN114153939 A CN 114153939A
Authority
CN
China
Prior art keywords
text
sample
malicious
analyzed
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010928206.6A
Other languages
English (en)
Inventor
赵耀
韩希伦
石飞鸿
李越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN202010928206.6A priority Critical patent/CN114153939A/zh
Publication of CN114153939A publication Critical patent/CN114153939A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/18—Legal services
    • G06Q50/182—Alternative dispute resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Technology Law (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Algebra (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了文本识别方法及装置，本发明在进行恶意打假的民事判决书搜索时，使用了文本处理模型，文本处理模型的训练样本包括预先标注了样本类型的文本特征样本，样本类型包括恶意打假，则可以使用文本处理模型识别出待分析文本是否与恶意打假相关。由于文本处理模型使用训练样本训练得到，训练样本的数量较多，则文本处理模型的识别准确度较高，即识别出是否是与恶意打假相关的文本的结果准确度会更高，则后续依据搜索结果得到的恶意打假案件的分析结果的准确度也会提高。进一步，本发明不仅使用文本处理模型得到与恶意打假相关的文本，还会基于关键词筛选方式确定与恶意打假相关的文本，从而得到的与恶意打假相关的文本更全面，减少遗漏。

Description

文本识别方法及装置
技术领域
本发明涉及数据处理领域，更具体的说，涉及一种文本识别方法及装置。
背景技术
恶意打假是指消费者出于对商品生产厂家和商品销售者的牟利目的而向销售者主动发起假冒伪劣商品的求购，或者调包。
恶意打假案件属于民事判决领域，民事判决书中会存在与恶意打假相关的判决书，若想要在大量的民事判决书中搜索与恶意打假相关的判决书，可以直接在判决书中全文搜索“知假买假”、“职业打假”以及“恶意打假”等关键词，若存在上述至少一个关键词，则认为该民事判决书是与恶意打假相关的判决书，但是这种搜索方法准确度不高，从而识别出的与恶意打假相关的判决书的搜索结果不准确，进而依据搜索结果得到的恶意打假案件的分析结果也会不准确。
发明内容
鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的文本识别方法及装置。
一种文本识别方法，包括：
获取至少一个待分析文本以及所述待分析文本的文本特征；
调用预先训练的文本处理模型对所述待分析文本的文本特征进行处理，得到所述待分析文本的文本处理结果；所述文本处理模型基于训练样本训练得到；所述训练样本包括预先标注了样本类型的文本特征样本；所述样本类型包括恶意打假；
筛选出文本处理结果为恶意打假的所述待分析文本，并作为第一目标文本；
获取在所述至少一个待分析文本中通过关键词筛选方式确定的第二目标文本；
将所述第一目标文本和所述第二目标文本组合后进行去重操作，得到最终识别得到的目标文本。
可选地，所述文本处理模型的生成过程包括：
获取训练样本；所述训练样本包括预先标注了样本类型的文本特征样本；所述样本类型包括恶意打假；
基于所述训练样本对预设模型进行训练，得到所述文本处理模型。
可选地，获取训练样本，包括；
获取预先筛选的包括恶意打假特征的文本的文本解析结果；
基于预设筛选规则，对所述文本的文本解析结果进行筛选，得到目标语句；
获取包括所述恶意打假特征的法条信息；
将所述目标语句和所述法条信息作为数据样本；
确定所述数据样本的文本特征样本以及获取所述数据样本的样本类型；
将所述数据样本对应的文本特征样本以及样本类型确定为所述训练样本。
可选地，确定所述数据样本的文本特征样本，包括：
确定所述数据样本的特征向量；
从所述数据样本的特征向量中筛选出符合预设向量筛选规则的特征向量，并作为文本特征样本。
可选地，获取在所述至少一个待分析文本中通过关键词筛选方式确定的第二目标文本，包括：
筛选出案由为预设案由的数据样本，并作为待处理样本；
获取所述待处理样本中的至少一个目标字段的字段内容；
依据预设字段组合规则，将所述至少一个目标字段进行组合，得到至少一个组合字段；所述组合字段的字段内容包括所述组合字段中的每一目标字段的字段内容；
从所述至少一个待分析文本中筛选出包括任一所述组合字段的字段内容的待分析文本，并对筛选出的待分析文本进行去重操作，得到所述第二目标文本。
一种文本识别装置，包括：
数据获取模块，用于获取至少一个待分析文本以及所述待分析文本的文本特征；
文本处理模块，用于调用预先训练的文本处理模型对所述待分析文本的文本特征进行处理，得到所述待分析文本的文本处理结果；所述文本处理模型基于训练样本训练得到；所述训练样本包括预先标注了样本类型的文本特征样本；所述样本类型包括恶意打假；
第一文本筛选模块，用于筛选出文本处理结果为恶意打假的所述待分析文本，并作为第一目标文本；
第二文本筛选模块，用于获取在所述至少一个待分析文本中通过关键词筛选方式确定的第二目标文本；
文本组合模块，用于将所述第一目标文本和所述第二目标文本组合后进行去重操作，得到最终识别得到的目标文本。
可选地，还包括模型生成模块，所述模型生成模块包括：
样本获取子模块，用于获取训练样本；所述训练样本包括预先标注了样本类型的文本特征样本；所述样本类型包括恶意打假；
训练子模块，用于基于所述训练样本对预设模型进行训练，得到所述文本处理模型。
可选地，所述样本获取子模块包括：
结果获取单元，用于获取预先筛选的包括恶意打假特征的文本的文本解析结果；
筛选单元，用于基于预设筛选规则，对所述文本的文本解析结果进行筛选，得到目标语句；
信息获取单元，用于获取包括所述恶意打假特征的法条信息；
第一样本确定单元，用于将所述目标语句和所述法条信息作为数据样本；
数据确定单元，用于确定所述数据样本的文本特征样本以及获取所述数据样本的样本类型；
第二样本确定单元，用于将所述数据样本对应的文本特征样本以及样本类型确定为所述训练样本。
一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述的文本识别方法。
一种电子设备，设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述的文本识别方法。
借由上述技术方案，本发明提供的文本识别方法及装置，本发明在进行恶意打假的民事判决书搜索时，使用了文本处理模型，文本处理模型的训练样本包括预先标注了样本类型的文本特征样本，样本类型包括恶意打假，则可以使用文本处理模型识别出待分析文本是否与恶意打假相关。由于文本处理模型使用训练样本训练得到，训练样本的数量较多，则文本处理模型的识别准确度较高，即识别出是否是与恶意打假相关的文本的结果准确度会更高，则后续依据搜索结果得到的恶意打假案件的分析结果的准确度也会提高。进一步，本发明不仅使用文本处理模型得到与恶意打假相关的文本，还会基于关键词筛选方式确定与恶意打假相关的文本，从而得到的与恶意打假相关的文本更全面，减少遗漏。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种文本识别方法的方法流程图；
图2示出了本发明实施例提供的另一种文本识别方法的方法流程图；
图3示出了本发明实施例提供的再一种文本识别方法的方法流程图；
图4示出了本发明实施例提供的一种文本识别装置的结构示意图；
图5示出了本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决上述的识别出的与恶意打假相关的判决书的搜索结果不准确，进而依据搜索结果得到的恶意打假案件的分析结果也会不准确的问题，本发明实施例提供了一种文本识别方法，参照图1，可以包括：
S11、获取至少一个待分析文本以及所述待分析文本的文本特征。
本实施例中的待分析文本可以是海量民事判决书中的任一个民事判决书，本实施例中是从海量民事判决书中筛选出与恶意打假相关的民事判决书，则本实施例中的待分析文本的数量为多个。
在获取到待分析文本之后，首先对该待分析文本进行解析操作，具体可以是文本拆分操作，即将该待分析文本拆分成多个段落，就可以得到待分析文本的分段信息(标题段，法院段，本院认为段，诉请段，辩称段，事实认定段，判决如下段等)、案由、适用法律、当事人姓名等信息。并将解析结果进行存储(如存储至数据库中)。
然后将上述的本院认为段以及辩称段作为目标段落，在目标段落中使用正则表达式搜索关键词，如假一赔、职业索赔、知假买假、职业打假、恶意打假等，若存在上述的任一关键词，则将包括该关键词的完整句子拆分出来，其中，完整句子是指以句号、分号、问号为结尾的句子。
得到上述的完整句子之后，确定该完整句子对应的特征向量，其中，特征向量可以包括词向量、词性特征向量、依存句法特征向量以及文本主题词向量中的一种或多种，该特征向量可以保证该完整句子所具有的属性特点。
其中，词向量是指完整句子中的单词或短语被映射到实数的向量，涉及从每一单词一维的空间到具有更低维度的连续向量的数学嵌入，在具体提取时，可以利用Word2vec算法进行提取。词性特征向量，是指该完整句子中的名词和动词作为文本的一级特征词，然后提取一级特征词的向量，可以利用TF-IDF算法进行提取。依存句法特征向量是将上述的完整句子分析成一颗依存句法书，描述出各个词语之间的依存关系，根据依存关系提取特征向量。文本主题词向量是指完整句子的主题对应的词向量。
在得到上述的完整句子的特征向量之后，然后从特征向量中筛选出符合预设向量筛选规则的特征向量，并作为文本特征。
在进行筛选时，可以使用TF-IDF算法对特征向量进行筛选，具体可以通过卡方检验方式筛选出Top100的特征向量，并作为该待分析文本对应的本文特征。
S12、调用预先训练的文本处理模型对所述待分析文本的文本特征进行处理，得到所述待分析文本的文本处理结果。
本实施例中通过有监督学习算法预先构建了一个神经网络模型或深度学习模型，称为文本处理模型，神经网络模型可以是随机森林(Random forest)模型，朴素贝叶斯(Naive Bayes model)模型、逻辑回归(logistic regressive)模型、梯度提升决策树分类(Gradient Boosting Classifier)、支持向量机(Support Vector Machine,SVM)模型、词向量与文本分类工具Fasttext等。
深度学习模型可以是带有attention机制的递归神经网络(recursive neuralnetwork)模型、卷积神经网络(Convolutional Neural Networks,CNN)模型、具有卷积神经网络的区域模型等。
在获取到文本处理模型之后，调用文本处理模型对待分析文本的文本特征进行处理，就可以得到文本处理结果。其中，文本处理结果可以有两种情况，一种是恶意打假(可以用标识1标识)，另一种是非恶意打假(可以用标识2标识)，若是恶意打假，则说明该待分析文本是与恶意打假相关的民事裁判书，若是非恶意打假，则说明该待分析文本不是与恶意打假相关的民事裁判书。此外，还可以设置成，若文本处理模型识别出是恶意打假，则输出结果，若识别出不是恶意打假，则不输出结果。
在实际应用中，所述文本处理模型基于训练样本训练得到；所述训练样本包括预先标注了样本类型的文本特征样本；所述样本类型包括恶意打假；
文本特征样本与上述的文本特征类似，本实施例中的文本特征样本的样本类型可以仅有恶意打假这一种，即训练样本均是正样本，则文本处理模型的文本处理可以采用“若文本处理模型识别出是恶意打假，则输出结果，若识别出不是恶意打假，则不输出结果”这种方式，另外，样本类型可以包括恶意打假和非恶意打假，即训练样本既有正样本，也有负样本，则文本处理模型的文本处理可以采用“文本处理结果可以有两种情况，一种是恶意打假(可以用标识1标识)，另一种是非恶意打假(可以用标识2标识)”这种方式。
S13、筛选出文本处理结果为恶意打假的所述待分析文本，并作为第一目标文本。
根据上述论述，文本处理结果可能是恶意打假，也可能是不输出或者是非恶意打假，由于本实施例是为了确定与恶意打假相关的民事判决书，则此时筛选的应是文本处理结果为恶意打假的所述待分析文本。并将其作为第一目标文本。
S14、获取在所述至少一个待分析文本中通过关键词筛选方式确定的第二目标文本。
上述是通过神经网络模型筛选出的与恶意打假相关的民事裁判书，即第一目标文本，但是可能会存在一种方式筛选与恶意打假相关的民事裁判书不够全面，容易遗漏部分与恶意打假相关的民事裁判书的情况出现，所以本实施例为了使得筛选结果更全面，则又采用关键词筛选方式对海量的民事裁判书进行筛选。
S15、将所述第一目标文本和所述第二目标文本组合后进行去重操作，得到最终识别得到的目标文本。
第一目标文本是采用神经网络模型方式筛选得到，第二目标文本是采用关键词筛选方式筛选得到，由于第一目标文本和第二目标文本均与恶意打假相关，则通过两种筛选方式确定的文本可能存在重复，则此时将第一目标文本和第二目标文本进行组合，然后对组合后的文本进行去重操作，即可得到与恶意打假相关、且无重复的目标文本。
本实施例中，在进行恶意打假的民事判决书搜索时，使用了文本处理模型，文本处理模型的训练样本包括预先标注了样本类型的文本特征样本，样本类型包括恶意打假，则可以使用文本处理模型识别出待分析文本是否与恶意打假相关。由于文本处理模型使用训练样本训练得到，训练样本的数量较多，则文本处理模型的识别准确度较高，即识别出是否是与恶意打假相关的文本的结果准确度会更高，则后续依据搜索结果得到的恶意打假案件的分析结果的准确度也会提高。进一步，本发明不仅使用文本处理模型得到与恶意打假相关的文本，还会基于关键词筛选方式确定与恶意打假相关的文本，从而得到的与恶意打假相关的文本更全面，减少遗漏。
此外，本实施例中通过计算机就可以实现上述的方法步骤，既可以实现自动化筛选出与恶意打假相关的民事判决书，不需要人工参与，进而减少人工成本。
上述介绍了需要调用文本处理模型，本实施例对文本处理模型的生成过程进行介绍，具体可以包括以下步骤：
1)获取训练样本。
所述训练样本包括预先标注了样本类型的文本特征样本；所述样本类型包括恶意打假。
参照图2，图2给出了获取训练样本的具体实现过程：
S21、获取预先筛选的包括恶意打假特征的文本的文本解析结果。
本实施例中，人工可以在海量的民事判决书中筛选出包括恶意打假特征的文本，本实施例中的恶意打假特征可以是具有恶意关键字，如上述的假一赔、职业索赔、知假买假、职业打假、恶意打假等，即具有上述的恶意关键字即认为是具有恶意打假特征。此外，恶意打假特征还可以是具有恶意打假含义，举例来说，一个民事判决书中可能不存在上述的恶意关键字，但是人工经过分析发现这个民事判决书是涉及恶意打假的，举例来说，若包括“生产不符合食品安全标准的食品或者经营明知是不符合食品安全标准的食品”这种包含有恶意打假的含义的这种，也可以认为属于恶意打假。
人工筛选出包括恶意打假特征的文本之后，对筛选出的文本进行文本解析，具体的，与上述的待分析文本的解析过程相似，得到文本的分段信息(标题段，法院段，本院认为段，诉请段，辩称段，事实认定段，判决如下段等)、案由、适用法律、当事人姓名等信息。并将文本解析结果进行存储(如存储至数据库中)。
S22、基于预设筛选规则，对所述文本的文本解析结果进行筛选，得到目标语句。
同上述的待分析文本的处理过程，本实施例中，将本院认为段以及辩称段作为目标段落，在目标段落中使用正则表达式搜索关键词，如假一赔、职业索赔、知假买假、职业打假、恶意打假等，若存在上述的任一关键词，则将包括该关键词的完整句子拆分出来，其中，完整句子是指以句号、分号、问号为结尾的句子。
S23、获取包括所述恶意打假特征的法条信息。
法条信息是人工将法条中有关于恶意打假的法条筛选出来的数据，举例来说，法条信息可以是下述内容：
1、经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或者接受服务的费用的一倍。
2、经营者提供商品或者服务有欺诈行为的，应当按照消费者的要求增加赔偿其受到的损失，增加赔偿的金额为消费者购买商品的价款或者接受服务的费用的三倍；增加赔偿的金额不足五百元的，为五百元。法律另有规定的，依照其规定。经营者明知商品或者服务存在缺陷，仍然向消费者提供，造成消费者或者其他受害人死亡或者健康严重损害的，受害人有权要求所受损失二倍以下的惩罚性赔偿。
3、生产不符合食品安全标准的食品或者销售明知是不符合食品安全标准的食品，消费者除要求赔偿损失外，还可以向生产者或者销售者要求支付价款十倍的赔偿金。
4、消费者因不符合食品安全标准的食品受到损害的，可以向经营者要求赔偿损失，也可以向生产者要求赔偿损失。接到消费者赔偿要求的生产经营者，应当实行首负责任制，先行赔付，不得推诿；属于生产者责任的，经营者赔偿后有权向生产者追偿；属于经营者责任的，生产者赔偿后有权向经营者追偿。
5、生产不符合食品安全标准的食品或者经营明知是不符合食品安全标准的食品，消费者除要求赔偿损失外，还可以向生产者或者经营者要求支付价款十倍或者损失三倍的赔偿金；增加赔偿的金额不足一千元的，为一千元。
6、经营者提供商品或者服务，造成消费者或者其他受害人人身伤害的，应当赔偿医疗费、护理费、交通费等为治疗和康复支出的合理费用，以及因误工减少的收入。造成残疾的，还应当赔偿残疾生活辅助具费和残疾赔偿金。造成死亡的，还应当赔偿丧葬费和死亡赔偿金。
经营者有侮辱诽谤、搜查身体、侵犯人身自由等侵害消费者或者其他受害人人身权益的行为，造成严重精神损害的，受害人可以要求精神损害赔偿。
S24、将所述目标语句和所述法条信息作为数据样本。
由于目标语句和所述法条信息均是与恶意打假相关，进而可以将目标语句和法条信息作为神经网络训练的数据的来源。
S25、确定所述数据样本的文本特征样本以及获取所述数据样本的样本类型。
确定所述数据样本的文本特征样本的过程同上述确定待分析文本的文本特征的过程，具体如下：
确定所述数据样本的特征向量，从所述数据样本的特征向量中筛选出符合预设向量筛选规则的特征向量，并作为文本特征样本。
数据样本的样本类型是人工设定的，由于上述筛选的数据样本均是与恶意打假相关的数据，进而样本类型均是恶意打假，即数据样本均为正样本。此外，人工还可以筛选出部分不包括恶意打假特征的文本，并按照上述方法得到文本特征样本，设定样本类型为非恶意打假，以此作为训练的负样本。本实施例中的训练样本可以既有正样本，也可以除了正样本之外，还设定负样本。
S26、将所述数据样本对应的文本特征样本以及样本类型确定为所述训练样本。
2)基于所述训练样本对预设模型进行训练，得到所述文本处理模型。
本实施例中的预设模型可以是上述的神经网络模型或深度学习模型。
本实施例中，给出了文本处理模型的生成过程，进而可以通过本实施例中的文本处理模型筛选出关于恶意打假的民事判决书。于文本处理模型使用训练样本训练得到，训练样本的数量较多，则文本处理模型的识别准确度较高，即识别出是否是与恶意打假相关的文本的结果准确度会更高，则后续依据搜索结果得到的恶意打假案件的分析结果的准确度也会提高。
本发明的另一实现方式中，参照图3，获取在所述至少一个待分析文本中通过关键词筛选方式确定的第二目标文本，可以包括：
S31、筛选出案由为预设案由的数据样本，并作为待处理样本。
数据样本即为上述的数据样本，包括目标语句和所述法条信息。数据样本中包括案由这一部分，本实施例中筛选的预设案由可以是产品生产者责任纠纷、产品销售者责任纠纷、电视购物合同纠纷、服务合同纠纷、买卖合同纠纷、网络购物合同纠纷，也即是在数据样本为筛选出案由为上述的预设案由的数据样本，并作为待处理样本。
S32、获取所述待处理样本中的至少一个目标字段的字段内容，
本步骤是从同一个原告的角度出发判断原告是否为职业打假人，若是职业打假人，则其涉及的民事判决书有很大可能是与恶意打假相关的。
本实施例中的目标字段可以是原告的姓名、性别、出生日期、住所地信息，具体的，对待处理样本进行解析，得到当事人信息，然后就可以从当事人信息中提取出原告的姓名、性别、出生日期、住所地信息。
S33、依据预设字段组合规则，将所述至少一个目标字段进行组合，得到至少一个组合字段。
在实际应用中，预设字段组合规则可以是将姓名分别与性别、出生日期、住所地信息组合，得到“姓名+性别”、“姓名+出生日期”、“姓名+住所地信息”3组组合字段，所述组合字段的字段内容包括所述组合字段中的每一目标字段的字段内容。举例来说，姓名：张三，性别：女，则“姓名+性别”组合字段的字段内容即为：张三，女。
S34、从所述至少一个待分析文本中筛选出包括任一所述组合字段的字段内容的待分析文本，并对筛选出的待分析文本进行去重操作，得到所述第二目标文本。
在实际应用中，确定了用于筛选的组合字段以及组合字段的内容之后，筛选出包括上述任一组合字段的内容的待分析文本，筛选出的待分析文本即为上述职业打假人参与的案件，此时可以直接将所有的待分析文本组合到一起，并进行去重操作，即可得到第二目标文本。
由于民事文书脱敏程度不同，文书上原告属性有多有少，进而上述的三个组合字段需要分开筛选，将筛选的结果进行汇总即可。
需要注意的是，若为了提高筛选的准确性，此时可以对每一组合字段的筛选结果进行统计，若大于预设阈值，如5，则可以验证该原告是职业打假人，此时该筛选结果有效，若小于预设阈值，则说明该原告是职业打假人的可能性不大，此时该筛选结果无效，可以直接剔除。在三个组合字段均筛选完成后，将有效的筛选结果进行汇总，并进行去重操作。
本实施例中，通过关键字筛选方式可以筛选出符合恶意打假的目标文本，进而可以辅助上述的模型进行恶意打假案件的筛选。
可选地，在上述文本识别方法的基础上，本发明的另一实施例提供了一种文本识别装置，参照图4，可以包括：
数据获取模块11，用于获取至少一个待分析文本以及所述待分析文本的文本特征；
文本处理模块12，用于调用预先训练的文本处理模型对所述待分析文本的文本特征进行处理，得到所述待分析文本的文本处理结果；所述文本处理模型基于训练样本训练得到；所述训练样本包括预先标注了样本类型的文本特征样本；所述样本类型包括恶意打假；
第一文本筛选模块13，用于筛选出文本处理结果为恶意打假的所述待分析文本，并作为第一目标文本；
第二文本筛选模块14，用于获取在所述至少一个待分析文本中通过关键词筛选方式确定的第二目标文本；
文本组合模块15，用于将所述第一目标文本和所述第二目标文本组合后进行去重操作，得到最终识别得到的目标文本。
本实施例中，在进行恶意打假的民事判决书搜索时，使用了文本处理模型，文本处理模型的训练样本包括预先标注了样本类型的文本特征样本，样本类型包括恶意打假，则可以使用文本处理模型识别出待分析文本是否与恶意打假相关。由于文本处理模型使用训练样本训练得到，训练样本的数量较多，则文本处理模型的识别准确度较高，即识别出是否是与恶意打假相关的文本的结果准确度会更高，则后续依据搜索结果得到的恶意打假案件的分析结果的准确度也会提高。进一步，本发明不仅使用文本处理模型得到与恶意打假相关的文本，还会基于关键词筛选方式确定与恶意打假相关的文本，从而得到的与恶意打假相关的文本更全面，减少遗漏。
此外，本实施例中通过计算机就可以实现上述的方法步骤，既可以实现自动化筛选出与恶意打假相关的民事判决书，不需要人工参与，进而减少人工成本。
需要说明的是，本实施例中的各个模块的工作过程，请参照上述实施例中的相应说明，在此不再赘述。
可选的，在上述文本识别装置的实施例的基础上，还包括模型生成模块，所述模型生成模块包括：
样本获取子模块，用于获取训练样本；所述训练样本包括预先标注了样本类型的文本特征样本；所述样本类型包括恶意打假；
训练子模块，用于基于所述训练样本对预设模型进行训练，得到所述文本处理模型。
进一步，所述样本获取子模块包括：
结果获取单元，用于获取预先筛选的包括恶意打假特征的文本的文本解析结果；
筛选单元，用于基于预设筛选规则，对所述文本的文本解析结果进行筛选，得到目标语句；
信息获取单元，用于获取包括所述恶意打假特征的法条信息；
第一样本确定单元，用于将所述目标语句和所述法条信息作为数据样本；
数据确定单元，用于确定所述数据样本的文本特征样本以及获取所述数据样本的样本类型；
第二样本确定单元，用于将所述数据样本对应的文本特征样本以及样本类型确定为所述训练样本。
进一步，数据确定单元用于确定所述数据样本的文本特征样本时，具体用于：
确定所述数据样本的特征向量，从所述数据样本的特征向量中筛选出符合预设向量筛选规则的特征向量，并作为文本特征样本。
本实施例中，给出了文本处理模型的生成过程，进而可以通过本实施例中的文本处理模型筛选出关于恶意打假的民事判决书。于文本处理模型使用训练样本训练得到，训练样本的数量较多，则文本处理模型的识别准确度较高，即识别出是否是与恶意打假相关的文本的结果准确度会更高，则后续依据搜索结果得到的恶意打假案件的分析结果的准确度也会提高。
需要说明的是，本实施例中的各个模块、子模块和单元的工作过程，请参照上述实施例中的相应说明，在此不再赘述。
可选的，在上述文本识别装置的实施例的基础上，所述第二文本筛选模块14包括：
筛选子模块，用于筛选出案由为预设案由的数据样本，并作为待处理样本；
内容获取子模块，用于获取所述待处理样本中的至少一个目标字段的字段内容；
字段组合子模块，用于依据预设字段组合规则，将所述至少一个目标字段进行组合，得到至少一个组合字段；所述组合字段的字段内容包括所述组合字段中的每一目标字段的字段内容；
文本处理子模块，用于从所述至少一个待分析文本中筛选出包括任一所述组合字段的字段内容的待分析文本，并对筛选出的待分析文本进行去重操作，得到所述第二目标文本。
本实施例中，通过关键字筛选方式可以筛选出符合恶意打假的目标文本，进而可以辅助上述的模型进行恶意打假案件的筛选。
需要说明的是，本实施例中的各个模块以及子模块的工作过程，请参照上述实施例中的相应说明，在此不再赘述。
所述文本识别装置包括处理器和存储器，上述数据获取模块、文本处理模块、第一文本筛选模块、第二文本筛选模块和文本组合模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过模型筛选和关键字筛选方式确定出与恶意打假相关的民事判决书。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述文本识别方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述文本识别方法。
本发明实施例提供了一种设备70，参照图5，设备70包括至少一个处理器701、以及与处理器连接的至少一个存储器702、总线703；其中，处理器701、存储器702通过总线703完成相互间的通信；处理器701用于调用存储器702中的程序指令，以执行上述的文本识别方法。本文中的设备70可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
一种文本识别方法，包括：
获取至少一个待分析文本以及所述待分析文本的文本特征；
调用预先训练的文本处理模型对所述待分析文本的文本特征进行处理，得到所述待分析文本的文本处理结果；所述文本处理模型基于训练样本训练得到；所述训练样本包括预先标注了样本类型的文本特征样本；所述样本类型包括恶意打假；
筛选出文本处理结果为恶意打假的所述待分析文本，并作为第一目标文本；
获取在所述至少一个待分析文本中通过关键词筛选方式确定的第二目标文本；
将所述第一目标文本和所述第二目标文本组合后进行去重操作，得到最终识别得到的目标文本。
进一步，所述文本处理模型的生成过程包括：
获取训练样本；所述训练样本包括预先标注了样本类型的文本特征样本；所述样本类型包括恶意打假；
基于所述训练样本对预设模型进行训练，得到所述文本处理模型。
进一步，获取训练样本，包括；
获取预先筛选的包括恶意打假特征的文本的文本解析结果；
基于预设筛选规则，对所述文本的文本解析结果进行筛选，得到目标语句；
获取包括所述恶意打假特征的法条信息；
将所述目标语句和所述法条信息作为数据样本；
确定所述数据样本的文本特征样本以及获取所述数据样本的样本类型；
将所述数据样本对应的文本特征样本以及样本类型确定为所述训练样本。
进一步，确定所述数据样本的文本特征样本，包括：
确定所述数据样本的特征向量；
从所述数据样本的特征向量中筛选出符合预设向量筛选规则的特征向量，并作为文本特征样本。
进一步，获取在所述至少一个待分析文本中通过关键词筛选方式确定的第二目标文本，包括：
筛选出案由为预设案由的数据样本，并作为待处理样本；
获取所述待处理样本中的至少一个目标字段的字段内容；
依据预设字段组合规则，将所述至少一个目标字段进行组合，得到至少一个组合字段；所述组合字段的字段内容包括所述组合字段中的每一目标字段的字段内容；
从所述至少一个待分析文本中筛选出包括任一所述组合字段的字段内容的待分析文本，并对筛选出的待分析文本进行去重操作，得到所述第二目标文本。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种文本识别方法，其特征在于，包括：
获取至少一个待分析文本以及所述待分析文本的文本特征；
调用预先训练的文本处理模型对所述待分析文本的文本特征进行处理，得到所述待分析文本的文本处理结果；所述文本处理模型基于训练样本训练得到；所述训练样本包括预先标注了样本类型的文本特征样本；所述样本类型包括恶意打假；
筛选出文本处理结果为恶意打假的所述待分析文本，并作为第一目标文本；
获取在所述至少一个待分析文本中通过关键词筛选方式确定的第二目标文本；
将所述第一目标文本和所述第二目标文本组合后进行去重操作，得到最终识别得到的目标文本。
2.根据权利要求1所述的文本识别方法，其特征在于，所述文本处理模型的生成过程包括：
获取训练样本；所述训练样本包括预先标注了样本类型的文本特征样本；所述样本类型包括恶意打假；
基于所述训练样本对预设模型进行训练，得到所述文本处理模型。
3.根据权利要求2所述的文本识别方法，其特征在于，获取训练样本，包括；
获取预先筛选的包括恶意打假特征的文本的文本解析结果；
基于预设筛选规则，对所述文本的文本解析结果进行筛选，得到目标语句；
获取包括所述恶意打假特征的法条信息；
将所述目标语句和所述法条信息作为数据样本；
确定所述数据样本的文本特征样本以及获取所述数据样本的样本类型；
将所述数据样本对应的文本特征样本以及样本类型确定为所述训练样本。
4.根据权利要求3所述的文本识别方法，其特征在于，确定所述数据样本的文本特征样本，包括：
确定所述数据样本的特征向量；
从所述数据样本的特征向量中筛选出符合预设向量筛选规则的特征向量，并作为文本特征样本。
5.根据权利要求3所述的文本识别方法，其特征在于，获取在所述至少一个待分析文本中通过关键词筛选方式确定的第二目标文本，包括：
筛选出案由为预设案由的数据样本，并作为待处理样本；
获取所述待处理样本中的至少一个目标字段的字段内容；
依据预设字段组合规则，将所述至少一个目标字段进行组合，得到至少一个组合字段；所述组合字段的字段内容包括所述组合字段中的每一目标字段的字段内容；
从所述至少一个待分析文本中筛选出包括任一所述组合字段的字段内容的待分析文本，并对筛选出的待分析文本进行去重操作，得到所述第二目标文本。
6.一种文本识别装置，其特征在于，包括：
数据获取模块，用于获取至少一个待分析文本以及所述待分析文本的文本特征；
文本处理模块，用于调用预先训练的文本处理模型对所述待分析文本的文本特征进行处理，得到所述待分析文本的文本处理结果；所述文本处理模型基于训练样本训练得到；所述训练样本包括预先标注了样本类型的文本特征样本；所述样本类型包括恶意打假；
第一文本筛选模块，用于筛选出文本处理结果为恶意打假的所述待分析文本，并作为第一目标文本；
第二文本筛选模块，用于获取在所述至少一个待分析文本中通过关键词筛选方式确定的第二目标文本；
文本组合模块，用于将所述第一目标文本和所述第二目标文本组合后进行去重操作，得到最终识别得到的目标文本。
7.根据权利要求6所述的文本识别装置，其特征在于，还包括模型生成模块，所述模型生成模块包括：
样本获取子模块，用于获取训练样本；所述训练样本包括预先标注了样本类型的文本特征样本；所述样本类型包括恶意打假；
训练子模块，用于基于所述训练样本对预设模型进行训练，得到所述文本处理模型。
8.根据权利要求7所述的文本识别装置，其特征在于，所述样本获取子模块包括：
结果获取单元，用于获取预先筛选的包括恶意打假特征的文本的文本解析结果；
筛选单元，用于基于预设筛选规则，对所述文本的文本解析结果进行筛选，得到目标语句；
信息获取单元，用于获取包括所述恶意打假特征的法条信息；
第一样本确定单元，用于将所述目标语句和所述法条信息作为数据样本；
数据确定单元，用于确定所述数据样本的文本特征样本以及获取所述数据样本的样本类型；
第二样本确定单元，用于将所述数据样本对应的文本特征样本以及样本类型确定为所述训练样本。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-5中任一项所述的文本识别方法。
10.一种电子设备，设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1-5中任一项所述的文本识别方法。
CN202010928206.6A 2020-09-07 2020-09-07 文本识别方法及装置 Pending CN114153939A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010928206.6A CN114153939A (zh) 2020-09-07 2020-09-07 文本识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010928206.6A CN114153939A (zh) 2020-09-07 2020-09-07 文本识别方法及装置

Publications (1)

Publication Number Publication Date
CN114153939A true CN114153939A (zh) 2022-03-08

Family

ID=80460359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010928206.6A Pending CN114153939A (zh) 2020-09-07 2020-09-07 文本识别方法及装置

Country Status (1)

Country Link
CN (1) CN114153939A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116663495A (zh) * 2023-07-31 2023-08-29 中国电子技术标准化研究院 文本标准化处理方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116663495A (zh) * 2023-07-31 2023-08-29 中国电子技术标准化研究院 文本标准化处理方法、装置、设备及介质
CN116663495B (zh) * 2023-07-31 2023-10-20 中国电子技术标准化研究院 文本标准化处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Saumya et al. Detection of spam reviews: a sentiment analysis approach
US11687218B1 (en) User interface for use with a search engine for searching financial related documents
CN112860841B (zh) 一种文本情感分析方法、装置、设备及存储介质
CN109508373B (zh) 企业舆情指数的计算方法、设备及计算机可读存储介质
CN107368489B (zh) 一种资讯数据处理方法及装置
Kiran et al. User specific product recommendation and rating system by performing sentiment analysis on product reviews
Tito et al. Icdar 2021 competition on document visual question answering
CN112132238A (zh) 一种识别隐私数据的方法、装置、设备和可读介质
CN111695357A (zh) 文本标注方法及相关产品
CN116151233A (zh) 数据标注、生成方法、模型训练方法、设备和介质
CN110032721A (zh) 一种裁判文书推送方法及装置
CN114153939A (zh) 文本识别方法及装置
US11232325B2 (en) Data analysis system, method for controlling data analysis system, and recording medium
CN111813947A (zh) 开庭询问提纲自动生成方法及装置
CN113704623B (zh) 一种数据推荐方法、装置、设备及存储介质
Pujara Extracting knowledge graphs from financial filings
CN105786929A (zh) 一种信息监测方法及装置
CN113221762A (zh) 代价平衡决策方法、保险理赔决策方法、装置和设备
Jacob et al. Deceptive product review identification framework using opinion mining and machine learning
Sangaroonsilp et al. An empirical study of automated privacy requirements classification in issue reports
CN113837836A (zh) 模型推荐方法、装置、设备及存储介质
Harrag et al. Prediction of Reviews Rating: A Survey of Methods, Techniques and Hybrid Architectures.
CN112417858A (zh) 一种实体权重评分方法、系统、电子设备及存储介质
Seki et al. S-APIR: news-based business sentiment index
Gudumotu et al. A Survey on Deep Learning Models to Detect Hate Speech and Bullying in Social Media

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination