CN110765761A - 基于人工智能的合同敏感词校验方法、装置及存储介质 - Google Patents

基于人工智能的合同敏感词校验方法、装置及存储介质 Download PDF

Info

Publication number
CN110765761A
CN110765761A CN201910878460.7A CN201910878460A CN110765761A CN 110765761 A CN110765761 A CN 110765761A CN 201910878460 A CN201910878460 A CN 201910878460A CN 110765761 A CN110765761 A CN 110765761A
Authority
CN
China
Prior art keywords
contract
word
words
sensitive
text data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910878460.7A
Other languages
English (en)
Inventor
石明川
刘从宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910878460.7A priority Critical patent/CN110765761A/zh
Publication of CN110765761A publication Critical patent/CN110765761A/zh
Priority to PCT/CN2020/112337 priority patent/WO2021052148A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification

Abstract

本发明涉及一种人工智能技术，揭露了一种基于人工智能的合同敏感词校验方法，包括：获取合同文本数据集，对所述合同文本数据集进行预处理操作，得到数值向量合同词语集；根据预先构建的合同敏感词信息库，对所述数值向量合同词语集中的词语进行敏感词危害等级的划分；基于所述敏感词危害等级的划分，通过匹配算法对用户输入的合同文本进行匹配，直至匹配的敏感词达到预设的危害等级时，停止匹配，完成所述合同文本的敏感词校验，并重新编辑所述合同文本。本发明还提出一种基于人工智能的合同敏感词校验装置以及一种计算机可读存储介质。本发明实现了合同敏感词的精准检验。

Description

基于人工智能的合同敏感词校验方法、装置及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于人工智能的合同敏感词校验方法、装置及存储介质。
背景技术
敏感词过滤，是文字信息管理的一项重要内容。它主要是指在给定的文本当中，对于特定的敏感词进行检测，高亮或替换准确定位的敏感词的一种文本处理方法。在合同开发时，可以提前设置合同的匹配规则达到敏感词校验的目的，但目前并未对人工添加的规则信息做敏感词校验，可能对后期起草的合同造成较大的缺陷，给合同任意方造成一定的经济损失。
发明内容
本发明提供一种基于人工智能的合同敏感词校验方法、装置及存储介质，其主要目的在于当用户进行基于人工智能的合同敏感词校验时，给用户呈现出精准的基于人工智能的合同敏感词校验结果。
为实现上述目的，本发明提供的一种基于人工智能的合同敏感词校验方法，包括：
获取合同文本数据集，对所述合同文本数据集进行预处理操作，得到数值向量合同词语集；
根据预先构建的合同敏感词信息库，对所述数值向量合同词语集中的词语进行敏感词危害等级的划分；
基于所述敏感词危害等级的划分，通过匹配算法对用户输入的合同文本进行匹配，直至匹配的敏感词达到预设的危害等级时，停止匹配，完成所述合同文本的敏感词校验，并重新编辑所述合同文本。
可选地，所述对所述合同文本数据集进行预处理操作，得到数值向量合同词语集，其中，所述预处理操作包括去重、分词、去停用词、以及权重计算；
所述去重包括：
利用欧式距离公式对所述合同文本数据集进行去重操作，所述欧式距离公式如下：
Figure BDA0002203038570000021
其中，d表示所述合同文本数据集之间的距离，w1j和w2j分别为任意2个合同文本数据；
所述分词包括：
通过预设的策略将所述合同文本数据集与预设的词典中的词条进行匹配，得到所述合同文本数据集的特征词，并将所述特征词用空格符号隔开；
所述去停用词包括：
通过预先构建好的停用词表与所述合同文本数据集中的特征词进行一一匹配，其中，当所述合同文本数据集中的特征词与所述停用词表匹配成功时，将所述匹配成功的特征词过滤；及
所述权重计算包括：
通过构建依存关系图计算去停用词后的所述合同文本数据集的特征词之间的关联强度，并通过所述关联强度计算出去停用词后的所述合同文本数据集的特征词的重要度得分，得到去停用词后的所述合同文本数据集的特征词的权重，将去停用词后的所述合同文本数据集的特征词表示成数值向量形式，得到所述数值向量合同词语集。
可选地，所述计算去停用词后的所述合同文本数据集的特征词的重要度得分，包括：
计算去停用词后的所述合同文本数据集的任意两个特征词Wi和Wj的依存关联度：
Figure BDA0002203038570000022
其中，Dep(Wi，Wj)表示所述特征词Wi和Wj的依存关联度，len(Wi，Wj)表示所述特征词Wi和Wj之间的依存路径长度，b是超参数；
计算所述特征词Wi和Wj的引力：
Figure BDA0002203038570000031
其中，fgrav(Wi，Wj)表示特征词Wi和Wj的引力，tfidf(Wi)表示特征词Wi的TF-IDF值，tfidf(Wj)表示特征词Wj的TF-IDF值，TF表示词频，IDF表示逆文档频率指数，d是特征词Wi和Wj的词向量之间的欧式距离；
根据计算出的所述依存关联度和所述引力得到所述特征词Wi和Wj之间的关联强度为：
weight(Wi，Wj)＝Dep(Wi，Wj)*fgrav(Wi，Wj)
根据所述关联强度计算出所述特征词Wi的重要度得分：
Figure BDA0002203038570000032
其中，
Figure BDA0002203038570000033
是与顶点Wi有关的集合，η为阻尼系数。
可选地，所述预先构建的合同敏感词信息库，包括：
接收用户输入的合同敏感词；
通过关键词从搜索引擎中下载得到合同敏感词；和/或
从专业合同网站进行爬取得到合同敏感词；及
通过网络本体语言对所述合同敏感词进行编译，完成所述合同敏感词信息库的构建。
可选地，所述匹配算法包括：
通过预设的SHIFT表识别所述用户输入的合同文本中的字符串跳过的字符数，根据预设的HASH表和PREFIx表对所述字符数进行判断后决定所述用户输入的合同文本中的字符串匹配候选模式，根据决定的所述字符串匹配候选模式进行合同文本的匹配。
此外，为实现上述目的，本发明还提供一种基于人工智能的合同敏感词校验装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的基于人工智能的合同敏感词校验程序，所述基于人工智能的合同敏感词校验程序被所述处理器执行时实现如下步骤：
获取合同文本数据集，对所述合同文本数据集进行预处理操作，得到数值向量合同词语集；
根据预先构建的合同敏感词信息库，对所述数值向量合同词语集中的词语进行敏感词危害等级的划分；
基于所述敏感词危害等级的划分，通过匹配算法对用户输入的合同文本进行匹配，直至匹配的敏感词达到预设的危害等级时，停止匹配，完成所述合同文本的敏感词校验，并重新编辑所述合同文本。
可选地，所述对所述合同文本数据集进行预处理操作，得到数值向量合同词语集，其中，所述预处理操作包括去重、分词、去停用词、以及权重计算；
所述去重包括：
利用欧式距离公式对所述合同文本数据集进行去重操作，所述欧式距离公式如下：
Figure BDA0002203038570000041
其中，d表示所述合同文本数据集之间的距离，w1j和w2j分别为任意2个合同文本数据；
所述分词包括：
通过预设的策略将所述合同文本数据集与预设的词典中的词条进行匹配，得到所述合同文本数据集的特征词，并将所述特征词用空格符号隔开；
所述去停用词包括：
通过预先构建好的停用词表与所述合同文本数据集中的特征词进行一一匹配，其中，当所述合同文本数据集中的特征词与所述停用词表匹配成功时，将所述匹配成功的特征词过滤；及
所述权重计算包括：
通过构建依存关系图计算去停用词后的所述合同文本数据集的特征词之间的关联强度，并通过所述关联强度计算出去停用词后的所述合同文本数据集的特征词的重要度得分，得到去停用词后的所述合同文本数据集的特征词的权重，将去停用词后的所述合同文本数据集的特征词表示成数值向量形式，得到所述数值向量合同词语集。
可选地，所述计算去停用词后的所述合同文本数据集的特征词的重要度得分，包括：
计算去停用词后的所述合同文本数据集的中任意两个特征词Wi和Wj的依存关联度：
Figure BDA0002203038570000051
其中，Dep(Wi，Wj)表示所述特征词Wi和Wj的依存关联度，len(Wi，Wj)表示所述特征词Wi和Wj之间的依存路径长度，b是超参数；
计算所述特征词Wi和Wj的引力：
Figure BDA0002203038570000052
其中，fgrav(Wi，Wj)表示特征词Wi和Wj的引力，tfidf(Wi)表示特征词Wi的TF-IDF值，tfidf(Wj)表示特征词Wj的TF-IDF值，TF表示词频，IDF表示逆文档频率指数，d是特征词Wi和Wj的词向量之间的欧式距离；
根据计算出的所述依存关联度和所述引力得到所述特征词Wi和Wj之间的关联强度为：
weight(Wi，Wj)＝Dep(Wi，Wj)*fgrav(Wi，Wj)
根据所述关联强度计算出所述特征词Wi的重要度得分：
Figure BDA0002203038570000053
其中，
Figure BDA0002203038570000054
是与顶点Wi有关的集合，η为阻尼系数。
可选地，所述预先构建的合同敏感词信息库，包括：
接收用户输入的合同敏感词；
通过关键词从搜索引擎中下载得到合同敏感词；和/或
从专业合同网站进行爬取得到合同敏感词；及
通过网络本体语言对所述合同敏感词进行编译，完成所述合同敏感词信息库的构建。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于人工智能的合同敏感词校验程序，所述基于人工智能的合同敏感词校验程序可被一个或者多个处理器执行，以实现如上所述的基于人工智能的合同敏感词校验方法的步骤。
本发明提出的基于人工智能的合同敏感词校验方法、装置及计算机可读存储介质，在用户在进行合同敏感词时，接收用户输入的合同文本并对所述合同文本进行预处理操作后得到数值向量合同词语集，结合合同敏感词信息库以及匹配算法识别出所述合同文本中的敏感词，从而可以给用户呈现出精准的基于人工智能的合同敏感词校验结果。
附图说明
图1为本发明一实施例提供的基于人工智能的合同敏感词校验方法的流程示意图；
图2为本发明一实施例提供的基于人工智能的合同敏感词校验装置的内部结构示意图；
图3为本发明一实施例提供的基于人工智能的合同敏感词校验装置中基于人工智能的合同敏感词校验程序的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于人工智能的合同敏感词校验方法。参照图1所示，为本发明一实施例提供的基于人工智能的合同敏感词校验方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，基于人工智能的合同敏感词校验方法包括：
S1、获取合同文本数据集，对所述合同文本数据集进行预处理操作，得到数值向量合同词语集。
本发明较佳实施例中，所述合同文本数据集是通对过合同文本进行组合产生的，其中，所述合同文本通过以下两种方式获取：方式一、从各大企业数据库中获取得到；方式二、通过从语料库中搜索关键字获取。
进一步地，由于所述合同文本属于非结构化或半结构化数据，无法直接被分类算法识别，较佳地，本发明较佳实施例通过对所述合同文本数据集进行预处理操作，将所述合同文本数据集转化为数值向量合同词语集。其中，所述预处理操作包括去重、分词、去停用词以及权重计算。详细地，所述预处理操作具体实施步骤为：
a.去重：
当所述合同文本数据集存在重复的合同文本时，会降低合同文本分类的精度，因此，本发明较佳实施例首先对所述文本数据集执行去重操作。
优选地，本发明通过欧式距离公式对所述合同文本数据集进行去重操作，其中，所述欧式距离公式如下：
Figure BDA0002203038570000071
其中，d表示所述合同文本数据集之间的距离，w1j和w2j分别为任意2个合同文本数据，当两个合同文本数据之间的距离小于预设距离阈值，则删除其中一个合同文本数据。优选地，本发明预设所述距离阈值为0.1。
b.分词：
本发明通过预设的策略将所述合同文本数据集中的词语与预设的词典中的词条进行匹配，得到所述合同文本数据集的特征词，并将所述特征词用空格符号隔开。优选地，本发明较佳实施例中，所述预设的词典包含统计词典和前缀词典。所述统计词典是由统计方法得到的所有可能的分词构造的词典。所述统计词典统计相邻字在语料库中贡献的频度并计算互信息，当所述相邻字互相出现信息大于预设的阈值时，即认定为构成词，优选地，本发明所述阈值为0.6。所述前缀词典包括所述统计词典中每一个分词的前缀，例如所述统计词典中的词“中国平安”的前缀分别是“中”、“中国”、“中国平”；词“平安”的前缀是“国”等。本发明利用所述统计词典得到的所述合同文本数据集可能的分词结果，并通过所述前缀词典根据分词的切分位置，得到最终的切分形式，从而得到所述合同文本数据集的特征词。
c.去停用词：
所述停用词是文本功能词中没有什么实际意义的词，对文本的分类没有什么影响，但是出现频率高，于是，会降低文本分类，其中所述停用词包括常用的代词、介词等。例如，所述停用词可以为“的”、“在”、“不过”以及“了”等等。本发明通过预先构建好的停用词表与分词后的所述合同文本数据集中词语进行一一匹配，其中，当分词后的所述合同文本数据集中的特征词与所述停用词表匹配成功时，将所述匹配成功的特征词过滤，当分词后的所述合同文本数据集中的特征词与所述停用词表匹配不成功时，将所述匹配不成功的词语保留。其中，所述预先构建好的停用词表通过网页下载得到。
d.权重计算：
本发明通过构建依存关系图计算去停用词后的所述合同文本数据集的特征词之间的关联强度，通过所述关联强度计算去停用词后的所述合同文本数据集的特征词的重要度得分，得到去停用词后的所述合同文本数据集的特征词的权重。详细地，所述计算所述特征词的重要度得分包括：
计算去停用词后的所述合同文本数据集的特征词中任意两个特征词Wi和Wj的依存关联度：
Figure BDA0002203038570000081
其中，Dep(Wi，Wj)表示所述特征词Wi和Wj的依存关联度，len(Wi，Wj)表示所述特征词Wi和Wj之间的依存路径长度，b是超参数；
计算去停用词后的所述合同文本数据集的特征词Wi和Wj的引力：
Figure BDA0002203038570000082
其中，fgrav(Wi，Wj)表示特征词Wi和Wj的引力，tfidf(Wi)表示特征词Wi的TF-IDF值，tfidf(Wj)表示特征词Wj的TF-IDF值，TF表示词频，IDF表示逆文档频率指数，d是特征词Wi和Wj的词向量之间的欧式距离；
根据计算出的所述依存关联度和所述引力得到所述特征词Wi和Wj之间的关联强度为：
weight(Wi，Wj)＝Dep(Wi，Wj)*fgrav(Wi，Wj)
建立无向图G＝(V，E)，其中V是顶点的集合，E是边的集合；
根据所述关联强度计算出所述特征词Wi的重要度得分：
Figure BDA0002203038570000091
其中，
Figure BDA0002203038570000092
是与顶点Wi有关的集合，η为阻尼系数。
根据所述特征词重要度得分，得到所述特征词权重，从而将所述特征词表示成数值向量形式，得到所述数值向量合同词语集。
S2、根据预先构建的合同敏感词信息库，对所述数值向量合同词语集中进行敏感词危害等级的划分。
本发明较佳实施例中，所述合同敏感词信息库中的敏感词通过以下三种种方式获取：方式一、接收用户输入的合同敏感词；方式二、通过关键词从搜索引擎中下载得到合同敏感词；和/或方式三、从专业合同网站进行爬取得到合同敏感词；较佳地，本发明通过网络本体语言(Ontology Web Language，OWL)对得到的所述合同敏感词信息库中的敏感词进行编译，完成所述合同敏感词信息库的构建。
进一步地，本发明优先地对合同敏感词进行分类，其中所述合同敏感词分类包括：1)不文明用语，包括各种脏字；2)不和谐用语，包括各种政府部门名称以及各种反动词汇；3)不整洁用语，包括各种儿童禁忌；4)在不同语义下意思完全相反的词语；5)在合同开发过程中，需要标记的词语等。
较佳地，本发明根据所述敏感词关联信息库以及所述合同敏感词的分类对所述数值向量合同词语集进行危害等级的划分。详细地，本发明较佳实施例中，所述敏感词的危害等级依次划分为Ⅰ、Ⅱ、Ⅲ三种等级(危害等性由高到低)，其中，属于上述方面1)、2)的敏感词，其危害等级划为Ⅰ；属于上述方面3)的敏感词，其危害等级划为Ⅱ；属于上述方面4)、5)的敏感词，其危害等级划为Ⅲ。
S3、基于所述敏感词危害等级的划分，通过匹配算法对用户输入的合同文本进行匹配，直至匹配的敏感词达到预设的危害等级时，停止匹配，完成所述合同文本的敏感词校验并重新编辑所述合同文本。
本发明较佳实施例中，所述匹配算法包括Wu-Manber算法，简称WM算法。其中，所述WM算法通过使用散列表选择模式串集合中的一个子集与当前文本进行完全匹配，包括：SHIFT、HASH以及PREFIX三个表。通过所述SHIFT表识别所述用户输入的合同文本中的字符串跳过的字符数，根据所述HASH表和PREFIx表对所述字符数进行判断后决定所述用户输入的合同文本中的字符串匹配候选模式，并验证哪个候选模式完全匹配，并使用能够完全匹配的候选模式进行合同文本的匹配操作。例如：对于x＝x1…xB的字符串，通过hash函数映射得到一个索引值index，以该索引值index作为偏移得到SHIFT表中的值，所述SHIFT表中的值决定读到当前字符串x后可以跳过的字符数；设当前比较的字符串x的hash值为h，如果SHIFT[h]＝0，说明可能产生了匹配，于是，用所述h值作为索引，查HASH表找到HASH[h]，所述HASH[h]存储的是指针，分别指向模式链表和PREFIx表两个单独的表。
较佳地，本发明接收用户输入的合同文本，利用所述WM算法进行匹配查找，当匹配查找到敏感词时，根据上述敏感词的相应危害等级的划分，从而得知此合同相应的危害等级。直至匹配的敏感词达到所述危害等级Ⅰ或Ⅱ时，停止匹配，并重新编辑所述合同文本，完成所述合同文本的敏感词校验。例如：对于合同文本目标串target，假设游标i，模式前缀长度m，字符快长度B，前缀长度C。本发明取target[i-B+1...i]，查找其在SHIFT表中的对应值SHIFT[target[i-B+1...i]]，如果查找不到，则i+＝m-B+1，如果其值为c(c！＝0)，进行i+＝c，再执行上述操作。如果其SHIFT值等于0，则需要取出target[i-m+1...i-m+C]，在SHIFT[de]＝0对应PREFIX结合中查找PREFIX[target[i-m+1...i-m+C]]，如果查找不到，则将游标i+＝1；如果查找到，则用target[i-m+1]开始的子串，依次匹配满足条件的所有模式串，直到找到匹配位置，终止匹配，基于上述所建立敏感词关联信息，得出所述合同文本相应危害等级。
进一步地，本发明还包括预设当收到五个Ⅲ级危害性等级词汇，便得到一个Ⅱ级危害性等级词汇，当收到二个Ⅱ级危害性等级词汇，便会生成一个Ⅰ级危害性等级敏感词汇的规则，基于所述规则，当危害等级达到Ⅰ或Ⅱ危害等级时，终止匹配并重新对所述合同文本数据进行编辑。
发明还提供一种基于人工智能的合同敏感词校验装置。参照图2所示，为本发明一实施例提供的基于人工智能的合同敏感词校验装置的内部结构示意图。
在本实施例中，所述基于人工智能的合同敏感词校验装置1可以是PC(PersonalComputer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。该基于人工智能的合同敏感词校验装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是基于人工智能的合同敏感词校验装置1的内部存储单元，例如该基于人工智能的合同敏感词校验装置1的硬盘。存储器11在另一些实施例中也可以是基于人工智能的合同敏感词校验装置1的外部存储设备，例如基于人工智能的合同敏感词校验装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括基于人工智能的合同敏感词校验装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于基于人工智能的合同敏感词校验装置1的应用软件及各类数据，例如基于人工智能的合同敏感词校验程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行基于人工智能的合同敏感词校验程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在基于人工智能的合同敏感词校验装置1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-14以及基于人工智能的合同敏感词校验程序01的基于人工智能的合同敏感词校验装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对基于人工智能的合同敏感词校验装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，存储器11中存储有基于人工智能的合同敏感词校验程序01；处理器12执行存储器11中存储的基于人工智能的合同敏感词校验程序01时实现如下步骤：
步骤一、获取合同文本数据集，对所述合同文本数据集进行预处理操作，得到数值向量合同词语集。
本发明较佳实施例中，所述合同文本数据集是通对过合同文本进行组合产生的，其中，所述合同文本通过以下两种方式获取：方式一、从各大企业数据库中获取得到；方式二、通过从语料库中搜索关键字获取。
进一步地，由于所述合同文本属于非结构化或半结构化数据，无法直接被分类算法识别，较佳地，本发明较佳实施例通过对所述合同文本数据集进行预处理操作，将所述合同文本数据集转化为数值向量合同词语集。其中，所述预处理操作包括去重、分词、去停用词以及权重计算。详细地，所述预处理操作具体实施步骤为：
a.去重：
当所述合同文本数据集存在重复的合同文本时，会降低合同文本分类的精度，因此，本发明较佳实施例首先对所述文本数据集执行去重操作。
优选地，本发明通过欧式距离公式对所述合同文本数据集进行去重操作，其中，所述欧式距离公式如下：
Figure BDA0002203038570000121
其中，d表示所述合同文本数据集之间的距离，w1j和w2j分别为任意2个合同文本数据，当两个合同文本数据之间的距离小于预设距离阈值，则删除其中一个合同文本数据。优选地，本发明预设所述距离阈值为0.1。
b.分词：
本发明通过预设的策略将所述合同文本数据集中的词语与预设的词典中的词条进行匹配，得到所述合同文本数据集的特征词，并将所述特征词用空格符号隔开。优选地，本发明较佳实施例中，所述预设的词典包含统计词典和前缀词典。所述统计词典是由统计方法得到的所有可能的分词构造的词典。所述统计词典统计相邻字在语料库中贡献的频度并计算互信息，当所述相邻字互相出现信息大于预设的阈值时，即认定为构成词，优选地，本发明所述阈值为0.6。所述前缀词典包括所述统计词典中每一个分词的前缀，例如所述统计词典中的词“中国平安”的前缀分别是“中”、“中国”、“中国平”；词“平安”的前缀是“国”等。本发明利用所述统计词典得到的所述合同文本数据集可能的分词结果，并通过所述前缀词典根据分词的切分位置，得到最终的切分形式，从而得到所述合同文本数据集的特征词。
c.去停用词：
所述停用词是文本功能词中没有什么实际意义的词，对文本的分类没有什么影响，但是出现频率高，于是，会降低文本分类，其中所述停用词包括常用的代词、介词等。例如，所述停用词可以为“的”、“在”、“不过”以及“了”等等。本发明通过预先构建好的停用词表与分词后的所述合同文本数据集中词语进行一一匹配，其中，当分词后的所述合同文本数据集中的特征词与所述停用词表匹配成功时，将所述匹配成功的特征词过滤，当分词后的所述合同文本数据集中的特征词与所述停用词表匹配不成功时，将所述匹配不成功的词语保留。其中，所述预先构建好的停用词表通过网页下载得到。
d.权重计算：
本发明通过构建依存关系图计算去停用词后的所述合同文本数据集的特征词之间的关联强度，通过所述关联强度计算去停用词后的所述合同文本数据集的特征词的重要度得分，得到去停用词后的所述合同文本数据集的特征词的权重。详细地，所述计算所述特征词的重要度得分包括：
计算去停用词后的所述合同文本数据集的特征词中任意两个特征词Wi和Wj的依存关联度：
Figure BDA0002203038570000131
其中，Dep(Wi,Wj)表示所述特征词Wi和Wj的依存关联度，len(Wi,Wj)表示所述特征词Wi和Wj之间的依存路径长度，b是超参数；
计算去停用词后的所述合同文本数据集的特征词Wi和Wj的引力：
Figure BDA0002203038570000141
其中，fgrav(Wi，Wj)表示特征词Wi和Wj的引力，tfidf(Wi)表示特征词Wi的TF-IDF值，tfidf(Wj)表示特征词Wj的TF-IDF值，TF表示词频，IDF表示逆文档频率指数，d是特征词Wi和Wj的词向量之间的欧式距离；
根据计算出的所述依存关联度和所述引力得到所述特征词Wi和Wj之间的关联强度为：
weight(Wi，Wj)＝Dep(Wi，Wj)*fgrav(Wi，Wj)
建立无向图G＝(V，E)，其中V是顶点的集合，E是边的集合；
根据所述关联强度计算出所述特征词Wi的重要度得分：
Figure BDA0002203038570000142
其中，
Figure BDA0002203038570000143
是与顶点Wi有关的集合，η为阻尼系数。
根据所述特征词重要度得分，得到所述特征词权重，从而将所述特征词表示成数值向量形式，得到所述数值向量合同词语集。
步骤二、根据预先构建的合同敏感词信息库，对所述数值向量合同词语集中进行敏感词危害等级的划分。
本发明较佳实施例中，所述合同敏感词信息库中的敏感词通过以下三种种方式获取：方式一、接收用户输入的合同敏感词；方式二、通过关键词从搜索引擎中下载得到合同敏感词；和/或方式三、从专业合同网站进行爬取得到合同敏感词；较佳地，本发明通过网络本体语言(Ontology Web Language，OWL)对得到的所述合同敏感词信息库中的敏感词进行编译，完成所述合同敏感词信息库的构建。
进一步地，本发明优先地对合同敏感词进行分类，其中所述合同敏感词分类包括：1)不文明用语，包括各种脏字；2)不和谐用语，包括各种政府部门名称以及各种反动词汇；3)不整洁用语，包括各种儿童禁忌；4)在不同语义下意思完全相反的词语；5)在合同开发过程中，需要标记的词语等。
较佳地，本发明根据所述敏感词关联信息库以及所述合同敏感词的分类对所述数值向量合同词语集进行危害等级的划分。详细地，本发明较佳实施例中，所述敏感词的危害等级依次划分为Ⅰ、Ⅱ、Ⅲ三种等级(危害等性由高到低)，其中，属于上述方面1)、2)的敏感词，其危害等级划为Ⅰ；属于上述方面3)的敏感词，其危害等级划为Ⅱ；属于上述方面4)、5)的敏感词，其危害等级划为Ⅲ。
步骤三、基于所述敏感词危害等级的划分，通过匹配算法对用户输入的合同文本进行匹配，直至匹配的敏感词达到预设的危害等级时，停止匹配，完成所述合同文本的敏感词校验并重新编辑所述合同文本。
本发明较佳实施例中，所述匹配算法包括Wu-Manber算法，简称WM算法。其中，所述WM算法通过使用散列表选择模式串集合中的一个子集与当前文本进行完全匹配，包括：SHIFT、HASH以及PREFIX三个表。通过所述SHIFT表识别所述用户输入的合同文本中的字符串跳过的字符数，根据所述HASH表和PREFIx表对所述字符数进行判断后决定所述用户输入的合同文本中的字符串匹配候选模式，并验证哪个候选模式完全匹配，并使用能够完全匹配的候选模式进行合同文本的匹配操作。例如：对于x＝x1…xB的字符串，通过hash函数映射得到一个索引值index，以该索引值index作为偏移得到SHIFT表中的值，所述SHIFT表中的值决定读到当前字符串x后可以跳过的字符数；设当前比较的字符串x的hash值为h，如果SHIFT[h]＝0，说明可能产生了匹配，于是，用所述h值作为索引，查HASH表找到HASH[h]，所述HASH[h]存储的是指针，分别指向模式链表和PREFIx表两个单独的表。
较佳地，本发明接收用户输入的合同文本，利用所述WM算法进行匹配查找，当匹配查找到敏感词时，根据上述敏感词的相应危害等级的划分，从而得知此合同相应的危害等级。直至匹配的敏感词达到所述危害等级Ⅰ或Ⅱ时，停止匹配，并重新编辑所述合同文本，完成所述合同文本的敏感词校验。例如：对于合同文本目标串target，假设游标i，模式前缀长度m，字符快长度B，前缀长度C。本发明取target[i-B+1...i]，查找其在SHIFT表中的对应值SHIFT[target[i-B+1...i]]，如果查找不到，则i+＝m-B+1，如果其值为c(c！＝0)，进行i+＝c，再执行上述操作。如果其SHIFT值等于0，则需要取出target[i-m+1...i-m+C]，在SHIFT[de]＝0对应PREFIX结合中查找PREFIX[target[i-m+1...i-m+C]]，如果查找不到，则将游标i+＝1；如果查找到，则用target[i-m+1]开始的子串，依次匹配满足条件的所有模式串，直到找到匹配位置，终止匹配，基于上述所建立敏感词关联信息，得出所述合同文本相应危害等级。
进一步地，本发明还包括预设当收到五个Ⅲ级危害性等级词汇，便得到一个Ⅱ级危害性等级词汇，当收到二个Ⅱ级危害性等级词汇，便会生成一个Ⅰ级危害性等级敏感词汇的规则，基于所述规则，当危害等级达到Ⅰ或Ⅱ危害等级时，终止匹配并重新对所述合同文本数据进行编辑。
可选地，在其他实施例中，基于人工智能的合同敏感词校验程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述基于人工智能的合同敏感词校验程序在基于人工智能的合同敏感词校验装置中的执行过程。
例如，参照图3所示，为本发明基于人工智能的合同敏感词校验装置一实施例中的基于人工智能的合同敏感词校验程序的程序模块示意图，该实施例中，所述基于人工智能的合同敏感词校验程序可以被分割为文本预处理模块10、等级划分模块20、匹配识别模块30示例性地：
所述文本预处理模块10用于：获取合同文本数据集，对所述合同文本数据集进行预处理操作，得到数值向量合同词语集。
所述等级划分模块20用于：根据预先构建的合同敏感词信息库，对所述数值向量合同词语集中的词语进行敏感词危害等级的划分。
所述匹配识别模块30用于基于所述敏感词危害等级的划分，通过匹配算法对用户输入的合同文本进行匹配，直至匹配的敏感词达到预设的危害等级时，停止匹配，完成所述合同文本的敏感词校验，并重新编辑所述合同文本。
上述文本预处理模块10、等级划分模块20、匹配识别模块30等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于人工智能的合同敏感词校验程序，所述基于人工智能的合同敏感词校验程序可被一个或多个处理器执行，以实现如下操作：
获取合同文本数据集，对所述合同文本数据集进行预处理操作，得到数值向量合同词语集；
根据预先构建的合同敏感词信息库，对所述数值向量合同词语集中的词语进行敏感词危害等级的划分；
基于所述敏感词危害等级的划分，通过匹配算法对用户输入的合同文本进行匹配，直至匹配的敏感词达到预设的危害等级时，停止匹配，完成所述合同文本的敏感词校验，并重新编辑所述合同文本。
本发明计算机可读存储介质具体实施方式与上述基于人工智能的合同敏感词校验装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于人工智能的合同敏感词校验方法，其特征在于，所述方法包括：
获取合同文本数据集，对所述合同文本数据集进行预处理操作，得到数值向量合同词语集；
根据预先构建的合同敏感词信息库，对所述数值向量合同词语集中的词语进行敏感词危害等级的划分；
基于所述敏感词危害等级的划分，通过匹配算法对用户输入的合同文本进行匹配，直至匹配的敏感词达到预设的危害等级时，停止匹配，完成所述合同文本的敏感词校验，并重新编辑所述合同文本。
2.如权利要求1所述的基于人工智能的合同敏感词校验方法，其特征在于，所述预处理操作包括去重、分词、去停用词、以及权重计算；
其中，所述去重包括：
利用欧式距离公式对所述合同文本数据集进行去重操作，所述欧式距离公式如下：
Figure FDA0002203038560000011
其中，d表示所述合同文本数据集之间的距离，w1j和w2j分别为任意2个合同文本数据；
所述分词包括：
通过预设的策略将所述合同文本数据集与预设的词典中的词条进行匹配，得到所述合同文本数据集的特征词，并将所述特征词用空格符号隔开；
所述去停用词包括：
通过预先构建好的停用词表与所述合同文本数据集中的特征词进行一一匹配，其中，当所述合同文本数据集中的特征词与所述停用词表匹配成功时，将所述匹配成功的特征词过滤；及
所述权重计算包括：
通过构建依存关系图计算去停用词后的所述合同文本数据集的特征词之间的关联强度，并通过所述关联强度计算出去停用词后的所述合同文本数据集的特征词的重要度得分，得到去停用词后的所述合同文本数据集的特征词的权重，将去停用词后的所述合同文本数据集的特征词表示成数值向量形式，得到所述数值向量合同词语集。
3.如权利要求2所述的基于人工智能的合同敏感词校验方法，其特征在于，所述计算去停用词后的所述合同文本数据集的特征词的重要度得分，包括：
计算所述特征词中任意两个特征词Wi和Wj的依存关联度：
其中，Dep(Wi，Wj)表示所述特征词Wi和Wj的依存关联度，len(Wi，Wj)表示所述特征词Wi和Wj之间的依存路径长度，b是超参数；
计算所述特征词Wi和Wj的引力：
Figure FDA0002203038560000022
其中，fgrav(Wi，Wj)表示特征词Wi和Wj的引力，tfidf(Wi)表示特征词Wi的TF-IDF值，tfidf(Wj)表示特征词Wj的TF-IDF值，TF表示词频，IDF表示逆文档频率指数，d是特征词Wi和Wj的词向量之间的欧式距离；
根据计算出的所述依存关联度和所述引力得到所述特征词Wi和Wj之间的关联强度为：
weight(Wi，Wj)＝Dep(Wi，Wj)*fgrav(Wi，Wj)
根据所述关联强度计算出所述特征词Wi的重要度得分：
其中，
Figure FDA0002203038560000024
是与顶点Wi有关的集合，η为阻尼系数。
4.如权利要求1所述的基于人工智能的合同敏感词校验方法，其特征在于，所述预先构建的合同敏感词信息库包括：
接收用户输入的合同敏感词；
通过关键词从搜索引擎中下载得到合同敏感词；和/或
从专业合同网站进行爬取得到合同敏感词；及
通过网络本体语言对所述合同敏感词进行编译，完成所述合同敏感词信息库的构建。
5.如权利要求1至4中任一项所述的基于人工智能的合同敏感词校验方法，其特征在于，所述匹配算法包括：
通过预设的SHIFT表识别所述用户输入的合同文本中的字符串跳过的字符数，根据预设的HASH表和PREFIx表对所述字符数进行判断后决定所述用户输入的合同文本中的字符串匹配候选模式，根据决定的所述字符串匹配候选模式进行合同文本的匹配。
6.一种基于人工智能的合同敏感词校验装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的基于人工智能的合同敏感词校验程序，所述基于人工智能的合同敏感词校验程序被所述处理器执行时实现如下步骤：
获取合同文本数据集，对所述合同文本数据集进行预处理操作，得到数值向量合同词语集；
根据预先构建的合同敏感词信息库，对所述数值向量合同词语集中的词语进行敏感词危害等级的划分；
基于所述敏感词危害等级的划分，通过匹配算法对用户输入的合同文本进行匹配，直至匹配的敏感词达到预设的危害等级时，停止匹配，完成所述合同文本的敏感词校验，并重新编辑所述合同文本。
7.如权利要求6所述的基于人工智能的合同敏感词校验装置，其特征在于，所述对所述合同文本数据集进行预处理操作，得到数值向量合同词语集，其中，所述预处理操作包括去重、分词、去停用词、以及权重计算；
所述去重包括：
利用欧式距离公式对所述合同文本数据集进行去重操作，所述欧式距离公式如下：
Figure FDA0002203038560000041
其中，d表示所述合同文本数据集之间的距离，w1j和w2j分别为任意2个合同文本数据；
所述分词包括：
通过预设的策略将所述合同文本数据集与预设的词典中的词条进行匹配，得到所述合同文本数据集的特征词，并将所述特征词用空格符号隔开；
所述去停用词包括：
通过预先构建好的停用词表与所述合同文本数据集中的特征词进行一一匹配，其中，当所述合同文本数据集中的特征词与所述停用词表匹配成功时，将所述匹配成功的特征词过滤；及
所述权重计算包括：
通过构建依存关系图计算去停用词后的所述合同文本数据集的特征词之间的关联强度，并通过所述关联强度计算出去停用词后的所述合同文本数据集的特征词的重要度得分，得到去停用词后的所述合同文本数据集的特征词的权重，将去停用词后的所述合同文本数据集的特征词表示成数值向量形式，得到所述数值向量合同词语集。
8.如权利要求7所述的基于人工智能的合同敏感词校验装置，其特征在于，所述计算去停用词后的所述合同文本数据集的特征词的重要度得分，包括：
计算去停用词后的所述合同文本数据集的特征词中任意两个特征词Wi和Wj的依存关联度：
Figure FDA0002203038560000042
其中，Dep(Wi，Wj)表示所述特征词Wi和Wj的依存关联度，len(Wi，Wj)表示所述特征词Wi和Wj之间的依存路径长度，b是超参数；
计算所述特征词Wi和Wj的引力：
Figure FDA0002203038560000051
其中，fgrav(Wi，Wj)表示特征词Wi和Wj的引力，tfidf(Wi)表示特征词Wi的TF-IDF值，tfidf(Wj)表示特征词Wj的TF-IDF值，TF表示词频，IDF表示逆文档频率指数，d是特征词Wi和Wj的词向量之间的欧式距离；
根据计算出的所述依存关联度和所述引力得到所述特征词Wi和Wj之间的关联强度为：
weight(Wi，Wj)＝Dep(Wi，Wj)*fgrav(Wi，Wj)
根据所述关联强度计算出所述特征词Wi的重要度得分：
Figure FDA0002203038560000052
其中，
Figure FDA0002203038560000053
是与顶点Wi有关的集合，η为阻尼系数。
9.如权利要求6所述的基于人工智能的合同敏感词校验装置，其特征在于，所述预先构建的合同敏感词信息库，包括：
接收用户输入的合同敏感词；
通过关键词从搜索引擎中下载得到合同敏感词；和/或
从专业合同网站进行爬取得到合同敏感词；及
通过网络本体语言对所述合同敏感词进行编译，完成所述合同敏感词信息库的构建。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于人工智能的合同敏感词校验程序，所述基于人工智能的合同敏感词校验程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的基于人工智能的合同敏感词校验方法的步骤。
CN201910878460.7A 2019-09-16 2019-09-16 基于人工智能的合同敏感词校验方法、装置及存储介质 Pending CN110765761A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910878460.7A CN110765761A (zh) 2019-09-16 2019-09-16 基于人工智能的合同敏感词校验方法、装置及存储介质
PCT/CN2020/112337 WO2021052148A1 (zh) 2019-09-16 2020-08-30 基于人工智能的合同敏感词校验方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910878460.7A CN110765761A (zh) 2019-09-16 2019-09-16 基于人工智能的合同敏感词校验方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN110765761A true CN110765761A (zh) 2020-02-07

Family

ID=69330580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910878460.7A Pending CN110765761A (zh) 2019-09-16 2019-09-16 基于人工智能的合同敏感词校验方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN110765761A (zh)
WO (1) WO2021052148A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368521A (zh) * 2020-02-29 2020-07-03 重庆百事得大牛机器人有限公司 用于法律顾问服务的管理方法
WO2021052148A1 (zh) * 2019-09-16 2021-03-25 平安科技（深圳）有限公司 基于人工智能的合同敏感词校验方法、装置、计算机设备及存储介质
CN112926301A (zh) * 2020-12-28 2021-06-08 广州坚和网络科技有限公司 基于敏感词库构建的敏感词监控方法及装置
CN113450196A (zh) * 2021-06-29 2021-09-28 上海至贤工程管理咨询有限公司 一种建设工程具有大数据分析功能的在线招投标管理系统
CN113779065A (zh) * 2021-08-23 2021-12-10 深圳价值在线信息科技股份有限公司 数据比对的验证方法、装置、终端设备及介质
CN115456589A (zh) * 2022-09-19 2022-12-09 国网河南省电力公司信息通信公司 一种基于深度学习的合同审核方法和装置
CN117592088A (zh) * 2024-01-18 2024-02-23 青岛闪收付信息技术有限公司 一种电子合同文本敏感数据信息优化处理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117236328B (zh) * 2023-11-10 2024-01-30 深圳市泰铼科技有限公司 基于数据分析的金融文本智能核查系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055541A (zh) * 2016-06-29 2016-10-26 清华大学 一种新闻内容敏感词过滤方法及系统
CN109766441A (zh) * 2018-12-28 2019-05-17 北京奇安信科技有限公司 文本分类方法、装置及系统
CN110032632A (zh) * 2019-04-04 2019-07-19 平安科技（深圳）有限公司 基于文本相似度的智能客服问答方法、装置及存储介质
CN110196893A (zh) * 2019-05-05 2019-09-03 平安科技（深圳）有限公司 基于文本相似度的非主观题阅卷方法、装置及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106104521B (zh) * 2014-01-10 2019-10-25 克鲁伊普有限责任公司 用于自动检测文本中的情感的系统、设备和方法
CN110177182B (zh) * 2019-04-15 2022-09-02 中国平安人寿保险股份有限公司 敏感数据处理方法、装置、计算机设备及存储介质
CN110765761A (zh) * 2019-09-16 2020-02-07 平安科技（深圳）有限公司 基于人工智能的合同敏感词校验方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055541A (zh) * 2016-06-29 2016-10-26 清华大学 一种新闻内容敏感词过滤方法及系统
CN109766441A (zh) * 2018-12-28 2019-05-17 北京奇安信科技有限公司 文本分类方法、装置及系统
CN110032632A (zh) * 2019-04-04 2019-07-19 平安科技（深圳）有限公司 基于文本相似度的智能客服问答方法、装置及存储介质
CN110196893A (zh) * 2019-05-05 2019-09-03 平安科技（深圳）有限公司 基于文本相似度的非主观题阅卷方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张宝军, 北京：中国广播电视出版社 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021052148A1 (zh) * 2019-09-16 2021-03-25 平安科技（深圳）有限公司 基于人工智能的合同敏感词校验方法、装置、计算机设备及存储介质
CN111368521A (zh) * 2020-02-29 2020-07-03 重庆百事得大牛机器人有限公司 用于法律顾问服务的管理方法
CN111368521B (zh) * 2020-02-29 2023-04-07 重庆百事得大牛机器人有限公司 用于法律顾问服务的管理方法
CN112926301A (zh) * 2020-12-28 2021-06-08 广州坚和网络科技有限公司 基于敏感词库构建的敏感词监控方法及装置
CN112926301B (zh) * 2020-12-28 2023-02-14 广州坚和网络科技有限公司 基于敏感词库构建的敏感词监控方法及装置
CN113450196A (zh) * 2021-06-29 2021-09-28 上海至贤工程管理咨询有限公司 一种建设工程具有大数据分析功能的在线招投标管理系统
CN113779065A (zh) * 2021-08-23 2021-12-10 深圳价值在线信息科技股份有限公司 数据比对的验证方法、装置、终端设备及介质
CN115456589A (zh) * 2022-09-19 2022-12-09 国网河南省电力公司信息通信公司 一种基于深度学习的合同审核方法和装置
CN117592088A (zh) * 2024-01-18 2024-02-23 青岛闪收付信息技术有限公司 一种电子合同文本敏感数据信息优化处理方法
CN117592088B (zh) * 2024-01-18 2024-03-29 青岛闪收付信息技术有限公司 一种电子合同文本敏感数据信息优化处理方法

Also Published As

Publication number Publication date
WO2021052148A1 (zh) 2021-03-25

Similar Documents

Publication Publication Date Title
CN110765761A (zh) 基于人工智能的合同敏感词校验方法、装置及存储介质
CN106649818B (zh) 应用搜索意图的识别方法、装置、应用搜索方法和服务器
CN109145153B (zh) 意图类别的识别方法和装置
CN106599278B (zh) 应用搜索意图的识别方法及装置
CN105095195B (zh) 基于知识图谱的人机问答方法和系统
CN107168954B (zh) 文本关键词生成方法及装置和电子设备及可读存储介质
CN104850554B (zh) 一种搜索方法和系统
CN107704503A (zh) 用户关键词提取装置、方法及计算机可读存储介质
EP3497584A1 (en) Systems and methods for contextual retrieval of electronic records
CN108874996B (zh) 网站分类方法及装置
US20180181544A1 (en) Systems for Automatically Extracting Job Skills from an Electronic Document
Ell et al. A language-independent method for the extraction of RDF verbalization templates
CN110929038A (zh) 基于知识图谱的实体链接方法、装置、设备和存储介质
CN110309251B (zh) 文本数据的处理方法、装置和计算机可读存储介质
CN109299235B (zh) 知识库搜索方法、装置及计算机可读存储介质
WO2020056977A1 (zh) 知识点推送方法、装置及计算机可读存储介质
CN111177532A (zh) 一种垂直搜索方法、装置、计算机系统及可读存储介质
US9317608B2 (en) Systems and methods for parsing search queries
CN107844493B (zh) 一种文件关联方法及系统
CN110427480B (zh) 个性化文本智能推荐方法、装置及计算机可读存储介质
WO2021043087A1 (zh) 文字布局方法、装置、电子设备及计算机可读存储介质
CN113032584B (zh) 一种实体关联方法、装置、电子设备及存储介质
WO2015084404A1 (en) Matching of an input document to documents in a document collection
CN110765765B (zh) 基于人工智能的合同关键条款提取方法、装置及存储介质
US11182441B2 (en) Hypotheses generation using searchable unstructured data corpus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207