CN111539213A - 一种多源管理条款的语义互斥的智能检测方法 - Google Patents

一种多源管理条款的语义互斥的智能检测方法 Download PDF

Info

Publication number
CN111539213A
CN111539213A CN202010305652.1A CN202010305652A CN111539213A CN 111539213 A CN111539213 A CN 111539213A CN 202010305652 A CN202010305652 A CN 202010305652A CN 111539213 A CN111539213 A CN 111539213A
Authority
CN
China
Prior art keywords
text
word
calculating
pair
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010305652.1A
Other languages
English (en)
Other versions
CN111539213B (zh
Inventor
元雨暄
林欣郁
贺惠新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202010305652.1A priority Critical patent/CN111539213B/zh
Publication of CN111539213A publication Critical patent/CN111539213A/zh
Application granted granted Critical
Publication of CN111539213B publication Critical patent/CN111539213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多源管理条款的语义互斥的智能检测方法，首选通过获取各相关的管理条款的文本数据，用于模型训练，通过对各条款文本的预处理，结合统计特征、词汇语义特征以及矛盾规则识别特征，构建了一个基于义原的文本语义冲突检测模型，将该模型可用于管理条款的语义互斥的智能检测；本发明采用自动的分类算法构建文本冲突检测模型，应用于实际场景，有效实现了计算机自动对文本对进行冲突检测判断的目的，为预防多源管理条款的文本语义冲突提供了一种新的方法。

Description

一种多源管理条款的语义互斥的智能检测方法
技术领域
本发明涉及语义智能检测领域，特别是指一种多源管理条款的语义互斥的智能检测方法。
背景技术
管理条款文件是管理部门为完成一定历史时期的任务而制定的具体行动准则。为确保目标的实现，管理部门首先对目标进行梳理，然后逐级向下发包，直至面对对象的基层部门。然而，由于信息不对称、权责失衡等原因，在向下发包的过程中，极有可能出现上下级调控冲突现象，阻碍实际任务的施行。对上下级颁布的调控进行互斥检测能够及时发现冲突，有利于加强对管理文件发包过程的监督，对于保障组织的利益有重要意义。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种多源管理条款的语义互斥的智能检测方法，能够有效预防多源管理条款的文本语义冲突。
本发明采用如下技术方案：
一种多源管理条款的语义互斥的智能检测方法，包括模型训练阶段和检测阶段，其特征在于，包括如下具体步骤：
模型训练阶段：
步骤S1：获取各管理条款文本，并整理出上下级的条款文本对，将文本对分别按条拆分匹配，得到NS个政策条目文本对集合S＝{S(i)}为训练语料，各文本对记为S(i)，其中上级政策条目为T(i)，下级政策条目为H(i)，其中1≤i ≤NS，要求NS≥10000；
步骤S2：对于NS个政策条目文本对，构造含有矛盾的文本对NS对，对含有矛盾的文本对的标签标注为1，构造不含矛盾的文本对NS对，对不含有矛盾的文本对的标签标注为0，共有2NS个文本对作为训练语料；
步骤S3：对所述训练语料进行文本预处理；
步骤S4：对预处理后的文本对T、H，进行特征提取，获取文本对的特征列表，包含统计特征、词汇语义特征以及矛盾规则特征化；
步骤S5：根据步骤S4获得特征列表，选择支持向量机作为分类器来训练，并对样本做类平衡处理，训练得到的模型为M；
检测阶段：
步骤T1：对待分类的文本T'、H'进行预处理，其中，上级政策条目为T'，下级政策条目为H'；
步骤T2：对预处理后的文本对T'、H'，进行特征提取，获取文本对的特征列表F；
步骤T3：将文本对的特征列表F，输入给分类模型M进行分类，得到输出，输出为0或1，1表示文本对矛盾，即下级政策条目违背上级政策条目，0表示文本对不矛盾，即下级政策条目符合上级政策条目内容。
具体的，步骤S3中所述预处理，具体包括：
步骤S31:提取出文本中带单位的中文数字和计数单位并将其转化为阿拉伯数字，将数字前后带有的表述方向的词语转化为数学符号字符串，将文本对T(i)、 H(i)转化后的阿拉伯数字与带有的表示方向的词转化后的字符串组合成元组，若没有表示方向的词语则记为“”空字符串，将元组集合记为digitT(i)、digitH(i)；步骤S32：对于每对文本T(i)与H(i)，分别进行分词、去停用词、词性标注处理后，得到两个词性集合wtT(i)、wtH(i)，其中wtT(i)＝{(T(i)(j,word)，T(i)(j, tag))},wtH(i)＝{(H(i)(j,word),H(i)(j,tag))}，T(i)(j,word)表示文本T(i)中的第j个词语，T(i)(j,tag)表示文本T(i)中第j个词语的词性，H(i)(k,word)表示文本H(i)中的第k个词语，H(i)(k,tag)表示文本H(i)中的第k个词语的词性；
步骤S33：对于每对文本T(i)与H(i)，分别提取出否定词，构成否定词集合nwT(i)、nwH(i)；
步骤S34：对于每对文本T(i)与H(i)，将文本中关于时间的短语替换成“xxxx 年xx月xx日”格式，并分别加入集合T(i)time、H(i)time；
具体的，所述步骤S4中，具体包括：
步骤S41：计算词重叠度wLap(T(i),H(i))，记T(i)包含的词集合为NwordT(i)， H(i)中包含的词集合为NwordH(i)，计算公式为：
Figure RE-GDA0002529534390000031
步骤S42：计算文本长度差diffLen(T(i),H(i))，len()为计算字符串长度函数计算公式为：
diffLen(T(i),H(i))＝|len(T(i))-len(H(i))|
步骤S43：计算文本对的Jaro-Winkler距离jwSim(T(i),H(i))，记jSim(T(i),H(i)) 为文本对T(i)与H(i)的Jaro距离，m表示文本字符串T(i)与H(i)的匹配字符数， t表示换位数目transportitions的一半，匹配窗口为mw(T(i),H(i))，f表示两个字符串的共同前缀字符的个数，1≤f≤4，p是缩放因子常量，0＜p≤0.25，计算公式为：
Figure RE-GDA0002529534390000032
Figure RE-GDA0002529534390000033
jwDis(T(i),H(i))＝jSim(T(i),H(i))+fp(1-jSim(T(i),H(i)))
步骤S44：计算基于义原的余弦相似度cosSim(T(i),H(i))，对文本T(i)的词性集合T(i)wt中的每个元组T(i)wt(j)，根据词语的词性获取对应的义原，得到对应的义原向量T(i)wt(j)vec，将所有义原向量求和取平均值得到文本T(i)的向量表示 vecT(i)，记T(i)wt中元组总个数为sT(i)wt，同样的方式可以得到文本H(i)的向量表示vecH(i)和H(i)wt中元组总个数sH(i)wt，计算公式为：
Figure RE-GDA0002529534390000041
Figure RE-GDA0002529534390000042
Figure RE-GDA0002529534390000043
步骤S45：计算否定词特征negF(T(i),H(i))，记nwT(i)、nwH(i)中词语总数为negT(i)、negH(i)计算公式为：
negF＝|negT(i)-negH(i)|mod 2
其中，mod 2除以2取余数；
步骤S46：计算综合知网和同义词词林的文本对语义相似度 combiSim(T(i),H(i))，记将义原距离转化为相似度的函数为simw(w1,w2)，其中w1和w2代表两个义原，dis(w1,w2)为两个义原的语义距离，值为两个义原在义原树中的路径长度，a为相似度约为0.5时的义原距离，计算公式为：
Figure RE-GDA0002529534390000044
记同义词词林词语相似度计算函数为simt(w1,w2)，C1和C2为义原w1和w2的词语编码，disT(C1,C2)是两个词语编码在树状结构中的距离函数，等于词语对的连接路径中各边的权重之和，simt(C1,C2)的计算公式为：
Figure RE-GDA0002529534390000045
其中n为词语对的最近公共父节点的密度，k为词语对所在分支的间距；
Figure RE-GDA0002529534390000046
Figure RE-GDA0002529534390000047
其中s为T(i)wt与H(i)wt各自元组数量的最小值，i表示元组在集合中的序号；
步骤S47：计算得到文本对T(i)、H(i)的数字矛盾特征numCF，将预处理得到的二元组集合digitT(i)、digitH(i)进行比较，smin为两个二元组集合元素总数的最小值，计算公式为：
Figure RE-GDA0002529534390000051
Figure RE-GDA0002529534390000052
步骤S48：计算得到文本对T(i)、H(i)的时间矛盾特征timeCF，将日期转化为时间戳，与相应的数学符号字符串一起组成二元组，得到两个二元组集合 timeT(i)、timeH(i)，计算H(i)中元组表示的时间范围有无在T(i)中元组表示的时间范围内，若全部满足则timeCF置0，否则置1；
步骤S49：计算得到文本对T(i)、H(i)的修饰语矛盾特征adjCF，从wtT(i)、 wtH(i)中根据各元组的词性标签，按序组成新的二元组集合adjSet，其中每个二元组的元素分别是wtT(i)与wtH(i)中的标签为形容词的词语，若wtT(i)还有形容词而wtH(i)没有，则用“”空字符串代替新元组的第二个元素，反之相同，用“”空字符串代替新元组的第一个元素，记adjSet总元素个数为sa，计算公式为：
Figure RE-GDA0002529534390000053
具体的，所述步骤T1中，所述预处理，具体包括：提取数字元组集合digT'、 digH'、词性集合wtT'、wtH'、否定词集合nwT'、nwH'，时间集合timeT'、timeH'。
具体的，所述步骤T2中，具体包括：
T21：利用wtT'、wtH'计算词重叠度，作为特征f1的值；
T22：将T'、H'的长度作差取绝对值，得到文本长度差作为特征f2的值；
T23：通过wtT'、wtH'计算文本T'与文本H'的Jaro-Winkler距离，作为特征f3的值；
T24：根据wtT'、wtH'中的词语，得出文本T'与H'各自的义原集合sT与sH，义原向量求和取均值得到两个文本的向量表示vT与vH，计算得到余弦相似度作为特征f4的值；
T25：根据否定词集合nwT'、nwH'计算得到否定词特征的值，作为特征f5 的值；
T26：利用wtT'、wtH'，计算得出综合知网和同义词词林的文本语义相似度，作为特征f6的值；
T27：利用digT'、digH'，判断两个集合中元素的数字范围包含关系，有则 f7置1，否则f7置0；
T28：根据timeT'、timeH'，判断两个集合中元素的时间范围包含关系，有则f8置1，否则f8置0；
T29：利用wtT'、wtH'中的词语及词性，按序分别提取出两个集合其中词性为形容词的词语，构成新的形容词集合，利用综合知网和同义词词林的词语相似度计算形容词相似度，相似度求和除以集合中元组总数得到修饰语矛盾程度，作为特征f9的值。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
本发明基于统计特征、词汇语义特征与矛盾规则特征，提出了一种文本冲突检测的方法，采用自动的分类算法构建文本冲突检测模型，应用于实际场景，有效实现了计算机自动对文本对进行冲突检测判断的目的。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
模型训练阶段
步骤S1：获取模型训练阶段的依赖资源，即获取各管理条款文本，并整理出上下级的条款文本对，将文本对分别按条拆分匹配，得到NS个政策条目文本对集合S＝{S(i)}为训练语料，各文本对记为S(i)，其中上级政策条目为T(i)，下级政策条目为H(i)，其中1≤i≤NS，要求NS≥10000；
步骤S2：对于NS个政策条目文本对，修改相应内容构造含有矛盾的文本对NS对，对含有矛盾的文本对的标签标注为1，不含有矛盾的文本对的标签标注为0，共有2NS个文本对作为训练语料；
步骤S3：为了便于提取特征，对训练语料作文本预处理，具体的处理方式如下：
步骤S31：提取出文本中带单位的中文数字及其计数单位并将其转化为阿拉伯数字：用“0123456789”来替代中文数字“零一二三四五六七八九十”，用100、 1000、10000等数字来替代中文单位百、千、万等单位，同时将数字前后带有的表述方向的词语如“以下”、“不超过”、“不少于”等转化为数学符号字符串如“<”、“<＝”、“>＝”等，将文本对T(i)、H(i)转化后的阿拉伯数字与带有的表示方向的词转化后的字符串组合成元组，若没有表示方向的词语则记为“”(空字符串)，将元组集合记为digitT(i)、digitH(i)；
步骤S32：对于每对文本T(i)与H(i)，分别进行分词、去停用词、词性标注处理后，得到两个词性集合wtT(i)、wtH(i)，其中wtT(i)＝{(T(i)(j,word)，T(i)(j, tag))},wtH(i)＝{(H(i)(j,word),H(i)(j,tag))}，T(i)(j,word)表示文本T(i)中的第j个词语，T(i)(j,tag)表示文本T(i)中第j个词语的词性，H(i)(k,word)表示文本H(i)中的第k个词语，H(i)(k,tag)表示文本H(i)中的第k个词语的词性；
步骤S33：对于每对文本T(i)与H(i)，分别提取出否定词，构成否定词集合 nwT(i)、nwH(i)，否定词是存在于集合{“无”，“没”，“未”，“非”，“否”，“不是”，“不”，“不得”}中的词语；
步骤S34：对于每对文本T(i)与H(i)，将文本中关于时间的短语替换成“xxxx 年xx月xx日”格式，并分别加入集合T(i)time、H(i)time；
步骤S4：对每一对进行预处理后的文本对T(i)、H(i)，进行特征提取，包含统计特征、词汇语义特征以及矛盾规则特征化，具体步骤如下：
步骤S41：计算词重叠度wLap(T(i),H(i))，记T(i)包含的词集合为NwordT(i)， H(i)中包含的词集合为NwordH(i)，计算公式为
Figure RE-GDA0002529534390000081
步骤S42：计算文本长度差diffLen(T(i),H(i))，len()为计算字符串长度函数计算公式为 diffLen(T(i),H(i))＝|len(T(i))-len(H(i))|
步骤S43：计算文本对的Jaro-Winkler距离jwSim(T(i),H(i))，记jSim(T(i),H(i)) 为文本对T(i)与H(i)的Jaro距离，m表示文本字符串T(i)与H(i)的匹配字符数， t表示换位数目transportitions的一半，匹配窗口为mw(T(i),H(i))，f表示两个字符串的共同前缀字符的个数，1≤f≤4，p是缩放因子常量，0＜p≤0.25，计算公式为
Figure RE-GDA0002529534390000082
Figure RE-GDA0002529534390000083
jwDis(T(i),H(i))＝jSim(T(i),H(i))+fp(1-jSim(T(i),H(i)))
步骤S44：计算基于义原的余弦相似度cosSim(T(i),H(i))，对文本T(i)的词性集合T(i)wt中的每个元组T(i)wt(j)，根据词语的词性获取对应的义原，得到对应的义原向量T(i)wt(j)vec，将所有义原向量求和取平均值得到文本T(i)的向量表示vecT(i)，记T(i)wt中元组总个数为sT(i)wt，同样的方式可以得到文本H(i)的向量表示vecH(i)和H(i)wt中元组总个数sH(i)wt，计算公式为
Figure RE-GDA0002529534390000091
Figure RE-GDA0002529534390000092
Figure RE-GDA0002529534390000093
步骤S45：计算否定词特征negF(T(i),H(i))，记nwT(i)、nwH(i)中词语总数为negT(i)、negH(i)计算公式为 negF＝|negT(i)-negH(i)|mod 2
其中，mod 2除以2取余数；
步骤S46：计算综合知网和同义词词林的文本对语义相似度 combiSim(T(i),H(i))，记将义原距离转化为相似度的函数为simw(w1,w2)，其中w1和w2代表两个义原，dis(w1,w2)为两个义原的语义距离，值为两个义原在义原树中的路径长度，a为相似度约为0.5时的义原距离，计算公式为
Figure RE-GDA0002529534390000094
记同义词词林词语相似度计算函数为simt(w1,w2)，C1和C2为义原w1和w2的词语编码，disT(C1,C2)是两个词语编码在树状结构中的距离函数，等于词语对的连接路径中各边的权重之和，simt(C1,C2)的计算公式为
Figure RE-GDA0002529534390000095
其中n为词语对的最近公共父节点的密度，k为词语对所在分支的间距，
Figure RE-GDA0002529534390000096
Figure RE-GDA0002529534390000097
其中s为T(i)wt与H(i)wt各自元组数量的最小值，i表示元组在集合中的序号；
步骤S47：计算得到文本对T(i)、H(i)的数字矛盾特征numCF，将预处理得到的二元组集合digitT(i)、digitH(i)进行比较，smin为两个二元组集合元素总数的最小值，
Figure RE-GDA0002529534390000101
Figure RE-GDA0002529534390000102
步骤S48：计算得到文本对T(i)、H(i)的时间矛盾特征timeCF，时间表达格式在文本预处理过程中已经统一，利用正则表达式提取出时间内容，一并提取出表示时间范围的词语如“早于”、“之后”等，并将其转化为数学符号字符串如“<”、“>”等，将日期转化为时间戳，与相应的数学符号字符串一起组成二元组，得到两个二元组集合timeT(i)、timeH(i)，计算H(i)中元组表示的时间范围有无在T(i)中元组表示的时间范围内，若全部满足则timeCF置0，否则置1；
步骤S49：计算得到文本对T(i)、H(i)的修饰语矛盾特征adjCF，从wtT(i)、 wtH(i)中根据各元组的词性标签，按序组成新的二元组集合adjSet，其中每个二元组的元素分别是wtT(i)与wtH(i)中的标签为形容词的词语，若wtT(i)还有形容词而wtH(i)没有，则用“”(空字符串)代替新元组的第二个元素，反之相同，用“”(空字符串)代替新元组的第一个元素，记adjSet总元素个数为sa，计算公式为
Figure RE-GDA0002529534390000103
步骤S5：根据以上步骤获得特征列表，选择支持向量机作为分类器来训练，并对样本做类平衡处理，训练得到的模型为M；
检测阶段
对待进行文本冲突检测的管理条款文本对T、H，做如下步骤的处理：
步骤T1：对待分类的文本对进行预处理，
包括提取数字元组集合digT与digH、词性集合wtT与wtH、否定词集合 nwT与nwH，将T、H中的时间表示规范化并提取出时间集合timeT与timeH；
步骤T2：对得到的集合提取特征F＝{f1,f2,f3…},具体抽取方法如下：
步骤T21：利用wtT与wtH计算词重叠度，作为特征f1的值；
步骤T22：将T与H的长度作差取绝对值，得到文本长度差作为特征f2的值；
步骤T23：通过wtT与wtH计算T与H的Jaro-Winkler距离，作为特征f3 的值；
步骤T24：根据wtT与wtH中的词语，得出文本T与H各自的义原集合sT 与sH，义原向量求和取均值得到两个文本的向量表示vT与vH，计算得到余弦相似度作为特征f4的值；
步骤T25：根据否定词集合nwT与nwH计算得到否定词特征的值，作为特征f5的值；
步骤T26：利用wtT与wtH，计算得出综合知网和同义词词林的文本语义相似度，作为特征f6的值；
步骤T27：利用digT与digH，判断两个集合中元素的数字范围包含关系，即有无数字冲突情况，有则f7置1，否则f7置0；
步骤T28：根据timeT与timeH，判断两个集合中元素的时间范围包含关系，即有无时间冲突，有则f8置1，否则f8置0；
步骤T29：利用wtT与wtH中的词语及词性，按序分别提取出两个集合其中词性为形容词的词语，构成新的形容词集合，利用综合知网和同义词词林的词语相似度计算形容词相似度，相似度求和除以集合中元组总数得到修饰语矛盾程度，作为特征f9的值；
步骤T3：将文本对的特征列表F，输入给分类模型M进行分类，得到输出，输出为0或1，1表示文本对矛盾，即下级政策条目违背上级政策条目，0表示文本对不矛盾，即下级政策条目符合上级政策条目内容。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (5)

1.一种多源管理条款的语义互斥的智能检测方法，包括模型训练阶段和检测阶段，其特征在于，包括如下具体步骤：
模型训练阶段：
步骤S1：获取各管理条款文本，并整理出上下级的条款文本对，将文本对分别按条拆分匹配，得到NS个政策条目文本对集合S＝{S(i)}为训练语料，各文本对记为S(i)，其中上级政策条目为T(i)，下级政策条目为H(i)，其中1≤i≤NS，要求NS≥10000；
步骤S2：对于NS个政策条目文本对，构造含有矛盾的文本对NS对，对含有矛盾的文本对的标签标注为1，构造不含矛盾的文本对NS对，对不含有矛盾的文本对的标签标注为0，共有2NS个文本对作为训练语料；
步骤S3：对所述训练语料进行文本预处理；
步骤S4：对预处理后的文本对T、H，进行特征提取，获取文本对的特征列表，包含统计特征、词汇语义特征以及矛盾规则特征化；
步骤S5：根据步骤S4获得特征列表，选择支持向量机作为分类器来训练，并对样本做类平衡处理，训练得到的模型为M；
检测阶段：
步骤T1：对待分类的文本T'、H'进行预处理，其中，上级政策条目为T'，下级政策条目为H'；
步骤T2：对预处理后的文本对T'、H'，进行特征提取，获取文本对的特征列表F；
步骤T3：将文本对的特征列表F，输入给分类模型M进行分类，得到输出，输出为0或1，1表示文本对矛盾，即下级政策条目违背上级政策条目，0表示文本对不矛盾，即下级政策条目符合上级政策条目内容。
2.根据权利要求1所述的一种多源管理条款的语义互斥的智能检测方法，其特征在于，步骤S3中所述预处理，具体包括：
步骤S31:提取出文本中带单位的中文数字和计数单位并将其转化为阿拉伯数字，将数字前后带有的表述方向的词语转化为数学符号字符串，将文本对T(i)、H(i)转化后的阿拉伯数字与带有的表示方向的词转化后的字符串组合成元组，若没有表示方向的词语则记为“”空字符串，将元组集合记为digitT(i)、digitH(i)；
步骤S32：对于每对文本T(i)与H(i)，分别进行分词、去停用词、词性标注处理后，得到两个词性集合wtT(i)、wtH(i)，其中wtT(i)＝{(T(i)(j,word)，T(i)(j,tag))},wtH(i)＝{(H(i)(j,word),H(i)(j,tag))}，T(i)(j,word)表示文本T(i)中的第j个词语，T(i)(j,tag)表示文本T(i)中第j个词语的词性，H(i)(k,word)表示文本H(i)中的第k个词语，H(i)(k,tag)表示文本H(i)中的第k个词语的词性；
步骤S33：对于每对文本T(i)与H(i)，分别提取出否定词，构成否定词集合nwT(i)、nwH(i)；
步骤S34：对于每对文本T(i)与H(i)，将文本中关于时间的短语替换成“xxxx年xx月xx日”格式，并分别加入集合T(i)time、H(i)time。
3.根据权利要求2所述的一种多源管理条款的语义互斥的智能检测方法，其特征在于，所述步骤S4中，具体包括：
步骤S41：计算词重叠度wLap(T(i),H(i))，记T(i)包含的词集合为NwordT(i)，H(i)中包含的词集合为NwordH(i)，计算公式为：
Figure RE-FDA0002529534380000021
步骤S42：计算文本长度差diffLen(T(i),H(i))，len()为计算字符串长度函数计算公式为：
diffLen(T(i),H(i))＝|len(T(i))-len(H(i))|
步骤S43：计算文本对的Jaro-Winkler距离jwSim(T(i),H(i))，记jSim(T(i),H(i))为文本对T(i)与H(i)的Jaro距离，m表示文本字符串T(i)与H(i)的匹配字符数，t表示换位数目transportitions的一半，匹配窗口为mw(T(i),H(i))，f表示两个字符串的共同前缀字符的个数，1≤f≤4，p是缩放因子常量，0＜p≤0.25，计算公式为：
Figure RE-FDA0002529534380000031
Figure RE-FDA0002529534380000032
jwDis(T(i),H(i))＝jSim(T(i),H(i))+fp(1-jSim(T(i),H(i)))
步骤S44：计算基于义原的余弦相似度cosSim(T(i),H(i))，对文本T(i)的词性集合T(i)wt中的每个元组T(i)wt(j)，根据词语的词性获取对应的义原，得到对应的义原向量T(i)wt(j)vec，将所有义原向量求和取平均值得到文本T(i)的向量表示vecT(i)，记T(i)wt中元组总个数为sT(i)wt，同样的方式可以得到文本H(i)的向量表示vecH(i)和H(i)wt中元组总个数sH(i)wt，计算公式为：
Figure RE-FDA0002529534380000033
Figure RE-FDA0002529534380000034
Figure RE-FDA0002529534380000035
步骤S45：计算否定词特征negF(T(i),H(i))，记nwT(i)、nwH(i)中词语总数为negT(i)、negH(i)计算公式为：
negF＝|negT(i)-negH(i)|mod 2
其中，mod 2指除以2取余数；
步骤S46：计算综合知网和同义词词林的文本对语义相似度combiSim(T(i),H(i))，记将义原距离转化为相似度的函数为simw(w1,w2)，其中w1和w2代表两个义原，dis(w1,w2)为两个义原的语义距离，值为两个义原在义原树中的路径长度，a为相似度约为0.5时的义原距离，计算公式为：
Figure RE-FDA0002529534380000036
记同义词词林词语相似度计算函数为simt(w1,w2)，C1和C2为义原w1和w2的词语编码，disT(C1,C2)是两个词语编码在树状结构中的距离函数，等于词语对的连接路径中各边的权重之和，simt(C1,C2)的计算公式为：
Figure RE-FDA0002529534380000041
其中n为词语对的最近公共父节点的密度，k为词语对所在分支的间距；
Figure RE-FDA0002529534380000042
Figure RE-FDA0002529534380000043
其中s为T(i)wt与H(i)wt各自元组数量的最小值，i表示元组在集合中的序号；
步骤S47：计算得到文本对T(i)、H(i)的数字矛盾特征numCF，将预处理得到的二元组集合digitT(i)、digitH(i)进行比较，smin为两个二元组集合元素总数的最小值，计算公式为：
Figure RE-FDA0002529534380000044
Figure RE-FDA0002529534380000045
步骤S48：计算得到文本对T(i)、H(i)的时间矛盾特征timeCF，将日期转化为时间戳，与相应的数学符号字符串一起组成二元组，得到两个二元组集合timeT(i)、timeH(i)，计算H(i)中元组表示的时间范围有无在T(i)中元组表示的时间范围内，若全部满足则timeCF置0，否则置1；
步骤S49：计算得到文本对T(i)、H(i)的修饰语矛盾特征adjCF，从wtT(i)、wtH(i)中根据各元组的词性标签，按序组成新的二元组集合adjSet，其中每个二元组的元素分别是wtT(i)与wtH(i)中的标签为形容词的词语，若wtT(i)还有形容词而wtH(i)没有，则用“”空字符串代替新元组的第二个元素，反之相同，用“”空字符串代替新元组的第一个元素，记adjSet总元素个数为sa，计算公式为：
Figure RE-FDA0002529534380000051
4.根据权利要求1所述的一种多源管理条款的语义互斥的智能检测方法，其特征在于，所述步骤T1中，所述预处理，具体包括：提取数字元组集合digT'、digH'、词性集合wtT'、wtH'、否定词集合nwT'、nwH'，时间集合timeT'、timeH'。
5.根据权利要求4所述的一种多源管理条款的语义互斥的智能检测方法，其特征在于，所述步骤T2中，具体包括：
T21：利用wtT'、wtH'计算词重叠度，作为特征f1的值；
T22：将T'、H'的长度作差取绝对值，得到文本长度差作为特征f2的值；
T23：通过wtT'、wtH'计算文本T'与文本H'的Jaro-Winkler距离，作为特征f3的值；
T24：根据wtT'、wtH'中的词语，得出文本T'与H'各自的义原集合sT与sH，义原向量求和取均值得到两个文本的向量表示vT与vH，计算得到余弦相似度作为特征f4的值；
T25：根据否定词集合nwT'、nwH'计算得到否定词特征的值，作为特征f5的值；
T26：利用wtT'、wtH'，计算得出综合知网和同义词词林的文本语义相似度，作为特征f6的值；
T27：利用digT'、digH'，判断两个集合中元素的数字范围包含关系，有则f7置1，否则f7置0；
T28：根据timeT'、timeH'，判断两个集合中元素的时间范围包含关系，有则f8置1，否则f8置0；
T29：利用wtT'、wtH'中的词语及词性，按序分别提取出两个集合其中词性为形容词的词语，构成新的形容词集合，利用综合知网和同义词词林的词语相似度计算形容词相似度，相似度求和除以集合中元组总数得到修饰语矛盾程度，作为特征f9的值。
CN202010305652.1A 2020-04-17 2020-04-17 一种多源管理条款的语义互斥的智能检测方法 Active CN111539213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010305652.1A CN111539213B (zh) 2020-04-17 2020-04-17 一种多源管理条款的语义互斥的智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010305652.1A CN111539213B (zh) 2020-04-17 2020-04-17 一种多源管理条款的语义互斥的智能检测方法

Publications (2)

Publication Number Publication Date
CN111539213A true CN111539213A (zh) 2020-08-14
CN111539213B CN111539213B (zh) 2022-07-01

Family

ID=71976859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010305652.1A Active CN111539213B (zh) 2020-04-17 2020-04-17 一种多源管理条款的语义互斥的智能检测方法

Country Status (1)

Country Link
CN (1) CN111539213B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464675A (zh) * 2020-12-02 2021-03-09 科大讯飞股份有限公司 一种言辞矛盾检测方法、装置、设备及存储介质
CN113821601A (zh) * 2021-09-26 2021-12-21 北京中经惠众科技有限公司 文本对比方法、装置、设备和介质
CN114090781A (zh) * 2022-01-20 2022-02-25 北京零点远景网络科技有限公司 基于文本数据的容斥事件检测方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150227505A1 (en) * 2012-08-27 2015-08-13 Hitachi, Ltd. Word meaning relationship extraction device
CN108027888A (zh) * 2015-09-16 2018-05-11 微软技术许可有限责任公司 使用上下文信号的局部异常检测
CN108804410A (zh) * 2017-05-05 2018-11-13 北京数洋智慧科技有限公司 一种基于人工智能文本语义相似度分析的语义解释方法
CN109858028A (zh) * 2019-01-30 2019-06-07 神思电子技术股份有限公司 一种基于概率模型的短文本相似度计算方法
CN110618980A (zh) * 2019-09-09 2019-12-27 上海交通大学 基于法律文本精确匹配和矛盾检测的系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150227505A1 (en) * 2012-08-27 2015-08-13 Hitachi, Ltd. Word meaning relationship extraction device
CN108027888A (zh) * 2015-09-16 2018-05-11 微软技术许可有限责任公司 使用上下文信号的局部异常检测
CN108804410A (zh) * 2017-05-05 2018-11-13 北京数洋智慧科技有限公司 一种基于人工智能文本语义相似度分析的语义解释方法
CN109858028A (zh) * 2019-01-30 2019-06-07 神思电子技术股份有限公司 一种基于概率模型的短文本相似度计算方法
CN110618980A (zh) * 2019-09-09 2019-12-27 上海交通大学 基于法律文本精确匹配和矛盾检测的系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI XIAOZHENG ET.AL: "Intelligent diagnosis with Chinese electronic medical records based on convolutional neural networks", 《BMC BIOINFORMATICS》 *
贺惠新 等: "主动学习的科技文献研究对象标引体系研究", 《现代图书情报技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464675A (zh) * 2020-12-02 2021-03-09 科大讯飞股份有限公司 一种言辞矛盾检测方法、装置、设备及存储介质
CN112464675B (zh) * 2020-12-02 2024-04-16 科大讯飞股份有限公司 一种言辞矛盾检测方法、装置、设备及存储介质
CN113821601A (zh) * 2021-09-26 2021-12-21 北京中经惠众科技有限公司 文本对比方法、装置、设备和介质
CN114090781A (zh) * 2022-01-20 2022-02-25 北京零点远景网络科技有限公司 基于文本数据的容斥事件检测方法和装置

Also Published As

Publication number Publication date
CN111539213B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN111539213B (zh) 一种多源管理条款的语义互斥的智能检测方法
CN109857990B (zh) 一种基于文档结构与深度学习的金融类公告信息抽取方法
CN109829159B (zh) 一种古汉语文本的一体化自动词法分析方法及系统
CN109918666B (zh) 一种基于神经网络的中文标点符号添加方法
CN107392143B (zh) 一种基于svm文本分类的简历精确解析方法
CN108664574B (zh) 信息的输入方法、终端设备及介质
CN110598203A (zh) 一种结合词典的军事想定文书实体信息抽取方法及装置
Eskander et al. Foreign words and the automatic processing of Arabic social media text written in Roman script
CN111950273A (zh) 基于情感信息抽取分析的网络舆情突发事件自动识别方法
CN112434535A (zh) 基于多模型的要素抽取方法、装置、设备及存储介质
CN108829823A (zh) 一种文本分类方法
CN116127090B (zh) 基于融合和半监督信息抽取的航空系统知识图谱构建方法
CN111209749A (zh) 一种将深度学习应用于中文分词的方法
CN111090994A (zh) 一种面向中文网络论坛文本的事件地点归属省份识别方法
CN110110087A (zh) 一种基于二分类器的用于法律文本分类的特征工程方法
CN110781297B (zh) 基于层次判别树的多标签科研论文的分类方法
CN115687621A (zh) 一种短文本标签标注方法及装置
CN109446522B (zh) 一种试题自动分类系统及方法
CN115238040A (zh) 一种钢铁材料学知识图谱构建方法及系统
CN115098673A (zh) 基于变体注意力及层次结构的业务文书信息抽取方法
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法
CN112784585A (zh) 金融公告的摘要提取方法与摘要提取终端
CN116304064A (zh) 一种基于抽取式的文本分类方法
Bilenko et al. Employing Trainable String Similarity Metrics for Information Integration.
CN110532538A (zh) 财产纠纷裁判文书关键实体抽取算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant