CN113656548B - 基于数据包络分析的文本分类模型解释方法及系统 - Google Patents
基于数据包络分析的文本分类模型解释方法及系统 Download PDFInfo
- Publication number
- CN113656548B CN113656548B CN202110950317.1A CN202110950317A CN113656548B CN 113656548 B CN113656548 B CN 113656548B CN 202110950317 A CN202110950317 A CN 202110950317A CN 113656548 B CN113656548 B CN 113656548B
- Authority
- CN
- China
- Prior art keywords
- text
- word
- interpretation
- model
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013145 classification model Methods 0.000 title claims abstract description 42
- 238000004458 analytical method Methods 0.000 title claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 10
- 230000009286 beneficial effect Effects 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 67
- 230000008451 emotion Effects 0.000 claims description 52
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 3
- 235000011941 Tilia x europaea Nutrition 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 239000004571 lime Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种基于数据包络分析的文本分类模型解释方法及系统，该方法包括以下步骤：通过文本预处理模块对待解释的初始文本进行预处理；通过先验知识提取模块对待解释文本的固有属性进行信息提取；通过多视角解释模块对文本的预测结果从不同视角进行解释并获取相应的贡献得分；通过数据包络分析解释模块对先验知识提取模块提取的先验知识矩阵与多视角解释模块提取的视角贡献得分矩阵进行综合评估分析，以获取融合特征后的单词解释得分。该方法及系统有利于提供客观、全面的解释信息，提高文本分类模型解释的准确性和可靠性。
Description
技术领域
本发明属于文本分类领域，具体涉及一种基于数据包络分析的文本分类模型解释方法及系统。
背景技术
随着深度学习引入自然语言处理，领域内的不同任务都获得了里程碑式的提升。然而伴随着深度学习模型复杂化，其黑盒性也愈发明显。在实际应用场景中，当人类难以理解模型如何利用数据中的语义信息得到预测结果时，便会产生人与模型之间的信任危机。该潜在威胁直接阻碍了深度学习模型在金融、医疗、军事等高风险领域的推广和应用。在文本分类任务中，可解释性分析技术旨在实现给定模型和文本，基于数据或知识给出做出决策的依据(单词、短语、句子)。进一步为开发人员提供模型性能提升指导，帮助用户理解模型决策，建立人与模型之间的信任关系。
目前，机器学习的可解释性研究取得许多瞩目的研究成果，根据解释分析是否涉及模型搭建可以划分为事前解释和事后解释。事前解释主要由结构简单的自解释模块构建机器学习模型；事后解释主要指模型训练后运用解释方法模拟模型的推理过程以获得预测结果的解释信息。无论事前抑或是事后解释方法都达到了降低模型的不确定性、不可靠性的目的，但相较于前者，后者具有灵活性高、适用面广的特点，并且能够快速落地发挥价值。
鉴于事后解释方法的高可用性，大量学者从不同视角对深度学习模型展开事后可解释研究。在适用于文本分类模型的解释方法中，敏感性分析聚焦于输入扰动，忽略了特征之间的相关关系对决策结果的影响；局部近似聚焦于设计简单模型拟合原模型的决策边缘，缺乏对模型整体决策行为的解释；反向传播利用深度学习网络的反向传播机制定位关键决策特征，但无法量化每个特征对预测结果的贡献度。现有的方法，尚未有一种能够全面考量各个视角的解释信息，提供客观、全面的解释结果。
发明内容
本发明的目的在于提供一种基于数据包络分析的文本分类模型解释方法及系统，该方法及系统有利于提供客观、全面的解释信息，提高文本分类模型解释的准确性和可靠性。
为实现上述目的，本发明采用的技术方案是：一种基于数据包络分析的文本分类模型解释方法，包括以下步骤：
通过文本预处理模块对待解释的初始文本进行预处理；
通过先验知识提取模块对待解释文本的固有属性进行信息提取；
通过多视角解释模块对文本的预测结果从不同视角进行解释并获取相应的贡献得分；
通过数据包络分析解释模块对先验知识提取模块提取的先验知识矩阵与多视角解释模块提取的视角贡献得分矩阵进行综合评估分析，以获取融合特征后的单词解释得分。
进一步地，对初始文本进行预处理的具体方法为：
通过正则表达式剔除原始数据中非文本、非英文和标点符号字符；
根据空格对剔除异常字符后的文本进行分词处理；
根据英文停用词表，剔除文本中涉及的无益于文本分析的停用词，包括虚词、无特定含义的动名词；
基于模型训练、测试文本构建词典，通过词典单词对应编号构建输入文本的词向量，将得到的词向量作为给定文本分类模型的输入。
进一步地，所述固有属性包括解释文本预测结果所需的先验知识，提取所述固有属性信息以得到符合常识的解释结果；对于给定模型是文本情感分类模型的情况，引入情感得分、位置权重以及TF-IDF得分中的若干种或所有作为先验知识。
进一步地，获得文本的情感得分的方法为：
对于给定的文本，首先根据情感词典、否定词词典、程度副词词典定位文本中的情感词、否定词以及程度副词；其次，判断否定词与情感词、程度副词与情感词的位置关系，相邻则划分成组；而后，获取情感词典中的情感得分，如有否定词位于情感词前则情感得分取反，如有程度副词位于情感词前则情感得分乘以程度词对应的程度值；最后，获得与文本词向量一一对应的情感得分向量；
获得文本的位置权重的方法为：
若给定的文本长度为n，词t表示单词处于文本中的第t个位置，则∈Rd表示t词的位置向量，d是向量的维度，这里d＝1；f：N→Rd是位置向量/>的函数，定义函数为：
其中，频率ωk的定义如下：
通过上述公式计算获得与文本词向量一一对应的位置权重向量；
获得文本的TF-IDF得分的方法为：
对于给定的文本，用词频表示单词在文本中出现的频率，其计算公式为：
其中，si表示文本s的第i个词，N表示文本的长度，表示词si在文本中出现的次数；
用逆文档频率表示词在语料库中出现的频率，其计算公式为：
其中，D表示语料库的文档数，表示包含词si的文档数；
最后，将词频乘以逆文档频率获得TF-IDF值：
通过上述公式计算获得与文本词向量一一对应的TF-IDF值。
进一步地，对于给定模型是文本情感分类模型的情况，引入边际贡献、局部模型无关解释以及留一法中的若干种或所有视角解释文本预测结果并获取相应的贡献得分。
进一步地，从边际贡献视角解释文本预测结果并获取贡献得分的方法为：
通过计算给定单词的分类预测值到预测边界的距离获得该单词的边际贡献值，其计算公式为：
其中，Si是原文本s的重构版本，其使用<pad>替换了除第i个词以外的其它词，是模型f以Si为输入，预测类别为/>的概率；/>是除类别/>以外，其它类别的最高预测概率；得到的ψ(si)表示预测类别为/>的置信度即第i个单词的贡献得分；
通过上述公式计算获得与文本词向量一一对应的边际贡献值。
进一步地，从局部模型无关解释视角解释文本预测结果并获取贡献得分的方法为：
通过计算给定单词在局部的线性可分模型中的权重以获得该单词的贡献值；
在文本x局部构建解释模型g的目标损失函数为：
其中，x是原始文本，Z为x周边的扰动样本集，扰动样本z由x中的单词抽取构成，f是给定文本分类模型，g(z)＝ωg·z为线性模型；
Πx(z)为原样本x与扰动样本z的接近度，计算方式为：
Πx(z)＝exp(-D(x，z)2/σ2)
其中，D为计算原始文本x和扰动样本z的余弦相似度，σ为扰动；
最后计算得到线性解释模型g的权重系数ωg即文本的解释信息；
通过上述计算过程获得与文本词向量一一对应的局部模型无关解释贡献值。
进一步地，从留一法视角解释文本预测结果并获取贡献得分的方法为：
对于给定文本通过计算保留不同单词的预测类别概率下降度，来获取该单词对于给定文本特定类的贡献值，其计算公式为：
其中，是原始语句s输入模型后预测得类别/>的概率，Si为原语句s的重构版本，其使用<pad>替换了除第i个词以外的其它词，/>是模型f以Si为输入预测得到类别/>的概率；得到的δ(si)为词si关于文本s预测类别为/>的贡献度；
通过上述公式计算获得与文本词向量一一对应的留一法贡献值。
进一步地，对提取的单词特征向量进行综合评估分析，以获取融合特征后的单词解释得分，其具体方法为：
对于给定的待解释文本s，每一个单词si视作一个生产决策单元DMU；先验知识提取模块提取的信息无需经过分类模型，故将其视为DMU的投入，xi＝(xi1，xi2，xi3，…)表示单词si的投入向量，其中xij表示单词si第j项先验知识得分；多视角解释模块提取的信息经过分类模型，故将其视为DMU的产出，yi＝(yi1，yi2，yi3，…)表示单词si的产出向量，yij表示单词si第j个视角的贡献得分；
明确评估对象的投入产出后，基于DEA的CCR模型进行分析，评估第i0个DMU的规划模型为：
式中，表示单词/>的产出向量，/>表示单词/>的投入向量，u为输出向量参数，v为输入向量参数；由于分式规划难以求解，因此通过Chaenes-Cooper变换转换为如下线性规划：
其中Chaenes-Cooper变换取ω＝tv，μ＝tu；
通过上式构建给定文本单词i0的线性规划模型并求解得对应的有效性得分即最终的融合解释得分。
本发明还提供了一种基于数据包络分析的文本分类模型解释系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如上述的方法步骤。
与现有技术相比，本发明具有以下有益效果：提供了一种基于数据包络分析的文本分类模型解释方法及系统，能够聚合文本的先验知识于输入，聚合不同视角的解释信息于输出，基于相对效率通过数据包络分析计算文本单词/特征的有效性得分，以有效性得分作为贡献得分的解释方式能够获得比单视角解释方法更加丰富的融合解释信息，克服了现有解释方法中缺乏先验知识，以及单视角解释主观、片面的问题。
附图说明
图1是本发明实施例的方法实现原理图。
图2是本发明实施例中提取的单词特征向量示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于数据包络分析的文本分类模型解释方法，包括以下步骤：
1)通过文本预处理模块对待解释的初始文本进行预处理。
2)通过先验知识提取模块对待解释文本的固有属性进行信息提取。
4)通过多视角解释模块对文本的预测结果从不同视角进行解释并获取相应的贡献得分。
4)通过数据包络分析解释模块对先验知识提取模块提取的先验知识矩阵与多视角解释模块提取的视角贡献得分矩阵进行综合评估分析，以获取融合特征后的单词解释得分。
1、文本预处理
在实际的应用文本数据中参杂着大量的无效信息，直接应用将会产生大量干扰信息，为此需要对初始文本进行预处理以满足模型输入的条件，在本实施例中，主要按以下几个步骤进行处理：
a.通过正则表达式剔除原始数据中非文本、非英文和标点符号字符；
b.根据空格对剔除异常字符后的文本进行分词处理；
c.根据英文停用词表，剔除文本中涉及的虚词、无特定含义的动名词等无益于文本分析的停用词；
d.基于模型训练、测试文本构建词典，通过词典单词对应编号构建输入文本的词向量，将得到的词向量作为给定文本分类模型的输入。
2、文本先验知识提取
文本先验知识提取，主要实现待解释文本固有属性的信息提取。固有属性包括了解释文本预测结果所需的先验知识，提取这部分信息有利于得到符合常识的解释结果。在本实施例中，给定模型是文本情感分类模型，因此，引入情感得分、位置权重以及TF-IDF得分作为先验知识，在实际应用场景中可以根据需求进行增删。具体如下：
1)情感得分
每一个单词都存在其固有的情感知识，它构成了情感分类模型的基石。由于情感得分属于无需经过给定模型就可以得到的先验知识，将其作为解释分析中的监督信号，有利于提高最终解释结果的合理性。具体实现如下：
对于给定的文本，首先根据情感词典(如：MPQA)、否定词词典、程度副词词典定位文本中的情感词、否定词以及程度副词；其次，判断否定词与情感词、程度副词与情感词的位置关系，相邻则划分成组；而后，获取情感词典中的情感得分，如有否定词位于情感词前则情感得分取反，如有程度副词位于情感词前则情感得分乘以程度词对应的程度值；最后，获得与文本词向量一一对应的情感得分向量。
2)位置权重
不论何种语言，单词在句子中的位置至关重要，轻微的变动都有可能导致整个句子的语意发生偏差。传统的循环神经网络结构模型为顺序结构，本身包含词在序列中的位置信息，但新兴的完全基于注意力的模型则会丢失词序信息，为此采用Transformer的位置编码弥补此类信息缺少造成的解释偏差。具体实现如下：
若给定的文本长度为n，词t表示单词处于文本中的第t个位置，则表示t词的位置向量，d是向量的维度，为方便后续计算，这里d＝1；f：N→Rd是位置向量/>的函数，定义函数为：
其中，频率ωk的定义如下：
通过上述公式计算获得与文本词向量一一对应的位置权重向量。
3)TF-IDF得分
TF-IDF值是基于统计的方法，评估一个词对一个文本集或一个语料库中的其中一份文件的重要程度。该值表征的意义在于词的重要性与在文本中出现的次数成正比，与在语料库中出现的频率成反比。具体实现如下：
对于给定的文本，用词频(TF)表示单词在文本中出现的频率，其计算公式为：
其中，si表示文本s的第i个词，N表示文本的长度，表示词si在文本中出现的次数；
用逆文档频率(IDF)表示词在语料库中出现的频率，其计算公式为：
其中，D表示语料库的文档数，表示包含词si的文档数；
最后，将词频乘以逆文档频率获得TF-IDF值：
通过上述公式计算获得与文本词向量一一对应的TF-IDF值。
3、多视角解释
多视角解释信息计算，主要实现立足不同视角对文本的预测结果进行解释，并获取贡献得分。单视角的解释方案往往带有一定的主观性，结合多视角进行解释得分计算有利于获得相对全面且客观的解释结果。在本实施例中，给定模型是文本情感分类模型，因此，引入边际贡献、局部模型无关解释(LIME)以及留一法(Leave-one-out)等视角来解释文本预测结果并获取相应的贡献得分，在实际应用场景中可以根据需求进行增删。具体如下：
1)边际贡献
在本实施例中，通过计算给定单词的分类预测值到预测边界的距离获得该单词的边际贡献，在文本分类任务中可以解读为该单词为对特定类的贡献。其计算公式为：
其中，Si是原文本s的重构版本，其使用<pad>替换了除第i个词以外的其它词，是模型f以Si为输入，预测类别为/>的概率；/>是除类别/>以外，其它类别的最高预测概率；得到的ψ(si)表示预测类别为/>的置信度即第i个单词的贡献得分。
通过上述公式计算获得与文本词向量一一对应的边际贡献值。
2)局部模型无关解释(LIME)
LIME解释立足于局部近似，基于复杂模型局部线性的原理提供特征解释。在本实施例中，通过计算给定单词在局部的线性可分模型中的权重以获得该单词的贡献值。具体实现如下：
在文本x局部构建解释模型g的目标损失函数为：
其中，x是原始文本，Z为x周边的扰动样本集，扰动样本z由x中的单词抽取构成，f是给定文本分类模型，g(z)＝ωg·z为线性模型。
∏x(z)为原样本x与扰动样本z的接近度，计算方式为：
∏x(z)＝exp(-D(x，z)2/σ2)
其中，D为计算原始文本x和扰动样本z的余弦相似度，σ为扰动，默认值为25。
最后计算得到线性解释模型g的权重系数ωg即文本的解释信息。
通过上述计算过程获得与文本词向量一一对应的局部模型无关解释贡献值。
3)留一法(Leave-one-out)
留一法是针对机器学习模型评估的一种常用方法。在本实施例中，对于给定文本通过计算保留不同单词的预测类别概率下降度，来获取该单词对于给定文本特定类的贡献。其计算公式为：
其中，是原始语句s输入模型后预测得类别/>的概率，Si为原语句s的重构版本，其使用<pad>替换了除第i个词以外的其它词，/>是模型f以Si为输入预测得到类别/>的概率；得到的δ(si)为词si关于文本s预测类别为/>的贡献度。
通过上述公式计算获得与文本词向量一一对应的留一法贡献值。
每一种先验知识(以单词情感得分为例)提取后的结果是一列与单词向量同维度的单词-情感得分向量(一个单词对应一个情感得分)；同理，每一个视角解释计算后的结果是一列与单词向量同维度的单词-贡献得分向量。这些向量统称单词特征向量。
特征向量是针对文本单词的某一特征构建的单词与特征得分一一对应的向量。文本先验知识提取模块提取的情感得分、位置权重、TF-IDF值三种先验知识，这三块知识可以构成如图2中所示的n1，n2，n3三列特征向量，三者拼接构成先验知识矩阵；同理可得视角贡献得分矩阵。
4、数据包络分析解释
数据包络分析解释，主要实现对前述模块所提取的单词特征向量进行综合评估分析，以获取融合特征后的单词贡献得分。数据包络分析是一种衡量决策单元相对效率的非参数综合评估方法，其优势在于能够合理考虑“多投入多产出”同质决策单元的效率评价问题，不需要人为选择投入产出的权重，具有较强鲁棒性和客观性的特点。在本实施例中，将给定文本视为数据包络分析的分析对象，给定文本情感分类模型对应实际生产过程。具体实现如下：
对于给定的待解释文本s，每一个单词si视作一个生产决策单元DMU；先验知识提取模块提取的信息无需经过分类模型，故将其视为DMU的投入，xi＝(xi1，xi2，xi3，…)表示单词si的投入向量，其中xij表示单词si第j项先验知识得分；多视角解释模块提取的信息经过分类模型，故将其视为DMU的产出，yi＝(yi1，yi2，yi3，…)表示单词si的产出向量，yij表示单词si第j个视角的贡献得分。
明确评估对象的投入产出后，基于DEA的CCR模型进行分析，评估第i0个DMU的规划模型为：
式中，表示单词/>的产出向量，/>表示单词/>的投入向量，u为输出向量参数，v为输入向量参数；由于分式规划难以求解，因此通过Chaenes-Cooper变换转换为如下线性规划：
其中Chaenes-Cooper变换取ω＝tv，μ＝tu；
通过上式构建给定文本单词i0的线性规划模型并求解得对应的有效性得分即最终的融合解释得分。
本实施例还提供了一种基于数据包络分析的文本分类模型解释系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (9)
1.一种基于数据包络分析的文本分类模型解释方法，其特征在于，包括以下步骤：
通过文本预处理模块对待解释的初始文本进行预处理；
通过先验知识提取模块对待解释文本的固有属性进行信息提取；
通过多视角解释模块对文本的预测结果从不同视角进行解释并获取相应的贡献得分；
通过数据包络分析解释模块对先验知识提取模块提取的先验知识矩阵与多视角解释模块提取的视角贡献得分矩阵进行综合评估分析，以获取融合特征后的单词解释得分；
对提取的单词特征向量进行综合评估分析，以获取融合特征后的单词解释得分，其具体方法为：
对于给定的待解释文本s，每一个单词si视作一个生产决策单元DMU；先验知识提取模块提取的信息无需经过分类模型，故将其视为DMU的投入，xi＝(xi1,xi2,xi3,…)表示单词si的投入向量，其中xij表示单词si第j项先验知识得分；多视角解释模块提取的信息经过分类模型，故将其视为DMU的产出，yi＝(yi1,yi2,yi3,…)表示单词si的产出向量，yij表示单词si第j个视角的贡献得分；
明确评估对象的投入产出后，基于DEA的CCR模型进行分析，评估第i0个DMU的规划模型为：
式中，表示单词/>的产出向量，/>表示单词/>的投入向量，u为输出向量参数，v为输入向量参数；由于分式规划难以求解，因此通过Chaenes-Cooper变换转换为如下线性规划：
其中Chaenes-Cooper变换取ω＝tv，μ＝tu；
通过上式构建给定文本单词j0的线性规划模型并求解得对应的有效性得分即最终的融合解释得分。
2.根据权利要求1所述的基于数据包络分析的文本分类模型解释方法，其特征在于，对初始文本进行预处理的具体方法为：
通过正则表达式剔除原始数据中非文本、非英文和标点符号字符；
根据空格对剔除异常字符后的文本进行分词处理；
根据英文停用词表，剔除文本中涉及的无益于文本分析的停用词，包括虚词、无特定含义的动名词；
基于模型训练、测试文本构建词典，通过词典单词对应编号构建输入文本的词向量，将得到的词向量作为给定文本分类模型的输入。
3.根据权利要求1所述的基于数据包络分析的文本分类模型解释方法，其特征在于，所述固有属性包括解释文本预测结果所需的先验知识，提取所述固有属性信息以得到符合常识的解释结果；对于给定模型是文本情感分类模型的情况，引入情感得分、位置权重以及TF-IDF得分中的若干种或所有作为先验知识。
4.根据权利要求3所述的基于数据包络分析的文本分类模型解释方法，其特征在于，获得文本的情感得分的方法为：
对于给定的文本，首先根据情感词典、否定词词典、程度副词词典定位文本中的情感词、否定词以及程度副词；其次，判断否定词与情感词、程度副词与情感词的位置关系，相邻则划分成组；而后，获取情感词典中的情感得分，如有否定词位于情感词前则情感得分取反，如有程度副词位于情感词前则情感得分乘以程度词对应的程度值；最后，获得与文本词向量一一对应的情感得分向量；
获得文本的位置权重的方法为：
若给定的文本长度为n，词t表示单词处于文本中的第t个位置，则表示t词的位置向量，d是向量的维度，这里d＝1；f:N→Rd是位置向量/>的函数，定义函数为：
其中，频率ωk的定义如下：
通过上述公式计算获得与文本词向量一一对应的位置权重向量；
获得文本的TF-IDF得分的方法为：
对于给定的文本，用词频表示单词在文本中出现的频率，其计算公式为：
其中，si表示文本s的第i个词，N表示文本的长度，表示词si在文本中出现的次数；
用逆文档频率表示词在语料库中出现的频率，其计算公式为：
其中，D表示语料库的文档数，表示包含词si的文档数；
最后，将词频乘以逆文档频率获得TF-IDF值：
通过上述公式计算获得与文本词向量一一对应的TF-IDF值。
5.根据权利要求1所述的基于数据包络分析的文本分类模型解释方法，其特征在于，对于给定模型是文本情感分类模型的情况，引入边际贡献、局部模型无关解释以及留一法中的若干种或所有视角解释文本预测结果并获取相应的贡献得分。
6.根据权利要求5所述的基于数据包络分析的文本分类模型解释方法，其特征在于，从边际贡献视角解释文本预测结果并获取贡献得分的方法为：
通过计算给定单词的分类预测值到预测边界的距离获得该单词的边际贡献值，其计算公式为：
其中，Si是原文本s的重构版本，其使用<pad>替换了除第i个词以外的其它词，是模型f以Si为输入，预测类别为/>的概率；/>是除类别/>以外，其它类别的最高预测概率；得到的ψ(si)表示预测类别为/>的置信度即第i个单词的贡献得分；
通过上述公式计算获得与文本词向量一一对应的边际贡献值。
7.根据权利要求5所述的基于数据包络分析的文本分类模型解释方法，其特征在于，从局部模型无关解释视角解释文本预测结果并获取贡献得分的方法为：
通过计算给定单词在局部的线性可分模型中的权重以获得该单词的贡献值；
在文本x局部构建解释模型g的目标损失函数为：
其中，x是原始文本，Z为x周边的扰动样本集，扰动样本z由x中的单词抽取构成，f是给定文本分类模型，g(z)＝ωg·z为线性模型；
Πx(z)为原样本x与扰动样本z的接近度，计算方式为：
Πx(z)＝exp(-D(x,z)2/σ2)
其中，D为计算原始文本x和扰动样本z的余弦相似度，σ为扰动；
最后计算得到线性解释模型g的权重系数ωg即文本的解释信息；
通过上述计算过程获得与文本词向量一一对应的局部模型无关解释贡献值。
8.根据权利要求5所述的基于数据包络分析的文本分类模型解释方法，其特征在于，从留一法视角解释文本预测结果并获取贡献得分的方法为：
对于给定文本通过计算保留不同单词的预测类别概率下降度，来获取该单词对于给定文本特定类的贡献值，其计算公式为：
其中，是原始语句s输入模型后预测得类别/>的概率，Si为原语句s的重构版本，其使用<pad>替换了除第i个词以外的其它词，/>是模型f以Si为输入预测得到类别/>的概率；得到的δ(si)为词si关于文本s预测类别为/>的贡献度；
通过上述公式计算获得与文本词向量一一对应的留一法贡献值。
9.一种基于数据包络分析的文本分类模型解释系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110950317.1A CN113656548B (zh) | 2021-08-18 | 2021-08-18 | 基于数据包络分析的文本分类模型解释方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110950317.1A CN113656548B (zh) | 2021-08-18 | 2021-08-18 | 基于数据包络分析的文本分类模型解释方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113656548A CN113656548A (zh) | 2021-11-16 |
| CN113656548B true CN113656548B (zh) | 2023-08-04 |
Family
ID=78492265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110950317.1A Active CN113656548B (zh) | 2021-08-18 | 2021-08-18 | 基于数据包络分析的文本分类模型解释方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113656548B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728153A (zh) * | 2019-10-15 | 2020-01-24 | 天津理工大学 | 基于模型融合的多类别情感分类方法 |
| CN110825877A (zh) * | 2019-11-12 | 2020-02-21 | 中国石油大学(华东) | 一种基于文本聚类的语义相似度分析方法 |
| CN111274396A (zh) * | 2020-01-20 | 2020-06-12 | 福州大学 | 一种基于外部知识的视角级文本情感分类方法及系统 |
| WO2021051598A1 (zh) * | 2019-09-19 | 2021-03-25 | 平安科技（深圳）有限公司 | 文本情感分析模型训练方法、装置、设备及可读存储介质 |
-
2021
- 2021-08-18 CN CN202110950317.1A patent/CN113656548B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021051598A1 (zh) * | 2019-09-19 | 2021-03-25 | 平安科技（深圳）有限公司 | 文本情感分析模型训练方法、装置、设备及可读存储介质 |
| CN110728153A (zh) * | 2019-10-15 | 2020-01-24 | 天津理工大学 | 基于模型融合的多类别情感分类方法 |
| CN110825877A (zh) * | 2019-11-12 | 2020-02-21 | 中国石油大学(华东) | 一种基于文本聚类的语义相似度分析方法 |
| CN111274396A (zh) * | 2020-01-20 | 2020-06-12 | 福州大学 | 一种基于外部知识的视角级文本情感分类方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于知识图谱与循环注意力网络的视角级情感分析;邓立明 等;《模式识别与人工智能》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113656548A (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108984526B (zh) | 一种基于深度学习的文档主题向量抽取方法 | |
| CN111460820B (zh) | 一种基于预训练模型bert的网络空间安全领域命名实体识别方法和装置 | |
| CN111143576A (zh) | 一种面向事件的动态知识图谱构建方法和装置 | |
| CN111966812B (zh) | 一种基于动态词向量的自动问答方法和存储介质 | |
| Chen et al. | Improving distributed representation of word sense via wordnet gloss composition and context clustering | |
| Zhao et al. | ZYJ123@ DravidianLangTech-EACL2021: Offensive language identification based on XLM-RoBERTa with DPCNN | |
| Tripathy et al. | Comprehensive analysis of embeddings and pre-training in NLP | |
| He | Towards Visual Question Answering on Pathology Images. | |
| CN113282714B (zh) | 一种基于区分性词向量表示的事件检测方法 | |
| EP4361843A1 (en) | Neural network searching method and related device | |
| CN111428490A (zh) | 一种利用语言模型的指代消解弱监督学习方法 | |
| CN117271736A (zh) | 一种问答对的生成方法和系统、电子设备及存储介质 | |
| CN110633456B (zh) | 语种识别方法、装置、服务器及存储介质 | |
| CN111815426B (zh) | 一种涉及金融投研的数据处理方法及终端 | |
| CN111159405B (zh) | 基于背景知识的讽刺检测方法 | |
| Foulds et al. | Modeling scientific impact with topical influence regression | |
| Wang et al. | YNUWB at SemEval-2019 Task 6: K-max pooling CNN with average meta-embedding for identifying offensive language | |
| CN113656548B (zh) | 基于数据包络分析的文本分类模型解释方法及系统 | |
| Banerjee et al. | Better Qualitative searching for effecting the performance of machine translation | |
| CN111767388B (zh) | 一种候选池生成方法 | |
| Chan et al. | BI-CARU feature extraction for semantic analysis | |
| Oswal | Identifying and Categorizing Offensive Language in Social Media | |
| Yi et al. | The effects of feature optimization on high-dimensional essay data | |
| Yang et al. | Intelligent sentence completion based on global context dependent recurrent neural network language model | |
| CN112417241B (zh) | 一种基于事件的神经影像学文献挖掘主题学习管道的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |