CN113254596B - 基于规则匹配和深度学习的用户质检需求分类方法及系统 - Google Patents

基于规则匹配和深度学习的用户质检需求分类方法及系统 Download PDF

Info

Publication number
CN113254596B
CN113254596B CN202110689564.0A CN202110689564A CN113254596B CN 113254596 B CN113254596 B CN 113254596B CN 202110689564 A CN202110689564 A CN 202110689564A CN 113254596 B CN113254596 B CN 113254596B
Authority
CN
China
Prior art keywords
industry
text
quality inspection
deep learning
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110689564.0A
Other languages
English (en)
Other versions
CN113254596A (zh
Inventor
滕召胜
龚冬成
杨智君
唐求
刘涛
吴娟
林海军
朱坤志
何民军
杨唐胜
欧阳博
成达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202110689564.0A priority Critical patent/CN113254596B/zh
Publication of CN113254596A publication Critical patent/CN113254596A/zh
Application granted granted Critical
Publication of CN113254596B publication Critical patent/CN113254596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于规则匹配和深度学习的用户质检需求分类方法及系统，本发明方法包括对待分类文本与各个行业的专有名词词典进行匹配，并计算与各个行业对应的行业标签之间匹配的行业概率值Pi，选择最大行业概率值P；若最大行业概率值P大于等于预设阈值G，则将最大行业概率值P对应的行业标签作为分类结果输出；否则，对待分类文本利用深度学习模型预测行业标签并计算预测的行业概率值H；针对最大行业概率值P、预测的行业概率值H两者，选择其中概率较大者所对应的行业标签作为最终的分类结果输出。本发明能够针对用户质检需求文本实现质检需求文本按所属行业自动、准确的分类。

Description

基于规则匹配和深度学习的用户质检需求分类方法及系统
技术领域
本发明涉及检验检测服务领域以及机器学习领域，具体涉及一种基于规则匹配和深度学习的用户质检需求分类方法及系统。
背景技术
国内第三方检验检测网站内有各行业检验检测机构入驻，提供产品的质量检验检测服务，用户可通过主动联系或发布质检需求信息的方式联系机构。面对大量专业的检测服务，用户倾向于在网站内发布产品检测需求信息，让符合检测条件的机构联系。为实现用户需求与检测服务的准确匹配，将质检需求按行业分类是关键步骤。目前质检需求信息的分类主要由用户手动分类完成，效率较低且常出现误分类的情况。用户质检需求信息由检测待检测样品名称、检测内容、检测地点等组成，各行业发布的质检需求数量不均衡，且用户发布的文本信息较短、口语化、特征稀疏，为实现用户质检需求按行业自动分类需设计合适的分类模型，以提高质检需求文本分类的效率和准确率。为此，可利用自然语言处理和深度学习方法自动学习质检需求文本与行业标签间的联系，将训练好的分类模型应用于质检需求的分类，以此实现用户质检需求按行业自动、高效分类。
目前，现有用户质检需求分类方法包括：（1）目前质检需求文本的行业分类主要依靠用户手动分类为主，用户需要从众多的行业类别中选择特定的标签，分类效率低且受限于用户的知识储备，常出现误分类情况，影响检验检测服务的质量。（2）基于机器学习方法做质检需求文本分类，如支持向量机、K近邻、朴素贝叶斯等算法适用于小规模数据集，存在对文本的特征提取繁琐、模型泛化性能弱等不足；（3）基于卷积神经网络的文本分类方法，通过设置输入层、卷积层、池化层和输出层的参数预测文本类别，训练速度快，但无法获取文本的语序和语义信息，分类效果一般；（4）基于长短期记忆网络的文本分类方法，考虑了文本的上下文信息，分类性能较好，但在小规模数据集的分类效果一般；（5）fasttext：是一种快速的文本分类算法，但未充分考虑质检需求文本短小、专业词汇较多的特点，需要考虑文本特点设计合适的分类模型。
与新闻、用户评论等其它中文文本相比，用户发布的质检需求文本具有以下特点：（1）专业词汇较多，如“蛋白质/射频天线/氙灯/镇流器等”，这些词汇出现频率较低，但对分类结果影响较大，常用的文本分类方法未充分考虑这些文本特征，分类效果一般。（2）分类的行业类别数量达20多个，且各行业内的数据量不均衡。常见的深度学习模型在大规模数据集得到充分的学习训练，针对各行业的质检需求的数据量不均衡（多则几千条，少的百余条），利用深度学习模型的分类效果较差。（3）文本特征稀疏，质检需求由不同用户发布，在描述方面比较口语化，文本特征稀疏，质检需求的文本长度一般在15~150个字符间，一般由“待检测样品名称”、“检测内容”、“检测地点要求”字段组成，不同字段的分类能力不同，一般的文本分类方法未考虑这一点。
综上所述，基于用户经验的质检需求分类，预先设定多个行业类别，如：食品、农产品、环境、医药、电子电器、生物等20多个行业类别，用户根据自身知识储备进行分类，对于行业属性较模糊的产品易造成误分类。基于机器学习的文本分类方法，该类方法对文本特征提取的质量依赖性较强，且提取过程较繁琐，模型的泛化能力较弱。用户的质检需求量大且多样，需要一个高效、泛化性能较好的分类模型。基于深度学习的文本分类方法可自动学习文本与标签之间的联系，模型的泛化性能较好。常见的深度学习模型直接用于质检需求文本分类效果一般，质检需求文本与新闻、用户评论等文本数据相比，具有特征稀疏、文本短小和数据分布不均衡的特点，需要充分考虑质检需求文本特点，设计合适的分类方法。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，考虑到与新闻、用户评论等文本数据相比，质检需求文本具有特征稀疏、文本短小和专业词汇较多的特点，提供一种基于规则匹配和深度学习的用户质检需求分类方法及系统，能够针对用户质检需求文本实现质检需求文本按所属行业自动、准确的分类。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于规则匹配和深度学习的用户质检需求分类方法，包括：
1）对待分类文本与各个行业的专有名词词典进行匹配，并计算与各个行业对应的行业标签之间匹配的行业概率Pi，选择值最大的行业概率Pi记为最大行业概率值P；
2）若最大行业概率值P大于等于预设阈值G，则将最大行业概率值P对应的行业标签作为分类结果输出；否则，跳转执行下一步；
3）对待分类文本利用深度学习模型预测行业标签并计算预测的行业概率值H；针对最大行业概率值P、预测的行业概率值H两者，选择其中概率较大者所对应的行业标签作为最终的分类结果输出。
可选地，步骤1）包括：
1.1）首先提取待分类文本中的待检测样品名称和检测内容，然后分别将待检测样品名称和检测内容与各个行业的专有名词词典中的待检测样品名称和检测内容的专有词汇进行匹配，从而得到待检测样品名称的匹配状态s以及检测内容匹配的单词个数n；
1.2）根据待检测样品名称的匹配状态s以及检测内容匹配的单词个数n计算与各个行业对应的行业标签之间匹配的行业概率值Pi；
1.3）选择值最大的行业概率值Pi记为最大行业概率值P。
可选地，步骤1.2）中行业概率值Pi的计算函数表达式为：
Pi=a1*s+ a2*n，
上式中，a1为待检测样品名称的权重，a2为每匹配一个词汇权重值增加的权重，s为待检测样品名称的匹配状态，待检测样品名称的匹配状态取值为0或1，0表示不匹配，1表示匹配，n为检测内容匹配的单词个数，其中a2*n在超过上限值时取上限值。
可选地，步骤1）之前还包括构建各个行业的专有名词词典的步骤：首先对各个行业的质检需求中的待检测样品名称和检测内容进行汇总，然后进行分词、去停用词和去重复词处理，最终得到各个行业的专有名词词典。
可选地，所述待分类文本为待检测样品名称增强的待分类文本，所述待检测样品名称增强是指待分类文本中待检测样品名称的出现频率为两次以上。
可选地，所述待分类文本的组合形式为A+A+B，其中A为待检测样品名称，B为检测内容。
可选地，步骤3）中的深度学习模型为基于注意力机制的长短期记忆网络模型LSTM_A，所述基于注意力机制的长短期记忆网络模型LSTM_A包括：
输入层，用于对待分类文本去除标点符号和单个数字字母、文本分词、去停用词和文本向量化表示，最终得到词向量矩阵x={x 1,x 2,…,x t }；
LSTM层，用于根据词向量矩阵x={x 1,x 2,…,x t }的时序性构建句向量，得到融合词序和语义的词向量集合h={h 1,h 2,…,h t }，LSTM层包括与词向量一一对应的多个LSTM单元；
注意力层，用于将融合词序和语义的词向量集合h={h1,h2,…,ht}进行注意力层调整得到注意力层调整后的向量o={o 1,o 2,…,o t }；
输出层，用于将注意力层调整后的向量o={o 1,o 2,…,o t }通过ReLU激活函数计算，然后经全连接层计算，最后利用归一化处理激活函数对数据进行归一化处理，得到当前待分类文本在各个行业类别中的概率H，并选取概率H最大的行业标签作为输出结果。
可选地，步骤3）之前还包括训练基于注意力机制的长短期记忆网络模型LSTM_A的步骤，且训练时采用的损失函数为最小化交叉熵损失函数。
此外，本发明还提供一种基于规则匹配和深度学习的用户质检需求分类系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于规则匹配和深度学习的用户质检需求分类方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述基于规则匹配和深度学习的用户质检需求分类方法的计算机程序。
和现有技术相比，本发明具有下述优点：针对现有技术的上述问题，考虑到与新闻、用户评论等文本数据相比，质检需求文本具有特征稀疏、文本短小和专业词汇较多的特点，本发明首先对待分类文本与各个行业的专有名词词典进行匹配，并计算与各个行业对应的行业标签之间匹配的行业概率值Pi，选择值最大的行业概率值Pi记为最大行业概率值P；若最大行业概率值P大于等于预设阈值G，则将最大行业概率值P对应的行业标签作为分类结果输出；否则，对待分类文本利用深度学习模型预测行业标签并计算预测的行业概率值H；针对最大行业概率值P、预测的行业概率值H两者，选择其中概率较大者所对应的行业标签作为最终的分类结果输出，通过上述规则匹配和深度学习的用户质检需求分类方式，能够针对用户质检需求文本实现质检需求文本按所属行业自动、准确的分类。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例方法的基本原理示意图。
图3为本发明实施例方法的核心流程示意图。
图4为本发明实施例中输入层的结构示意图。
图5为本发明实施例中LSTM层和注意力层构成的特征提取单元的结构示意图。
图6为本发明实施例中LSTM单元的结构示意图。
图7为本发明实施例中输出层的结构示意图。
具体实施方式
如图1所示，本实施例基于规则匹配和深度学习的用户质检需求分类方法包括：
1）对待分类文本与各个行业的专有名词词典进行匹配，并计算与各个行业对应的行业标签之间匹配的行业概率Pi，选择值最大的行业概率Pi记为最大行业概率值P；
2）若最大行业概率值P大于等于预设阈值G，则将最大行业概率值P对应的行业标签作为分类结果输出；否则，跳转执行下一步；
3）对待分类文本利用深度学习模型预测行业标签并计算预测的行业概率值H；针对最大行业概率值P、预测的行业概率值H两者，选择其中概率较大者所对应的行业标签作为最终的分类结果输出。
参见图2和图3，本实施例中步骤1）包括：
1.1）首先提取待分类文本中的待检测样品名称和检测内容，然后分别将待检测样品名称和检测内容与各个行业的专有名词词典中的待检测样品名称和检测内容的专有词汇进行匹配，从而得到待检测样品名称的匹配状态s以及检测内容匹配的单词个数n；
1.2）根据待检测样品名称的匹配状态s以及检测内容匹配的单词个数n计算与各个行业对应的行业标签之间匹配的行业概率值Pi；
1.3）选择值最大的行业概率值Pi记为最大行业概率值P。
参见图2，本实施例中，步骤1.2）中行业概率值Pi的计算函数表达式为：
Pi=a1*s+ a2*n，
上式中，a1为待检测样品名称的权重，a2为每匹配一个词汇权重值增加的权重，s为待检测样品名称的匹配状态，待检测样品名称的匹配状态取值为0或1，0表示不匹配，1表示匹配，n为检测内容匹配的单词个数，其中a2*n在超过上限值时取上限值。
本实施例中，步骤1）之前还包括构建各个行业的专有名词词典的步骤：首先对各个行业的质检需求中的待检测样品名称和检测内容进行汇总，然后进行分词、去停用词和去重复词处理，最终得到各个行业的专有名词词典。。
针对质检需求文本短小、特征稀疏和专业词汇较多的特点，提出基于规则匹配和深度学习相结合的用户质检需求文本分类方法。质检需求文本示例如表1所示，选取“检测待检测样品名称”、“服务内容”字段作为待分类文本。
表1 用户质检需求文本示例。
Figure 913082DEST_PATH_IMAGE001
在文本预处理阶段进行关键词特征增强，利于后续深度学习模型获取关键特征信息。由于质检需求文本长度较短，关键词特征稀疏。测试发现，“检测待检测样品名称”具有较强的分类能力，在文中出现频率较低，一般由1~3个名词组成（如“直流/电源/检验”）。通过调整“待检测样品名称”在文本中出现频率的方式做特征增强。因此，本实施例中待分类文本为待检测样品名称增强的待分类文本，所述待检测样品名称增强是指待分类文本中待检测样品名称的出现频率为两次以上。
作为一种可选的实施方式，本实施例中选择的待分类文本的组合形式为A+A+B，其中A为待检测样品名称，B为检测内容。且要求输入文本中待检测样品名称和检测内容用特殊符号#分隔，以便于取出待检测样品名称和检测内容组成待分类文本的组合形式A+A+B。
本实施例中，步骤2）中的预设阈值G=0.6，权值a1设为0.45，a2设为0.05，若最大行业概率值P大于等于预设阈值0.6，则将最大行业概率值P对应的行业标签作为分类结果输出；否则，对待分类文本利用深度学习模型预测行业标签并计算预测的行业概率值H；针对最大行业概率值P、预测的行业概率值H两者，选择其中概率较大者所对应的行业标签作为最终的分类结果输出。
如图2所示，作为一种优选的实施方式，本实施例步骤3）中的深度学习模型为基于注意力机制的长短期记忆网络模型LSTM_A，包括：
输入层，用于对待分类文本去除标点符号和单个数字字母、文本分词、去停用词和文本向量化表示，最终得到词向量矩阵x={x 1,x 2,…,x t }；
LSTM层，用于根据词向量矩阵x={x 1,x 2,…,x t }的时序性构建句向量，得到融合词序和语义的词向量集合h={h 1,h 2,…,h t }，LSTM层包括与词向量一一对应的多个LSTM单元；
注意力层，用于将融合词序和语义的词向量集合h={h1,h2,…,ht}进行注意力层调整得到注意力层调整后的向量o={o 1,o 2,…,o t }；
输出层，用于将注意力层调整后的向量o={o 1,o 2,…,o t }通过ReLU激活函数计算，然后经全连接层计算，最后利用归一化处理激活函数对数据进行归一化处理，得到当前待分类文本在各个行业类别中的概率H，并选取概率H最大的行业标签作为输出结果。
如图4所示，本实施例中输入层的处理过程包括：①分词和去停用词：本方法采用jieba分词工具的精确分词模式将质检需求文本分割成单独的词汇。去停用词，停用词是语言中的功能词，其本身无实际含义却常出现语言中，常见的停用词有：“的、了、那么”等。依照《哈工大停用词表》并补充质检需求中对分类结果无影响的单词构建停用词表，通过查表匹配的方式去除停用词。②文本向量化表示，本方法采用Word2Vec词嵌入模型，将分词后的文本作为Word2Vec模型的输入。输入文本分词后，首先映射单词的索引，将文本转换为固定长度的onehot（独热）词向量形式，设置onehot向量的长度为n；然后利用Word2Vec模型学习文本的特征联系，得到各个单词的词向量表示。
基于注意力机制的长短期记忆网络模型LSTM_A将LSTM和注意力机制相结合，利用LSTM网络提取文本特征，基于注意力机制计算各个特征的注意力分数，以提取输入文本中的重要特征。其中LSTM层和注意力层构成的特征提取单元的结构如图5所示，LSTM层的输入为Word2Vec模型转换的词向量矩阵x={x 1,x 2,…,x t }，LSTM单元的个数设置为120，词向量矩阵维度与此一致。根据词向量时序性构建句向量，LSTM层通过计算输出融合词序和语义的词向量集合h={h 1,h 2,…,h t }。
如图6所示， LSTM单元分别包括遗忘门、输入门和输出门，其计算过程包括：
遗忘门接收上一LSTM单元的输出h t-1和当前输入x t ，利用sigmoid函数（用σ表示）将其映射为0~1间的数值，控制历史信息的遗忘程度，计算函数表达式为：
Figure 830223DEST_PATH_IMAGE002
，
输入门由两部分组成：第一部分由σ函数产生输入门控制信号i t，控制
Figure 547643DEST_PATH_IMAGE003
的输入程度；第二部分由tanh激活函数计算候选细胞状态
Figure 942852DEST_PATH_IMAGE003
，计算函数表达式为：
Figure 757225DEST_PATH_IMAGE004
，
Figure 766638DEST_PATH_IMAGE005
，
细胞状态C t 更新，首先确定上一细胞C t-1的保留信息，然后确定当前输入需保留的信息，将两部分相加得到当前细胞状态C t ，计算过程为：
Figure 33671DEST_PATH_IMAGE006
，
输出门读取更新过的细胞状态，该门由两部分组成：第一部分由σ函数产生控制信号o t ，第二部分将C t 经过tanh函数处理，并与o t 相乘得到输出值h t ，计算过程为：
Figure 170254DEST_PATH_IMAGE007
，
Figure 839133DEST_PATH_IMAGE008
，
其中w xf , w hf , w xi , w hi , w xo , w ho , w xc ,w hc 为各个门的权值矩阵，b f ,b i ,b c ,b o ,为偏移系数矩阵。通过反向传播运算对各个门控单元的权值更新，控制各个门打开的程度，达到提取长期与短期文本特征的目的。
基于注意力机制的长短期记忆网络模型LSTM_A的注意力层的计算过程为：将LSTM层输出的h={h 1,h 2,…,h t }作为输入，将其变换为的3个值相同向量Q（请求）、K（键）、V（值），各向量组合成以下形式：{q 1 ,k 1 ,v 1; q 2 ,k 2 ,v 2;…q t ,k t ,v t;}。注意力权重系数计算有3个阶段，首先利用点积的方式计算请求query和任意第i个键key i 的相似性S i (query, key i )，计算式为：
S i (query, key i )= query·key i
上式中，S i (query, key i )表示请求query和第i个键key i 的相似性，·为点积；
然后利用softmax函数对相似性值做归一化处理，其中lx为输入文本长度，计算式为：
Figure 832497DEST_PATH_IMAGE009
上式中，α i 为归一化处理得到的权值系数，S i 表示请求query和第i个键key i 的相似性S i (query, key i )，S j 表示请求query和第j个键key j 的相似性S i (query, key j )。
最终用将归一化处理得到的权值系数α i 与value i 的加权求和运算，得到加权的特征值输出，计算式为：
Figure 275242DEST_PATH_IMAGE010
上式中，α i 为归一化处理得到的权值系数，valuei表示第i个值。
基于注意力机制的长短期记忆网络模型LSTM_A的输出层的处理流程如图7所示。首先将注意力层调整后的向量o={o 1,o 2,…,o t }通过ReLU激活函数计算，然后经全连接层计算，最后利用softmax激活函数对数据进行归一化处理，得到当前输入文本在各个类别中的概率值，选取概率最大的类别标签作为输出结果。
本实施例中，步骤3）之前还包括训练基于注意力机制的长短期记忆网络模型LSTM_A的步骤，且训练时采用的损失函数为最小化交叉熵损失函数。训练过程中，对采集用户质检需求信息按比例划分为训练集、验证集和测试集，采用Dropout正则化策略，从训练集中随机抽取的一定数量的样本作为输入，通过前向推导得到预测结果。模型的训练目标为最小化交叉熵损失函数L，通过计算预测结果与实际结果的交叉熵损失值。使用梯度下降算法训练，利用 Adam优化器对模型的参数做自后向前的更新，通过重复前向推导和反向传播运算，使L不断逼近设定的训练目标值，达到后停止训练。
综上所述，用户的产品质检需求所属的行业类目数有20多个，每个行业发布的需求量不均衡。深度学习方法对于样本量不均衡的分类任务处理效果较差，利用规则匹配的方法可通过建立专有名词词典，实现样本量少的行业数据准确分类。本实施例方法通过两种方法的结合可提高模型对质检需求信息的分类性能。针对用户质检需求文本短小、特征稀疏和专业词汇多的特点，对分类能力较强的“待检测样品名称”字段增强处理，并在LSTM分类模型引入注意力机制，提高模型对重要文本特征的提取能力。本实施例方法考虑待分类行业数量多且各行业的质检需求量分布不均衡，将基于规则匹配和深度学习方法结合，规则匹配方法的设计为，首先根据采集的语料信息构建各行业专业词典，对分词和去停用词的文本按规则匹配计算行业概率，当概率大于设定的阈值G直接输出分类结果。小于阈值G则利用深度学习模型预测，设计基于注意力机制的长短期记忆网络（LSTM bases onattention mechanism，LSTM_A）深度学习模型预测当前文本在各行业的概率，将基于规则匹配和深度学习两个模型预测的行业概率比较，取较大值作为行业标签的输出，可实现质检需求文本按所属行业自动、准确的分类。本实施例方法的特点包括：（1）针对用户手动分类质检需求信息的方式效率低，易出现误分类的情况，本方法提出基于规则和深度学习方法结合的用户质检需求文本分类方法，实现质检需求文本按设定的行业自动、准确的分类；（2）针对用户质检需求待分类的行业类别多，各行业的需求量不均衡，且质检需求文本短小、特征稀疏的特点，利用规则匹配的方式降低数据量分布不均衡带来的误分类，同时对于特征不明显的文本利用深度学习模型预测。经文本分类实验，该方法的文本分类准确率可达95.6%。（3）针对质检需求文本特征稀疏问题，对质检需求文本做关键特征增强处理，实验结果表明，特征增强处理提高文本分类的准确率，可提升1.0%~1.3%。本实施例方法可用于在第三方检验检测网站内将用户发布的质检需求分类至指定的行业，有助于检测需求与检测服务的匹配。
此外，本实施例还提供一种基于规则匹配和深度学习的用户质检需求分类系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述基于规则匹配和深度学习的用户质检需求分类方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述基于规则匹配和深度学习的用户质检需求分类方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于规则匹配和深度学习的用户质检需求分类方法，其特征在于，包括：
1）对待分类文本与各个行业的专有名词词典进行匹配，并计算与各个行业对应的行业标签之间匹配的行业概率Pi，选择值最大的行业概率Pi记为最大行业概率值P；所述待分类文本为待检测样品名称增强的待分类文本，所述待检测样品名称增强是指待分类文本中待检测样品名称的出现频率为两次以上；
2）若最大行业概率值P大于等于预设阈值G，则将最大行业概率值P对应的行业标签作为分类结果输出；否则，跳转执行下一步；
3）对待分类文本利用深度学习模型预测行业标签并计算预测的行业概率值H；针对最大行业概率值P、预测的行业概率值H两者，选择其中概率较大者所对应的行业标签作为最终的分类结果输出；
步骤1）包括：
1.1）首先提取待分类文本中的待检测样品名称和检测内容，然后分别将待检测样品名称和检测内容与各个行业的专有名词词典中的待检测样品名称和检测内容的专有词汇进行匹配，从而得到待检测样品名称的匹配状态s以及检测内容匹配的单词个数n；
1.2）根据待检测样品名称的匹配状态s以及检测内容匹配的单词个数n计算与各个行业对应的行业标签之间匹配的行业概率值Pi；其中，行业概率值Pi的计算函数表达式为：
Pi=a1*s+ a2*n，
上式中，a1为待检测样品名称的权重，a2为每匹配一个词汇权重值增加的权重，s为待检测样品名称的匹配状态，待检测样品名称的匹配状态取值为0或1，0表示不匹配，1表示匹配，n为检测内容匹配的单词个数，其中a2*n在超过上限值时取上限值；
1.3）选择值最大的行业概率值Pi记为最大行业概率值P。
2.根据权利要求1所述的基于规则匹配和深度学习的用户质检需求分类方法，其特征在于，步骤1）之前还包括构建各个行业的专有名词词典的步骤：首先对各个行业的质检需求中的待检测样品名称和检测内容进行汇总，然后进行分词、去停用词和去重复词处理，最终得到各个行业的专有名词词典。
3.根据权利要求1所述的基于规则匹配和深度学习的用户质检需求分类方法，其特征在于，所述待分类文本的组合形式为A+A+B，其中A为待检测样品名称，B为检测内容。
4.根据权利要求1所述的基于规则匹配和深度学习的用户质检需求分类方法，其特征在于，步骤3）中的深度学习模型为基于注意力机制的长短期记忆网络模型LSTM_A，所述基于注意力机制的长短期记忆网络模型LSTM_A包括：
输入层，用于对待分类文本去除标点符号和单个数字字母、文本分词、去停用词和文本向量化表示，最终得到词向量矩阵x={x 1,x 2,…,x t }；
LSTM层，用于根据词向量矩阵x={x 1,x 2,…,x t }的时序性构建句向量，得到融合词序和语义的词向量集合h={h 1,h 2,…,h t }，LSTM层包括与词向量一一对应的多个LSTM单元；
注意力层，用于将融合词序和语义的词向量集合h={h1,h2,…,ht}进行注意力层调整得到注意力层调整后的向量o={o 1,o 2,…,o t }；
输出层，用于将注意力层调整后的向量o={o 1,o 2,…,o t }通过ReLU激活函数计算，然后经全连接层计算，最后利用归一化处理激活函数对数据进行归一化处理，得到当前待分类文本在各个行业类别中的概率H，并选取概率H最大的行业标签作为输出结果。
5.根据权利要求4所述的基于规则匹配和深度学习的用户质检需求分类方法，其特征在于，步骤3）之前还包括训练基于注意力机制的长短期记忆网络模型LSTM_A的步骤，且训练时采用的损失函数为最小化交叉熵损失函数。
6.一种基于规则匹配和深度学习的用户质检需求分类系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～5中任意一项所述基于规则匹配和深度学习的用户质检需求分类方法的步骤。
7.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～5中任意一项所述基于规则匹配和深度学习的用户质检需求分类方法的计算机程序。
CN202110689564.0A 2021-06-22 2021-06-22 基于规则匹配和深度学习的用户质检需求分类方法及系统 Active CN113254596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110689564.0A CN113254596B (zh) 2021-06-22 2021-06-22 基于规则匹配和深度学习的用户质检需求分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110689564.0A CN113254596B (zh) 2021-06-22 2021-06-22 基于规则匹配和深度学习的用户质检需求分类方法及系统

Publications (2)

Publication Number Publication Date
CN113254596A CN113254596A (zh) 2021-08-13
CN113254596B true CN113254596B (zh) 2021-10-08

Family

ID=77189140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110689564.0A Active CN113254596B (zh) 2021-06-22 2021-06-22 基于规则匹配和深度学习的用户质检需求分类方法及系统

Country Status (1)

Country Link
CN (1) CN113254596B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2401170A1 (en) * 2000-02-28 2001-09-07 Matthew A. Jaro Probabilistic matching engine
CN102902700A (zh) * 2012-04-05 2013-01-30 中国人民解放军国防科学技术大学 基于在线增量演化主题模型的软件自动分类方法
CN104216876A (zh) * 2013-05-29 2014-12-17 中国电信股份有限公司 信息文本过滤方法及系统
CN108520041A (zh) * 2018-04-03 2018-09-11 有米科技股份有限公司 文本的行业分类方法、系统、计算机设备和存储介质
CN108536800A (zh) * 2018-04-03 2018-09-14 有米科技股份有限公司 文本分类方法、系统、计算机设备和存储介质
CN109614614A (zh) * 2018-12-03 2019-04-12 焦点科技股份有限公司 一种基于自注意力的bilstm-crf产品名称识别方法
CN110516063A (zh) * 2019-07-11 2019-11-29 网宿科技股份有限公司 一种服务系统的更新方法、电子设备及可读存储介质
CN110851600A (zh) * 2019-11-07 2020-02-28 北京集奥聚合科技有限公司 基于深度学习的文本数据处理方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7403890B2 (en) * 2002-05-13 2008-07-22 Roushar Joseph C Multi-dimensional method and apparatus for automated language interpretation
US7254577B2 (en) * 2004-06-29 2007-08-07 International Business Machines Corporation Methods, apparatus and computer programs for evaluating and using a resilient data representation
CN102509327B (zh) * 2011-09-30 2013-10-30 北京航空航天大学 一种图像空洞填补的多尺度全局采样方法
CN104424279B (zh) * 2013-08-30 2018-11-20 腾讯科技（深圳）有限公司 一种文本的相关性计算方法和装置
CN106610936A (zh) * 2016-09-12 2017-05-03 四川用联信息技术有限公司 一种改进的中文自动分词算法
JP2019040465A (ja) * 2017-08-25 2019-03-14 トヨタ自動車株式会社 行動認識装置，学習装置，並びに方法およびプログラム
US10380260B2 (en) * 2017-12-14 2019-08-13 Qualtrics, Llc Capturing rich response relationships with small-data neural networks
US20190213476A1 (en) * 2018-01-10 2019-07-11 Adobe Inc. Determining strategic digital content transmission time utilizing recurrent neural networks and survival analysis
CN110059183B (zh) * 2019-03-22 2022-08-23 重庆邮电大学 一种基于大数据的汽车行业用户观点情感分类方法
CN111597304B (zh) * 2020-05-15 2023-04-07 上海财经大学 一种中文企业名实体精准识别二次匹配方法
CN111914556B (zh) * 2020-06-19 2023-10-31 合肥工业大学 基于情感语义转移图谱的情感引导方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2401170A1 (en) * 2000-02-28 2001-09-07 Matthew A. Jaro Probabilistic matching engine
CN102902700A (zh) * 2012-04-05 2013-01-30 中国人民解放军国防科学技术大学 基于在线增量演化主题模型的软件自动分类方法
CN104216876A (zh) * 2013-05-29 2014-12-17 中国电信股份有限公司 信息文本过滤方法及系统
CN108520041A (zh) * 2018-04-03 2018-09-11 有米科技股份有限公司 文本的行业分类方法、系统、计算机设备和存储介质
CN108536800A (zh) * 2018-04-03 2018-09-14 有米科技股份有限公司 文本分类方法、系统、计算机设备和存储介质
CN109614614A (zh) * 2018-12-03 2019-04-12 焦点科技股份有限公司 一种基于自注意力的bilstm-crf产品名称识别方法
CN110516063A (zh) * 2019-07-11 2019-11-29 网宿科技股份有限公司 一种服务系统的更新方法、电子设备及可读存储介质
CN110851600A (zh) * 2019-11-07 2020-02-28 北京集奥聚合科技有限公司 基于深度学习的文本数据处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于Attention Bi-LSTM的文本分类方法研究";王恰;《中国优秀硕士学位论文全文数据库信息科技辑》;20190115;I138-587 *

Also Published As

Publication number Publication date
CN113254596A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN109992782B (zh) 法律文书命名实体识别方法、装置及计算机设备
CN110245229B (zh) 一种基于数据增强的深度学习主题情感分类方法
CN108984526B (zh) 一种基于深度学习的文档主题向量抽取方法
CN108304372B (zh) 实体提取方法和装置、计算机设备和存储介质
CN110196980B (zh) 一种基于卷积网络在中文分词任务上的领域迁移
US20150095017A1 (en) System and method for learning word embeddings using neural language models
CN110263325B (zh) 中文分词系统
CN108475262A (zh) 用于文本处理的电子设备和方法
CN113591483A (zh) 一种基于序列标注的文档级事件论元抽取方法
CN112906397B (zh) 一种短文本实体消歧方法
CN110298044B (zh) 一种实体关系识别方法
CN111984791B (zh) 一种基于注意力机制的长文分类方法
CN110046223B (zh) 基于改进型卷积神经网络模型的影评情感分析方法
CN113505200B (zh) 一种结合文档关键信息的句子级中文事件检测的方法
CN113987174A (zh) 分类标签的核心语句提取方法、系统、设备及存储介质
CN114416979A (zh) 一种文本查询方法、设备和存储介质
CN109543036A (zh) 基于语义相似度的文本聚类方法
CN113094502A (zh) 一种多粒度外卖用户评论情感分析方法
CN111783464A (zh) 一种面向电力的领域实体识别方法、系统及存储介质
WO2023134074A1 (zh) 文本主题的生成方法、装置、设备及存储介质
CN114417872A (zh) 一种合同文本命名实体识别方法及系统
Lei Research on the improved Word2Vec optimization strategy based on statistical language model
CN116720498A (zh) 一种文本相似度检测模型的训练方法、装置及其相关介质
CN116662518A (zh) 问答方法、装置、电子设备及可读存储介质
CN113254596B (zh) 基于规则匹配和深度学习的用户质检需求分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant