CN117891929B - 改进型深度学习算法的知识图谱智能问答信息识别方法 - Google Patents

改进型深度学习算法的知识图谱智能问答信息识别方法 Download PDF

Info

Publication number
CN117891929B
CN117891929B CN202410301981.7A CN202410301981A CN117891929B CN 117891929 B CN117891929 B CN 117891929B CN 202410301981 A CN202410301981 A CN 202410301981A CN 117891929 B CN117891929 B CN 117891929B
Authority
CN
China
Prior art keywords
information
knowledge
classification
deep learning
learning algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410301981.7A
Other languages
English (en)
Other versions
CN117891929A (zh
Inventor
阎星娥
冯敬玮
严荣明
张�林
杨昆
刘慰慰
赵万亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huafei Data Technology Co ltd
Original Assignee
Nanjing Huafei Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huafei Data Technology Co ltd filed Critical Nanjing Huafei Data Technology Co ltd
Priority to CN202410301981.7A priority Critical patent/CN117891929B/zh
Publication of CN117891929A publication Critical patent/CN117891929A/zh
Application granted granted Critical
Publication of CN117891929B publication Critical patent/CN117891929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种改进型深度学习算法的知识图谱智能问答信息识别方法,涉及自然语言处理领域,解决的是:传统知识图谱智能问答技术信息识别准确性较低、回答结果不够全面的问题,首先获取海量领域知识信息,然后对问题进行收集和预处理,然后构建所述改进型深度学习算法模型,并通过所述改进型深度学习算法模型和分类知识图谱对收集到的问题进行信息分类和问答信息识别,然后进行答案排序和过滤,并进行远程监督和性能优化;本发明公开了一种改进型深度学习算法的知识图谱智能问答信息识别方法,能够实现对输入问题的快速和准确的分类和识别,并进一步提升系统的性能和用户体验特性。

Description

改进型深度学习算法的知识图谱智能问答信息识别方法
技术领域
本发明涉及自然语言处理领域,且更具体地涉及一种改进型深度学习算法的知识图谱智能问答信息识别方法。
背景技术
随着知识图谱技术的发展,知识图谱智能问答已经成为了自然语言处理领域研究的热点之一,知识图谱的应用也越来越广泛,逐渐成为人工智能领域的重要技术。知识图谱是一种结构化的数据形式,其中包含了大量实体和实体之间的关系信息。知识图谱智能问答技术是基于知识图谱的人机交互方式,能够为用户提供精准、高效的问答服务。当前深度学习算法在自然语言处理领域取得了显著进展,但在知识图谱智能问答中仍然存在一些挑战,为了改善知识图谱智能问答系统的性能,研究者们开始探索如何将深度学习算法应用于该领域。
传统的知识图谱智能问答技术的训练数据通常来自开放的百科知识,但百科类知识的覆盖面和深度都会有所局限,不能满足复杂领域的需求。传统的机器学习算法如支持向量机、朴素贝叶斯等在信息识别方面的效果不理想,难以满足领域专业化与精度化的要求。传统的方法将关键词和分词结果用词袋模型表示,未能处理实体间关系及各种属性之间的关系,难以满足对多样化问题的回答。知识图谱作为现代人工智能时代的核心技术之一,具有信息量大、信息关联性强等特点,但传统问答技术未能很好地利用这些优势。
因此,本发明公开了一种改进型深度学习算法的知识图谱智能问答信息识别方法,利用分类知识图谱和改进型深度学习算法模型,能够实现对输入问题的快速和准确的分类和识别,同时采用优先级筛选模型和远程监督平台,进一步提升系统的性能和用户体验特性。
发明内容
针对现有技术的不足,本发明公开了一种改进型深度学习算法的知识图谱智能问答信息识别方法,利用分类知识图谱和改进型深度学习算法模型,能够实现对输入问题的快速和准确的分类和识别,同时采用优先级筛选模型和远程监督平台,进一步提升系统的性能和用户体验特性;通过文本挖掘和自然语言处理方法获取海量领域知识信息并构建分类知识图谱,提高了问题分类和答案提取的准确性和效率;引入多头注意力机制、上下文编码器和问题编码器等深度学习算法模型改进了问答信息识别和分类,提高了分类和答案提取的准确性和效率,并可以处理复杂的问题和语境;采用优先级筛选模型对答案进行排序和过滤,提高了答案的质量和相关度,使得用户可以更快地找到满足自己需求的答案,提高了用户体验特性;远程监督平台实现了问答信息识别过程的监督和反馈机制,可以动态地监督系统运行情况并进行模型训练,提高了系统性能和准确性;自动化、智能化程度高。
本发明采用以下技术方案:
一种改进型深度学习算法的知识图谱智能问答信息识别方法,包括以下步骤:
步骤一、构建分类知识图谱;
通过文本挖掘和自然语言处理方法获取海量领域知识信息,并基于所述海量领域知识信息和知识图谱构建模块构建所述分类知识图谱,所述海量领域知识信息至少包括百科全书、学术论文、新闻文献和语料库;
步骤二、问题收集和预处理;
通过关键词提取和文本分类方法对用户提出的问题进行收集,并通过信息规则引擎对收集到的问题进行异常信息去除和缺失信息填补;
步骤三、构建改进型深度学习算法模型;
通过机器学习框架构建所述改进型深度学习算法模型,所述改进型深度学习算法模型包括模型训练单元、多头注意力机制、上下文编码器、问题编码器和多标签分类网络结构,所述模型训练单元的输出端与所述问题编码器的输入端连接,所述问题编码器的输出端与所述多头注意力机制的输入端连接,所述多头注意力机制的输出端与所述上下文编码器的输入端连接,所述上下文编码器的输出端与所述多标签分类网络结构的输入端连接;
步骤四、问答信息识别和分类;
通过所述改进型深度学习算法模型和分类知识图谱对收集到的问题进行信息分类和问答信息识别;
步骤五、答案排序和过滤;
采用优先级筛选模型对获取到的答案进行排序和筛选,所述优先级筛选模型根据答案的相关度对答案进行优先级排序,并基于优先级排序对答案进行过滤;
步骤六、远程监督和性能优化;
通过远程监督平台监督问答信息的识别过程,并采用人机交互和反馈机制优化系统性能和用户体验特性,所述远程监督平台将监督信息反馈至所述改进型深度学习算法模型进行模型训练。
作为本发明进一步的技术方案,所述信息规则引擎采用模块化架构进行规则组合,所述信息规则引擎采用插值算法填补数据块内容残缺部分,并采用小波变换算法去除数据块内容冗杂、混乱和非法字符部分,所述信息规则引擎采用自然语言概率模型进行文本语法检测、分词和词性标注,并基于分词和词性标注将用户提出的问题切分成词性标签单元。
作为本发明进一步的技术方案,所述知识图谱构建模块包括数据预处理单元、领域分类单元、实体识别与链接单元、关系抽取单元、知识组织表示单元和增量更新单元,所述数据预处理单元通过自然语言处理器对知识图谱数据进行清洗和整理,所述领域分类单元通过文本领域挖掘模型LDA发现所述海量领域知识信息中隐藏的领域,并根据领域分布将所述海量领域知识信息进行分类,所述实体识别与链接单元通过命名实体识别任务NER在所述海量领域知识信息中自动识别实体,并通过实体链接任务EL将所述海量领域知识信息中涉及的实体链接到知识库中对应的实体,所述关系抽取单元通过关系抽取算法所述海量领域知识信息中自动提取实体之间的关系,并存储到所述分类知识图谱中,所述知识组织表示单元采用图数据库或三元组存储格式存储所述海量领域知识信息,并对所述海量领域知识信息进行索引和优化,所述增量更新单元通过时间窗口机制实时更新所述分类知识图谱,所述数据预处理单元的输出端与所述领域分类单元的输入端连接,所述领域分类单元的输出端与所述实体识别与链接单元的输入端连接,所述实体识别与链接单元的输出端与所述关系抽取单元的输入端连接,所述关系抽取单元的输出端与所述知识组织表示单元的输入端连接,所述增量更新单元的输出端与所述数据预处理单元的输入端连接。
作为本发明进一步的技术方案,所述模型训练单元采用交叉验证和随机划分结合的方法将训练样本划分为训练集、验证集和测试集,并通过迁移学习对训练集、验证集和测试集进行优化,所述多头注意力机制通过分布式并行处理框架将注意力机制扩展为多头,并采用问题关键词、实体属性和句式分析结果拆分输入向量并计算多头注意力向量,所述上下文编码器通过对上下文信息进行编码生成上下文向量表示,所述问题编码器通过对问题信息进行编码生成问题向量表示,所述多标签分类网络结构通过建立问题多个标签分类器实现对问题的多方面分类识别。
作为本发明进一步的技术方案,所述改进型深度学习算法模型和分类知识图谱对收集到的问题进行信息分类和问答信息识别包括以下步骤:
步骤1、数据输入;
将收集到的问题输入至所述改进型深度学习算法模型,并对收集到的问题进行归一化和特征向量表示,问题特征向量集合表示为:
(1)
在公式(1)中,表示输入问题特征向量集合,/>为第i个输入问题特征向量,,i为问题特征向量的序数,/>为输入问题特征向量的总数;
步骤2、计算问题的分类相似度;
所述问题特征向量集合采用闵可夫斯基相似度法计算所述问题特征向量分类的相似度,相似度输出函数公式为:
(2)
在公式(2)中,为第i个输入问题特征向量为第I类别的相似度,/>为欧式相似度和曼哈顿相似度平衡调节参数,p=2为欧氏相似度;p=1为曼哈顿相似度,/>表示问题的第I个类别,/>,/>为问题类别的总数;
步骤3、根据分类相似度计算结果自适应地调整权重;
所述问题特征向量之间的相似度数据集D,自适应权重输出函数公式为:
(3)
在公式(3)中,为第i个输入问题特征向量为第I类别的相似度的权重,为相似度权重的均衡值;
步骤4、分类器构建;
根据计算出来的相似度值和自适应权重,将输入的问题进行分类,并输出类别标签,分类输出函数公式为:
(4)
在公式(4)中,表示第i个输入问题特征向量的类别标签,/>为自适应权重的最大值,/>为自适应权重的最小值,/>为自适应权重集合;
步骤5、知识图谱匹配;
将输出的类别标签与所述分类知识图谱进行匹配获取答案,所述分类知识图谱的元组集合为,匹配输出函数公式为:
(5)
在公式(5)中,表示输出的问题答案,/>为第i个输入问题特征向量对应的答案,/>为知识图谱中对应类别的实体或属性。
作为本发明进一步的技术方案,所述优先级筛选模型包括输入层、召回层、优先级计算层、自适应权重层、排序层、过滤层和输出层,所述优先级筛选模型的工作方法包括以下步骤:
S1、问题和答案输入;
所述输入层通过将用户输入的问题和获取到的答案输入至所述优先级筛选模型中;
S2、获取候选答案;
通过所述召回层所述分类知识图谱中检索相关信息,所述召回层通过搜索引擎查询所述分类知识图谱,并从答案库中召回候选答案;
S3、候选答案的优先级计算;
所述自适应权重层根据用户反馈和历史记录信息调整不同因素对答案相关度计算影响的权重值,所述优先级计算层通过余弦相似性计算方法量化答案与用户输入问题之间的关系;
S4、答案相关度排序和过滤;
所述排序层通过递归排序法将候选答案按照优先级从高到低进行排序,并通过所述过滤层对末尾序列答案进行过滤;
S5、输出最优答案;
通过输出层输出最优答案。
作为本发明进一步的技术方案,所述远程监督平台通过无线通讯方式进行问答信息识别过程的监督,所述无线通讯方式采用无线抗干扰通信网络获取采集终端问答信息识别过程数据,所述无线抗干扰通信网络通过频率选择性滤波器进行降噪处理,并通过宽幅度调制、高速度调制、码分复用以及纠错编码提高载波通信的调制性能和抗干扰能力,所述无线抗干扰通信网络通过灵敏度射频放大器、低噪声指数混频器和增益天线增强信号接收能力,并采用低失真高速度模数转换器提高信号接收灵敏度。
积极有益效果:
本发明公开了一种改进型深度学习算法的知识图谱智能问答信息识别方法,利用分类知识图谱和改进型深度学习算法模型,能够实现对输入问题的快速和准确的分类和识别,同时采用优先级筛选模型和远程监督平台,进一步提升系统的性能和用户体验特性;通过文本挖掘和自然语言处理方法获取海量领域知识信息并构建分类知识图谱,提高了问题分类和答案提取的准确性和效率;引入多头注意力机制、上下文编码器和问题编码器等深度学习算法模型改进了问答信息识别和分类,提高了分类和答案提取的准确性和效率,并可以处理复杂的问题和语境;采用优先级筛选模型对答案进行排序和过滤,提高了答案的质量和相关度,使得用户可以更快地找到满足自己需求的答案,提高了用户体验特性;远程监督平台实现了问答信息识别过程的监督和反馈机制,可以动态地监督系统运行情况并进行模型训练,提高了系统性能和准确性;自动化、智能化程度高。
附图说明
图1为本发明一种改进型深度学习算法的知识图谱智能问答信息识别方法的工作流程示意图;
图2为本发明一种改进型深度学习算法的知识图谱智能问答信息识别方法中改进型深度学习算法模型的模块架构图;
图3为本发明一种改进型深度学习算法的知识图谱智能问答信息识别方法中知识图谱构建模块的模型架构示意图;
图4为本发明一种改进型深度学习算法的知识图谱智能问答信息识别方法中优先级筛选模型的流程示意图;
图5为本发明一种改进型深度学习算法的知识图谱智能问答信息识别方法中问答信息识别和分类的工作流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种改进型深度学习算法的知识图谱智能问答信息识别方法,包括以下步骤:
步骤一、构建分类知识图谱;
通过文本挖掘和自然语言处理方法获取海量领域知识信息,并基于所述海量领域知识信息和知识图谱构建模块构建所述分类知识图谱,所述海量领域知识信息至少包括百科全书、学术论文、新闻文献和语料库;
步骤二、问题收集和预处理;
通过关键词提取和文本分类方法对用户提出的问题进行收集,并通过信息规则引擎对收集到的问题进行异常信息去除和缺失信息填补;
步骤三、构建改进型深度学习算法模型;
通过机器学习框架构建所述改进型深度学习算法模型,所述改进型深度学习算法模型包括模型训练单元、多头注意力机制、上下文编码器、问题编码器和多标签分类网络结构,所述模型训练单元的输出端与所述问题编码器的输入端连接,所述问题编码器的输出端与所述多头注意力机制的输入端连接,所述多头注意力机制的输出端与所述上下文编码器的输入端连接,所述上下文编码器的输出端与所述多标签分类网络结构的输入端连接;
步骤四、问答信息识别和分类;
通过所述改进型深度学习算法模型和分类知识图谱对收集到的问题进行信息分类和问答信息识别;
步骤五、答案排序和过滤;
采用优先级筛选模型对获取到的答案进行排序和筛选,所述优先级筛选模型根据答案的相关度对答案进行优先级排序,并基于优先级排序对答案进行过滤;
步骤六、远程监督和性能优化;
通过远程监督平台监督问答信息的识别过程,并采用人机交互和反馈机制优化系统性能和用户体验特性,所述远程监督平台将监督信息反馈至所述改进型深度学习算法模型进行模型训练。
在上述实施例中,所述信息规则引擎采用模块化架构进行规则组合,所述信息规则引擎采用插值算法填补数据块内容残缺部分,并采用小波变换算法去除数据块内容冗杂、混乱和非法字符部分,所述信息规则引擎采用自然语言概率模型进行文本语法检测、分词和词性标注,并基于分词和词性标注将用户提出的问题切分成词性标签单元。
在具体实施例中,信息规则引擎的模块化架构组合了多个规则模块,每个模块都有自己的特定任务,并且可以组合成复杂的规则来处理不同类型的信息。这种架构可以使引擎更具灵活性和可扩展性。插值算法是信息规则引擎中一个重要的数据预处理算法,它可以填补数据块内容的残缺部分,提高数据的完整性和可用性。同时,引擎还采用小波变换算法,可以有效去除数据块语法错误、冗杂、混乱和非法字符部分,提高数据的准确性和可靠性。这些预处理算法的应用能够使得引擎更好地处理数据,从而提升后续任务的效率和精度。在信息规则引擎中,自然语言概率模型是非常重要的一步。它可以进行文本语法检测、分词和词性标注等任务,并将用户提出的问题切分成相应的词性标签单元。这个过程可以提高引擎处理文本数据的效率和准确性。总之,信息规则引擎采用模块化架构和多种预处理算法,能够更好地处理各种数据信息。同时,引擎使用自然语言概率模型对用户输入文本进行分析,使得引擎能够更加准确、高效地处理问题。这些技术的应用为信息处理提供了更好的保障和支持。
在上述实施例中,所述知识图谱构建模块包括数据预处理单元、领域分类单元、实体识别与链接单元、关系抽取单元、知识组织表示单元和增量更新单元,所述数据预处理单元通过自然语言处理器对知识图谱数据进行清洗和整理,所述领域分类单元通过文本领域挖掘模型LDA发现所述海量领域知识信息中隐藏的领域,并根据领域分布将所述海量领域知识信息进行分类,所述实体识别与链接单元通过命名实体识别任务NER在所述海量领域知识信息中自动识别实体,并通过实体链接任务EL将所述海量领域知识信息中涉及的实体链接到知识库中对应的实体,所述关系抽取单元通过关系抽取算法所述海量领域知识信息中自动提取实体之间的关系,并存储到所述分类知识图谱中,所述知识组织表示单元采用图数据库或三元组存储格式存储所述海量领域知识信息,并对所述海量领域知识信息进行索引和优化,所述增量更新单元通过时间窗口机制实时更新所述分类知识图谱,所述数据预处理单元的输出端与所述领域分类单元的输入端连接,所述领域分类单元的输出端与所述实体识别与链接单元的输入端连接,所述实体识别与链接单元的输出端与所述关系抽取单元的输入端连接,所述关系抽取单元的输出端与所述知识组织表示单元的输入端连接,所述增量更新单元的输出端与所述数据预处理单元的输入端连接。
在具体实施例中,在知识图谱构建模块中,数据预处理单元是该流程中的第一步,它通过自然语言处理技术对知识数据进行清洗和整理,去除噪声和冗余信息,得到更干净的数据源。经过数据预处理单元的处理后,数据被传送到领域分类单元进行分类。领域分类单元使用文本领域挖掘模型LDA发现数据中隐藏的文本领域,并根据该领域的分布将海量知识数据分类,以提高处理效率和准确性。经过领域分类单元处理后,数据被传送到实体识别与链接单元进行下一步处理。实体识别与链接单元使用命名实体识别任务(NER)从海量知识数据中自动识别实体,并使用实体链接任务(EL)将涉及到的实体链接到知识库中对应的实体,以便后续的关系抽取和组织。经过实体识别与链接单元的处理后,数据被传送到关系抽取单元进行关系抽取。关系抽取单元使用关系抽取算法在海量知识数据中自动提取实体之间的关系,并将其存储到分类知识图谱中,以构建知识图谱的结构。经过关系抽取单元的处理后,数据被传送到知识组织表示单元进行存储和索引优化。在知识组织表示单元中,使用图数据库或三元组存储格式存储海量知识数据,并对其进行索引和优化,以便后续的快速查询和应用。知识组织表示单元的输出被传送到增量更新单元进行实时更新。增量更新单元使用时间窗口机制实时更新分类知识图谱,以保证知识图谱的实时性和完整性。经过增量更新单元的处理,数据被传送回数据预处理单元,完成一个循环。
总之,知识图谱构建模块包括多个处理单元,每个处理单元都有特定的任务,同时这些单元之间相互协调,从而构建出高质量的知识图谱。
在上述实施例中,所述模型训练单元采用交叉验证和随机划分结合的方法将训练样本划分为训练集、验证集和测试集,并通过迁移学习对训练集、验证集和测试集进行优化,所述多头注意力机制通过分布式并行处理框架将注意力机制扩展为多头,并采用问题关键词、实体属性和句式分析结果拆分输入向量并计算多头注意力向量,所述上下文编码器通过对上下文信息进行编码生成上下文向量表示,所述问题编码器通过对问题信息进行编码生成问题向量表示,所述多标签分类网络结构通过建立问题多个标签分类器实现对问题的多方面分类识别。
在具体实施例中,该段文字描述了模型训练单元、多头注意力机制、上下文编码器和问题编码器以及多标签分类网络结构的工作原理。
模型训练单元采用交叉验证和随机划分结合的方法将训练样本划分为训练集、验证集和测试集,并通过迁移学习对训练集、验证集和测试集进行优化,以提高模型的泛化性能和预测准确度。多头注意力机制通过分布式并行处理框架将注意力机制扩展为多头,将问题关键词、实体属性和句式分析结果拆分成多个输入向量,并计算多头注意力向量,以增强模型对于关键信息的关注和理解能力。上下文编码器通过对上下文信息进行编码,生成上下文向量表示,以捕捉上下文与问题之间的关系,提高答案的相关度和准确度。问题编码器通过对问题信息进行编码,生成问题向量表示,以更好地理解用户所提问的问题,从而提高模型的准确预测。多标签分类网络结构通过建立问题多个标签分类器实现对问题的多方面分类识别,提高了模型对于复杂问题的识别和理解能力。在训练过程中,模型通过不断迭代训练来提高预测准确性和泛化能力,通过以上机制和算法的结合,模型能够更准确地为用户提供符合需求的答案。
在上述实施例中,所述改进型深度学习算法模型和分类知识图谱对收集到的问题进行信息分类和问答信息识别包括以下步骤:
步骤1、数据输入;
将收集到的问题输入至所述改进型深度学习算法模型,并对收集到的问题进行归一化和特征向量表示,问题特征向量集合表示为:
(1)
在公式(1)中,表示输入问题特征向量集合,/>为第i个输入问题特征向量,,i为问题特征向量的序数,/>为输入问题特征向量的总数;
步骤2、计算问题的分类相似度;
所述问题特征向量集合采用闵可夫斯基相似度法计算所述问题特征向量分类的相似度,相似度输出函数公式为:
(2)
在公式(2)中,为第i个输入问题特征向量为第I类别的相似度,/>为欧式相似度和曼哈顿相似度平衡调节参数,p=2为欧氏相似度;p=1为曼哈顿相似度,/>表示问题的第I个类别,/>,/>为问题类别的总数;
步骤3、根据分类相似度计算结果自适应地调整权重;
所述问题特征向量之间的相似度数据集D,自适应权重输出函数公式为:
(3)
在公式(3)中,为第i个输入问题特征向量为第I类别的相似度的权重,为相似度权重的均衡值;
步骤4、分类器构建;
根据计算出来的相似度值和自适应权重,将输入的问题进行分类,并输出类别标签,分类输出函数公式为:
(4)
在公式(4)中,表示第i个输入问题特征向量的类别标签,/>为自适应权重的最大值,/>为自适应权重的最小值,/>为自适应权重集合;
步骤5、知识图谱匹配;
将输出的类别标签与所述分类知识图谱进行匹配获取答案,所述分类知识图谱的元组集合为,匹配输出函数公式为:
(5)
在公式(5)中,表示输出的问题答案,/>为第i个输入问题特征向量对应的答案,/>为知识图谱中对应类别的实体或属性。
在具体实施例中,所述改进型深度学习算法模型和分类知识图谱可以用于对收集到的问题进行信息分类和问答信息识别,对待分类的文本进行预处理,包括分词、词性标注、去除停用词等,以得到更加准确、规范的文本数据。将预处理后的文本数据输入改进型深度学习算法模型,如卷积神经网络(CNN)或长短时记忆网络(LSTM)等,进行分类处理。在分类知识图谱中,通过查询相应的分类节点,快速地找到被最终分类的知识库。分类知识图谱的建立可以根据分类体系、知识库的结构关系来构建,以提高查询、检索的效率和精度。通过分类知识图谱,将分类结果与相应的查询知识库进行交互,以提供相应答案和解决方案,并对问答信息进行识别和回答。在以上流程中,改进型深度学习算法模型为信息分类提供了基础,能够对海量的问答数据信息进行高效、准确的分类处理。分类知识图谱则为信息检索提供了有效的工具和手段,也为分类知识库提供了有效的管理手段,增强了系统的智能性和自适应性。两者的结合使系统可以对用户提出的问题进行准确的识别和回答,提高了系统的实用性和用户体验。改进型深度学习算法模型和分类知识图谱的硬件工作环境包括以下几种:
CPU:中央处理器,是计算机的核心部件之一,用于执行程序代码和控制计算机的各种操作。
GPU:图形处理器,由于其强大的并行计算能力而被广泛应用于深度学习领域。GPU可以加速神经网络的训练和推断过程,提高深度学习模型的性能。
FPGA:现场可编程门阵列,是一种可编程逻辑器件。FPGA具有高度灵活性和可重构性,在加速深度学习任务方面也有很好的表现。
ASIC:专用集成电路,是为特定应用设计的芯片。ASIC在深度学习领域中被广泛使用,因为它们可以提供高效、低功耗的计算能力。
TPU:张量处理器,是由Google开发的一种专门用于加速人工智能任务的芯片。TPU在深度学习领域中表现出色,并已被广泛应用于Google自己的AI项目中。
综上所述,改进型深度学习算法模型和分类知识图谱需要在不同类型的硬件工作环境中进行开发和应用,以提高深度学习模型的性能和效率。
分别采用改进型深度学习算法模型(A组)和深度学习算法模型(B组)进行对比实验,分别采用改进型深度学习算法模型和深度学习算法模型进行训练,并使用构建的数据集对模型进行训练和调试,分别采用改进型深度学习算法模型和深度学习算法模型对五个用户问题进行分类,并使用分类知识图谱回答问题,分别评估两种算法在回答用户问题时的准确率、召回率和F1-score,记录于表1。
表1结果统计表
实验结果表明,改进型深度学习算法模型将表现出更好的性能,包括更高的准确率、召回率和F1-score。这是因为改进型深度学习算法模型采用了多头注意力机制、上下文编码器、问题编码器和多标签分类网络结构等技术,能够更好地利用上下文信息和语义信息,从而提高问答信息的识别和分类准确率。
在上述实施例中,所述优先级筛选模型包括输入层、召回层、优先级计算层、自适应权重层、排序层、过滤层和输出层,所述优先级筛选模型的工作方法包括以下步骤:
S1、问题和答案输入;
所述输入层通过将用户输入的问题和获取到的答案输入至所述优先级筛选模型中;
S2、获取候选答案;
通过所述召回层所述分类知识图谱中检索相关信息,所述召回层通过搜索引擎查询所述分类知识图谱,并从答案库中召回候选答案;
S3、候选答案的优先级计算;
所述自适应权重层根据用户反馈和历史记录信息调整不同因素对答案相关度计算影响的权重值,所述优先级计算层通过余弦相似性计算方法量化答案与用户输入问题之间的关系;
S4、答案相关度排序和过滤;
所述排序层通过递归排序法将候选答案按照优先级从高到低进行排序,并通过所述过滤层对末尾序列答案进行过滤;
S5、输出最优答案;
通过输出层输出最优答案。
在具体实施例中,用户向系统提出问题或请求,这些问题可能是自然语言形式的文本或语音。在召回阶段,系统会根据用户提供的问题,从预定的数据源中检索相关信息,并返回可能有用的信息。这些数据源可以包括知识库、文档、网络等多种类型。在优先级计算层中,系统会对已经获取到的有用信息进行评估和排序。这个过程涉及到多种因素,例如答案与问题之间的相关性、答案来源可信度等等。此外,在自适应权重层中,还可以根据用户反馈和历史记录等信息来调整不同因素之间的权重。在排序和过滤层中,系统会对前面计算得到的结果进行排序和过滤。排名靠前且符合规则要求(如得分高于某个门槛值)的答案将被保留下来。最后,在输出层中,系统将为用户呈现最终结果。
总之,优先级筛选模型是一个复杂的多阶段过程,需要综合运用多种技术和算法来实现。通过这个模型,系统可以更好地理解用户需求并提供最符合用户需求的答案。自适应权重层的引入还可以进一步提高系统的准确性和可靠性。
在上述实施例中,所述远程监督平台通过无线通讯方式进行问答信息识别过程的监督,所述无线通讯方式采用无线抗干扰通信网络获取采集终端问答信息识别过程数据,所述无线抗干扰通信网络通过频率选择性滤波器进行降噪处理,并通过宽幅度调制、高速度调制、码分复用以及纠错编码提高载波通信的调制性能和抗干扰能力,所述无线抗干扰通信网络通过灵敏度射频放大器、低噪声指数混频器和增益天线增强信号接收能力,并采用低失真高速度模数转换器提高信号接收灵敏度。
在具体实施例中,远程监督平台通过无线通讯方式进行问答信息识别过程的监督,具体采用的是无线抗干扰通信网络。这个网络能够获取采集终端问答信息识别过程数据,并通过一系列技术手段提高载波通信的调制性能和抗干扰能力,包括以下几个方面:频率选择性滤波器进行降噪处理。在传输过程中,会受到各种噪声的影响,为了减少噪声对信号的影响,可以使用频率选择性滤波器进行降噪处理。宽幅度调制、高速度调制、码分复用以及纠错编码提高载波通信的调制性能和抗干扰能力。这些技术手段可以提高载波通信的可靠性和稳定性,使得传输过程中更加不容易受到干扰。灵敏度射频放大器、低噪声指数混频器和增益天线增强信号接收能力。这些技术手段可以增强网络对信号的接收能力,使得网络可以更好地接收到采集终端发送过来的问答信息识别过程数据。采用低失真高速度模数转换器提高信号接收灵敏度。这个技术手段可以提高网络对信号的解析能力,使得网络可以更加准确地识别和解析问答信息识别过程数据。
综上所述,无线抗干扰通信网络通过一系列技术手段可以提高载波通信的调制性能和抗干扰能力,从而保证远程监督平台对问答信息识别过程的监督任务的顺利完成。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些具体实施方式仅是举例说明,本领域的技术人员在不脱离本发明的原理和实质的情况下,可以对上述方法和系统的细节进行各种省略、替换和改变。例如,合并上述方法步骤,从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此,本发明的范围仅由所附权利要求书限定。

Claims (6)

1.一种改进型深度学习算法的知识图谱智能问答信息识别方法,其特征在于:包括以下步骤:
步骤一、构建分类知识图谱;
通过文本挖掘和自然语言处理方法获取海量领域知识信息,并基于所述海量领域知识信息和知识图谱构建模块构建所述分类知识图谱,所述海量领域知识信息至少包括百科全书、学术论文、新闻文献和语料库;
步骤二、问题收集和预处理;
通过关键词提取和文本分类方法对用户提出的问题进行收集,并通过信息规则引擎对收集到的问题进行异常信息去除和缺失信息填补;
步骤三、构建改进型深度学习算法模型;
通过机器学习框架构建所述改进型深度学习算法模型,所述改进型深度学习算法模型包括模型训练单元、多头注意力机制、上下文编码器、问题编码器和多标签分类网络结构,所述模型训练单元的输出端与所述问题编码器的输入端连接,所述问题编码器的输出端与所述多头注意力机制的输入端连接,所述多头注意力机制的输出端与所述上下文编码器的输入端连接,所述上下文编码器的输出端与所述多标签分类网络结构的输入端连接;
步骤四、问答信息识别和分类;
通过所述改进型深度学习算法模型和分类知识图谱对收集到的问题进行信息分类和问答信息识别;
步骤五、答案排序和过滤;
采用优先级筛选模型对获取到的答案进行排序和筛选,所述优先级筛选模型根据答案的相关度对答案进行优先级排序,并基于优先级排序对答案进行过滤;
步骤六、远程监督和性能优化;
通过远程监督平台监督问答信息的识别过程,并采用人机交互和反馈机制优化系统性能和用户体验特性,所述远程监督平台将监督信息反馈至所述改进型深度学习算法模型进行模型训练;
所述改进型深度学习算法模型和分类知识图谱对收集到的问题进行信息分类和问答信息识别包括以下步骤:
步骤1、数据输入;
将收集到的问题输入至所述改进型深度学习算法模型,并对收集到的问题进行归一化和特征向量表示,问题特征向量集合表示为:
(1)
在公式(1)中,表示输入问题特征向量集合,/>为第i个输入问题特征向量,/>,i为问题特征向量的序数,/>为输入问题特征向量的总数;
步骤2、计算问题的分类相似度;
所述问题特征向量集合采用闵可夫斯基相似度法计算所述问题特征向量分类的相似度,相似度输出函数公式为:
(2)
在公式(2)中,为第i个输入问题特征向量为第I类别的相似度,/>为欧式相似度和曼哈顿相似度平衡调节参数,p=2为欧氏相似度;p=1为曼哈顿相似度,/>表示问题的第I个类别,/>,/>为问题类别的总数;
步骤3、根据分类相似度计算结果自适应地调整权重;
所述问题特征向量之间的相似度数据集D,自适应权重输出函数公式为:
(3)
在公式(3)中,为第i个输入问题特征向量为第I类别的相似度的权重,为相似度权重的均衡值;
步骤4、分类器构建;
根据计算出来的相似度值和自适应权重,将输入的问题进行分类,并输出类别标签,分类输出函数公式为:
(4)
在公式(4)中,表示第i个输入问题特征向量的类别标签,/>为自适应权重的最大值,/>为自适应权重的最小值,/>为自适应权重集合;
步骤5、知识图谱匹配;
将输出的类别标签与所述分类知识图谱进行匹配获取答案,所述分类知识图谱的元组集合为,匹配输出函数公式为:
(5)
在公式(5)中,第i个输入问题特征向量
2.根据权利要求1所述的一种改进型深度学习算法的知识图谱智能问答信息识别方法,其特征在于:所述信息规则引擎采用模块化架构进行规则组合,所述信息规则引擎采用插值算法填补数据块内容残缺部分,并采用小波变换算法去除数据块内容冗杂、混乱和非法字符部分,所述信息规则引擎采用自然语言概率模型进行文本语法检测、分词和词性标注,并基于分词和词性标注将用户提出的问题切分成词性标签单元。
3.根据权利要求1所述的一种改进型深度学习算法的知识图谱智能问答信息识别方法,其特征在于:所述知识图谱构建模块包括数据预处理单元、领域分类单元、实体识别与链接单元、关系抽取单元、知识组织表示单元和增量更新单元,所述数据预处理单元通过自然语言处理器对知识图谱数据进行清洗和整理,所述领域分类单元通过文本领域挖掘模型LDA发现所述海量领域知识信息中隐藏的领域,并根据领域分布将所述海量领域知识信息进行分类,所述实体识别与链接单元通过命名实体识别任务NER在所述海量领域知识信息中自动识别实体,并通过实体链接任务EL将所述海量领域知识信息中涉及的实体链接到知识库中对应的实体,所述关系抽取单元通过关系抽取算法所述海量领域知识信息中自动提取实体之间的关系,并存储到所述分类知识图谱中,所述知识组织表示单元采用图数据库或三元组存储格式存储所述海量领域知识信息,并对所述海量领域知识信息进行索引和优化,所述增量更新单元通过时间窗口机制实时更新所述分类知识图谱,所述数据预处理单元的输出端与所述领域分类单元的输入端连接,所述领域分类单元的输出端与所述实体识别与链接单元的输入端连接,所述实体识别与链接单元的输出端与所述关系抽取单元的输入端连接,所述关系抽取单元的输出端与所述知识组织表示单元的输入端连接,所述增量更新单元的输出端与所述数据预处理单元的输入端连接。
4.根据权利要求1所述的一种改进型深度学习算法的知识图谱智能问答信息识别方法,其特征在于:所述模型训练单元采用交叉验证和随机划分结合的方法将训练样本划分为训练集、验证集和测试集,并通过迁移学习对训练集、验证集和测试集进行优化,所述多头注意力机制通过分布式并行处理框架将注意力机制扩展为多头,并采用问题关键词、实体属性和句式分析结果拆分输入向量并计算多头注意力向量,所述上下文编码器通过对上下文信息进行编码生成上下文向量表示,所述问题编码器通过对问题信息进行编码生成问题向量表示,所述多标签分类网络结构通过建立问题多个标签分类器实现对问题的多方面分类识别。
5.根据权利要求1所述的一种改进型深度学习算法的知识图谱智能问答信息识别方法,其特征在于:所述优先级筛选模型包括输入层、召回层、优先级计算层、自适应权重层、排序层、过滤层和输出层,所述优先级筛选模型的工作方法包括以下步骤:
S1、问题和答案输入;
所述输入层通过将用户输入的问题和获取到的答案输入至所述优先级筛选模型中;
S2、获取候选答案;
通过所述召回层所述分类知识图谱中检索相关信息,所述召回层通过搜索引擎查询所述分类知识图谱,并从答案库中召回候选答案;
S3、候选答案的优先级计算;
所述自适应权重层根据用户反馈和历史记录信息调整不同因素对答案相关度计算影响的权重值,所述优先级计算层通过余弦相似性计算方法量化答案与用户输入问题之间的关系;
S4、答案相关度排序和过滤;
所述排序层通过递归排序法将候选答案按照优先级从高到低进行排序,并通过所述过滤层对末尾序列答案进行过滤;
S5、输出最优答案;
通过输出层输出最优答案。
6.根据权利要求1所述的一种改进型深度学习算法的知识图谱智能问答信息识别方法,其特征在于:所述远程监督平台通过无线通讯方式进行问答信息识别过程的监督,所述无线通讯方式采用无线抗干扰通信网络获取采集终端问答信息识别过程数据,所述无线抗干扰通信网络通过频率选择性滤波器进行降噪处理,并通过宽幅度调制、高速度调制、码分复用以及纠错编码提高载波通信的调制性能和抗干扰能力,所述无线抗干扰通信网络通过灵敏度射频放大器、低噪声指数混频器和增益天线增强信号接收能力,并采用低失真高速度模数转换器提高信号接收灵敏度。
CN202410301981.7A 2024-03-18 2024-03-18 改进型深度学习算法的知识图谱智能问答信息识别方法 Active CN117891929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410301981.7A CN117891929B (zh) 2024-03-18 2024-03-18 改进型深度学习算法的知识图谱智能问答信息识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410301981.7A CN117891929B (zh) 2024-03-18 2024-03-18 改进型深度学习算法的知识图谱智能问答信息识别方法

Publications (2)

Publication Number Publication Date
CN117891929A CN117891929A (zh) 2024-04-16
CN117891929B true CN117891929B (zh) 2024-05-17

Family

ID=90651077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410301981.7A Active CN117891929B (zh) 2024-03-18 2024-03-18 改进型深度学习算法的知识图谱智能问答信息识别方法

Country Status (1)

Country Link
CN (1) CN117891929B (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509519A (zh) * 2018-03-09 2018-09-07 北京邮电大学 基于深度学习的通用知识图谱增强问答交互系统及方法
CN109271506A (zh) * 2018-11-29 2019-01-25 武汉大学 一种基于深度学习的电力通信领域知识图谱问答系统的构建方法
CN110134771A (zh) * 2019-04-09 2019-08-16 广东工业大学 一种基于多注意力机制融合网络问答系统的实现方法
CN110209787A (zh) * 2019-05-29 2019-09-06 袁琦 一种基于宠物知识图谱的智能问答方法及系统
CN110727779A (zh) * 2019-10-16 2020-01-24 信雅达系统工程股份有限公司 基于多模型融合的问答方法及系统
CN111460171A (zh) * 2020-03-30 2020-07-28 支付宝(杭州)信息技术有限公司 服务方的目标用户识别方法及装置
CN111639291A (zh) * 2020-05-29 2020-09-08 腾讯科技(武汉)有限公司 内容分发方法、装置、电子设备以及存储介质
CN112765310A (zh) * 2020-12-11 2021-05-07 北京航天云路有限公司 一种基于深度学习与相似度匹配的知识图谱问答的方法
WO2021109690A1 (zh) * 2020-06-17 2021-06-10 平安科技(深圳)有限公司 多类型问题智能问答方法、系统、设备及可读存储介质
CN113010688A (zh) * 2021-03-05 2021-06-22 北京信息科技大学 知识图谱构建方法、装置、设备及计算机可读存储介质
WO2021121198A1 (zh) * 2020-09-08 2021-06-24 平安科技(深圳)有限公司 基于语义相似度的实体关系抽取方法、装置、设备及介质
CN113505586A (zh) * 2021-06-07 2021-10-15 中电鸿信信息科技有限公司 一种融合语义分类与知识图谱的坐席辅助问答方法与系统
CN113934831A (zh) * 2021-10-19 2022-01-14 中电积至(海南)信息技术有限公司 一种基于深度学习的知识图谱问答方法
CN115080710A (zh) * 2022-03-01 2022-09-20 达而观信息科技(上海)有限公司 一种自适应不同领域知识图谱的智能问答系统及其构建方法
CN115757715A (zh) * 2022-10-28 2023-03-07 浙江工业大学 一种基于知识图谱表示学习的复杂问题多跳智能问答方法
CN116166782A (zh) * 2023-02-07 2023-05-26 山东浪潮科学研究院有限公司 一种基于深度学习的智能问答方法
CN116340831A (zh) * 2023-05-24 2023-06-27 京东科技信息技术有限公司 一种信息分类方法、装置、电子设备及存储介质
CN116563735A (zh) * 2023-05-15 2023-08-08 国网电力空间技术有限公司 一种基于深度人工智能的输电杆塔巡检图像对焦判断方法
CN116719907A (zh) * 2023-06-26 2023-09-08 阿波罗智联(北京)科技有限公司 数据处理方法、装置、设备以及存储介质
CN116737911A (zh) * 2023-08-14 2023-09-12 北京健康有益科技有限公司 基于深度学习的高血压问答方法及系统
CN117271724A (zh) * 2023-09-13 2023-12-22 浙江创邻科技有限公司 一种基于大模型和语义图谱的智能问答实现方法及系统
CN117648984A (zh) * 2023-10-31 2024-03-05 北京理工大学 一种基于领域知识图谱的智能问答方法及系统

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509519A (zh) * 2018-03-09 2018-09-07 北京邮电大学 基于深度学习的通用知识图谱增强问答交互系统及方法
CN109271506A (zh) * 2018-11-29 2019-01-25 武汉大学 一种基于深度学习的电力通信领域知识图谱问答系统的构建方法
CN110134771A (zh) * 2019-04-09 2019-08-16 广东工业大学 一种基于多注意力机制融合网络问答系统的实现方法
CN110209787A (zh) * 2019-05-29 2019-09-06 袁琦 一种基于宠物知识图谱的智能问答方法及系统
CN110727779A (zh) * 2019-10-16 2020-01-24 信雅达系统工程股份有限公司 基于多模型融合的问答方法及系统
CN111460171A (zh) * 2020-03-30 2020-07-28 支付宝(杭州)信息技术有限公司 服务方的目标用户识别方法及装置
CN111639291A (zh) * 2020-05-29 2020-09-08 腾讯科技(武汉)有限公司 内容分发方法、装置、电子设备以及存储介质
WO2021109690A1 (zh) * 2020-06-17 2021-06-10 平安科技(深圳)有限公司 多类型问题智能问答方法、系统、设备及可读存储介质
WO2021121198A1 (zh) * 2020-09-08 2021-06-24 平安科技(深圳)有限公司 基于语义相似度的实体关系抽取方法、装置、设备及介质
CN112765310A (zh) * 2020-12-11 2021-05-07 北京航天云路有限公司 一种基于深度学习与相似度匹配的知识图谱问答的方法
CN113010688A (zh) * 2021-03-05 2021-06-22 北京信息科技大学 知识图谱构建方法、装置、设备及计算机可读存储介质
CN113505586A (zh) * 2021-06-07 2021-10-15 中电鸿信信息科技有限公司 一种融合语义分类与知识图谱的坐席辅助问答方法与系统
CN113934831A (zh) * 2021-10-19 2022-01-14 中电积至(海南)信息技术有限公司 一种基于深度学习的知识图谱问答方法
CN115080710A (zh) * 2022-03-01 2022-09-20 达而观信息科技(上海)有限公司 一种自适应不同领域知识图谱的智能问答系统及其构建方法
CN115757715A (zh) * 2022-10-28 2023-03-07 浙江工业大学 一种基于知识图谱表示学习的复杂问题多跳智能问答方法
CN116166782A (zh) * 2023-02-07 2023-05-26 山东浪潮科学研究院有限公司 一种基于深度学习的智能问答方法
CN116563735A (zh) * 2023-05-15 2023-08-08 国网电力空间技术有限公司 一种基于深度人工智能的输电杆塔巡检图像对焦判断方法
CN116340831A (zh) * 2023-05-24 2023-06-27 京东科技信息技术有限公司 一种信息分类方法、装置、电子设备及存储介质
CN116719907A (zh) * 2023-06-26 2023-09-08 阿波罗智联(北京)科技有限公司 数据处理方法、装置、设备以及存储介质
CN116737911A (zh) * 2023-08-14 2023-09-12 北京健康有益科技有限公司 基于深度学习的高血压问答方法及系统
CN117271724A (zh) * 2023-09-13 2023-12-22 浙江创邻科技有限公司 一种基于大模型和语义图谱的智能问答实现方法及系统
CN117648984A (zh) * 2023-10-31 2024-03-05 北京理工大学 一种基于领域知识图谱的智能问答方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于医疗知识图谱的智能问答系统研究;陈明等;情报科学;20230915;1-10 *
多语义词向量表示及语义相似度的计算研究;陈珍锐;中国优秀硕士学位论文全文数据库 信息科技辑 (月刊);20200315(第03期);I138-1464 *

Also Published As

Publication number Publication date
CN117891929A (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN110059181B (zh) 面向大规模分类体系的短文本标签方法、系统、装置
Sun et al. Learned cardinality estimation: A design space exploration and a comparative evaluation
US20020103775A1 (en) Method for learning and combining global and local regularities for information extraction and classification
CN109829104A (zh) 基于语义相似度的伪相关反馈模型信息检索方法及系统
CN1637744A (zh) 为在大量电子文档中搜索而确定文档相关性的机器学习方法
CN110309195B (zh) 一种基于fwdl模型的内容推荐方法
US20030212663A1 (en) Neural network feedback for enhancing text search
CN112597285B (zh) 一种基于知识图谱的人机交互方法及系统
CN110633366A (zh) 一种短文本分类方法、装置和存储介质
CN115098690B (zh) 一种基于聚类分析的多数据文档分类方法及系统
CN113836896A (zh) 一种基于深度学习的专利文本摘要生成方法和装置
CN113159187A (zh) 分类模型训练方法及装置、目标文本确定方法及装置
CN117891929B (zh) 改进型深度学习算法的知识图谱智能问答信息识别方法
CN117131383A (zh) 一种提高双塔模型搜索精排性能的方法
CN111460114A (zh) 检索方法、装置、设备及计算机可读存储介质
CN116910599A (zh) 数据聚类方法、系统、电子设备及存储介质
CN116049376A (zh) 一种信创知识检索回复的方法、装置和系统
Zhang et al. Mining classification rule with artificial fish swarm
CN114329181A (zh) 一种题目推荐方法、装置及电子设备
CN111950615A (zh) 一种基于树种优化算法的网络故障特征选择方法
Sun et al. Deep supervised hashing with dynamic weighting scheme
CN114036946B (zh) 一种文本特征提取及辅助检索的系统及方法
CN116304110B (zh) 使用英语词汇数据构建知识图谱的工作方法
CN115268994B (zh) 一种基于tbcnn和多头自注意力机制的代码特征提取方法
AU2020104033A4 (en) CDM- Separating Items Device: Separating Items into their Corresponding Class using Iris Dataset Machine Learning Classification Device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant