CN110347807B - 问题信息处理方法及装置 - Google Patents
问题信息处理方法及装置 Download PDFInfo
- Publication number
- CN110347807B CN110347807B CN201910417749.9A CN201910417749A CN110347807B CN 110347807 B CN110347807 B CN 110347807B CN 201910417749 A CN201910417749 A CN 201910417749A CN 110347807 B CN110347807 B CN 110347807B
- Authority
- CN
- China
- Prior art keywords
- question
- word vector
- questions
- expansion
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 23
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 144
- 239000013598 vector Substances 0.000 claims abstract description 138
- 238000003062 neural network model Methods 0.000 claims abstract description 77
- 239000011159 matrix material Substances 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 33
- 230000011218 segmentation Effects 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012790 confirmation Methods 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3338—Query expansion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种问题信息处理方法、问题信息处理装置、存储介质及计算机设备，涉及人工智能领域，其中，问题信息处理方法包括：接收用户输入的问题信息，根据问题信息获取第一扩展问；根据训练后的神经网络模型确定第一扩展问对应的第一正标准问；获取所述第一正标准问的答复信息并反馈答复信息；其中，神经网络模型的训练过程包括：获取训练集，训练集包括多个样本对，分别每个训练样本对中的扩展问、正标准问及负标准问分别对应的词向量矩阵；将所述词向量矩阵按组输入到所述神经网络模型中，并对所述神经网络模型进行训练。上述方法能提高对正标准问与负标准问的检索能力。
Description
技术领域
本发明涉及人工智能领域，具体涉及一种问题信息处理方法及装置。
背景技术
随着互联网技术的不断发展，数据量日益增大，问答知识系统在人们的生活中发挥了越来越重要的作用。目前主流的FAQ(Frequently Asked Questions，常用问题解答)系统都是基于规则和分类的方法来实现，这样的系统只能够使用关键词进行搜索，而通过关键词搜索往往无法很好地理解扩展问与标准问之间的语义关系，在搜索时容易受到其他错误标准问的干扰，往往难以确定正确的标准问，容易造成“答非所问”的情况发生，因此，严重影响了用户使用体验。
发明内容
本发明实施例提供一种问题信息处理方法、问题信息处理装置、存储介质及计算机设备，能够提高对正标准问的检索能力。
第一方面，本发明实施例提供了一种问题信息处理方法，所述方法包括：
接收用户输入的问题信息，根据所述问题信息获取第一扩展问；
根据训练后的神经网络模型确定所述第一扩展问对应的第一正标准问；
获取所述第一正标准问的答复信息并反馈所述答复信息；
其中，所述神经网络模型的训练过程包括：
获取训练集，所述训练集包括多个训练样本对，每个训练样本对包括一个扩展问、一个正标准问、以及N个负标准问，N为大于或等于1的自然数；
分别对所述多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析和词嵌入特征分析，得到与所述每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵；
将所述词向量矩阵按组输入到所述神经网络模型中，并对所述神经网络模型进行训练，其中，一组词向量矩阵包括一个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
第二方面，本发明实施例提供了一种问题信息处理装置，包括：
第一获取模块，用于接收用户输入的问题信息，并根据所述问题信息获取第一扩展问；
确认模块，用于根据训练后的神经网络模型确定所述第一扩展问对应的第一正标准问；及
答复模块，用于获取所述第一正标准问的答复信息并反馈所述答复信息；
其中，所述神经网络模型的训练过程通过训练装置实现，所述训练装置包括：
第二获取模块，所述第二获取模块用于获取训练集，其中，所述训练集包括多个训练样本对，每个训练样本对包括一个扩展问、一个正标准问、以及N个负标准问，N为大于或等于1的自然数；
分析模块，用于对所述多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析和词嵌入特征分析，得到与所述每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵；及
训练模块，用于将所述词向量矩阵按组输入所述神经网络模型中，并对所述神经网络模型进行训练，其中，一组词向量矩阵包括一个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
第三方面，本发明实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的方法。
第四方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于：所述程序指令被处理器加载并执行时实现上述任意一项所述的方法的步骤。
可以理解，本发明通过将多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析和词嵌入特征分析，得到与所述每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵，将所述词向量矩阵按组输入所述神经网络模型中，并对所述神经网络模型进行训练，使得神经网络模型提高了对正标准问与负标准问的识别能力，进而在确定正标准问时不容易受到负标准问的干扰，因此提高了问题信息处理装置的识别能力和泛化能力，进而提高了用户的使用体验。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明实施例提供的一种问题信息处理方法的流程图；
图2为本发明实施例提供的一种神经网络模型的训练过程的流程图；
图3为本发明实施例提供的一种问题信息处理装置的示意框图；
图4为本发明实施例提供的一种训练装置的示意框图；
图5为图4所示的分析模块的示意框图；
图6为图4所示的训练模块的示意框图；
图7为图6所示的计算单元的示意框图；
图8为图3所示的确认模块的示意框图；
图9为本发明实施例提供的一种计算机设备的示意框图。
具体实施例
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
请参阅附图1，本发明实施例提供一种问题信息处理方法，在本实施方式中，该方法的执行主体可以是一种问题信息处理装置，问题信息处理方法包括：
步骤S01：接收用户输入的问题信息，根据问题信息获取第一扩展问；
步骤S02：根据训练后的神经网络模型确定第一扩展问对应的第一正标准问；
步骤S03：获取第一正标准问的答复信息并反馈答复信息；
请参阅附图2，神经网络模型的训练过程包括：
步骤S100：获取训练集，训练集包括多个训练样本对，每个训练样本对包括一个扩展问、一个正标准问、以及N个负标准问，N为大于或等于1的自然数；
步骤S200：对多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析和词嵌入特征分析，得到与每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵；
步骤S300：将词向量矩阵按组输入神经网络模型中，并对神经网络模型进行训练，其中，一组词向量矩阵包括一个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
可以理解，本发明通过将多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析和词嵌入特征分析，得到与每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵，将词向量矩阵按组输入神经网络模型中，并对神经网络模型进行训练，使得神经网络模型提高了对正标准问与负标准问的识别能力，进而在确定正标准问时不容易受到负标准问的干扰，因此提高了问题信息处理装置的识别能力和泛化能力，进而提高了用户的使用体验。
下面再次结合附图1对本实施例提供的问题信息处理方法的具体技术方案进行详细的说明。需要理解的是，该方法不仅可以应用于服务器端，还可以应用于计算能力相对较弱的客户端，例如为：手机、平板电脑、笔记本电脑、一体机或台式机等等，在此不作限制，也不再一一列举。
首先，执行步骤S01：接收用户输入的问题信息，根据问题信息获取第一扩展问。
具体地，在本申请实施例中，问题信息可以是文字信息，也可以是语音信息或图片信息，在此不作限制。
在具体实施过程中，如果问题信息为语音信息，可以直接基于语音信息执行后续步骤，也可以先对语音信息进行语音分析以转换为文字信息后，再执行后续步骤；如果待回复信息为图片信息，可以直接基于图片信息执行后续步骤，也可以先对图片信息进行图像分析以提取出文字信息后，再执行后续步骤。
在本申请实施例中，问题信息的获取方法也可以有多种，例如，可以通过通讯软件获取，即通过通讯软件接收到问题信息，具体可以是通过短信、微信、语音或文字聊天软件等方式获取。再例如，通过输入法软件获取，即通过自带的输入法软件来获取用户输入的待回复信息，例如，获取用户通过输入法软件输入的文字和符号等信息作为问题信息。
具体地，在本申请实施例中，根据问题信息获取第一扩展问的方法包括但不限于基于逗号、分号或句号等标点符号将问题信息中的内容分解为多个单独的子句，将具有提问意思的子句作为第一扩展问。例如，问题信息为“我今天好开心，你吃饭了吗？”分解后的子句分别为“我今天好开心”及“你吃饭了吗？”，那么可以将“你吃饭了吗？”作为第一扩展问。当然，在其他实施方式中，也可以是无论子句是否具有提问意思，都可以作为第一扩展问，本发明对此不作限定。
需要知道的是，第一扩展问是扩展问中的一种，第一扩展问的数量可以为一个、两个或者多个，即一个用户输入的问题信息可以对应一个、两个或者多个。其中，第一扩展问的命名用于与其他扩展问进行区分，而不应引起不必要的限定。
然后，执行步骤S02：根据训练后的神经网络模型确定第一扩展问对应的第一正标准问。
其中，神经网络模型可为任意适当的可实现特征提取或目标对象检测的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。
可选地，根据训练后的神经网络模型确定第一扩展问对应的第一正标准问，可以包括：通过神经网络模型分别计算第一扩展问与预先存储的所有标准问中每个标准问之间的语义相似度；将与第一扩展问语义相似度最高的标准问确定为第一正标准问。
可以理解，本实施例通过计算语义相似度的方法检索第一标准问相较于通过关键词检索的方法，无需要求用户具有关键词分解的能力，全程自动化，大幅提升用户体验，并提高搜索效果、反馈答案的针对性和有效性。
需要理解的是，第一正标准问是正标准问中的一种，第一正标准问的命名仅用于与其他正标准问进行区分，而不应引起不必要的限定。
还需要理解的是，扩展问是从问题信息中提取出来的问题，可以理解为代表用户的待回复信息，标准问存储于问题信息处理装置的数据库内，标准问包括但不限于正标准问及负标准问，正标准问可以理解为与扩展问语义相似度最高的句子，负标准问可以理解为与扩展问具有一定关系但其语义与扩展问不同的句子，该关系可以是与扩展问相同的词汇或短句等。例如，若扩展问为：“哪个为世界上面积最大的平原？”，其对应的正标准问可以为：“世界上什么平原的面积最大？”，与正标准问对应的答复信息为：“亚马逊河平原”，其对应的负标准问可以包括但不限于：“世界上最大平原的面积是多少”、“世界上最大平原在哪里”等。当用户提出“哪个为世界上面积最大的平原？”时，问题信息处理装置根据对“世界上什么平原的面积最大？”进行语义分析，确定其对应的正标准问为“世界上什么平原的面积最大？”，进而获取答复信息——“亚马逊河平原”，并将答复信息反馈给用户。
可选地，通过神经网络模型分别计算第一扩展问与预先存储的所有标准问中每个标准问之间的语义相似度，可以包括：对第一扩展问和标准问分别进行分词处理，得到分词集合，然后根据分词集合生成分词集内的各个分词的词向量，使用基于词嵌入模型的词语向量对每个分词的词向量分别进行扩展，得到与第一扩展问与预先存储的所有标准问相对应的词向量矩阵；计算第一扩展问对应的词向量矩阵和预先存储的各个标准问的词向量矩阵的之间的EMD，从而得到第一扩展问与预先存储的所有标准问中每个标准问之间的语义相似度。
然后，执行步骤S03：获取第一正标准问的答复信息并反馈答复信息。
其中，答复信息为与第一扩展问及第一正标准问对应的答案，其与第一正标准问具有映射关系。
需要理解的是，神经网络模型获取第一扩展问后，此时需要根据第一扩展问在所有标准问中辨别出与第一扩展问语义相似度最高的第一正标准问，在这个过程中，与第一扩展问同样具有一定关系的负标准问在神经网络模型对第一正标准问的搜索及确认过程中具有干扰作用，也就是说，在神经网络模型对第一正标准问的检索能力不够的情况下，可能会误将负标准问确认为第一正标准问，此时获取到的答复信息就可能会不够准确，因此提高对神经网络模型的计算精度提出了更高的要求。因此，为了保证深度学习模型的输出效果，需要预先对深度学习模型进行大量的数据训练，以优化模型的词表。
下面再次结合附图2对本实施例提供的神经网络模型的训练过程的具体技术方案进行详细的说明。在进行详细说明之前，需要强调的是，神经网络模型的训练是一个迭代的过程，本发明实施例仅对其中的一次训练过程进行了说明，但本领域技术人员应当明了，对神经网络模型的每次训练都可采用该训练方式，直至完成神经网络的训练。
首先，执行步骤S100：获取训练集，训练集包括多个训练样本对，每个训练样本对包括一个扩展问、一个正标准问、以及N个负标准问，N为大于或等于1的自然数.
训练集可来源于已有的从互联网采集的常用问题集，或是经过人工整理的常用问题集，问答训练集由多个训练样本对组成，该训练样本对的领域本发明不做限制。由于神经网络网络的训练效果取决于训练样本对的质量及规模，因此，需要保证问答训练集的规模至少在万条以上。传统的获取训练样本对的方法采取人工浏览标注或高频统计等方式确定。
进一步的，为了保证训练样本对的获取质量，同时提高获取速度，优选地，在本实施方式中，获取训练集的过程可以包括：首先获取扩展问，然后通过ES(Elastic Search，分布式检索)服务器从知识库中进行检索，获取与扩展问相似度排行为第1至第M+1的M+1个标准问，将相似度排行为第1的标准问确定为正标准问，将相似度排行为第2至第M+1的标准问确定为负标准问，其中，M为大于等于1的自然数。ES服务器是一个基于Lucene(全文搜索引擎)的搜索服务器，该搜索方式比标准的相似度计算方法快。可以理解，通过上述方式可以实现对负标准问的自动获取与自动标注，相对于现有的人工获取及标注，同时可以根据不同的要求灵活设置负标准问的数量，因此提高了训练样本对的质量及获取效率，大大减少人工工作量。
然后，执行步骤S200：分别对多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析和词嵌入特征分析，得到与每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
分别对多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析和词嵌入特征分析，得到与每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵，具体包括：使用分词模型对多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析处理，得到分词集合；使用词向量模型对分词集合内的每个分词进行词嵌入特征分析，生成每个分词的词向量；根据词向量确定与每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
例如，当获得的扩展问为“今天天气怎么样？”时，将所述待回复信息拆分为“今”、“天”、“天”、“气”、“怎”、“么”、“样”和“？”8个分词，使用词向量模型对分词集合内的每个分词进行词嵌入特征分析，将这8个分词用向量表示，进而得到这8个分词的词向量。
具体地，使用分词模型对扩展问进行分词时，可以使用基于FoolNLTK的分词模型进行分词，分词之后将得到的分词结果输入到word2vec(word to vector，生产词向量)模型中得到每个分词的词向量特征。FoolNLTK是一个基于BiLSTM模型训练而成的，包含分词、词性标注、实体识别的开源中文分词模型。Word2Vec模型是用来生产词向量的深度学习模型，包括LSTM(Long Short-Term Memory，长短期记忆网络)、RNN(Recurrent NeuralNetworks，循环神经网络)等模型。
在本申请实施例中，通过神经网络模型得到与每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵可以是在模型的建立阶段预先添加设置嵌入层，通过嵌入层来分别获取词向量矩阵，其中，所述嵌入层位于所述深度学习模型的输入层与隐藏层之间。更具体来讲，神经网络模型包括有多个神经元“层”，即输入层、隐藏层及输出层，其中，输入层负责接收输入信息并分发到隐藏层，隐藏层负责计算及输出结果给输出层。
然后，执行步骤S300：将词向量矩阵按组输入到神经网络模型中，并对神经网络模型进行训练，其中，一组词向量矩阵包括一个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
优选地，将词向量矩阵按组输入神经网络模型中，并对神经网络模型进行训练，可以包括：根据词向量矩阵计算损失函数的值；判断损失函数的值是否满足预设条件；若是，则完成训练，若否，则调整神经网络模型的网络参数。
优选地，根据词向量矩阵计算损失函数的值，可以包括：根据公式L＝max{0，m-D(VQ，VA+)+D(VQ，VA-)}计算损失函数的值，L表示所述损失函数的值，m表示预设的边界值，VQ表示扩展问的词向量矩阵，VA+表示与扩展问对应的正标准问的词向量矩阵，VA-表示与扩展问对应的负标准问的词向量矩阵，D(VQ，VA+)表示所述扩展问的词向量矩阵与其对应正标准问的词向量矩阵之间的语义相似度，D(VQ，VA-)表示所述扩展问的词向量矩阵与其对应负标准问的词向量矩阵之间的语义相似度。
具体地，扩展问的词向量矩阵与其对应正标准问的词向量矩阵之间的语义相似度以及扩展问的词向量矩阵与其对应负标准问的词向量矩阵之间的语义相似度可以通过计算扩展问的词向量矩阵与其对应正标准问的词向量矩阵的EMD(EarthMover’s Distance，搬土距离)来实现。
具体地，m表示预设的边界值，用来对计算出的正负样本的语义相似度进行评判，当D(VQ，VA+)-D(VQ，VA-)<m时，说明当前正负标准问的相似度之差小于边界值，或者是模型错误地计算出扩展问与负样本的相似度高于正样本，此时需要对神经网络模型的参数进行优化；当D(VQ，VA+)-D(VQ，VA-)>＝m时，说明计算出的扩展问与正标准问的相似度高于负标准问，从而正确的分辨出了正标准问。
具体地，L表示损失函数的值，用于表示当前负标准问与正标准问之间的差异，L的值越小表示损失越少，说明扩展问的识别率就越高，如果L的值为0，表示损失为0，说明该负标准问也是扩展问的正标准问之一，若L值较大，说明当前负标准问与正标准问差异较大，此时需要对神经网络模型的参数进行优化。
可以理解，通过上述方法对神经网络模型进行训练，每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析和词嵌入特征分析，得到与每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵，进而分别得到扩展问的词向量矩阵与其对应正标准问的词向量矩阵之间的语义相似度以及扩展问的词向量矩阵与其对应负标准问的词向量矩阵之间的语义相似度，最终计算到的损失函数的值。本申请通过对扩展问和标准问进行语义相似度进行计算，并使用损失函数进行优化，有效利用了扩展问和标准问双方的语义信息，提高了对扩展问的识别能力，同时可以对在训练集中没有出现，而在后续应用中出现的标准问进行泛化和识别，避免了重新训练模型，达到了提高了泛化能力和抗干扰能力的效果。
请参阅附图3，本发明实施例提供了一种问题信息处理装置1，包括：
第一获取模块11，用于接收用户输入的问题信息，并根据问题信息获取第一扩展问。
确认模块12，用于根据训练后的神经网络模型确定第一扩展问对应的第一正标准问。
答复模块13，用于获取第一正标准问的答复信息并反馈答复信息。
其中，神经网络模型的训练过程通过训练装置2实现。
请参阅附图4，训练装置2包括：
第二获取模块21，用于获取训练集，其中，训练集包括多个训练样本对，每个训练样本对包括一个扩展问、一个正标准问、以及N个负标准问，N为大于或等于1的自然数。
分析模块22，对多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析和词嵌入特征分析，得到与每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
训练模块23，用于将词向量矩阵按组输入神经网络模型中，并对神经网络模型进行训练，其中，一组词向量矩阵包括一个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
请参阅附图5，可选的，分析模块22包括：
第一分析单元221，用于使用分词模型对多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析处理，得到分词集合。
第二分析单元222，用于使用词向量模型对分词集合内的每个分词进行词嵌入特征分析，生成每个分词的词向量。
第一确定单元223，用于根据词向量确定与每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
请参阅附图6，可选的，训练模块23包括：
计算单元231，用于根据词向量矩阵计算损失函数的值。
判断单元232，用于判断损失函数值是否满足预设条件。
调整单元233，用于当损失函数值不满足预设条件时调整神经网络模型的网络参数。
请参阅附图7，可选的，计算单元231包括：
第一相似度计算单元2311，用于分别计算扩展问的词向量矩阵与其对应正标准问的词向量矩阵之间的语义相似度D(VQ，VA+)以及扩展问的词向量矩阵与其对应负标准问的词向量矩阵之间的语义相似度D(VQ，VA-)。
损失函数计算单元2312，用于根据扩展问的词向量矩阵与其对应正标准问的词向量矩阵之间的语义相似度D(VQ，VA+)以及扩展问的词向量矩阵与其对应负标准问的词向量矩阵之间的语义相似度D(VQ，VA-)计算损失函数的值。
请参阅附图8，可选地，确认模块包括：
第二相似度计算单元121，用于通过神经网络模型分别计算第一扩展问与预先存储的所有标准问中每个标准问之间的语义相似度。
第二确定单元122，用于将与第一扩展问语义相似度最高的标准问确定为第一正标准问。
本发明实施例提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行以下步骤：
接收用户输入的问题信息，根据问题信息获取第一扩展问。
根据训练后的神经网络模型确定第一扩展问对应的第一正标准问。
获取第一正标准问的答复信息并反馈答复信息。
其中，神经网络模型的训练过程包括：
获取训练集，训练集包括多个训练样本对，每个训练样本对包括一个扩展问、一个正标准问、以及N个负标准问，N为大于或等于1的自然数。
分别对多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析和词嵌入特征分析，得到与每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
将词向量矩阵按组输入到神经网络模型中，并对神经网络模型进行训练，其中，一组词向量矩阵包括一个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
可选地，在程序运行时控制存储介质所在设备还执行以下步骤:
使用分词模型对多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析处理，得到分词集合。
使用词向量模型对分词集合内的每个分词进行词嵌入特征分析，生成每个分词的词向量。
根据词向量确定与每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
可选地，在程序运行时控制存储介质所在设备还执行以下步骤：
根据词向量矩阵计算损失函数的值。
判断损失函数的值是否满足预设条件。
若否，则调整神经网络模型的网络参数。
可选地，在程序运行时控制存储介质所在设备还执行以下步骤:
根据公式L＝max{0，m-D(VQ，VA+)+D(VQ，VA-)}计算损失函数的值，L表示损失函数的值，m表示预设的边界值，D(VQ，VA+)表示扩展问的词向量矩阵与其对应正标准问的词向量矩阵之间的语义相似度，D(VQ，VA-)表示扩展问的词向量矩阵与其对应负标准问的词向量矩阵之间的语义相似度。
可选地，在程序运行时控制存储介质所在设备还执行以下步骤：
通过神经网络模型分别计算第一扩展问与预先存储的所有标准问中每个标准问之间的语义相似度。
将与第一扩展问语义相似度最高的标准问确定为第一正标准问。
本发明实施例提供了一种计算机设备，包括存储器和处理器，存储器用于存储包括程序指令的信息，处理器用于控制程序指令的执行，程序指令被处理器加载并执行时实现以下步骤：
接收用户输入的问题信息，根据问题信息获取第一扩展问。
根据训练后的神经网络模型确定第一扩展问对应的第一正标准问。
获取第一正标准问的答复信息并反馈答复信息。
其中，神经网络模型的训练过程包括：
获取训练集，训练集包括多个训练样本对，每个训练样本对包括一个扩展问、一个正标准问、以及N个负标准问，N为大于或等于1的自然数。
分别对多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析和词嵌入特征分析，得到与每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
将词向量矩阵按组输入到神经网络模型中，并对神经网络模型进行训练，其中，一组词向量矩阵包括一个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
可选地，在程序运行时控制存储介质所在设备还执行以下步骤：
使用分词模型对多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析处理，得到分词集合。
使用词向量模型对分词集合内的每个分词进行词嵌入特征分析，生成每个分词的词向量。
根据词向量确定与每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵。
可选地，程序指令被处理器加载并执行时还实现以下步骤：
根据词向量矩阵计算损失函数的值。
判断损失函数的值是否满足预设条件。
若否，则调整神经网络模型的网络参数。
可选地，程序指令被处理器加载并执行时还实现以下步骤：根据公式L＝max{0，m-D(VQ，VA+)+D(VQ，VA-)}计算损失函数的值，L表示损失函数的值，m表示预设的边界值，D(VQ，VA+)表示扩展问的词向量矩阵与其对应正标准问的词向量矩阵之间的语义相似度，D(VQ，VA-)表示扩展问的词向量矩阵与其对应负标准问的词向量矩阵之间的语义相似度。
可选地，程序指令被处理器加载并执行时还实现以下步骤：通过神经网络模型分别计算第一扩展问与预先存储的所有标准问中每个标准问之间的语义相似度。
将与第一扩展问语义相似度最高的标准问确定为第一正标准问。
请参阅附图9，该实施例的计算机设备50包括：处理器51、存储器52以及存储在存储器52中并可在处理器51上运行的计算机程序53，该计算机程序53被处理器51执行时实现实施例中的问题信息处理方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器51执行时实现实施例中问题信息处理装置1中各模型/单元的功能，为避免重复，此处不一一赘述。
计算机设备50可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可包括，但不仅限于，处理器51、存储器52。本领域技术人员可以理解，图9仅仅是计算机设备50的示例，并不构成对计算机设备50的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器51可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器52可以是计算机设备50的内部存储单元，例如计算机设备50的硬盘或内存。存储器52也可以是计算机设备50的外部存储设备，例如计算机设备50上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器52还可以既包括计算机设备50的内部存储单元也包括外部存储设备。存储器52用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器52还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (5)
1.一种问题信息处理方法，其特征在于，所述方法包括：
接收用户输入的问题信息，根据所述问题信息获取第一扩展问；
根据训练后的神经网络模型确定所述第一扩展问对应的第一正标准问；
获取所述第一正标准问的答复信息并反馈所述答复信息；
其中，所述神经网络模型的训练过程包括：
获取训练集，所述训练集包括多个训练样本对，每个训练样本对包括一个扩展问、一个正标准问、以及N个负标准问，N为大于或等于1的自然数；
分别对所述多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析和词嵌入特征分析，得到与所述每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵；
将所述词向量矩阵按组输入到所述神经网络模型中，并对所述神经网络模型进行训练，其中，一组词向量矩阵包括一个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵；
所述分别对所述多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析和词嵌入特征分析，得到与所述每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵，包括：
使用分词模型对所述多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析处理，得到分词集合；
使用词向量模型对所述分词集合内的每个分词进行词嵌入特征分析，生成每个分词的词向量；
根据所述词向量确定与所述每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵；
所述将所述词向量矩阵按组输入所述神经网络模型中，并对所述神经网络模型进行训练，包括：
根据所述词向量矩阵计算损失函数的值；
判断所述损失函数的值是否满足预设条件；
若否，则调整所述神经网络模型的网络参数；
所述根据所述词向量矩阵计算损失函数的值，包括：
根据公式L＝max{0，m-D(VQ，VA+)+D(VQ，VA-)}计算所述损失函数的值，L表示所述损失函数的值，m表示预设的边界值，VQ表示扩展问的词向量矩阵，VA+表示与所述扩展问对应的正标准问的词向量矩阵，VA-表示与所述扩展问对应的负标准问的词向量矩阵，D(VQ，VA+)表示所述扩展问的词向量矩阵与其对应正标准问的词向量矩阵之间的语义相似度，D(VQ，VA-)表示所述扩展问的词向量矩阵与其对应负标准问的词向量矩阵之间的语义相似度。
2.根据权利要求1所述的问题信息处理方法，其特征在于，所述根据训练后的神经网络模型确定所述第一扩展问对应的第一正标准问，包括：
通过所述神经网络模型分别计算所述第一扩展问与预先存储的所有标准问中每个标准问之间的语义相似度；
将与所述第一扩展问语义相似度最高的标准问确定为所述第一正标准问。
3.一种问题信息处理装置，其特征在于，包括：
第一获取模块，用于接收用户输入的问题信息，并根据所述问题信息获取第一扩展问；
确认模块，用于根据训练后的神经网络模型确定所述第一扩展问对应的第一正标准问；及
答复模块，用于获取所述第一正标准问的答复信息并反馈所述答复信息；
其中，所述神经网络模型的训练过程通过训练装置实现，所述训练装置包括：
第二获取模块，用于获取训练集，其中，所述训练集包括多个训练样本对，每个训练样本对包括一个扩展问、一个正标准问、以及N个负标准问，N为大于或等于1的自然数；
分析模块，用于对所述多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析和词嵌入特征分析，得到与所述每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵；及
训练模块，用于将所述词向量矩阵按组输入所述神经网络模型中，并对所述神经网络模型进行训练，其中，一组词向量矩阵包括一个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵；
所述分析模块包括：
第一分析单元，用于使用分词模型对多个训练样本对中每个训练样本对中的扩展问、正标准问及负标准问进行词汇语义特征分析处理，得到分词集合；
第二分析单元，用于使用词向量模型对分词集合内的每个分词进行词嵌入特征分析，生成每个分词的词向量；及
第一确定单元，用于根据所述词向量确定与所述每个训练样本对中扩展问、正标准问及负标准问分别对应的词向量矩阵；
所述训练模块包括：
计算单元，用于根据所述词向量矩阵计算损失函数的值；
判断单元，用于判断所述损失函数值是否满足预设条件；及
调整单元，用于当所述损失函数值不满足预设条件时调整所述神经网络模型的网络参数；
计算单元包括：
第一相似度计算单元，用于分别计算扩展问的词向量矩阵与其对应正标准问的词向量矩阵之间的语义相似度D(VQ，VA+)以及扩展问的词向量矩阵与其对应负标准问的词向量矩阵之间的语义相似度D(VQ，VA-),
损失函数计算单元，用于根据扩展问的词向量矩阵与其对应正标准问的词向量矩阵之间的语义相似度D(VQ，VA+)以及扩展问的词向量矩阵与其对应负标准问的词向量矩阵之间的语义相似度D(VQ，VA-)计算损失函数的值。
4.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1或2所述的方法。
5.一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于：所述程序指令被处理器加载并执行时实现权利要求1或2所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910417749.9A CN110347807B (zh) | 2019-05-20 | 2019-05-20 | 问题信息处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910417749.9A CN110347807B (zh) | 2019-05-20 | 2019-05-20 | 问题信息处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110347807A CN110347807A (zh) | 2019-10-18 |
| CN110347807B true CN110347807B (zh) | 2023-08-08 |
Family
ID=68173900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910417749.9A Active CN110347807B (zh) | 2019-05-20 | 2019-05-20 | 问题信息处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110347807B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767375A (zh) * | 2020-05-13 | 2020-10-13 | 平安科技（深圳）有限公司 | 语义召回方法、装置、计算机设备及存储介质 |
| CN113420552B (zh) * | 2021-07-13 | 2023-09-15 | 华中师范大学 | 一种基于强化学习的生物医学多事件抽取方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105677783A (zh) * | 2015-12-31 | 2016-06-15 | 上海智臻智能网络科技股份有限公司 | 智能问答系统的信息处理方法及装置 |
| CN106295807A (zh) * | 2016-08-23 | 2017-01-04 | 上海智臻智能网络科技股份有限公司 | 一种信息处理的方法及装置 |
| US9824692B1 (en) * | 2016-09-12 | 2017-11-21 | Pindrop Security, Inc. | End-to-end speaker recognition using deep neural network |
| CN107818164A (zh) * | 2017-11-02 | 2018-03-20 | 东北师范大学 | 一种智能问答方法及其系统 |
| CN108932349A (zh) * | 2018-08-17 | 2018-12-04 | 齐鲁工业大学 | 医疗自动问答方法及装置、存储介质、电子设备 |
| CN109710923A (zh) * | 2018-12-06 | 2019-05-03 | 浙江大学 | 基于跨媒体信息的跨语言实体匹配方法 |
| CN109766421A (zh) * | 2018-12-28 | 2019-05-17 | 上海汇付数据服务有限公司 | 智能问答系统以及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170249646A1 (en) * | 2016-02-29 | 2017-08-31 | Linkedin Corporation | Automatically prepopulating answers to questions contained in a computerized document |
-
2019
- 2019-05-20 CN CN201910417749.9A patent/CN110347807B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105677783A (zh) * | 2015-12-31 | 2016-06-15 | 上海智臻智能网络科技股份有限公司 | 智能问答系统的信息处理方法及装置 |
| CN106295807A (zh) * | 2016-08-23 | 2017-01-04 | 上海智臻智能网络科技股份有限公司 | 一种信息处理的方法及装置 |
| CN108764480A (zh) * | 2016-08-23 | 2018-11-06 | 上海智臻智能网络科技股份有限公司 | 一种信息处理的系统 |
| US9824692B1 (en) * | 2016-09-12 | 2017-11-21 | Pindrop Security, Inc. | End-to-end speaker recognition using deep neural network |
| CN107818164A (zh) * | 2017-11-02 | 2018-03-20 | 东北师范大学 | 一种智能问答方法及其系统 |
| CN108932349A (zh) * | 2018-08-17 | 2018-12-04 | 齐鲁工业大学 | 医疗自动问答方法及装置、存储介质、电子设备 |
| CN109710923A (zh) * | 2018-12-06 | 2019-05-03 | 浙江大学 | 基于跨媒体信息的跨语言实体匹配方法 |
| CN109766421A (zh) * | 2018-12-28 | 2019-05-17 | 上海汇付数据服务有限公司 | 智能问答系统以及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110347807A (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111625635B (zh) | 问答处理方法、装置、设备及存储介质 | |
| CN110427463B (zh) | 搜索语句响应方法、装置及服务器和存储介质 | |
| CN110427461B (zh) | 智能问答信息处理方法、电子设备及计算机可读存储介质 | |
| CN111949787A (zh) | 基于知识图谱的自动问答方法、装置、设备及存储介质 | |
| CN111737426B (zh) | 问答模型的训练方法、计算机设备以及可读存储介质 | |
| CN106874441A (zh) | 智能问答方法和装置 | |
| CN109284502B (zh) | 一种文本相似度计算方法、装置、电子设备及存储介质 | |
| CN111209363B (zh) | 语料数据处理方法、装置、服务器和存储介质 | |
| CN109992781B (zh) | 文本特征的处理方法、装置和存储介质 | |
| CN110895656B (zh) | 一种文本相似度计算方法、装置、电子设备及存储介质 | |
| CN110795544B (zh) | 内容搜索方法、装置、设备和存储介质 | |
| CN112287085B (zh) | 语义匹配方法、系统、设备及存储介质 | |
| CN114757176A (zh) | 一种获取目标意图识别模型的方法以及意图识别方法 | |
| CN109492085B (zh) | 基于数据处理的答案确定方法、装置、终端及存储介质 | |
| CN111552773A (zh) | 一种阅读理解任务中是否类问题关键句寻找方法及系统 | |
| CN110347807B (zh) | 问题信息处理方法及装置 | |
| CN112579752A (zh) | 实体关系的抽取方法及装置、存储介质、电子设备 | |
| CN112307048A (zh) | 语义匹配模型训练方法、匹配方法、装置、设备及存储介质 | |
| CN113934835B (zh) | 结合关键词和语义理解表征的检索式回复对话方法及系统 | |
| CN111046674A (zh) | 语义理解方法、装置、电子设备和存储介质 | |
| CN113408619A (zh) | 语言模型预训练方法、装置 | |
| CN117828042A (zh) | 用于金融服务的问答处理方法、装置、设备及介质 | |
| CN113569018A (zh) | 问答对挖掘方法及装置 | |
| CN111680514B (zh) | 信息处理和模型训练方法、装置、设备及存储介质 | |
| CN115859999B (zh) | 意图识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |