CN110442689A - 一种问答关系排序方法、装置、计算机设备及存储介质 - Google Patents
一种问答关系排序方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110442689A CN110442689A CN201910553285.4A CN201910553285A CN110442689A CN 110442689 A CN110442689 A CN 110442689A CN 201910553285 A CN201910553285 A CN 201910553285A CN 110442689 A CN110442689 A CN 110442689A
- Authority
- CN
- China
- Prior art keywords
- relationship
- question sentence
- vector
- question
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 77
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 60
- 238000013507 mapping Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 239000000047 product Substances 0.000 description 11
- 238000005457 optimization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种问答关系排序方法，包括：构建卷积神经网络模型，所述卷积神经网络模型用于知识图谱问句关系对的打分，所述问句关系对为问句与映射的候选关系之间的集合，所述候选关系为所述问句的实体在知识图谱中所链接的所有关系；训练所述卷积神经网络模型；将待处理问句输入至训练完毕的卷积神经网络模型中，所述卷积神经网络对所述待处理问句的问句关系对的相关性打分；选取相关性打分最高的候选关系作为预测输出，可有效提升卷积神经网络模型问句关系对的相关或非相关性的能力，提高精确度。
Description
技术领域
本发明涉及知识图谱领域，尤其涉及一种问答关系排序方法、装置、计算机设备及存储介质。
背景技术
问答系统(Question Answering System,QA)是信息检索系统的一种高级形式。它能用准确、简洁的自然语言回答用户用自然语言提出的问题。其研究兴起的主要原因是人们对快速、准确地获取信息的需求。问答系统是目前人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。
随着大规模网络数据资源的出现，尤其是知识图谱的出现，使得基于知识图谱的问答系统更加智能化，知识库是一种储存复杂结构化信息的新型技术。知识库中存储了大量事实型知识，其内部使用知识图谱(knowledge graph)模型对实体及实体间的关系间的关系信息进行建模。如今，知识库多以RDF(Resource Description Framework)的格式存储数据，一条事实(fact)被表示为一个(S，P，O)三元组，形如(subject,predicate,object)，其中主体(subject)和客体(object)为命名实体，客体(object)有时会是属性值，述语(predicate)是主体(subject)和客体(object)间的关系。
目前知识图谱问答系统的研究，一般采用基于注意力机制的网络结构，但是基于注意力机制的算法时间复杂度和空间复杂度都较高。另外，基于知识图谱的问答系统一般采用LSTM或者GRU模型，其训练速度较CNN要慢很多。对于初期研究探索时间效率要求并不高，但是如果想要将这些模型应用到商用，效率问题显得非常重要，所以，提出一个精确度高知识图谱问答系统模型对实际部署非常重要。
发明内容
本发明的目的是提供一种问答关系排序方法、装置、计算机设备及存储介质，用于解决现有技术存在的问题。
为实现上述目的，本发明提供一种问答关系排序方法，包括以下步骤：
为实现上述目的，本发明还提供一种问答关系排序装置，其包括：
卷积神经网络模型构建模块，用于知识图谱问句关系对的打分，所述问句关系对为问句与映射的候选关系之间的集合，所述候选关系为所述问句的实体在知识图谱中所链接的所有关系，其包括：
第一训练数据收集子模块，用于收集第一训练数据，所述第一训练数据为问句文本；
问句向量获取子模块，用于获取所述第一训练数据的问句向量；
候选关系向量获取子模块，用于获取所述第一训练数据的候选关系向量；
交互子模块，用于将所述问句向量与所述候选关系向量进行交互，确定所述问句向量与所述候选关系向量的element-wise乘积和element-wise差值绝对值；
拼接子模块，用于拼接所述element-wise乘积向量与所述element-wise差值绝对值向量；
打分子模块，用于经由全连接网络层将拼接后的向量映射为0到1的数值，所述数值用于对问句关系对的相关性打分；
卷积神经网络模型训练模块，用于训练所述卷积神经网络模型；
问句关系对相关性打分模块，用于将待处理问句输入至训练完毕的卷积神经网络模型中，所述卷积神经网络对所述待处理问句的问句关系对的相关性打分；
以及输出模块，用于选取相关性打分最高的候选关系作为预测输出。
优选的，所述问句向量获取子模块用于经由text-CNN网络模型对所述第一训练数据进行编码，以将所述第一训练数据表示为单一的向量，包括：
一列低维向量获取单元，用于将所述第一训练数据输入至所述text-CNN网络模型的嵌入层(embedding层)以表示为一列低维向量；
单一向量获取单元，用于经由所述text-CNN网络模型的卷积层与极大池化层将所述一列低维向量表示为单一的向量。
优选的，所述候选关系向量获取子模块还包括候选关系获取单元，用于基于NER模型获取问句文本中的实体，并经由neo4j的cypher语句查询知识图谱，获取所述实体对应的知识图谱中的所有链接关系，以作为所述问句的候选关系。
优选的，所述候选关系向量获取子模块还包括候选关系向量化单元，用于将所述候选关系向量为单一的向量，包括对所述候选关系随机初始化以将所述候选关系表示为单一的向量；若随机初始化导致训练不足，则基于text-CNN网络模型对所述候选关系进行编码以将所述候选关系表示为单一的向量。
优选的，卷积神经网络模型训练模块包括：
第二训练数据收据子模块，用于收集第二训练数据，所述第二训练数据为问句文本，
正样本和负样本确定子模块，用于将所述第二训练数据标注为正样本和负样本，所述正样本为所述问句关系对中问句与所述问句对应的正确文本关系；所述负样本为所述问句关系对中问句与所述问句对应的除正确文本关系之外的其他文本关系，所述其他文本关系基于预设数量随机采样获取；
差异性建立子模块，用于设置损失函数，基于所述损失函数将所述正样本与每个所述负样本进行比较，建立所述正样本与每个负样本之间的差异性；
以及优化模块，用于经由梯度下降算法，最优化所述损失函数；
进一步的，所述正样本和负样本确定子模块中，所述其他文本关系优先从所述问句实体的候选关系中选择，若所述候选关系数量少于预设数量，则在其他关系中随机选择。
进一步的，所述差异性建立子模块中，所述损失函数为triplet loss损失函数，triplet loss＝max(0,margin+m_0-m_1)，其中，m_0为问句与其对应的正确关系在模型中的打分，m_1为问句与某个错误关系在模型中的打分，margin为triplet loss超参数。
为实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
为实现上述目的，本发明还提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明提供的问答关系排序方法、装置、计算机设备及存储介质，通过构建并训练卷积神经网络模型用于知识图谱问答关系排序，该卷积神经网络模型吸收了文本分类算法中被广泛使用的text-CNN模型的文本表示能力，且采用独特设计的交互层，可有效的对候选关系与用户问句做交互，最后将候选关系与与用户问句做相关性计算，选取得分最高的关系作为预测输出，使得卷积神经网络模型问句关系对的相关或非相关性的能力显著提升，提高精确度，同时速度也得到提升。
附图说明
图1为本发明问答关系排序方法一实施例的流程图；
图2为本发明问答关系排序方法中构建卷积神经网络模型一实施例中的流程图；
图3为本发明问答关系排序装置的一实施例程序模块示意图；
图4为本发明问答关系排序装置一实施的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参阅图1，本申请公开了一种问答关系排序方法，包括：
S1：构建卷积神经网络模型，所述卷积神经网络模型用于知识图谱问句关系对的打分，所述问句关系对为问句与映射的候选关系之间的集合，所述候选关系为所述问句的实体在知识图谱中所链接的所有关系；请参阅图2，包括
S11，收集第一训练数据，所述第一训练数据为问句文本；步骤S11中，可通过爬虫工具从网络上爬取问句文本以获取第一训练数据。
S12，获取所述第一训练数据的问句向量；
步骤S12中，问句向量为单一的向量；，作为一优选方案，可经由text-CNN网络模型对训练数据进行编码包括：将训练数据输入至嵌入层，表示为一列低维向量；然后经由卷积层与极大池化层将一列低维向量表示为单一的向量。
S13，获取第一训练数据的候选关系向量；
确定第一训练数据中的候选关系，并对候选候选关系向量随机初始化，以将候选关系表示为单一的向量，上述候选关系为第一训练数据的实体在知识图谱中所链接的所有关系，即问句实体在对应知识图谱中的关系的候选者。
步骤S13中，对于第一训练数据，可先基于NER模型获取各问句中的实体，然后通过neo4j的cypher语句查询知识图谱，获取该实体对应的知识图谱中的所有链接关系作为对应问句的候选关系，然后将所有的候选关系表示为单一的向量。
其中候选关系经由随机初始化表示为单一的向量是最简单、最高效的方式，可以很方便地扩展的模型，但是如果有的候选关系出现频率较低(如低于10次)，那么直接随机初始化会导致后续模型训练的不足，故步骤S13中，若直接随机初始化导致训练不足，则选择基于text-CNN网络模型对候选关系进行编码，将候选关系表示为单一的向量，包括将候选关系经由一嵌入层表示为一列低维向量；然后经由卷积层与极大池化层将一列低维向量表示为单一的向量。上述两种编码方式相互补充，如果模型结果足够好，可以只选择随机初始化方式将候选关系表示为单一的向量；如果是直接使用随机初始化方式导致模型结果不够好，可以加入第二种，以作为补充和加强。
S14，将所述问句向量与所述候选关系向量进行交互，确定所述问句向量与所述候选关系向量的element-wise乘积和element-wise差值绝对值；
步骤S14中，将问句向量与候选关系向量进行交互，以从多方面衡量两个部分的相关性，包括计算问句向量与候选关系向量的element-wise乘积和element-wise差值绝对值，并将得到的element-wise乘积向量与element-wise差值绝对值向量进行拼接；其中将问句向量与候选关系向量两个矩阵中每个元素对应相乘获取element-wise乘积向量；将问句向量与候选关系向量两个矩阵中每个元素对应相减后并计算绝对值获取element-wise差值绝对值。
S15，拼接所述element-wise乘积向量与所述element-wise差值绝对值向量；
S16，经由全连接网络层将拼接后的向量映射为0到1的数值，所述数值用于对问句关系对的相关性打分；步骤S16中，将拼接后的向量经由一全连接网络层映射为0到1的数值，该数值用于对问句关系对的相关性打分，其中问句关系对为问句以及该问句实体对应的候选关系的集合，问句关系对相关性打分所对应的数值越高，说明该问句关系对中候选关系与问句的相关性越好。
S2，训练卷积神经网络模型；
本实施例中，训练卷积神经网络模型包括：
S21，收集第二训练数据，第二训练数据也为问句文本，将第二训练数据人工标注为正样本和负样本，其中，正样本为问句关系对中，问句与问句对应的正确关系，比如："李娜的老公是谁？"，对应的正确关系是“丈夫”，则正样本为(李娜的老公是谁？，丈夫)；负样本为问句关系对中问句与问句对应的除正确关系之外的其他关系，其他关系基于预设数量随机采样获取，即负样本为问句关系对中除正样本外其他的问句关系对。
本实施例中，负样本中的其他关系为随机选取的，作为一优选方案，可优先从问句实体在知识图谱中所链接的关系中选择，若链接的关系少于预设数量(如少于10个)，则在其他关系中随机选择，此外无需对预设数量的取值范围做过多限制。
S22，设置损失函数，基于损失函数将正样本与每个负样本进行比较，建立正样本与每个负样本之间的差异性；
本实施例中，损失函数为triplet loss损失函数，triplet loss＝max(0,margin+m_0-m_1)，其中，m_0为正样本在模型中的打分，m_1为负样本在模型中的打分，margin为triplet loss超参数。通过选取triplet loss作为损失函数，相当于将正样本与每个负样本进行比较，在其之间建立差异性。假设问句与其对应的正确关系即正样本在模型中的打分为m_0,问句与某个错误关即负样本在模型中的打分为m_1，triplet loss的超参数设置为margin，则triplet loss＝max(0,margin+m_0-m_1)。
S23，经由梯度下降算法，最优化损失函数；本实施例中，梯度算法选取ADAM算法，训练的目标为最小化所有正负样本组的平均triplet loss。
上述损失函数优化的过程即为卷积神经网络模型训练的过程，也是卷积神经网络模型的参数更新的过程，损失函数优化后，正样本打分会高于比负样本打分，即可以用于判断正确的关系是哪一个。
S3，将待处理问句输入至训练完毕的卷积神经网络模型中，所述卷积神经网络对所述待处理问句的问句关系对的相关性打分；
S4，选取相关性打分最高的候选关系作为预测输出。
本发明所示的一种问答关系排序方法，通过构建并训练卷积神经网络模型用于知识图谱问答关系排序，该卷积神经网络模型吸收了文本分类算法中被广泛使用的text-CNN模型的文本表示能力，且采用独特设计的交互层，可有效的对候选关系与用户问句做交互，最后将候选关系与与用户问句做相关性计算，选取得分最高的关系作为预测输出，使得卷积神经网络模型问句关系对的相关或非相关性的能力显著提升，提高精确度，同时速度也得到提升。
实施例二
请继续参阅图3，本发明示出了一种问答关系排序装置，在本实施例中，问答关系排序装置10可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述问答关系排序方法。本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述问答关系排序装置10在存储介质中的执行过程。
以下描述将具体介绍本实施例各程序模块的功能：
卷积神经网络模型构建模块，用于知识图谱问句关系对的打分，所述问句关系对为问句与映射的候选关系之间的集合，所述候选关系为所述问句的实体在知识图谱中所链接的所有关系，其包括：
第一训练数据收集子模块，用于收集第一训练数据，所述第一训练数据为问句文本；
问句向量获取子模块，用于获取所述第一训练数据的问句向量；
候选关系向量获取子模块，用于获取所述第一训练数据的候选关系向量；
交互子模块，用于将所述问句向量与所述候选关系向量进行交互，确定所述问句向量与所述候选关系向量的element-wise乘积和element-wise差值绝对值；
拼接子模块，用于拼接所述element-wise乘积向量与所述element-wise差值绝对值向量；
打分子模块，用于经由全连接网络层将拼接后的向量映射为0到1的数值，所述数值用于对问句关系对的相关性打分；
卷积神经网络模型训练模块，用于训练所述卷积神经网络模型；
问句关系对相关性打分模块，用于将待处理问句输入至训练完毕的卷积神经网络模型中，所述卷积神经网络对所述待处理问句的问句关系对的相关性打分；
以及输出模块，用于选取相关性打分最高的候选关系作为预测输出。
优选的，所述问句向量获取子模块用于经由text-CNN网络模型对所述第一训练数据进行编码，以将所述第一训练数据表示为单一的向量，包括：
一列低维向量获取单元，用于将所述第一训练数据输入至所述text-CNN网络模型的嵌入层以表示为一列低维向量；
单一向量获取单元，用于经由所述text-CNN网络模型的卷积层与极大池化层将所述一列低维向量表示为单一的向量。
优选的，所述候选关系向量获取子模块还包括候选关系获取单元，用于基于NER模型获取问句文本中的实体，并经由neo4j的cypher语句查询知识图谱，获取所述实体对应的知识图谱中的所有链接关系，以作为所述问句的候选关系。
优选的，所述候选关系向量获取子模块还包括候选关系向量化单元，用于将所述候选关系向量为单一的向量，包括对所述候选关系随机初始化以将所述候选关系表示为单一的向量；若随机初始化导致训练不足，则基于text-CNN网络模型对所述候选关系进行编码以将所述候选关系表示为单一的向量。
优选的，卷积神经网络模型训练模块包括：
第二训练数据收据子模块，用于收集第二训练数据，所述第二训练数据为问句文本，
正样本和负样本确定子模块，用于将所述第二训练数据标注为正样本和负样本，所述正样本为所述问句关系对中问句与所述问句对应的正确文本关系；所述负样本为所述问句关系对中问句与所述问句对应的除正确文本关系之外的其他文本关系，所述其他文本关系基于预设数量随机采样获取；
差异性建立子模块，用于设置损失函数，基于所述损失函数将所述正样本与每个所述负样本进行比较，建立所述正样本与每个负样本之间的差异性；
以及优化模块，用于经由梯度下降算法，最优化所述损失函数；
进一步的，所述正样本和负样本确定子模块中，所述其他文本关系优先从所述问句实体的候选关系中选择，若所述候选关系数量少于预设数量，则在其他关系中随机选择。
进一步的，所述差异性建立子模块中，所述损失函数为triplet loss损失函数，triplet loss＝max(0,margin+m_0-m_1)，其中，m_0为问句与其对应的正确关系在模型中的打分，m_1为问句与某个错误关系在模型中的打分，margin为triplet loss超参数。
为实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明所示的一种问答关系排序方法，通过构建并训练卷积神经网络模型用于知识图谱问答关系排序，该卷积神经网络模型吸收了文本分类算法中被广泛使用的text-CNN模型的文本表示能力，且采用独特设计的交互层，可有效的对候选关系与用户问句做交互，最后将候选关系与与用户问句做相关性计算，选取得分最高的关系作为预测输出，使得卷积神经网络模型问句关系对的相关或非相关性的能力显著提升，提高精确度，同时速度也得到提升。
实施例三
本发明还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图4所示。需要指出的是，图4仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备20的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如实施例一的问答关系排序装置10的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行问答关系排序装置10，以实现实施例一的问答关系排序方法。
实施例四
本发明还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储问答关系排序装置10，被处理器执行时实现实施例一的问答关系排序方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种问答关系排序方法，其特征在于，包括：
构建卷积神经网络模型，所述卷积神经网络模型用于知识图谱问句关系对的打分，所述问句关系对为问句与映射候选关系之间的集合，所述候选关系为所述问句的实体在知识图谱中所链接的所有关系；
收集第一训练数据，所述第一训练数据为问句文本；
获取所述第一训练数据的问句向量；
获取所述第一训练数据的候选关系向量；
确定所述问句向量与所述候选关系向量的element-wise乘积和element-wise差值绝对值；
拼接所述element-wise乘积向量与所述element-wise差值绝对值向量；
经由全连接网络层将拼接后的向量映射为0到1的数值，所述数值用于对问句关系对的相关性打分；
训练所述卷积神经网络模型；
将待处理问句输入至训练完毕的卷积神经网络模型中，所述卷积神经网络对所述待处理问句的问句关系对的相关性打分；
选取相关性打分最高的候选关系作为预测输出。
2.根据权利要求1所述问答关系排序方法，其特征在于，所述问句向量为单一的向量，经由text-CNN网络模型对所述第一训练数据进行编码，以将所述第一训练数据表示为单一的向量，包括：
将所述训练数据输入至所述text-CNN网络模型的嵌入层以表示为一列低维向量；
经由所述text-CNN网络模型的卷积层与极大池化层将所述一列低维向量表示为单一的向量。
3.根据权利要求1所述问答关系排序方法，其特征在于，所述候选关系的确定包括如下步骤：
基于NER模型获取问句文本中的实体；
经由neo4j的cypher语句查询知识图谱，获取所述实体对应的知识图谱中的所有链接关系，以作为所述问句的候选关系。
4.根据权利要求1或3所述问答关系排序方法，其特征在于，所述候选关系向量为单一的向量，对所述候选关系随机初始化以将所述候选关系表示为单一的向量；若随机初始化导致训练不足，则基于text-CNN网络模型对所述候选关系进行编码以将所述候选关系表示为单一的向量。
5.根据权利要求1所述问答关系排序方法，其特征在于，训练所述卷积神经网络模型包括：
收集第二训练数据，所述第二训练数据为问句文本，将所述第二训练数据标注为正样本和负样本，所述正样本为所述问句关系对中问句与所述问句对应的正确文本关系；所述负样本为所述问句关系对中问句与所述问句对应的除正确文本关系之外的其他文本关系，所述其他文本关系基于预设数量随机采样获取；
设置损失函数，基于所述损失函数将所述正样本与每个所述负样本进行比较，建立所述正样本与每个负样本之间的差异性；
经由梯度下降算法，最优化所述损失函数。
6.根据权利要求5所述问答关系排序方法，其特征在于，所述其他文本关系优先从所述问句实体的候选关系中选择，若所述候选关系数量少于预设数量，则在其他关系中随机选择。
7.根据权利要求5所述问答关系排序方法，其特征在于，所述损失函数为triplet loss损失函数，triplet loss＝max(0,margin+m_0-m_1)，其中，m_0为问句与其对应的正确关系在模型中的打分，m_1为问句与某个错误关系在模型中的打分，margin为triplet loss超参数。
8.一种问答关系排序装置，其特征在于，包括：
卷积神经网络模型构建模块，用于知识图谱问句关系对的打分，所述问句关系对为问句与映射的候选关系之间的集合，所述候选关系为所述问句的实体在知识图谱中所链接的所有关系，其包括：
第一训练数据收集子模块，用于收集第一训练数据，所述第一训练数据为问句文本；
问句向量获取子模块，用于获取所述第一训练数据的问句向量；
候选关系向量获取子模块，用于获取所述第一训练数据的候选关系向量；
交互子模块，用于将所述问句向量与所述候选关系向量进行交互，确定所述问句向量与所述候选关系向量的element-wise乘积和element-wise差值绝对值；
拼接子模块，用于拼接所述element-wise乘积向量与所述element-wise差值绝对值向量；
打分子模块，用于经由全连接网络层将拼接后的向量映射为0到1的数值，所述数值用于对问句关系对的相关性打分；
卷积神经网络模型训练模块，用于训练所述卷积神经网络模型；
问句关系对相关性打分模块，用于将待处理问句输入至训练完毕的卷积神经网络模型中，所述卷积神经网络对所述待处理问句的问句关系对的相关性打分；
以及输出模块，用于选取相关性打分最高的候选关系作为预测输出。
9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910553285.4A CN110442689A (zh) | 2019-06-25 | 2019-06-25 | 一种问答关系排序方法、装置、计算机设备及存储介质 |
| PCT/CN2019/102783 WO2020258487A1 (zh) | 2019-06-25 | 2019-08-27 | 一种问答关系排序方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910553285.4A CN110442689A (zh) | 2019-06-25 | 2019-06-25 | 一种问答关系排序方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110442689A true CN110442689A (zh) | 2019-11-12 |
Family
ID=68428330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910553285.4A Pending CN110442689A (zh) | 2019-06-25 | 2019-06-25 | 一种问答关系排序方法、装置、计算机设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110442689A (zh) |
| WO (1) | WO2020258487A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008272A (zh) * | 2019-12-04 | 2020-04-14 | 深圳市新国都金服技术有限公司 | 基于知识图谱的问答方法、装置、计算机设备及存储介质 |
| CN111209351A (zh) * | 2020-01-02 | 2020-05-29 | 北京沃东天骏信息技术有限公司 | 对象关系预测、对象推荐方法及装置、电子设备、介质 |
| CN111221952A (zh) * | 2020-01-06 | 2020-06-02 | 百度在线网络技术（北京）有限公司 | 建立排序模型的方法、查询自动补全的方法及对应装置 |
| CN111324743A (zh) * | 2020-02-14 | 2020-06-23 | 平安科技（深圳）有限公司 | 文本关系抽取的方法、装置、计算机设备及存储介质 |
| CN111563159A (zh) * | 2020-07-16 | 2020-08-21 | 智者四海（北京）技术有限公司 | 文本排序方法及装置 |
| CN113204973A (zh) * | 2021-04-30 | 2021-08-03 | 平安科技（深圳）有限公司 | 答非所问识别模型的训练方法、装置、设备和存储介质 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113032580B (zh) * | 2021-03-29 | 2023-07-25 | 浙江星汉信息技术股份有限公司 | 关联档案推荐方法、系统及电子设备 |
| CN114357193B (zh) * | 2022-01-10 | 2024-04-02 | 中国科学技术大学 | 一种知识图谱实体对齐方法、系统、设备与存储介质 |
| CN114153993B (zh) * | 2022-02-07 | 2022-05-06 | 杭州远传新业科技有限公司 | 一种用于智能问答的知识图谱自动化构建方法及系统 |
| CN116011548B (zh) * | 2023-03-24 | 2023-06-09 | 北京澜舟科技有限公司 | 一种多知识图谱问答模型训练方法、系统及存储介质 |
| CN117273151B (zh) * | 2023-11-21 | 2024-03-15 | 杭州海康威视数字技术股份有限公司 | 基于大语言模型的科学仪器使用分析方法、装置及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844530A (zh) * | 2016-12-29 | 2017-06-13 | 北京奇虎科技有限公司 | 一种问答对分类模型的训练方法和装置 |
| CN108304437A (zh) * | 2017-09-25 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种自动问答方法、装置及存储介质 |
| WO2018149326A1 (zh) * | 2017-02-16 | 2018-08-23 | 阿里巴巴集团控股有限公司 | 一种自然语言问句答案的生成方法、装置及服务器 |
| CN109408627A (zh) * | 2018-11-15 | 2019-03-01 | 众安信息技术服务有限公司 | 一种融合卷积神经网络和循环神经网络的问答方法及系统 |
| US20190122111A1 (en) * | 2017-10-24 | 2019-04-25 | Nec Laboratories America, Inc. | Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions |
| CN109710923A (zh) * | 2018-12-06 | 2019-05-03 | 浙江大学 | 基于跨媒体信息的跨语言实体匹配方法 |
| CN109710744A (zh) * | 2018-12-28 | 2019-05-03 | 合肥讯飞数码科技有限公司 | 一种数据匹配方法、装置、设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133202A (zh) * | 2017-06-01 | 2017-09-05 | 北京百度网讯科技有限公司 | 基于人工智能的文本校验方法和装置 |
| CN108845990A (zh) * | 2018-06-12 | 2018-11-20 | 北京慧闻科技发展有限公司 | 基于双向注意力机制的答案选择方法、装置和电子设备 |
| CN109522557B (zh) * | 2018-11-16 | 2021-07-16 | 中山大学 | 文本关系抽取模型的训练方法、装置及可读存储介质 |
| CN109697228A (zh) * | 2018-12-13 | 2019-04-30 | 平安科技（深圳）有限公司 | 智能问答方法、装置、计算机设备及存储介质 |
| CN109815339B (zh) * | 2019-01-02 | 2022-02-08 | 平安科技（深圳）有限公司 | 基于TextCNN知识抽取方法、装置、计算机设备及存储介质 |
| CN109857860A (zh) * | 2019-01-04 | 2019-06-07 | 平安科技（深圳）有限公司 | 文本分类方法、装置、计算机设备及存储介质 |
-
2019
- 2019-06-25 CN CN201910553285.4A patent/CN110442689A/zh active Pending
- 2019-08-27 WO PCT/CN2019/102783 patent/WO2020258487A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844530A (zh) * | 2016-12-29 | 2017-06-13 | 北京奇虎科技有限公司 | 一种问答对分类模型的训练方法和装置 |
| WO2018149326A1 (zh) * | 2017-02-16 | 2018-08-23 | 阿里巴巴集团控股有限公司 | 一种自然语言问句答案的生成方法、装置及服务器 |
| CN108304437A (zh) * | 2017-09-25 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种自动问答方法、装置及存储介质 |
| US20190122111A1 (en) * | 2017-10-24 | 2019-04-25 | Nec Laboratories America, Inc. | Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions |
| CN109408627A (zh) * | 2018-11-15 | 2019-03-01 | 众安信息技术服务有限公司 | 一种融合卷积神经网络和循环神经网络的问答方法及系统 |
| CN109710923A (zh) * | 2018-12-06 | 2019-05-03 | 浙江大学 | 基于跨媒体信息的跨语言实体匹配方法 |
| CN109710744A (zh) * | 2018-12-28 | 2019-05-03 | 合肥讯飞数码科技有限公司 | 一种数据匹配方法、装置、设备及存储介质 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008272A (zh) * | 2019-12-04 | 2020-04-14 | 深圳市新国都金服技术有限公司 | 基于知识图谱的问答方法、装置、计算机设备及存储介质 |
| CN111209351A (zh) * | 2020-01-02 | 2020-05-29 | 北京沃东天骏信息技术有限公司 | 对象关系预测、对象推荐方法及装置、电子设备、介质 |
| CN111209351B (zh) * | 2020-01-02 | 2023-08-08 | 北京沃东天骏信息技术有限公司 | 对象关系预测、对象推荐方法及装置、电子设备、介质 |
| CN111221952A (zh) * | 2020-01-06 | 2020-06-02 | 百度在线网络技术（北京）有限公司 | 建立排序模型的方法、查询自动补全的方法及对应装置 |
| CN111221952B (zh) * | 2020-01-06 | 2021-05-14 | 百度在线网络技术（北京）有限公司 | 建立排序模型的方法、查询自动补全的方法及对应装置 |
| US11847147B2 (en) | 2020-01-06 | 2023-12-19 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method for building ranking model, query auto-completion method and corresponding apparatuses |
| CN111324743A (zh) * | 2020-02-14 | 2020-06-23 | 平安科技（深圳）有限公司 | 文本关系抽取的方法、装置、计算机设备及存储介质 |
| CN111563159A (zh) * | 2020-07-16 | 2020-08-21 | 智者四海（北京）技术有限公司 | 文本排序方法及装置 |
| CN113204973A (zh) * | 2021-04-30 | 2021-08-03 | 平安科技（深圳）有限公司 | 答非所问识别模型的训练方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020258487A1 (zh) | 2020-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110442689A (zh) | 一种问答关系排序方法、装置、计算机设备及存储介质 | |
| CN110532397A (zh) | 基于人工智能的问答方法、装置、计算机设备及存储介质 | |
| CN109815339A (zh) | 基于TextCNN知识抽取方法、装置、计算机设备及存储介质 | |
| CN108959328A (zh) | 知识图谱的处理方法、装置及电子设备 | |
| CN109919316A (zh) | 获取网络表示学习向量的方法、装置和设备及存储介质 | |
| CN110516910A (zh) | 基于大数据的保单核保模型训练方法和核保风险评估方法 | |
| US11645548B1 (en) | Automated cloud data and technology solution delivery using machine learning and artificial intelligence modeling | |
| CN103942099B (zh) | 基于Hive的并行执行任务方法及装置 | |
| CN109840205A (zh) | 应用程序测试方法、装置、可读存储介质及终端设备 | |
| CN111625715B (zh) | 信息提取方法、装置、电子设备及存储介质 | |
| CN111898904B (zh) | 一种数据处理方法及装置 | |
| CN109902556A (zh) | 行人检测方法、系统、计算机设备及计算机可存储介质 | |
| CN110503564A (zh) | 基于大数据的保全案件处理方法、系统、设备及存储介质 | |
| CN112256886B (zh) | 图谱中的概率计算方法、装置、计算机设备及存储介质 | |
| CN109710224A (zh) | 页面处理方法、装置、设备及存储介质 | |
| CN111651989B (zh) | 命名实体识别方法和装置、存储介质及电子装置 | |
| CN109376344A (zh) | 表单的生成方法及终端设备 | |
| CN110442858A (zh) | 一种问句实体识别方法、装置、计算机设备及存储介质 | |
| CN111814044A (zh) | 一种推荐方法、装置、终端设备及存储介质 | |
| CN113434627A (zh) | 工单的处理方法、装置和计算机可读存储介质 | |
| CN109918237A (zh) | 异常网络层确定方法及相关产品 | |
| CN111026946A (zh) | 一种页面信息抽取方法、装置、介质及设备 | |
| CN110515929A (zh) | 书籍展示方法、计算设备及存储介质 | |
| CN110210518B (zh) | 提取降维特征的方法和装置 | |
| CN111611498A (zh) | 一种基于领域内部语义的网络表示学习方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |