CN113918679A - 一种知识问答方法、装置及工程机械 - Google Patents
一种知识问答方法、装置及工程机械 Download PDFInfo
- Publication number
- CN113918679A CN113918679A CN202111109199.8A CN202111109199A CN113918679A CN 113918679 A CN113918679 A CN 113918679A CN 202111109199 A CN202111109199 A CN 202111109199A CN 113918679 A CN113918679 A CN 113918679A
- Authority
- CN
- China
- Prior art keywords
- data
- knowledge
- question
- feature vector
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 239000013598 vector Substances 0.000 claims abstract description 219
- 238000013136 deep learning model Methods 0.000 claims abstract description 91
- 238000000605 extraction Methods 0.000 claims abstract description 82
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 7
- 230000003993 interaction Effects 0.000 abstract description 4
- 238000007726 management method Methods 0.000 description 59
- 238000012423 maintenance Methods 0.000 description 14
- 230000002159 abnormal effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012827 research and development Methods 0.000 description 3
- 238000005507 spraying Methods 0.000 description 3
- 238000013024 troubleshooting Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000013550 semantic technology Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明提供的知识问答方法、装置及工程机械，包括：接收用户输入的图片数据；将图片数据输入至目标检测深度学习模型，获取目标图像；将目标图像输入特征提取深度学习模型，获取目标特征向量；从预先构建的图片特征向量库中，提取与目标特征向量相匹配的特征向量；从预先构建的知识管理库中，提取与所述特征向量相关的第一富文本知识数据；输出第一富文本知识数据。本发明提供的知识问答方法、装置及工程机械，利用深度学习技术实现了基于图片的知识问答，针对用户无法用言语表达故障时，仅仅通过上传某部件故障图片就能得到故障类型以及故障排除的详细信息，丰富了知识问答的交互方式，为用户提供了便利，有效地提高了知识问答的便捷性和准确性。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种知识问答方法、装置及工程机械。
背景技术
在作业机械制造行业内，当设备遇到问题需要运维服务时，一般是由用户通过电话咨询服务人员，或者由服务人员赶赴现场并根据个人的经验来分析设备出现问题的原因。由于企业内各服务人员的水平参差不齐，同时服务人员流动大，每年都会新进很多服务新人，导致服务效率低。当服务人员无法解决问题时，会要求企业的研发人员参与运维服务，在一定程度浪费了研发资源，降低了企业的研发效率。
另外，很多企业开发了手机程序用以提供数字化运维维护，其实际解决思路是将已知的一些特定的故障描述和解决办法整理成文档，用户仅能通过文件名查询、下载相应的文档进行相关知识的查看和学习，导致排查问题的效率低下。
发明内容
本发明提供一种知识问答方法、装置及工程机械，用以解决现有技术中知识问答识别效率低、要求用户输入的提问需求准确度高的缺陷，实现多方式、快速度、高精度的知识问答。
第一方面，本发明提供了一种知识问答方法，包括：接收用户输入的图片数据；将所述图片数据输入至目标检测深度学习模型，获取获取目标图像；将所述目标图像输入特征提取深度学习模型，获取目标特征向量；从预先构建的图片特征向量库中，提取与所述目标特征向量相匹配的第一特征向量；从预先构建的知识管理库中，提取与所述第一特征向量相关的第一富文本知识数据；将所述第一富文本知识数据输出。
根据本发明提供的一种知识问答方法，所述特征提取深度学习模型的数量包括多种，不同种类的特征提取深度学习模型用于提取不同种类的目标图像的目标特征向量；将所述目标图像输入特征提取深度学习模型，获取目标特征向量，具体包括：根据所述目标图像的种类，将所述目标图像输入对应的特征提取深度学习模型；获取由所述特征提取深度学习模型输出的目标特征向量。
根据本发明提供的一种知识问答方法，所述特征提取深度学习模型包括泵车特征提取深度学习模型、车载泵特征提取深度学习模型、拖泵特征提取深度学习模型、湿喷机特征提取深度学习模型、搅拌车特征提取深度学习模型、油缸特征提取深度学习模型或零部件类特征提取深度学习模型。
根据本发明提供的一种知识问答方法，所述从预先构建的知识管理库中，提取与所述目标特征向量相匹配的第一特征向量具体包括：通过空间余弦相似度计算，确定所述目标特征向量与图片特征向量库中的每个特征向量之间的相似度值；将所有相似度值进行排序；判断相似度值最高的特征向量是否大于预设阈值；如果判断结果为是，则将所述相似度值最高的特征向量确定为所述第一特征向量。
根据本发明提供的一种知识问答方法，还包括：接收用户输入的第一文本数据；将所述第一文本数据输入至语义识别模型，获取第一输入句向量；根据所述第一输入句向量，确定所述第一文本数据的第一问句类型；抽取所述第一文本数据中的第一实体数据集；基于所述第一问句类型，从远程字典服务组件中，提取与所述第一输入句向量和所述第一实体数据集相关的多个相似问和/或标准问；对所有的相似问和标准问进行排序，获取第一目标标准问；从预先构建的知识管理库中，提取与所述第一目标标准问相关的第二富文本知识数据；将所述第二富文本知识数据发送给所述用户。
根据本发明提供的一种知识问答方法，还包括：接收用户输入的语音数据；将所述语音数据输入至语音识别模型，获取第二文本数据；确定所述第二文本数据的第二问句类型；将所述第二文本数据输入至语义识别模型，获取第二输入句向量；抽取所述第二文本数据中的第二实体数据集；基于所述第二问句类型，从远程字典服务组件中，提取与所述第二输入句向量和所述第二实体数据集相关的多个相似问和/或标准问；从所述多个相似问和/或标准问中提取出第二目标标准问；从预先构建的知识管理库中，提取与所述第二目标标准问相关的第三富文本知识数据；将所述第三富文本知识数据发送给所述用户。
根据本发明提供的一种知识问答方法，在接收用户输入的图片数据之前，还包括：收集知识数据；对所有知识数据进行分类存储，以构建知识管理库；所述知识数据包括结构化数据和非结构化数据；所述非结构化数据包括每个产品的文本数据、图片数据、每个图片数据的特征向量，以及视频数据中的至少一种；所述结构化数据包括每个产品的类型名称、型号编码、部件名称、故障类型以及所述非结构化数据中每个数据的存储路径中的至少一种。
根据本发明提供的一种知识问答方法，所述知识管理库，包括：关系型数据库、文件系统数据库、远程字典服务组件和图片特征向量库；所述文件系统数据库，是利用所有所述非结构化数据所组建的；所述关系型数据库，是利用所有所述结构化数据以及所述非结构化数据的所有文本数据所组建的；所述远程字典服务组件，是对所述关系型数据库中的所有数据进行聚类，获取多个标准问和相似问后，分别利用每个标准问和相似问所转换成的句向量所组建的；所述图片特征向量库是利用每个图片数据的特征向量所组建。
根据本发明提供的一种知识问答方法，所述目标检测深度学习模型为预先训练好的快速卷积神经网络模型；所述特征提取深度学习模型为残差神经网络模型；所述语义识别模型为词向量网络模型。
第二方面，本发明还提供了一种知识问答装置，包括：图片处理模块、特征提取模块、问答处理模块和知识管理模块；所述图片处理模块，用于接收用户输入的图片数据，并将所述图片数据输入至预先存储的目标检测深度学习模型，获取目标图像；所述特征提取模块，用于将所述目标图像输入特征提取深度学习模型，获取目标特征向量；所述问答处理模块，用于从预先构建的图片特征向量库中，提取与所述目标特征向量相匹配的第一特征向量，从预先构建的知识管理库中，提取与所述第一特征向量相关的第一富文本知识数据，并输出所述第一富文本知识数据；所述图片特征向量库和所述知识管理库预先存储在所述知识管理模块。
第三方面，本发明提供一种工程机械，其上装设有所述知识问答方法装置。
第四方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述知识问答方法的步骤。
第五方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述知识问答方法的步骤。
本发明提供的知识问答方法、装置及工程机械，利用深度学习技术实现了基于图片的知识问答，针对用户无法用言语表达故障时，仅仅通过上传某部件故障图片就能得到故障类型以及故障排除的详细信息，丰富了知识问答的交互方式，为用户提供了便利，有效地提高了知识问答的便捷性和准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的知识问答方法的流程示意图；
图2是本发明提供的针对用户输入的图片数据进行知识问答的流程示意图；
图3是本发明提供的知识问答装置的结构示意图之一；
图4是本发明提供的知识问答装置的结构示意图之二；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明实施例的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合图1-图5描述本发明实施例所提供的知识问答方法、装置及工程机械。
本发明所提供的知识问答方法，利用了目标检测深度学习模型与特征提取深度学习模型相结合，如将快速卷积神经网络模型(Faster-RCNN)与残差神经网络模型(RESNET)相将结合，对知识管理库中的所收集图片进行特征向量提取，并构建图片特征向量库，以实现基于图片的知识问答。
基于图片的知识问答方法可实现两个主要功能：
第一个是，相当于构建了产品的图片百科全书，用户能够仅仅上传图片即可了解对应产品的详尽知识点；
第二个是，相当于构建了产品的图片化维修手册，用户能够在无法用言语表达故障类型时，仅仅通过上传图片就能查询到故障类型信息，并能够获取到全面的维修方案。
图1是本发明提供的知识问答方法的流程示意图，如图1所示，包括但不限于以下步骤：
步骤101：接收用户输入的图片数据；
需要说明的是，本发明的执行主体可以是手机、计算机、移动电脑、工控机、装载在工程机械上的行车电脑等具有运算存储能力的设备，也可以是云端处理器。后续实施例在不作说明的情况下，均以行车电脑为例，其不视为对本发明保护范围的具体限定。
作为一种可选的场景，用户在执行针对目标产品的维修工作过程中，若出现难以解决的问题，为寻求解决问题的维修方案，则可以通过手机拍摄目标产品的图片，并利用手机将该图片上传至行车电脑，以供行车电脑接收由用户上传的该目标产品的图片数据。
另外，用户也可以根据观察到的目标产品的型号，预先对故障类型进行判断，然后从手机中调取出预先存储的最能表征这一故障类型的相关图片，并将该图片上传至行车电脑。
步骤102：将所述图片数据输入至目标检测深度学习模型，获取目标图像；将目标图像输入特征提取深度学习模型，获取目标特征向量；从预先构建的图片特征向量库中，提取与目标特征向量相匹配的第一特征向量；
由于直接根据图片数据进行目标产品相关信息的匹配难度较大，在本发明提供的知识问答方法中，行车电脑在接收到用户上传的图片数据之后，可以通过预先训练好的目标检测深度学习模型，如Faster-RCNN对输入的图片数据进行目标识别，以从中确定出待识别的目标图像；然后，将目标图像输入至预先训练好的特征提取深度学习模型，例如：RESNET，对目标图像进行特征向量的提取，以获取到与输入的图片数据相对应的特征向量，称作目标特征向量。
需要说明的是，本发明并不对目标检测深度学习模型以及特征提取深度学习模型的模型结构作具体的限定，可以采用目前主流的Faster-RCNN、RESNET等对共同实现对输入的图片数据进行特征提取，并生成目标特征向量。
步骤103：从预先构建的图片特征向量库中，提取与所述目标特征向量相匹配的第一特征向量。
在获取到与输入的图片数据相对应的目标特征向量之后，可以将目标特征向量与预先构建的图片特征向量库中的每个特征向量分别进行比对，对比的方式可以是计算两个向量之间的相似度。
在获取到目标特征向量与图片特征向量库中的每个特征向量之间的相似度之后，从中确定出相似度最大的一个特征向量作为第一特征向量，则将该第一特征向量作为与所述目标特征向量相匹配的特征向量。
进一步地，还可以预先设置相似度阈值，在获取到相似度最大的一个特征向量之后，将最大相似度与相似度阈值进行比较，若最大相似度大于或等于相似度阈值，则进一步确定出相似度最大的一个特征向量作为第一特征向量。
若最大相似度小于相似度阈值，则说明图片特征向量库中没有与目标特征向量相匹配的特征向量(如用户上传的图片数据的清晰度过低、拍摄的角度不符合要求等)，此时可以提醒用户重新上传新的图片数据。
步骤104：从预先构建的知识管理库中，提取与所述第一特征向量相关的第一富文本知识数据。
在确定与目标特征向量的相似度最高的第一特征向量之后，可以根据第一特征向量从预先构建的知识管理库中，提取出与该特征向量相关联的所有知识数据，作为第一富文本知识数据。
其中，第一富文本知识数据可以是文本数据、图片数据或者视频数据中的至少一种。
需要说明的是，上述图片特征向量库以及知识管理库可以预先存储在行车电脑中，也可以存储在云端。
在图片特征向量库以及知识管理库存储在云端时，在用户获取到目标特征向量之后，可以将目标特征向量发送至云端服务器，并在云端服务器根据目标特征向量，从图片特征向量库中匹配出第一特征向量。
相应地，再根据第一特征向量从知识管理库中调取出与之相关的第一富文本知识数据，发送至行车电脑。
步骤105：将所述第一富文本知识数据输出
在行车电脑获取到第一富文本知识数据之后，可以直接将相关内容展示给用户，也可以将第一富文本知识数据发送至用户的手机，以供用户查看。
本发明提供的知识问答方法，利用深度学习技术实现了基于图片的知识问答，针对用户无法用言语表达故障时，仅仅通过上传某部件故障图片就能得到故障类型以及故障排除的详细信息，丰富了知识问答的交互方式，为用户提供了便利，有效地提高了知识问答的便捷性和准确性。
基于上述实施例的内容，作为一种可选实施例，所述特征提取深度学习模型的数量包括多种，不同种类的特征提取深度学习模型用于提取不同种类的目标图像的目标特征向量；将所述目标图像输入特征提取深度学习模型，获取目标特征向量，具体包括：根据所述目标图像的种类，将所述目标图像输入对应的特征提取深度学习模型；获取由所述特征提取深度学习模型输出的目标特征向量。
在本发明提供的知识问答方法中，为进一步提高知识问答的准确性，可以根据知识问答所针对的对象所涉及的种类不同，预先构建多个不同种类的特征提取深度学习模型，以用于识别不同的对象，这样在将任一目标图像输入至特征提取深度学习模型之前，可以先对目标图像所述的种类进行分类判断，在确定目标图像所述的类别(以下称作目标类别)之后，首先确定目标类别所对应的特征提取深度学习模型。
例如：在确定目标图像所属的目标类别为湿喷机的情况下，则将这一目标图像输入至湿喷机特征提取深度学习模型；在确定目标图像所属的目标类别为搅拌车的情况下，则将这一目标图像输入至搅拌车特征提取深度学习模型。
需要说明的是，上述确定目标图像所属类别的方法可以采用人工标注的方式，也可以在目标检测深度学习模型中加入分类器，自动标注出所获取到的目标图像的类别。
本发明提供的知识问答方法，根据目标图像所属的种类，选择对应的特征提取深度学习模型对每帧目标图像进行区别性的识别，所后获取到的目标特征向量更为准确，能够有效地提升知识问答的准确度，以提高用户的使用满意度。
基于上述实施例的内容，作为一种可选实施例，所述特征提取深度学习模型包括泵车特征提取深度学习模型、车载泵特征提取深度学习模型、拖泵特征提取深度学习模型、湿喷机特征提取深度学习模型、搅拌车特征提取深度学习模型、油缸特征提取深度学习模型或零部件类特征提取深度学习模型。
本发明可以预先采用不同类别的样本集对预先构建的网络模型进行训练，以获取到不同种类的特征提取深度学习模型。
例如，利用泵车图像样本集训练后可以获取到泵车特征提取深度学习模型、利用车载泵图像样本集训练后可以获取到车载泵特征提取深度学习模型、利用拖泵图像样本集训练后可以获取到拖泵特征提取深度学习模型、利用湿喷机图像样本集训练后可以获取到湿喷机特征提取深度学习模型、利用搅拌车图像样本集训练后可以获取到搅拌车特征提取深度学习模型、利用油缸图像样本集训练后可以获取到油缸特征提取深度学习模型，也可以利用零部件类图像样本集训练后可以获取到零部件类特征提取深度学习模型。
需要说明的是，上述列举的特征提取深度学习模型，可以根据实际需要预先进行训练，并在获取到训练好的不同种类的特征提取深度学习模型之后，将其存储至服务器中，能够随时被调用。
基于上述实施例的内容，作为一种可选实施例，所述从预先构建的知识管理库中，提取与所述目标特征向量相匹配的第一特征向量具体包括：
通过空间余弦相似度计算，确定所述目标特征向量与图片特征向量库中的每个特征向量之间的相似度值；
将所有相似度值进行排序；
判断相似度值最高的特征向量是否大于预设阈值；
如果判断结果为是，则将所述相似度值最高的特征向量确定为所述第一特征向量。
图2是本发明提供的针对用户输入的图片数据进行知识问答的流程示意图，如图2所示，设用户拍摄了一种泵车图片，并将对应的图片数据上传至行车电脑后。
行车电脑首先利用Faster-RCNN对接收到的图片数据中的目标进行识别，以识别图片数据中的泵车，并输出目标图像(图像中包含泵车)。
可选地，对目标图像进行裁剪，以去除泵车之外的其它图像，生成新的图片数据。
进一步地，利用已训练好的RESNET网络提取出新的图片数据的特征向量(即目标特征向量)，再与图片特征向量库中已构建的所有泵车图片的特征向量(以下称为特征向量样本)进空间余弦相似度计算，获取该目标特征向量与每个特征向量样本之间的空间余弦相识度，并从中挑选出空间余弦相识度最大的一个特征向量样本，作为第一特征向量。
进一步地，余弦距离是使用两个向量夹角的余弦值作为衡量两个个体间差异的大小，相比欧氏距离，余弦距离更加注重两个向量在方向上的差异。有鉴于此，本发明还通过判断目标特征向量与特征向量样本之间的空间余弦相似度值(即最大空间余弦相识度值)，是否超过预设的相识度阈值，来确定能够对用户输入的图片数据进行正确问答：
在确定最大空间余弦相识度值大于或等于预设阈值的情况下，行车电脑则根据与特征向量样本相关联的结构化数据、文本数据、以及图片数据等资料组装成第一富文本数据返回给用户，以供用户查看。
在确定最大空间余弦相识度值小于预设阈值的情况下，则认为针对用户输入的图片数据，没有找到合适的富文本知识数据。此时可以向用户发出问答失败的提示，例如提示用户重新输入新的图片数据。
本发明提供的知识问答方法，除支持语音语义输入以外，还利用了深度学习相关技术实现了基于图片数据的知识问答。比如：查询某设备的产品信息，使用者可以通过拍照上传图片即可搜索出该产品的信息。针对用户无法用言语表达故障类型时，仅仅通过上传某部件故障图片就能得到故障类型以及故障排故的详细信息，使得用户的操作更为便捷；另外，本发明提供的知识问答方法，还可以支持多用户同时在线使用，能不间断的为多用户提供问答服务，经济性效益高。
基于上述实施例的内容，作为一种可选实施例，本发明提供的知识问答方法，还可以包括：
接收用户输入的第一文本数据；
将所述第一文本数据输入至语义识别模型，获取第一输入句向量；
根据所述第一输入句向量，确定所述第一文本数据的第一问句类型；
抽取所述第一文本数据中的第一实体数据集；
基于所述第一问句类型，从远程字典服务组件中，提取与所述第一输入句向量和所述第一实体数据集相关的多个相似问和/或标准问；
将所有的相似问和标准问，输入至Learning To Rank模型进行排序，获取第一目标标准问；
从预先构建的知识管理库中，提取与所述第一目标标准问相关的第二富文本知识数据；
将所述第二富文本知识数据发送给所述用户。
本发明提供的知识问答方法，不仅可以针对用户上传的图片数据，进行图片识别，并输出对应的第一富文本知识数据，还可以针对用户上传的文本数据，进行文本识别，并根据文本识别结果从预先构建的知识管理库中调取对应的第二富文本知识数据。
针对用户从手机或者行车电脑的输入端输入的第一文本数据，利用语义识别模型，如BERT语言模型，对第一文本数据进行特征提取，获取到对应的句向量，称作第一输入句向量。
假设用户输入的第一文本数据为“泵车遥控器信号异常”，将“泵车遥控器信号异常”输入至BERT语言模型，获取到由BERT语言模型输出的第一句向量。
可选地，将第一句向量输入至对应的分类模型中，则可以确定用户提问所涉及的问句类型(称作第一问句类型)。其中，第一问句类型可以是产品介绍类型、产品故障类型、产品维修类型、产品操作类型等，对此本发明不作具体的限定。
假设所确定的第一问句类型是产品维修类型，一方面，可以基于Faiss向量召回模型，在预先构建的远程字典服务组件(Redis组件)中存储有产品维修类型的相关数据库中，对第一句向量进行向量召回，召回与泵车遥控器信号异常相关的所有相似问或者标准问。
另一方面，还可以通过命名实体识别模型(Named EntityRecognition，NER)对第一文本数据进行实体抽取，以获取相应的第一实体数据集，如针对输入的“泵车遥控器信号异常”进行实体抽取所获取的第一实体数据集则为“泵车、遥控器信号、异常”。
相应地，可以基于实体召回模型，在Redis组件中存储有产品维修类型的相关数据库中，召回与“泵车、遥控器信号、异常”相关的所有相似问或者标准问。
最后，将所有的召回结果(即所有的相似问和标准问)一起输入至Learning ToRank模型进行排序，获取由Learning To Rank模型输出的排序后分数最高的标准问，作为第一目标标准问。
根据第一目标标准问从预先构建的知识管理库中，提取出与之关联的所有知识数据作为第二富文本知识数据，反馈给用户。
其中，第二富文本知识数据可以是文本数据、音频数据或者视频数据，对此本发明不作具体限定。
需要说明的是，知识管理库是预先构建的，在知识管理库中预先建立了所有相关数据之间的关联关系，例如：针对每个标准问，关联有与之对应的相似问、针对该标准问的文本数据、音频数据或者视频数据等，可以根据确定的标准问，通过各个知识数据之间的关联关系，确定相关问句类型的文本数据、音频数据或者视频数据等。
本发明提供的知识问答方法，在除接收图片数据输入以外，还可以接收用户输入的文本数据，并通过对文本数据的实体提取以及句向量转换，进而能够从预先构建的Redis组件中，召回最接近的标准问，最后可以根据标准问从预先构建的知识管理库中调取对应的富文本知识数据反馈给用户，丰富了用户提问的方式，这样用户可以通过不同方式真实的反应出提问的实质内容，则能够更快、更准确的获取所需要的反馈结果。
基于上述实施例的内容，作为一种可选实施例，本发明提供的知识问答方法，还可以包括：
接收用户输入的语音数据；
将所述语音数据输入至语音识别模型，获取第二文本数据；
确定所述第二文本数据的第二问句类型；
将所述第二文本数据输入至语义识别模型，获取第二输入句向量；
抽取所述第二文本数据中的第二实体数据集；
基于所述第二问句类型，从远程字典服务组件中，提取与所述第二输入句向量和所述第二实体数据集相关的多个相似问和/或标准问；
从所述多个相似问和/或标准问中提取出第二目标标准问；
从预先构建的知识管理库中，提取与所述第二目标标准问相关的第三富文本知识数据；
将所述第三富文本知识数据发送给所述用户。
本发明提供的知识问答方法，不仅可以针对用户上传的图片数据，进行图片识别，并输出对应的第一富文本知识数据；针对用户上传的文本数据，进行文本识别，并根据文本识别结果从预先构建的知识管理库中调取对应的第二富文本知识数据；还可以针对用户上传的语音数据，首先通过语音语义技术先将语音数据转换为文本数据，再通过上述实施例中所提供的针对文本数据的知识问答流程，生成第三富文本知识数据发送给用户。
其中，对语音数据进行处理生成第二文本数据，所采用的语音识别模型可以是基于语音识别技术(Automatic Speech Recognition，ASR)构建的。其中，在语音识别模型内部实现语音识别的流程主要包括语音输入、编码(特征提取)、解码、文字输出等几个步骤。
假设用户输入的语音数据是“泵车的遥控器信号貌似出现了异常，该怎么解决”，接收到上述语音数据之后，利用语音识别模型以将语音数据转换为第二文本数据为“泵车遥控器信号异常”；将第二文本数据输入至BERT语言模型，获取到由BERT语言模型输出的第二句向量。
可选地，将第二句向量输入至对应的分类模型中，则可以确定用户提问所涉及的问句类型(称作第二问句类型)。其中，第二问句类型也可以是产品介绍类型、产品故障类型、产品维修类型、产品操作类型等。
假设所确定的第二问句类型是产品维修类型，一方面，可以基于Faiss向量召回模型，在预先构建的Redis组件中存储有产品维修类型的相关数据库中，对第二句向量进行向量召回，召回与泵车遥控器信号异常相关的所有相似问或者标准问。
另一方面，还可以通过NER模型对第二文本数据进行实体抽取，以获取相应的第二实体数据集，如针对输入的“泵车遥控器信号异常”进行实体抽取所获取的第二实体数据集则为“泵车、遥控器信号、异常”。
相应地，可以基于实体召回模型，在Redis组件中存储有产品维修类型的相关数据库中，召回与“泵车、遥控器信号、异常”相关的所有相似问或者标准问。
最后，将所有的召回结果(即所有的相似问和标准问)一起输入至Learning ToRank模型进行排序，获取由Learning To Rank模型输出的排序后分数最高的标准问，作为第二目标标准问。
根据第二目标标准问从预先构建的知识管理库中，提取出与之关联的所有知识数据作为第三富文本知识数据，反馈给用户。
对应地，第三富文本知识数据可以是文本数据、音频数据或者视频数据，对此本发明不作具体限定。
本发明提供的知识问答方法，在除接收图片数据输入、接收用户输入的文本数据的基础上还有直接接收用户输入的语音数据，先通过语音识别模型将语音数据转换成相应的文本数据，然后通过对文本数据的实体提取以及句向量转换，进而能够从预先构建的Redis组件中，召回最接近的标准问，最后可以根据标准问从预先构建的知识管理库中调取对应的富文本知识数据反馈给用户。本发明所提供的知识问答方法，用户通过前端应用，通过输入语音数据、文本数据以及图片数据查询相关知识，丰富了用户提问的方式，这样用户可以通过不同方式真实的反应出提问的实质内容，同时前端应用模块可识别用户数据的数据类型，则能够更快、更准确的获取所需要的反馈结果。
基于上述实施例的内容，作为一种可选实施例，在接收用户输入的图片数据之前，还包括：
收集知识数据；
对所有知识数据进行分类存储，以构建知识管理库；
所述知识数据包括结构化数据和非结构化数据；
所述非结构化数据包括每个产品的文本数据、图片数据、每个图片数据的特征向量，以及视频数据中的至少一种；
所述结构化数据包括每个产品的类型名称、型号编码、部件名称、故障类型以及所述非结构化数据中每个数据的存储路径中的至少一种。
本发明提供的知识问答方法，通过预先创建知识管理库，并通过对知识管理库内的数据进行分类管理，利用NLP、图片识别技术等周期性解析不同类型的历史知识数据，分别构建语义知识库和图片特征向量库，进而实现多方式(文字、图片等)的知识问答。
知识管理库中主要存储了知识问答相关的原始数据，包括结构化、非结构化等类型数据以及这些不同类型数据之间的关联关系。
在构建知识管理库时，先对相关知识进行分类，如分成：产品介绍类知识、产品故障类知识等。然后，收集每类知识所包含的结构化数据、非结构化数据，并构建数据之间的关联关系。
其中，结构化数据主要包括如：产品类型名称、型号编码、部件名称、故障类型等中的至少一种，存储在关系型数据库中；非结构化数据则可以包括如：产品文本数据、产品图片数据以及产品视频数据等中的至少一种，存储至文件系统数据库中。
本发明提供的知识问答方法，通过预先构建知识管理库，然后通过对用户输入的文本数据、语音数据进行句向量的提取以及实体提取，进而可以根据提取的结果从知识管理库中召回与之相关的相似问(或标准问)，在从中筛选出分数最高的一个标准问，并将与该标准问所有相关的知识反馈给用户；或者对用户输入的图片数据进行处理，主要是进行特征向量的提取，进而与知识管理库中的图片特征向量库进行比对，确定出其中的目标特征向量，再将目标特征向量相关的知识反馈给用户。
本发明提供的知识问答方法，通过预先构建知识管理库，并对其中的所有知识数据进行分类管理，有效地减小了知识匹配的运算量，且提高了针对用户所提问题所反馈的知识的准确性，响应速度更快，为实现多用户同时在线提供了架构基础。
基于上述实施例的内容，作为一种可选实施例，所述知识管理库包括关系型数据库、文件系统数据库、远程字典服务组件和图片特征向量库；
所述文件系统数据库，是利用所有所述非结构化数据所组建的；
所述关系型数据库，是利用所有所述结构化数据以及所述非结构化数据的所有文本数据所组建的；
所述远程字典服务组件，是对所述关系型数据库中的所有数据进行聚类，获取多个标准问和相似问后，分别利用每个标准问和相似问所转换成的句向量所组建的；
所述图片特征向量库是利用每个图片数据的特征向量所组建。
具体来说，知识管理库主要用于存储产品知识点，比如：产品介绍、故障解答、操作指导等相关知识。每一类知识点均可以包括到结构化数据、非结构化数据。其中，结构化数据比如产品类型名称、型号编码、示例图片链接(Uniform Resource Locator，URL)地址、产品详细介绍文档URL地址等存储在Oracle或Mysql关系型数据库中。非结构化数据，比如产品详细介绍文档、产品示意图、产品某故障示例图片等通过文件系统数据库进行存储，但非结构化数据的存储路径同样保存在上述关系型数据库中。
需要说明的是，产品知识点的管理方式是通过业务人员上传知识数据(包括文本数据、视频数据、音频数据等)至整个知识问答系统(布局在云端或者远端服务器中)，系统管理人员先通过审核后在归档至知识数据库中。也可以采用人工智能的方式，自动从网络调取数据完成对相关知识点的采集以及归档。
另外，本发明还可以通过聚类算法(如K-means聚类算法)，将知识管理库中的结构化数据以及非结构化数据中的文本数据，整理成标准问和相似问，通过BERT语言模型将每个标准问和相似问转化为句向量，并存储在Redis组件中。同时，还可以对标准问进行命名实体识别和关系抽取，抽取标准问中的故障实体和故障关系，把标准问、排故答案、故障实体、故障关系，构建成图谱。通过分类模型，把标准问分类成维修类和操作类两个种类，分类存入至知识数据库中。
再者，还通过Faster-RCNN以及RESNET模型对知识管理库中的图片数据进行特征提取并构建图片特征向量库。
本发明提供的知识问答方法，通过对知识管理库中的数据进行分类存储，这样针对用户输入的问答类型、问答内容、问答格式的不同，可以从不同的子数据库中快速调取相关的知识，并根据知识管理库中各知识之间的关联关系，快速对用户提出的问题进行反馈，有效的提高了知识问答的反应速度。
基于上述实施例的内容，作为一种可选实施例，所述目标检测深度学习模型为预先训练好的快速卷积神经网络模型(Faster-RCNN)；所述特征提取深度学习模型为残差神经网络模型(RESNET)；所述语义识别模型为词向量网络模型(Bidirectional EncoderRepresentation from Transformers，BERT)。
在语义问答技术实现方式上，本发明提供的知识问答方法，通过使用了包括Kmeans聚类算法、BERT语义识别模型以及深度学习NER模型实现了基于文字的知识问答；同时在知识问答方式上，本发明利用了图片解析技术(包括Faster-Rcnn和RESNET模型)对知识库中的图片进行特征向量提取并构建了图片特征向量库，在通过实时对用户输入的图片数据进行特征向量的提取，并与图片特征向量库进行匹配，实现基于图片数据的知识问答，用户使用的更便捷，反应速率更快，且能够支持多用户的同时使用，经济效益更高。
图3是本发明提供的知识问答装置的结构示意图之一，如图3所示，主要包括：图片处理模块1、特征提取模块2、问答处理模块3和知识管理模块4；
其中，所述图片处理模块1，用于接收用户输入的图片数据，并将所述图片数据输入至预先存储的目标检测深度学习模型，获取目标图像；所述特征提取模块2，用于将所述目标图像输入特征提取深度学习模型，获取目标特征向量；所述问答处理模块3，用于从预先构建的图片特征向量库中，提取与所述目标特征向量相匹配的第一特征向量，从预先构建的知识管理库中，提取与所述第一特征向量相关的第一富文本知识数据，并输出所述第一富文本知识数据；所述图片特征向量库和所述知识管理库预先存储在所述知识管理模块4。
图4是本发明提供的知识问答装置的结构示意图之二，如图4所示，主要包括：图片处理模块1、知识管理模块4、问答处理模块3和语音处理模块5和前端应用模块6。
前端应用模块6主要用于接收用户输入的各类型数据，包括语音数据、文本数据、图片数据等，并能够将针对用户输入的回答反馈给用户。
知识管理模块4主要用于存储各类型产品相关知识的知识管理库，包括结构化、非结构化等类型数据以及这些不同类型数据之间的关联关系。
其中结构化数据包括如产品类型名称、编码等存储在关系型数据库(如Oracle或Mysql)中的数据；非结构化数据包括如产品文本、产品图片以及视频等数据，还包括图片特征向量库。
其中，图片特征向量库是通过主流的目标检测深度学习模型(比如Faster-Rcnn、RESNET等)，周期性获取知识管理模块中的图片数据，并对图片数据进行目标检测，提取特征所构建的。
需要说明的是，在图片特征向量库中，还可以针对不同目标(如车辆整车、某具体零部件等)的特征向量进行逻辑分区(也就是说不同目标构建的特征向量库不同)，以提高图片特征向量库有效性(可提高检索的准确性)。
问答处理模块3，主要通过聚类算法对知识管理模块中的结构化以及文本数据整理成标准问和相似问，通过BERT语言模型将每个标准问和相似问转化为句子向量并存储在Redis组件中。用户输入时使用BERT语言模型提取句向量，再进入对应的分类模型中。通过深度学习NER模型(如：Bi-LSTM+CRF)抽取用户输入文本问题中的实体，然后根据实体召回和Faiss向量召回模块，召回相关相似句，根据召回结果输入Learning To Rank模型进行排序，最终输出排序后分数最高的标准问。
语音处理模块5，用于对用户输入的语音数据进行识别，主要是将用户输入的语音数据转换成文本数据，再通过调用问答处理模块3实现知识问答。
用户在使用时，通过前端应用模块上传的相片数据后，图片处理模块1通过主流检测深度学习模型对图片数据进行特征提取，并与特征向量库中的对象逐一进行空间余弦相似度计算，获取相似度最高且满足一定相似度阈值的特征向量，并组装详细知识反馈给用户。
本发明提供的知识问答装置，利用深度学习技术实现了基于图片的知识问答，针对用户无法用言语表达故障时，仅仅通过上传某部件故障图片就能得到故障类型以及故障排除的详细信息，丰富了知识问答的交互方式，为用户提供了便利，有效地提高了知识问答的便捷性和准确性。
需要说明的是，本发明实施例提供的知识问答装置，在具体运行时，可以执行上述任一实施例所述的知识问答方法，对此本实施例不作赘述。
基于上述实施例的内容，作为一种可选实施例，本发明还提供一种工程机械，在该工程机械上装设至上述实施例中所述的知识问答装置。
其中该工程机械可以是混凝土装备、也可以是装载车、自卸车等任一设备。
图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(CommunicationsInterface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行知识问答方法，该方法包括：接收用户输入的图片数据；接收用户输入的图片数据；将所述图片数据输入至目标检测深度学习模型，获取获取目标图像；将所述目标图像输入特征提取深度学习模型，获取目标特征向量；从预先构建的图片特征向量库中，提取与所述目标特征向量相匹配的第一特征向量；从预先构建的知识管理库中，提取与所述第一特征向量相关的第一富文本知识数据；将所述第一富文本知识数据输出。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的知识问答方法，该方法包括：接收用户输入的图片数据；将所述图片数据输入至目标检测深度学习模型，获取获取目标图像；将所述目标图像输入特征提取深度学习模型，获取目标特征向量；从预先构建的图片特征向量库中，提取与所述目标特征向量相匹配的第一特征向量；从预先构建的知识管理库中，提取与所述第一特征向量相关的第一富文本知识数据；将所述第一富文本知识数据输出。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的知识问答方法，该方法包括：接收用户输入的图片数据；将所述图片数据输入至目标检测深度学习模型，获取获取目标图像；将所述目标图像输入特征提取深度学习模型，获取目标特征向量；从预先构建的图片特征向量库中，提取与所述目标特征向量相匹配的第一特征向量；从预先构建的知识管理库中，提取与所述第一特征向量相关的第一富文本知识数据；将所述第一富文本知识数据输出。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种知识问答方法，其特征在于，包括：
接收用户输入的图片数据；
将所述图片数据输入至目标检测深度学习模型，获取目标图像；将所述目标图像输入特征提取深度学习模型，获取目标特征向量；
从预先构建的图片特征向量库中，提取与所述目标特征向量相匹配的第一特征向量；
从预先构建的知识管理库中，提取与所述第一特征向量相关的第一富文本知识数据；
将所述第一富文本知识数据输出。
2.根据权利要求1所述的知识问答方法，其特征在于，所述特征提取深度学习模型的数量包括多种，不同种类的特征提取深度学习模型用于提取不同种类的目标图像的目标特征向量；
将所述目标图像输入特征提取深度学习模型，获取目标特征向量，具体包括：
根据所述目标图像的种类，将所述目标图像输入对应的特征提取深度学习模型；
获取由所述特征提取深度学习模型输出的目标特征向量。
3.根据权利要求2所述的知识问答方法，其特征在于，所述特征提取深度学习模型包括泵车特征提取深度学习模型、车载泵特征提取深度学习模型、拖泵特征提取深度学习模型、湿喷机特征提取深度学习模型、搅拌车特征提取深度学习模型、油缸特征提取深度学习模型或零部件类特征提取深度学习模型。
4.根据权利要求1所述的知识问答方法，其特征在于，所述从预先构建的知识管理库中，提取与所述目标特征向量相匹配的第一特征向量具体包括：
通过空间余弦相似度计算，确定所述目标特征向量与图片特征向量库中的每个特征向量之间的相似度值；
将所有相似度值进行排序；
判断相似度值最高的特征向量是否大于预设阈值；
如果判断结果为是，则将所述相似度值最高的特征向量确定为所述第一特征向量。
5.根据权利要求1所述的知识问答方法，其特征在于，还包括：
接收用户输入的第一文本数据；
将所述第一文本数据输入至语义识别模型，获取第一输入句向量；
根据所述第一输入句向量，确定所述第一文本数据的第一问句类型；
抽取所述第一文本数据中的第一实体数据集；
基于所述第一问句类型，从远程字典服务组件中，提取与所述第一输入句向量和所述第一实体数据集相关的多个相似问和/或标准问；
对所有的相似问和标准问进行排序，获取第一目标标准问；
从预先构建的知识管理库中，提取与所述第一目标标准问相关的第二富文本知识数据；
将所述第二富文本知识数据发送给所述用户。
6.根据权利要求1所述的知识问答方法，其特征在于，还包括：
接收用户输入的语音数据；
将所述语音数据输入至语音识别模型，获取第二文本数据；
确定所述第二文本数据的第二问句类型；
将所述第二文本数据输入至语义识别模型，获取第二输入句向量；
抽取所述第二文本数据中的第二实体数据集；
基于所述第二问句类型，从远程字典服务组件中，提取与所述第二输入句向量和所述第二实体数据集相关的多个相似问和/或标准问；
从所述多个相似问和/或标准问中提取出第二目标标准问；
从预先构建的知识管理库中，提取与所述第二目标标准问相关的第三富文本知识数据；
将所述第三富文本知识数据发送给所述用户。
7.根据权利要求1所述的知识问答方法，其特征在于，在接收用户输入的图片数据之前，还包括：
收集知识数据；
对所有知识数据进行分类存储，以构建知识管理库；
所述知识数据包括结构化数据和非结构化数据；
所述非结构化数据包括每个产品的文本数据、图片数据、每个图片数据的特征向量，以及视频数据中的至少一种；
所述结构化数据包括每个产品的类型名称、型号编码、部件名称、故障类型以及所述非结构化数据中每个数据的存储路径中的至少一种。
8.根据权利要求7所述的知识问答方法，其特征在于，所述知识管理库包括关系型数据库、文件系统数据库、远程字典服务组件和图片特征向量库；
所述文件系统数据库，是利用所有所述非结构化数据所组建的；
所述关系型数据库，是利用所有所述结构化数据以及所述非结构化数据的所有文本数据所组建的；
所述远程字典服务组件，是对所述关系型数据库中的所有数据进行聚类，获取多个标准问和相似问后，分别利用每个标准问和相似问所转换成的句向量所组建的；
所述图片特征向量库是利用每个图片数据的特征向量所组建。
9.根据权利要求5所述的知识问答方法，其特征在于，所述目标检测深度学习模型为预先训练好的快速卷积神经网络模型；所述特征提取深度学习模型为残差神经网络模型；所述语义识别模型为词向量网络模型。
10.一种知识问答装置，其特征在于，包括：图片处理模块、特征提取模块、问答处理模块和知识管理模块；
所述图片处理模块，用于接收用户输入的图片数据，并将所述图片数据输入至预先存储的目标检测深度学习模型，获取目标图像；
所述特征提取模块，用于将所述目标图像输入特征提取深度学习模型，获取目标特征向量；
所述问答处理模块，用于从预先构建的图片特征向量库中，提取与所述目标特征向量相匹配的第一特征向量，从预先构建的知识管理库中，提取与所述第一特征向量相关的第一富文本知识数据，并输出所述第一富文本知识数据；
所述图片特征向量库和所述知识管理库预先存储在所述知识管理模块。
11.一种工程机械，其特征在于，其上装设有如权利要求10所述的知识问答装置。
12.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述知识问答方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111109199.8A CN113918679A (zh) | 2021-09-22 | 2021-09-22 | 一种知识问答方法、装置及工程机械 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111109199.8A CN113918679A (zh) | 2021-09-22 | 2021-09-22 | 一种知识问答方法、装置及工程机械 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113918679A true CN113918679A (zh) | 2022-01-11 |
Family
ID=79235646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111109199.8A Pending CN113918679A (zh) | 2021-09-22 | 2021-09-22 | 一种知识问答方法、装置及工程机械 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113918679A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114861889A (zh) * | 2022-07-04 | 2022-08-05 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、目标对象检测方法和装置 |
| CN117195860A (zh) * | 2023-11-07 | 2023-12-08 | 品茗科技股份有限公司 | 智能巡检方法、系统、电子设备和计算机可读存储介质 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107193929A (zh) * | 2017-05-17 | 2017-09-22 | 北京品智能量科技有限公司 | 基于特征提取和相似度计算的车辆故障问答方法及装置 |
| CN107329967A (zh) * | 2017-05-12 | 2017-11-07 | 北京邮电大学 | 基于深度学习的问答系统以及方法 |
| CN108229413A (zh) * | 2018-01-16 | 2018-06-29 | 宁夏智启连山科技有限公司 | 病虫害类型识别方法及装置 |
| US20180276525A1 (en) * | 2015-12-03 | 2018-09-27 | Huawei Technologies Co., Ltd. | Method and neural network system for human-computer interaction, and user equipment |
| CN109241251A (zh) * | 2018-07-27 | 2019-01-18 | 众安信息技术服务有限公司 | 一种会话交互方法 |
| CN109670065A (zh) * | 2018-09-25 | 2019-04-23 | 平安科技（深圳）有限公司 | 基于图像识别的问答处理方法、装置、设备和存储介质 |
| CN109714526A (zh) * | 2018-11-22 | 2019-05-03 | 中国科学院计算技术研究所 | 智能摄像头及控制系统 |
| CN110362665A (zh) * | 2019-06-12 | 2019-10-22 | 深圳追一科技有限公司 | 一种基于语义相似度的问答系统及方法 |
| WO2020119631A1 (zh) * | 2018-12-12 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 一种轻量视觉问答系统及方法 |
| CN111931627A (zh) * | 2020-08-05 | 2020-11-13 | 智慧互通科技有限公司 | 一种基于多模态信息融合的车辆再识别方法及装置 |
| CN112000829A (zh) * | 2020-09-03 | 2020-11-27 | 科大讯飞股份有限公司 | 一种咨询响应方法、装置、设备及存储介质 |
| US20210064612A1 (en) * | 2019-09-04 | 2021-03-04 | Microsoft Technology Licensing, Llc | Interactive visual search engine |
| CN112559712A (zh) * | 2020-12-23 | 2021-03-26 | 中国人寿保险股份有限公司 | 一种智能运维方法和系统 |
| CN112733581A (zh) * | 2019-10-28 | 2021-04-30 | 普天信息技术有限公司 | 车辆属性识别方法及系统 |
| CN112749266A (zh) * | 2021-01-19 | 2021-05-04 | 海尔数字科技(青岛)有限公司 | 一种工业问答方法、装置、系统、设备及存储介质 |
| CN113076073A (zh) * | 2021-04-29 | 2021-07-06 | 三一汽车制造有限公司 | 作业机械的位姿展示方法、装置和电子设备 |
| CN113128368A (zh) * | 2021-04-01 | 2021-07-16 | 西安电子科技大学广州研究院 | 一种人物交互关系的检测方法、装置及系统 |
| CN113254693A (zh) * | 2020-01-28 | 2021-08-13 | 通用汽车环球科技运作有限责任公司 | 用于部件故障分析的图像识别和检索 |
| CN113282721A (zh) * | 2021-04-28 | 2021-08-20 | 南京大学 | 基于网络结构搜索的视觉问答方法 |
-
2021
- 2021-09-22 CN CN202111109199.8A patent/CN113918679A/zh active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180276525A1 (en) * | 2015-12-03 | 2018-09-27 | Huawei Technologies Co., Ltd. | Method and neural network system for human-computer interaction, and user equipment |
| CN107329967A (zh) * | 2017-05-12 | 2017-11-07 | 北京邮电大学 | 基于深度学习的问答系统以及方法 |
| CN107193929A (zh) * | 2017-05-17 | 2017-09-22 | 北京品智能量科技有限公司 | 基于特征提取和相似度计算的车辆故障问答方法及装置 |
| CN108229413A (zh) * | 2018-01-16 | 2018-06-29 | 宁夏智启连山科技有限公司 | 病虫害类型识别方法及装置 |
| CN109241251A (zh) * | 2018-07-27 | 2019-01-18 | 众安信息技术服务有限公司 | 一种会话交互方法 |
| CN109670065A (zh) * | 2018-09-25 | 2019-04-23 | 平安科技（深圳）有限公司 | 基于图像识别的问答处理方法、装置、设备和存储介质 |
| CN109714526A (zh) * | 2018-11-22 | 2019-05-03 | 中国科学院计算技术研究所 | 智能摄像头及控制系统 |
| WO2020119631A1 (zh) * | 2018-12-12 | 2020-06-18 | 中国科学院深圳先进技术研究院 | 一种轻量视觉问答系统及方法 |
| CN110362665A (zh) * | 2019-06-12 | 2019-10-22 | 深圳追一科技有限公司 | 一种基于语义相似度的问答系统及方法 |
| US20210064612A1 (en) * | 2019-09-04 | 2021-03-04 | Microsoft Technology Licensing, Llc | Interactive visual search engine |
| CN112733581A (zh) * | 2019-10-28 | 2021-04-30 | 普天信息技术有限公司 | 车辆属性识别方法及系统 |
| CN113254693A (zh) * | 2020-01-28 | 2021-08-13 | 通用汽车环球科技运作有限责任公司 | 用于部件故障分析的图像识别和检索 |
| CN111931627A (zh) * | 2020-08-05 | 2020-11-13 | 智慧互通科技有限公司 | 一种基于多模态信息融合的车辆再识别方法及装置 |
| CN112000829A (zh) * | 2020-09-03 | 2020-11-27 | 科大讯飞股份有限公司 | 一种咨询响应方法、装置、设备及存储介质 |
| CN112559712A (zh) * | 2020-12-23 | 2021-03-26 | 中国人寿保险股份有限公司 | 一种智能运维方法和系统 |
| CN112749266A (zh) * | 2021-01-19 | 2021-05-04 | 海尔数字科技(青岛)有限公司 | 一种工业问答方法、装置、系统、设备及存储介质 |
| CN113128368A (zh) * | 2021-04-01 | 2021-07-16 | 西安电子科技大学广州研究院 | 一种人物交互关系的检测方法、装置及系统 |
| CN113282721A (zh) * | 2021-04-28 | 2021-08-20 | 南京大学 | 基于网络结构搜索的视觉问答方法 |
| CN113076073A (zh) * | 2021-04-29 | 2021-07-06 | 三一汽车制造有限公司 | 作业机械的位姿展示方法、装置和电子设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114861889A (zh) * | 2022-07-04 | 2022-08-05 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、目标对象检测方法和装置 |
| CN114861889B (zh) * | 2022-07-04 | 2022-09-27 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、目标对象检测方法和装置 |
| CN117195860A (zh) * | 2023-11-07 | 2023-12-08 | 品茗科技股份有限公司 | 智能巡检方法、系统、电子设备和计算机可读存储介质 |
| CN117195860B (zh) * | 2023-11-07 | 2024-03-26 | 品茗科技股份有限公司 | 智能巡检方法、系统、电子设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110110038B (zh) | 话务预测方法、装置、服务器及存储介质 | |
| CN113918679A (zh) | 一种知识问答方法、装置及工程机械 | |
| CN111597320A (zh) | 基于层次分类的意图识别装置、方法、设备及存储介质 | |
| CN111651497B (zh) | 用户标签挖掘方法、装置、存储介质及电子设备 | |
| CN111611382A (zh) | 话术模型训练方法、对话信息生成方法及装置、系统 | |
| CN112417158A (zh) | 文本数据分类模型的训练方法、分类方法、装置和设备 | |
| CN113377936A (zh) | 智能问答方法、装置及设备 | |
| CN111460185A (zh) | 书籍搜索方法、装置和系统 | |
| CN111429157A (zh) | 投诉工单的评价处理方法、装置、设备及存储介质 | |
| CN114399379A (zh) | 基于人工智能的催收行为识别方法、装置、设备及介质 | |
| CN116010569A (zh) | 在线答疑方法、系统、电子设备及存储介质 | |
| CN111488501A (zh) | 一种基于云平台的电商统计系统 | |
| CN110750626B (zh) | 一种基于场景的任务驱动的多轮对话方法及系统 | |
| CN110517672B (zh) | 用户意图识别方法、用户指令执行方法、系统及设备 | |
| CN113901838A (zh) | 对话检测方法和装置、电子设备、存储介质 | |
| CN113239698A (zh) | 基于rpa及ai的信息提取方法、装置、设备及介质 | |
| CN110929519B (zh) | 实体属性抽取方法及装置 | |
| CN111104422A (zh) | 一种数据推荐模型的训练方法、装置、设备及存储介质 | |
| CN111414732A (zh) | 文本风格转换方法、装置、电子设备及存储介质 | |
| CN110580899A (zh) | 语音识别方法及装置、存储介质、计算设备 | |
| CN113505606B (zh) | 一种培训信息获取方法、装置、电子设备及存储介质 | |
| CN115964997A (zh) | 选择题的混淆选项生成方法及装置、电子设备、存储介质 | |
| CN115017886A (zh) | 文本匹配方法、文本匹配装置、电子设备及存储介质 | |
| CN115510213A (zh) | 用于作业机械的问答方法及系统、作业机械 | |
| CN114186048A (zh) | 基于人工智能的问答回复方法、装置、计算机设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |