CN111813967A - 检索方法、装置、计算机设备及存储介质 - Google Patents
检索方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111813967A CN111813967A CN202010676786.4A CN202010676786A CN111813967A CN 111813967 A CN111813967 A CN 111813967A CN 202010676786 A CN202010676786 A CN 202010676786A CN 111813967 A CN111813967 A CN 111813967A
- Authority
- CN
- China
- Prior art keywords
- data
- retrieval
- target
- semantic
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000013598 vector Substances 0.000 claims description 127
- 238000012545 processing Methods 0.000 claims description 54
- 238000000605 extraction Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 16
- 238000003672 processing method Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000010219 correlation analysis Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/433—Query formulation using audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明实施例公开了一种检索方法、装置、计算机设备及存储介质，包括：获取目标数据；计算所述目标数据与预设的数据集中各数据的语义相似度，确定所述数据集中所述语义相似度最高的至少一项数据作为目标检索数据；根据所述目标数据与所述目标检索数据的语义分类确定检索结果。通过确定目标数据与目标检索数据的语义分类，将其中与目标数据语义分类相同的数据作为检索结果，可以避免检索结果与目标数据的语义分类不符导致检索结果错误的情况，有效提高了检索的准确性。
Description
技术领域
本发明涉及计算机应用技术领域，特别是涉及一种检索方法、装置、计算机设备及存储介质。
背景技术
跨媒体检索是基于内容的多媒体检索中一个新的研究领域，跨媒体检索是指用户任意给定一种媒体查询如图片或文字，系统自动检索出与查询主题相关的其他媒体内容。跨媒体检索是模式识别、人机交互、人工智能、统计分析、网络通讯、数据库等多个领域知识的综合，必将在信息检索、信息挖掘领域产生深远的影响。跨媒体检索的目标是计算不同媒体数据间的相似度，对于给定的查询样例，检索出与查询样例相关的其他媒体数据。
目前，在跨媒体检索时，一般通过计算不同模态数据的语义相似度，将输出排名最高的样本数据作为检索结果。但是在这个过程中没有参考同种模态和不同模态之间的类别信息。举例来说，对于类别标签为“A”的待查询文本，若通过相似度得到与其相似度最高的图像类别是“B”，则可以肯定查询结果是错误的。目前很少研究者关注这个问题，因此跨媒体检索的准确性无法得到保证。
发明内容
本发明实施例能够提供一种提高跨媒体检索准确性的检索方法、装置、计算机设备及存储介质。
为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种检索方法，包括：
获取目标数据；
计算所述目标数据与预设的数据集中各数据的语义相似度，确定所述数据集中所述语义相似度最高的至少一项数据作为目标检索数据；
根据所述目标数据与所述目标检索数据的语义分类确定检索结果。
可选地，所述计算所述目标数据与预设的数据集中的各项数据的语义相似度，确定所述数据集中所述语义相似度最高的至少一项数据作为目标检索数据，包括：
确定所述目标数据与所述数据集中各数据的语义分布向量；
根据所述目标数据与所述数据集中各数据的语义分布向量计算所述语义相似度；
确定所述语义相似度最高的至少一项数据作为目标检索数据。
可选地，所述确定所述目标数据与所述数据集中各数据的语义分布向量，包括：
获取所述目标数据与所述数据集中各数据的特征向量；
将所述目标数据与所述数据集中各数据的特征向量进行关联映射；
根据所述关联映射结果确定所述目标数据与所述数据集中各数据的语义分布向量。
可选地，所述根据所述目标数据与所述目标检索数据的语义分类确定检索结果，包括：
获取所述目标数据的第一语义类别；
将所述第一语义类别与第二语义类别进行对比，其中，所述第二语义类别为所述目标检索数据中各数据对应的语义类别；
根据对比结果确定所述检索结果。
可选地，所述第二语义类别包括第一检索数据的语义类别，所述第一检索数据为所述目标检索数据中与所述目标数据语义相似度最高的数据，所述根据对比结果确定所述检索结果，包括：
判断第一检索数据的语义类别与所述第一语义类别是否相同；
当所述第一检索数据的语义类别与所述第一语义类别相同时，确定所述第一检索数据为所述检索结果。
可选地，所述目标数据和数据集至少一项为文本数据，所述获取所述目标数据与所述数据集中各数据的特征向量之前还包括提取文本数据的特征向量，所述提取文本数据的特征向量，包括：
对所述文本数据进行文本处理以得到词数据，所述文本处理的方法包括分词处理和去除停用词；
将所述词数据输入到预训练的词向量模型中，根据所述词向量模型的输出结果确定所述词数据的词向量；
根据所述词向量计算所述文本数据的特征向量。
可选地，所述目标数据和所述数据集至少一项为图像数据，所述获取所述目标数据与所述数据集中各数据的特征向量之前还包括提取图像数据的特征向量，所述提取图像数据的特征向量，包括：
对图像数据进行图像处理，其中，所述图像处理的方法包括大小调整和归一化处理；
将图像处理后的数据输入到预训练的图像向量提取模型中，根据所述图像向量提取模型的输出结果确定所述图像数据的特征向量。
为解决上述技术问题，本发明实施例还提供一种检索装置，包括：
获取模块，用于获取目标数据；
处理模块，用于计算所述目标数据与预设的数据集中各数据的语义相似度，确定所述数据集中所述语义相似度最高的至少一项数据作为目标检索数据；
执行模块，用于根据所述目标数据与所述目标检索数据的语义分类确定检索结果。
可选地，所述检索装置，还包括：
第一处理子模块，用于确定所述目标数据与所述数据集中各数据的语义分布向量；
第一计算子模块，用于根据所述目标数据与所述数据集中各数据的语义分布向量计算所述语义相似度；
第二处理子模块，用于确定所述语义相似度最高的至少一项数据作为目标检索数据。
可选地，所述检索装置，还包括：
第一获取子模块，用于获取所述目标数据与所述数据集中各数据的特征向量；
第一映射子模块，用于将所述目标数据与所述数据集中各数据的特征向量进行关联映射；
第三处理子模块，用于根据所述关联映射结果确定所述目标数据与所述数据集中各数据的语义分布向量。
可选地，所述检索装置，还包括：
第二获取子模块，用于获取所述目标数据的第一语义类别；
第一对比子模块，用于将所述第一语义类别与第二语义类别进行对比，其中，所述第二语义类别为所述目标检索数据中各数据对应的语义类别；
第四处理子模块，用于根据对比结果确定所述检索结果。
可选地，所述检索装置，还包括：
第一判断子模块，用于判断第一检索数据的语义类别与所述第一语义类别是否相同；
第一执行子模块，用于当所述第一检索数据的语义类别与所述第一语义类别相同时，确定所述第一检索数据为所述检索结果。
可选地，所述检索装置，还包括：
第五处理子模块，用于对所述文本数据进行文本处理以得到词数据，所述文本处理的方法包括分词处理和去除停用词；
第一输入子模块，用于将所述词数据输入到预训练的词向量模型中，根据所述词向量模型的输出结果确定所述词数据的词向量；
第二计算子模块，用于根据所述词向量计算所述文本数据的特征向量。
可选地，所述检索装置，还包括：
第六处理子模块，用于对图像数据进行图像处理，其中，所述图像处理的方法包括大小调整和归一化处理；
第二输入子模块，用于将图像处理后的数据输入到预训练的图像向量提取模型中，根据所述图像向量提取模型的输出结果确定所述图像数据的特征向量。
为解决上述技术问题，本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述检索方法的步骤。
为解决上述技术问题，本发明实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述检索方法的步骤。
本发明实施例的有益效果是：通过计算目标数据与数据集中各数据的语义相似度，以语义相似度最高的至少一项数据作为目标检索数据，然后再在目标检索数据中确定检索结果，可以利用语义相似度进行快速的初筛，从数据集中确定较为接近目标数据的内容，然后确定目标数据与目标检索数据的语义分类，将其中与目标数据语义分类相相同的数据作为检索结果，可以避免检索结果与目标数据的语义分类不符导致检索结果错误的情况，有效提高了检索的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例检索方法的基本流程示意图；
图2为本发明实施例确定目标检索数据的流程示意图；
图3为本发明实施例确定语义分布向量的流程示意图；
图4为本发明实施例确定检索结果的流程示意图；
图5为本发明实施例根据语义类别判断检索结果的流程示意图；
图6为本发明实施例提取文本数据的特征向量的流程示意图；
图7为本发明实施例提取图像数据的特征向量的流程示意图；
图8为本发明实施例检索装置的基本结构框图；
图9为本发明实施例计算机设备基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunicationsService，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(PersonalDigitalAssistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(GlobalPositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(MobileInternetDevice，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
具体地请参阅图1，图1为本实施例检索方法的基本流程示意图。
如图1所示，一种检索方法，包括：
S1100、获取目标数据；
目标数据可以是用户输入的数据，例如用户在检索栏输入的检索关键字，表示用户需要检索与该数据相关的东西，目标数据也可以是图像，音频，视频等其他形式的媒体内容。在用户进行检索操作时，获取用户输入的目标数据，检索与目标数据相关的数据。
S1200、计算所述目标数据与预设的数据集中各数据的语义相似度，确定所述数据集中所述语义相似度最高的至少一项数据作为目标检索数据；
预设的数据集为包括数据库中所有可检索内容的数据集合，可以包括与目标数据相同的媒体形式，例如目标数据为图像时，数据集中的数据包括图像数据，也可以包括与目标数据形式不同的媒体形式，例如目标数据为文本时，数据集中的数据包括图像数据和音频数据等等，以进行跨媒体检索。
在获取到目标数据之后，对目标数据进行特征提取，然后与数据集中各项数据进行语义相似度的计算，确定数据集中各项数据与目标数据的语义相似度，然后以语义相似度为依据，确定数据集中与目标数据语义相似度最高的数据作为目标检索数据。目标检索数据可以为一项或多项，例如确定语义相似度最高的十项数据作为目标检索数据，以进行进一步筛选，目标检索数据包含的数据数量可以根据实际应用场景进行调整，例如需要检索更为全面时，可以提高目标检索数据的数据量。
S1300、根据所述目标数据与所述目标检索数据的语义分类确定检索结果；
将目标数据的语义分类与目标检索数据中各项数据的语义分类进行比较，确定检索结果。具体的，以目标数据为文本，检索内容为图像为例，将样本集中提取的文本和图像的特征向量分别通过集成学习算法(如stacking方法)训练分类器，作为预训练的分类器，将目标数据输入到预训练的分类器中，得到对应的语义分类，对于目标数据，通过对应的分类器的分类结果为“A”，若通过计算语义相似度得到排名最高的数据，类别为“A”，则返回该查询对象作为检索结果；若得到语义相似度得到排名最高的数据类别为“B”，则依次观测下一个排名的数据，直至发现类别为“A”的数据，返回作为检索结果。
在一些实施方式中，以目标数据为文本，检索内容为图像为例，将目标数据输入到预训练的文本分类器中，预测语义类别为C1，将目标检索数据中的图像数据按语义相似度由高至低形成对应的语义类别列表，V1,V2,…,Vn(该列表包括目标检索数据中所有数据对应的语义类别)，将其存储到一个堆栈器中；堆栈器出栈，获得类别Vi，进入类别仲裁器，判断C1是否等于Vi。若相等，返回该图像；若不相等，继续出栈，重复该步骤，直至返回类别为C1的图像，并作为检索结果。
如图2所示，S1200具体包括：
S1210、确定所述目标数据与所述数据集中各数据的语义分布向量；
通过预训练的特征提取模型提取目标数据和数据集中各数据的特征向量，深度典型相关分析算法将非线性特征向量通过深度神经网络转化为线性向量，然后将转化后的特征向量映射到同一个子空间进行关联。具体的，以文本和图像的跨媒体检索为例，跨媒体关联映射器将提取的文本和图像特征向量映射到同一个共同潜在的子空间，实现文本和图像的关联。对于非线性的文本和图像特征向量，首先经过深度神经网络模型将其转化为线性向量，然后采用典型相关分析方法寻求投影向量的最大相关性，从而得到两组向量的共同子空间。分别训练文本和图像的分类器，对于文本和图像，均采用基于集成学习算法(如stacking方法)训练特征分类器，通过特征分类器预测输出对应的语义分布向量。
S1220、根据所述目标数据与所述数据集中各数据的语义分布向量计算所述语义相似度；
根据语义分布向量，确定文本和图像的语义空间，在该语义空间中可以通过度量算法计算不同模态之间的语义相似度，从而为跨媒体检索提供基础。
S1230、确定所述语义相似度最高的至少一项数据作为目标检索数据；
以数据集中各数据与目标数据的语义相似度作为依据进行排序，确定语义相似度最高的数据作为目标检索数据，目标检索数据可以为一项或多项，例如确定语义相似度最高的十项数据作为目标检索数据，以进行进一步筛选，目标检索数据包含的数据数量可以根据实际应用场景进行调整，例如需要检索更为全面时，可以提高目标检索数据的数据量。
通过确定目标数据与数据集中各数据的语义分布向量，从而计算出对应的语义相似度，以语义相似度为依据从数据集中初步筛选出部分内容作为目标检索数据，可以有效提高检索的效率。
如图3所示，S1210具体包括：
S1211、获取所述目标数据与所述数据集中各数据的特征向量；通过预训练的特征提取模型提取目标数据和数据集中各数据的特征向量，特征提取模型可以根据数据类型设置有多个，将不同的数据输入到对应的特征提取模型中提取对应的特征向量，例如通过词向量模型提取文本数据的特征向量，通过图像特征模型提取图像数据的特征向量等。
S1212、将所述目标数据与所述数据集中各数据的特征向量进行关联映射；
通过深度典型相关分析算法将非线性特征向量通过深度神经网络转化为线性向量，然后将转化后的特征向量映射到同一个子空间进行关联。具体的，以文本和图像的跨媒体检索为例，跨媒体关联映射器将提取的文本和图像特征向量映射到同一个共同潜在的子空间，实现文本和图像的关联。对于非线性的文本和图像特征向量，首先经过深度神经网络模型将其转化为线性向量，然后采用典型相关分析方法寻求投影向量的最大相关性，从而得到两组向量的共同子空间。
S1213、根据所述关联映射结果确定所述目标数据与所述数据集中各数据的语义分布向量；
通过关联映射确定两组向量的共同子空间之后，分别训练文本和图像的分类器，对于文本和图像，均采用基于集成学习算法(如stacking方法)训练特征分类器，通过特征分类器预测输出对应的语义分布向量。利用这种方法计算得到目标数据与数据集中各数据的语义分布向量。
如图4所示，S1300具体包括：
S1310、获取所述目标数据的第一语义类别；
以目标数据为文本，检索内容为图像为例，将样本集中提取的文本和图像的特征向量分别通过集成学习算法(如stacking方法)训练分类器，作为预训练的分类器，然后通过预训练的分类器对目标数据进行语义分类以确定第一语义类别，可以根据不同的媒体形式设置对应的语义类别分类器，以提高语义类别的分类准确度，例如目标数据为文本数据时，将目标数据输入到文本分类器中预设对应的语义类别。
S1320、将所述第一语义类别与第二语义类别进行对比，其中，所述第二语义类别为所述目标检索数据中各数据对应的语义类别；
获取目标检索数据中各数据的语义类别，作为第二语义类别，第二语义类别可以是数据录入到数据集时就已经携带的，例如数据要录入到数据集时先对数据进行语义分类，记录每一个数据的语义分类与数据一起录入到数据集中，也可以是在确定了目标检索数据后，将目标检索数据中所包含的各项数据分别输入到对应的语义类别分类器中，以确定对应的语义类别，作为第二语义类别。
在确定了第一语义类别和第二语义类别之后，以语义相似度为依据，依次将第一语义类别与第二语义类别中的各项进行对比。
S1330、根据对比结果确定所述检索结果；
将目标检索数据中语义相似度最高的一项数据的语义类别与第一语义类别进行对比，该数据的语义类别与第一语义类别相同时，确定该数据为检索结果；该数据的语义类别与第一语义类别不相同时，以语义相似度排第二的数据的语义类别与第一语义类别进行对比，以此类推，直至某一项数据的语义类别与第一语义类别相同，确定对应的数据为检索结果。
通过语义类别确定检索结果，避免出现检索结果与目标数据的语义类别不相同导致的检索错误，有效提高检索结果的准确性。
如图5所示，S1330具体包括：
S1331、判断第一检索数据的语义类别与所述第一语义类别是否相同；
第二语义类别包括第一检索数据的语义类别，第一检索数据为目标检索数据中与所述目标数据语义相似度最高的数据，将第一检索数据的语义类别和第一语义类别进行对比。
S1332、当所述第一检索数据的语义类别与所述第一语义类别相同时，确定所述第一检索数据为所述检索结果；
当第一检索数据的语义类别和第一语义类别相同时，确定第一检索数据为检索结果，当第一检索数据的语义类别和第一语义类别不同时，以目标检索数据中语义相似度排第二的数据的语义类别与第一语义类别进行对比，以此类推，直至某一项数据的语义类别与第一语义类别相同，确定对应的数据为检索结果。
如图6所示，S1211之前包括：
S1201、对所述文本数据进行文本处理以得到词数据，所述文本处理的方法包括分词处理和去除停用词；
目标数据和数据集至少一项为文本数据，在获取目标数据与所述数据集中各数据的特征向量之前还需要提取文本数据的特征向量，首先进行分词处理(英文数据不需要分词)，然后去除停用词，文本处理的方法可以根据实际应用场景进行调整，例如还可以包括去除噪音符号、提取词干或转换大小写(英文)等，将进行文本处理之后的数据作为词数据。
S1202、将所述词数据输入到预训练的词向量模型中，根据所述词向量模型的输出结果确定所述词数据的词向量；
将词数据输入到预训练的词向量模型中，根据词向量模型的输出结果确定词数据对应的词向量。在一些实施方式中，词向量模型为预告训练至收敛的，用于根据输入的词数据输出对应的词特征向量的模型，例如BERT模型。
S1203、根据所述词向量计算所述文本数据的特征向量；
对词数据对应的各个词向量进行平均加权，计算得到文本数据对应的特征向量。
如图7所示，S1211之前包括：
S1204、对图像数据进行图像处理，其中，所述图像处理的方法包括大小调整和归一化处理；
目标数据和数据集至少一项为图像数据，所述获取所述目标数据与所述数据集中各数据的特征向量之前还包括提取图像数据的特征向量，首先使用深度学习框架(如pytorch)对图像进行大小调整、归一化处理等，图像处理的方式可以根据实际情况进行调整，例如还可以包括灰度化或图像切割等。
S1205、将图像处理后的数据输入到预训练的图像向量提取模型中，根据所述图像向量提取模型的输出结果确定所述图像数据的特征向量；
采用深度残差网络的预训练模型(ResNet)作为图像向量提取模型，将图像处理后的数据输入到图像向量提取模型中以提取图像特征向量。
为解决上述技术问题，本发明实施例还提供一种检索装置。具体请参阅图8，图8为本实施检索装置的基本结构框图。
如图8所示，检索装置，包括：获取模块2100、处理模块2200和执行模块2300。其中，获取模块用于获取目标数据；处理模块用于计算所述目标数据与预设的数据集中各数据的语义相似度，确定所述数据集中所述语义相似度最高的至少一项数据作为目标检索数据；执行模块用于根据所述目标数据与所述目标检索数据的语义分类确定检索结果。
通过计算目标数据与数据集中各数据的语义相似度，以语义相似度最高的至少一项数据作为目标检索数据，然后再在目标检索数据中确定检索结果，可以利用语义相似度进行快速的初筛，从数据集中确定较为接近目标数据的内容，然后确定目标数据与目标检索数据的语义分类，将其中与目标数据语义分类相相同的数据作为检索结果，可以避免检索结果与目标数据的语义分类不符导致检索结果错误的情况，有效提高了检索的准确性。
在一些实施方式中，检索装置还包括：第一处理子模块、第一计算子模块、第二处理子模块。其中第一处理子模块用于确定所述目标数据与所述数据集中各数据的语义分布向量；第一计算子模块用于根据所述目标数据与所述数据集中各数据的语义分布向量计算所述语义相似度；第二处理子模块用于确定所述语义相似度最高的至少一项数据作为目标检索数据。
在一些实施方式中，检索装置还包括：第一获取子模块、第一映射子模块、第三处理子模块。其中，第一获取子模块用于获取所述目标数据与所述数据集中各数据的特征向量；第一映射子模块用于将所述目标数据与所述数据集中各数据的特征向量进行关联映射；第三处理子模块用于根据所述关联映射结果确定所述目标数据与所述数据集中各数据的语义分布向量。
在一些实施方式中，检索装置还包括：第二获取子模块、第一对比子模块、第四处理子模块。其中，第二获取子模块用于获取所述目标数据的第一语义类别；第一对比子模块用于将所述第一语义类别与第二语义类别进行对比，其中，所述第二语义类别为所述目标检索数据中各数据对应的语义类别；第四处理子模块用于根据对比结果确定所述检索结果。
在一些实施方式中，检索装置还包括：第一判断子模块、第一执行子模块。其中，第一判断子模块用于判断第一检索数据的语义类别与所述第一语义类别是否相同；第一执行子模块用于当所述第一检索数据的语义类别与所述第一语义类别相同时，确定所述第一检索数据为所述检索结果。
在一些实施方式中，检索装置还包括：第五处理子模块、第一输入子模块、第二计算子模块。其中，第五处理子模块用于对所述文本数据进行文本处理以得到词数据，所述文本处理的方法包括分词处理和去除停用词；第一输入子模块用于将所述词数据输入到预训练的词向量模型中，根据所述词向量模型的输出结果确定所述词数据的词向量；第二计算子模块用于根据所述词向量计算所述文本数据的特征向量。
在一些实施方式中，检索装置还包括：第六处理子模块、第二输入子模块。其中，第六处理子模块用于对图像数据进行图像处理，其中，所述图像处理的方法包括大小调整和归一化处理；第二输入子模块用于将图像处理后的数据输入到预训练的图像向量提取模型中，根据所述图像向量提取模型的输出结果确定所述图像数据的特征向量。
为解决上述技术问题，本发明实施例还提供一种计算机设备。具体请参阅图9，图9为本实施例计算机设备基本结构框图。
如图9所示，计算机设备的内部结构示意图。如图9所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种检索方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种检索方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图8中获取模块2100、处理模块2200和执行模块2300的具体功能，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有检索装置中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述检索方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)等非易失性存储介质，或随机存储记忆体(RandomAccessMemory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种检索方法，其特征在于，包括：
获取目标数据；
计算所述目标数据与预设的数据集中各数据的语义相似度，确定所述数据集中所述语义相似度最高的至少一项数据作为目标检索数据；
根据所述目标数据与所述目标检索数据的语义分类确定检索结果。
2.如权利要求1所述的检索方法，其特征在于，所述计算所述目标数据与预设的数据集中的各项数据的语义相似度，确定所述数据集中所述语义相似度最高的至少一项数据作为目标检索数据，包括：
确定所述目标数据与所述数据集中各数据的语义分布向量；
根据所述目标数据与所述数据集中各数据的语义分布向量计算所述语义相似度；
确定所述语义相似度最高的至少一项数据作为目标检索数据。
3.如权利要求2所述的检索方法，其特征在于，所述确定所述目标数据与所述数据集中各数据的语义分布向量，包括：
获取所述目标数据与所述数据集中各数据的特征向量；
将所述目标数据与所述数据集中各数据的特征向量进行关联映射；
根据所述关联映射结果确定所述目标数据与所述数据集中各数据的语义分布向量。
4.如权利要求1所述的检索方法，其特征在于，所述根据所述目标数据与所述目标检索数据的语义分类确定检索结果，包括：
获取所述目标数据的第一语义类别；
将所述第一语义类别与第二语义类别进行对比，其中，所述第二语义类别为所述目标检索数据中各数据对应的语义类别；
根据对比结果确定所述检索结果。
5.如权利要求4所述的检索方法，其特征在于，所述第二语义类别包括第一检索数据的语义类别，所述第一检索数据为所述目标检索数据中与所述目标数据语义相似度最高的数据，所述根据对比结果确定所述检索结果，包括：
判断第一检索数据的语义类别与所述第一语义类别是否相同；
当所述第一检索数据的语义类别与所述第一语义类别相同时，确定所述第一检索数据为所述检索结果。
6.如权利要求3所述的检索方法，其特征在于，所述目标数据和数据集至少一项为文本数据，所述获取所述目标数据与所述数据集中各数据的特征向量之前还包括提取文本数据的特征向量，所述提取文本数据的特征向量，包括：
对所述文本数据进行文本处理以得到词数据，所述文本处理的方法包括分词处理和去除停用词；
将所述词数据输入到预训练的词向量模型中，根据所述词向量模型的输出结果确定所述词数据的词向量；
根据所述词向量计算所述文本数据的特征向量。
7.如权利要求3所述的检索方法，其特征在于，所述目标数据和所述数据集至少一项为图像数据，所述获取所述目标数据与所述数据集中各数据的特征向量之前还包括提取图像数据的特征向量，所述提取图像数据的特征向量，包括：
对图像数据进行图像处理，其中，所述图像处理的方法包括大小调整和归一化处理；
将图像处理后的数据输入到预训练的图像向量提取模型中，根据所述图像向量提取模型的输出结果确定所述图像数据的特征向量。
8.一种检索装置，其特征在于，包括：
获取模块，用于获取目标数据；
处理模块，用于计算所述目标数据与预设的数据集中各数据的语义相似度，确定所述数据集中所述语义相似度最高的至少一项数据作为目标检索数据；
执行模块，用于根据所述目标数据与所述目标检索数据的语义分类确定检索结果。
9.一种计算机设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述权利要求1-7任意一项所述的检索方法。
10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种检索方法，所述方法包括上述权利要求1-7任意一项所述的检索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010676786.4A CN111813967B (zh) | 2020-07-14 | 2020-07-14 | 检索方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010676786.4A CN111813967B (zh) | 2020-07-14 | 2020-07-14 | 检索方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111813967A true CN111813967A (zh) | 2020-10-23 |
| CN111813967B CN111813967B (zh) | 2024-01-30 |
Family
ID=72865054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010676786.4A Active CN111813967B (zh) | 2020-07-14 | 2020-07-14 | 检索方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111813967B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020156763A1 (en) * | 2000-03-22 | 2002-10-24 | Marchisio Giovanni B. | Extended functionality for an inverse inference engine based web search |
| CN108388639A (zh) * | 2018-02-26 | 2018-08-10 | 武汉科技大学 | 一种基于子空间学习与半监督正则化的跨媒体检索方法 |
| CN108595546A (zh) * | 2018-04-09 | 2018-09-28 | 武汉科技大学 | 基于半监督的跨媒体特征学习检索方法 |
| CN109284414A (zh) * | 2018-09-30 | 2019-01-29 | 中国科学院计算技术研究所 | 基于语义保持的跨模态内容检索方法和系统 |
| CN110110122A (zh) * | 2018-06-22 | 2019-08-09 | 北京交通大学 | 基于多层语义深度哈希算法的图像-文本跨模态检索 |
| CN110472090A (zh) * | 2019-08-20 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 基于语义标签的图像检索方法以及相关装置、存储介质 |
| CN110765286A (zh) * | 2019-09-09 | 2020-02-07 | 卓尔智联(武汉)研究院有限公司 | 跨媒体检索方法、装置、计算机设备和存储介质 |
| CN110866129A (zh) * | 2019-11-01 | 2020-03-06 | 中电科大数据研究院有限公司 | 一种基于跨媒体统一表征模型的跨媒体检索方法 |
| CN110990597A (zh) * | 2019-12-19 | 2020-04-10 | 中国电子科技集团公司信息科学研究院 | 基于文本语义映射的跨模态数据检索系统及其检索方法 |
-
2020
- 2020-07-14 CN CN202010676786.4A patent/CN111813967B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020156763A1 (en) * | 2000-03-22 | 2002-10-24 | Marchisio Giovanni B. | Extended functionality for an inverse inference engine based web search |
| CN108388639A (zh) * | 2018-02-26 | 2018-08-10 | 武汉科技大学 | 一种基于子空间学习与半监督正则化的跨媒体检索方法 |
| CN108595546A (zh) * | 2018-04-09 | 2018-09-28 | 武汉科技大学 | 基于半监督的跨媒体特征学习检索方法 |
| CN110110122A (zh) * | 2018-06-22 | 2019-08-09 | 北京交通大学 | 基于多层语义深度哈希算法的图像-文本跨模态检索 |
| CN109284414A (zh) * | 2018-09-30 | 2019-01-29 | 中国科学院计算技术研究所 | 基于语义保持的跨模态内容检索方法和系统 |
| CN110472090A (zh) * | 2019-08-20 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 基于语义标签的图像检索方法以及相关装置、存储介质 |
| CN110765286A (zh) * | 2019-09-09 | 2020-02-07 | 卓尔智联(武汉)研究院有限公司 | 跨媒体检索方法、装置、计算机设备和存储介质 |
| CN110866129A (zh) * | 2019-11-01 | 2020-03-06 | 中电科大数据研究院有限公司 | 一种基于跨媒体统一表征模型的跨媒体检索方法 |
| CN110990597A (zh) * | 2019-12-19 | 2020-04-10 | 中国电子科技集团公司信息科学研究院 | 基于文本语义映射的跨模态数据检索系统及其检索方法 |
Non-Patent Citations (3)
| Title |
|---|
| 彭欣;: "基于深度学习的数字图书馆跨媒体语义检索方法研究", 《情报探索》, no. 02, pages 20 - 23 * |
| 邓颖慧: "基于语义关联的微信跨媒体检索研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 1, pages 143 - 45 * |
| 邵杰: "基于深度学习的跨模态检索", 《中国博士学位论文全文数据库 (信息科技辑)》, no. 2, pages 138 - 74 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111813967B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11270225B1 (en) | Methods and apparatus for asynchronous and interactive machine learning using word embedding within text-based documents and multimodal documents | |
| EP3855324A1 (en) | Associative recommendation method and apparatus, computer device, and storage medium | |
| US20190188295A1 (en) | Cognitive searches based on deep-learning neural networks | |
| CN112819023B (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
| US20090299999A1 (en) | Semantic event detection using cross-domain knowledge | |
| US8788503B1 (en) | Content identification | |
| CN111859986B (zh) | 基于多任务孪生网络的语义匹配方法、装置、设备和介质 | |
| CN112395506A (zh) | 一种资讯推荐方法、装置、电子设备和存储介质 | |
| US20170344822A1 (en) | Semantic representation of the content of an image | |
| CN111428028A (zh) | 基于深度学习的信息分类方法及相关设备 | |
| CN111078835A (zh) | 简历评估方法、装置、计算机设备及存储介质 | |
| CN113434716B (zh) | 一种跨模态信息检索方法和装置 | |
| KR101472451B1 (ko) | 디지털 콘텐츠 관리 시스템 및 방법 | |
| CN116150698B (zh) | 一种基于语义信息融合的drg自动分组方法及系统 | |
| CN112070550A (zh) | 基于搜索平台的关键词确定方法、装置、设备及存储介质 | |
| CN111125366A (zh) | 文本分类方法及装置 | |
| CN109086386B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN114625918A (zh) | 视频推荐方法、装置、设备、存储介质及程序产品 | |
| CN114065750A (zh) | 商品信息匹配、发布方法及其装置、设备、介质、产品 | |
| CN114218948A (zh) | 关键词识别方法及其装置、设备、介质、产品 | |
| Qi et al. | Video annotation by active learning and cluster tuning | |
| CN111753514A (zh) | 一种专利申请文本的自动生成方法和装置 | |
| CN111813967B (zh) | 检索方法、装置、计算机设备及存储介质 | |
| CN115292603A (zh) | 商品搜索方法及其装置、设备、介质 | |
| CN114780757A (zh) | 短媒体标签抽取方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |