CN113111206A - 图搜方法、装置、电子设备以及存储介质 - Google Patents
图搜方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN113111206A CN113111206A CN202110421132.1A CN202110421132A CN113111206A CN 113111206 A CN113111206 A CN 113111206A CN 202110421132 A CN202110421132 A CN 202110421132A CN 113111206 A CN113111206 A CN 113111206A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- feature vector
- archive
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000013598 vector Substances 0.000 claims abstract description 223
- 230000009467 reduction Effects 0.000 claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 241000282326 Felis catus Species 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 101100481876 Danio rerio pbk gene Proteins 0.000 description 1
- 101100481878 Mus musculus Pbk gene Proteins 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Library & Information Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种图搜方法、装置、电子设备以及存储介质，该方法包括：获取待测的图像；对待测的图像进行解析，获取待测的图像的特征信息，其中，特征信息包括第一特征向量和第二特征向量，第一特征向量为第二特征向量的降维特征向量；根据待测的图像的第一特征向量，从待测的图像对应的业务库中确定与待测的图像匹配的至少一个第一档案；根据待测的图像的第二特征向量，从至少一个第一档案中确定待测的图像的搜索结果。与现有技术相比，由于先采用降维特征向量进行粗对比，再对粗对比筛选出的档案进行精细对比，从而可以避免全部采用精细对比筛选档案，进而提高了图搜的分析速度。
Description
技术领域
本发明涉及图像检测技术领域，尤其涉及一种图搜方法、装置、电子设备以及存储介质。
背景技术
图像聚类是指以图像中的对象为目标，通过对超大规模目标特征向量计算和分析，实现相同或相似目标集合归类的视频图像分析技术。
现有技术中的图搜过程，通常将待测图像和已聚类的目标档案进行1：N比对，从而实现档案检索。具体的，在比对中都是采用的暴力比对模式，将待测图像提取的特征向量与每个档案的类中心特征向量进行比对，计算相似度，从而确定待测图像对应的目标聚类。
然而，在实际比对中，由于聚类的档案通常达到数亿规模，采用类中心特征向量进行比对的速度较慢，从而导致图搜(即：以图搜图、以图搜档)的速度较慢。
发明内容
本申请实施例提供一种图搜方法、装置、电子设备以及存储介质，以解决现有技术中图搜的速度较慢的问题。
第一方面，本申请实施例提供一种图搜方法，包括：
获取待测的图像；
对所述待测的图像进行解析，获取所述待测的图像的特征信息，其中，所述特征信息包括第一特征向量和第二特征向量，所述第一特征向量为所述第二特征向量的降维特征向量；
根据所述待测的图像的第一特征向量，从所述待测的图像对应的业务库中确定与所述待测的图像匹配的至少一个第一档案；
根据所述待测的图像的第二特征向量，从所述至少一个第一档案中确定所述待测的图像的搜索结果。
一种可选的实施方式中，所述特征信息还包括类型属性，在所述从所述待测的图像对应的业务库中确定与所述待测的图像匹配的至少一个第一档案之前，所述方法包括：
根据所述待测的图像的类型属性，确定所述待测的图像对应的业务库。
一种可选的实施方式中，所述类型属性包括图中对象的性别属性和/或图中对象的年龄段属性。
一种可选的实施方式中，所述从所述待测的图像对应的业务库中确定与所述待测的图像匹配的至少一个第一档案，包括：
确定所述待测的图像的第一特征向量与所述待测的图像对应的业务库中的档案的第一特征向量之间的第一相似度；
根据所述第一相似度，从所述待测的图像对应的业务库中确定与所述待测的图像匹配的至少一个第一档案。
一种可选的实施方式中，根据所述待测的图像的第二特征向量，从所述至少一个第一档案中确定所述待测的图像的搜索结果，包括：
确定所述待测的图像的第二特征向量与所述至少一个第一档案的第三特征向量之间的第二相似度，所述第三特征向量为同一档案中不同图像的第二特征向量对应的综合特征向量；
根据所述第二相似度，从所述至少一个第一档案中确定出至少一个第二档案，作为所述待测的图像的搜索结果。
一种可选的实施方式中，在所述从所述至少一个第一档案中确定出至少一个第二档案后，所述方法还包括：
确定所述待测的图像的第二特征向量与所述至少一个第二档案的多张封面图像的第二特征向量之间的第三相似度；
根据所述第三相似度，分别确定所述至少一个第二档案的多张封面图像的权重；
根据所述至少一个第二档案的多张封面图像的权重，对所述至少一个第二档案进行排序。
一种可选的实施方式中，在所述获取待测的图像之前，所述方法还包括：
获取已聚类的档案；
从所述已聚类的档案的第二特征向量中提取所述已聚类的档案的第一特征向量；
根据所述已聚类的档案对应的类型属性，将所述已聚类的档案的第一特征向量保存在不同的业务库中。
一种可选的实施方式中，所述从所述已聚类的档案的第二特征向量中提取所述已聚类的档案的第一特征向量，包括：
根据特征向量降维算法，从所述已聚类的档案的第二特征向量中提取所述已聚类的档案的第一特征向量。
第二方面，本申请实施例提供一种图搜装置，包括：
获取模块，用于获取待测的图像；
解析模块，用于对所述待测的图像进行解析，获取所述待测的图像的特征信息，其中，所述特征信息包括第一特征向量和第二特征向量，所述第一特征向量为所述第二特征向量的降维特征向量；
匹配模块，用于根据所述待测的图像的第一特征向量，从所述待测的图像对应的业务库中确定与所述待测的图像匹配的至少一个第一档案；根据所述待测的图像的第二特征向量，从所述至少一个第一档案中确定所述待测的图像的搜索结果。
一种可选的实施方式中，所述特征信息还包括类型属性，所述匹配模块，还用于根据所述待测的图像的类型属性，确定所述待测的图像对应的业务库。
一种可选的实施方式中，所述类型属性包括图中对象的性别属性和/或图中对象的年龄段属性。
一种可选的实施方式中，所述匹配模块，具体用于确定所述待测的图像的第一特征向量与所述待测的图像对应的业务库中的档案的第一特征向量之间的第一相似度；根据所述第一相似度，从所述待测的图像对应的业务库中确定与所述待测的图像匹配的至少一个第一档案。
一种可选的实施方式中，所述匹配模块，具体用于确定所述待测的图像的第二特征向量与所述至少一个第一档案的第三特征向量之间的第二相似度，所述第三特征向量为同一档案中不同图像的第二特征向量对应的综合特征向量；根据所述第二相似度，从所述至少一个第一档案中确定出至少一个第二档案，作为所述待测的图像的搜索结果。
一种可选的实施方式中，所述匹配模块，还用于确定所述待测的图像的第二特征向量与所述至少一个第二档案的多张封面图像的第二特征向量之间的第三相似度；根据所述第三相似度，分别确定所述至少一个第二档案的多张封面图像的权重；根据所述至少一个第二档案的多张封面图像的权重，对所述至少一个第二档案进行排序。
一种可选的实施方式中，所述装置还包括：
建库模块，用于获取已聚类的档案；从所述已聚类的档案的第二特征向量中提取所述已聚类的档案的第一特征向量；根据所述已聚类的档案对应的类型属性，将所述已聚类的档案的第一特征向量保存在不同的业务库中。
一种可选的实施方式中，所述建库模块，具体用于根据特征向量降维算法，从所述已聚类的档案的第二特征向量中提取所述已聚类的档案的第一特征向量。
第三方面，本申请还提供一种电子设备，包括：
存储器与处理器；
所述存储器，用于存储所述处理器的可执行指令；
所述处理器配置为经由执行所述可执行指令来执行第一方面所述的方法。
第四方面，本发明还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任意一种可能的方法。
本申请实施例提供的图搜方法、装置、电子设备以及存储介质，首先获取待测的图像，其次，对待测的图像进行解析，获取待测的图像的特征信息，其中，特征信息包括第一特征向量和第二特征向量，第一特征向量为第二特征向量的降维特征向量。再次，根据待测的图像的第一特征向量，从待测的图像对应的业务库中确定与待测的图像匹配的至少一个第一档案。最后，根据待测的图像的第二特征向量，从至少一个第一档案中确定待测的图像的搜索结果。与现有技术相比，由于先采用降维特征向量进行粗对比，再对粗对比筛选出的档案进行精细对比，从而可以避免全部采用精细对比筛选档案，进而提高了图搜的分析速度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图搜方法的应用场景示意图；
图2为本申请实施例提供的一种图搜方法的流程示意图；
图3为本申请实施例提供的一种图搜的原理示意图；
图4为本申请实施例提供的另一种图搜方法的流程示意图；
图5为本申请实施例提供的再一种图搜方法的流程示意图；
图6为本申请实施例提供的一种图搜装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先对本申请涉及的一些名词进行解释。
长特征向量：通过专用的比对算法，从图片中提取出的一串固定长度的特征数值。该特征数值具有表达特点的能力，用于比对计算，是在能保证精度及准确性下的高维特征向量。
短特征向量：通过照降维算法对长特征进行降维形成的低维特征向量，以降低比对的计算开销。
聚类档案：通过聚类形成的每一分类档案，一般包括档案编号、类中心特征向量、类封面图片、类时空轨迹等信息。
档案封面图片：封面图片是各个聚类档案中按照图像质量分值选取的若干张图片。
现有技术中的图搜过程，通常将待测图像和已聚类的目标档案进行1：N比对，从而实现档案检索。具体的，在比对中都是采用的暴力比对模式，将待测图像提取的特征向量与每个档案的类中心特征向量进行比对，计算相似度，从而确定待测图像对应的目标聚类。然而，在实际比对中，由于聚类的档案通常达到数亿规模，采用类中心特征向量进行比对的速度较慢，从而导致图搜(即：以图搜图、以图搜档)的速度较慢。
为解决上述问题，本申请提供了一种图搜方法、装置、电子设备以及存储介质，以解决现有技术中图搜的速度较慢的问题。相比于现有技术，本申请先通过降维特征向量进行粗对比，从业务库筛选出一部分档案，再采用维度较高的特征向量对档案进行精细对比。相比于全部采用精细对比筛选档案，由于采用降维特征向量进行粗对比时的运算量较低，本申请中先进行粗对比再进行精细对比，可以降低运算开销，进而提高图搜的速度。
下面对本申请的应用场景进行说明。
图1为本申请实施例提供的一种图搜方法的应用场景示意图。如图1所示，用户在使用终端设备101时，若需要进行图像的检测，则可以通过终端设备101拍摄用户的图像。随后，终端设备101将拍摄到的用户的图像发送给服务器102。服务器102提取用户的图像中的特征信息，并根据特征信息从业务库中筛选出与用户的图像匹配的档案。最后，服务器102可以将与用户的图像匹配的档案发送给终端设备101。
其中，终端设备101、可以是手机(mobile phone)、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、远程手术(remote medicalsurgery)中的无线终端、智能电网(smart grid)中的无线终端、智慧家庭(smart home)中的无线终端等。本申请实施例中，用于实现终端的功能的装置可以是终端设备，也可以是能够支持终端实现该功能的装置，例如芯片系统，该装置可以被安装在终端设备中。本申请实施例中，芯片系统可以由芯片构成，也可以包括芯片和其他分立器件。
需要说明的是，本申请技术方案的应用场景可以是图1中的场景，但并不限于此，还可以应用于其他需要进行图搜的场景，例如，支付的场景等。
可以理解，上述图搜方法可以通过本申请实施例提供的图搜装置实现，图搜装置可以是某个设备的部分或全部，例如为上述服务器或服务器的芯片。
下面以集成或安装有相关执行代码的服务器为例，以具体地实施例对本申请实施例的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请实施例提供的一种图搜方法的流程示意图，图3为本申请实施例提供的一种图搜的原理示意图，本实施例涉及的是服务器如何进行图搜的具体过程。本申请的执行主体为服务器。如图2和图3所示，该方法包括：
S201、获取待测的图像。
应理解，本申请实施例对于如何获取待测的图像不做限制，在一些实施例中，终端设备可以拍摄待测的图像，并将待测的图像发送给服务器，以便服务器可以获取到待测的图像。在另一些实施例中，终端设备可以向服务器发送图像，服务器从该图像中截取出的部分对象作为待测的图像。
S202、对待测的图像进行解析，获取待测的图像的特征信息。
在本步骤中，当服务器获取到待测的图像后，可以对待测的图像进行解析，获取待测的图像的特征信息。
需要说明的是，本申请实施例对于如何解析待测的图像不做限制，在一些实施例中，服务器可以将待测的图像输入解析算法模型，并获取解析算法模型输出的待测的图像的特征信息。其中，解析算法模型可以采用常见的图像识别模型，并采用图像进行训练后生成。
下面对于图像的特征信息进行说明。
在一些实施例中，特征信息包括第一特征向量和第二特征向量，第一特征向量为第二特征向量的降维特征向量。
其中，第二特征向量可以为长特征向量，是通过专用的比对算法，从图片中提取出的一串固定长度的特征数值。该特征数值具有表达图像中的对象的特点的能力，用于比对计算。长特征向量是在能保证精度及准确性下的高维特征向量。第一特征向量可以为短特征向量，是通过照降维算法对长特征进行降维形成的低维特征向量，以降低比对的计算开销。
应理解，第一特征向量相比于第二特征向量包含的特征信息较少，示例性的，若预设采集图像上的对象上有240个特征点，其中的60个特征点为关键特征点，则第二特征向量可以包含240个特征点，第一特征向量可以包含60个关键特征点。
此外，在一些实施例中，图像的特征信息包含类型属性，例如，图中对象的性别属性和/或图中对象的年龄段属性。通过该图像的特征信息可以对存储有档案的第一特征向量的业务库进行划分。
示例性的，根据图中对象的性别属性和图中对象的年龄段属性可以划分6个不同的业务库，包括：未成年公猫(0-1岁)业务库、未成年母猫(0-1岁)业务库、成年公猫(1-8岁)业务库、成年母猫(1-8岁)业务库、老年公猫(8岁以上)业务库和老年母猫(8岁以上)业务库。
下面对于业务库的生成过程进行说明。
在一些实施例中，服务器可以获取已聚类的档案，再从已聚类的档案的第二特征向量中提取已聚类的档案的第一特征向量。最后，服务器根据已聚类的档案对应的类型属性，将已聚类的档案的第一特征向量保存在不同的业务库中。
在一些实施例中，在业务库中保存已聚类的档案的第一特征向量后，还可以在业务库中建立第一特征向量和第二特征向量之间的关联标签，以便通过第一特征向量可以快速找到对应的第二特征向量。
需要说明的是，本申请实施例对于如何从第二特征向量中提取第一特征向量不做限制，示例性的，服务器可以根据特征向量降维算法，从已聚类的档案的第二特征向量中提取已聚类的档案的第一特征向量。
S203、根据待测的图像的第一特征向量，从待测的图像对应的业务库中确定与待测的图像匹配的至少一个第一档案。
在本步骤中，当获取待测的图像的特征信息之后，可以根据待测的图像的第一特征向量，从待测的图像对应的业务库中确定与待测的图像匹配的至少一个第一档案。
在一些实施例中，待测的图像对应的业务库可以根据类型属性进行确定。示例性的，若待测的图像的性别属性为男性，年龄段属性为18-60岁，则服务器可以确定待测的图像对应的业务库为男性成年业务库。
在本申请中，通过类型属性可以对不同业务库中的档案进行信息过滤，从而将图像的检测过程缩小到对应的业务库中，以进一步提高图像的检测速度。
下面对于如何在业务库中确定与待测的图像匹配的至少一个第一档案进行说明。
在一些实施例中，服务器可以先确定待测的图像的第一特征向量与待测的图像对应的业务库中的档案的第一特征向量之间的第一相似度。随后，服务器再根据第一相似度，从待测的图像对应的业务库中确定与待测的图像匹配的至少一个第一档案。
示例性的，服务器可以将待测的图像对应的业务库作为一次比对的样本库，以待测的图片的第一特征向量进行1：N比对的粗搜，以确定待测的图像的第一特征向量与待测的图像对应的业务库中的档案的第一特征向量之间的第一相似度。随后，将第一相似度和第一阈值进行比较，以快速定位第一相似度符合第一阈值范围的TOPt个第一档案。
需要说明的是，第一阈值范围以及t可以根据实际情况具体设置，示例性的，第一阈值范围可以为80％以上，t可以为业务库中档案数量的10％-20％。
S204、根据待测的图像的第二特征向量，从至少一个第一档案中确定待测的图像的搜索结果。
在本步骤中，当从待测的图像对应的业务库中确定与待测的图像匹配的至少一个第一档案后，还可以根据待测的图像的第二特征向量，从至少一个第一档案中确定待测的图像的搜索结果。
在一些实施例中，服务器可以确定待测的图像的第二特征向量与至少一个第一档案的第三特征向量之间的第二相似度，随后，服务器再根据第二相似度，从至少一个第一档案中确定出至少一个第二档案，作为待测的图像的搜索结果。
其中，第三特征向量为同一档案中不同图像的第二特征向量对应的综合特征向量。例如，类中心的特征向量。
示例性的，服务器提取至少一个第一档案的第三特征向量，以和待测的图像的第二特征向量进行1：N比对，进行精搜比对确定第二相似度，并按照第二相似度S(k)确定新的排序，并提取TOPk个至少一个第二档案作为搜索结果。
需要说明的是，k可以根据实际情况具体设置，示例性的，k的取值可以为5-10。
应理解，在确定搜索结果中包含的档案后，服务器还可以对档案进行排序。在一些实施例中，服务器可以首先确定待测的图像的第二特征向量与至少一个第二档案的多张封面图像的第二特征向量之间的第三相似度。其次，服务器再根据第三相似度，确定至少一个第二档案的多张封面图像的权重。最后，服务器根据至少一个第二档案的多张封面图像的权重，对至少一个第二档案进行排序。
示例性的，服务器可以提取第二档案中的封面图片的第二特征向量，并针对每张封面图片的第二特征向量与待测的图片的第二特征向量进行1：1比对，提取相第三似度值S(τ)。随后，服务器可以通过第三相似度权重公式(1)计算第k个第二档案的权重分值H(k)。最后，服务器可以以权重分值H(k)进行k个第二档案的排序。其中，公式(1)如下所示：
H(k)＝S(k)x50％+S(τ1)x30％+S(τ2)x20％+S(τ3)x10％ (1)
需要说明的是，本申请实施例中档案的封面图像的数量不做限制，示例性，公式(1)中τ的取值为3，在实际应用中，τ的取值还可以为4、5等。
应理解，本申请实施例确定的待测的图像的搜索结果可以为一个档案，也可以为多个档案。当搜索结果为多个档案时，服务器可以将搜索结果中所有档案发送给终端设备，可以也可以按照档案的顺序发送预设数量的档案给终端设备，还可以发送给排序最高的档案给终端设备，本申请实施例对此不做限制。
本申请采用降维特征以快速定位目标档案区域，随后再小范围的目标档案区域内采用高纬度特征进行二次对比确定搜索结果，从而提高了分析的速度。同时，还通过提取封面图片进行复核加权的方法确保检测准确性，以此在保证提高检测速度的同时保证搜索结果首位命中的准确性。
本申请实施例提供的图搜方法，首先获取待测的图像，其次，对待测的图像进行解析，获取待测的图像的特征信息，其中，特征信息包括第一特征向量和第二特征向量，第一特征向量为第二特征向量的降维特征向量。再次，根据待测的图像的第一特征向量，从待测的图像对应的业务库中确定与待测的图像匹配的至少一个第一档案。最后，根据待测的图像的第二特征向量，从至少一个第一档案中确定待测的图像的搜索结果。与现有技术相比，由于先采用降维特征向量进行粗对比，再对粗对比筛选出的档案进行精细对比，从而可以避免全部采用精细对比筛选档案，进而提高了图搜的速度。
在上述实施例的基础上，下面对于如何确定待测的图像的搜索结果进行更详细的说明。图4为本申请实施例提供的另一种图搜方法的流程示意图，如图4所示，该方法包括：
S301、获取待测的图像。
S302、对待测的图像进行解析，获取待测的图像的特征信息，特征信息包括第一特征向量、第二特征向量和类型属性，第一特征向量为第二特征向量的降维特征向量。
S303、根据待测的图像的类型属性，确定待测的图像对应的业务库。
S304、确定待测的图像的第一特征向量与待测的图像对应的业务库中的档案的第一特征向量之间的第一相似度。
S305、根据第一相似度，从待测的图像对应的业务库中确定与待测的图像匹配的至少一个第一档案。
S306、确定待测的图像的第二特征向量与至少一个第一档案的第三特征向量之间的第二相似度，第三特征向量为同一档案中不同图像的第二特征向量对应的综合特征向量。
S307、根据第二相似度，从至少一个第一档案中确定出至少一个第二档案，作为待测的图像的搜索结果。
S308、确定待测的图像的第二特征向量与至少一个第二档案的多张封面图像的第二特征向量之间的第三相似度。
S309、根据第三相似度，确定至少一个第二档案的多张封面图像的权重。
S310、根据至少一个第二档案的多张封面图像的权重，对至少一个第二档案进行排序。
在上述实施例的基础上，下面对于如何生成业务库更详细的说明。图5为本申请实施例提供的再一种图搜方法的流程示意图，如图5所示，该方法包括：
S401、获取已聚类的档案。
S402、从已聚类的档案的第二特征向量中提取已聚类的档案的第一特征向量。
本申请实施例对于如何提取已聚类的档案的第一特征向量不做限制，在一些实施例中，服务器可以根据特征向量降维算法，从已聚类的档案的第二特征向量中提取已聚类的档案的第一特征向量。
其中，特征向量降维算法可以为主成分分析(principal component analysis，PCA)算法。
S403、根据已聚类的档案对应的类型属性，将已聚类的档案的第一特征向量保存在不同的业务库中。
示例性的，根据图中对象的性别属性和图中对象的年龄段属性可以划分6个不同的业务库，包括：未成年公猫(0-1岁)业务库、未成年母猫(0-1岁)业务库、成年公猫(1-8岁)业务库、成年母猫(1-8岁)业务库、老年公猫(8岁以上)业务库和老年母猫(8岁以上)业务库。
服务器可以参照上6个不同的业务库，基于述性别属性和年龄段属性，将将已聚类的档案的第一特征向量保存在不同的业务库中。
在一些实施例中，在业务库中保存已聚类的档案的第一特征向量后，还可以在业务库中建立第一特征向量和第二特征向量之间的关联标签，以便快速找对对应的第二特征向量。
本申请实施例提供的图搜方法，首先获取待测的图像，其次，对待测的图像进行解析，获取待测的图像的特征信息，其中，特征信息包括第一特征向量和第二特征向量，第一特征向量为第二特征向量的降维特征向量。再次，根据待测的图像的第一特征向量，从待测的图像对应的业务库中确定与待测的图像匹配的至少一个第一档案。最后，根据待测的图像的第二特征向量，从至少一个第一档案中确定待测的图像的搜索结果。与现有技术相比，由于先采用降维特征向量进行粗对比，再对粗对比筛选出的档案进行精细对比，从而可以避免全部采用精细对比筛选档案，进而提高了图搜的速度。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图6为本申请实施例提供的一种图搜装置的结构示意图。该图搜装置可以通过软件、硬件或者两者的结合实现，可例如上述实施例中的服务器或服务器的芯片，以执行上述实施例中的图搜方法。如图6所示，该图搜装置500包括：获取模块501、解析模块502、匹配模块503和建库模块504。
获取模块501，用于获取待测的图像；
解析模块502，用于对待测的图像进行解析，获取待测的图像的特征信息，其中，特征信息包括第一特征向量和第二特征向量，第一特征向量为第二特征向量的降维特征向量；
匹配模块503，用于根据待测的图像的第一特征向量，从待测的图像对应的业务库中确定与待测的图像匹配的至少一个第一档案；根据待测的图像的第二特征向量，从至少一个第一档案中确定待测的图像的搜索结果。
一种可选的实施方式中，特征信息还包括类型属性，匹配模块503，还用于根据待测的图像的类型属性，确定待测的图像对应的业务库。
一种可选的实施方式中，类型属性包括图中对象的性别属性和/或图中对象的年龄段属性。
一种可选的实施方式中，匹配模块503，具体用于确定待测的图像的第一特征向量与待测的图像对应的业务库中的档案的第一特征向量之间的第一相似度；根据第一相似度，从待测的图像对应的业务库中确定与待测的图像匹配的至少一个第一档案。
一种可选的实施方式中，匹配模块503，具体用于确定待测的图像的第二特征向量与至少一个第一档案的第三特征向量之间的第二相似度，第三特征向量为同一档案中不同图像的第二特征向量对应的综合特征向量；根据第二相似度，从至少一个第一档案中确定出至少一个第二档案，作为待测的图像的搜索结果。
一种可选的实施方式中，匹配模块503，还用于确定待测的图像的第二特征向量与至少一个第二档案的多张封面图像的第二特征向量之间的第三相似度；根据第三相似度，确定至少一个第二档案的多张封面图像的权重；根据至少一个第二档案的多张封面图像的权重，对至少一个第二档案进行排序。
一种可选的实施方式中，图搜装置500还包括：
建库模块504，用于获取已聚类的档案；从已聚类的档案的第二特征向量中提取已聚类的档案的第一特征向量；根据已聚类的档案对应的类型属性，将已聚类的档案的第一特征向量保存在不同的业务库中。
一种可选的实施方式中，建库模块504，具体用于根据特征向量降维算法，从已聚类的档案的第二特征向量中提取已聚类的档案的第一特征向量。
本申请实施例提供的图搜装置，可以执行上述方法实施例中的图搜方法，其实现原理和技术效果类似，在此不再赘述。
图7为本申请实施例提供的一种电子设备的结构示意图。如图7所示，该电子设备可以包括：至少一个处理器601和存储器602。图7示出的是以一个处理器为例的电子设备。
存储器602，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器602可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器601用于执行存储器602存储的计算机执行指令，以实现上述图搜方法；
其中，处理器601可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选的，在具体实现上，如果通信接口、存储器602和处理器601独立实现，则通信接口、存储器602和处理器601可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果通信接口、存储器602和处理器601集成在一块芯片上实现，则通信接口、存储器602和处理器601可以通过内部接口完成通信。
本申请实施例还提供了一种芯片，包括处理器和接口。其中接口用于输入输出处理器所处理的数据或指令。处理器用于执行以上方法实施例中提供的方法。该芯片可以应用于图搜装置中。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序信息，程序信息用于上述图搜方法。
本申请实施例还提供一种程序，该程序在被处理器执行时用于执行以上方法实施例提供的图搜方法。
本申请实施例还提供一种程序产品，例如计算机可读存储介质，该程序产品中存储有指令，当其在计算机上运行时，使得计算机执行上述方法实施例提供的图搜方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (11)
1.一种图搜方法，其特征在于，所述方法包括：
获取待测的图像；
对所述待测的图像进行解析，获取所述待测的图像的特征信息，其中，所述特征信息包括第一特征向量和第二特征向量，所述第一特征向量为所述第二特征向量的降维特征向量；
根据所述待测的图像的第一特征向量，从所述待测的图像对应的业务库中确定与所述待测的图像匹配的至少一个第一档案；
根据所述待测的图像的第二特征向量，从所述至少一个第一档案中确定所述待测的图像的搜索结果。
2.根据权利要求1所述的方法，其特征在于，所述特征信息还包括类型属性，在所述从所述待测的图像对应的业务库中确定与所述待测的图像匹配的至少一个第一档案之前，所述方法包括：
根据所述待测的图像的类型属性，确定所述待测的图像对应的业务库。
3.根据权利要求2所述的方法，其特征在于，所述类型属性包括图中对象的性别属性和/或图中对象的年龄段属性。
4.根据权利要求1所述的方法，其特征在于，所述从所述待测的图像对应的业务库中确定与所述待测的图像匹配的至少一个第一档案，包括：
确定所述待测的图像的第一特征向量与所述待测的图像对应的业务库中的档案的第一特征向量之间的第一相似度；
根据所述第一相似度，从所述待测的图像对应的业务库中确定与所述待测的图像匹配的至少一个第一档案。
5.根据权利要求1所述的方法，其特征在于，根据所述待测的图像的第二特征向量，从所述至少一个第一档案中确定所述待测的图像的搜索结果，包括：
确定所述待测的图像的第二特征向量与所述至少一个第一档案的第三特征向量之间的第二相似度，所述第三特征向量为同一档案中不同图像的第二特征向量对应的综合特征向量；
根据所述第二相似度，从所述至少一个第一档案中确定出至少一个第二档案，作为所述待测的图像的搜索结果。
6.根据权利要求5所述的方法，其特征在于，在所述从所述至少一个第一档案中确定出至少一个第二档案后，所述方法还包括：
确定所述待测的图像的第二特征向量与所述至少一个第二档案的多张封面图像的第二特征向量之间的第三相似度；
根据所述第三相似度，分别确定所述至少一个第二档案的多张封面图像的权重；
根据所述至少一个第二档案的多张封面图像的权重，对所述至少一个第二档案进行排序。
7.根据权利要求1所述的方法，其特征在于，在所述获取待测的图像之前，所述方法还包括：
获取已聚类的档案；
从所述已聚类的档案的第二特征向量中提取所述已聚类的档案的第一特征向量；
根据所述已聚类的档案对应的类型属性，将所述已聚类的档案的第一特征向量保存在不同的业务库中。
8.根据权利要求7所述的方法，其特征在于，所述从所述已聚类的档案的第二特征向量中提取所述已聚类的档案的第一特征向量，包括：
根据特征向量降维算法，从所述已聚类的档案的第二特征向量中提取所述已聚类的档案的第一特征向量。
9.一种图搜装置，其特征在于，所述装置包括：
获取模块，用于获取待测的图像；
解析模块，用于对所述待测的图像进行解析，获取所述待测的图像的特征信息，其中，所述特征信息包括第一特征向量和第二特征向量，所述第一特征向量为所述第二特征向量的降维特征向量；
匹配模块，用于根据所述待测的图像的第一特征向量，从所述待测的图像对应的业务库中确定与所述待测的图像匹配的至少一个第一档案；根据所述待测的图像的第二特征向量，从所述至少一个第一档案中确定所述待测的图像的搜索结果。
10.一种电子设备，其特征在于，包括：存储器与处理器；
所述存储器，用于存储所述处理器的可执行指令；
所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110421132.1A CN113111206A (zh) | 2021-04-19 | 2021-04-19 | 图搜方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110421132.1A CN113111206A (zh) | 2021-04-19 | 2021-04-19 | 图搜方法、装置、电子设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113111206A true CN113111206A (zh) | 2021-07-13 |
Family
ID=76718603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110421132.1A Pending CN113111206A (zh) | 2021-04-19 | 2021-04-19 | 图搜方法、装置、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113111206A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116701306A (zh) * | 2023-08-07 | 2023-09-05 | 浙江星汉信息技术股份有限公司 | 一种用于档案的智能分拣与归档管理方法与系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170329804A1 (en) * | 2016-05-10 | 2017-11-16 | Libo Fu | Method And Apparatus Of Generating Image Characteristic Representation Of Query, And Image Search Method And Apparatus |
| CN109800674A (zh) * | 2018-12-28 | 2019-05-24 | 上海依图网络科技有限公司 | 一种归档方法及装置 |
| CN110110113A (zh) * | 2019-05-20 | 2019-08-09 | 重庆紫光华山智安科技有限公司 | 图像搜索方法、系统及电子装置 |
| CN110674328A (zh) * | 2019-09-27 | 2020-01-10 | 长城计算机软件与系统有限公司 | 一种商标图像检索方法、系统、介质及设备 |
| CN111382287A (zh) * | 2018-12-30 | 2020-07-07 | 浙江宇视科技有限公司 | 一种图片的搜索方法、装置、存储介质及电子设备 |
| CN112651321A (zh) * | 2020-12-21 | 2021-04-13 | 浙江商汤科技开发有限公司 | 档案处理方法、装置及服务器 |
-
2021
- 2021-04-19 CN CN202110421132.1A patent/CN113111206A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170329804A1 (en) * | 2016-05-10 | 2017-11-16 | Libo Fu | Method And Apparatus Of Generating Image Characteristic Representation Of Query, And Image Search Method And Apparatus |
| CN109800674A (zh) * | 2018-12-28 | 2019-05-24 | 上海依图网络科技有限公司 | 一种归档方法及装置 |
| CN111382287A (zh) * | 2018-12-30 | 2020-07-07 | 浙江宇视科技有限公司 | 一种图片的搜索方法、装置、存储介质及电子设备 |
| CN110110113A (zh) * | 2019-05-20 | 2019-08-09 | 重庆紫光华山智安科技有限公司 | 图像搜索方法、系统及电子装置 |
| CN110674328A (zh) * | 2019-09-27 | 2020-01-10 | 长城计算机软件与系统有限公司 | 一种商标图像检索方法、系统、介质及设备 |
| CN112651321A (zh) * | 2020-12-21 | 2021-04-13 | 浙江商汤科技开发有限公司 | 档案处理方法、装置及服务器 |
Non-Patent Citations (1)
| Title |
|---|
| 邓绍兴 等: "《中国档案分类的演变与发展》", 31 October 1992 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116701306A (zh) * | 2023-08-07 | 2023-09-05 | 浙江星汉信息技术股份有限公司 | 一种用于档案的智能分拣与归档管理方法与系统 |
| CN116701306B (zh) * | 2023-08-07 | 2023-10-24 | 浙江星汉信息技术股份有限公司 | 一种用于档案的智能分拣与归档管理方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI677852B (zh) | 一種圖像特徵獲取方法及裝置、電子設備、電腦可讀存儲介質 | |
| CN106446816B (zh) | 人脸识别方法及装置 | |
| US11310559B2 (en) | Method and apparatus for recommending video | |
| CN106547744B (zh) | 一种图像检索方法及系统 | |
| EP3028184B1 (en) | Method and system for searching images | |
| US9063954B2 (en) | Near duplicate images | |
| CN106326391B (zh) | 多媒体资源推荐方法及装置 | |
| CN112889042A (zh) | 机器学习中超参数的识别与应用 | |
| CN109871490B (zh) | 媒体资源匹配方法、装置、存储介质和计算机设备 | |
| CN112559800B (zh) | 用于处理视频的方法、装置、电子设备、介质和产品 | |
| JP5214760B2 (ja) | 学習装置、方法及びプログラム | |
| CN110503143B (zh) | 基于意图识别的阈值选取方法、设备、存储介质及装置 | |
| US20140310314A1 (en) | Matching performance and compression efficiency with descriptor code segment collision probability optimization | |
| CN111143597A (zh) | 图像检索方法、终端及存储装置 | |
| CN110825894A (zh) | 数据索引建立、数据检索方法、装置、设备和存储介质 | |
| CN111708909B (zh) | 视频标签的添加方法及装置、电子设备、计算机可读存储介质 | |
| CN113657087A (zh) | 信息的匹配方法及装置 | |
| CN114902299A (zh) | 图像中关联对象的检测方法、装置、设备和存储介质 | |
| US9424484B2 (en) | Feature interpolation | |
| WO2020119136A1 (zh) | 位置确定 | |
| CN111104572A (zh) | 用于模型训练的特征选择方法、装置及电子设备 | |
| CN113111206A (zh) | 图搜方法、装置、电子设备以及存储介质 | |
| CN116089616A (zh) | 主题文本获取方法、装置、设备及存储介质 | |
| CN113886628A (zh) | 一种图像检索方法、装置及存储介质 | |
| CN112085526A (zh) | 基于用户群的信息匹配方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210713 |
|
| RJ01 | Rejection of invention patent application after publication |