CN111813975A - 一种图像检索方法、装置及电子设备 - Google Patents
一种图像检索方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111813975A CN111813975A CN202010656469.6A CN202010656469A CN111813975A CN 111813975 A CN111813975 A CN 111813975A CN 202010656469 A CN202010656469 A CN 202010656469A CN 111813975 A CN111813975 A CN 111813975A
- Authority
- CN
- China
- Prior art keywords
- image
- hash
- value
- encoding
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种图像检索方法、装置及电子设备，方法包括：获得待检索的第一图像；获得所述第一图像的图像特征信息；至少对所述图像特征信息进行哈希编码，以得到第一哈希编码值；将所述第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到所述编码集合中的目标哈希编码值；其中，所述编码集合中包含多个第二哈希编码值，每个所述第二哈希编码值分别对应于一帧第二图像，所述第二哈希编码值为至少对其所对应的第二图像的图像特征信息进行哈希编码所得到的哈希编码值，所述目标哈希编码值为所述编码集合中与所述第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值；获得所述目标哈希编码值对应的目标图像。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像检索方法、装置及电子设备。
背景技术
目前常用的图像检索方案中，通过对图像内容进行分析，以提取到图像低层特征，如颜色、纹理、形状等，进而再根据这些低层特征进行相似度匹配，以得到相似图像，实现图像检索。
由于这种方案中使用图像的低层特征进行相似度匹配，会因为低层特征的维度较高使得相似度匹配计算量较大，导致图像检索的效率较低。
发明内容
有鉴于此，本申请提供一种图像检索方法、装置及电子设备，如下：
一种图像检索方法，所述方法包括:
获得待检索的第一图像；
获得所述第一图像的图像特征信息；
至少对所述图像特征信息进行哈希编码，以得到第一哈希编码值；
将所述第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到所述编码集合中的目标哈希编码值；
其中，所述编码集合中包含多个第二哈希编码值，每个所述第二哈希编码值分别对应于一帧第二图像，所述第二哈希编码值为至少对其所对应的第二图像的图像特征信息进行哈希编码所得到的哈希编码值，所述目标哈希编码值为所述编码集合中与所述第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值；
获得所述目标哈希编码值对应的目标图像。
上述方法，优选的，所述获得所述第一图像的图像特征信息，包括：
利用基于残差网络构建的网络模型，对所述第一图像进行图像特征提取，以得到所述第一图像的图像特征信息，其中，所述图像特则信息为高层特征信息。
上述方法，优选的，还包括：
获得所述第一图像的图像类别值；
其中，所述至少对所述图像特征信息进行哈希编码，以得到第一哈希编码值，包括：
将所述第一图像的图像特征信息和所述第一图像的图像类别值进行哈希编码，以得到第一哈希编码值。
上述方法，优选的，还包括：
获得所述第一图像的图像类别值；
其中，所述将所述第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到所述编码集合中的目标哈希编码值，包括：
在所述编码集合中，查找与所述第一图像的图像类别值相对应的第二哈希编码值；
将第一哈希编码值与查找到的第二哈希编码值进行相似度计算，以得到目标哈希编码值，所述目标哈希编码值为所述查找到的第二哈希编码值中与所述第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值。
上述方法，优选的，所述将所述第一图像的图像特征信息和所述第一图像的图像类别值进行哈希编码，以得到第一哈希编码值，包括：
将所述第一图像的图像特征信息和所述第一图像的图像类别值利用局部敏感哈希算法进行哈希编码，以得到第一哈希编码值。
上述方法，优选的，所述将所述第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到所述编码集合中的目标哈希编码值，包括：
获得所述第一哈希编码值与编码集合中的第二哈希编码值之间的编码汉明距离；
获得满足相似条件的所述编码汉明距离对应的目标哈希编码值。
一种图像检索装置，装置包括：
图像获得单元，用于获得待检索的第一图像；
特征获得单元，用于获得所述第一图像的图像特征信息；
哈希编码单元，用于至少对所述图像特征信息进行哈希编码，以得到第一哈希编码值；
相似计算单元，用于将所述第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到所述编码集合中的目标哈希编码值；其中，所述编码集合中包含多个第二哈希编码值，每个所述第二哈希编码值分别对应于一帧第二图像，所述第二哈希编码值为至少对其所对应的第二图像的图像特征信息进行哈希编码所得到的哈希编码值，所述目标哈希编码值为所述编码集合中与所述第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值；
目标获得单元，用于获得所述目标哈希编码值对应的目标图像。
上述装置，优选的，所述装置还包括：
类别获得单元，用于获得所述第一图像的图像类别值；
其中，所述哈希编码单元具体用于：将所述第一图像的图像特征信息和所述第一图像的图像类别值进行哈希编码，以得到第一哈希编码值。
上述装置，优选的，所述相似计算单元包括：
第一获取模块，用于获得所述第一哈希编码值与编码集合中的第二哈希编码值之间的编码汉明距离；
第二获取模块，用于获得满足相似条件的所述编码汉明距离对应的目标哈希编码值。
一种电子设备，电子设备包括：
存储器，用于存储应用程序和所述应用程序运行所产生的数据；
处理器，用于执行所述应用程序，以实现：获得待检索的第一图像；获得所述第一图像的图像特征信息；至少对所述图像特征信息进行哈希编码，以得到第一哈希编码值；将所述第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到所述编码集合中的目标哈希编码值；其中，所述编码集合中包含多个第二哈希编码值，每个所述第二哈希编码值分别对应于一帧第二图像，所述第二哈希编码值为至少对其所对应的第二图像的图像特征信息进行哈希编码所得到的哈希编码值，所述目标哈希编码值为所述编码集合中与所述第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值；获得所述目标哈希编码值对应的目标图像。
从上述技术方案可以看出，本申请公开的一种图像检索方法、装置及电子设备中，获得待检索的第一图像；获得所述第一图像的图像特征信息；至少对所述图像特征信息进行哈希编码，以得到第一哈希编码值；将所述第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到所述编码集合中的目标哈希编码值；其中，所述编码集合中包含多个第二哈希编码值，每个所述第二哈希编码值分别对应于一帧第二图像，所述第二哈希编码值为至少对其所对应的第二图像的图像特征信息进行哈希编码所得到的哈希编码值，所述目标哈希编码值为所述编码集合中与所述第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值；获得所述目标哈希编码值对应的目标图像。可见，本申请在获得待检索的图像之后，利用待检索图像的图像特征信息进行哈希编码所得到的哈希编码值进行图像检索，即将哈希编码与编码集合中的哈希编码进行相似度计算，从而得到相似度值满足相似条件的目标图像，由此，本申请中通过对图像特征进行哈希编码，从而使用降维后的哈希编码值进行相似度匹配，从而降低相似度匹配中的计算量，进而达到提高图像检索效率的目的。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种图像检索方法的流程图；
图2为本申请实施例一提供的另一种图像检索方法的流程图；
图3为本申请实施例一提供的一种图像检索方法的部分流程图；
图4为本申请实施例一提供的一种图像检索方法的部分流程图；
图5为本申请实施例二提供的一种图像检索装置的结构示意图；
图6为本申请实施例二提供的一种图像检索装置的部分结构示意图；
图7为本申请实施例二提供的另一种图像检索装置的结构示意图；
图8为本申请实施例三提供的一种电子设备的结构示意图；
图9为本申请实施例提供的Resnet50的网络结构图；
图10为本申请实施例提供的图像检索流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，为本申请实施例一提供的一种图像检索方法的实现流程图，该方法可以适用于能够进行数据处理的电子设备中，如计算机或者服务器等。本实施例中的技术方案主要用于在进行图像检索时，提高图像检索的效率。
在具体实现中，本实施例中的方法可以包括以下步骤：
步骤101：获得待检索的第一图像。
其中，待检索的第一图像是指需要检索相似图像的图像。
具体实现中，本实施例中可以通过接收用户对图像集合中的一帧或多帧图像的输入操作来获得到待检索的第一图像。例如，用户在本申请所实现的图像检索平台的交互界面中选择一帧或者输入一帧打印机的图片，本实施例中对该图片进行获取，并将该图片作为第一图像。
步骤102：获得第一图像的图像特征信息。
其中，第一图像的图像特征信息可以包含有第一图像的低层图像特征，如颜色特征、纹理特征、形状特征等等，或者，第一图像的图像特征信息可以包含有第一图像的高层图像特征，高层图像特征也可以理解为高层语义特征，如人脸特征、肢体特征、文件夹特征、订书器特征、猫狗等特征，或者，第一图像的图像特征信息可以包含有第一图像的低层图像特征和高层图像特征。
具体实现中，本实施例中可以通过对第一图像进行图像特征识别，以提取到第一图像中的图像特征信息，如颜色、纹理、人脸、肢体等特征。
步骤103：至少对图像特征信息进行哈希编码，以得到第一哈希编码值。
其中，哈希编码是将原始特征空间映射到紧凑的二值空间即汉明空间，把连续的实值散列化为二值的0或1。
具体实现中，本实施例中可以至少对第一图像的图像特征信息如高层语义特征等利用局部敏感哈希算法进行哈希编码，以得到第一图像对应的第一哈希编码值，例如，对第一图像的低层图像特征和/或高层语义特征利用局部敏感哈希算法进行哈希编码，得到第一哈希编码值，如001010101。
步骤104：将第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到编码集合中的目标哈希编码值。
其中，编码集合中包含多个第二哈希编码值，每个第二哈希编码值分别对应于一帧第二图像，第二哈希编码值为至少对其所对应的第二图像的图像特征信息进行哈希编码所得到的哈希编码值。基于此，本实施例中将第一哈希编码值与编码集合中的每个第二哈希编码值分别或者依次进行相似度计算，以得到第一哈希编码值与每个第二哈希编码值之间的相似度计算结果，由此，根据这些相似度计算结果获得到目标哈希编码值，而所得到的目标哈希编码值为编码集合中与第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值。
需要说明的是，第一哈希编码值与第二哈希编码值并无先后顺序之分，只是用于区别不同的哈希编码值，这里的第二图像为预先建立好的图像数据集里的图像。
例如，第一哈希编码值为001010101，将第一哈希编码值与编码集合中的每个第二哈希编码值进行相似度计算，得到编码集合中与第一哈希编码值001010101之间的相似度满足相似条件的第二哈希编码值为00000100，那么这个第二哈希编码值00000100就作为目标哈希编码值。
步骤105：获得目标哈希编码值对应的目标图像。
具体实现中，每个第二哈希编码值对应于图像数据集中的一帧第二图像，基于此，本实施例中在获得目标哈希编码值之后，就可以获得到目标哈希编码值对应的目标图像。
例如，获取到的目标哈希编码值为00000100，这个目标哈希编码值对应的图像为一张传真机的照片，那么获取到这张传真机的照片作为目标哈希编码值对应的目标图像。
由上述方案可知，本申请实施例一提供的一种图像检索方法，获得待检索的第一图像；获得第一图像的图像特征信息；至少对图像特征信息进行哈希编码，以得到第一哈希编码值；将第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到编码集合中的目标哈希编码值；其中，编码集合中包含多个第二哈希编码值，每个第二哈希编码值分别对应于一帧第二图像，第二哈希编码值为至少对其所对应的第二图像的图像特征信息进行哈希编码所得到的哈希编码值，目标哈希编码值为编码集合中与第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值；获得目标哈希编码值对应的目标图像。可见，本申请在获得待检索的图像之后，利用待检索图像的图像特征信息进行哈希编码所得到的哈希编码值进行图像检索，即将哈希编码与编码集合中的哈希编码进行相似度计算，从而得到相似度值满足相似条件的目标图像，由此，本申请中通过对图像特征进行哈希编码，从而使用降维后的哈希编码值进行相似度匹配，从而降低相似度匹配中的计算量，进而达到提高图像检索效率的目的。
进一步的，本实施例中为了提高图像检索的准确性，可以在进行哈希编码时，使用图像的高层图像特征进行哈希编码，例如，使用第一图像的高层图像特征进行哈希编码得到第一哈希编码值，而编码集合中的第二哈希编码值同样是对图像数据集中的第二图像的高层图像特征进行哈希编码所得到的哈希编码值，由此，通过高层语义特征来替代低层图像特征，充分将图像的高层视觉特征引入到图像检索中，避免单纯的图像低层特征进行图像检索所带来的检索不准确的情况。
基于此，本实施例中在步骤102中获得第一图像的图像特征信息时，可以通过以下方式实现：
利用基于残差网络构建的网络模型，对第一图像进行图像特征提取，以得到第一图像的图像特征信息，其中，图像特征信息为高层特征信息。
其中，残差网络指的是神经网络的一种网络架构。高层特征信息指的是第一图像的高层语义特征信息，可以理解为：对图像内容的语义理解。例如，由图像低层特征仅仅可以知道这个图像的颜色特征、纹理特征、形状特征等信息，而高层特征信息是在图像低层特征的基础上所形成的概念特征或者含义特征，如人脸或者猫狗等特征。
具体实现中，本实施例中利用基于残差网络结构的网络模型，对第一图像进行特征提取，可以充分利用残差网络容易优化且能够通过增加相当的深度来提高准确性的特点，使得所提取到的图像特征信息能够具有较高的准确性，由此，提高后续图像检索的准确性。
例如，第一图像为一张电脑的照片，基于ResNet50网络构建网络模型，对这张电脑的照片进行图像特征提取，以得到这张图片的高层语义特征。
在本申请实施例一的一种实现方式中，在步骤103之前，本实施例中的方法还可以包括以下步骤，如图2中所示：
步骤106：获得第一图像的图像类别值。
其中，第一图像的图像类别值可以利用分类模型对第一图像进行分类得到，如资料收纳用品类、订装用品类以及文件展示类等等。
具体的，分类模型可以为基于分类算法所构建的神经网络模型，本实施例中可以预先使用具有类别标签的训练样本如第二图像或其他训练图像对分类模型进行训练，使得训练得到的分类模型能够对图像进行分类，以得到图像的图像类别值。
例如，在第二图像作为训练样本时，第二图像具有人工标注的图像类别标签，在训练中至少可以有两种训练方式：
一种训练方式中，本实施例中将第二图像作为分类模型的输入，根据第二图像的图像类别标签与分类模型的输出结果对分类模型的模型参数进行优化；
另一种训练方式中，本实施例中将第二图像的图像特征信息如高层图像特征等作为分类模型的输入，根据第二图像的图像类别标签与分类模型的输出结果对分类模型的模型参数进行优化。
基于此，本实施例中在获得第一图像的图像类别值时，可以按照分类模型所需要的输入数据类型将第一图像或者第一图像的图像特征信息输入到分类模型中，例如：
在一种方式中，本实施例中可以将第一图像输入到分类模型中，由分类模型对第一图像进行图像特征提取并进行分类，以得到第一图像的图像类别值；
在另一种方式中，本实施例中可以先获得第一图像的图像特征信息如高层图像特征，再将第一图像的高层图像特征输入到分类模型中，有分类模型对第一图像的高层图像特征进行分类，以得到第一图像的图像类别值。
基于此，本所述中步骤103中在至少对图像特征信息进行哈希编码，以得到第一哈希编码值时，可以通过以下方式实现：
将第一图像的图像特征信息和第一图像的图像类别值进行哈希编码，以得到第一哈希编码值。
具体实现中，本实施例中可以将待检索的第一图像的高层图像特征和第一图像的图像类别值一起进行哈希编码，以得到第一哈希编码值。例如，针对第一图像，可以利用ResNet50网络构建网络模型对第一图像提取到的高层图像特征，如订书钉等，并且利用分类模型对高层图像特征进行分类，以获取到的第一图像的图像类别值，如订装用品类，基于此，将第一图像的高层图像特征如订书钉和图像类别值如订装用品类进行哈希编码，得到第一哈希编码值为01000100。
需要说明的是，编码集合中每个第二哈希编码值可以为：对第二图像的图像特征信息和第二图像的图像类别标签进行哈希编码所得到的哈希编码值。其中，第二图像的图像特征信息可以利用基于残差网络所构建的网络模型对第二图像进行图像特征提取得到，第二图像的图像类别标签可以为人工设置或者可以为通过分类模型进行分类得到。例如，第二图像对应的第二哈希编码值为将第二图像的高层图像特征和第二图像的图像类别标签进行哈希编码得到，例如，利用局部敏感哈希算法对第二图像的高层图像特征和第二图像的图像类别标签进行哈希编码得到第二图像对应的第二哈希编码值。
在本申请实施例一的另一种实现方式中，步骤106也可以在步骤104之前执行，基于此，本实施例中在进行哈希编码值的相似计算时，可以通过先分类再类内检索的方式提高图像检索的效率，也就是说，先通过第一图像的图像类别值对编码集合中的第二哈希编码值进行分类或者分组，将具有与与第一图像的图像类别值相一致的图像类别标签的第二图像对应的第二哈希编码值筛选出来，再在筛选出来的第二哈希编码值中检索与第一哈希编码值满足相似条件的目标哈希编码值，进而最终得到目标图像，由此，通过减少相似匹配的计算量，达到提高图像检索效率的目的。
具体的，步骤104中将第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到编码集合中的目标哈希编码值时，可以通过以下方式实现，如图3中所示：
步骤301：在编码集合中，查找与第一图像的图像类别值相对应的第二哈希编码值。
其中，第二哈希编码值为对其所对应的第二图像的图像特征信息和第二图像的图像类别标签进行哈希编码所得到的哈希编码值。
其中，第二图像为预先建立好的图像数据集里的图像，这些图像都事先通过人工进行了类别标签的标注，和第一图像一样，第二图像也具有图像类别值，即图像类别标签。
具体实现中，本实施例中在编码集合中，查找具有与第一图像的图像类别值相同的图像类别标签的第二图像所对应的第二哈希编码值。例如，在编码集合中，第一图像的图像类别值为资料收纳类，那么查找图像类别值为资料收纳类的第二图像对应的第二哈希编码值，如，查找到的第二哈希编码值有01000100、01100100和00010100。
步骤302：将第一哈希编码值与查找到的第二哈希编码值进行相似度计算，以得到目标哈希编码值。
其中，目标哈希编码值为查找到的第二哈希编码值中与第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值。
具体实现中，本实施例中将第一图像的第一哈希编码值与查找到的第二哈希编码值同时或者依次进行相似度计算，以得到第一哈希编码值对应的多个相似度计算结果，进而获得到满足相似条件的相似度计算结果所对应的第二哈希编码值，以作为目标哈希编码值。例如，将第一哈希编码值01100101分别与查找到的第二哈希编码值01000100、01100100和00010100进行相似度计算，将相似度值满足相似条件的第二哈希编码值作为目标哈希编码值。
进一步的，在将第一图像的图像特征信息和第一图像的图像类别值进行哈希编码，以得到第一哈希编码值时，可以通过以下方式实现：
将第一图像的图像特征信息和第一图像的图像类别值利用局部敏感哈希算法进行哈希编码，以得到第一哈希编码值。
其中，局部敏感哈希算法是哈希编码算法的一种，可以将搜索空间控制到一个可以接受的范围，局部敏感哈希算法的主要作用就是从海量的数据中挖掘出相似的数据，可以应用到本申请中的相似度计算。
具体实现中，本实施例中将待检索的第一图像的高层图像特征和第一图像的图像类别值利用局部敏感哈希算法进行哈希编码，以得到第一哈希编码值，例如，获取到的待检索的第一图像为一张报刊架的照片，利用ResNet50网络构建网络模型对这张报刊架照片提取高层特征信息，并且获取到的报刊架照片的图像类别值为文件展示类，根据高层图像特征和图像类别值文件展示类利用局部敏感算法中的KSH(Kernel-Based SupervisedHashing)算法进行哈希编码，得到第一哈希编码值为00010100。
在一种实现方式中，相似条件可以为：目标哈希编码值与第一哈希编码值之间的相似度大于或等于相似阈值，这里的相似阈值可以根据需求进行设置。例如，如果需要较高的准确性，那么可以设置相似阈值为较高的数值，如90％；或者，如果需要较大范围的检索结果，那么可以设置相似阈值为较低的数值，如50％。
在另一种实现方式中，相似条件可以为：目标哈希编码值与第一哈希编码值之间的编码汉明距离小于或等于距离阈值，这里的距离阈值可以根据需求进行设置。例如，如果需要较高的准确性，那么可以设置距离阈值为较低的数值，如2；或者，如果需要较大范围的检索结果，那么可以设置距离阈值为较低的数值，如5。
基于此，步骤104中在将第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到编码集合中的目标哈希编码值时，可以通过以下方式实现，如图4中所示：
步骤401：获得第一哈希编码值与编码集合中的第二哈希编码值之间的编码汉明距离。
其中，编码汉明距离表示两个等长字符串在对应位置上不同字符的数目。
具体实现中，本实施例中获得第一图像的第一哈希编码值与编码集合中的第二哈希编码值之间的编码汉明距离，例如，获得第一哈希编码00010100与编码集合中的第二哈希编码01100101、01000100和01100100之间的编码汉明距离为4、2和3。
步骤402：获得满足相似条件的编码汉明距离对应的目标哈希编码值。
具体实现中，本实施例中获得满足相似度条件的编码汉明距离对应的目标哈希编码值，例如，相似度条件为编码汉明距离小于或等于2，第一哈希编码00010100与编码集合中的第二哈希编码01100101、01000100和01100100之间的编码汉明距离为4、2和3，其中满足相似条件的第二哈希编码为01000100，将第二哈希编码01000100作为目标哈希编码。
参考图5，为本申请实施例二提供的一种图像检索装置的结构示意图，该装置可以配置在能够进行数据处理的电子设备中，本实施例中的技术方案主要用于在进行图像检索时，提高图像检索的效率。
具体的，该装置可以包括以下单元：
图像获得单元501，用于获得待检索的第一图像；
特征获得单元502，用于获得第一图像的图像特征信息；
在一种实现方式中，图像获得单元502具体用于：利用基于残差网络构建的网络模型，对所述第一图像进行图像特征提取，以得到所述第一图像的图像特征信息，其中，所述图像特则信息为高层特征信息。
哈希编码单元503，用于至少对图像特征信息进行哈希编码，以得到第一哈希编码值；
相似计算单元504，用于将第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到编码集合中的目标哈希编码值；其中，编码集合中包含多个第二哈希编码值，每个第二哈希编码值分别对应于一帧第二图像，第二哈希编码值为至少对其所对应的第二图像的图像特征信息进行哈希编码所得到的哈希编码值，目标哈希编码值为所述编码集合中与第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值；
其中，相似计算单元504具体可以通过以下模块实现，如图6中所示：
第一获取模块601，用于获得所述第一哈希编码值与编码集合中的第二哈希编码值之间的编码汉明距离；
第二获取模块602，用于获得满足相似条件的所述编码汉明距离对应的目标哈希编码值。
目标获得单元505，用于获得目标哈希编码值对应的目标图像。
由上述方案可知，本申请实施例二提供的一种图像检索装置，获得待检索的第一图像；获得第一图像的图像特征信息；至少对图像特征信息进行哈希编码，以得到第一哈希编码值；将第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到编码集合中的目标哈希编码值；其中，编码集合中包含多个第二哈希编码值，每个第二哈希编码值分别对应于一帧第二图像，第二哈希编码值为至少对其所对应的第二图像的图像特征信息进行哈希编码所得到的哈希编码值，目标哈希编码值为编码集合中与第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值；获得目标哈希编码值对应的目标图像。可见，本申请在获得待检索的图像之后，利用待检索图像的图像特征信息进行哈希编码所得到的哈希编码值进行图像检索，即将哈希编码与编码集合中的哈希编码进行相似度计算，从而得到相似度值满足相似条件的目标图像，由此，本申请中通过对图像特征进行哈希编码，从而使用降维后的哈希编码值进行相似度匹配，从而降低相似度匹配中的计算量，进而达到提高图像检索效率的目的。
参考图7，在本申请实施例二中的装置还包括类别获得单元506，用于获得第一图像的图像类别值。
在一种实现方式中，哈希编码单元503具体用于：将第一图像的图像特征信息和第一图像的图像类别值进行哈希编码，以得到第一哈希编码值。
在一种实现方式中，哈希编码单元503具体用于将第一图像的图像特征信息和第一图像的图像类别值进行哈希编码，以得到第一哈希编码值，例如将第一图像的图像特征信息和第一图像的图像类别值利用局部敏感哈希算法进行哈希编码，以得到第一哈希编码值。
在一种实现方式中，相似计算单元504具体用于：在编码集合中，查找与第一图像的图像类别值相对应的第二哈希编码值；将第一哈希编码值与查找到的第二哈希编码值进行相似度计算，以得到目标哈希编码值，目标哈希编码值为查找到的第二哈希编码值中与所述第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值。
需要说明的是，本实施例中各单元的具体实现可以参考前文中相应内容，此处不再详述。
参考图8，为本申请实施例三提供的一种电子设备的结构示意图，该电子设备可以为能够进行数据处理的电子设备，如计算机或服务器等。本实施例中的技术方案主要用于在进行图像检索时，提高图像检索的效率。
具体的，本实施例中的电子设备可以包括以下结构：
存储器801，用于存储应用程序和应用程序运行所产生的数据；
处理器802，用于执行应用程序，以实现：获得待检索的第一图像；获得第一图像的图像特征信息；至少对图像特征信息进行哈希编码，以得到第一哈希编码值；将第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到编码集合中的目标哈希编码值；其中，编码集合中包含多个第二哈希编码值，每个第二哈希编码值分别对应于一帧第二图像，第二哈希编码值为至少对其所对应的第二图像的图像特征信息进行哈希编码所得到的哈希编码值，目标哈希编码值为编码集合中与第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值；获得目标哈希编码值对应的目标图像。
由上述方案可知，本申请实施例三提供的一种电子设备，获得待检索的第一图像；获得第一图像的图像特征信息；至少对图像特征信息进行哈希编码，以得到第一哈希编码值；将第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到编码集合中的目标哈希编码值；其中，编码集合中包含多个第二哈希编码值，每个第二哈希编码值分别对应于一帧第二图像，第二哈希编码值为至少对其所对应的第二图像的图像特征信息进行哈希编码所得到的哈希编码值，目标哈希编码值为编码集合中与第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值；获得目标哈希编码值对应的目标图像。可见，本申请在获得待检索的图像之后，利用待检索图像的图像特征信息进行哈希编码所得到的哈希编码值进行图像检索，即将哈希编码与编码集合中的哈希编码进行相似度计算，从而得到相似度值满足相似条件的目标图像，由此，本申请中通过对图像特征进行哈希编码，从而使用降维后的哈希编码值进行相似度匹配，从而降低相似度匹配中的计算量，进而达到提高图像检索效率的目的。
需要说明的是，本实施例中处理器的具体实现可以参考前文中相应内容，此处不再详述。
以电商系统中进行相似图像检索为例，以下对本申请实施例的技术方案进行详细的举例说明，具体包含有以下处理流程：
一、数据预处理
使用电商系统中的办公用品图像(即第二图像)作为主数据集，同时使用爬虫爬取办公用品图像与网上相关数据集，通过人工标注关联对应的类别标签(即第二图像的图像类别值或图像类别标签)，由此建立大规模办公用品图像数据集作为实验样本集。并将实验样本集随机分为三批，分别为训练数据、验证数据和测试数据。训练数据用于进行模型的训练，验证数据用于进行模型的参数调优，测试数据用于衡量最优模型的性能。
对于训练样本与进行检索的图像(即待检索的第一图像)，为减少图像冗余信息，并去除背景、光照等因素的影响，对图像数据进行归一化。归一化是指令x_train＝x_train/255，使样本值处于[0,1]之间，由此减少各维度数据取值范围的差异带来的干扰。
二、基于残差网络的办公用品分类模型
由于梯度消失的问题，深层神经网络很难训练。因为梯度反向传播到前面的层，重复相乘可能使梯度无穷小。所以随着网络的层数更深，其性能趋于饱和，甚至迅速下降。而Resnet巧妙地利用了shortcut连接，解决了深度网络中模型退化的问题。
因此，本实施例中采用残差网络(Resnet)的非线性映射能力和强深度学习能力，根据办公用品图像和类别标签(即类别值)，提取办公用品图像的高层语义特征(即高层图像特征)，为后续哈希编码奠定基础，实现办公用品高效精准分类。
其中，Resnet50的网络结构如图9所示：
ResNet大致包括了5个Stage，或者叫做5种参数不同的卷积阶段。ResNet中的每个conv模块(conv2_x，conv3_x，conv4_x，conv5_x)中，如果当前模块的输入channel以及feature map size与输出的不一样，那么会在当前模块的第一个block中使用stride＝2将feature map size缩小，并且在shortcut中添加一个1*1的卷积，用来将输channel和输出channel进行匹配。当前模块的所有非第一个block，都是采用正常的结构(stride＝1，并且shortcut中没有1*1卷积。
当在网络上堆叠这样的结构，即使梯度消失，至少可以把原来的输入恒等映射过去，相当于在浅层网络上堆叠了“复制层”，这样最后的结果至少不会比浅层网络差。
在最后一层输出层中使用Softmax函数进行分类，给出样本对每一类别的概率，获得类别标签。
三、图像检索
如图10所示的图像检索流程图，以下对本申请实施例的具体图像检索流程进行说明：
图像检索采用先分类再类内检索的思想。借助Resnet50模型(即残差网络)的特征提取能力与Softmax分类功能，对训练样本进行先分类再根据类别进行特征信息(即图像特征信息)的保存，构造特征哈希索引库(即编码集合)。对测试样本进行相似性度量，衡量模型的性能并进行调参。
对于检索图像(即待检索的第一图像)，一次完整的检索过程，如图10所示：将待检索图像(即第一图像)输入网络模型(即残差网络构建的网络模型)进行前向传播,层层采样获得图像特征(即高层特征信息)，哈希编码后再根据物品类别标签(即类别值)传入对应的索引库(即编码集合)进行近似最近邻查找，返回按相似度排序的图像结果(即目标哈希编码值对应的第二图像)，实现办公用品图像的精准分类和快速检索。
综上所述，本申请针对办公用品图像通过引入残差网络，使得可以提取图像的高层特征，特征的表达能力更为丰富，提高了检索的准确度。以高层特征为基础建立了办公用品的索引库，结合敏感哈希算法，提高检索速度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种图像检索方法，其特征在于，所述方法包括：
获得待检索的第一图像；
获得所述第一图像的图像特征信息；
至少对所述图像特征信息进行哈希编码，以得到第一哈希编码值；
将所述第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到所述编码集合中的目标哈希编码值；
其中，所述编码集合中包含多个第二哈希编码值，每个所述第二哈希编码值分别对应于一帧第二图像，所述第二哈希编码值为至少对其所对应的第二图像的图像特征信息进行哈希编码所得到的哈希编码值，所述目标哈希编码值为所述编码集合中与所述第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值；
获得所述目标哈希编码值对应的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述获得所述第一图像的图像特征信息，包括：
利用基于残差网络构建的网络模型，对所述第一图像进行图像特征提取，以得到所述第一图像的图像特征信息，其中，所述图像特征信息为高层特征信息。
3.根据权利要求1或2所述的方法，其特征在于，还包括：
获得所述第一图像的图像类别值；
其中，所述至少对所述图像特征信息进行哈希编码，以得到第一哈希编码值，包括：
将所述第一图像的图像特征信息和所述第一图像的图像类别值进行哈希编码，以得到第一哈希编码值。
4.根据权利要求1或2所述的方法，其特征在于，还包括：
获得所述第一图像的图像类别值；
其中，所述将所述第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到所述编码集合中的目标哈希编码值，包括：
在所述编码集合中，查找与所述第一图像的图像类别值相对应的第二哈希编码值；
将第一哈希编码值与查找到的第二哈希编码值进行相似度计算，以得到目标哈希编码值，所述目标哈希编码值为所述查找到的第二哈希编码值中与所述第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值。
5.根据权利要求3所述的方法，其特征在于，所述将所述第一图像的图像特征信息和所述第一图像的图像类别值进行哈希编码，以得到第一哈希编码值，包括：
将所述第一图像的图像特征信息和所述第一图像的图像类别值利用局部敏感哈希算法进行哈希编码，以得到第一哈希编码值。
6.根据权利要求1或2所述的方法，其特征在于，所述将所述第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到所述编码集合中的目标哈希编码值，包括：
获得所述第一哈希编码值与编码集合中的第二哈希编码值之间的编码汉明距离；
获得满足相似条件的所述编码汉明距离对应的目标哈希编码值。
7.一种图像检索装置，其特征在于，所述装置包括：
图像获得单元，用于获得待检索的第一图像；
特征获得单元，用于获得所述第一图像的图像特征信息；
哈希编码单元，用于至少对所述图像特征信息进行哈希编码，以得到第一哈希编码值；
相似计算单元，用于将所述第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到所述编码集合中的目标哈希编码值；其中，所述编码集合中包含多个第二哈希编码值，每个所述第二哈希编码值分别对应于一帧第二图像，所述第二哈希编码值为至少对其所对应的第二图像的图像特征信息进行哈希编码所得到的哈希编码值，所述目标哈希编码值为所述编码集合中与所述第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值；
目标获得单元，用于获得所述目标哈希编码值对应的目标图像。
8.根据权利要求7所述的装置，其特征在于，还包括：
类别获得单元，用于获得所述第一图像的图像类别值；
其中，所述哈希编码单元具体用于：将所述第一图像的图像特征信息和所述第一图像的图像类别值进行哈希编码，以得到第一哈希编码值。
9.根据权利要求7所述的装置，其特征在于，所述相似计算单元包括：
第一获取模块，用于获得所述第一哈希编码值与编码集合中的第二哈希编码值之间的编码汉明距离；
第二获取模块，用于获得满足相似条件的所述编码汉明距离对应的目标哈希编码值。
10.一种电子设备，其特征在于，包括：
存储器，用于存储应用程序及所述应用程序运行所产生的数据；
处理器，用于执行所述应用程序，以实现：获得待检索的第一图像；获得所述第一图像的图像特征信息；至少对所述图像特征信息进行哈希编码，以得到第一哈希编码值；将所述第一哈希编码值与编码集合中的第二哈希编码值进行相似度计算，以得到所述编码集合中的目标哈希编码值；其中，所述编码集合中包含多个第二哈希编码值，每个所述第二哈希编码值分别对应于一帧第二图像，所述第二哈希编码值为至少对其所对应的第二图像的图像特征信息进行哈希编码所得到的哈希编码值，所述目标哈希编码值为所述编码集合中与所述第一哈希编码值之间的相似度值满足相似条件的第二哈希编码值；获得所述目标哈希编码值对应的目标图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010656469.6A CN111813975A (zh) | 2020-07-09 | 2020-07-09 | 一种图像检索方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010656469.6A CN111813975A (zh) | 2020-07-09 | 2020-07-09 | 一种图像检索方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111813975A true CN111813975A (zh) | 2020-10-23 |
Family
ID=72842024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010656469.6A Pending CN111813975A (zh) | 2020-07-09 | 2020-07-09 | 一种图像检索方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111813975A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221658A (zh) * | 2021-04-13 | 2021-08-06 | 卓尔智联(武汉)研究院有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491528A (zh) * | 2018-03-28 | 2018-09-04 | 苏州大学 | 一种图像检索方法、系统及装置 |
| CN109829065A (zh) * | 2019-03-08 | 2019-05-31 | 苏州大学 | 图像检索方法、装置、设备及计算机可读存储介质 |
| CN109918532A (zh) * | 2019-03-08 | 2019-06-21 | 苏州大学 | 图像检索方法、装置、设备及计算机可读存储介质 |
| WO2020077869A1 (zh) * | 2018-10-18 | 2020-04-23 | 深圳云天励飞技术有限公司 | 图像检索方法、装置、终端及存储介质 |
-
2020
- 2020-07-09 CN CN202010656469.6A patent/CN111813975A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108491528A (zh) * | 2018-03-28 | 2018-09-04 | 苏州大学 | 一种图像检索方法、系统及装置 |
| WO2020077869A1 (zh) * | 2018-10-18 | 2020-04-23 | 深圳云天励飞技术有限公司 | 图像检索方法、装置、终端及存储介质 |
| CN109829065A (zh) * | 2019-03-08 | 2019-05-31 | 苏州大学 | 图像检索方法、装置、设备及计算机可读存储介质 |
| CN109918532A (zh) * | 2019-03-08 | 2019-06-21 | 苏州大学 | 图像检索方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王伟栋;李菲菲;谢林;陈虬;: "基于深度神经网络和哈希算法的图像检索研究", 电子科技, no. 10 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113221658A (zh) * | 2021-04-13 | 2021-08-06 | 卓尔智联(武汉)研究院有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9298682B2 (en) | Annotating images | |
| CN113011533A (zh) | 文本分类方法、装置、计算机设备和存储介质 | |
| CN110866140A (zh) | 图像特征提取模型训练方法、图像搜索方法及计算机设备 | |
| US20210224332A1 (en) | Chart question answering | |
| US20090282025A1 (en) | Method for generating a representation of image content using image search and retrieval criteria | |
| CN111680176A (zh) | 基于注意力与双向特征融合的遥感图像检索方法及系统 | |
| CN112685642A (zh) | 一种标签推荐方法、装置、电子设备及存储介质 | |
| CN111368867B (zh) | 档案归类方法及系统、计算机可读存储介质 | |
| CN112434553A (zh) | 一种基于深度字典学习的视频鉴别方法及系统 | |
| CN114117213A (zh) | 一种推荐模型训练、推荐方法、装置、介质和设备 | |
| US11281714B2 (en) | Image retrieval | |
| CN105989001A (zh) | 图像搜索方法及装置、图像搜索系统 | |
| CN114372532A (zh) | 标签标注质量的确定方法、装置、设备、介质及产品 | |
| Cai et al. | A revisit on deep hashings for large-scale content based image retrieval | |
| CN111144453A (zh) | 构建多模型融合计算模型的方法及设备、网站数据识别方法及设备 | |
| CN116032741A (zh) | 一种设备识别方法、装置、电子设备和计算机存储介质 | |
| CN111813975A (zh) | 一种图像检索方法、装置及电子设备 | |
| CN111581640A (zh) | 一种恶意软件检测方法、装置及设备、存储介质 | |
| CN115828248A (zh) | 基于可解释性深度学习的恶意代码检测方法及装置 | |
| CN114663765A (zh) | 一种基于弱监督细粒度的植物叶片识别系统及方法 | |
| CN114881012A (zh) | 基于自然语言处理的文章标题及内容的智能改写系统及方法 | |
| CN111178409B (zh) | 基于大数据矩阵稳定性分析的图像匹配与识别系统 | |
| CN114357219A (zh) | 一种面向移动端实例级图像检索方法及装置 | |
| CN117058432B (zh) | 图像查重方法、装置、电子设备及可读存储介质 | |
| Tsai et al. | Mobile visual search with word-HOG descriptors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |