CN115269912A

CN115269912A - 图像检索方法及系统

Info

Publication number: CN115269912A
Application number: CN202211197509.0A
Authority: CN
Inventors: 王淑春; 沈毅纲; 韦淑波; 蒋广; 郑丹丹; 黎敦晶
Original assignee: Wireless Operation Branch Of Zhejiang Public Information Industry Co ltd
Current assignee: Wireless Operation Branch Of Zhejiang Public Information Industry Co ltd
Priority date: 2022-09-29
Filing date: 2022-09-29
Publication date: 2022-11-01
Anticipated expiration: 2042-09-29
Also published as: CN115269912B

Abstract

本发明公开了一种图像检索方法及系统，其中图像检索方法包括：获取待检索图像；提取所述待检索图像中的主目标特征、关键点特征以及向量特征；按照所述主目标特征、所述关键点特征以及所述向量特征排列先后顺序，在预先构建的图像库中按照所述顺序进行图像检索；以及若按顺序检索到相似图像，则结束检索。本发明通过划分好的层级排序进行检索，在保证检索准确率的同时，能够在执行每一层级的检索过程中，使得算力集中于该层级从而提高图像检索速度。并且按照层级排序检索到相似图像后便结束图像检索，无需执行后续层级的图像检索，可以减少算力的浪费。

Description

图像检索方法及系统

技术领域

本发明涉及图像识别技术领域，具体涉及图像检索方法及系统。

背景技术

目前，为了增强工作、生活或者社会环境中的安全性，会在各个区域场所内安装摄像监控设备，以便根据视频流信息进行安全防护。具体地，是将视频流信息转换为图像信息存储在大规模的图像库内，以便于进行图像检索。

当进行图像检索时，常规采用的方法是对图像进行特征向量的检索，但是多源头多类型的特征无法全部有效融合，采用特征拼接后使得维度过于庞大，从而导致检索速度慢、准确率一般且浪费算力。

因此，有必要设计一种新的方法，对图像的特征进行层级排序，提高检索速度和准确率以及减少算力的浪费。

发明内容

针对现有技术中的缺陷，本发明提供一种图像检索方法及系统，能够提高检索速度和准确率，以及减少算力的浪费。

第一方面，本发明提供一种图像检索方法，包括：获取待检索图像；提取所述待检索图像中的主目标特征、关键点特征以及向量特征，其中：采用图像分类算法，将所述待检索图像的图像主体与背景分离，得到所述主目标特征；采用SURF（加速稳健特征，SpeededUp Robust Features）算法提取所述待检索图像的局部特征点，作为所述关键点特征；采用CNN（卷积神经网络，Convolutional Neural Networks）提取所述待检索图像中的图像抽象特征，采用颜色直方图提取所述待检索图像中的色彩分布特征，并根据所述图像抽象特征和所述色彩分布特征得到所述向量特征；按照所述主目标特征、所述关键点特征以及所述向量特征排列先后顺序，在预先构建的图像库中按照所述顺序进行图像检索；以及若以所述主目标特征在所述图像库中检索到相似图像，则结束检索；或，若以所述主目标特征在所述图像库中未检索到所述相似图像，且以所述关键点特征在所述图像库中检索到所述相似图像，则结束检索；或，若以所述主目标特征在所述图像库中未检索到所述相似图像，且以所述关键点特征在所述图像库中未检索到所述相似图像，且以所述向量特征在所述图像库中检索到所述相似图像，则结束检索。

本发明通过划分好的层级排序进行检索，在保证检索准确率的同时，能够在执行每一层级的检索过程中，使得算力集中于该层级从而提高图像检索速度。并且按照层级排序检索到相似图像后便结束图像检索，无需执行后续层级的图像检索，可以减少算力的浪费。

结合第一方面，在一种可能的实现方式中，根据所述图像抽象特征和所述色彩分布特征得到所述向量特征包括：将所述图像抽象特征和所述色彩分布特征组合；采用PCA（主成分分析，Principal Component Analysis）算法，通过线性变换将所述图像抽象特征和所述色彩分布特征变换为多个维度的数据，其中各个维度相互之间线性无关；采用PQ（乘积量化，Product quantization）编码将各个维度的数据构成的向量空间，分解为多个低维向量空间的笛卡尔积；以及将多个所述笛卡尔积分别量化为多个量化code作为所述向量特征。

结合第一方面，在一种可能的实现方式中，按照所述主目标特征、所述关键点特征以及所述向量特征排列先后顺序，在预先构建的图像库中按照所述顺序进行图像检索包括：根据所述图像检索的应用场景，在所述主目标特征、所述关键点特征以及所述向量特征中选择对应的特征组合；以及在所述特征组合中，基于所述顺序，采用计算相似度的方式在所述图像库中进行图像检索。

结合第一方面，在一种可能的实现方式中，若所述特征组合中包括所述主目标特征，则所述若以所述主目标特征在所述图像库中检索到相似图像包括：检索所述图像库内与所述主目标特征相似度符合预设值的标准图像；以及筛选出相似度符合预设值的所述标准图像为所述相似图像。

结合第一方面，在一种可能的实现方式中，若所述特征组合包括所述关键点特征，则所述若以所述主目标特征在所述图像库中未检索到所述相似图像，且以所述关键点特征在所述图像库中检索到所述相似图像包括：分别计算所述关键点特征与所述图像库内各个标准图像的特征点之间的距离；分别统计各个所述标准图像中，所述距离符合预设距离范围的所述特征点的数量；以及将所述数量除以预设倍数得到相似度，将所述相似度符合预设阈值的所述标准图像筛选为所述相似图像。

结合第一方面，在一种可能的实现方式中，若所述特征组合包括向量特征，则所述若以所述主目标特征在所述图像库中未检索到所述相似图像，且以所述关键点特征在所述图像库中未检索到所述相似图像，且以所述向量特征在所述图像库中检索到所述相似图像包括：分别计算所述向量特征与所述图像库内所有标准图像的向量的余弦夹角值；以及将所述余弦夹角值符合预设夹角的所述标准图像筛选为所述相似图像。

结合第一方面，在一种可能的实现方式中，还包括：获取多个标准图像构建为所述图像库；提取所述图像库中所有标准图像中的所述主目标特征、所述关键点特征以及所述向量特征；以及按照所述主目标特征、所述关键点特征以及所述向量特征排列先后顺序，将所述顺序设定为所述图像库的特征映射顺序。

结合第一方面，在一种可能的实现方式中，还包括：将更新的所述标准图像加入所述图像库中；以及提取更新的所述标准图像的所述主目标特征、所述关键点特征以及所述向量特征。

第二方面，本发明提供一种图像检索系统，包括：图像获取模块，配置为：获取待检索图像；特征提取模块，与所述图像获取模块通讯连接，所述特征提取模块配置为：提取所述待检索图像中的主目标特征、关键点特征以及向量特征，其中：所述特征提取模块采用图像分类算法，将所述待检索图像的图像主体与背景分离，得到所述主目标特征；所述特征提取模块采用SURF算法提取所述待检索图像的局部特征点，作为所述关键点特征；所述特征提取模块采用CNN提取所述待检索图像中的图像抽象特征，所述特征提取模块采用颜色直方图提取所述待检索图像中的色彩分布特征，所述特征提取模块根据所述图像抽象特征和所述色彩分布特征得到所述向量特征；层级排序模块，与所述特征提取模块通讯连接，所述层级排序模块配置为：按照所述主目标特征、所述关键点特征以及所述向量特征排列先后顺序；以及图像检索模块，与所述特征提取模块以及所述层级排序模块分别通讯连接，所述图像检索模块配置为：在预先构建的图像库中按照所述顺序进行图像检索；若以所述主目标特征在所述图像库中检索到相似图像，则结束检索；或，若以所述主目标特征在所述图像库中未检索到所述相似图像，且以所述关键点特征在所述图像库中检索到所述相似图像，则结束检索；或，若以所述主目标特征在所述图像库中未检索到所述相似图像，且以所述关键点特征在所述图像库中未检索到所述相似图像，且以所述向量特征在所述图像库中检索到所述相似图像，则结束检索。

由于第二方面是第一方面对应的系统结构，第二方面的技术效果在此不再赘述。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明一实施例提供的图像检索方法的方法步骤示意图。

图2为本发明另一实施例提供的图像检索方法的方法步骤示意图。

图3为本发明另一实施例提供的图像检索方法的方法步骤示意图。

图4为本发明另一实施例提供的图像检索方法的方法步骤示意图。

图5为本发明另一实施例提供的图像检索方法的方法步骤示意图。

图6为本发明另一实施例提供的图像检索方法的方法步骤示意图。

图7为本发明另一实施例提供的图像检索方法的方法步骤示意图。

图8为本发明另一实施例提供的图像检索方法的方法步骤示意图。

图9为本发明一实施例提供的图像检索系统的结构示意图。

图10为本发明一实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本发明使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

示例性图像检索方法

图1为本发明一实施例提供的图像检索方法的方法步骤示意图。在一实施例中，如图1所示，本发明提供一种图像检索方法，包括：

步骤110、获取待检索图像。

在本步骤中，待检索图像可以是通过终端输入或由摄像头直接获取的图像。

步骤120、提取待检索图像中的主目标特征、关键点特征以及向量特征。

步骤130、按照主目标特征、关键点特征以及向量特征排列先后顺序，在预先构建的图像库中按照顺序进行图像检索。

在本步骤中，对主目标特征、关键点特征以及向量特征进行层级排序得到先后顺序，先后顺序依次为：第一层级是主目标特征，第二层级是关键点特征，第三层级是向量特征特征。

在步骤130后，执行判断步骤140：判断以主目标特征在图像库中是否检索到相似图像，若步骤140的判断结果为是则结束检索。

若步骤140的判断结果为否则执行判断步骤150：判断以关键点特征在图像库中是否检索到相似图像，若步骤150的判断结果为是则结束检索。

若步骤150的判断结果为否则执行判断步骤160：判断以向量特征在图像库中是否检索到相似图像，若步骤160的判断结果为是则结束检索。

本实施例中，以主目标特征、关键点特征、向量特征的顺序进行层级排序检索，先基于主目标特征进行图像检索，如果检索到相似图像，则直接得到检索目标，后面的检索过程直接跳过，完成图像检索。如果主目标特征检索未检索到相似图像，那么就需要基于关键点特征进行图像检索，与主目标检索的逻辑一样，如果基于关键点特征检索到相似图像，则直接得到检索目标完成图像检索。如果依次按照主目标特征和关键点特征检索均未检索到相似图像，那么就基于向量特征进行图像检索，如果基于向量特征检索到相似图像，则完成图像检索。

本实施例通过划分好的层级排序进行检索，在保证检索准确率的同时，能够在执行每一层级的检索过程中，使得算力集中于该层级从而提高图像检索速度。并且按照层级排序检索到相似图像后便结束图像检索，无需执行后续层级的图像检索，可以减少算力的浪费。

具体的，本领域对于主目标特征、关键点特征以及向量特征三种图像检索方式预先进行了耗时统计，统计得到的耗时关系为主目标特征<关键点特征<向量特征。因此，层级排序按照主目标特征、关键点特征、向量特征的先后顺序，能保证整体检索的效率最大化。

图2为本发明另一实施例提供的图像检索方法的方法步骤示意图。在该实施例中，如图2所示，步骤120包括：

步骤121、采用图像分类算法，将待检索图像的图像主体与背景分离，得到主目标特征。

在本步骤中，图像分类算法可以是采用深度学习网络构建的分类器，或者采用背景差分法等，将待检索图像的主体与背景进行分类区分，以筛选得出待检索图像的主目标特征。

步骤122、采用SURF算法提取待检索图像的局部特征点，作为关键点特征。

在本步骤中，SURF（加速稳健特征，Speeded Up Robust Features）算法是一种稳健的局部特征点检测和描述算法，Surf算法的基本路程为：

构建Hessian（黑塞矩阵），生成所有的兴趣点用于特征的提取；

构建尺度空间；

特征点定位；

特征点主方向分配；

生成特征点描述子；以及

特征点匹配，由此确定局部特征点并作为关键点特征。其中，关键点特征为n个关键点

，每个关键点由图像坐标

组成，关键点特征描述为64维特征值

。

步骤123、采用CNN提取待检索图像中的图像抽象特征。

在本步骤中，CNN（卷积神经网络，Convolutional Neural Networks）全连接层中的每一层是由许多神经元组成的（1x 4096）的平铺结构，采用CNN全连接层节点进行图像抽象特征的提取，大大减少特征位置对分类带来的影响。各个待检索图像的图像抽象特征可以分别表示为：

。各个待检索图像的色彩分布特征可以分别表示为：

。

步骤124、采用颜色直方图提取待检索图像中的色彩分布特征。

在本实施例中，颜色直方图是在许多图像检索系统中被广泛采用的颜色特征。它所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，即无法描述图像中的对象或物体。颜色直方图特别适于描述那些难以进行自动分割的图像，采用颜色直方图对待检索图像进行色彩分布提取，可提高特征提取的准确率。各个待检索图像的色彩分布特征可以分别表示为：

。

步骤125、根据图像抽象特征和色彩分布特征得到向量特征。

图3为本发明另一实施例提供的图像检索方法的方法步骤示意图。具体的，如图3所示，步骤125包括：

步骤1251、将图像抽象特征和色彩分布特征组合。

步骤1252、采用PCA算法，通过线性变换将图像抽象特征和色彩分布特征变换为多个维度的数据，其中各个维度相互之间线性无关。

步骤1253、采用PQ编码将各个维度的数据构成的向量空间，分解为多个低维向量空间的笛卡尔积。

步骤1254、将多个笛卡尔积分别量化为多个量化code作为向量特征。

本实施例中，PCA（主成分分析，Principal Component Analysis）算法通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。PQ（乘积量化，Product quantization）编码中的乘积是指笛卡尔积，意思是指把原来的向量空间分解为若干个低维向量空间的笛卡尔积，并对分解得到的低维向量空间分别做量化。这样每个向量就能由多个低维空间的量化code组合表示。PQ是一种量化方法，本质上是数据的一种压缩表达方法，所以该方法除了可以用在相似搜索外，还可以用于模型压缩，特别是深度神经网络的模型压缩上。

图4为本发明另一实施例提供的图像检索方法的方法步骤示意图。在该实施例中，如图4所示，步骤130包括：

步骤131、根据图像检索的应用场景，在主目标特征、关键点特征以及向量特征中选择对应的特征组合。

在本步骤中，依据实际应用场景，对层级排序特征中的特征进行筛选和组合得到的特征组合。具体地，对图像进行的特征处理可以有多种特征，多种特征可以进行有序组合，能根据不同应用场景进行特定特征选择。比如，主目标能够对特定的目标物体进行确定，从而排除了周围环境背景的干扰，即使图像特征大不相同，也能检索到相似的主目标。在关键点特征中，通过相似物品的局部特征相似的特性，能够定位图像中是否存在相似的局部特征，从而判断二者的相似性，同样也可以避免背景的干扰。由于各个特征相互独立，所以在任务的场景中可以灵活选取特定的特征，对于对场景无意义的特征进行剔除，几个特征针对不同的应用场景有各自的优势和劣势，通过对应用场景的分析，选择对场景最合适的特征组合，而并非同一种特征对应所有场景，从而灵活性大大提升，其次，特征的生成和相似计算都需要消耗计算资源，而无用特征的剔除是一个对数据瘦身的过程，资源的利用率也得到提高。

步骤132、在特征组合中，基于顺序，采用计算相似度的方式在图像库中进行图像检索。

具体的，组合方式例如：若是针对人脸检索的应用场景，则可以选择主目标特征和关键点特征构成的特征组合进行图像检索，且不使用向量特征进行图像检索，并且在该组合中，依然按照前述的先后顺序进行图像检索，即首先基于主目标特征进行图像检索，再基于关键点特征进行图像检索；

针对景物检索的应用场景中，可以选择关键点特征和向量特征组合的方式进行图像检索，且不使用主目标特征进行图像检索，以此检索对应的相似图像，并且依然按照前述的先后顺序进行图像检索，即首先基于关键点特征进行图像检索，再基于向量特征进行图像检索。

本实施例通过特征组合的方式，根据特定场景选择三种特征中的某两个，可以加快检索速度，并且减少算力浪费。不同场景和不同的特征组合之间的对应关系预先设定，在根据应用场景选择对应的特征组合时，调用对应关系即可。

例如本实施例在实际使用时，若对带有近距离人物的图像进行图像检索时，则可以选择主目标特征和关键点特征的组合。常规的向量特征匹配方法会受到光线和背景图像的干扰，从而无法准确找到相关的图像。在使用主目标特征和关键点特征的组合后，通过对人物这个主目标特征的确认，就能够通过主目标特征有效地找到图库中带有近距离人物的图像，且不需要关键点和其余向量特征的判断，从而加速整个检索过程。

再例如对景点图片进行图像检索时，关键点特征的匹配能够提升不同背景下相同景点的检索能力。比如对东方明珠塔的图片进行检索时，在不同角度下背景呈现极大的差异性，但通过使用关键点特征的匹配，就能避免这些额外的干扰。

图5为本发明另一实施例提供的图像检索方法的方法步骤示意图。在该实施例中，如图5所示，判断特征组合中是否包括主目标特征，若是则所述若以主目标特征在图像库中检索到相似图像包括：

步骤141、检索图像库内与主目标特征相似度符合预设值的标准图像。

步骤142、筛选出相似度符合预设值的标准图像为相似图像。

本实施例中，基于主目标特征进行相似度计算，对于图像库内的每个标准图像而言，如果标准图像的主目标特征与待检索图像的主目标特征相似度符合预设值，则认为该标准图像为相似图像，完成检索。

具体的，主目标特征可以采用欧氏距离进行相似度计算：

；

其中，

代表待检索图像的主目标特征和标准图像的主目标特征两者相互之间的相似度，

、

分别代表两张图片的主目标特征。

图6为本发明另一实施例提供的图像检索方法的方法步骤示意图。在该实施例中，如图6所示，判断特征组合中是否包括关键点特征，若是则所述若以主目标特征在图像库中未检索到相似图像，且以关键点特征在图像库中检索到相似图像包括：

步骤151、分别计算关键点特征与图像库内各个标准图像的特征点之间的距离。

本步骤中，计算待检索图像的关键点特征和标准图像的关键点特征之间的距离。

步骤152、分别统计各个标准图像中，距离符合预设距离范围的特征点的数量。

计算得到各个标准图像分别对应的前述距离后，统计各个标准图像中，距离符合预设距离范围的特征点的数量，此步骤中的特征点指的是标准图像的关键点特征。具体的，根据不同的检索精度，可以预先设定好所需要的预设距离范围。

具体的，关键点特征的距离计算可以采用Brute-Force匹配器的计算方法，以汉明距离(Hamming Distance)创建Brute-Force匹配器对象，得到关键点距离匹配对：

；

基于关键点匹配对构建距离计算公式：

其中，

代表匹配函数，

和

代表待检索图像的关键点特征A和标准图像的关键点特征B的汉明距离，

代表待检索图像的关键点特征和和标准图像的关键点特征两者之间的距离。

步骤153、将数量除以预设倍数得到相似度，将相似度符合预设阈值的标准图像筛选为相似图像。

本实施例中，预设倍数可以设定为10，即将数量除以10后得到的数值为相似度，若该相似度的数值达到预先设定的预设阈值的数值，则认定对应的标准图像是与待检索图像相似的相似图像，该标准图像为检索结果。

图7为本发明另一实施例提供的图像检索方法的方法步骤示意图。在该实施例中，如图7所示，判断特征组合中是否包括向量特征，若是则所述若以主目标特征在图像库中未检索到相似图像，且以关键点特征在图像库中未检索到相似图像，且以向量特征在图像库中检索到相似图像包括：

步骤161、分别计算向量特征与图像库内所有标准图像的向量的余弦夹角值。

步骤162、将余弦夹角值符合预设夹角的标准图像筛选为相似图像。

本实施例中，对标准图像的向量特征与特征组合内的向量特征进行余弦夹角的计算，余弦夹角值符合预设夹角则认为该标准图像是检索结果，作为相似图像，图像检索结束。

此外，如果基于向量特征进行图像检索也未得到相似图像，则认为待检索图像在预设的图像库中没有相似的、匹配的标准图像。

图8为本发明另一实施例提供的图像检索方法的方法步骤示意图。在该实施例中，如图8所示，该图像检索方法还包括：

步骤170、获取多个标准图像构建为图像库。

本步骤中，可以从互联网上搜集一些图像作为标准图像，并将大量的标准图像存入服务器中构建为图像库。

步骤180、提取图像库中所有标准图像中的主目标特征、关键点特征以及向量特征。

本步骤中，标准图像的主目标特征、关键点特征和向量特征的提取方式，和待检索图像的主目标特征、关键点特征以及向量特征的提取方式相同，在此不再赘述。

步骤190、按照主目标特征、关键点特征以及向量特征排列先后顺序，将顺序设定为图像库的特征映射顺序。

本步骤中，按照第一层级：主目标特征，第二层级：关键点特征，第三层级：向量特征特征，作为先后顺序，即作为图像库的特征映射顺序。在基于步骤130设定的层级排序，依序基于各特征进行图像检索时，以映射的方式分别与图像库预先设定好的特征映射顺序进行相互映射。即在基于主目标特征对待检索图像进行图像检索时，映射到图像库的主目标特征；在基于关键点特征对待检索图像进行图像检索时，映射到图像库的关键点特征；在基于向量特征对待检索图像进行图像检索时，映射到图像库的向量特征。

在该实施例中，如图8所示，该图像检索方法还包括：

步骤200、将更新的标准图像加入图像库中。

本步骤中，可以不断地互联网上搜集新的图像作为更新的标准图像，并不断地加入服务器中的图像库中。

步骤210、提取更新的标准图像的主目标特征、关键点特征以及向量特征。

本实施例中，可以更新图像库中的标准图像，能够提高对待检索图像的检索准确度，以及能够使得对待检索图像的检索结果更加新颖。将更新的标准图像加入图像库中时，同时提取更新的标准图像的主目标特征、关键点特征以及向量特征，能够使得对待检索图像的检索过程可以映射到更新的标准图像对应的主目标特征、关键点特征以及向量特征。

示例性图像检索系统

图9为本发明一实施例提供的图像检索系统的结构示意图。本发明还提供一种图像检索系统，在该实施例中，如图9所示，该图像检索系统包括图像获取模块901、特征提取模块902、层级排序模块903以及图像检索模块904。

图像获取模块901配置为：获取待检索图像。

特征提取模块902与图像获取模块901通讯连接，特征提取模块902配置为：提取待检索图像中的主目标特征、关键点特征以及向量特征。

层级排序模块903与特征提取模块902通讯连接，层级排序模块903配置为：按照主目标特征、关键点特征以及向量特征排列先后顺序。

图像检索模块904与特征提取模块902以及层级排序模块903分别通讯连接，图像检索模块904按照层级排序模块903排列好的顺序进行图像检索。图像检索模块904配置为：在预先构建的图像库中按照顺序进行图像检索，若以主目标特征在图像库中检索到相似图像，则结束检索；或，若以主目标特征在图像库中未检索到相似图像，且以关键点特征在图像库中检索到相似图像，则结束检索；或，若以主目标特征在图像库中未检索到相似图像，且以关键点特征在图像库中未检索到相似图像，且以向量特征在图像库中检索到相似图像，则结束检索。

具体的，待检索图像可以是通过终端输入或由摄像头直接获取的图像。对主目标特征、关键点特征以及向量特征进行层级排序得到先后顺序，先后顺序依次为：第一层级是主目标特征，第二层级是关键点特征，第三层级是向量特征特征。

以下结果为本发明的方法和常规遍历检索方法在10000张图像底库中的检索速度对比，图片为摄像头拍摄的标准1080p图像。每张图片原始CNN抽象特征+色彩分布特征的特征维度总数为683维。

结果表明，使用本方法检索平均耗时73ms，远低于遍历检索的916ms。

示例性电子设备

下面，参考图10来描述根据本发明实施例的电子设备。图10所示为本发明一实施例提供的电子设备的结构示意图。

如图10所示，电子设备260包括一个或多个处理器2601和存储器2602。

处理器2601可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备260中的其他组件以执行期望的功能。

存储器2602可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器2601可以运行程序指令，以实现上文的本发明的各个实施例的吊钩控制方法或者其他期望的功能。在计算机可读存储介质中还可以存储诸如控制误差参数等各种内容。

在一个示例中，电子设备260还可以包括：输入装置2603和输出装置2604，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

该输入装置2603可以包括例如键盘、鼠标、摇杆和触控屏幕等等。

该输出装置2604可以向外部输出各种信息，包括确定出的运动数据等。该输出装置2604可以包括例如显示器、通信网络及其所连接的远程输出设备等等。

当然，为了简化，图10中仅示出了该电子设备260中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备260还可以包括任何其他适当的组件。

除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书中描述的根据本发明各种实施例的吊钩控制方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书根据本发明各种实施例的吊钩控制方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本发明的装置和设备中，各部件是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims

1.一种图像检索方法，其特征在于，包括：

获取待检索图像；

提取所述待检索图像中的主目标特征、关键点特征以及向量特征，其中：采用图像分类算法，将所述待检索图像的图像主体与背景分离，得到所述主目标特征；采用SURF算法提取所述待检索图像的局部特征点，作为所述关键点特征；采用CNN提取所述待检索图像中的图像抽象特征，采用颜色直方图提取所述待检索图像中的色彩分布特征，并根据所述图像抽象特征和所述色彩分布特征得到所述向量特征；

按照所述主目标特征、所述关键点特征以及所述向量特征排列先后顺序，在预先构建的图像库中按照所述顺序进行图像检索；

若以所述主目标特征在所述图像库中检索到相似图像，则结束检索；或，若以所述主目标特征在所述图像库中未检索到所述相似图像，且以所述关键点特征在所述图像库中检索到所述相似图像，则结束检索；或，若以所述主目标特征在所述图像库中未检索到所述相似图像，且以所述关键点特征在所述图像库中未检索到所述相似图像，且以所述向量特征在所述图像库中检索到所述相似图像，则结束检索。

2.根据权利要求1所述的图像检索方法，其特征在于，根据所述图像抽象特征和所述色彩分布特征得到所述向量特征包括：

将所述图像抽象特征和所述色彩分布特征组合；

采用PCA算法，通过线性变换将所述图像抽象特征和所述色彩分布特征变换为多个维度的数据，其中各个维度相互之间线性无关；

采用PQ编码将各个维度的数据构成的向量空间，分解为多个低维向量空间的笛卡尔积；以及

将多个所述笛卡尔积分别量化为多个量化code作为所述向量特征。

3.根据权利要求1所述的图像检索方法，其特征在于，按照所述主目标特征、所述关键点特征以及所述向量特征排列先后顺序，在预先构建的图像库中按照所述顺序进行图像检索包括：

根据所述图像检索的应用场景，在所述主目标特征、所述关键点特征以及所述向量特征中选择对应的特征组合；以及

在所述特征组合中，基于所述顺序，采用计算相似度的方式在所述图像库中进行图像检索。

4.根据权利要求3所述的图像检索方法，其特征在于，

若所述特征组合中包括所述主目标特征，则所述若以所述主目标特征在所述图像库中检索到相似图像包括：

检索所述图像库内与所述主目标特征相似度符合预设值的标准图像；以及

筛选出相似度符合预设值的所述标准图像为所述相似图像。

5.根据权利要求3所述的图像检索方法，其特征在于，

若所述特征组合包括所述关键点特征，则所述若以所述主目标特征在所述图像库中未检索到所述相似图像，且以所述关键点特征在所述图像库中检索到所述相似图像包括：

分别计算所述关键点特征与所述图像库内各个标准图像的特征点之间的距离；

分别统计各个所述标准图像中，所述距离符合预设距离范围的所述特征点的数量；以及

将所述数量除以预设倍数得到相似度，将所述相似度符合预设阈值的所述标准图像筛选为所述相似图像。

6.根据权利要求3所述的图像检索方法，其特征在于，

若所述特征组合包括向量特征，则所述若以所述主目标特征在所述图像库中未检索到所述相似图像，且以所述关键点特征在所述图像库中未检索到所述相似图像，且以所述向量特征在所述图像库中检索到所述相似图像包括：

分别计算所述向量特征与所述图像库内所有标准图像的向量的余弦夹角值；以及

将所述余弦夹角值符合预设夹角的所述标准图像筛选为所述相似图像。

7.根据权利要求1所述的图像检索方法，其特征在于，还包括：

获取多个标准图像构建为所述图像库；

提取所述图像库中所有标准图像中的所述主目标特征、所述关键点特征以及所述向量特征；以及

按照所述主目标特征、所述关键点特征以及所述向量特征排列先后顺序，将所述顺序设定为所述图像库的特征映射顺序。

8.根据权利要求7所述的图像检索方法，其特征在于，还包括：

将更新的所述标准图像加入所述图像库中；以及

提取更新的所述标准图像的所述主目标特征、所述关键点特征以及所述向量特征。

9.一种图像检索系统，其特征在于，包括：

图像获取模块，配置为：获取待检索图像；

特征提取模块，与所述图像获取模块通讯连接，所述特征提取模块配置为：提取所述待检索图像中的主目标特征、关键点特征以及向量特征，其中：所述特征提取模块采用图像分类算法，将所述待检索图像的图像主体与背景分离，得到所述主目标特征；所述特征提取模块采用SURF算法提取所述待检索图像的局部特征点，作为所述关键点特征；所述特征提取模块采用CNN提取所述待检索图像中的图像抽象特征，所述特征提取模块采用颜色直方图提取所述待检索图像中的色彩分布特征，所述特征提取模块根据所述图像抽象特征和所述色彩分布特征得到所述向量特征；

层级排序模块，与所述特征提取模块通讯连接，所述层级排序模块配置为：按照所述主目标特征、所述关键点特征以及所述向量特征排列先后顺序；以及

图像检索模块，与所述特征提取模块以及所述层级排序模块分别通讯连接，所述图像检索模块配置为：在预先构建的图像库中按照所述顺序进行图像检索；若以所述主目标特征在所述图像库中检索到相似图像，则结束检索；或，若以所述主目标特征在所述图像库中未检索到所述相似图像，且以所述关键点特征在所述图像库中检索到所述相似图像，则结束检索；或，若以所述主目标特征在所述图像库中未检索到所述相似图像，且以所述关键点特征在所述图像库中未检索到所述相似图像，且以所述向量特征在所述图像库中检索到所述相似图像，则结束检索。