CN114170418B - 一种以图搜图的汽车线束连接器多特征融合图像检索方法 - Google Patents

Abstract

本发明公开了一种以图搜图的汽车线束连接器多特征融合图像检索方法，首先读取待检索图像；再利用YOLOv4网络提取ROI区域；然后计算待检索图像颜色特征和纹理特征；最后根据相似度计算公式在图片库中找出相似度值高的图片编号并输出。本发明实现针对给定的汽车线束连接器图像，能够在图像库中检索出最相近的图片，检索效率和检测准确率高。

Description

一种以图搜图的汽车线束连接器多特征融合图像检索方法

技术领域

本发明涉及汽车线束连接器电气性能检测平台的制造领域，尤其涉及一种以图搜图的汽车线束连接器多特征融合图像检索方法。

背景技术

在汽车线束连接器的电气性能检测平台制造过程中，为了测试线束中连接器的导通率，以及有无短路和错路现象，需要针对连接器设计和加工导通模块。检测平台制造企业根据客户的需求，不断积累了数以万计的导通模块数据，它们均以连接器图片和引脚数量为索引进行存储，因此若能有办法准确地从现有数据库中确认同款连接器，就可以避免重复的设计导通模块的工作，为企业降本增效。

现有的软件工具的使用流程通常是先人工确认连接器的引脚数量，然后根据引脚数量进行文本检索，最后在检索结果中再次进行人工搜索。复杂的连接器的引脚数量多达几十个，仅凭借引脚数量给出的检索结果数量多达上百种，人工方式效率低，错误率高。

发明内容

本发明的目的是提供一种以图搜图的汽车线束连接器多特征融合图像检索方法，首先利用YOLOv4网络求解连接器ROI区域，然后提取图片的颜色特征和纹理特征，最后根据综合加权的相似度值计算列举出相似度最高的十张图片；颜色特征部分设计了基于H/G颜色模型求取ROI区域颜色聚合向量的方法，纹理特征是首先计算上万张连接器的ROI区域的SURF特征，经聚类后构建BOW词袋模型，然后将一张图片基于词袋模型的词频信息作为其纹理特征。实现针对给定的汽车线束连接器图片，能够在图像库中检索出最相近的十张图片，使用方便，检索效率和检测准确率都得到了提高。

本发明的目的通过如下技术方案实现：

一种以图搜图的汽车线束连接器多特征融合图像检索方法，包含以下步骤：

读取待检索图像；

利用YOLOv4网络提取ROI区域；

计算待检索图像颜色特征和纹理特征；

根据相似度计算公式在图片库中找出相似度值高的图片编号并输出。

进一步的，所述图片库的建立包括：

一、采集线束连接器的孔面图像I_ROI，利用YOLOv4网络提取线束连接器所在区域，将其作为图像I的ROI区域，记为I_ROI；

二、计算颜色特征和纹理特征；

创建一维H/G颜色模型，将其量化后根据量化值计算图像I_ROI的CCV颜色聚合向量作为颜色特征；

对图像I_ROI进行中值滤波后利用大津法进行二值化，再采用canny算子进行边缘检测，对边缘检测后的图像提取SURF特征，计算已有连接器的I_ROI的图像的SURF特征，经k-means聚类为k个类，然后构建BOW词袋模型计算纹理特征；

三、将每一个连接器对应一条记录建立图片库，每条记录保存连接器编号、图片、颜色特征和纹理特征；

更进一步的，所述的步骤一中利用YOLOv4网络提取连接器的I_ROI图像的实现过程如下：

(一)、采用工厂常年累积的线束连接器图像构建一个线束连接器数据集。针对数据集图片，首先图像进行缩放操作，产生固定尺寸的图像I′，设其大小为w_I′*h_I′，然后利用LabelImg对图片中线束连接器所在的位置进行标注，标注信息包括目标框的左上角坐标位置，框的宽w和高h，类编号。因为只需要确定线束连接器在待检测图像中的具体位置，所以将所有线束连接器标记为一类。

(二)、标注完数据集中的所有图片后，按9：1的比例划分训练集和测试集。再利用mosaic数据增强技术，丰富训练集中连接器的背景信息，然后输出每张图片所对应的xml文件，保存标注信息。

(三)、输入训练集中的图片，通过正向传播计算预测结果。再利用CIOU损失函数，测量出目标框A和预测框之间的中心点距离和它们的宽高差异。IOU的定义如下：

设是目标框A与预测框/>的中心点的欧式距离；c为同时包含预测框和目标框的最小闭包区域的对角线距离；/>为预测框的宽；/>为预测框的高，令损失值L_CIOU为

其中：α是权重函数，v是用来度量宽高比的相似性，分别定义如下：

计算完误差后，通过反向传播对YOLOv4网络的权重进行调整，直至迭代次数达到最大次数。测试集用于训练正确率的验证与可视化。

(四)、将待检索图像直接送入训练得到的网络模型，即可计算得到图像中所包含连接器的预测框，该预测框所处的位置即为求取的I_ROI。

更进一步的，所述的步骤二中计算颜色特征过程如下：创建的一维H/G颜色模型是针对图像I_ROI中的某一像素点I_r描述其颜色特征的方法，它综合了HSV颜色模型和灰度图像的描述方法。

在RGB颜色模型下的三通道的值分别为R、G、B，其中R为红色，G为绿色，B为蓝色，R∈[0,255]，G∈[0,255]，B∈[0,255]。

根据RGB图像可以计算灰度图像，公式如下：

G_gray＝0.299R+0.587G+0.114B

在HSV颜色模型下的三通道值分别为H、S、V，其中H为色度，S为饱和度，V为亮度，根据RGB图像可以获取其HSV图像，公式如下：

V＝max(R,G,B)

利用opencv中的函数求解HSV颜色空间H∈[0,180)，S∈[0,255]，V∈[0,255]。

观察HSV空间，当像素点I_r的颜色鲜明时，用色度H可以很好地描述其色彩，但当像素点I_r的颜色灰暗时，其色彩不明，分辨率降低，此时用灰度G_gray来表示其颜色特征，明显优于色度H。H/G模型就是寻找一条直线，当像素点I_r位于直线上方时，取其色度H，位于直线下方时取其灰度G_gray。设H/G模型在S和V平面的直线方程为：

其中，k₁是用来平衡饱和度和亮度的权重经验系数，λ为截距系数。根据H/G颜色模型的定义，颜色特征可以采用一维颜色数据来描述，取值范围如下：

其中，λ_threshoλd为经验参数。

综上所述的，HG取值范围为0～435，本方法将该范围量化为24个等级，方法如下：

基于四连通域，求解CCV颜色聚合向量，规定为：若像素点I_r的HG值与其四邻域内像素点的值均不相同，则定义I_r为非聚合像素点；若其四邻域内的像素点的HG值有一个与I_r的值相同，则为I_r聚合像素点。图像I_ROI的颜色聚合向量f(I_ROI)可表示为：

f(I_ROI)＝<(C₀,N₀),....,(C_i,N_i),....,(C₂₃,N₂₃)>

其中C_i是HG值为i的聚合像素的个数，N_i是HG值为i的非聚合像素的个数。

更进一步的，所述的步骤二中计算纹理特征包括：先利用SURF方法提取特征点，其描述子为基于Haar小波构造的64维SURF向量Q＝{q₁,q₂,....q₆₄}。

设图像I_ROI有P个SURF特征点，则其SURF向量集合为Q_I＝{Q₁,Q₂,....Q_P}，每张图片得到的特征点个数P一般不相等。

为了描述连接器图片的整体特征分布，对图像库内的每个I_ROI图像依次求取SURF向量。设第i个I_ROI图像的SURF向量为Q_i，图像库内的图像总数为M_sum，则图像库内所有图片构成的全部SURF特征Q_sum可以表示为Q_sum＝{Q_i|i＝1,2,…,M_sum}。

将Q_sum利用k-means聚类方法进行聚类，根据线束连接器图像孔洞边缘特征的复制程度，设置已知类的个数为k。根据聚类后得到的k个聚类中心建立BOW词袋模型，相当于对k个聚类中心构造了一个只考虑出现频率不考虑出现顺序的含有k个“单词”的词袋BOW(w₁,…,w_i,…,w_k)。

进一步的，所述根据相似度计算公式在图片库中找出相似度值高的图片编号并输出过程如下：

相似度计算公式是综合颜色特征和纹理特征给出的加权评价相似度方法。对于任意两张图片I_m与图片I_n，设图片I_m为待检索图片，宽为w_m，高为h_m，颜色相似度定义为：

基于BOW(w₁,…,w_i,…,w_k)，对图像I_ROI创建一个直方图，其bin的个数为k，值全为0。对于图像I_ROI的每个特征点的SURF特征，将词袋中与其欧氏距离最近的单词的直方图计数加1，最后获得的图像I_ROI的基于BOW的词袋表示为：

{f₁,…,f_i,…,f_k}

其中f_i为第i个直方图的计数，也就是单词i在图像I_ROI中的词频。

对于任意两张图片I_m与图片I_n，计算得到的BOW词袋的词频分别为{f_m1,…,f_mi,…,f_mk}，{f_n1,…,f_ni,…,f_nk}，f_mi和f_ni分别为图像I_m和I_n在构建的词袋中的单词i出现的频率，最后图像I_m与图像I_n之间的纹理特征的相似距离定义为：

综合的加权相似度距离公式定义为：

遍历连接器图片库，依次计算每一条记录与待检索图片的相似度距离，最后输出加权相似度距离最小的多张图片和编号作为检索结果。

本发明还提供一种图像检索装置，包括处理器和存储器，所述的存储器存储有程序指令，所述的程序指令可由所述的处理器执行，使所述的图像检索装置执行以下操作：

读取待检索图像；

利用YOLOv4网络提取ROI区域；

计算待检索图像颜色特征和纹理特征；

根据相似度计算公式在图片库中找出相似度值高的图片编号并输出。

本发明还提供一种终端设备，所述终端设备包括：包括处理器和存储器及存储在所述的存储器上并可在所述的处理器上运行的图像检索程序，所述的图像检索程序被所述的处理器执行时实现如权利要求1所述图像检索方法的步骤。

本发明的有益效果如下：

针对现有软件检索工具的不足，本发明设计了一套基于颜色特征和纹理特征融合的图像检索方法，针对给定的线束连接器图片，能够在图像库中检索出最相似的十张图片。与现有的专业软件工具相比，使用方便，检索效率和检测准确率都得到了提高。

附图说明

图1为线束连接器图片库构建的流程图。

图2为线束连接器图像检索过程流程图。

图3为利用YOLOv4得到的几种典型的线束连接器图像

图4为不同背景下的图片利用YOLOv4网络得到的相同线束连接器图像

图5为图像预处理的结果图。

图6为近似替代Hessian矩阵所用的盒状滤波器模板。

图7为线束连接器检索结果图。

具体实施方式

下面结合附图及具体实施方法对本发明做进一步的说明，并不是对本发明保护范围的限制。

实施例1

本发明涉及一种以图搜图的汽车线束连接器多特征融合图像检索方法，系统流程图如图1，图2所示，完整的方法可由以下步骤说明：

首先，建立图片库，过程如下：

步骤一、采集线束连接器的孔面图像I_ROI。由于待检索的连接器图片与库存的图片可能存在不同的背景，为了去除背景干扰，设计YOLOv4网络提取连接器所在区域，将其作为图像I的ROI区域，记为I_ROI。

利用YOLOv4网络提取连接器I_ROI的实现过程如下：

1、采用工厂常年累积的线束连接器图像构建一个线束连接器数据集。针对数据集图片，首先图像进行缩放操作，产生固定尺寸的图像I′，设其大小为w_I′*h_I′，然后利用LabelImg对图片中线束连接器所在的位置进行标注，标注信息包括目标框的左上角坐标位置，框的宽w和高h，类编号。因为只需要确定线束连接器在待检测图像中的具体位置，所以将所有线束连接器标记为一类。

2、标注完数据集中的所有图片后，按9：1的比例划分训练集和测试集。再利用mosaic数据增强技术，丰富训练集中连接器的背景信息，然后输出每张图片所对应的xml文件，保存标注信息

3、本发明实现平台为Windows 10操作系统、i7-9750H型号CPU、opencv4.4、C++语言、GPU使用英伟达1660Ti进行加速计算。输入训练集中的图片，通过正向传播计算预测结果。再利用CIOU损失函数，测量出目标框A和预测框之间的中心点距离和它们的宽高差异。IOU的定义如下：

设是目标框A与预测框/>的中心点的欧式距离；c为同时包含预测框和目标框的最小闭包区域的对角线距离；/>为预测框的宽；/>为预测框的高，令损失值L_CIOU为

其中：α是权重函数，v是用来度量宽高比的相似性，分别定义如下：

计算完误差后，通过反向传播对YOLOv4网络的权重进行调整，直至迭代次数达到最大次数。训练过程中超参数设置如下：最大迭代轮次为4000轮；批次大小选取为4；每轮学习率初始化为0.001，每一轮的第3200步和第3600步依次缩小十倍；多项式优化函数的动量选取为0.949，权重衰减选取为0.0005；随机剔除百分之三十的神经元连接；YOLOv4的IOU阈值选取为0.213；测试集用于训练正确率的验证与可视化。

4、将待检索图像直接送入训练得到的网络模型，即可计算得到图像中所包含连接器的预测框，该预测框所处的位置即为求取的I_ROI。训练后得到的YOLOv4网络对于提取颜色、形状、背景各异的线束连接器都有较好的识别效果，如图3所示。图4中给出了同一连接器在不同背景下的拍摄图片，经过提取I_ROI，有效地去除了背景的干扰，同时减少了后续处理的计算量。

步骤二、为了减少计算量，创建一维H/G颜色模型，将其量化后，根据量化值，计算图像I_ROI的CCV颜色聚合向量作为颜色特征。

在对线束连接器的颜色特征描述时，无论使用哪种传统的颜色空间，如RGB、HSV等，都需要对颜色模型的三个分量进行描述，然后需要统计三个颜色通道的直方图，或者是在三个通道的空间分布上利用一些平面或者超平面进行颜色的相似度计算与颜色划分，计算量大，检索效率低。

为了减少计算量，本发明采用结合了灰度图像和HSV颜色模型的一维H/G颜色模型作为颜色特征的基本描述。

在RGB颜色模型下的三通道的值分别为R、G、B，其中R为红色，G为绿色，B为蓝色，R∈[0,255]，G∈[0,255]，B∈[0,255]。

根据RGB图像可以计算灰度图像，公式如下：

G_gray＝0.299R+0.587G+0.114B

在HSV颜色模型下的三通道值分别为H、S、V，其中H为色度，S为饱和度，V为亮度，根据RGB图像可以获取其HSV图像，公式如下：

V＝max(R,G,B)

利用opencv中的函数求解HSV颜色空间H∈[0,180)，S∈[0,255]，V∈[0,255]。

观察HSV空间，当像素点I_r的颜色鲜明时，用色度H可以很好地描述其色彩；但当像素点I_r的颜色灰暗时，其色彩不明，分辨率降低，此时用灰度G_gray来表示其颜色特征，明显优于色度H。H/G模型就是寻找一条直线，当像素点I_r位于直线上方时，取其色度H，位于直线下方时取其灰度G_gray。设H/G模型在S和V平面的直线方程为：

其中k₁是用来平衡饱和度和亮度的权重经验系数，取0.8，λ为截距系数。根据H/G颜色模型的定义，颜色特征可以采用一维颜色数据来描述，取值范围如下：

其中，λ_threshoλd为经验参数，取0.7。

得到一维H/G颜色模型后，在此模型的基础上对其进行量化操作，因为G_gray的值由R、G、B求得，所以G_gray∈[0,255]，所以S∈[0,435)。

当线束连接器图像在像素点I_r处颜色鲜明，即S∈[0,180)时，基于线束连接器颜色每15个像素划分为一类，共12类；当线束连接器图像在像素点I_r处颜色不分明时，分为两种情况，常态即S∈[180,400)时，每20个像素划分为一类；贴近边缘范围即S∈[400,435)时，单独划分为一类，所以将0到435划分为以下24类：

图像经过量化后节省了计算连通域时的复杂程度，提高了检索的速度和准确性。

基于四连通域，求解CCV颜色聚合向量，规定为：若像素点I_r的值HG与其四邻域内像素点的值均不相同，则定义该点I_r为非聚合像素点；若其四邻域内的像素点的值有一个与I_r的值HG相同则为聚合像素点。

遍历图像I_ROI除最外一层之外的像素点，统计HG值为0的聚合像素点数目之和，记为C₀，统计HG值为0的非聚合像素点数目之和记为N₀，以此类推，统计到HG值为23的聚合像素点之和C₂₃和非聚合像素点之和N₂₃。

则图像I_ROI的颜色聚合向量f(I_ROI)可表示为：

f(I_ROI)＝<(C₀,N₀),....,(C_i,N_i),....,(C₂₃,N₂₃)>

其中C_i是HG值为i的聚合像素的个数，N_i是HG值为i的非聚合像素的个数。

步骤三、为了去除噪声干扰，强化纹理特征，先对图像I_ROI进行中值滤波、然后利用大津法进行二值化，最后采用canny算子进行边缘检测。

尽管通过步骤一中的方法剔除了大量冗余的图像背景信息，但只包含线束连接器的图像I_ROI仍然会受到连接器内部的噪声影响，还可能会出现图像不清晰、图像对比度低等一系列问题，所以在进行SURF特征提取前，还需要通过一系列图像预处理方法来去除噪声干扰，强化纹理特征。

图像预处理分为中值滤波，大津法二值化处理以及canny算子边缘检测三部分。

图像滤波的目的就是在尽可能保留线束连接器图像的主要特征，不损坏图像的边缘轮廓的前提下，对目标图像的噪声进行抑制和消除，选用中值滤波主要是因为中值滤波速度快，滤波效果好，能够较其余滤波方法保留了大部分线束连接器的关键信息。

中值滤波是取图像中某个像素点的八邻域，对其像素点及八邻域的像素值进行排序，输出中值灰度作为当前像素点的灰度。图5(a)为线束连接器经过中值滤波后的结果图。

获取关键信息后则进一步通过二值化对剩余特征进行简化，只保留图像的主要特征。二值化通过设定一个灰度阈值T，将图像I_ROI上所有像素点根据阈值划分成黑色或者白色。设图像灰度I(x,y)，二值化之后的灰度为g(x,y)，满足：

但基于固定阈值的二值化方法对于已有的各种各样的线束连接器图片显然是不通用的，因为其颜色各异，光照不一致。所以本发明采用基于大津法的二值化方法。

大津法二值化是将图像I_ROI设定为前景和背景两类，计算两类之间的方差，选定一个最佳阈值，并且满足类间方差最大。设图像大小M×N，图像阈值为T，整幅图平均灰度μ，图像中灰度小于阈值的像素点个数N₀，占整幅图比例w₀，其平均灰度为μ₀；高于阈值的像素点个数N₁，占整幅图比例w₁，其平均灰度μ₁；类间方差设为d，则满足：

令类间方差最大时，二值化效果最为理想。图5(b)为线束连接器经过大津法二值化得到的结果图。

最后采用Canny算法边缘检测来确认线束连接器的边缘信息。

Canny算法边缘检测是先用高斯滤波对图像进行平滑处理，以减少明显的噪声影响，然后基于水平、垂直和对角边缘的四个算子来计算像素点的梯度幅值G与方向θ：

再用非极大值抑制和双阈值检测方法来进一步消除虚假边缘，提高边缘检测的准确性。图5(c)为基于二值图像采用Canny算法提取的边缘图像。

步骤四、对边缘检测后的图像提取SURF特征。计算已有的上万张连接器的ROI区域的SURF特征，经k-means聚类为k个类，然后构建BOW词袋模型。

为了保持图片检索的实时性，所以采用检索速度快并且特征信息提取完整的SURF特征进行特征提取。

设图像中的像素点I_r(x,y)对应的Hessian矩阵为：

L_xx、L_xy、L_yy为像素点I_r(x,y)通过高斯滤波G(x,y,σ)，后在图像x，y两个方向上的二阶导数，为了减少计算量，上述过程直接采用盒状滤波器与原图卷积运算来代替。

沿x方向的盒状滤波器用矩阵定义如下：

沿y方向的盒状滤波器用矩阵定义如下：

沿xy方向的盒状滤波器用矩阵定义如下：

三个盒状滤波器及其替代的L_xx、L_xy、L_yy如图6(a)和图(b)所示。

根据尺度σ，通过改变盒状滤波器的尺寸构建图像金字塔，在SURF特征中σ＝1.2代表着最小的尺度，即最大的空间分辨率。一般图像堆为三到四组，每组有四层。

对每个像素周围3*3*3空间内的26个相邻像素进行对比，挑选极大值或极小值点作为候选特征点。再通过对候选像素点I_r(x,y)的泰勒三维二次展开式进行最小二乘拟合去除对比度低的极值点，最后通过基于Hessian矩阵的像素点I_r(x,y)的主曲率约束去除边缘响应过大的极值点。

得到特征点后，为了实现旋转不变性，接下来的工作是确定特征点的主方向。首先建立边长为4σ的正方形Haar小波模板，水平方向的模板的左半部权值为1，右半部权值为-1；竖直方向的模板的上半部权值为1，下半部权值为-1。然后在以特征点为圆心，半径为6σ的圆内，以60度为步长，依次计算每个扇形区域的矢量值，方法如下：

1、计算每个点的水平Haar小波特征和垂直Haar小波特征总和。

2、根据每个点与特征点的距离，设定高斯权重系数，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小。

3、基于权重计算所有点的Haar小波特征总和，记为该扇区的矢量

4、将圆内矢量值最大的那个扇形的方向作为该特征点的主方向。

5、在特征点主方向周围的边长为20σ的正方形内，基于Haar小波构造64维的SURF向量Q＝{q₁,q₂,....q₆₄}。

设预处理后的图像I_ROI有P个特征点，则其SURF向量可以表示为Q_I＝{Q₁,Q₂,....Q_P}，每张图片得到的特征点个数一般不相等。

为了进一步描述连接器图片的整体特征分布，对图像库内的每个I_ROI图像依次求取SURF向量。设第i个I_ROI图像的SURF向量为图像库内的图像总数为M_sum，则图像库内所有图片构成的全部SURF特征Q_sum可以表示为:

Q_sum＝{Q_i|i＝1,2,…,M_sum}

将Q_sum利用k-means聚类方法进行聚类，根据线束连接器图像孔洞边缘特征复杂程度，多次实验后选取k＝1000。

具体步骤如下：

1、把作为输入样本集，表示为Q_sum＝{Q_sum1,…,Q_sumj,…,Q_sumr}；r为Q_sum中特征向量的个数。从Q_sum中随机选择1000个向量作为初始的均值向量{μ₁,…,μ_i,…,μ₁₀₀₀}；并设聚类后的输出类簇Q_C＝{Q_C1,…,Q_Ci,…,Q_C1000}，且/>

2、对于j＝1,2,…,r，计算Q_sumj与各均值向量μ_i的距离：d_ij＝||Q_sumj-μ_i2||₂；

3、根据距离最近的均值向量确定Q_sumj的簇标记：ξ_j＝argmin_{i∈{1,2,…,1000}}d_ij，并将Q_sumj划入相应的簇：

4、对于i＝1,2,…,1000，计算新的均值向量：|Q_Ci|表示第Ci个类簇中对象的个数，如果μ_i'≠μ_i，将当前均值向量μ_i更新为μ_i'；否则保持当前均值不变；

5、若当前均值向量均未更新，聚类结束，输出簇Q_C＝{Q_C1,…,Q_Ci,…,Q_C1000}即为得到的1000个聚类中心。否则，转到步骤2。

把聚类后得到的1000个聚类中心送入到BOW词袋模型中，相当于对聚类好的1000个聚类中心类构造了一个只考虑出现频率不考虑出现顺序的含有1000个“单词”的词袋BOW(w₁,…,w_i,…,w_k)。

步骤五、建立连接器图片库，库中一个连接器对应一条记录，每条记录保存编号、连接器图片、基于CCV颜色聚合向量的颜色特征和基于BOW词袋的词频纹理特征。

然后，读取待检索图像，利用YOLOv4网络提取ROI区域；计算待检索图像颜色特征和纹理特征，与图片库建立过程的计算方法一致。

最后，根据相似度计算公式在图片库中找出相似度值高的图片编号并输出。相似度计算公式是综合颜色特征和纹理特征给出的加权评价相似度方法。

对于任意两张图片I_m与图片I_n，设图片I_m为待检索图片，宽为w_m，高为h_m，颜色相似度定义为：

基于BOW(w₁,…,w_i,…,w₁₀₀₀)，对图像I_ROI创建一个直方图，其bin的个数为k，值全为0。依次计算图像I_ROI的所有特征点的SURF特征，并将词袋中与其欧氏距离最近的单词的直方图计数加1，最后获得的图像I_ROI的基于BOW的词袋表示为：

{f₁,…,f_i,…,f₁₀₀₀}

其中f_i为第i个直方图的计数，也就是单词i在图像I_ROI中的词频。

对于任意两张图片I_m与图片I_n，计算得到的BOW词典词频分别为{f_m1,…,f_mi,…,f_m1000}，{f_n1,…,f_ni,…,f_n1000}，f_mi和f_ni分别为图像I_m和I_n在构建的词袋中的单词i出现的频率，最后图像I_m与图像I_n，之间的纹理特征的相似距离定义为：

综合的加权相似度距离公式定义为：

多次实验后β取0.68。

遍历连接器图片库，依次计算每一条记录与待检索图片的相似度距离，最后输出加权相似度距离最小的前十张图片和编号作为检索结果。根据编号可以查找到该连接器的所有模块参数和设计资料。本发明采用MFC设计了人机交互检索界面，如图7所示。

本发明根据给定的待检索连接器图片，利用YOLOv4提取线束连接器的I_ROI图像，计算颜色特征和纹理特征。然后遍历图片库的图片，计算待检测图片和库中图片的综合加权相似度距离，最后得到距离最小的十张图片作为检索结果。基于本发明的方法检索一张连接器图片的时间小于3s，与现有的专业软件工具相比，使用方便，检索效率和检测准确率都得到了提高。

以上所述的实施例是用以具体说明本专利，文中虽通过特定的术语进行说明，但不能以此限定本专利的保护范围，熟悉此领域的人士可在了解本专利的精神与原则后对其进行变更或修改而达到等效目的，而此等效变更和修改，皆应涵盖于专利要求范围所界定范畴内。

Claims (6)

1.一种以图搜图的汽车线束连接器多特征融合图像检索方法，其特征在于，包括：

读取待检索图像；

利用YOLOv4网络提取ROI区域；

计算待检索图像颜色特征和纹理特征；

根据相似度计算公式在图片库中找出相似度值高的图片编号并输出；

所述图片库的建立包括：

一、采集线束连接器的孔面图像I_ROI，利用YOLOv4网络提取线束连接器所在区域，将其作为图像I的ROI区域，记为I_ROI；

二、计算颜色特征和纹理特征；

创建一维H/G颜色模型，将其量化后根据量化值计算图像I_ROI的CCV颜色聚合向量作为颜色特征；

对图像I_ROI进行中值滤波后利用大津法进行二值化，再采用canny算子进行边缘检测，对边缘检测后的图像提取SURF特征，计算已有连接器的I_ROI的图像的SURF特征，经k-means聚类为k个类，然后构建BOW词袋模型计算纹理特征；

计算颜色特征包括：

在RGB颜色模型下的三通道的值分别为R、G、B，其中R为红色，G为绿色，B为蓝色，R∈[0,255]，G∈[0,255]，B∈[0,255]；

根据RGB图像可以计算灰度图像，公式如下：

G_gray＝0.299R+0.587G+0.114B

在HSV颜色模型下的三通道值分别为H、S、V，其中H为色度，S为饱和度，V为亮度，根据RGB图像可以获取其HSV图像，公式如下：

V＝max(R,G,B)

利用opencv中的函数求解HSV颜色空间H∈[0,180)，S∈[0,255]，V∈[0,255]；

观察HSV空间，当像素点I_r的颜色鲜明时，用色度H描述其色彩，当像素点I_r的颜色灰暗时，用灰度G_gray来表示其颜色特征，设H/G模型在S和V平面的直线方程为：

其中，k₁是用来平衡饱和度和亮度的权重经验系数，λ为截距系数；根据H/G颜色模型的定义，颜色特征可以采用一维颜色数据来描述，取值范围如下：

其中，λ_threshold为经验参数；

HG取值范围为0～435，将该范围量化为24个等级，方法如下：

基于四连通域，求解CCV颜色聚合向量，规定为：若像素点I_r的HG值与其四邻域内像素点的值均不相同，则定义I_r为非聚合像素点；若其四邻域内的像素点的HG值有一个与I_r的值相同，则为I_r聚合像素点；图像I_ROI的颜色聚合向量f(I_ROI)表示为：

f(I_ROI)＝<(C₀,N₀),....,(C_i,N_i),....,(C₂₃,N₂₃)>

其中C_i是HG值为i的聚合像素的个数，N_i是HG值为i的非聚合像素的个数；

三、将每一个连接器对应一条记录建立图片库，每条记录保存连接器编号、图片、颜色特征和纹理特征。

2.根据权利要求1所述一种以图搜图的汽车线束连接器多特征融合图像检索方法，其特征在于，所述的步骤一中利用YOLOv4网络提取线束连接器所在区域过程如下：

首先，采用累积的线束连接器图片构建一个线束连接器数据集，再对数据集内的图片进行缩放操作，产生固定尺寸的图像I′，设其大小为w_I′*h_I′，然后利用LabelImg对图片中线束连接器所在的位置进行标注，标注信息包括目标框的左上角坐标位置，框的宽w和高h，类编号；

然后，标注完数据集中的所有图片后，按比例划分训练集和测试集；再利用mosaic数据增强技术，丰富训练集中连接器的背景信息，然后输出每张图片所对应的xml文件，保存标注信息；

然后，输入训练集中的图片至YOLOv4网络，通过正向传播计算预测结果；再利用CIOU损失函数，测量出目标框A和预测框之间的中心点距离和它们的宽高差异；IOU的定义如下：

设是目标框A与预测框/>的中心点的欧式距离；c为同时包含预测框和目标框的最小闭包区域的对角线距离；/>为预测框的宽；/>为预测框的高，令损失值L_CIOU为

其中：α是权重函数，v是用来度量宽高比的相似性，分别定义如下：

计算完误差后，通过反向传播对YOLOv4网络的权重进行调整，直至迭代次数达到最大次数；

最后，将待检索图片直接送入训练得到的网络模型，即可计算得到图像中所包含连接器的预测框，该预测框所处的位置即为求取的I_ROI。

3.根据权利要求1所述一种以图搜图的汽车线束连接器多特征融合图像检索方法，其特征在于，所述的步骤二中计算纹理特征包括：

设图像I_ROI有P个SURF特征点，则其SURF向量集合为Q_I＝{Q₁,Q₂,....Q_P}，每张图片得到的特征点个数P一般不相等；对图像库内的每个I_ROI图像依次求取SURF向量；设第i个I_ROI图像的SURF向量为Q_i，图像库内的图像总数为M_sum，则图像库内所有图片构成的全部SURF特征Q_sum表示为Q_sum＝{Q_i|i＝1,2,…,M_sum}；

将Q_sum利用k-means聚类方法进行聚类，根据线束连接器图像孔洞边缘特征的复制程度，设置已知类的个数为k；根据聚类后得到的k个聚类中心建立BOW词袋模型，相当于对k个聚类中心构造了一个只考虑出现频率不考虑出现顺序的含有k个“单词”的词袋BOW(w₁,…,w_i,…,w_k)。

4.根据权利要求1所述一种以图搜图的汽车线束连接器多特征融合图像检索方法，其特征在于，所述根据相似度计算公式在图片库中找出相似度值高的图片编号并输出包括：

对于任意两张图片I_m与图片I_n，设图片I_m为待检索图片，宽为w_m，高为h_m，颜色相似度定义为：

基于BOW(w₁,…,w_i,…,w_k)，对图像I_ROI创建一个直方图，其bin的个数为k，值全为0；对于图像I_ROI的每个特征点的SURF特征，将词袋中与其欧氏距离最近的单词的直方图计数加1，最后获得的图像I_ROI的基于BOW的词袋表示为：

{f₁,…,f_i,…,f_k}

其中f_i为第i个直方图的计数，也就是单词i在图像I_ROI中的词频；

对于任意两张图片I_m与图片I_n，计算得到的BOW词袋的词频分别为{f_m1,…,f_mi,…,f_mk}，{f_n1,…,f_ni,…,f_nk}，f_mi和f_ni分别为图像I_m和I_n在构建的词袋中的单词i出现的频率，最后图像I_m与图像I_n之间的纹理特征的相似距离定义为：

综合的加权相似度距离公式定义为：

遍历连接器图片库，依次计算每一条记录与待检索图片的相似度距离，最后输出加权相似度距离最小的多张图片和编号作为检索结果。

5.一种图像检索装置，其特征在于，包括处理器和存储器，所述的存储器存储有程序指令，所述的程序指令可由所述的处理器执行，所述的图像检索程序被所述的处理器执行时实现如权利要求1所述图像检索方法的步骤：

使所述的图像检索装置执行以下操作：

读取待检索图像；

利用YOLOv4网络提取ROI区域；

计算待检索图像颜色特征和纹理特征；

根据相似度计算公式在图片库中找出相似度值高的图片编号并输出。

6.一种终端设备，其特征在于，所述终端设备包括处理器和存储器及存储在所述的存储器上并可在所述的处理器上运行的线束连接器图像检索程序，所述的图像检索程序被所述的处理器执行时实现如权利要求1所述图像检索方法的步骤。