CN111382751A - 一种基于颜色特征的目标再识别方法 - Google Patents

Abstract

本发明公开了一种基于颜色特征的目标再识别方法，涉及图像识别和视频监控技术领域。本发明首先对不同传感器图像进行目标识别处理，确定出目标的位置及大小，截取出目标图片；然后将目标图片转换到HSV颜色空间，统计颜色直方图，对直方图进行变换，形成128维目标颜色特征向量；最后，将不同传感器目标的特征向量存入目标数据库，采用相似性度量算法，在目标数据库中找出与待识别目标最相似的目标，完成对目标的再识别，实现对目标的持续识别追踪。本发明提高了目标特征稳定性，且特征数据量少，可用于不同摄像机对同一目标的识别和判定，在通讯带宽受限、目标数量较多的情况下，实现目标再识别的实时处理，且无需目标特征先验知识。

Description

一种基于颜色特征的目标再识别方法

技术领域

本发明属于图像识别和视频监控技术领域，涉及一种基于颜色特征的目标再识别方法。

背景技术

目标再识别技术是指通过计算机视觉技术，检索不同摄像头中的同一目标。利用单一传感器对目标进行识别，容易受到景物遮挡和干扰，从而导致识别结果的可靠性降低。为充分利用多个传感器从不同视角拍摄图像的识别结果，需采用目标再识别技术，以判断不同图像中的目标是否属于同一目标。

近年来有许多学者开展了目标再识别方法的研究。行人再识别包括两个核心部分：1、特征提取与表达。从行人外观出发，提取鲁棒性强且具有较强区分性的特征表示向量，有效表达行人图像的特性；2、相似性度量。通过特征向量之间的相似度比对，判断行人的相似性。

根据采用的特征提取与表达方法的不同，行人再识别技术可分为人工设计特征和深度学习特征。2016年CVPR会议论文集1363-1372页刊登了一篇题为《HierarchicalGaussian descriptor for personre-identification》，该论文提出一种GOG(Gaussianof Gaussian)描述符，利用分层高斯算子将图像分为由多个高斯分布进行描述的人工设定区域来表示颜色和纹理信息，每种高斯分布代表一个小的图像块，每个图像块的特征组合起来得到行人图像的特征向量，用于识别。随着深度学习技术研究的不断深入，各种基于深度学习的行人再识别方法也被不断推出，并取得了良好效果。2016年第14届ECCV会议论文集868-884页刊登了一篇题为《MARS:a video benchmark forlarge-scale person re-identification》的论文。该论文以XQDA作为相似性度量方法,分别采用深度CNN特征和人工LOMO特征进行行人再识别，显著提高了平均匹配正确率。2018年北京旷世科技有限公司申请的发明专利《图像再识别网络训练方法、装置和图像再识别方法及装置》，专利号CN201810893815.5，采用生成对抗网络来生成训练图像，进一步提升图像再识别网络的精度。但上述方法均需要对大量的目标图像样本进行训练，由于人体结构和外部环境的复杂性，基于人工特征的方法在性能上还无法令人满意；基于深度学习的方法由于产生的目标特征数据量大，计算时间长，一般用于录像视频检索，并不适用于分布式系统的传输和实时处理。因此，要实现实时有效的多传感器目标再识别，必须研究和寻找更为稳定、有效、实时的技术途径。

发明内容

(一)发明目的

本发明的目的是：为多传感器视频监控提供一种基于颜色特征的目标再识别方法，即该方法对单一传感器的识别目标提取出目标颜色特征，然后在目标数据库中检索出与待识别目标最相似的目标，从而实现对目标的有效检索追踪。

(二)技术方案

为了解决上述技术问题，本发明提供一种基于颜色特征的目标再识别系统，其特征在于，包括：目标识别模块、目标颜色特征提取模块、目标数据库模块和相似性度量模块；目标识别模块和目标颜色特征提取模块运行于嵌入式终端，目标识别模块识别图像中的目标，目标颜色特征提取模块从目标图片中提取目标颜色特征向量；目标数据库模块和相似性度量模块运行于上位机，嵌入式终端和上位机通过网口通讯方式实现数据交互，包括目标颜色特征向量的目标信息由嵌入式终端发送至上位机，在目标数据库模块中保存以形成目标数据库，对需要再识别的目标，由相似性度量模块将其目标颜色特征向量与目标数据库中所有的目标颜色特征向量进行相似性度量，找到相似度最高的目标作为输出，完成目标再识别。

本发明还提供一种基于颜色特征的目标再识别方法，其包括以下步骤：

步骤A，采用嵌入式终端，从各传感器图像中识别出目标，并截取目标图片；

步骤B，采用嵌入式终端，提取出目标颜色特征向量；通过网络接口，将包括目标颜色特征向量的目标信息发送至上位机；

步骤C，采用上位机，接收并保存各嵌入式终端发送的目标信息，形成目标数据库；对需要再识别的目标，将其目标颜色特征向量与目标数据库中所有的目标颜色特征向量进行相似性度量，找到相似度最高的目标作为输出，完成目标再识别，实现对目标的检索追踪。

(三)有益效果

上述技术方案所提供的基于颜色特征的目标再识别方法，具有以下优点：

(1)本发明基于颜色信息的特征提取，提高了目标在光照变化、姿态变化、角度变化等情况下的目标特征稳定性，且无需设定先验知识。颜色是目标再识别中很重要的视觉特征，可以表征目标图像的整体颜色分布，且对目标姿态变化和角度变化不敏感。为了减少光照变化的影响，本发明在设计颜色特征时，去掉了目标亮度信息，进一步提高了特征鲁棒性。

(2)在本发明中，采用8×8DCT变换对颜色特征进行滤波，可以有效去除颜色特征的随机噪声，提高了特征的稳定性。

(3)在本发明中，设计了一种便于快速计算的相似度算子，提高了计算效率。采用计算平台的特殊指令集来实现乘加运算和乘法运算，或是使用GPU并行计算加速，还可以进一步提高计算效率，实现目标数据库的实时检索。

附图说明

图1为本发明基于颜色特征的目标再识别示意性流程图。

图2为本发明基于颜色特征的目标再识别框架结构图。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面结合附图，以两个传感器为实施例，对本发明的具体实施方式作进一步详细描述。本发明也可应用于对多个传感器的处理。

本发明的主要任务是对多传感器的视频图像序列提供一种目标再识别方法，并最终实现对目标的有效检索追踪。由此可见，视频图像序列是本发明需要处理的对象。目标再识别技术是检索出不同传感器视频序列图像中的同一目标，实现对目标检索追踪的关键技术。

本发明基于颜色特征的目标再识别方法包括以下步骤：

第一步：对各传感器图像进行目标识别，确定出目标的位置及大小，依据目标位置及大小从图像中截取出目标图片；

第二步：将各传感器图像中截取的目标图片转换到HSV颜色空间，统计色度分量H直方图和饱和度分量S直方图，将色度分量H直方图和饱和度分量S直方图进行变换并合并，形成128维的目标颜色特征向量；

第三步：将其中一个传感器记为当前传感器，当前传感器图像中识别出的目标记为当前目标，当前目标的颜色特征向量与其他传感器目标的颜色特征向量进行相似性度量，检索出与当前目标最相似的目标，完成对目标的再识别，实现对目标的持续识别追踪。

第二步中，基于HSV颜色空间提取目标颜色特征，放弃了易受光照变化影响的亮度分量V，将色度分量H和饱和度分量S分别量化为64级直方图，以便于采用DCT变换作数据滤波处理，再依次拼接成128维的目标颜色特征向量。

参照图1所示，本发明处理流程为：首先从不同传感器采集图像，然后进行目标识别处理，确定出目标的位置及大小，依据目标位置及大小从图像中截取出目标图片；再从目标图片中提取出目标颜色特征向量；最后，将不同传感器目标的颜色特征向量存入目标数据库，采用相似性度量计算，在目标数据库中找出与待识别目标最相似的目标，完成对目标的再识别，输出再识别目标。

本发明的目标再识别系统主要包括目标识别模块、目标颜色特征提取模块、目标数据库模块和相似性度量模块。目标识别模块和目标颜色特征提取模块运行于嵌入式终端，目标数据库模块和相似性度量模块运行于上位机。嵌入式终端和上位机通过网口通讯方式实现数据交互。本发明按照图2所示的框架结构完成图像的实时目标再识别，详细技术方案包括以下步骤：

步骤A，采用嵌入式终端，从各传感器图像中识别出目标，并截取目标图片；

步骤B，采用嵌入式终端，提取出目标颜色特征向量；通过网络接口，将包括目标颜色特征向量的目标信息发送至上位机；

步骤C，采用上位机，接收并保存各嵌入式终端发送的目标信息，形成目标数据库；对需要再识别的目标，将其目标颜色特征向量与目标数据库中所有的目标颜色特征向量进行相似性度量，找到相似度最高的目标作为输出，从而完成目标再识别，实现对目标的检索追踪。

进一步地，步骤A具体包括：

嵌入式终端处理器为NVIDIA Jetson TX2，采用USB接口与传感器连接。终端上电后，自动运行目标识别操作，开始采集实时视频图像。目标识别过程中，首先将采集的视频图像缩小至416×416，然后调用开源YOLOv3目标识别算法库及其权重文件，对缩小后图像进行目标识别处理，获取目标类型、置信度、位置、大小等信息。

对识别出目标类型为行人或车辆且目标置信度大于0.5的目标，才可认为是真实目标。依据目标位置和大小从图像中截取目标图片P。

步骤B具体包括：

对目标图片P，从RGB转换到HSV颜色空间，然后统计色度分量H直方图和饱和度分量S直方图。色度分量H的范围为[0,179]，量化级数n_H取64，统计色度分量H直方图为H_n＝{h₁,h₂,…,h₆₄}；饱和度分量S的范围为[0,255]，量化级数n_S取64，统计饱和度分量S直方图为S_n＝{s₁,s₂,…,s₆₄}。由于亮度分量V容易受到光照变化影响，因此不对亮度分量V进行统计。

将色度分量H直方图Hn重新排列为8×8数组，其形式为：

对Hn进行8×8DCT变换，将变换结果DCT_H中对角线及右下方数据全部清零，然后再进行8×8IDCT变换，变换结果重新排列后，得到新的色度分量直方图Hn'。变换形式为：

对饱和度分量直方图Sn也采用同样方法进行转换，得到新的饱和度分量直方图Sn'。

将色度分量直方图Hn'和饱和度分量直方图Sn'顺序排列，得到128维的目标颜色特征向量：

F＝{h′₁,h′₂,…,h′₆₄,s′1,s′₂,…,s′₆₄}＝{f₁,f₂,…,f₁₂₈}。

采用结构体保存目标颜色特征向量与目标类型、目标置信度、目标位置、目标大小信息，并封装为目标数据包，通过UDP协议发送至上位机。

步骤C具体包括：

上位机接收各嵌入式终端发送的目标数据包后，解析出目标颜色特征向量F＝{f₁,f₂,…,f₁₂₈}，并依据特征向量计算出目标参数V和S：

目标参数V和S的数据类型为双精度浮点数，以确保计算精度。

和

可以在一个循环体中完成，提高计算效率。

建立目标数据库DB，以保存各目标的目标参数、特征向量、位置等信息。数据库采用vector容器的方式实现，便于对目标数据的动态管理。当目标的存储时间超出60秒，可认为该目标已失效，将其从目标数据库中删除，避免数据库过大。

对当前接收的待识别目标T，将其特征向量F_T与目标数据库DB中的所有目标颜色特征向量F_DB进行相似性度量，检索出相似性度量值R最大的目标。若最大相似度R_max大于相似度阈值0.8，即为当前目标对应的再识别目标。相似性度量公式为：

R_max＝argmax(R(F_T,F_DB)),F_DB∈DB

本发明设计了一种便于快速计算的相似性度量算子。该算子形式为：

其中，R(F_A,F_B)为相似性度量值，N为128，

为传感器A图像中目标T_A的目标特征值，

为传感器B图像中目标T_B目标特征值，

每个目标特征可提前计算出其V^A、S^A、V^B、S^B，保存在目标数据库中，这样即可将除法在每次获取目标特征时预先计算完成。在两个目标特征进行相似性度量时，仅需做

乘加运算、减法和乘法运算即可，提高了计算效率。

完成对待识别目标的再识别后，将待识别目标和再识别的位置信息输出至场景显示软件，在场景地图上显示出真实目标的位置及其运动轨迹。本发明确保了当目标跨传感器视场运动时，仍能保持目标轨迹连续。

本发明针对多传感器的目标数量较多，目标再识别计算量大的问题，优化设计了目标颜色特征，提高了特征稳定性，降低了特征数据量，以便于网络传输；在相关系数计算公式的基础上，改进了相似性度量方法，显著降低了特征信息量和相似计算量，以便于大数据量遍历计算，因此具有较好的应用前景。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于颜色特征的目标再识别系统，其特征在于，包括：目标识别模块、目标颜色特征提取模块、目标数据库模块和相似性度量模块；目标识别模块和目标颜色特征提取模块运行于嵌入式终端，目标识别模块识别图像中的目标，目标颜色特征提取模块从目标图片中提取目标颜色特征向量；目标数据库模块和相似性度量模块运行于上位机，嵌入式终端和上位机通过网口通讯方式实现数据交互，包括目标颜色特征向量的目标信息由嵌入式终端发送至上位机，在目标数据库模块中保存以形成目标数据库，对需要再识别的目标，由相似性度量模块将其目标颜色特征向量与目标数据库中所有的目标颜色特征向量进行相似性度量，找到相似度最高的目标作为输出，完成目标再识别。

2.基于权利要求1所述目标再识别系统的基于颜色特征的目标再识别方法，其特征在于，包括以下步骤：

步骤A，采用嵌入式终端，从各传感器图像中识别出目标，并截取目标图片；

步骤B，采用嵌入式终端，提取出目标颜色特征向量；通过网络接口，将包括目标颜色特征向量的目标信息发送至上位机；

步骤C，采用上位机，接收并保存各嵌入式终端发送的目标信息，形成目标数据库；对需要再识别的目标，将其目标颜色特征向量与目标数据库中所有的目标颜色特征向量进行相似性度量，找到相似度最高的目标作为输出，完成目标再识别，实现对目标的检索追踪。

3.如权利要求2所述的基于颜色特征的目标再识别方法，其特征在于，所述步骤A中，目标识别过程中，首先将采集的传感器图像缩小至416×416，然后对缩小后图像进行目标识别处理，获取目标类型、置信度、位置、大小信息。

4.如权利要求3所述的基于颜色特征的目标再识别方法，其特征在于，所述步骤A中，对识别出目标类型为行人或车辆且目标置信度大于0.5的目标，认为是真实目标；依据目标位置和大小从图像中截取目标图片P。

5.如权利要求3所述的基于颜色特征的目标再识别方法，其特征在于，所述步骤B中，对目标图片P，从RGB转换到HSV颜色空间，然后统计色度分量H直方图和饱和度分量S直方图，对色度分量H直方图和饱和度分量S直方图进行变换并合并，形成128维的目标颜色特征向量。

6.如权利要求5所述的基于颜色特征的目标再识别方法，其特征在于，所述步骤B中，色度分量H的范围为[0,179]，量化级数n_H取64，统计色度分量H直方图为H_n＝{h₁,h₂,…,h₆₄}；饱和度分量S的范围为[0,255]，量化级数n_S取64，统计饱和度分量S直方图为S_n＝{s₁,s₂,…,s₆₄}；

将色度分量H直方图Hn重新排列为8×8数组，其形式为：

对Hn进行8×8DCT变换，将变换结果DCT_H中对角线及右下方数据全部清零，然后再进行8×8IDCT变换，变换结果重新排列后，得到新的色度分量直方图Hn'；变换形式为：

对饱和度分量直方图Sn也采用同样方法进行转换，得到新的饱和度分量直方图Sn'；

将色度分量直方图Hn'和饱和度分量直方图Sn'顺序排列，得到128维的目标颜色特征向量：

F＝{h₁',h₂',…,h₆₄',s₁',s₂',…,s₆₄'}＝{f₁,f₂,…,f₁₂₈}。

7.如权利要求6所述的基于颜色特征的目标再识别方法，其特征在于，所述步骤B中，采用结构体保存目标颜色特征向量与目标类型、目标置信度、目标位置、目标大小信息，并封装为目标数据包，通过UDP协议发送至上位机。

8.如权利要求7所述的基于颜色特征的目标再识别方法，其特征在于，所述步骤C中，上位机接收各嵌入式终端发送的目标数据包后，解析出目标颜色特征向量F＝{f₁,f₂,…,f₁₂₈}，并依据特征向量计算出目标参数V和S：

目标参数V和S的数据类型为双精度浮点数；

建立目标数据库DB，以保存各目标的目标参数、特征向量、位置信息。

9.如权利要求8所述的基于颜色特征的目标再识别方法，其特征在于，所述步骤C中，目标数据库采用vector容器的方式实现，对目标数据进行动态管理，当目标的存储时间超出60秒，认为该目标已失效，将其从目标数据库中删除。

10.如权利要求8所述的基于颜色特征的目标再识别方法，其特征在于，所述步骤C中，对当前接收的待识别目标T，将其特征向量F_T与目标数据库DB中的所有目标颜色特征向量F_DB进行相似性度量，检索出相似性度量值R最大的目标；若最大相似度R_max大于相似度阈值，即为当前目标对应的再识别目标；

相似性度量公式为：

R_max＝arg max(R(F_T,F_DB)),F_DB∈DB

相似性度量算子的形式为：

其中，R(F_A,F_B)为相似性度量值，N为128，

为传感器A图像中目标T_A的目标特征值，

为传感器B图像中目标T_B目标特征值；

每个目标特征预先计算出其V^A、S^A、V^B、S^B，保存在目标数据库中，将除法在每次获取目标特征时预先计算完成，在两个目标特征进行相似性度量时，做

乘加运算、减法和乘法运算即可。

Images