CN111415372B - 一种基于hsi颜色空间和上下文信息的运动目标归并方法 - Google Patents

Abstract

本发明公开了一种基于HSI颜色空间和上下文信息的运动目标归并方法，包括读取原图像和与原图像对应的二值图像，并将原图像由RGB颜色空间转换为HSI颜色空间；基于形态学开操作对二值图像进行噪声点和小面积区域滤除处理；基于HSI颜色空间，对各离散目标进行相似度分析；对目标在上下帧中的运动距离和方向进行位移一致性分析；进行离散目标归并，将当前帧的颜色特征信息更新为前一帧数据，对下一帧图像进行重复处理。实现了对同属一个整体的离散目标归并，提高了运动目标的检测完整性和准确度。

Description

一种基于HSI颜色空间和上下文信息的运动目标归并方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于HSI颜色空间和上下文信息的运动目标归并方法。

背景技术

二值图像是目标检测算法中重要的一环，基于二值图像进行目标轮廓的查找与分割是运动检测中定位目标位置的重要方法，但是由于相机抖动，光照变化、目标运动不连贯，静止背景遮挡等原因，差分阈值后的二值图像出现离散现象。当前在区域连通性分析这一块多用于医学图像、车牌字母、工件计数等应用，其目的是将粘连、堆叠的目标进行分离，在离散目标归并领域研究较少。目前的运动目标的检测完整性和准确度差。

发明内容

本发明的目的在于提供一种基于HSI颜色空间和上下文信息的运动目标归并方法，基于HSI颜色空间进行颜色相似度分析和基于上下文运动信息进行目标位移一致性分析，实现了对同属一个整体的离散目标归并，提高了运动目标的检测完整性和准确度。

为实现上述目的，本发明提供了一种基于HSI颜色空间和上下文信息的运动目标归并方法，包括：

读取原图像和与原图像对应的二值图像，并将原图像由RGB颜色空间转换为HSI颜色空间；

基于形态学开操作对二值图像进行噪声点和小面积区域滤除处理；

基于HSI颜色空间，对各离散目标进行相似度分析；

对目标在上下帧中的运动距离和方向进行位移一致性分析；

进行离散目标归并，将当前帧的颜色特征信息更新为前一帧数据，对下一帧图像进行重复处理。

在一实施方式中，基于形态学开操作对二值图像进行噪声点和小面积区域滤除处理，具体步骤包括：

对二值图像进行第一次查找轮廓，查找各离散目标的轮廓及轮廓面积，判断轮廓面积是否大于预设面积；

若是，则找到对应轮廓的质心和外接矩形框，将外接矩形框映射到原图像中，计算HSI颜色空间下映射区域颜色特征；

若否，则将对应轮廓面积内的所有像素置零滤除处理，得到新的二值图像。

在一实施方式中，基于HSI颜色空间，对各离散目标进行相似度分析，具体步骤包括：

获取HSI颜色空间下的离散区域的每个像素点的颜色矢量，计算各离散区域内总体颜色特征矢量和整帧图像的颜色特征。

在一实施方式中，获取HSI颜色空间下的离散区域的每个像素点的颜色矢量，计算各离散区域内总体颜色特征矢量和整帧图像的颜色特征之后，所述方法还包括：

判断当前帧是否为初始帧；

若是，则同时保存当前帧和前一帧数据；

若否，则更新当前帧数据。

在一实施方式中，基于HSI颜色空间，对各离散目标进行相似度分析，具体步骤还包括：

计算当前帧内两两离散目标轮廓质心之间的欧几里得距离，依次判断欧几里得距离是否小于第一预设距离；

若欧几里得距离大于或等于第一预设距离，则该对离散目标不予归并；

若欧几里得距离小于第一预设距离，则计算当前帧中该对离散目标之间的颜色特征距离。

在一实施方式中，计算当前帧中该对离散目标之间的颜色特征距离之后，所述方法还包括：

判断颜色特征距离是否小于第二预设距离；

若颜色特征距离大于或等于第二预设距离，则该对离散目标不予归并；

若颜色特征距离小于第二预设距离，则将离散目标质心之间绘制连通线。

在一实施方式中，对目标在上下帧中的运动距离和方向进行位移一致性分析，具体步骤包括：

依据前一帧和当前帧的颜色特征向量，求解上下帧相似矩阵，并对上下帧相似矩阵进行二值化处理，对元素值为1所对应的离散区域进行位移一致性评价。

在一实施方式中，依据前一帧和当前帧的颜色特征向量，求解上下帧相似矩阵，并对上下帧相似矩阵进行二值化处理，对元素值为1所对应的离散区域进行位移一致性评价之后，所述方法还包括：

计算质心移动方向及距离并计算两两位移向量一致性，判断两个方向移动距离差值是否小于阈值。

在一实施方式中，判断两个方向移动距离差值是否小于阈值，具体步骤包括：

当两个方向移动距离差值小于阈值，则将离散目标质心之间绘制连通线；

当两个方向移动距离差值大于或等于阈值，则不予归并。

进行离散目标归并，将当前帧的颜色特征信息更新为前一帧数据，对下一帧图像进行重复处理，具体包括：

离散目标归并后，查找外接轮廓并获得外接矩形框，将当前帧的颜色特征信息更新为前一帧数据。

本发明的一种基于HSI颜色空间和上下文信息的运动目标归并方法，通过读取原图像和与原图像对应的二值图像，并将原图像由RGB颜色空间转换为HSI颜色空间；基于形态学开操作对二值图像进行噪声点和小面积区域滤除处理；基于HSI颜色空间，对各离散目标进行相似度分析；对目标在上下帧中的运动距离和方向进行位移一致性分析；进行离散目标归并，将当前帧的颜色特征信息更新为前一帧数据，对下一帧图像进行重复处理。实现了对同属一个整体的离散目标归并，提高了运动目标的检测完整性和准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于HSI颜色空间和上下文信息的运动目标归并方法的流程示意图；

图2是本发明实施例提供的一种基于HSI颜色空间和上下文信息的运动目标归并方法的整体步骤流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，图1是本发明实施例提供的一种基于HSI颜色空间和上下文信息的运动目标归并方法的流程示意图。具体的，所述基于HSI颜色空间和上下文信息的运动目标归并方法可以包括以下步骤：

S101、读取原图像和与原图像对应的二值图像，并将原图像由RGB颜色空间转换为HSI颜色空间；

本发明实施例中，相机获取的图像是RGB颜色空间，每个通道都包含同种信息，例如每个通道都编入亮度信息，各通道间关联度比较大，RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色。HSI颜色空间更符合生物视觉系统，H、S、I分别代表色调(与光波的波长有关，它表示人的感官对不同颜色的感受，如红色、绿色、蓝色等，它也可表示一定范围的颜色，如暖色、冷色等)、饱和度(表示颜色的纯度，纯光谱色是完全饱和的，加入白光会稀释饱和度。饱和度越大，颜色看起来就会越鲜艳，反之亦然)、亮度(对应成像亮度和图像灰度，是颜色的明亮程度)，两空间转换可表示：

S102、基于形态学开操作对二值图像进行噪声点和小面积区域滤除处理；

本发明实施例中，膨胀操作会对小距离离散目标有较好的归并效果，但它是一种野蛮式归并方法，无法辨识所归并的小目标是否属于同一目标，对于长距离离散区域需要增加膨胀迭代次数，所需计算时间会相应增加，同时也对噪声点进行了膨胀。形态学开操作处理，即先进行腐蚀消除细小物体，然后进行膨胀操作，在一定程度上会抑制对噪声的膨胀作用。对二值图像膨胀操作，然后进行第一次查找轮廓，查找各离散目标的轮廓{c₁,c₂…c_n}及轮廓面积{s₁,s₂…s_n}，判断轮廓面积是否大于预设面积T_S；若是，则找到对应轮廓的质心和外接矩形框，将外接矩形框映射到原图像中，计算HSI颜色空间下映射区域颜色特征；若否，则将对应轮廓面积内的所有像素置零滤除处理，得到新的二值图像。即面积小于预设面积的区域进行滤除。

S103、基于HSI颜色空间，对各离散目标进行相似度分析；

本发明实施例中，获取HSI颜色空间下的离散区域Ω的每个像素点的颜色矢量v＝{v_H,v_S,v_I}，计算离散区域内总体颜色特征-矢量

和整帧图像的颜色特征U＝{u₁,u₂…u_n}。其中，

分别表示区域内个分量均值，σ_H,σ_S,σ_I表示各分量的标准差。在一帧图像中会出现多个离散目标区域，则整帧图像的颜色特征表示为U＝{u₁,u₂…u_n}，n为单帧图像中离散目标区域的数量。判断当前帧是否为初始帧；若是，则同时保存当前帧和前一帧数据；若否，则更新当前帧数据。各离散目标的颜色相似度测算是离散目标是否归并的重要依据，通常来讲，不同类型目标在颜色特征上有较大差异，但离散目标颜色特征和完整目标颜色特征具有相似性，同属一个整体目标的各离散目标之间距离较短，颜色特征也具有相似性。

式(5)、(6)、(7)分别为色度、饱和度、亮度的相似性测度函数，均以e为底数的减函数定义，a,b,c分别为各分量测度参数，均在区间(0，+∞)保证了测度函数递减性，对于同样的两个颜色向量，因为参数不同表现出不同的相似性，符合生物感知世界的模糊性。以分量差值的绝对值为变量，保证定义域大于等于零，将其值域归一化到[0,1]区间内，当差值的绝对值越小，计算结果将向1趋近，各分量相似性较高，同属一个目标的概率越高，相反，否则，属于同一目标的的概率越小。颜色总体特征的相似性由三个分量相似性共同决定：

D(u_i,u_j)∈[0,1]，该值接近1时，表示两个离散目标的颜色信息更加接近，同属于一个整体目标的概率越大。

因此，计算当前帧内两两离散目标轮廓质心之间的欧几里得距离d_j，依次判断欧几里得距离是否小于第一预设距离T_D1；若欧几里得距离d₁大于或等于第一预设距离T_D1，则该对离散目标不予归并；若欧几里得距离d_j小于第一预设距离T_D1，则计算当前帧离中该对散目标之间的颜色特征距离c₁，判断颜色特征距离是否小于第二预设距离T_C1；若颜色特征距离c₁大于或等于第二预设距离T_C1，则不予归并；若颜色特征距离c₁小于第二预设距离T_C1，则将离散目标质心之间绘制连通线。

S104、对目标在上下帧中的运动距离和方向进行位移一致性分析；

本发明实施例中，运动目标在视频序列中具有连续性，同属于一个整体的目标在上下文中具有运动的一致性。运动目标与背景之间，目标与目标之间存在明显的色差，这为判定各离散目标是否同属一个完整目标提供依据。依据前一帧和当前帧的颜色特征向量U_P,U_C，求解上下帧相似矩阵A，并对上下帧相似矩阵A进行二值化处理，对元素值为1所对应的离散区域进行位移一致性评价。计算质心移动方向及距离并计算两两位移向量一致性，判断两个方向移动距离差值d(r_i,r_j)是否小于阈值T_M；当两个方向移动距离差值d(r_i,r_j)小于阈值T_M，则认为目标在运动方向和距离上保持一致，可以归并为同一目标，则将离散目标质心之间绘制连通线；当两个方向移动距离差值d(r_i,r_j)大于或等于阈值T_M，则不予归并。

具体为运动目标在前后帧中所处的位置会有移动，但是其颜色特征保持稳定。前一帧和当前帧的颜色特征向量分别是U_P,U_C，上下帧相似性矩阵如式(10)：

其中M,K分别为当前帧和前一帧离散目标数量，对相似性矩阵元素做二值化处理：

其中D(u_Cm,u_Pk)表示两区域的颜色特征相似性，o(u)表示区域的质心，P₁(x₁,y₁)，P₂(x₂,y₂)分别为o(u_Pm)和o(u_Ck)的坐标。Euc(o(u_Cm),o(u_Ck))表示两质心间欧几里得距离以表征目标在前后帧的位移距离。二值化要同时满足两个条件：①颜色特征相似性高于T_b；②虽然运动目标在前后帧中会发生位移，但是由于两帧间隔时间较短，位移距离应小于T_D2。

当A_b中每列存在两个及以上值为1的元素，即前一帧中的一个离散目标在当前帧中对应多个相似目标，那么对应的当前帧目标之间也具有较高的相似性。若存在多个颜色特征相似并且距离较近的目标时，例如正在会车的同款车辆，此时会将多个物体归并在一起。通常情况下，一个完整目标的各部分位移的大小和方向应该一致，因此应将离散目标在上下帧的位移信息考虑进来。

δ表示从o₁位移到o₂的位移方向，以正右方为0°，逆时针增加至360°。定义位移向量R＝{r₁,r₂…r_l}，其中r＝{δ,Eur,x₂,y₂}，l是A_b中元素值为1的。评价位移向量r_i,r_j一致性依据：

dx_i＝Euc_i×cos(δ_i) dy_i＝-Euc_i×sin(δ_i)； (15)

dx_j＝Euc_j×cos(δ_j) dx_j＝-Euc_j×sin(δ_j)； (16)

dx,dy表示质心点在水平和垂直方向的移动距离，d(r_i,r_j)由两个方向移动距离差值合成，当其小于阈值T_M，则认为两目标位移具有一致性。

S105、进行离散目标归并，将当前帧的颜色特征信息更新为前一帧数据，对下一帧图像进行重复处理。

本发明实施例中，在二值图像上将符合归并的离散目标质心之间绘制连接线得到，目的是让离散目标归为一体，便于完整目标检测，查找二值图像轮廓并获得外接矩形框，将当前帧的颜色特征信息更新为前一帧数据，重新返回步骤S101对下一帧图像做同样处理。

实验结果及分析：

选取三段视频序列验证算法的效果和适用性能，视频1为静态相机下监控视频，视频2为运动相机下所拍摄的视频，视频3为运动相机所拍摄，但是视频中存在多个距离相近，颜色特征相似的运动目标。通过VS2017和Opencv4.1编程实现，运行在PC(CPU为8核3.5GHz,内存8GB)上。

表1测试视频信息

实验1：二值图像中存在离散的小面积区域，本文中设置T_S为20，即将面积小于20个像素点的区域进行滤除。

实验2：基于HSI颜色特征相似性对离散目标第一次归并。本文中相似度测度参数a、b、c均设为10，质心距离T_D1设为30，相似度阈值T_C1设为0.75。滤除小目标后的二值图像已经呈现出比较完整的人体轮廓。

视频2为运动相机下拍摄，人与相机同时运动，相机运动补偿不足或过度补偿导致目标不连贯，离散程度大，由于目标上下着装颜色一白一黑，其颜色相似度低，将上下半身分别归并，人体仍然是离散状态。由此可见，当一个完整目标各部分颜色对比度较强时，仅依据颜色特征相似度归并能力有限。视频3为运动相机拍摄的空中飞行目标，飞机漆装颜色单一，基于颜色相似度归并效果较好。三架飞机为同一颜色，由于T_D1设置比较小，飞机之间没有出现归并。

实验3：基于上下文位移一致性进行归并，本文中将T_D2设置为80，T_b设为0.6，T_M设为30。第二次归并是在第一次归并后进行，对于一个完整目标，各部分的位移距离和方向具有一致性，在视频2中体现明显，第一次归并后，人体上下半身仍然分离，上下半身归并为一体，人体轮廓检测完整。

定义准确率

其中N为目标总数量，N_t为完整检测目标的数量。准确率P1表示直接对二值图像查找轮廓进行目标检测，P2表示对离散目标归并后再查找目标轮廓，由表2可知，归并后对目标完整性检测有了大幅提高，平均提高27.4％

表2归并准确率及耗时

本发明的一种基于HSI颜色空间和上下文信息的运动目标归并方法，通过读取原图像和与原图像对应的二值图像，并将原图像由RGB颜色空间转换为HSI颜色空间；基于形态学开操作对二值图像进行噪声点和小面积区域滤除处理；基于HSI颜色空间，对各离散目标进行相似度分析；对目标在上下帧中的运动距离和方向进行位移一致性分析；进行离散目标归并，将当前帧的颜色特征信息更新为前一帧数据，对下一帧图像进行重复处理。实现了对同属一个整体的离散目标归并，提高了运动目标的检测完整性和准确度。

请参阅图2，图2是本发明实施例提供的一种基于HSI颜色空间和上下文信息的运动目标归并方法的整体步骤流程示意图。具体流程为：开始，读入二值图像和原图像，对二值图像进行形态学开操作，第一次查找轮廓，依次判断各轮廓面积是否大于预设面积T_S，若大于预设面积T_S，则置零处理，若小于或等于预设面积T_S，则寻找质心和外接框，计算外接框内H、S、I分量均值及其方差；判断是否为初始帧，若是初始帧，则同时保存为当前帧和前一帧数据，若不是初始帧，则更新当前帧数据；离散目标开始归并，计算两两离散目标区域质心的欧几里得距离d₁,d₂…d_p判断欧几里得距离d_j是否小于第一预设距离T_D1，若欧几里得距离d_j大于或等于第一预设距离T_D1，则不予归并；若欧几里得距离d_j小于第一预设距离T_D1，则计算当前帧离散目标之间的颜色特征距离c₁，判断颜色特征距离是否小于第二预设距离T_C1；若颜色特征距离c₁大于或等于第二预设距离T_C1，则不予归并；若颜色特征距离c₁小于第二预设距离T_C1，则将离散目标质心之间绘制连通线。计算当前帧目标质心与前一帧目标质心相似矩阵并对其二值化；获取值为1元素相对应的离散目标区域，计算其质心移动方向及距离并计算两两位移向量一致性，判断两个方向移动距离差值d(r_i,r_j)是否小于阈值TM；当两个方向移动距离差值d(r_i,r_j)小于阈值T_M，则认为目标在运动方向和距离上保持一致，可以归并为同一目标，则将离散目标质心之间绘制连通线；当两个方向移动距离差值d(r_i,r_j)大于或等于阈值T_M，则不予归并。离散目标归并后，查找外接轮廓并获得外接矩形框，将当前帧的颜色特征信息更新为前一帧数据。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (9)

1.一种基于HSI颜色空间和上下文信息的运动目标归并方法，其特征在于，包括：

读取原图像和与原图像对应的二值图像，并将原图像由RGB颜色空间转换为HSI颜色空间；

基于形态学开操作对二值图像进行噪声点和小面积区域滤除处理，对二值图像进行第一次查找轮廓，查找各离散目标的轮廓及轮廓面积，判断轮廓面积是否大于预设面积，若是，则找到对应轮廓的质心和外接矩形框，将外接矩形框映射到原图像中，计算HSI颜色空间下映射区域颜色特征，若否，则将对应轮廓面积内的所有像素置零滤除处理，得到新的二值图像；

基于HSI颜色空间，对各离散目标进行相似度分析；

对目标在上下帧中的运动距离和方向进行位移一致性分析；

进行离散目标归并，将当前帧的颜色特征信息更新为前一帧数据，对下一帧图像进行重复处理。

2.如权利要求1所述的基于HSI颜色空间和上下文信息的运动目标归并方法，其特征在于，基于HSI颜色空间，对各离散目标进行相似度分析，具体步骤包括：

获取HSI颜色空间下的离散区域的每个像素点的颜色矢量，计算各离散区域内总体颜色特征矢量和整帧图像的颜色特征。

3.如权利要求2所述的基于HSI颜色空间和上下文信息的运动目标归并方法，其特征在于，获取HSI颜色空间下的离散区域的每个像素点的颜色矢量，计算各离散区域内总体颜色特征矢量和整帧图像的颜色特征之后，所述方法还包括：

判断当前帧是否为初始帧；

若是，则同时保存当前帧和前一帧数据；

若否，则更新当前帧数据。

4.如权利要求3所述的基于HSI颜色空间和上下文信息的运动目标归并方法，其特征在于，基于HSI颜色空间，对各离散目标进行相似度分析，具体步骤还包括：

计算当前帧内两两离散目标轮廓质心之间的欧几里得距离，依次判断欧几里得距离是否小于第一预设距离；

若欧几里得距离大于或等于第一预设距离，则该对离散目标不予归并；

若欧几里得距离小于第一预设距离，则计算当前帧中该对离散目标之间的颜色特征距离。

5.如权利要求4所述的基于HSI颜色空间和上下文信息的运动目标归并方法，其特征在于，计算当前帧中该对离散目标之间的颜色特征距离之后，所述方法还包括：

判断颜色特征距离是否小于第二预设距离；

若颜色特征距离大于或等于第二预设距离，则该对离散目标不予归并；

若颜色特征距离小于第二预设距离，则将离散目标质心之间绘制连通线。

6.如权利要求1所述的基于HSI颜色空间和上下文信息的运动目标归并方法，其特征在于，对目标在上下帧中的运动距离和方向进行位移一致性分析，具体步骤包括：

依据前一帧和当前帧的颜色特征向量，求解上下帧相似矩阵，并对上下帧相似矩阵进行二值化处理，对元素值为1所对应的离散区域进行位移一致性评价。

7.如权利要求6所述的基于HSI颜色空间和上下文信息的运动目标归并方法，其特征在于，依据前一帧和当前帧的颜色特征向量，求解上下帧相似矩阵，并对上下帧相似矩阵进行二值化处理，对元素值为1所对应的离散区域进行位移一致性评价之后，所述方法还包括：

计算质心移动方向及距离并计算两两位移向量一致性，判断两个方向移动距离差值是否小于阈值。

8.如权利要求7所述的基于HSI颜色空间和上下文信息的运动目标归并方法，其特征在于，判断两个方向移动距离差值是否小于阈值，具体步骤包括：

当两个方向移动距离差值小于阈值，则将离散目标质心之间绘制连通线；

当两个方向移动距离差值大于或等于阈值，则不予归并。

9.如权利要求1所述的基于HSI颜色空间和上下文信息的运动目标归并方法，其特征在于，进行离散目标归并，将当前帧的颜色特征信息更新为前一帧数据，对下一帧图像进行重复处理，具体包括：

离散目标归并后，查找外接轮廓并获得外接矩形框，将当前帧的颜色特征信息更新为前一帧数据。

Images