CN114821433B - 一种基于目标检测信度动态融合的目标识别方法 - Google Patents

Abstract

本发明公开了一种基于目标检测信度动态融合的目标识别方法，涉及计算机视觉、深度学习领域。本发明将有关待识别目标的视频文件进行采样，并把采样得到的图片流作为输入，送入已训练好的Yolo模型进行识别计算。然后，Yolo模型将会输出预测框对待识别目标进行标定，并得到目标每一时刻的识别置信度。随后，利用得到的当前时刻的置信度对历史时刻的置信度进行动态更新，得到当前时刻的动态置信度。最后，基于阈值，判断目标是否真实存在。本发明将目标识别信度进行动态融合，优化了传统的Yolo目标识别方法，可以有效提高目标在天气变化、局部目标遮挡等情况下的识别信度和准确度，进而有效提升目标识别的可靠性和稳定性。

Description

一种基于目标检测信度动态融合的目标识别方法

技术领域

本发明涉及计算机视觉、机器学习等领域，具体涉及一种基于目标检测信度动态融合的目标识别方法。

背景技术

目前大部分的目标识别模型是先将输入图像划分为网格形式，再通过训练好的神经网络提取当前时刻图像的特征，并对每个网格进行图像分类和定位，获得预测对象的边界框以及对应类的识别置信度，最后将识别置信度与预设信度阈值进行比较，判断目标是否出现。

虽然现在关于目标识别已经有很多研究，但是还是存在一些未解决好的问题。在实际中，天气变化、局部目标遮挡等原因都会造成每个时刻获取的信度值出现不确定性变化，间歇或长期的低于信度阈值，导致真实存在的目标暂时或长期丢失。

所以，如何提高目标在复杂场景下的识别信度，进而提升目标识别的可靠性和稳定性是有待解决的问题。

发明内容

为了解决上述的技术问题，本发明的目的就在于提高识别目标的置信度，提升目标识别的可靠性和稳定性，提供一种基于目标检测信度动态融合的目标识别方法。

本发明所采用的技术方案是：

(1)获取监控视频，将视频文件截取成图片流。

(2)建立YOLO目标识别模型，对图片中的目标施加预测框进行标定。

(3)利用非极大值抑制算法得到单一目标准确的预测框和目标检测信度。

(4)基于目标检测信度动态融合规则，将目标检测信度动态融合。

(5)将单一目标准确的预测框和动态融合信度标记在图片上。

上述的技术方案，其中，所述步骤(1)中获取监控视频，将视频文件截取成图片流包括如下步骤：

对于监控摄像头捕获的关于待识别目标的视频文件，利用Python中的OpenCV库将视频文件截取成图片流，记为P₁,...,P_t,...,P_T，t＝1,2,...,T，t表示图片采样时刻，T表示获取图片的总个数，2<T<+∞。

上述的技术方案，其中，所述步骤(2)中建立YOLO目标识别模型，对图片中的目标施加预测框进行标定包括如下步骤：

建立YOLO目标识别模型，它是由N个权值参数构成的一个特征提取网络，权值参数集合记为Q＝{Q_n|n＝1,2…,N}，Q_n表示第n个权值参数，且0≤Q_n≤1，将步骤(1)中图片P_t输入YOLO模型变换为416像素×416像素的三原色数据矩阵，对该三原色数据矩阵进行12次卷积计算提取图像中的目标特征，并对识别出的单一目标施加预测框进行标定。

上述的技术方案，其中，所述步骤(3)中利用非极大值抑制算法得到单一目标准确的预测框和目标检测信度包括如下步骤：

将步骤(2)中的预测框进行堆叠，并利用非极大抑制算法得到单一目标准确的预测框和目标检测信度，将目标检测信度记为C_t，0≤C_t≤1。

上述的技术方案，其中，所述步骤(4)中基于目标检测信度动态融合规则，将目标检测信度动态融合包括如下步骤：

基于目标检测信度动态融合规则，将当前t时刻的目标检测信度与历史时刻的目标检测信度进行融合，得到当前t时刻的动态融合信度，记为B_t，具体步骤如下：

(4-1)设定目标检测信度C_t的重要性权重为w_t，且有0.7≤w_t≤1(t＝1,2…,T)，目标检测信度C_t的可靠性为r_t，通过如下公式计算：

其中，r₀＝0.5是可靠性初值，f是可靠性标志函数，通过如下公式计算：

设定A＝(1,0,0)，B_t ^*＝(B_t,0,1-B_t)，C_t ^*＝(C_t,0,1-C_t)，λ是可靠性变化系数，通过如下公式计算：

其中，cosθ₁和cosθ₂通过如下公式计算：

·表示求向量的内积，|A|×|C_t ^*|中||表示对向量取模；

式(3)中的为可靠性的平均值通过如下公式计算：

(4-2)当t＝2时，通过步骤(3)获得t＝2时刻的目标检测信度C₂，将C₂与B₁进行融合，得到融合信度

其中ξ_t-1,t和通过如下的目标检测信度动态融合规则公式获得：

ξ_t-1,t＝[(1-r_t)w_tC_t+(1-r_t-1)w_t-1B_t-1]+C_tB_t-1+C_t(1-B_t-1)+(1-C_t)B_t-1 (6)

即把t＝1时刻和t＝2时刻的目标检测信度融合得到t＝2时刻的融合信度，再将融合信度M_t进行Pignistic概率转换，得到目标的动态融合信度B_t，通过如下公式计算：

(4-3)当3≤t≤T时，重复以上步骤(4-1)和(4-2)，即可获得该时刻目标的动态融合信度B_t。

上述的技术方案，其中，所述步骤(5)中将单一目标准确的预测框和动态融合信度标记在图片上包括如下步骤：

当t时刻的动态融合信度B_t＞0.8时，则认为该目标确实存在，并利用Python中的PIL(Python Imaging Library)库将预测框和动态融合信度标记在P_t上。

本发明的有益效果：

1、本发明采用基于YOLO的目标识别模型，避免试用复杂的数学模型和辨识框架，快速检测出待识别目标，满足监控系统实时处理的要求。

2、本发明采用基于目标检测信度动态融合规则，相较于传统的YOLO模型能有效提高目标在天气变化、局部目标遮挡等情况下的置信度，进而提升目标识别的可靠性和稳定性。

附图说明

图1是本发明方法的步骤图；

图2是本发明方法的流程图；

图3(a)和图3(b)是实例中所提的港口识别图；

图4是本发明方法实例中C_t和B_t的数据图。

具体实施方案

以下结合附图和具体实施对本发明进行详细描述，但不作为对本发明的限定。

如图1和图2，本发明的实现步骤如下：

A获取监控视频，将视频文件截取成图片流。

在某港口的监控云台设有监控摄像头，摄像头从俯视角度观测港口吊机、轿车、集装箱等目标，并实时的将图像传入监控计算机，记为P₁,...,P_t,...,P_T，t＝1,2,...,T，t表示图片采样时刻，T表示获取图片的总个数，2<T<+∞。

B建立YOLO目标识别模型，对图片中的目标施加预测框进行标定。

将步骤(1)中图片P_t输入已训练好的YOLO模型，将图片变换为416像素×416像素的三原色数据矩阵，对该三原色数据矩阵进行12次卷积计算提取图像中的目标特征，并对识别出的单一目标施加预测框进行标定。

C利用非极大值抑制算法得到单一目标准确的预测框和目标检测信度。

将步骤(2)中的预测框进行堆叠，并利用非极大抑制算法得到某一轿车准确的预测框和目标检测信度，不同时刻目标检测信度分别为C₁,C₂,...,C₄₅，如表1所示：

表1目标识别信度表

在本案例中，由于存在局部目标遮挡和光线问题，目标的识别置信度出现不确定性变化，导致目标丢失。图3(a)为某时刻该港口的识别结果图，其中箭头所指示的轿车，由于被部分遮挡，使得其识别置信度低于阈值，导致目标无法被识别。

D基于目标检测信度动态融合规则，将目标检测信度动态融合。

根据步骤(4)，基于目标识别信度动态融合规则，将当前时刻的目标识别信度与历史时刻的目标识别信度进行动态融合。

按照步骤(4)可以分别计算出这45个时刻的动态置信度如下：

当t＝1时，根据步骤(4-1)可得，B₁＝C₁＝0.791；

当t＝2时，根据步骤(4-2)，取w₁＝w₂＝1，r₁＝0.5计算2时刻置信度的可靠性r₂：通过公式(2)计算出f＝1，通过公式(4)计算出cosθ₁＝0.970，通过公式(5)计算出cosθ₂＝0.967，进而通过公式(3)计算出λ＝0.477，把可靠性初值r₀、可靠性标志f、可靠性变化系数λ代入公式(1)中得到r₂＝0.738，根据步骤(4-3)利用公式(7)～(9)对B₁进行更新可以得到更新后的融合置信度M₂＝0.888，最后利用公式(10)对融合置信度进行Pignistic概率转换得到动态置信度B₂＝0.944。

重复步骤(4)可以得到所有45个时刻的动态融合信度，如表2所示：

表2动态融合信度表

其数据图如图4中B_t所示。

E将单一目标准确的预测框和动态融合信度标记在图片上。

当t时刻的动态融合信度B_t＞0.8时，则认为该目标确实存在，并利用Python中的PIL(Python Imaging Library)库将预测框和动态融合信度标记在P_t上。

识别结果如表3所示：

表3识别结果表

其中，目标在t＝1至t＝45时刻，由于部分遮挡和光线等原因导致识别置信度下降，利用普通的YOLO模型会导致目标丢失，识别准确率为8.89％，而本发明方法的在目标被遮挡时能稳定的识别出目标，识别准确率为97.78％。利用本发现动态融合后的动态融合信度取代目标识别信度后，可以将图3(a)中的目标车辆识别出来，如图3(b)所示，可见本发明可以有效提高目标识别的准确度。

Claims (1)

1.一种基于目标检测信度动态融合的目标识别方法，其特征在于该方法包括以下各步骤：

(1)获取监控视频，将视频文件截取成图片流；

(2)建立YOLO目标识别模型，对图片中的目标施加预测框进行标定；

(3)利用非极大值抑制算法得到单一目标准确的预测框和目标检测信度；

(4)基于目标检测信度动态融合规则，将目标检测信度动态融合；

(5)将单一目标准确的预测框和动态融合信度标记在图片上；

所述步骤(1)具体如下：

对于监控摄像头捕获的关于待识别目标的视频文件，利用Python中的OpenCV库将视频文件截取成图片流，记为P₁,...,P_t,...,P_T，t＝1,2,...,T，t表示图片采样时刻，T表示获取图片的总个数，2<T<+∞；

所述步骤(2)具体如下：

建立YOLO目标识别模型，所述YOLO目标识别模型是由N个权值参数构成的一个特征提取网络，权值参数集合记为Q＝{Q_n|n＝1,2…,N}，Q_n表示第n个权值参数，且0≤Q_n≤1，将步骤(1)中图片P_t输入YOLO模型变换为416像素×416像素的三原色数据矩阵，对该三原色数据矩阵进行12次卷积计算提取图像中的目标特征，并对识别出的单一目标施加预测框进行标定；

所述步骤(3)具体如下：

将步骤(2)中的预测框进行堆叠，并利用非极大抑制算法得到单一目标准确的预测框和目标检测信度，将目标检测信度记为C_t，0≤C_t≤1；

所述步骤(4)具体如下：

基于目标检测信度动态融合规则，将当前t时刻的目标检测信度与历史时刻的目标检测信度进行融合，得到当前t时刻的动态融合信度，记为B_t，具体步骤如下：

(4-1)设定目标检测信度C_t的重要性权重为w_t，且有0.7≤w_t≤1，目标检测信度C_t的可靠性为r_t，通过如下公式计算：

其中，r₀＝0.5是可靠性初值，f是可靠性标志函数，通过如下公式计算：

设定A＝(1,0,0)，B_t ^*＝(B_t,0,1-B_t)，C_t ^*＝(C_t,0,1-C_t)，λ是可靠性变化系数，通过如下公式计算：

其中，cosq₁和cosq₂通过如下公式计算：

·表示求向量的内积，|A|×|C_t ^*|中||表示对向量取模；

式(3)中的r为可靠性的平均值，通过如下公式计算：

(4-2)当t＝2时，通过步骤(3)获得t＝2时刻的目标检测信度C₂，将C₂与B₁进行融合，得到融合信度

其中x_t-1,t和通过如下的目标检测信度动态融合规则公式获得：

x_t-1,t＝[(1-r_t)w_tC_t+(1-r_t-1)w_t-1B_t-1]+C_tB_t-1+C_t(1-B_t-1)+(1-C_t)B_t-1 (6)

即把t＝1时刻和t＝2时刻的目标检测信度融合得到t＝2时刻的融合信度，再将融合信度M_t进行Pignistic概率转换，得到目标的动态融合信度B_t，通过如下公式计算：

(4-3)当3≤t≤T时，重复以上步骤(4-1)和(4-2)，即可获得该时刻目标的动态融合信度B_t；

所述步骤(5)具体如下：

当t时刻的动态融合信度B_t＞0.8时，则认为该目标确实存在，并利用Python中的PIL库将预测框和动态融合信度标记在P_t上。