CN107633215A - 一种高空视频监控中小微模糊目标的甄别方法 - Google Patents

Abstract

本发明公开了一种高空视频监控中小微模糊目标的甄别方法，包括如下步骤：(1)通过目标区域跟踪算法获取更为清晰的局部图像，将小微模糊目标的检测逐步转化为一系列中近景较大目标的检测；(2)通过不同焦距下的场景图片置信度序列，由预先训练好的分类器判决最终置信度p_F；(3)以综合置信度p_F为决策依据，决定是否向用户界面告警。本发明首先利用目标区跟踪和目标区域逐级放大方法，将模糊小微目标检测逐步转化为已有算法模型更具优势的中大型目标检测；然后通过不同焦距下的场景图片置信度序列，交由预先训练好的分类器判决最终置信度p_F；最后以综合置信度p_F为决策依据，决定是否向用户界面告警，从而极大降低了模糊小微目标的误判比例。

Description

一种高空视频监控中小微模糊目标的甄别方法

技术领域

本发明涉及图像识别技术领域，尤其是一种高空视频监控中小微模糊目标的甄别方法。

背景技术

现有技术中，远景监控场景中识别因为像素信息缺失而导致的漏报只是问题的一个方面；另一方面，像素特征缺失还会引起误报现象。例如：在远景场景中，烟雾与不规则小池塘看上去都很像烟雾，以低像素的局部图像来看，很难最终确定目标物。目前已有摄像头可以支持局部放大的能力，但是因为摄像头不能自动判断场景中是否有疑似目标物，因此局部放大功能需要通过人工圈定的方式来实现，限制了全自动智能分析预警系统的高精确度实现。类似这样的误报会给监管造成很大的困难，因此亟待一种有效的甄别方法来降低小微模糊目标的误判比例。

发明内容

本发明所要解决的技术问题在于，提供一种高空视频监控中小微模糊目标的甄别方法，能够极大降低模糊小微目标的误判比例。

为解决上述技术问题，本发明提供一种高空视频监控中小微模糊目标的甄别方法，包括如下步骤：

(1)通过目标区域跟踪算法获取更为清晰的局部图像，将小微模糊目标的检测逐步转化为一系列中近景较大目标的检测；

(2)通过不同焦距下的场景图片置信度序列，由预先训练好的分类器判决最终置信度p_F；

(3)以综合置信度p_F为决策依据，决定是否向用户界面告警。

优选的，步骤(1)中，目标区域跟踪算法具体包括如下步骤：

(11)得到某场景的图片I₀，并提交进行算法模型检测，模型返回图片中疑似目标的位置和置信度参数[(x_L,y_L),(x_R,y_R),p₀]；

(12)根据(x_L,y_L),(x_R,y_R)计算疑似目标区域的像素面积S＝|x_R-x_L|·|y_R-y_L|；

(13)判断S≤S_H；如果是，则继续步骤(14)；否则跳转至步骤(3)，其中S_H为小微目标的像素面积阈值，通过海量模糊目标像素面积数据分布拟合后确定；

(14)根据步骤(13)中疑似目标区域大小S和该区域在待检测图像中的位置，计算监控摄像头待旋转的水平、垂直方向角度(Δθ_x,Δθ_y)以及目标放大倍率RI；

(15)调用摄像头控制接口，调整摄像头水平、垂直角度以及焦距，使得疑似目标区域在新的监控场景中放大并基本居中；获取该场景下新疑似区域局部放大新图片I₁；

(16)根据实际业务需要，将摄像头进行多次逐级放大，获取疑似区域的不同焦距下的图片序列I＝(I₁…I_k.…I_N)。

优选的，步骤(13)中，小微目标的像素面积阈值S_H的确定具体包括如下步骤：(131)从实际系统中，人工筛选误检的小微模糊目标图片N张，该数据集中不允许包含任何中近景目标图片；

(132)用已有检测模型重新遍历误检数据集，得到每一张图片的检出区域[(x_L,y_L)_k,(x_R,y_R)_k]_i，其中i＝1,2,…,N，为图片序号；k为第i张图片中检出的小微模糊目标区域序号，如果仅有一个模糊目标区域，则k＝1；

(133)计算样本集中所有模糊目标区域总数T，其中

(134)遍历所有T个区域，计算原始模糊目标区域像素面积序列S＝(S₁,S₂,…,S_T)，记最小面积为S_min，最大面积S_max；

(135)以S_min为起点，S_max为终点，以(S_max-S_min)/50为区间步长，逐区间计算，得到每个区间内的频率离散序列F＝(F₁,F₂,…,F_j,…,F₅₀)；

(136)以区间序号j为横坐标，对应的区间频率F_j为纵坐标，对离散序列F＝(F₁,F₂,…,F_j,…,F₅₀)进行正态分布拟合，并计算均值μ和标准差σ；

(137)对数值(μ-2σ)向下取整，得到S_H。

优选的，步骤(14)中，计算监控摄像头待旋转的水平、垂直方向角度(Δθ_x,Δθ_y)以及目标放大倍率RI具体包括如下步骤：

(141)对像素面积<S_H的小微目标区域，计算目标区域中心坐标(O_x,O_y)，O_x＝(x_R+x_L)/2,O_y＝(y_R+y_L)/2；

(142)计算Δx＝L/2-O_x，Δy＝H/2-O_y；

(143)利用已有的摄像头水平、竖直方向角度像素比系数η_x，η_y，分别计算Δθ_x＝Δx·η_x,Δθ_y＝Δy·η_y；其中η_x，η_y通过事先实验并计算随机分布均值得到；选取不同旋转角度α重复该实验N次，得到η序列，令

(144)放大倍率RI计算；计算β＝L_ori*H_ori/(L*H)，首次放大前该值小于1％；设放大后新目标区域画面占比期望为p，计算γ＝p/β；分别计算如果L_des>L，令L_des＝L；如果H_des>H，令H_des＝H；令λ＝min(L_des/L_ori，H_des/H_ori)；调用摄像头接口获取当前放大倍率RI₀，计算像头最新放大倍率RI＝λ*RI₀。

(145)调用摄像头命令依次水平旋转摄像头Δθ_x，竖直旋转摄像头Δθ_y角度，设定摄像头新放大倍率RI；如果Δθ_x为正值，则摄像头水平向左旋转Δθ_x角度，反之，水平向右旋转Δθ_x角度；如果Δθ_y为正值，则摄像头竖直向上旋转Δθ_y角度，反之，竖直向下方旋转Δθ_y角度；Δθ为0，则该方向不进行旋转。

优选的，步骤(2)中，通过不同焦距下的场景图片置信度序列，由预先训练好的分类器判决最终置信度p_F具体包括如下步骤：

(21)将图片序列I＝(I₁…I_k.…I_N)中每一张图片提交已有检测模型进行目标检测，得到每张图片对应的目标检测置信度序列p＝(p₁…p_k.…p_N)，如果该图中没有待检测目标发现，则p_k＝0；因为I₁是I₀局部放大后图像，I₂是I₁局部放大后图像，以此类推，随着k的递增，图像I_k中的疑似目标周边像素信息会逐步增多，提高了小微模糊目标的甄别能力；(22)将p₀以及序列p置入已预先训练好的分类模型，计算原始小微模糊目标区域中的最终置信度p_F。

优选的，步骤(3)中，以综合置信度p_F为决策依据决定是否向用户界面告警具体包括如下步骤：

(31)如果步骤(13)中S>S_H，则p_F＝p₀；否则p_F为步骤(22)中数值；判断是否p_F>0.9，如果是继续步骤(32)；否则跳转到步骤(33)等待下一次识别检测任务；

(32)在I₀中标注区域(x_L,y_L),(x_R,y_R)，返回标注后图片至用户界面；

(33)本次检测结束，等待下一次检测任务。

本发明的有益效果为：本发明首先利用目标区跟踪和目标区域逐级放大方法，将模糊小微目标检测逐步转化为已有算法模型更具优势的中大型目标检测；然后通过不同焦距下的场景图片置信度序列，交由预先训练好的分类器判决最终置信度p_F；最后以综合置信度p_F为决策依据，决定是否向用户界面告警，从而极大降低了模糊小微目标的误判比例。

附图说明

图1为本发明的S_H确定方法流程示意图。

图2为本发明S_H确定过程中像素面积离散序列散点图。

图3为本发明S_H确定过程中像素面积分布频率柱状图及拟合曲线图。

图4为本发明中小微区域跟踪及目标放大算法需求示意图。

图5为本发明中监控摄像头待旋转的水平、垂直方向角度(Δθ_x,Δθ_y)以及目标目标放大倍率RI的推算过程示意图。

图6为本发明中Δθ_x,Δθ_y、RI计算步骤流程图。

图7为本发明中分类模型示意图。

图8为本发明方法应用前后，小微模糊目标甄别能力对比图。

具体实施方式

一种高空视频监控中小微模糊目标的甄别方法，包括如下步骤：

(1)通过目标区域跟踪算法获取更为清晰的局部图像，将小微模糊目标的检测逐步转化为一系列中近景较大目标的检测；

(2)通过不同焦距下的场景图片置信度序列，由预先训练好的分类器判决最终置信度p_F；

(3)以综合置信度p_F为决策依据，决定是否向用户界面告警。

下面结合附图对本发明的技术方案作详细说明。本发明将使用过程中小微模糊目标误检测场景图片收集归类，确定易发生因像素信息过少而发生误报场景的面积阈值S_H；针对1中小于面积阈值S_H的每一个目标，通过目标区域跟踪和摄像头逐级放大方法，将小微目标识别检测问题逐步转化为已有算法模型更具优势的中大型目标检测问题；通过不同放大倍率场景图片置信度序列，交由预先训练好的分类器判决最终置信度p_F。

本发明的方法具体为：

步骤1，沿用前期发明已有的图像获取技术，得到某场景的图片I₀，并提交已有算法模型检测，模型返回图片中疑似目标的位置和置信度参数[(x_L,y_L),(x_R,y_R),p₀]

步骤2，根据(x_L,y_L),(x_R,y_R)计算疑似目标区域的像素面积S＝|x_R-x_L|·|y_R-y_L|

步骤3，判断S≤S_H。如果是，则继续步骤4；否则跳转至步骤9。其中S_H为小微目标的像素面积阈值，通过海量模糊目标像素面积数据分布拟合后确定，后文详细说明。

步骤4，根据步骤3中疑似目标区域大小S和该区域在待检测图像中的位置，计算监控摄像头待旋转的水平、垂直方向角度(Δθ_x,Δθ_y)以及目标放大倍率RI，详细步骤后续说明

步骤5，调用摄像头控制接口，调整摄像头水平、垂直角度以及焦距，使得疑似目标区域在新的监控场景中放大并基本居中；获取该场景下新疑似区域局部放大新图片I₁

步骤6，根据实际业务需要，可将摄像头进行多次逐级放大，获取疑似区域的不同焦距下的图片序列I＝(I₁…I_k.…I_N)。

步骤7，将图片序列I＝(I₁…I_k.…I_N)中每一张图片提交已有检测模型进行目标检测，得到每张图片对应的目标检测置信度序列p＝(p₁…p_k.…p_N)，如果该图中没有待检测目标发现，则p_k＝0。因为I₁是I₀局部放大后图像，I₂是I₁局部放大后图像，以此类推，随着k的递增，图像I_k中的疑似目标周边像素信息会逐步增多，从而提高了小微模糊目标的甄别能力

步骤8，将p₀以及序列p置入已预先训练好的分类模型，计算原始小微模糊目标区域中的复合置信度p_F

步骤9，如果步骤3中S>S_H,则p_F＝p₀；否则p_F为步骤8中数值。判断是否p_F>0.9，如果是继续步骤10；否则跳转到步骤11等待下一次识别检测任务

步骤10，在I₀中标注区域(x_L,y_L),(x_R,y_R)，返回标注后图片至用户界面

步骤11，本次检测介绍，等待下一次检测任务。下一次检测请求重复步骤1-11即可。

本发明中易误检最小目标区域阈值S_H确定过程如图1所示，实现过程如下：

步骤1，从实际系统中，人工筛选误检的小微模糊目标图片N张。需要指出的是，该数据集中不允许包含任何中近景目标图片，否则会产生干扰数据从而影响S_H准确程度。

步骤2，用已有检测模型重新遍历误检数据集，得到每一张图片的检出区域[(x_L,y_L)_k,(x_R,y_R)_k]_i，其中i＝1,2,…,N，为图片序号；k为第i张图片中检出的小微模糊目标区域序号，如果仅有一个模糊目标区域，则k＝1。

步骤3，计算样本集中所有模糊目标区域总数T，其中

步骤4，遍历所有T个区域，计算原始模糊目标区域像素面积序列S＝(S₁,S₂,…,S_T)，记最小面积为S_min，最大面积S_max。离散序列S散点图示意如图2所示

步骤5，以S_min为起点，S_max为终点，以(S_max-S_min)/50为区间步长，逐区间计算，得到每个区间内的频率离散序列(由落在每个区间的数据点个数表示)F＝(F₁,F₂,…,F_j,…,F₅₀)。序列F的分布如图3中蓝色柱状图部分所示。本发明用例将序列S分成50个区间来统计每个区间的频率是根据总样本区域数量T，以及每个频率分布情况综合决定的。对不同样本数量T和频率分布情况，区间数量可做响应调整。为保证样本分布的随机性，样本数量T不宜过小，建议T>1000。

步骤6，以区间序号j为横坐标，对应的区间频率F_j为纵坐标，对离散序列F＝(F₁,F₂,…,F_j,…,F₅₀)进行正态分布拟合，并计算均值μ和标准差σ。拟合后曲线如图3中黄色轮廓线所示。本发明采用正态分布拟合，是因为离散序列S柱状图直观上有着典型正态分布的特征。

步骤7，对数值(μ-2σ)向下取整，得到S_H。根据正态分布概率计算，落在+/-2σ以外的点概率约为2.28％，以此作为阈值S_H的设定，覆盖度已经足够高。

本发明中模糊小微目标区域跟踪和摄像头逐级放大方法的背景是：高空监控场景中，获取当前位置的一张图片，并应用前期发明已有的小微目标高检出率方法模型，筛查出若干个疑似目标区域。需要指出的是，首次筛查出的目标区域可能包含0个，1个，或多个小微目标区域，加上部分中大型目标区域。按照前文确定的区域面积阈值S_H，仅对目标区域<S_H的部分进行后续目标追踪和逐级放大。

以某一个小微目标区域为例(如有多个目标区域，同样方法处理多次即可)：该方法的最终目的是将图4中的小微目标区域S，通过摄像头自动跟踪和放大倍率变换，在新的监控画面中放大居中显示到S’。从S到S’的区域追踪及视距放大实现过程示意如图5所示。以下结合图6图详细说明Δθ_x,Δθ_y，RI实现步骤：

步骤1，对像素面积<S_H的小微目标区域，计算目标区域中心坐标(O_x,O_y)，O_x＝(x_R+x_L)/2,O_y＝(y_R+y_L)/2，参见图5中过程1

步骤2，参见图5中过程1，过程2，计算Δx＝L/2-O_x，Δy＝H/2-O_y

步骤3，利用已有的摄像头水平、竖直方向角度像素比系数η_x，η_y，分别计算Δθ_x＝Δx·η_x,Δθ_y＝Δy·η_y。其中η_x，η_y通过事先实验并计算随机分布均值得到，以η_x为例，计算过程简述如下：在目标视野中选取某参照物，例如柱子，并记录当前坐标；令摄像头水平旋转角度α，计算参照物坐标偏移绝对值l，得到η₁＝α/l；选取不同旋转角度α重复该实验N次，得到η序列，令

步骤4，放大倍率RI计算，参见图5过程4示意图。计算β＝L_ori*H_ori/(L*H)，一般情况下，首次放大前该值小于1％；设放大后新目标区域画面占比期望为p，计算γ＝p/β；分别计算如果L_des>L，令L_des＝L；如果H_des>H，令H_des＝H；令λ＝min(L_des/L_ori，H_des/H_ori)；调用摄像头接口获取当前放大倍率RI₀，计算像头最新放大倍率RI＝λ*RI₀

步骤5，调用摄像头命令依次水平旋转摄像头Δθ_x，竖直旋转摄像头Δθ_y角度，设定摄像头新放大倍率RI。需要注意的是，如果Δθ_x为正值，则摄像头水平向左旋转Δθ_x角度，反之，水平向右旋转Δθ_x角度；如果Δθ_y为正值，则摄像头竖直向上旋转Δθ_y角度，反之，竖直向下方旋转Δθ_y角度；Δθ为0，则该方向不进行旋转

如前文所述，本发明通过小微目标区域追踪和逐级放大的方法，最终得到在不同放大倍率下的同样区域场景图片，应用已有的目标检测模型，可得到目标检测置信度序列p＝(p₀…p_k.…p_N)。将序列p作为已训练好的分类器模型，即可得到最终判定概率p_F。分类器的实现方法有多种，本发明采用多层神经网络(模型示意见图7)通过有监督训练来实现。之所以采用该模型，是考虑到在实际应用中鲁棒性要求：不同场景可能有的实际放大级数未必相同，有的一级放大目标已经较清晰，有的需多级放大后方可获得清晰图像。有监督训练的多层神经网络分类器，已有很多文献详细阐述，本发明不再赘述。

本发明所采用的小微模糊目标甄别方法，经实际使用，小微目标的误检率得以大幅降低。经9000张实景图片测试，本方法的实际小微模糊目标误检数量为231张，误检率为2.57％。相同样本集，未采用本发明方法测试，误检数量为1073张，误检率为11.92％。统计如图8。

尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。

Claims (6)

1.一种高空视频监控中小微模糊目标的甄别方法，其特征在于，包括如下步骤：

(1)通过目标区域跟踪算法获取更为清晰的局部图像，将小微模糊目标的检测逐步转化为一系列中近景较大目标的检测；

(2)通过不同焦距下的场景图片置信度序列，由预先训练好的分类器判决最终置信度pF；

(3)以综合置信度p_F为决策依据，决定是否向用户界面告警。

2.如权利要求1所述的高空视频监控中小微模糊目标的甄别方法，其特征在于，步骤(1)中，目标区域跟踪算法具体包括如下步骤：

(11)得到某场景的图片I₀，并提交进行算法模型检测，模型返回图片中疑似目标的位置和置信度参数[(x_L,y_L),(x_R,y_R),p₀]；

(12)根据(xL,yL),(xR,yR)计算疑似目标区域的像素面积S＝|x_R-x_L|·|y_R-y_L|；

(13)判断S≤S_H；如果是，则继续步骤(14)；否则跳转至步骤(3)，其中S_H为小微目标的像素面积阈值，通过海量模糊目标像素面积数据分布拟合后确定；

(14)根据步骤(13)中疑似目标区域大小S和该区域在待检测图像中的位置，计算监控摄像头待旋转的水平、垂直方向角度(Δθ_x,Δθ_y)以及目标放大倍率RI；

(15)调用摄像头控制接口，调整摄像头水平、垂直角度以及焦距，使得疑似目标区域在新的监控场景中放大并基本居中；获取该场景下新疑似区域局部放大新图片I₁；

(16)根据实际业务需要，将摄像头进行多次逐级放大，获取疑似区域的不同焦距下的图片序列I＝(I₁…I_k.…I_N)。

3.如权利要求2所述的高空视频监控中小微模糊目标的甄别方法，其特征在于，步骤(13)中，小微目标的像素面积阈值S_H的确定具体包括如下步骤：

(131)从实际系统中，人工筛选误检的小微模糊目标图片N张，该数据集中不允许包含任何中近景目标图片；

(132)用已有检测模型重新遍历误检数据集，得到每一张图片的检出区域[(x_L,y_L)_k,(x_R,y_R)_k]_i，其中i＝1,2,…,N，为图片序号；k为第i张图片中检出的小微模糊目标区域序号，如果仅有一个模糊目标区域，则k＝1；

(133)计算样本集中所有模糊目标区域总数T，其中

(134)遍历所有T个区域，计算原始模糊目标区域像素面积序列S＝(S₁,S₂,…,S_T)，记最小面积为S_min，最大面积S_max；

(135)以S_min为起点，S_max为终点，以(S_max-S_min)/50为区间步长，逐区间计算，得到每个区间内的频率离散序列F＝(F₁,F₂,…,F_j,…,F₅₀)；

(136)以区间序号j为横坐标，对应的区间频率F_j为纵坐标，对离散序列F＝(F₁,F₂,…,F_j,…,F₅₀)进行正态分布拟合，并计算均值μ和标准差σ；

(137)对数值(μ-2σ)向下取整，得到S_H。

4.如权利要求2所述的高空视频监控中小微模糊目标的甄别方法，其特征在于，步骤(14)中，计算监控摄像头待旋转的水平、垂直方向角度(Δθ_x,Δθ_y)以及目标放大倍率RI具体包括如下步骤：

(141)对像素面积<S_H的小微目标区域，计算目标区域中心坐标(O_x,O_y)，O_x＝(x_R+x_L)/2,O_y＝(y_R+y_L)/2；

(142)计算Δx＝L/2-O_x，Δy＝H/2-O_y；

(143)利用已有的摄像头水平、竖直方向角度像素比系数η_x，η_y，分别计算Δθ_x＝Δx·η_x,Δθ_y＝Δy·η_y；其中η_x，η_y通过事先实验并计算随机分布均值得到；选取不同旋转角度α重复该实验N次，得到η序列，令

(144)放大倍率RI计算；计算β＝L_ori*H_ori/(L*H)，首次放大前该值小于1％；设放大后新目标区域画面占比期望为p，计算γ＝p/β；分别计算如果L_des>L，令L_des＝L；如果H_des>H，令H_des＝H；令λ＝min(L_des/L_ori，H_des/H_ori)；调用摄像头接口获取当前放大倍率RI₀，计算像头最新放大倍率RI＝λ*RI₀。

(145)调用摄像头命令依次水平旋转摄像头Δθ_x，竖直旋转摄像头Δθ_y角度，设定摄像头新放大倍率RI；如果Δθ_x为正值，则摄像头水平向左旋转Δθ_x角度，反之，水平向右旋转Δθ_x角度；如果Δθ_y为正值，则摄像头竖直向上旋转Δθ_y角度，反之，竖直向下方旋转Δθ_y角度；Δθ为0，则该方向不进行旋转。

5.如权利要求1所述的高空视频监控中小微模糊目标的甄别方法，其特征在于，步骤(2)中，通过不同焦距下的场景图片置信度序列，由预先训练好的分类器判决最终置信度p_F具体包括如下步骤：

(21)将图片序列I＝(I₁…I_k.…I_N)中每一张图片提交已有检测模型进行目标检测，得到每张图片对应的目标检测置信度序列p＝(p₁…p_k.…p_N)，如果该图中没有待检测目标发现，则p_k＝0；因为I₁是I₀局部放大后图像，I₂是I₁局部放大后图像，以此类推，随着k的递增，图像I_k中的疑似目标周边像素信息会逐步增多，提高了小微模糊目标的甄别能力；

(22)将p₀以及序列p置入已预先训练好的分类模型，计算原始小微模糊目标区域中的最终置信度p_F。

6.如权利要求1所述的高空视频监控中小微模糊目标的甄别方法，其特征在于，步骤(3)中，以综合置信度p_F为决策依据决定是否向用户界面告警具体包括如下步骤：

(31)如果步骤(13)中S>S_H，则p_F＝p₀；否则p_F为步骤(22)中数值；判断是否p_F>0.9，如果是继续步骤(32)；否则跳转到步骤(33)等待下一次识别检测任务；

(32)在I₀中标注区域(x_L,y_L),(x_R,y_R)，返回标注后图片至用户界面；

(33)本次检测结束，等待下一次检测任务。