CN110738686B

CN110738686B - 静动态结合的视频人车检测方法及系统

Info

Publication number: CN110738686B
Application number: CN201910968563.2A
Authority: CN
Inventors: 吕琪菲; 韩宇韬; 张至怡; 陈银; 党建波; 阳松江
Original assignee: Sichuan Aerospace Shenkun Technology Co ltd
Current assignee: Sichuan Aerospace Shenkun Technology Co ltd
Priority date: 2019-10-12
Filing date: 2019-10-12
Publication date: 2022-12-02
Anticipated expiration: 2039-10-12
Also published as: CN110738686A

Abstract

本发明涉及视频目标检测技术领域，实施例具体公开一种静动态结合的视频人车检测方法及系统。具体包括通过背景建模与前景检测，获取前景影像；采用深度学习目标检测算法检测行人和车辆；判断人车目标是否首次被目标检测器检测到，如果是，则对其进行跟踪，利用跟踪检测结果对目标检测结果进行补充，对于不是首次检测到的目标，判断其是不是静态目标，如果是，固定其目标检测框并动态验证；计算目标检测框内前景面积占比值，过滤异常行人检测。本申请结合传统运动目标检测方法和KCF目标跟踪算法，提高了视频人车检测的稳定性和准确率以及异常目标的过滤。

Description

静动态结合的视频人车检测方法及系统

技术领域

本发明涉及视频目标检测技术领域，具体涉及一种静动态结合的视频人车检测方法及系统。

背景技术

常用的视频目标检测技术利用背景建模提取运动目标前景，获取运动目标的检测框，并通过目标前景区域面积大小和区域纵横比例判断目标是行人、车或其它类型。也有视频目标检测直接利用深度学习目标检测器对视频逐帧处理，获取目标检测框。前者只能提取场景内运动目标，对静态目标无反应，而且当行人相互重叠或行人与车重叠时无法区分检测框。后者由于深度学习目标检测器检测的不稳定性，同一目标在视频上下文的检测状态不一致，导致静态目标检测框闪烁，动态目标检测框上下文不连续。

发明内容

有鉴于此，本申请提供一种静动态结合的视频人车检测方法及系统，能够解决或者至少部分解决上述存在的问题。

为解决以上技术问题，本发明提供的技术方案是一种静动态结合的视频人车检测方法，所述方法包括：

S11：利用前景检测算法提取当前帧视频影像的前景影像；

S12：利用Yolov3深度学习目标检测算法检测当前帧视频影像中的目标，对检测出的目标的类别进行过滤，获得行人目标和车辆目标，以及其对应的目标检测框；

S13：计算获得的各目标检测框的位置与当前帧视频影像边界的距离值，以及获得的各目标检测框与上一帧视频影像获得的各目标检测框的重叠度值，根据距离值与重叠度值判断各目标是不是首次被检测到，如果是，则进入S14，如果否，则进入S15；

S14：利用KCF跟踪器获取各目标的位置检测框，将各目标的目标检测框与位置检测框结合形成最终目标检测框，进入S16；

S15：判断各目标是否为静态目标，如果是，则固定该目标的目标检测框，并动态验证该目标是否移动，若该目标移动，则返回S14；

S16：计算行人最终目标检测框内前景面积的占比值，若面积占比值低于预设占比值阈值，则删除该行人最终目标检测框。

优选的，所述步骤S11前，还包括步骤S10：接收视频流并解码，生成一帧帧的视频影像。

优选的，所述步骤S11的方法包括：

对第一帧视频影像进行灰度化处理，初始化前景检测算法背景模型；

循环读取当前帧视频影像，先灰度化，然后利用前景检测算法获取当前帧视频影像的前景影像；

利用形态学处理方法对当前帧视频影像的前景影像进行去噪，获得去除背景区域的包含运动目标的当前帧视频影像的前景二值化影像。

优选的，所述步骤S12的方法包括：

编译Yolov3深度学习目标检测算法，获得Yolov3动态链接库；

加载预先编译好的Yolov3动态链接库，初始化Yolov3对象，加载预训练模型和目标检测类别列表；

循环读取当前帧视频影像，调用Yolov3动态库处理当前帧视频影像，返回当前帧视频影像中所有被检测出的目标的类别和对应的目标检测框，检测出的目标包含静态目标和动态目标；

根据目标检测类别列表对检测出的目标的类别进行过滤，只留下行人和车辆两个类别的检测目标，获得其对应的目标检测框。

优选的，所述步骤S13的方法包括：

获得的行人目标检测框，计算其下边框中心点与当前帧视频影像边界的距离值，以及与上一帧各行人目标检测框的重叠度值，根据距离值和重叠度值判断该行人目标是不是首次被检测到；

获得的车辆目标检测框，计算其下边框中心点与当前帧视频影像边界的距离值，以及与上一帧各车辆目标检测框的重叠度值，根据距离值和重叠度值判断该车辆目标是不是首次被检测到。

优选的，所述步骤S14的方法包括：

利用目标检测框初始化KCF目标跟踪器；

向KCF目标跟踪器输入当前帧视频影像，返回目标在当前帧视频影像中的坐标位置即位置检测框；

结合目标的目标检测框和位置检测框，形成最终目标检测框。

优选的，所述步骤S15的方法包括：

比较当前帧目标检测框J₁与上一帧自身目标检测框J₂的重叠度值，重叠度值计算公式：

若重叠度值r大于预设重叠度阈值，则判断目标是静态目标，且在前后两帧视频影像中的目标检测框未发生位移；

固定该目标的目标检测框，之后每间隔预设时间段将当前帧该目标的目标检测框与该目标固定的目标检测框进行比较，判断该目标是否开始移动，若开始移动则返回S14。

优选的，所述步骤S16的方法包括：

根据行人最终目标检测框J₃在视频影像中的位置，确定其在前景影像中对应位置的检测框J₄；

计算检测框J₄内的前景面积：

其中，S_contours是通过库函数查询得到的前景轮廓的面积，对前景影像中的检测框J₄内的多个前景轮廓面积求和；

计算检测框J₄内的前景面积占比值：

其中，S是检测框 J₄的面积；

判断前景面积占比值是否小于预设占比值阈值，若是，则判断该行人最终目标检测框为异常检测，删除该行人最终目标检测框，若否，则不动作。

本发明还提供一种静动态结合的视频人车检测系统，包括：

前景影像提取模块，用于利用前景检测算法提取当前帧视频影像的前景影像；

目标检测框获取模块，用于利用Yolov3深度学习目标检测算法检测当前帧视频影像中的目标，对检测出的目标的类别进行过滤，获得行人目标和车辆目标，以及其对应的目标检测框；

首次检测判断模块，用于计算获得的各目标检测框的位置与当前帧视频影像边界的距离值，以及获得的各目标检测框与上一帧视频影像获得的各目标检测框的重叠度值，根据距离值与重叠度值判断各目标是不是首次被检测到，如果是，则进入目标检测框更新模块，如果否，则进入静态目标跟踪模块；

目标检测框更新模块，用于利用KCF跟踪器获取各目标的位置检测框，将各目标的目标检测框与位置检测框结合形成最终目标检测框，进入行人目标删除模块；

静态目标跟踪模块，用于判断各目标是否为静态目标，如果是，则固定该目标的目标检测框，并动态验证该目标是否移动，若该目标移动，则返回目标检测框更新模块；

行人目标删除模块，用于计算行人最终目标检测框内前景面积的占比值，若面积占比值低于预设占比值阈值，则删除该行人最终目标检测框。

优选的，静动态结合的视频人车检测系统还包括：视频流接收模块，用于接收视频流并解码，生成一帧帧的视频影像。

本发明还提供一种静动态结合的视频人车检测系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如上述静动态结合的视频人车检测方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述静动态结合的视频人车检测方法的步骤。

本申请与现有技术相比，其有益效果详细说明如下：本申请提出一种静动态结合的视频人车检测方法，结合传统运动目标检测方法和KCF目标跟踪算法，提高了视频人车检测的稳定性和准确率以及异常目标的过滤。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的静动态结合的视频人车检测方法的流程示意图；

图2为本发明实施例提供的利用前景检测算法提取当前帧视频影像的前景影像的流程示意图；

图3为本发明实施例提供的利用Yolov3深度学习目标检测算法检测当前帧视频影像中的目标的流程示意图；

图4为本发明实施例提供的静动态结合的视频人车检测系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。

如图1所示，本发明实施例提供一种静动态结合的视频人车检测方法，该方法包括：

S11：利用前景检测算法提取当前帧视频影像的前景影像。

需要说明的是，如图2所示，步骤S11的方法包括：

S111：对第一帧视频影像进行灰度化处理，初始化前景检测算法背景模型；

S112：循环读取当前帧视频影像，先灰度化，然后利用前景检测算法获取当前帧视频影像的前景影像；

S113：利用形态学处理方法对当前帧视频影像的前景影像进行去噪，获得去除背景区域的包含运动目标的当前帧视频影像的前景二值化影像。

具体的，利用ViBe前景检测算法提取当前帧视频影像的前景影像。ViBe算法将背景建模看成一个一个新的像素值分类为背景或者前景的分类问题，同时考虑了像素值的领域点来避免异常值的影响。通过对像素值的领域点采样来建立背景模型。这样就不需要选择和估计概率密度函数，只需要将像素值和采样点集合作比较。

ViBe只需要一帧就可以完成初始化，第二帧就提供前景分割的结果，可以有效性的在任意长度的视频中使用。当第一帧包含移动前景，在产生鬼影问题时，由于采用了无记忆更新测量，ViBe可在数帧后就消除该问题的影响。通过ViBe得到背景建模图后，我们进行后置处理，首先统计每个前景点的领域中其他前景点的数量，如果数量较少则判定为噪点并去除。

具体的，步骤S11的方法包括：(1)软件对获取的第一帧视频影像进行灰度化处理，初始化ViBe背景模型和t＝2。(2)软件中循环读取每一帧视频影像，先灰度化，然后利用ViBe前景检测算法获取当前视频帧的前景影像。(3)软件利用形态学处理对第t帧的前景影像进行去噪，即对前景影像进行腐蚀、膨胀、开与闭运算去除检测噪声，最终获得一个去除背景区域的包含运动目标的前景二值化影像。

需要说明的是，在步骤S11前，还包括步骤S10：接收视频流并解码，生成一帧帧的视频影像。

具体的，视频流数据获取方法：软件通过无线连接接受监控相机的视频数据，利用相机的IP地址、端口号、用户名、密码获得已压缩的rtsp视频数据流。视频流解码方法：软件利用计算机视觉库OpenCV中的视频读取接口cv::VideoCapture读取并解码视频数据流，按照视频帧率返回一帧帧的视频影像。

S12：利用Yolov3深度学习目标检测算法检测当前帧视频影像中的目标，对检测出的目标的类别进行过滤，获得行人目标和车辆目标，以及其对应的目标检测框。

需要说明的是，如图3所示，步骤S12的方法包括：

S121：编译Yolov3深度学习目标检测算法，获得Yolov3动态链接库；

S122：加载预先编译好的Yolov3动态链接库，初始化Yolov3对象，加载预训练模型和目标检测类别列表；

S123：循环读取当前帧视频影像，调用Yolov3动态库处理当前帧视频影像，返回当前帧视频影像中所有被检测出的目标的类别和对应的目标检测框，检测出的目标包含静态目标和动态目标；

S124：根据目标检测类别列表对检测出的目标的类别进行过滤，只留下行人和车辆两个类别的检测目标，获得其对应的目标检测框。

具体的，VC++编译Yolov3检测算法的DLL框，利用公开的预训练模型，检测视频图像中的目标并过滤非人和车辆的目标，得到行人和车辆的检测框。

具体的，步骤S12的方法包括：(1)利用VisualStudio2015编译深度学习算法Yolov3，获得Yolov3动态链接库。(2)软件加载预先编译好的Yolov3动态链接库，初始化Yolov3对象，加载预训练模型和目标检测类别列表。(3)软件循环读取每一帧视频影像，调用Yolov3动态库处理视频帧影像，返回一帧视频影像中的所有被检测出的目标的类别和对应的目标检测框。Yolov3算法是逐帧处理视频影像的，检测的目标包含静态目标和动态目标。(4)软件对被检测出的目标的类别进行过滤，只关注行人和车辆两个类别的检测目标，过滤其它目标。

S13：计算获得的各目标检测框的位置与当前帧视频影像边界的距离值，以及获得的各目标检测框与上一帧视频影像获得的各目标检测框的重叠度值，根据距离值与重叠度值判断各目标是不是首次被检测到，如果是，则进入S14，如果否，则进入S15。

需要说明的是，步骤S13的方法包括：

具体的，步骤S13的方法包括：(1)软件针对步骤S12中获取的行人检测框计算其下边框中心点与相机视野边界的距离，以及与上一帧所有行人目标检测框的重叠度，判断该目标是不是首次被检测到。(2)软件针对步骤S12中获取的车辆检测框计算其下边框中心点与相机视野边界的距离，以及与上一帧所有车辆目标检测框的重叠度，判断该目标是不是首次被检测到。

需要说明的是，步骤S14的方法包括：

利用目标检测框初始化KCF目标跟踪器；

具体的，如果确认是首次检测到的目标，利用该目标检测框初始化KCF跟踪器，在之后每帧视频中KCF跟踪器会更新该目标的位置检测框，最终结合Yolov3 目标检测框和目标跟踪检测框，作为最终的目标检测框，避免单靠Yolov3目标检测器出现的目标丢失现象。

KCF算法利用循环移位的方式构造大量的训练样本和待测样本。利用训练样本训练一个核相关滤波器，然后通过分类器计算待测样本的响应值,选取响应值最大的待测样本为新的跟踪目标,同时利用循环矩阵可以傅氏对角化的性质,大大降低了分类器训练和检测过程中的运算量。采用目标检测框初始化KCF跟踪器，之后在每一帧视频帧中更新KCF跟踪器，获取跟踪目标在当前视频帧图像中的位置检测框。

具体的，步骤S14的方法包括：(1)软件如果确认是首次检测到的目标A，则利用该目标检测框初始化KCF目标跟踪器。(2)向KCF目标跟踪器输入第t 帧视频影像，返回目标A在第t帧视频影像中的坐标位置。(3)软件充分结合Yolov3 目标检测框和目标的位置检测框，作为最后的目标检测框，避免单靠Yolov3目标检测器出现的目标丢失现象。

需要说明的是，步骤S15的方法包括：

具体的，通过比较与上一帧自身检测框的重叠度是否接近100％，判断检测目标是不是静态目标，如果是静态目标则固定其目标检测框，并每间隔时间段与 Yolov3目标检测框比较，判断静态目标是否开始移动(如静止汽车启动)。

具体的，步骤S15的方法包括：(1)如果不是首次检测到的目标，软件将比较当前帧检测框J₁与上一帧自身检测框J₂的重叠度值。重叠度值计算公式：

(2)如果重叠度r近似等于100％，软件判断检测目标是静态目标，前后两次检测框几乎未发生位移。(3)软件判断目标是静态目标后，固定其检测框，之后软件间隔时间段与Yolov3目标检测框比较，判断静态目标是否开始移动(如静止汽车启动)。

需要说明的是，步骤S16的方法包括：

计算检测框J₄内的前景面积：

计算检测框J₄内的前景面积占比值：

其中，S是检测框 J₄的面积；

具体的，将行人最终目标检测框与前景影像比较(行人一般是动态的)，计算检测框内前景面积占比值，面积占比值太低则认为是异常检测，剔除该目标检测框。

具体的，步骤S16的方法包括：(1)软件根据行人最终目标检测框J₃在视频中的相对位置，确定其在前景影像中的相对位置J₄。(2)近似计算前景影像中检测框J₄内的前景面积(白色区域面积)：

其中，S_contours是通过 OpenCV库函数findContours()查询得到的前景轮廓的面积。前景影像中的检测框内可能分有多个前景轮廓，故对其面积求和。(3)计算检测框J₄内的前景面积占比：

其中，S是检测框J₄的面积。(4)软件根据前景面积占比确定是否为行人异常检测：若R<15％，判断为异常检测，剔除该行人最终目标检测框， R≥15％，判断为不是行人异常检测，保留该行人最终目标检测框。

本申请提供的静动态结合的视频人车检测方法，具有以下优点：

(1)实现了对监控摄像头场景内静、动态人车目标的同时检测。

(2)结合目标跟踪技术，提高视频中对人车目标的检测成功率。

(3)利用视频上下文信息，区分静态目标和动态目标，保证静态目标检测框的稳定，避免检测框闪烁现象。

(4)结合运动目标检测技术，比较检测框内前景区域面积占比，避免了异常目标检测。

如图4所示，本发明实施例还提供一种静动态结合的视频人车检测系统，该系统包括：

前景影像提取模块21，用于利用前景检测算法提取当前帧视频影像的前景影像；

目标检测框获取模块22，用于利用Yolov3深度学习目标检测算法检测当前帧视频影像中的目标，对检测出的目标的类别进行过滤，获得行人目标和车辆目标，以及其对应的目标检测框；

首次检测判断模块23，用于计算获得的各目标检测框的位置与当前帧视频影像边界的距离值，以及获得的各目标检测框与上一帧视频影像获得的各目标检测框的重叠度值，根据距离值与重叠度值判断各目标是不是首次被检测到，如果是，则进入目标检测框更新模块24，如果否，则进入静态目标跟踪模块25；

目标检测框更新模块24，用于利用KCF跟踪器获取各目标的位置检测框，将各目标的目标检测框与位置检测框结合形成最终目标检测框，进入行人目标删除模块26；

静态目标跟踪模块25，用于判断各目标是否为静态目标，如果是，则固定该目标的目标检测框，并动态验证该目标是否移动，若该目标移动，则返回目标检测框更新模块24；

行人目标删除模块26，用于计算行人最终目标检测框内前景面积的占比值，若面积占比值低于预设占比值阈值，则删除该行人最终目标检测框。

图4所对应实施例中特征的说明可以参见图1-图3所对应实施例的相关说明，这里不再一一赘述。

需要说明的是，该系统还包括：视频流接收模块，用于接收视频流并解码，生成一帧帧的视频影像。

本发明实施例还提供一种静动态结合的视频人车检测系统，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现上述静动态结合的视频人车检测方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述静动态结合的视频人车检测方法的步骤。

以上对本发明实施例所提供的一种静动态结合的视频人车检测方法、系统和计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims

1.一种静动态结合的视频人车检测方法，其特征在于，所述方法包括：

S11：利用前景检测算法提取当前帧视频影像的前景影像；

S16：计算行人最终目标检测框内前景面积的占比值，若面积占比值低于预设占比值阈值，则删除该行人最终目标检测框, 包括：根据行人最终目标检测框J3在视频影像中的位置，确定其在前景影像中对应位置的检测框J4；计算检测框J4内的前景面积：其中，Scontours是通过库函数查询得到的前景轮廓的面积，对前景影像中的检测框J4内的多个前景轮廓面积求和；计算检测框J4内的前景面积占比值：其中，S是检测框 J4的面积；判断前景面积占比值是否小于预设占比值阈值，若是，则判断该行人最终目标检测框为异常检测，删除该行人最终目标检测框，若否，则不动作。

2.根据权利要求1所述的静动态结合的视频人车检测方法，其特征在于，所述步骤S11前，还包括步骤S10：接收视频流并解码，生成一帧帧的视频影像。

3.根据权利要求1所述的静动态结合的视频人车检测方法，其特征在于，所述步骤S11的方法包括：

4.根据权利要求1所述的静动态结合的视频人车检测方法，其特征在于，所述步骤S12的方法包括：

编译Yolov3深度学习目标检测算法，获得Yolov3动态链接库；

5.根据权利要求1所述的静动态结合的视频人车检测方法，其特征在于，所述步骤S13的方法包括：

6.根据权利要求1所述的静动态结合的视频人车检测方法，其特征在于，所述步骤S14的方法包括：

利用目标检测框初始化KCF目标跟踪器；

7.根据权利要求1所述的静动态结合的视频人车检测方法，其特征在于，所述步骤S15的方法包括：

比较当前帧目标检测框J1与上一帧自身目标检测框J2的重叠度值，重叠度值计算公式：

8.一种静动态结合的视频人车检测系统，其特征在于，包括：

行人目标删除模块，用于计算行人最终目标检测框内前景面积的占比值，若面积占比值低于预设占比值阈值，则删除该行人最终目标检测框, 包括：根据行人最终目标检测框J3在视频影像中的位置，确定其在前景影像中对应位置的检测框J4；计算检测框J4内的前景面积：其中，Scontours是通过库函数查询得到的前景轮廓的面积，对前景影像中的检测框J4内的多个前景轮廓面积求和；计算检测框J4内的前景面积占比值：其中，S是检测框 J4的面积；判断前景面积占比值是否小于预设占比值阈值，若是，则判断该行人最终目标检测框为异常检测，删除该行人最终目标检测框，若否，则不动作。

9.一种静动态结合的视频人车检测系统，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至7中任一项所述静动态结合的视频人车检测方法的步骤。