CN108038837B - 视频中目标检测方法及系统 - Google Patents

Abstract

本发明公开一种视频中目标检测方法及系统，其中方法包括：对视频的每一帧图像执行以下步骤，直到获得视频的所有帧图像中目标的最终检测结果：对当前帧图像中目标进行检测，获取置信度大于第一阈值的目标，作为当前帧图像的中间检测结果；利用前一帧图像的最终检测结果对所述当前帧图像的中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，获得当前帧图像的最终检测结果。本发明通过对视频前后帧基于图片的目标检测结果融合匹配，避免多视频帧的目标被漏检。

Description

视频中目标检测方法及系统

技术领域

本发明涉及视频中目标检测领域，更具体地说，本发明涉及一种视频中目标检测方法及系统。

背景技术

随着科技的发展，目标检测算法性能在不断的提高，应用范围也在不断的扩展，如：将基于图片的目标检测算法与目标跟踪算法相结合应用于视频中进而完成视频中目标的检测。视频中目标的检测在智能监控中有着广泛的应用，如：犯罪嫌疑人的检测与预警、违法车辆的追踪等、恶性游行的预警等，因而该技术的研究也取得了显著的成果。

目前基于图片的视频目标检测算法按使用特种的不同分为两类。第一类是利用图像的低级特征来训练分类器，进而使用训练的分类器完成目标的检测，该方法的优点是：所需计算量小、简单、易于实现，缺点是：在特定的场景下检测效果也一般，在普通场景下检测效果较差，主要是因为低级特征表征能力有限，故该算法主要应用于一些特定的场景，如前端卡口摄像机中使用的行人检测；第二类是使用图像的高级特征来对目标进行检测，由于高级特征表达能力很强，故广泛应用于各种场景，如后端服务器中行人及车辆的检测、查询、追踪、预警等。这两类方法都是首先基于图片检测出其中的目标，然后使用跟踪算法跟踪目标进而完成视频中目标的检测、上报等操作，其中检测结果直接影响跟踪的结果，但存在如下缺点：1)算法中每帧图片的目标检测互不相关，造成了视频帧之间相关信息的浪费；2)目标在视频中运动其尺寸、位置是渐变的，而基于图片的检测算法对该渐变过程会表现出置信度的周期性波动，如一个目标在尺寸不变的情况下，其置信度会随着目标在图像中的移动而周期性变化。在这种情形下若使用固定的阈值对检测结果进行滤波会造成很多视频帧中的目标被漏检。

发明内容

针对上述技术中存在的不足之处，本发明提供一种视频中目标检测方法及系统，通过对多帧基于图片的目标检测结果进行融合匹配来克服多视频帧中的目标被漏检。

为了实现根据本发明的这些目的和其它优点，本发明通过以下技术方案实现：

本发明所述的视频中目标检测方法，包括以下步骤：

对视频的每一帧图像执行以下步骤，直到获得视频的所有帧图像中目标的最终检测结果：

对当前帧图像中目标进行检测，获取置信度大于第一阈值的目标，作为当前帧图像的中间检测结果；

利用前一帧图像的最终检测结果对所述当前帧图像的中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，获得当前帧图像的最终检测结果。

优选的是，对当前帧图像中目标进行检测，获取置信度大于第一阈值的目标，包括步骤：

对所述当前帧图像中目标进行检测，得到所述当前帧图像中待检测目标的置信度，所述置信度用于表示待检测目标为真实目标的概率；

将待检测目标的置信度与所述第一阈值进行比较，获取置信度大于第一阈值的目标。

优选的是，利用前一帧图像的最终检测结果对所述当前帧图像的中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，包括步骤：

若前一帧图像的最终检测结果中的目标不存在于当前帧图像的中间检测结果中，则获取当前帧图像中置信度大于第二阈值的目标，其中，所述第二阈值小于第一阈值；

判断获取的目标是否与所述前一帧图像的最终检测结果中的目标相同，将判断为相同的目标放进所述当前帧图像的最终检测结果。

优选的是，利用前一帧图像的最终检测结果对所述当前帧图像的中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，还包括步骤：

若前一帧图像的最终检测结果中的目标同时存在于当前帧图像的中间检测结果中，则将前一帧图像最终检测结果中的目标和当前帧图像中间检测结果中的目标进行融合，并将融合后的结果作为当前帧图像的最终检测结果。

优选的是，利用前一帧图像的最终检测结果对所述当前帧图像的中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，还包括步骤：

若当前帧图像的中间检测结果中出现的目标不存在于前一帧图像最终检测结果的目标中，则将当前帧图像的中间检测结果直接存入当前帧图像的最终检测结果中。

一种视频中目标检测系统，其包括以下模块：

目标检测模块，其用于对当前帧图像中目标进行检测，获取置信度大于第一阈值的目标作为当前帧图像的中间检测结果；

融合匹配模块，其用于将所述目标检测模块获得的前一帧图像最终检测结果与当前帧图像中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，获得当前帧图像的最终检测结果。

优选的是，所述目标检测模块还包括：

检测子模块，其用于对所述当前帧图像中目标进行检测，得到所述当前帧图像中待检测目标的置信度，所述置信度用于表示待检测目标为真实目标的概率；

比较子模块，其用于将待检测目标的置信度与所述第一阈值进行比较，获取置信度大于第一阈值的目标。

优选的是，所述融合匹配模块包括：获取子模块，用于若前一帧图像的最终检测结果中的目标不存在于当前帧图像的中间检测结果中，则获取当前帧图像中置信度大于第二阈值的目标，其中，所述第二阈值小于第一阈值；判断子模块，用于判断获取的目标是否与所述前一帧图像的最终检测结果中的目标相同，将判断为相同的目标放进所述当前帧图像的最终检测结果。

优选的是，所述获取子模块，还包括用于：

若前一帧图像的最终检测结果中的目标同时存在于当前帧图像的中间检测结果中，则将前一帧图像最终检测结果中的目标和当前帧图像中间检测结果中的目标进行融合，并将融合后的结果作为当前帧图像的最终检测结果。

优选的是，所述获取子模块，还包括用于：若当前帧图像的中间检测结果中出现的目标不存在于前一帧图像最终检测结果的目标中，则将当前帧图像的中间检测结果直接存入当前帧图像的最终检测结果中。

本发明至少包括以下有益效果：

本发明提供的视频中目标检测方法，对视频的每一帧图像执行以下步骤，直到获得视频的所有帧图像中目标的最终检测结果：对当前帧图像中目标进行检测，获取置信度大于第一阈值的目标，作为当前帧图像的中间检测结果；利用前一帧图像的最终检测结果对所述当前帧图像的中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，获得当前帧图像的最终检测结果，以此来解决目标在视频帧间置信度的波动性，从而克服多视频帧中的目标被漏检。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1为本发明所述的一种视频中目标检测方法的流程图；

图2为本发明所述的一种视频中目标检测系统的通信示意图；

图3为本发明实施例1所述的基于局部阈值的视频中目标检测的流程示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

由于目标在视频中的位置、尺寸是不断变化的，且其位置与尺寸是一个渐渐变化的过程；虽然其检测的置信度会出现波动，但是其位置及尺度是渐变的。

<实施方式1>

为了避免多视频帧中的目标被漏检，目标可以是人脸，也可以是车辆。本发明提供一种视频中目标检测方法，如图1所示，对视频的每一帧图像执行以下步骤，直到获得视频的所有帧图像中目标的最终检测结果：

S10，对当前帧图像中目标进行检测，获取置信度大于第一阈值的目标，作为当前帧图像的中间检测结果；

S20，利用前一帧图像的最终检测结果对当前帧图像的中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，获得当前帧图像的最终检测结果。

上述实施方式中，步骤S10是以基于图像的目标检测方法为基础，以置信度大于第一阈值的阈值法作为判断依据，获得当前帧图像的中间检测结果，作为优选，步骤S10包括以下步骤：

S11，对当前帧图像中目标进行检测，得到当前帧图像中待检测目标的置信度，置信度用于表示待检测目标为真实目标的概率；

S12，将待检测目标的置信度与第一阈值进行比较，获取置信度大于第一阈值的目标。

上述实施方式中，步骤S20利用前一帧图像的最终检测结果对当前帧图像的中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，以达到对当前帧图像的中间检测结果进行修正的作用。作为优选，步骤S20包括以下步骤：

S21，若前一帧图像的最终检测结果中的目标不存在于当前帧图像的中间检测结果中，则获取当前帧图像中置信度大于第二阈值的目标，其中，所述第二阈值小于第一阈值；

判断获取的目标是否与所述前一帧图像的最终检测结果中的目标相同，将判断为相同的目标放进所述当前帧图像的最终检测结果；

S22，若前一帧图像的最终检测结果中的目标同时存在于当前帧图像的中间检测结果中，则将前一帧图像最终检测结果中的目标和当前帧图像中间检测结果中的目标进行融合，并将融合后的结果作为当前帧图像的最终检测结果；

S23，若当前帧图像的中间检测结果中出现的目标不存在于前一帧图像最终检测结果的目标中，则将当前帧图像的中间检测结果直接存入当前帧图像的最终检测结果中。

该实施方式中，第一阈值为全局阈值，第二阈值为局部阈值，设第一阈值为T，第二阈值为t，则t<T；并且，根据步骤S10中图片检测算法的不同，第一阈值T和第二阈值t可以分别设置为不同阈值。通过局部小阈值t重新检测出当前帧置信度处在波谷位置的目标，具有简单、快速、有效的优点。

本发明提供的视频中目标检测方法，利用前一帧图像的最终检测结果对当前帧图像的中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，以达到对当前帧图像的中间检测结果进行修正，解决目标在视频帧间置信度的波动性，以克服多视频帧中的目标被漏检。

<实施方式2>

在实施方式1的基础上，本实施方式提供一种视频中目标检测系统，如图2所示，其包括以下模块：

目标检测模块，其用于对当前帧图像中目标进行检测，获取置信度大于第一阈值的目标作为当前帧图像的中间检测结果；

融合匹配模块，其用于将所述目标检测模块获得的前一帧图像最终检测结果与当前帧图像中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，获得当前帧图像的最终检测结果。

作为优选，目标检测模块还包括：

检测子模块，其用于对所述当前帧图像中目标进行检测，得到所述当前帧图像中待检测目标的置信度，所述置信度用于表示待检测目标为真实目标的概率；

比较子模块，其用于将待检测目标的置信度与所述第一阈值进行比较，获取置信度大于第一阈值的目标。

作为优选，所述融合匹配模块包括：

获取子模块，用于若前一帧图像的最终检测结果中的目标不存在于当前帧图像的中间检测结果中，则获取当前帧图像中置信度大于第二阈值的目标，其中，所述第二阈值小于第一阈值；判断子模块，用于判断获取的目标是否与所述前一帧图像的最终检测结果中的目标相同，将判断为相同的目标放进所述当前帧图像的最终检测结果。

作为优选，获取子模块，还包括用于：若前一帧图像的最终检测结果中的目标同时存在于当前帧图像的中间检测结果中，则将前一帧图像最终检测结果中的目标和当前帧图像中间检测结果中的目标进行融合，并将融合后的结果作为当前帧图像的最终检测结果。

作为优选，获取子模块，还包括用于若当前帧图像的中间检测结果中出现的目标不存在于前一帧图像最终检测结果的目标中，则将当前帧图像的中间检测结果直接存入当前帧图像的最终检测结果中。

<实施例1>

在上述实施方式1和实施方式2的基础上，给出视频中目标检测方法的一个应用实施例，如图3所示，包括以下步骤：

利用图片检测算法获得视频的前一帧图像中目标的初始检测结果，记为DR1，经第一阈值T对第一帧图像的初始检测结果DR1中目标的置信度进行滤波，获取置信度大于第一阈值T的目标，作为前一帧图像的最终检测结果，记为TDR1；

利用图片检测算法获得视频的当前帧图像中目标的初始检测结果，记得为DR2，经第一阈值T对当前帧图像的初始检测结果DR2中目标的置信度进行滤波，获取置信度大于第一阈值T的目标，作为当前帧图像的中间检测结果，记为IDR2；

利用前一帧图像的最终检测结果TDR1对当前帧图像的初始检测结果DR2以及当前帧图像的中间检测结果IDR2进行基于同一目标在前后两个视频帧图像中对应的融合匹配，输出匹配后当前帧图像的最终检测结果，记为TDR2；

其中，融合匹配包括：

若前一帧图像的最终检测结果TDR1中的目标不存在于当前帧图像的中间检测结果IDR2中，则获取当前帧图像中置信度大于第二阈值t的目标，其中，第二阈值t小于第一阈值T；

判断获取的目标是否与前一帧图像的最终检测结果TDR1中的目标相同，将判断为相同的目标放进当前帧图像的最终检测结果TDR2。

若前一帧图像的最终检测结果TDR1中的目标同时存在于当前帧图像的中间检测结果IDR2中，则将前一帧图像最终检测结果TDR1中的目标和当前帧图像中间检测结果IDR2中的目标进行融合，并将融合后的结果作为当前帧图像的最终检测结果TDR2。

若当前帧图像的中间检测结果IDR2中出现的目标不存在于前一帧图像最终检测结果TDR1的目标中，则将当前帧图像的中间检测结果TDR1直接存入当前帧图像的最终检测结果TDR2中。将当前帧图像的最终检测结果TDR2作为下一帧图像的前一帧检测结果，继续对下一帧图像的最终检测结果TDR3进行融合匹配，直到最终获得所有视频帧的最终检测结果TDR1、TDR2、TDR3……TDR N。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种视频中目标检测方法，其特征在于，对视频的每一帧图像执行以下步骤，直到获得视频的所有帧图像中目标的最终检测结果：

对当前帧图像中目标进行检测，获取置信度大于第一阈值的目标，作为当前帧图像的中间检测结果；

利用前一帧图像的最终检测结果对所述当前帧图像的中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，获得当前帧图像的最终检测结果；

利用前一帧图像的最终检测结果对所述当前帧图像的中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，包括步骤：

若前一帧图像的最终检测结果中的目标不存在于当前帧图像的中间检测结果中，则获取当前帧图像中置信度大于第二阈值的目标，其中，所述第一阈值为全局阈值，所述第二阈值为局部阈值，所述第二阈值小于所述第一阈值；

判断获取的目标是否与所述前一帧图像的最终检测结果中的目标相同，将判断为相同的目标放进所述当前帧图像的最终检测结果；

若当前帧图像的中间检测结果中出现的目标不存在于前一帧图像最终检测结果的目标中，则将当前帧图像的中间检测结果直接存入当前帧图像的最终检测结果中。

2.根据权利要求1所述的视频中目标检测方法，其特征在于，对当前帧图像中目标进行检测，获取置信度大于第一阈值的目标，包括步骤：

对所述当前帧图像中目标进行检测，得到所述当前帧图像中待检测目标的置信度，所述置信度用于表示待检测目标为真实目标的概率；

将待检测目标的置信度与所述第一阈值进行比较，获取置信度大于第一阈值的目标。

3.根据权利要求2所述的视频中目标检测方法，其特征在于，利用前一帧图像的最终检测结果对所述当前帧图像的中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，还包括步骤：

若前一帧图像的最终检测结果中的目标同时存在于当前帧图像的中间检测结果中，则将前一帧图像最终检测结果中的目标和当前帧图像中间检测结果中的目标进行融合，并将融合后的结果作为当前帧图像的最终检测结果。

4.一种视频中目标检测系统，其特征在于，其包括以下模块：

目标检测模块，其用于对当前帧图像中目标进行检测，获取置信度大于第一阈值的目标作为当前帧图像的中间检测结果；

融合匹配模块，其用于将所述目标检测模块获得的前一帧图像最终检测结果与当前帧图像中间检测结果进行基于同一目标在前后两个视频帧图像中对应的融合匹配，获得当前帧图像的最终检测结果；

所述融合匹配模块包括：

获取子模块，用于若前一帧图像的最终检测结果中的目标不存在于当前帧图像的中间检测结果中，则获取当前帧图像中置信度大于第二阈值的目标，其中，所述第一阈值为全局阈值，所述第二阈值为局部阈值，所述第二阈值小于第一阈值；

判断子模块，用于判断获取的目标是否与所述前一帧图像的最终检测结果中的目标相同，将判断为相同的目标放进所述当前帧图像的最终检测结果；

若当前帧图像的中间检测结果中出现的目标不存在于前一帧图像最终检测结果的目标中，则将当前帧图像的中间检测结果直接存入当前帧图像的最终检测结果中。

5.如权利要求4所述的视频中目标检测系统，其特征在于，所述目标检测模块还包括：

检测子模块，其用于对所述当前帧图像中目标进行检测，得到所述当前帧图像中待检测目标的置信度，所述置信度用于表示待检测目标为真实目标的概率；

比较子模块，其用于将待检测目标的置信度与所述第一阈值进行比较，获取置信度大于第一阈值的目标。

6.如权利要求4所述的视频中目标检测系统，其特征在于，所述获取子模块，还包括用于：

若前一帧图像的最终检测结果中的目标同时存在于当前帧图像的中间检测结果中，则将前一帧图像最终检测结果中的目标和当前帧图像中间检测结果中的目标进行融合，并将融合后的结果作为当前帧图像的最终检测结果。

Images