CN106504242A - 目标检测方法及系统 - Google Patents

Abstract

本发明适用于信息处理技术领域，提供了目标检测方法及系统，包括：获取目标的视频源文件；接收所述视频源文件并对所述视频源文件进行预处理，输出帧块；接收输出的帧块，并以队列的形式存储输出的帧块；从存储的帧块中获取帧块，对获取到的帧块进行处理后得到目标在帧中的位置。本发明中通过对视频源文件进行预处理，并输出为帧块；将帧块以队列的形式存储，对队列的形式的帧块进行处理后得到目标在帧中的位置，使得实时检测目标的计算流程简单、高效。

Description

目标检测方法及系统

技术领域

本发明属于信息处理技术领域，尤其涉及目标检测方法及系统。

背景技术

智能视频检测系统利用计算动词理论体系，可以让自然语言为计算机所理解，因而计算机更准确模拟人的认知过程，实现对目标的识别。视频检测技术一般要经历如下5个步骤：系统初始化，图像采集，图像预处理，目标检测与跟踪，图像后处理。图像预处理功能是图像平滑、去噪、增强。目标检测与跟踪算法是视频检测技术的基础，这一步需要发现目标，并获取其轨迹。

目标检测技术首先对视频序列图像进行处理，将感兴趣的目标物体区域从背景区提取出来，得到目标的位置，大小等数据。为后续目标跟踪、目标识别与分析提供支持。视频目标检测主要利用计算机视觉、数字图像处理、模式识别等技术。目标检测方法可以分为基于非模型的检测方法和基于模型的检测方法，主要有帧间差分法、光流差场法、背景差分法。

目标跟踪指在图像序列中持续地估计出感兴趣的运动目标所在区域(位置)，形成目标的运动轨迹。目标跟踪方法有卡尔曼滤波、贝叶斯理论、均值偏移算法等。

全量数据处理使用的大多是hadoop，storm或者spark，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得到了广泛的使用。但是，hadoop不擅长实时计算，因为它天然就是为批处理而生的，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，运维复杂。Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用(DistributedRemote Procedure Call，DRPC)和抽取、转换、加载(Extract、Transform、Load，ETL)等领域。Storm的部署管理非常简单，而且，在同类的流式计算工具，Storm的性能也是非常出众的。Spark是内存分布式框架，试图吞并Hadoop的Map-Reduce批处理框架和Storm的流处理框架，但是Spark已经做得很不错了，批处理方面性能优于Map-Reduce，但是流处理目前还是弱于Storm。

发明内容

本发明实施例的目的在于提供一种目标检测方法及系统，旨在解决目前实时检测目标计算复杂的问题。

本发明实施例是这样实现的，一种目标检测方法，包括：

获取目标的视频源文件；

接收所述视频源文件并对所述视频源文件进行预处理，输出帧块；

接收输出的帧块，并以队列的形式存储输出的帧块；

从存储的帧块中获取帧块，对获取到的帧块进行处理后得到目标在帧中的位置。

本发明实施例的另一目的在于提供一种目标检测系统，包括：

第一获取单元，用于获取目标的视频源文件；

预处理单元，用于接收视频源文件并对所述视频源文件进行预处理，输出帧块；

存储单元，用于接收输出的帧块，并以队列的形式存储输出的帧块；

第一检测单元，用于从存储的帧块中获取帧块，对获取到的帧块进行处理后得到目标在帧中的位置。

在本发明实施例中，通过对视频源文件进行预处理，并输出为帧块；将帧块以队列的形式存储，对队列的形式的帧块进行处理后得到目标在帧中的位置。本发明实施例使得实时检测目标的计算流程简单、高效。

附图说明

图1是本发明实施例提供的目标检测方法的流程图；

图2是本发明实施例提供的目标检测方法预处理的流程图；

图3是本发明实施例提供的目标检测方法的后处理的流程图；

图4是本发明实施例提供的目标检测方法的代码结构图；

图5是本发明实施例提供的目标检测系统的系统架构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

如图1所示，是本发明实施例提供的目标检测方法的流程图。

在S101中，获取目标的视频源文件。

所述视频源文件为视频流文件，可以是来自摄像装置的视频流或者是一个视频文件，即输入源为摄像装置或者视频文件。

在S102中，接收所述视频源文件并对所述视频源文件进行预处理，输出帧块。

如图2所示，是本发明实施例提供的目标检测方法预处理的流程图。优选地，所述预处理功能在客户端组件实现。

在S201中，抓取视频源文件中的帧并逐步扫描抓取到的帧。

对于从摄像装置获取的视频流文件，视频流应该在确定的机器上运行，所述确定的机器指的是连接所述摄像装置并安装有图像处理库的电脑，所述图像处理库用来打开摄像装置和抓取帧，优选地所述图像处理库采用javaCV。

对于视频文件，图像处理库用来打开视频文件和抓取帧。

在本发明实施例中，赋予每一帧一个时间戳，视频文件是视频自身的时间，而视频流是实际的时间。所述时间戳，通常是一个字符序列，唯一地标识某一刻的时间。

此外，赋予每一帧一个递增的帧编号。

所述每一帧的时间戳和帧编号是一一对应的，按照所述帧编号或所述时间戳逐步扫描所述抓取到的帧。

在扫描完一个视频文件的帧后，随视频文件的编号逐步扫描下一个视频文件。

在S202中，顺序接收扫描到的帧，检测接收到的帧与帧之间的边界并顺序输出帧。

所述顺序接收扫描到的帧，并检测接收到的帧与帧之间的边界并顺序输出帧：即采用先进先出策略的，根据视频编号、帧编号和时间戳，依次检测每一帧的边界并顺序输出帧。

在S203中，在顺序输出的帧中检测相邻的帧，减少接收到的帧的帧数。

在顺序输出的帧中检测相邻的帧，减少接收到的帧的帧数包括：

在顺序输出的帧中检测相邻的帧，并根据帧的相似度减少接收到的帧的帧数。减少帧的帧数，即降低需要处理的帧的数量，从而降低计算量，提高系统性能。然后，将减少后的帧采用先进先出的策略发送到S204。

在S204中，将减少后的连续的帧分组为帧块并输出帧块。

所述将减少后的连续的帧分组为帧块并输出帧块包括：

将减少后的连续的帧中预设数量的帧分组为帧块，并输出帧块到S103。

在S102的S201-S204预处理过程中强顺序的帧的正确性是至关重要的。因为S201-S204是在客户端实现的，而不是在storm中。在storm中保持强顺序需要事物和缓冲逻辑，会大大降低计算性能或导致复杂的计算，预处理过程转移到客户端可以确保消息的独立性。

所述强顺序为每次只处理一个tuple，除非这个tuple处理成功，否则不去处理下一个tuple；也就是说一定要把当前的数据处理完，否则不接着处理下一个数据。在本发明实施例中所述tuple代表帧。

在S103中，接收输出的帧块，并以队列的形式存储输出的帧块。

接收输出的帧块，并以队列的形式存储输出的帧块即帧块放在队列中的，一旦有足够的帧块或达到预设数量的帧就立即发送帧。

由于Apache Kafka的高性能和信息保留功能，优选地，所述队列采用ApacheKafka队列，可以保证事物处理的正确性。

此外，Apache Kafka队列设置一个空闲时间，若所述空闲时间超过预设时间，则发送帧块。

在S104中，从存储的帧块中获取帧块，对获取到的帧块进行处理后得到目标在帧中的位置。

优选地，从存储的帧块中获取帧块，对获取到的帧块进行处理后得到目标在帧中的位置包括:

使用Storm组件从存储的帧块中获取帧块，对获取到的帧块进行处理后得到目标在帧中的位置。

所述Storm组件的topology包含从所述Apache Kafka队列中检索信息的spout，实现目标检测的bolt和实现检测剪枝的bolt。

具体地，如图3所示，是本发明实施例提供的目标检测方法的后处理的流程图。

在S301中，从存储的帧块中获取帧块。

优选地，所述从存储的帧块中获取帧块包括：

帧块spout从Apache Kafka队列中获取帧块，将帧块的元组流(即帧)发送到目标检测bolt。

在S302中，通过检测算法对获取到的帧块进行计算，得到目标在帧中的位置检测结果，并存储检测结果。

优选地，所述从所述获取到的帧块中检测出目标在帧中的位置包括：

目标检测bolt采用shuffle grouping从帧块spout订阅帧块，采用目标检测算法检测出目标在帧中的位置。所述目标检测bolt是实际执行检测的任务模块。

所述采用目标检测算法检测出目标在帧中的位置包括：采用卷积神经网络等算法检测出目标在帧中的位置。

因为每个帧块在目标检测中是独立的，所以目标检测bolt需要从帧块spout订阅帧块。

此外，目标检测bolt在检测出目标在帧中的位置之后保存目标检测结果，便于相同的帧块可以通过查找已经保存的检测结果避免重复处理帧，具体地，包括：

查询已经保存的检测结果；

若相同的帧块已进行检测，则直接输出检测结果；

若相同的帧块未进行检测，则进行检测处理。

进一步地，目标检测bolt将检测到的检测结果发送给检测剪枝bolt以进行进一步的处理。

在S303中，删除重复的检测结果并保存删除后的结果。这是因为系统总会有处理错误的。

可选地，检测剪枝bolt采用field grouping删除重复的检测结果。

优选地，对于内存缓冲，使用field grouping；对于数据库存储，使用shufflegrouping。

所述删除重复的检测结果，可以提高检测质量。

所述方法还包括：

获取所述目标在帧中的位置检测结果信息，并跟踪至少一次所述检测结果信息，以保证信息处理的可靠性。至此，本发明实施例完成了对视频的实时检测。

本发明实施例检测方法的代码结果采用maven管理的多模块项目，如图4所示是本发明实施例提供的代码结构图，其中实线箭头表示子项目关系，虚线箭头表示项目之间的依赖关系。

系统代码结构由一个顶级项目object detection和五个子项目组成，每个项目具体描述如下：

1)object-detection

object-detection是一个顶级的项目，可以使用mvn package命令去构建整个项目。

2)detection-core

detection-core子项目包含所有的核心算法，此项目功能可以供其他子项目使用，算法在此项目中实现。

3)detection-admin-client

detection-admin-client子项目包含客户端代码，管理着整个项目。任何外部的项目需要修改系统的状态必须只能依赖于这个项目。

4)detection-webapps

detection-webapps包含所有的服务端代码，包括从客户端查询检测结果，上传视频文件到集群等等。它在内部通过detection-server调用接口提交检测任务，因此，该项目需要依赖detection-server项目。该项目需要部署在web容器中，如tomcat。

5)detection-server

detection-server子项目包含所有需要检测任务的服务端代码，目前包含Storm和Matlab代码，Matlab代码是内部调用的算法。该项目需要部署在Storm集群中或者web容器中。

6)detection-camera-client

detection-camera-client子项目所有需要从摄像装置抓取帧以及提交给detection servers处理的代码。它需要在发送给detection servers前处理，因此它需要依赖核心子项目，调用它所需要的算法。该项目需要部署到安装有摄像装置的客户端机器。

对应于该发明实施例提供的一种目标检测的方法，图5示出了本发明实施例提供的一种目标检测系统的结构框图，为了便于说明，仅示出了与本实施例相关的部分。

参照图5，该系统包括：

第一获取单元51，用于获取目标的视频源文件；

预处理单元52，用于接收视频源文件并对所述视频源文件进行预处理，输出帧块；

存储单元53，用于接收输出的帧块，并以队列的形式存储输出的帧块；

第一检测单元54，用于从存储的帧块中获取帧块，对获取到的帧块进行处理后得到目标在帧中的位置。

所述预处理单元52包括：

帧抓取单元521，用于抓取视频源文件中的帧并逐步扫描抓取到的帧；

第二检测单元522，用于顺序接收扫描到的帧，并检测接收到的帧与帧之间的边界并顺序输出帧；

视频抽取单元523，用于在顺序输出的帧中检测相邻的帧，减少接收到的帧的帧数；

帧分组单元524，用于将减少后的连续的帧分组为帧块并输出帧块。

所述第一检测单元54包括：

第二获取单元541，用于从所述存储的帧块中获取帧块；

目标检测单元542，用于通过检测算法对获取到的帧块进行计算，得到目标在帧中的位置检测结果，并存储检测结果。

所述第一检测单元54还包括：

检测剪枝单元543，用于删除重复的检测结果信息。

所述系统还包括：

目标跟踪单元，用于获取所述目标在帧中的位置检测结果信息，并跟踪至少一次所述检测结果信息。

在本发明实施例中，通过在客户端对视频源文件进行预处理，并输出为帧块；将帧块以队列的形式存储，对队列的形式的帧块在storm中进行处理后得到目标在帧中的位置。本发明实施例采用storm使得实时检测目标的计算流程简单、高效。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标检测方法，其特征在于，包括：

获取目标的视频源文件；

接收所述视频源文件并对所述视频源文件进行预处理，输出帧块；

接收输出的帧块，并以队列的形式存储输出的帧块；

从存储的帧块中获取帧块，对获取到的帧块进行处理后得到目标在帧中的位置。

2.如权利要求1所述的方法，其特征在于，所述接收所述视频源文件并对所述视频源文件进行预处理，输出帧块包括：

抓取视频源文件中的帧并逐步扫描抓取到的帧；

顺序接收扫描到的帧，检测接收到的帧与帧之间的边界并顺序输出帧；

在顺序输出的帧中检测相邻的帧，减少接收到的帧的帧数；

将减少后的连续的帧分组为帧块并输出帧块。

3.如权利要求1所述的方法，其特征在于，所述从存储的帧块中获取帧块，对获取到的帧块进行处理后得到目标在帧中的位置包括：

从存储的帧块中获取帧块；

通过检测算法对获取到的帧块进行计算，得到目标在帧中的位置检测结果，并存储检测结果。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

删除重复的检测结果信息。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标在帧中的位置检测结果信息，并跟踪至少一次所述检测结果信息。

6.一种目标检测系统，其特征在于，包括：

第一获取单元，用于获取目标的视频源文件；

预处理单元，用于接收视频源文件并对所述视频源文件进行预处理，输出帧块；

存储单元，用于接收输出的帧块，并以队列的形式存储输出的帧块；

第一检测单元，用于从存储的帧块中获取帧块，对获取到的帧块进行处理后得到目标在帧中的位置。

7.如权利要求6所述的系统，其特征在于，所述预处理单元包括：

帧抓取单元，用于抓取视频源文件中的帧并逐步扫描抓取到的帧；

第二检测单元，用于顺序接收扫描到的帧，并检测接收到的帧与帧之间的边界并顺序输出帧；

视频抽取单元，用于在顺序输出的帧中检测相邻的帧，减少接收到的帧的帧数；

帧分组单元，用于将减少后的连续的帧分组为帧块并输出帧块。

8.如权利要求6所述的方法，其特征在于，所述第一检测单元包括：

第二获取单元，用于从所述存储的帧块中获取帧块；

目标检测单元，用于通过检测算法对获取到的帧块进行计算，得到目标在帧中的位置检测结果，并存储检测结果。

9.如权利要求8所述的系统，其特征在于，还包括：

检测剪枝单元，用于删除重复的检测结果信息。

10.如权利要求6所述的系统，其特征在于，还包括：

目标跟踪单元，用于获取所述目标在帧中的位置检测结果信息，并跟踪至少一次所述检测结果信息。