CN105227928A - 一种基于视频传感器网络的动态目标监测系统 - Google Patents

Abstract

本发明公开了一种基于视频传感器网络的动态目标监测系统包括：视频输入端，视频预处理端，视频处理核心，视频输出端和网络控制端。其中，视频输入端与视频预处理端相连，将采集的视频直接输入，视频预处理端将经过预处理工作的视频流输入视频处理核心完成一系列视频算法处理以及跟踪监测处理，视频处理核心同视频输出端及网络控制端相连，一方面将处理之后的视频进行输出，另一方面对网络控制端发送指令，请求另一台传感器的协作。本发明提供一种智能视频监控领域的系统，通过模块化设计，结合视频传感器网络，实现对室内动态目标的检测与跟踪，可以作为一种智能室内监控的解决方案。

Description

一种基于视频传感器网络的动态目标监测系统

技术领域

本发明涉及智能视频监控领域，尤其涉及一种基于视频传感器网络的室内动态目标检测系统。

背景技术

随着计算机视觉在嵌入式领域研究的不断深入，视频处理在最近十几年中取得了巨大的成果，作为其重要的分支之一，视频跟踪在智能视频监控、基于视频的人机交互、医学图像等领域有着广泛的应用前景。近年来，嵌入式图像处理器也因其高效，低能耗的特点受到广泛关注。因此，在嵌入式图像处理器上实现视频处理算法具有极高的应用价值。与此同时，多个嵌入式图像处理器组成的监控网络，通过信息交互可以极大地提高跟踪效率，并且降低监控成本，为推广智能监控打下了良好的基础，从而满足低碳环保的要求。因此，基于视频传感器网络的视频跟踪在实际应用领域意义巨大。

近年来，通信技术、嵌入式技术和传感器技术的快速发展让具有感知能力、计算能力和通信能力的微型传感器开始进入人们的视野。这些传感器组成网络后能够协调地感知、采集和处理网络覆盖区域内的各种环境或监测对象信息，并发布给需要的用户。传感器网络将数字信息与现实世界融合在一起，深刻地改变了人与自然的交互方式。同时，这种传感器在军事、工农业控制、生物医疗、环境监测等诸多领域有着广泛的应用。相比单一的温度，湿度等传感器，多种传感器构成的传感器网络可以接收，分析更丰富的信息，也更加能反映区域内的实际情况。所以基于视频传感器网络的技术在未来将是一个很好的研究方向，发展前景十分广阔。

所谓的视频目标跟踪，就是实时地定位一个或者多个运动目标位置的过程，通过对视频帧进行处理，分析后输出运动目标的位置。跟踪的难点在于从连续的视频帧当中准确锁定目标。实际场景中，背景干扰十分普遍，目标的尺寸可能发生变化，而目标本身也极有可能被遮挡，为此，视频跟踪算法往往需要结合背景建模、运动目标检测等辅助算法来实现，从而提高视频跟踪的稳定性。此外，由于跟踪的是动态目标，因而实时性成为了另一个重要指标。所以优秀的视频跟踪算法需要同时满足稳定性与实时性的要求，二者之间的平衡也至关重要。

国外的视频跟踪技术研究开始的较早，国外的一些大学及研究机构对此作了长期深入的研究，经过十几年的发展，技术己经相当成熟。最早是从雷达屏幕上，对目标进行跟踪，而现在已经发展到对于连续的视频帧中的目标进行跟踪。1997年美国国防高级研究计划局(DSRpA)设立了以卡内基梅隆大学为首，麻省理工学院等美国十几家高校和研究机构联合研发了视频监视监控系统(VSAM)，该系统融合多种类型的传感器，对监控地区进行全方位的昼夜监控。马里兰大学的实时监控系统w4能定位人并分割出人的身体部分，通过建立外观模型来实现多人的跟踪，同时还可以检测人是否携带物体等简单行为。还有一些已经商业化的产品，比如ITES公司Vantage系列视频检测处理单元。

视频跟踪技术虽然在国内研究起步比较晚，但经过这些年的积累，也取得了很多研究成果。自20世纪90年代初开始，中科院自动化研究所模式识别国家重点实验室的谭铁牛就基于三维模型的智能视觉监控系统展开研究，针对实际车辆检测中遇到的问题进行研究，取得了一系列的成果。而同样是中科院自动化研究所的生物识别与安全技术研究中心在智能监控领域中对人脸识别与跟踪，夜间目标跟踪等方面做了较为深入的研究并取得了一定程度实用化的成果。清华大学的艾海舟教授所领导的课题组中有多篇关于视频跟踪的文章发布于三大顶级国际会议，其中有关于利用粒子滤波算法解决低帧率视频中的跟踪问题。国内同样也有不少公司在视频跟踪做出努力，如亚洲视觉公司的路段交通信息系统。但国内的产品大多数功能比较单一，虽然有一定的视频跟踪功能，但远不能达到令人满意的程度，同国外的产品相比还有相当的差距。

在传感器网络方面，针对多媒体传感器的大数据量、复杂媒体信息的获取、处理和传输等新特性，对于网络节点中的硬件平台，体系架构，部署方法，覆盖策略以及信息处理等方面都有新的要求。同时，受限于节点的处理能力和网络带宽，既不能直接将大量数据进行传送，也不能进行过于复杂的数据处理。如何对两者进行平衡也是视频传感器网络建设的关键。

在建立视频传感器网络方面，国外研究人员提出很多方案。Kulkarni等人组合多种性能不同的传感器模块和通信模块，搭建了不同监测性能的视频传感器节点。这种视频传感器节点充分考虑了节点间性能差异以及监测需要,既节约资源又可提高监测性能。2003年，Holman等人用视频传感器建立海岸监测系统，但在该系统中，传感器之间几乎没有协作，大部分的数据都汇总到主机进行处理。这样的话，主机的压力显得异常巨大。对于节点之间的通信问题，Ardizzon等人提出了在多媒体传感器网络混合使用多种通信协议的方法，这样可以解决单一通信协议带来的节点差异性困难。

我国在无线传感器网络的研究、应用及标准化等方面己经达到世界一流水平，这一方面的成就是我国在信息领域里少数处于世界前列的技术。其中，由工信部资助，企业、高校、研究所等单位参与研究了无线传感器网络中的关键技术。在无线多媒体传感器网络的研究中，南京邮电大学的江苏省无线传感器网络高技术研究重点实验室和无线传感器网络研究中心在2002年就成立了课题组开始了对无线多媒体传感器网络的研究与探索。在实现了多个版本的多媒体传感器节点和网关节点的同时还构建了一个高效的中间件软件开发平台。在此基础上，课题组开展了一系列理论学术方面的研究，包括协议设计、多媒体编码、数据采集、覆盖控制等方面，并积极尝试基于传感器网络的智能家居等应用系统的构建与测试。

总的来看，目前传感器网络的研究很多还停留在理论阶段，有实用价值的成品还不多。但这一领域有着广阔和光明的发展前景，无论是在国防工业方面还是关乎国计民生的领域都会有很大的作为。

相比起传统的传感器，视频传感器有着其得天独厚的优势，从而吸引了众多研究人员的目光。从2003年起，国内外研究机构和相关组织陆续开始对视频传感器在内的多媒体传感器展开研究。如美国加利福尼亚大学、波特兰州立大学、卡耐基·梅隆大学等著名学府均开始成立视频传感器网络研究小组并启动了与之相关的科研计划。与此同时，我国学者也对视频传感器网络方面的研究给予了高度重视，北京邮电大学智能通信软件与多媒体北京市重点实验室、哈尔滨工业大学、中国科学院计算技术研究所也对该领域开始进行探索。

近年来，随着嵌入式图像处理器处理能力的不断提高，让使用更复杂信息作为源头的视频传感器成为可能。视频传感器相比传统传感器，其信息量大，可以监控的范围更加宽广，能对过去不能监测的多种目标进行检测、跟踪。同时，可以方便部署也是视频传感器的一大优点。部署灵活，监控范围广，信息量大是其主要优点。

然而，由于节点的计算能力有限，加之节点的能量供应极度匮乏，同时大量的信息无法直接通过网络进行传输，需要节点进行一定程度的计算后方可发送。这限制了视频传感器的发展，因此，本领域的技术人员致力于开发一种基于视频传感器网络的动态目标监测系统。

发明内容

本发明的目的在于克服现有技术中存在的上述不足，提供一种智能视频监控领域的系统。本发明通过模块化设计，结合视频传感器网络，实现对室内动态目标的检测与跟踪，可以作为一种智能室内监控的解决方案。

为实现上述目的，本发明提供了一种基于视频传感器网络的动态目标监测系统，包括：视频输入端，视频预处理端，视频处理核心，视频输出端和网络控制端；其中，所述视频输入端与所述视频预处理端相连，所述视频输入端被配置为将采集的视频直接输入，所述视频预处理端与所述视频处理核心相连，所述视频处理核心被配置为对经过预处理的视频流作视频算法处理以及跟踪监测处理，所述视频处理核心与所述视频输出端及所述网络控制端相连，所述视频处理核心被配置为将处理之后的视频进行输出到所述视频输出端，并对所述网络控制端发送指令，请求其他传感器的协作。

进一步地，所述的视频输入端包括：摄像头模块，曝光控制模块，对焦控制模块，白平衡控制模块和预览模块；所述摄像头模块被配置为将环境数据和目标数据捕获，并将所得数据发送给所述预览模块进行格式转换，以产生符合后续处理工作的视频格式版本；所述曝光控制模块，所述对焦控制模块和所述白平衡控制模块被配置为对所述摄像头模块进行控制，以保证采集到色彩还原准确，曝光正常的图像数据，避免过亮或者过暗造成的图像数据溢出。

进一步地，所述视频预处理端包括缩放模块和降噪模块；所述缩放模块被配置为从硬件上产生大小适合的图像数据，所述降噪模块被配置为对原始图像数据进行噪点降低和锐化，以保证数据处理的准确度。

进一步地，所述的视频处理核心为嵌入式图像处理器，被配置为运行图像处理算法，实现对目标的跟踪监测，同时将处理后的结果进行输出，并对网络控制端发出指令以调动周围的传感器协同工作。

进一步地，所述的视频输出端包括模拟或数字显示器，视频编码模块；所述视频编码模块被配置为将所述视频处理核心处理后的数据进行编码，以输出符合显示器制式的视频格式。

进一步地，所述的网络控制端被配置为对相连的传感器发送数据包，完成协同计算。

本发明所述系统包括：视频输入端，视频预处理端，视频处理核心，视频输出端和网络控制端。其中，视频输入端与视频预处理端相连，将采集的视频直接输入，视频预处理端将经过预处理工作的视频流输入视频处理核心完成一系列视频算法处理以及跟踪监测处理，视频处理核心同视频输出端及网络控制端相连，一方面将处理之后的视频进行输出，另一方面对网络控制端发送指令，请求另一台传感器的协作。

所述的视频输入端包括：摄像头(光电转换)，曝光控制模块，对焦控制模块，白平衡控制模块和预览模块。摄像头负责将环境数据和目标数据捕捉，将所得数据发送给预览模块进行格式转换，以产生符合后续处理工作的视频格式版本。曝光控制模块，对焦控制模块和白平衡控制模块负责对摄像头进行控制，以保证采集到色彩还原准确，曝光正常的图像数据，避免过亮或者过暗造成的图像数据溢出。

视频预处理端包括缩放模块和降噪模块。缩放模块负责从硬件上产生大小适合的图像数据，降噪模块负责对原始图像数据进行噪点降低和锐化，以保证数据处理的准确度。

视频处理核心为嵌入式图像处理器，其中进行一系列图像处理算法，实现对目标的跟踪监测，同时将处理后的结果进行输出，并对网络控制端发出指令以调动周围的传感器协同工作。

视频输出端包括模拟或数字显示器，视频编码端。后者将处理核心处理后的数据进行编码，以输出符合显示器制式的视频格式。

网络控制端可以对相连的传感器发送数据包，完成协同计算。

与现有技术相比，本发明具有的优势是：以相对低的能耗完成了PC级别的视频处理算法，充分利用嵌入式处理器的优势，扬长避短，同时具有简单可靠和成本低的优点，方便维护和升级。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的系统结构示意图；

图2是本发明的一个较佳实施例中视频输入端及视频预处理端的结构图。

具体实施方式

下面结合附图对本发明的系统做详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例包括视频输入端1，视频预处理端2，视频处理核心3，视频输出端4和网络控制端5。其中，视频输入端1与视频预处理端2相连，将采集的视频直接输入，视频预处理端2将经过预处理工作的视频流输入视频处理核心3完成一系列视频算法处理以及跟踪监测处理，视频处理核心3同视频输出端4及网络控制端5相连，一方面将处理之后的视频进行输出，另一方面对网络控制端5发送指令，请求另一台传感器的协作。

所述的视频输入端1包括：摄像头(光电转换)11，曝光控制模块12，对焦控制模块13，白平衡控制模块14和预览模块15。摄像头11采用普通网络高清摄像头，等效35mm焦距为28mm，定焦镜头，负责将环境数据和目标数据捕捉，将所得数据发送给预览模块15进行格式转换，预览模块15可以将摄像头捕捉的原始RAW格式数据转换为YUV422格式的数据，此数据可以为之后的嵌入式处理核心3进行处理。曝光控制模块12，对焦控制模块13和白平衡控制模块14负责对摄像头进行控制，以保证采集到色彩还原准确，曝光正常的图像数据，避免过亮或者过暗造成的图像数据溢出。

视频预处理端2包括缩放模块21和降噪模块22。缩放模块21负责从硬件上产生大小适合的图像数据，例如720p格式的高清数据或者480p的标清数据，降噪模块22负责对原始图像数据进行噪点降低和锐化，以保证数据处理的准确度，可以使用高斯平滑和边缘锐化等方式进行。

视频处理核心3为嵌入式图像处理器，本实施例中采用TMS320DM6437，这是一款高性能数字信号处理器，能够对图像数据进行高效处理。其中进行一系列图像处理算法，实现对目标的跟踪监测，同时将处理后的结果进行输出，并对网络控制端5发出指令以调动周围的传感器协同工作。

视频输出端4包括模拟或数字显示器41，视频编码端42。视频编码端42将处理核心3处理后的数据进行编码，以输出符合显示器制式的视频格式，例如编码为RGB888格式的数据输出到液晶显示屏上。

网络控制端5可以对相连的传感器发送数据包，完成协同计算。采用不同的网络接口可以实现有线或者无线传输，根据需要进行配置。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种基于视频传感器网络的动态目标监测系统，其特征在于，包括：视频输入端，视频预处理端，视频处理核心，视频输出端和网络控制端；其中，所述视频输入端与所述视频预处理端相连，所述视频输入端被配置为将采集的视频直接输入，所述视频预处理端与所述视频处理核心相连，所述视频处理核心被配置为对经过预处理的视频流作视频算法处理以及跟踪监测处理，所述视频处理核心与所述视频输出端及所述网络控制端相连，所述视频处理核心被配置为将处理之后的视频进行输出到所述视频输出端，并对所述网络控制端发送指令，请求其他传感器的协作。

2.根据权利要求1所述的基于视频传感器网络的动态目标监测系统，其特征在于，所述的视频输入端包括：摄像头模块，曝光控制模块，对焦控制模块，白平衡控制模块和预览模块；所述摄像头模块被配置为将环境数据和目标数据捕获，并将所得数据发送给所述预览模块进行格式转换，以产生符合后续处理工作的视频格式版本；所述曝光控制模块，所述对焦控制模块和所述白平衡控制模块被配置为对所述摄像头模块进行控制，以保证采集到色彩还原准确，曝光正常的图像数据，避免过亮或者过暗造成的图像数据溢出。

3.根据权利要求1所述的基于视频传感器网络的动态目标监测系统，其特征在于，所述视频预处理端包括缩放模块和降噪模块；所述缩放模块被配置为从硬件上产生大小适合的图像数据，所述降噪模块被配置为对原始图像数据进行噪点降低和锐化，以保证数据处理的准确度。

4.根据权利要求1所述的基于视频传感器网络的动态目标监测系统，其特征在于，所述的视频处理核心为嵌入式图像处理器，被配置为运行图像处理算法，实现对目标的跟踪监测，同时将处理后的结果进行输出，并对网络控制端发出指令以调动周围的传感器协同工作。

5.根据权利要求1所述的基于视频传感器网络的动态目标监测系统，其特征在于，所述的视频输出端包括模拟或数字显示器，视频编码模块；所述视频编码模块被配置为将所述视频处理核心处理后的数据进行编码，以输出符合显示器制式的视频格式。

6.根据权利要求1所述的基于视频传感器网络的室内动态目标检测系统，其特征在于，所述的网络控制端被配置为对相连的传感器发送数据包，完成协同计算。