CN103297754A - 一种监控视频自适应感兴趣区域编码系统 - Google Patents

Abstract

本发明提供一种监控视频自适应感兴趣区域编码系统，其中：视频采集模块采集高清分辨率视频，同ROI检测与编码模块相连来传输源视频数据；ROI检测与编码模块以专用片上系统为主，与视频采集模块连接，接收源视频信息并完成ROI检测、H.264编码、通信与控制，编码后的数据通过以太网，以IP协议传输到服务器上的客户端模块；客户端模块提供视频解码、显示功能和系统的参数配置功能。本发明可以实现基于H.264协议的监控视频实时、自适应的感兴趣区域编码，取得数据压缩与关键信息高质量保存之间较好的折衷，还可对ROI、码率等系统参数进行动态配置，具备传输效率高、带宽要求低、ROI信息提取速度快等特点。

Description

一种监控视频自适应感兴趣区域编码系统

技术领域

本发明涉及的是一种监控视频的编码系统，包含了视频采集、编码和传输等方面的内容，具体地说，是一种监控视频自适应感兴趣区域编码系统。

背景技术

目前，随着经济与社会的快速发展，为保障经济社会快速发展的城市安防图像监控系统，其建设规模和实战效益要求也变得越来越高。但随着监控探头布设数量的激增，视频监控网络规模的不断扩大，视频数据呈爆炸式增长。这些海量化的监控视频数据，为整个监控系统的压缩传输、数据存储、调阅比对等面临巨大挑战，需要高效的视频编码技术来去除视频数据的冗余。但视频压缩比和视频质量是一对矛盾体，压缩比越高，视频损失越多，相应的视频质量也就越差。

视频监控系统是整个安防网络中最重要的组成部分。

经对现有技术的检索发现，中国专利申请号：200820095783.6，专利名称：智能视频监控系统，其专利自述为：本实用新型涉及一种智能视频监控系统，包括摄像头、第一报警装置、编码处理器、数据分析处理器、显示器；其中，摄像头和报警器分别与编码处理器连接，编码处理器和显示器分别与数据分析处理器连接；编码处理器用于将摄像头发送的视频流进行压缩编码为视频信号；数据分析处理器用于将编码处理器发送的视频信号发送到显示器进行显示，并进行分析处理，在出现异常情况时，通过编码处理器将报警信号发送到第一报警装置以进行报警。

中国专利申请号：201120276261.8，专利名称：一种视频监控系统，其专利自述为：本实用新型公开的一种视频监控系统，包括DM642模块，DM642模块与数据处理模块、网络接口模块和存储模块相连接，数据处理模块与视频采集模块相连接，网络接口模块与PC端连接。

上述视频监控系统的视频编码传输主要存在以下不足：

（1）采用大比例有损压缩，细节丢失严重，监控网络重建后的图像质量与安防行业需求产生严重差距，安防用户更为关注的图像细节,诸如车牌号码、人脸特征、携带物品上的文字、标识等，因视频的大比例有损压缩而导致细节模糊、无法精细重构。

（2）在低带宽或是为了节省存储空间的情况下往往无法获得清晰的视频画面，从而无法从中提炼出重要的信息。

（3）视频传输过程中码率无法动态控制，对网络带宽变化的适应能力不强。

发明内容

本发明针对监控视频关键信息重构和传输带宽限制问题，提供一种监控视频自适应感兴趣区域编码系统。

本发明通过在视频编码传输中引入感兴趣区域（Region Of Interest,ROI）编码来加以解决。感兴趣区域ROI，即图像中最能引起用户兴趣、最能表现图像内容的区域。ROI编码在图像中对感兴趣区域进行无损压缩或近无损压缩，而对背景区域进行有损压缩。这样既可使得重构图像有较高的视频质量，又可得到较高的压缩比，很好地解决了压缩比和图像质量之间的矛盾。提取出这些区域将会大大提高图像处理和分析的效率和准确度。对于安防监控视频而言，感兴趣区域主要集中于行人和车辆上，而对背景部分要求较低，因此要求局部图像的压缩质量高于其他区域，并且在码流传输中有较高优先级。

为实现上述目的，本发明所述监控视频自适应感兴趣区域编码系统，包括三个功能模块：视频采集模块、ROI检测与编码模块，以及客户端模块。这三部分分别完成视频数据采集、ROI检测和编码传输、接收解码和配置等功能。视频采集模块采集高清分辨率视频，同ROI检测与编码模块相连来传输源视频数据。ROI检测与编码模块以专用片上系统为主，与视频采集模块连接，接收源视频信息并完成ROI检测、H.264编码、通信与控制等几个功能单元。编码后的数据通过以太网，以IP协议传输到服务器上的客户端模块。客户端模块提供视频解码、显示功能和系统的参数配置等功能。

本发明中，所述ROI检测与编码模块，在监控视频编码内加入了感兴趣区域ROI编码，ROI检测与编码模块可以完成高清视频ROI区域的自动检测和H.264编码。基于运动侦测和其他ROI检测算法，针对不同监控场景可以提炼出相应的重要ROI信息并进行加强编码。如，对于室外监控场景，以车辆和车牌作为ROI区域；在室内场景则以行人和人脸作为ROI区域。支持两个自动检测ROI区域和两个手工标注ROI区域的编码。同时还可以通过客户端对码率、ROI区域大小及位置进行灵活调节。

本发明中，所述ROI检测与编码模块采用ROI区域检测算法对硬件检测所得的矩形运动区域进行判定和修正。该算法使用链表的数据结构来维护视频序列中的运动目标的区域信息，每个链表节点储存运动目标矩形运动区域的长、宽、矩形中心的横纵坐标以及该运动目标的寿命。算法通过每个运动目标的寿命管理，有效的减少了硬件初步检测算法中的误检情况，能更准确稳定地得到ROI区域信息。

本发明中，所述ROI检测与编码模块以高性能SoC Hi3516为基础，利用ARM处理器和视频协处理器完成系统控制、视频的ROI检测和基于H.264的ROI编码，同时将视频码流通过网口传输给客户端模块，并获取客户端模块发送的配置信息进行系统控制。

本发明中，所述ROI检测与编码模块通过建立监听套接字实现了手工ROI区域标注、码率设置等控制信息的传输与系统配置功能。在客户端模块上配置ROI、码率信息来操控所述ROI检测与编码模块内部的ROI编码和码率控制过程。可实现1或2个手工ROI区域标注和16～40960kbps的恒定或自适应码率控制。

本发明中，所述ROI检测与编码模块同时支持自动检测和手工标注两种ROI区域编码，自动检测ROI区域信息由ROI检测与编码模块获得，手工标注ROI区域信息由客户端模块获得，同时还能通过客户端模块对码率、手工标注ROI区域大小及位置进行灵活调节。

本发明中，所述ROI检测与编码模块基于RTP/UDP/IP协议栈实现了高清视频的实时网络传输，可在客户端方便地远程预览或者存储。

与现有技术相比，本发明具有如下的有益效果：

本发明提供一种监控视频自适应感兴趣区域编码系统，针对监控视频关键信息重构和传输带宽限制问题，通过ROI检测与编码模块，可以实现基于H.264协议的监控视频实时、自适应的感兴趣区域编码，取得数据压缩与关键信息高质量保存之间较好的折衷，还可对ROI、码率等系统参数进行动态配置，具备传输效率高、带宽要求低、ROI信息提取速度快等特点。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1本发明实施例的监控视频自适应感兴趣区域编码系统架构框图；

图2本发明实施例ROI检测与编码模块软件实施方案。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如附图1所示，是本发明一实施例所述的监控视频自适应感兴趣区域编码系统，包括：视频采集模块1、ROI检测与编码模块2以及客户端模块3。其中硬件部分之间的连接方式为：视频采集模块1与ROI检测与编码模块2相连，ROI检测与编码模块2与客户端模块3相连。

具体地说，本实施例中视频采集模块采用监控摄像头（本实施例采用海康威视型号为DS-2CD877MF-SDI的网络摄像机，该摄像机支持1080P的高清视频采集，提供LAN和HD-SDI两个视频接口，使用DC12V/2A电源供电）。通过HD-SDI等视频接口与ROI检测与编码模块的视频输入接口相连，将采集的视频传输给编码模块。

ROI检测与编码模块是整个系统最重要的一个模块，本实施例采用了嵌入式SoC处理器Hi3516（Hi3516是海思公司推出的高性能SoC），该芯片提供主频达800MHz的ARM CortexA9CPU，可在完成系统控制之外，利用CPU的处理能力进行ROI检测等算法的实现；而其携带的视频协处理器，则可完成H.264高清压缩、视频缩放等功能。同时支持ROI编码和运动侦测等功能，确保了ROI检测和编码的实现。同时，该模块还有视频输入输出接口、外围存储接口、以太网口等外围设备接口。基于该处理器的软硬件系统完成视频ROI检测和视频H.264编码和传输。

ROI检测与编码模块2中软件部分的具体实施过程如附图2所示：将内部视频流分为两路，一路用于检测、提取ROI信息，其中ROI信息分为自动检测的动态ROI和手工配置的静态ROI两种，然后再将这些信息传递给另一路进行H.264+ROI编码，第一路视频最大分辨率为1920*1080，将其传递给Hi3516内部的视频编码通道，配置H.264编码模式并开启视频编码通道。第二路视频的最大分辨率为704*576，由第一路视频图像缩小得到，将其传递给Hi3516内部的视频侦测分析通道，启动视频侦测分析通道后，开启一个线程获取硬件检测到的视频运动区域信息：矩形运动区域四个顶点的横纵坐标值，由此计算出各个区域的大小并选取面积最大的两块区域作为ROI区域，得到ROI区域左上角顶点相对于图像中左上顶点的横坐标x、纵坐标y、水平方向宽度w和垂直方向高度h四个ROI信息。此时所得到的ROI区域信息是由第二路视频信号分析所得，需按比例放大到适于1920*1080的分辨率。经过缩放后得到在1920*1080分辨率下的矩形运动区域信息。

ROI检测与编码模块2采用ROI区域检测算法对硬件检测所得的矩形运动区域进行判定和修正：第一步即对硬件检测所得的矩形运动区域进行初步判定。若所得矩形长或宽小于一定域值，则相应的矩形则被判定为硬件检测的误检，直接丢弃，不再进行后续处理。

对于通过初步判定的矩形运动区域进行第二步的处理。使用链表的数据结构来维护视频序列中的运动目标的区域信息。每个链表节点储存运动目标矩形运动区域的长、宽、矩形中心的横纵坐标以及该运动目标的寿命。算法通过每个运动目标的寿命管理，有效的减少了硬件初步检测算法中的误检情况，能更准确稳定地得到视频中实际待检测运动目标的区域信息。具体实现如下：

对于每一个通过初判定的矩形区域，遍历链表，计算链表中每个节点对应运动目标的矩形中心到该矩形中心的欧氏距离。当距离大于一定域值时（本实施例中域值设为300，其具体数值应根据输入视频分辨率进行设置，输入视频分辨率大则域值应上调，反之域值应下调），判定当前矩形是一个新目标，将该矩形区域信息作为一个新节点的区域信息添加至链表中，同时设该节点的寿命为初始寿命；当距离小于一定域值时，判定当前矩形与链表中该矩形为同一目标，用当前矩形的区域信息更新链表该节点的矩形区域信息，同时当该运动目标寿命未达到最大寿命时，适当增加该运动目标的寿命（本实施例中每次运动目标得到确认时增大寿命为6，每次增大的寿命应适中，过大过小都会导致运动目标跟踪准确率的下降）。越高的目标寿命表示着该目标存在时间越长，设置目标的最大寿命是为防止长期存在的运动目标离开场景时不能被及时删除。

完成对单个矩形区域的第二次判定之后，对链表中所有节点的寿命适当减小（本实施例中每次减小的寿命为1，每次减小的寿命跟之前定义的每次增大寿命及最大寿命相关），代表各运动目标的衰老，当某个节点的寿命减小到小于零时，则代表着该节点的死亡（即某一运动目标多次没能得到更新，可能是该运动目标已离开场景，或是之前对该目标的检测是误检）。当某一节点寿命小于零时，从链表中删除该节点。

最后取链表中前若干个节点（本实施例中取前两个节点，其具体数值应根据具体应用中需检测的运动区域进行设定）对应的运动目标判定为当前视频场景中所存在的运动区域，系统要求ROI的四个信息必须为16对齐的整数，对不符合这一条件的运动区域信息则将其适当扩展为能被16对齐的整数，扩展后的运动区域即为最终的ROI区域。再利用最终ROI区域的四个信息来配置视频编码通道的ROI编码参数，进行H.264+ROI编码。

在ROI检测与编码模块中还提供了接收客户端模块3控制信息的接口，建立一个套接字侦听端口，获取客户端模块3传递来的ROI设置、码率控制等配置信息，并以此为变量改变视频编码通道的动态属性，实现ROI区域手工标注、传输码率控制等系统控制功能。

ROI检测与编码模块使用DC12V/2A电源供电，通过HD-SDI视频输入接口获取采集模块传送的视频信息，同时通过以太网口和RTP/UDP/IP协议栈，传输到服务器或客户主机上的客户端模块，由客户端模块软件实现视频实时接收解码、呈现和参数配置等。

客户端模块以解码软件为主，基于MFC开发，在服务器上运行，主要完成视频解码播放以及ROI、码率等参数信息配置功能，同时还具备以下功能：码率显示功能，可以计算出传输来的视频码流实时码率大小并显示；视频存储回放功能，可以在服务器端保存ROI检测与编码模块传输来的码流，也能解码播放已经存储在本地的码流文件。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种监控视频自适应感兴趣区域编码系统，其特征在于包括：视频采集模块、ROI检测与编码模块，以及客户端模块，这三部分分别完成视频数据采集、ROI检测和编码传输、接收解码和配置，其中：视频采集模块采集高清分辨率视频，同ROI检测与编码模块相连来传输源视频数据；ROI检测与编码模块以专用片上系统为主，与视频采集模块连接，接收源视频信息并完成ROI检测、H.264编码、通信与控制，编码后的数据通过以太网，以IP协议传输到服务器上的客户端模块；客户端模块提供视频解码、显示功能和系统的参数配置功能。

2.根据权利要求1所述的监控视频自适应感兴趣区域编码系统，其特征是所述ROI检测与编码模块在监控视频编码内加入了ROI编码，完成高清视频ROI区域的自动检测和H.264编码：该模块基于运动侦测和ROI检测算法，针对不同监控场景提炼出相应的重要ROI信息并进行加强编码。

3.根据权利要求2所述的监控视频自适应感兴趣区域编码系统，其特征是所述ROI检测与编码模块采用ROI区域检测算法，对硬件检测所得的矩形运动区域进行判定和修正：第一步对硬件检测所得的矩形运动区域进行初步判定，若所得矩形长或宽小于一域值，该域值根据输入视频分辨率进行设置，输入视频分辨率大则域值应上调，反之域值应下调，则相应的矩形则被判定为硬件检测的误检，直接丢弃，不再进行后续处理；对于通过初步判定的矩形运动区域进行第二步的处理，使用链表的数据结构来维护视频序列中的运动目标的区域信息，每个链表节点储存运动目标矩形区域的长、宽、矩形中心的横纵坐标以及该运动目标的寿命，通过每个运动目标的寿命管理，减少硬件初步检测算法中的误检情况，能更准确稳定地得到视频中实际待检测运动目标的区域信息。

4.根据权利要求3所述的监控视频自适应感兴趣区域编码系统，其特征是所述对于通过初步判定的矩形区域进行第二步的处理，具体实现如下：

对于每一个通过初判定的矩形运动区域，遍历链表，计算链表中每个节点对应运动目标的矩形中心到该矩形中心的欧氏距离，当距离大于一域值时，判定当前矩形是一个新目标，将该矩形区域信息作为一个新节点的区域信息添加至链表中，同时设该节点的寿命为初始寿命；当距离小于一域值时，判定当前矩形与链表中该矩形为同一目标，用当前矩形的区域信息更新链表该节点的矩形区域信息，同时当该运动目标寿命未达到最大寿命时，增加该运动目标的寿命，越高的目标寿命表示着该目标存在时间越长，设置目标的最大寿命是为防止长期存在的运动目标离开场景时不能被及时删除；

完成对单个矩形区域的第二次判定之后，对链表中所有节点的寿命减小，代表各运动目标的衰老，当某个节点的寿命减小到小于零时，则代表着该节点的死亡；当某一节点寿命小于零时，从链表中删除该节点；

最后取链表中前若干个节点，节点数根据具体应用中需检测的运动区域进行设定，对应的运动目标判定为当前视频场景中所存在的运动区域，系统要求ROI的四个信息必须为16对齐的整数，对不符合这一条件的运动区域信息则将其适当扩展为能被16对齐的整数，扩展后的运动区域即为最终的ROI区域，再利用最终ROI区域的四个信息来配置视频编码通道的ROI编码参数，进行H.264+ROI编码。

5.根据权利要求1所述的监控视频自适应感兴趣区域编码系统，其特征是所述ROI检测与编码模块同时支持自动检测和手工标注两种ROI区域编码，自动检测ROI区域信息由ROI检测与编码模块获得，手工标注ROI区域信息由客户端模块获得，同时还能通过客户端模块对码率、手工标注ROI区域大小及位置进行灵活调节。

6.根据权利要求5所述的监控视频自适应感兴趣区域编码系统，其特征是所述ROI检测与编码模块通过建立监听套接字实现了手工ROI区域标注、码率设置控制信息的传输与系统配置功能；在客户端模块上配置ROI、码率信息来操控所述ROI检测与编码模块内部的ROI编码和码率控制过程，实现1--4个手工ROI区域标注和16～40960kbps的恒定或自适应码率控制。

7.根据权利要求1-6任一项所述的监控视频自适应感兴趣区域编码系统，其特征是所述ROI检测与编码模块以高性能SoC Hi3516为基础，利用ARM处理器和视频协处理器完成系统控制、视频的ROI检测和基于H.264的ROI编码，同时将视频码流通过网口传输给客户端模块，并获取客户端模块发送的配置信息进行系统控制。

8.根据权利要求1-6任一项所述的监控视频自适应感兴趣区域编码系统，其特征是所述客户端模块完成获取码流并解码显示，同时向所述ROI检测与编码模块发送ROI和码率配置信息的功能，同时具备码率显示功能和视频存储回放功能，计算出传输来的视频码流实时码率大小并显示；在服务器端保存所述ROI检测与编码模块传输来的码流，也能解码播放已经存储在本地的码流文件。

Images