CN110121060A - 一种用于网络摄像头的智能增强设备及方法 - Google Patents

Abstract

本发明提出的一种用于网络摄像头的智能增强设备及方法，通过智能视频处理方法实现了对视频的智能实时处理，充分有效地利用了监控视频数据，能够最大化发挥监控体系效能；本发明通过非侵入式的部署方式，对现有监控体系不造成破坏，使用和改造成本小；本发明体积小、能耗低，无需占用额外的空间部署设备，同时适用于规模较小或者摄像头部署较远的监控环境，部署灵活方便，可扩展性良好。

Description

一种用于网络摄像头的智能增强设备及方法

技术领域

本发明涉及计算机技术领域，具体涉及一种用于网络摄像头的非侵入式微型设备，更具地说，涉及一种用于网络摄像头的智能增强设备及方法。

背景技术

随着技术发展以及国家的大力建设，公共安全视频监控体系已日趋普及和完善，但同时也带来的新的问题。海量的视频监控摄像头产生了海量的视频数据，而针对这些视频数据的处理，如图1所示，目前最主要的方式还是人工处理，辅以简单的计算机自动处理。在实际应用中，大部分的视频数据并不能够得到处理和利用，大量的视频数据仅仅被用作事后备查，致使视频监控体系并不能够发挥最大的效用。

随着机器学习技术、计算视觉技术、云计算、大数据等相关技术的日趋成熟，智能处理技术逐渐得到应用，这种情况得到了逐步的改善。针对网络监控摄像头的视频处理主要有两种方式：

一种是将部分智能处理算法植入摄像头中，如图2所示，在摄像头采集数据的同时进行处理，后端只需要对前端网络摄像头返回的处理后的数据进行处理，大大减少了处理的数据量，提高了处理的时效性。但这种方式具有以下几点不足：

1、摄像头具备的智能处理能力有限；

2、摄像头智能处理能力出厂基本固化，后续升级困难；

3、需要对现有的已部署好的网络摄像头进行全面更换，部分设备甚至需要对线路进行重新部署；

4、需要对监控环境进行全面改造，对原有系统破坏性较大，资源浪费较多，部署不便、部署周期长，扩展不灵活，获得的收益有限，使用成本较高。

另一种方式是在后端部署一个智能数据处理中心，如图3所示，对前端网络摄像头返回的视频数据进行处理。这种方式需要大量的计算资源和网络带宽，对于规模较大的中心需要新建机房及附属设施。其部署及使用成本都较高，使用场景有限。对于较老的网络环境，网络带宽不足，会严重影响原有系统的运行及使用，则需要对网络线路进行升级改造，从而增加了部署及使用成本。

以上的两种处理方式均会在不同程度上对原有系统造成侵入式影响，即在原有系统中加入新的处理设备时，需要对原有的系统进行破坏式改造，对原有系统及环境影响较大，不能够很好的利用现有的资源及环境，部署及使用成本较高。

发明内容

为了解决上述问题，本发明提供一种非侵入式的用于网络摄像头的智能增强设备及方法。

根据本发明的一方面，本发明提供一种用于网络摄像头的智能增强设备，所述智能增强设备接收前端网络摄像头视频流数据，对其进行处理并输出处理结果给后端处理展示设备，所述智能增强设备包括：

数据接收单元，用于接收从网络中获取的数据包，并对其进行解析输出视频流数据；

视频流解析单元，对数据接收单元输出的视频流数据进行解码处理，输出视频图像数据；

智能处理引擎，用于对视频图像数据进行智能处理，并输出智能处理结果；

数据编码单元，用于对智能处理结果进行结构化编码，并输出编码数据；

数据发送单元，用于接收数据编码单元的编码数据并封装成数据包，并将数据包发送给后端处理展示设备；所述数据发送单元配置有网络传输模块，网络传输模块包括有线传输模块和无线传输模块两种；

所述智能增强设备还包括：

获取方式设置模块，用于设置网络数据包获取方式；

目标配置模块，用于配置智能增强设备智能处理方式；

参数配置模块，用于配置智能增强设备的网络IP地址、网络传输方式以及前端摄像头的视频流地址、访问参数、数据传输协议、数据编码协议等。

根据本发明的另一方面，本发明提供一种用于网络摄像头的智能增强方法，包括如下步骤：

s1、将智能增强设备部署在网络摄像头和后端处理展示设备之间并设置相关参数；

s2、通过数据接收单元从网络中获取数据包，对数据包进行解析获得视频流数据；

s3、对步骤s2中获得的视频流数据进行编码协议识别，使用对应的解析协议对视频流数据进行解码处理，得到视频图像数据；

s4、对步骤s3中的得到的视频图像数据进行智能处理，输出智能处理结果；

s5、对步骤s4中视频图像数据的智能处理结果进行数据编码；

s6、将步骤s5中编码后的视频图像数据封装成网络数据包；

s7、将步骤s6中的网络数据包通过网络传输模块发送给后端处理展示设备。

其中，所述步骤s1包括如下步骤：

s11、选择智能增强设备的部署模式；

s12、设置网络数据包获取方式；

s13、为智能增强设备配置视频智能处理方式；

s14、配置智能增强设备网络IP地址、网络传输方式、网络摄像头相关参数。

所述步骤s3包括如下步骤：

s31、识别视频流数据中的编码协议；

s32、调用与步骤31识别的编码协议对应的视频流解析协议对视频流进行解析；

s33、对步骤s32中解析后得到的视频数据进行数据提取，包括图像数据提取和时间戳信息提取，并将图像数据传输给智能处理引擎、时间戳信息缓存至内存。

所述步骤s5包括如下步骤：

s51、将智能处理结果与时间戳信息进行关联；

s52、将关联后的智能处理结果与时间戳信息统一编码成标准格式。

本发明在现有的设备和网络条件下，实现对网络监控视频的实时处理及智能增强，同时不对原有系统造成影响，可实现对视频流的实时智能处理，达到对现有系统的智能增强作用；设备体积小，即插即用，部署方便，使用灵活；非侵入式部署，只传输处理结果，占用网络带宽资源较少，不对原有系统造成影响。

附图说明

图1是现有技术下传统网络摄像头部署示意图；

图2是智能网络摄像头部署示意图；

图3是传统网络摄像头中部署智能数据处理中心示意图；

图4是根据本发明实施例的智能增强设备架构示意图；

图5是根据本发明实施例的智能增强设备前端部署示意图；

图6是根据本发明实施例的智能增强设备后端部署示意图；

图7是根据本发明实施例的智能增强方法流程示意图。

具体实施方式

为了更好的理解本发明，下面结合附图详细说明本发明。

根据本发明的一个实施例，如图4所示，本发明智能增强设备包括：

数据接收单元，用于从网络中获取数据包，并对其进行解析输出视频流数据；

视频流解析单元，对数据接收单元输出的视频流数据进行解码处理，输出视频图像数据；

智能处理引擎，用于对视频图像数据进行智能处理，如人脸检测、行人检测、行为识别、异常检测等，并输出智能处理结果；

数据编码单元，用于对智能处理结果进行结构化编码，包括处理结果和对应视频图像时间戳，并输出编码数据；

数据发送单元，用于接收数据编码单元的编码数据并封装成数据包；并将数据包发送给后端处理展示设备；所述数据接收单元配置有网络传输模块，网络传输模块包括有线传输模块和无线传输模块；

获取方式设置模块，用于设置网络数据包获取方式，可设置为自动方式和直接方式；

目标配置模块，用于配置智能增强设备智能处理方式，如人脸检测、行人检测、异常检测等；

参数配置模块，用于配置智能增强设备的网络IP地址、网络传输方式以及前端摄像头的视频流地址、访问参数、数据传输协议、数据编码协议等。

本发明的一种用于网络摄像头的智能增强设备，在逻辑结构上部署于前端网络摄像头与后端处理展示设备之间。前端网络摄像头向后端发送视频数据流的同时，智能增强设备读取视频流进行解码、处理，并将处理后的结果进行编码，通过网络通信单元发送给后端处理设备；后端处理展示设备同时读取视频流数据和结构化处理结果数据，进行关联同步后，送至展示界面展示；各个设备通过NTP服务器进行时间同步。本系统在保留原有系统的运行环境的情况下，实现了对视频数据的智能实时处理，对原有系统运行不产生影响，从而实现了非侵入式的智能增强。

根据本发明的另一个实施例，如图5所示，智能增强设备采用前端部署模式时，设备部署于临近摄像头端。摄像头通过网线连接智能增强设备，智能增强设备再通过网线连接后端网络路由器或交换机。智能增强设备部署时配置好摄像头的IP地址、访问参数、数据传输协议、数据编码协议(是否加密以及加密协议和参数)等后，设备可以以两种方式工作：

第一种自动方式，设备自动抓取前端摄像头发送的数据包，进行解码、处理，然后编码并发送至后端处理展示设备。若存在多个后端设备同时访问摄像头数据，则设备会自动根据目的地址进行数据包过滤筛选，选取一份数据进行处理，以节省计算资源。设备对于目的地址非本机的所有数据包会实现无损转发，因此不对现有系统运行造成影响，能够实现对于监控系统的非侵入式智能增强。

第二种直接方式，设备通过配置好的前端摄像头参数，直接访问摄像头获取视频数据包，进行解码、处理，然后编码并发送至后端处理展示设备。由于设备与摄像头距离非常近，这种方式不会受实际硬件环境以及网络带宽的影响，也不会影响后端系统的正常工作。同样设备对于目的地址非本机的所有数据包实现无损转发，以便实现对于后端监控系统的非侵入式智能增强。

根据本发明的另一个实施例，如图6所示，本发明提出的智能增强设备采用后端部署模式，这种模式下，智能增强设备部署于临近后台处理展示端，直接通过网络路由器/交换机接入系统。同样需要为设备配置好摄像头的IP地址、访问参数、数据传输协议、数据编码协议(是否加密以及加密协议和参数)等。智能增强设备只能以直接方式工作，即设备通过配置好的前端摄像头参数，直接访问摄像头获取视频数据包，进行解码、处理，然后编码并发送至后端处理展示设备。这种部署模式下，无需设备对数据包进行转发；同时智能增强设备会占用额外的网络带宽资源传输视频数据包，主要针对网络带宽资源较为丰富的环境。

根据本发明的另一个实施例如图7所示，本发明的一种用于网络摄像头的智能增强方法，包括如下步骤：

步骤1、将智能增强设备部署于前端网络摄像头和后端处理展示设备之间；

步骤2、为智能增强设备配置视频流获取方式，可设置为自动抓取方式或者直接访问方式，当设置为自动方式时，智能增强设备自动从网络中抓取数据包并解析获得视频流数据，当设置为直接方式时，智能增强设备直接访问网络摄像头视频流地址获得视频流；

步骤3、为智能增强设备配置视频智能处理方式(人脸检测、行人检测、异常检测等)，设置智能增强设备网络IP地址及网络传输方式，以及前端网络摄像头视频流地址、访问参数、数据传输协议、数据编码协议(是否加密以及加密协议和参数)等；

步骤4、前端摄像头传输视频流数据，智能增强设备接收网络摄像头发送的数据包；

步骤5、判断视频流获取方式，若是自动方式，则将数据包无损转发给数据发送单元，同时转到步骤6；若是直接方式，则直接获取网络摄像头发送给本设备的视频流数据包，对数据包进行解析得到视频流数据，将视频流数据传输给视频流解析单元，转到步骤7；

步骤6、判断数据包类型，若数据包为视频流数据，则对数据包进行筛选，选出来自于同一目标地址的数据包进行数据包解析得到视频流数据，将视频流数据传输给视频流解析单元，转到步骤7；若数据包为其他类型时，则丢弃不做处理；

步骤7、视频流解析单元获得视频流数据，对其进行编码协议识别，根据识别出的编码协议，调用对应的视频流解析协议对视频流数据进行解析得到视频数据，转到步骤8；

步骤8、对视频数据进行数据提取，包括图像数据和时间戳信息，提取图像数据传输给智能处理引擎进行处理；提取时间戳信息用于记录时间信息，并缓存至内存；

步骤9、智能处理引擎根据配置的智能处理方式对获取的图像数据进行处理，并将智能处理结果传输至数据编码单元；

步骤10、数据编码单元将智能处理引擎的处理结果与内存中的时间戳信息进行关联，并编码成统一标准格式，将编码后的数据传输至数据发送单元；

步骤11、数据发送单元将获取到的数据封装成网络协议数据包；然后连接网络传输模块；通过网络传输模块将数据包发送给后端处理展示设备；

步骤12、后端处理展示设备从网络中获取网络摄像头的数据包及智能增强设备处理结果数据包，将二者进行同步关联后发送至展示界面进行展示。

本发明提出的一种用于网络摄像头的智能增强设备及方法，通过智能视频处理方法实现了对视频的智能实时处理，充分有效地利用了监控视频数据，能够最大化发挥监控体系效能；本发明通过非侵入式的部署方式，对现有监控体系不造成破坏，使用和改造成本小；本发明体积小、能耗低，无需占用额外的空间部署设备，同时适用于规模较小或者摄像头部署较远的监控环境，部署灵活方便，可扩展性良好。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种用于网络摄像头的智能增强设备，其特征在于，所述智能增强设备接收前端网络摄像头视频流数据，对其进行处理并输出处理结果给后端处理展示设备，所述智能增强设备包括：

数据接收单元，用于从网络中获取数据包，并对其进行解析输出视频流数据；

视频流解析单元，对数据接收单元输出的视频流数据进行解码处理，输出视频图像数据；

智能处理引擎，用于对视频图像数据进行智能处理，并输出智能处理结果；

数据编码单元，用于对智能处理结果进行结构化编码，并输出编码数据；

数据发送单元，用于接收数据编码单元的编码数据并封装成数据包；并将数据包发送给后端处理展示设备。

2.根据权利要求1所述第一种用于网路摄像头的智能增强设备，其特征在于，

所述数据发送单元配置有网络传输模块，所述网络传输模块包括有线传输模块和无线传输模块。

3.根据权利要求1所述的一种用于网络摄像头的智能增强设备，其特征在于，还包括：

获取方式设置模块，用于设置网络数据包获取方式。

4.根据权利要求1所述的一种用于网络摄像头的智能增强设备，其特征在于，还包括：

目标配置模块，用于配置智能增强设备智能处理方式。

5.根据权利要求1所述的一种用于网路摄像头的智能增强设备，其特征在于，还包括：

参数配置模块，用于配置智能增强设备的网络IP地址、网络传输方式以及前端摄像头的视频流地址、访问参数、数据传输协议、数据编码协议。

6.一种基于如权利要求1-5任一所述的用于网络摄像头的智能增强设备的方法，其特征在于，包括如下步骤：

s1、将智能增强设备部署在网络摄像头和后端处理展示设备之间并设置相关参数；

s2、通过数据接收单元从网络中获取数据包，对数据包进行解析获得视频流数据；

s3、对步骤s2中获得的视频流数据进行编码协议识别，使用对应的解析协议对视频流数据进行解码处理，得到视频图像数据；

s4、对步骤s3中的得到的视频图像数据进行智能处理，输出智能处理结果；

s5、对步骤s4中视频图像数据的智能处理结果进行数据编码；

s6、将步骤s5中编码后的视频图像数据封装成网络数据包；

s7、将步骤s6中的网络数据包通过网络传输模块发送给后端处理展示设备。

7.根据权利要求6所述的一种用于网络摄像头的智能增强方法，其特征在于，所述步骤s1包括如下步骤：

s11、选择智能增强设备的部署模式；

s12、设置网络数据包获取方式；

s13、为智能增强设备配置视频智能处理方式；

s14、配置智能增强设备网络IP地址、网络传输方式、网络摄像头相关参数。

8.根据权利要求6所述的一种用于网络摄像头的智能增强方法，其特征在于，所述步骤s3包括如下步骤：

s31、识别视频流数据中的编码协议；

s32、调用与步骤31识别的编码协议对应的视频流解析协议对视频流进行解析；

s33、对步骤s32中解析后得到的视频数据进行数据提取，包括图像数据提取和时间戳信息提取，并将图像数据传输给智能处理引擎、时间戳信息缓存至内存。

9.根据权利要求8所述的一种用于网络摄像头的智能增强方法，其特征在于，所述步骤s5包括如下步骤：

s51、将智能处理结果与时间戳信息进行管理；

s52、将关联后的智能处理结果与时间戳信息统一编码成标准格式。

10.一种计算机可读存储介质，其特征在于，其上包含有能够实现权利要求1至5任一所述装置功能的模块。