CN116489307A - 网络监控系统、网络监控方法、装置及相关设备 - Google Patents

Abstract

本发明涉及网络监控领域，公开了一种网络监控系统、网络监控方法、装置、计算机设备及存储介质，所述方法包括：基于网络摄像头，获取视频流；对所述视频流进行编码，得到编码视频流；基于实时通信协议信道，将所述编码视频流传输到浏览器进行监控显示，采用本发明实现数字视频监控系统在降低时延的同时，保证视频的画质，同时提高了数字视频监控系统的安全性。

Description

网络监控系统、网络监控方法、装置及相关设备

技术领域

本发明涉及网络监控领域，尤其涉及一种网络监控系统、网络监控方法、装置、计算机设备及存储介质。

背景技术

对于数字视频监控系统(包括传统的摄像机或者网络摄像机)，采用的视频传输协议为RTSP(Real Time Streaming Protocol，实时流传输协议)，该协议是由RealNetworks公司、Netscape公司和哥伦比亚大学开发，在1996年提交给IETF，并在1998年标准化为RFC2326。

随着计算机技术的飞速发展，现有的中央处理器的运行速度、内存或者硬盘大小乃至网络带宽是以前计算机的几千甚至是几万倍，现代的浏览器已经能够做日常的大部分工作，然而，目前的数字视频监控系统的实时传输协议仍采用RTSP协议，导致数字视频监控系统与现有的计算机设备在速度上不匹配，存在延时大的问题。例如，在公网传输数字视频监控系统的数据时，尤其是跨城市的公网，视频传输的延时会迅速增加到2～3秒。在实时性要求高的场合，例如，双向音视频通话、云台、无人机/无人车图传和智能行车记录仪等，RTSP默认的时延完全不能够满足需求。现有的方式是对RTSP进行调优。然而调优是通过对视频进行降低码率，导致画质低下。

因此，现有的数字视频监控系统难以同时满足时延及画质的问题。

发明内容

本发明实施例提供一种网络监控系统、网络监控方法、装置、计算机设备及存储介质，以实现数字视频监控系统在降低时延的同时，保证视频的画质，同时提高了数字视频监控系统的安全性。

为了解决上述技术问题，本申请实施例提供一种网络监控系统，所述网络监控系统包括浏览器，所述网络监控系统还包括网络摄像机，所述网络摄像机通过实时通信协议信道与所述浏览器直接连接，其中；

所述网络摄像机包括流媒体模块、信令模块；

所述流媒体模块通过实时通信协议信道与所述浏览器直接连接，用于将所述网络摄像机采集到的视频流通过实时通信协议信道传输到所述浏览器；

所述信令模块包括信令信息获取单元，信令处理单元，所述信令信息获取单元为消息队列遥测传输协议控制服务器，用于实现所述流媒体模块和所述浏览器建立直接连接之前的信息交换，所述信令处理单元用于实现所述流媒体模块和所述浏览器通过内网穿透或者转发的方式进行直接连接，并在所述流媒体模块和所述浏览器之间进行数据转发。

进一步地，所述浏览器位于数字视频平台上，所述数字视频平台通过媒体服务器兼容传统摄像机，所述媒体服务器通过转换所述传统摄像机的视频流协议，使所述传统摄像机与所述浏览器连接。

进一步地，所述信令处理单元基于消息队列遥测传输协议控制所述流媒体模块和所述浏览器之间的数据转发。

进一步地，所述网络摄像机基于动态主机配置协议进行地址分配。

进一步地，所述网络摄像机还包括远程升级模块，所述远程升级模块用于实现对所述网络摄像机的升级处理。

进一步地，所述网络摄像机还包括系统诊断模块，所述系统诊断模块用于对所述网络摄像机进行诊断调试处理。

为了解决上述技术问题，本申请实施例还提供一种网络监控方法，包括：

基于网络摄像头，获取视频流，其中，所述网络摄像头位于网络监控系统上；

对所述视频流进行编码，得到编码视频流；

基于实时通信协议信道，将所述编码视频流传输到浏览器进行监控显示，其中，所述浏览器位于网络监控系统上。

为了解决上述技术问题，本申请实施例还提供一种网络监控装置，包括：

视频流获取模块，用于基于网络摄像头，获取视频流，其中，所述网络摄像头位于网络监控系统上；

编码模块，用于对所述视频流进行编码，得到编码视频流；

监控模块，用于基于实时通信协议信道，将所述编码视频流传输到浏览器进行监控显示，其中，所述浏览器位于网络监控系统上。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述网络监控方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述网络监控方法的步骤。

本发明实施例提供的网络监控系统、网络监控方法、装置、计算机设备及存储介质，通过实时通信协议信道，使得流媒体模块与浏览器直接连接，没有中间服务器作数据转发，实现数字视频监控系统在降低时延的同时，保证视频的画质，同时提高了提高网络摄像机的安全性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的网络监控系统的一系统架构图；

图2是本申请的网络摄像机的一视频流传输示意图；

图3是本申请的网络监控方法的一个实施例的流程图；

图4是根据本申请的网络监控装置的一个实施例的结构示意图；

图5是根据本申请的计算机设备的一个实施例的结构示意图。

网络摄像机10、流媒体模块101、信令模块102；

数字视频平台20、浏览器201。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1示出本发明实施例提供的一种网络监控系统，网络监控系统包括浏览器201，网络监控系统还包括网络摄像机10，网络摄像机10通过实时通信协议信道与浏览器201直接连接，其中：

网络摄像机10包括流媒体模块101、信令模块102。

流媒体模块101通过实时通信协议信道与浏览器201直接连接，用于将网络摄像机10采集到的视频流通过实时通信协议信道传输到浏览器201。

信令模块102包括信令信息获取单元，信令处理单元，信令信息获取单元为消息队列遥测传输协议控制服务器，用于实现流媒体模块101和浏览器201建立直接连接之前的信息交换，信令处理单元用于实现流媒体模块101和浏览器201通过内网穿透或者转发的方式进行直接连接，并在流媒体模块101和浏览器201之间进行数据转发。

具体地，网络摄像机10是指具有流媒体模块且可通过实时通信协议信道与浏览器直接连接进行通信的摄像机。

实时通信协议信道是指基于WebRTC协议的信道，其中，WebRTC(Web Real-TimeCommunications)是一项实时通讯技术，它允许网络应用或者站点，在不借助中间媒介的情况下，建立浏览器之间点对点(Peer-to-Peer)的连接，实现视频流和(或)音频流或者其他任意数据的传输。

上述浏览器201位于数字视频平台20上，数字视频平台20通过媒体服务器兼容传统摄像机，媒体服务器通过转换传统摄像机的视频流协议，使传统摄像机与浏览器201连接。

应理解，数字视频平台20可直接连接网络摄像机10进行网络监控，也可以通过媒体服务器兼容传统摄像机。

此处需要说明的是，数字视频平台20可以与传统摄像机对接。由于本申请中的网络摄像机10在用户侧只支持WebRTC协议，而传统摄像机只支持RTSP协议，当数字视频平台20与传统摄像机对接时，必须使用一个媒体服务器在这两种协议之间做转换。通过增加一个名为“WebRTC Proxy”的服务，即WebRTC代理服务。该服务与媒体服务器部署在同一个内网中，该服务一端使用NAT对穿与远程用户的浏览器201相连，另一端在内网与媒体服务器相连，在这二者之间转发视频流，从而实现数字视频平台20兼容传统摄像机。

上述信令信息获取单元为消息队列遥测传输协议控制服务器，用于实现所述流媒体模块和所述浏览器建立直接连接之前的信息交换。

其中，消息队列遥测传输协议控制服务器位于云端。

通过消息队列遥测传输协议控制服务器帮助网络摄像机10与浏览器201获取IP地址(Internet Protocol，网际互连协议)，例如，公网IP地址和转发IP地址，流媒体模块101利用获取到的IP地址建立连接。

通过消息队列遥测传输协议控制服务器进行内网穿透的尝试，如果穿透成功，则网络摄像机与浏览器形成端到端直连，进而实现网络监控系统支持远程视频传输。

上述信令处理单元基于消息队列遥测传输协议控制流媒体模块101和浏览器201之间的数据转发。

具体地，在信令模块102的帮助下，网络摄像机10内的流媒体模块101与浏览器201建立起直接的连接。信令模块102负责在流媒体模块101和浏览器201之间传送建立连接的必要的字段，如候选的IP地址等。流媒体模块101负责与浏览器201创建加密连接并且传送音视频流。浏览器201接收到音视频流后，会在支持HTML5(HyperText Markup Language 5)的音视频流标签内渲染出来。

如图2所示，图2示出了网络摄像机10在信令模块102的帮助下进行视频流的传输流程，其中，虚线箭头表示信令，信令在网络摄像机10和浏览器201之间通过MQTT(MessageQueuing Telemetry Transport，消息队列遥测传输)来进行转发。具体地，信令是JSON字符串，不包含音视频流，因此，信令携带的数据量非常小。而实时通信协议信道在网络摄像机10和浏览器201之间进行直连，数据在实时通信协议信道内通过加密传输。虽然实时通信协议信道内传输的是音视频流，本身数据量很大，但由于是网络摄像机10和浏览器201在实时通信协议信道通过加密直连，音视频流的延迟比起传统的转发模式要更小，因此，该网络摄像机10的安全性得到了很大提升。

通过实时通信协议信道，使得流媒体模块与浏览器直接连接，没有中间服务器作数据转发，实现数字视频监控系统在降低时延的同时，保证视频的画质，同时提高了提高网络摄像机的安全性。

进一步地，网络摄像机10基于动态主机配置协议进行地址分配。

具体地，应用了网络摄像机10的网络监控系统支持自动设备管理。也就是说，网络摄像机10可基于动态主机配置协议进行IP地址分配，无需手动设置固定的IP地址。

基于动态主机配置协议对网络摄像机进行地址分配，确保网络监控系统支持自动设备管理，从而实现了网络摄像机的即插即用，简化了网络摄像机的设置工作。

需要说明的是，在一个人工智能物联网的系统中，设备访问云端服务器，只需发起一个restful请求即可。但是如果云端服务器需要访问设备，则是非常难的。由于设备通常都位于NAT的内部，从公网无法直接访问，导致了云端服务器访问设备的难度非常大。

在本网络监控系统中，通过采用MQTTs(MQTT over TLS)协议来进行服务器到设备端的反向控制。具体地，通过设备端监听MQTTs的一个topic，云端服务器通过向topic里发送命令字段，即可控制设备端。

本申请中的网络监控系统取消了端口监听。网络摄像机10通过信令处理模块监听在MQTTs的指定topic上，随时接收并处理云端下发的信令，并且，根据信令种类的不同，将信令转发至网络摄像机10的其它的模块中进行相应的处理。例如，WebRTC信令会被转发至网络摄像机10内的流媒体模块101、系统设置会被转发至系统设置模块、远程诊断信令会被转发至系统诊断模块。通过取消端口监听，提高了网络摄像头的安全性，使得常规的端口扫描的破解方案失效。

进一步地，网络摄像机10还包括远程升级模块，远程升级模块用于实现对网络摄像机10的升级处理。

具体地，上述远程升级模块是指OTA模块(Over-the-Air Technology，空中下载技术)，该OTA模块通过与云端进行交互，实现对网络摄像机10的远程升级处理。

应理解，上述网络摄像机10的固件端允许安装用户自定义的插件，用户可以通过编写插件来获取视频流内的帧，并对获取到的视频流帧做出相应的处理。用户自定义的插件可以被上传到云端，即OTA SaaS，并实现在用户的授权下，被“下载”到网络摄像机10的固件端，从而确保了网络摄像机10支持各种不同的AI算法，并且这些AI算法都可以随时随地升级。

此处需要说明的是，网络摄像机10通过信令模块102接收下载AI算法的请求，该请求携带有指定地址，远程升级模块基于该指定地址下载AI算法并根据该AI算法更新相机程序。

通过远程升级模块，实现对网络摄像机的远程升级，提高了网络摄像机的适应性。

进一步地，网络摄像机10还包括系统诊断模块，系统诊断模块用于对网络摄像机10进行诊断调试处理。

具体地，网络摄像机10通过信令处理模块监听在MQTTs的指定topic上，随时接收并处理云端下发的远程诊断信令，并进行相应的处理。

当监听到远程诊断信令，则远程诊断信令会被转发至系统诊断模块，并对网络摄像机进行诊断调试处理。

通过取消端口监听，实现云端对网络摄像机的反向控制，通过云端对网络摄像机进行诊断调试处理，从而提高了网络摄像机的安全性。

请参阅图3，图3示出本发明实施例提供的一种网络监控方法，以该方法应用在图1中的网络监控系统为例进行说明，详述如下：

S201、基于网络摄像头，获取视频流，其中，网络摄像头位于网络监控系统上。

S202、对视频流进行编码，得到编码视频流。

S203、基于实时通信协议信道，将编码视频流传输到浏览器进行监控显示，其中，浏览器位于网络监控系统上。

在步骤S201中，上述视频流是指网络摄像头拍摄记录得到的视频。

在步骤S202中，上述编码包括但不限于空间编码、时间编码，其中，空间编码是指对视频流中的空间信息进行编码压缩的方法，时间编码是指对视频流中的时间信息进行编码压缩的方法。

优选地，本申请采用AV1编码方法，AV1是一种视频编解码算法，其压缩率比H.265高30％，比H.264高100％。在画质差不多的情况下，视频文件大小能够比H.264文件的一半还小，从而实现数字视频监控系统在降低时延的同时，保证视频的画质。

在步骤S203中，WebRTC协议能被浏览器直接支持，不需要进行转换即可在浏览器上查看视频。

在网络监控系统中，网络摄像机可采用WebRTC协议与浏览器点对点直连，并在浏览器上直接显示从网络摄像机上采集到的视频流。

在本实施例中，采用WebRTC协议使网络摄像机与浏览器点对点直连，并在浏览器上直接显示从网络摄像机上采集到的视频流，从而实现了网络监控。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图4示出与上述实施例网络监控方法一一对应的网络监控装置的原理框图。如图4所示，该网络监控装置包括视频流获取模块31、编码模块32和监控模块33。各功能模块详细说明如下：

视频流获取模块31，用于基于网络摄像头，获取视频流，其中，网络摄像头位于网络监控系统上。

编码模块32，用于对视频流进行编码，得到编码视频流。

监控模块33，用于基于实时通信协议信道，将编码视频流传输到浏览器进行监控显示，其中，浏览器位于网络监控系统上。

关于网络监控装置的具体限定可以参见上文中对于网络监控方法的限定，在此不再赘述。上述网络监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行电子文件的控制的程序代码。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的网络监控方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种网络监控系统，所述网络监控系统包括浏览器，其特征在于，所述网络监控系统还包括网络摄像机，所述网络摄像机通过实时通信协议信道与所述浏览器直接连接，其中；

所述网络摄像机包括流媒体模块、信令模块；

所述流媒体模块通过实时通信协议信道与所述浏览器直接连接，用于将所述网络摄像机采集到的视频流通过实时通信协议信道传输到所述浏览器；

所述信令模块包括信令信息获取单元，信令处理单元，所述信令信息获取单元为消息队列遥测传输协议控制服务器，用于实现所述流媒体模块和所述浏览器建立直接连接之前的信息交换，所述信令处理单元用于实现所述流媒体模块和所述浏览器通过内网穿透或者转发的方式进行直接连接，并在所述流媒体模块和所述浏览器之间进行数据转发。

2.如权利要求1所述的网络监控系统，其特征在于，所述浏览器位于数字视频平台上，所述数字视频平台通过媒体服务器兼容传统摄像机，所述媒体服务器通过转换所述传统摄像机的视频流协议，使所述传统摄像机与所述浏览器连接。

3.如权利要求1所述的网络监控系统，其特征在于，所述信令处理单元基于消息队列遥测传输协议控制所述流媒体模块和所述浏览器之间的数据转发。

4.如权利要求1所述的网络监控系统，其特征在于，所述网络摄像机基于动态主机配置协议进行地址分配。

5.如权利要求1所述的网络监控系统，其特征在于，所述网络摄像机还包括远程升级模块，所述远程升级模块用于实现对所述网络摄像机的升级处理。

6.如权利要求1所述的网络监控系统，其特征在于，所述网络摄像机还包括系统诊断模块，所述系统诊断模块用于对所述网络摄像机进行诊断调试处理。

7.一种网络监控方法，其特征在于，所述方法包括：

基于网络摄像头，获取视频流，其中，所述网络摄像头位于如权利要求1至6任一项所述的网络监控系统上；

对所述视频流进行编码，得到编码视频流；

基于实时通信协议信道，将所述编码视频流传输到浏览器进行监控显示，其中，所述浏览器位于如权利要求1至6任一项所述的网络监控系统上。

8.一种网络监控装置，其特征在于，所述网络监控装置包括：

视频流获取模块，用于基于网络摄像头，获取视频流，其中，所述网络摄像头位于如权利要求1至6任一项所述的网络监控系统上；

编码模块，用于对所述视频流进行编码，得到编码视频流；

监控模块，用于基于实时通信协议信道，将所述编码视频流传输到浏览器进行监控显示，其中，所述浏览器位于如权利要求1至6任一项所述的网络监控系统上。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求6所述的网络监控方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求6所述的网络监控方法。