CN114339146A - 音视频监控方法、装置、电子设备及计算机可读存储介质 - Google Patents
音视频监控方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114339146A CN114339146A CN202111589252.9A CN202111589252A CN114339146A CN 114339146 A CN114339146 A CN 114339146A CN 202111589252 A CN202111589252 A CN 202111589252A CN 114339146 A CN114339146 A CN 114339146A
- Authority
- CN
- China
- Prior art keywords
- data packet
- audio
- monitoring
- rtsp
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 173
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012806 monitoring device Methods 0.000 claims abstract description 16
- 238000004891 communication Methods 0.000 claims description 55
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000011664 signaling Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 239000012634 fragment Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种音视频监控方法、装置、电子设备及计算机可读存储介质，方法包括：从浏览器端接收音视频监控指令；根据所述识别信息与所述监控摄像头建立socket连接；发送所述监控请求至所述监控摄像头；接收所述监控摄像头发送的rtsp数据包；将所述rtsp数据包转换为目标数据包；将所述目标数据包发送至所述浏览器端。浏览器端根据所述目标数据包获取rtp媒体数据；解析所述rtp媒体数据以生成可供所述浏览器端播放的音视频数据。本发明中，由于网关端只需做一些轻量级的操作，网关端可以实现高并发性，并且浏览器端可以在无需额外安装插件的情况下提供几乎无延迟的监控摄像头的实时画面。
Description
技术领域
本发明涉及音视频监控领域，特别涉及一种音视频监控方法、装置、电子设备及计算机可读存储介质。
背景技术
随着监控摄像头的普及以及应用往浏览器上迁移的趋势，很多场景需要在浏览器的应用中直接播放监控摄像头的rtsp(Real Time Streaming Protocol，实时传输协议)音频及视频(简称为音视频)流，rtsp音视频流一般是通过socket(套接字)通信协议进行传输。而浏览器本身不支持rtsp协议的音视频流播放，也不支持创建较原始的socket连接来获取网络数据，现有技术一般会采用以下几种方式来解决该问题：
第一种方式是在浏览器上手动安装插件，扩展浏览器功能，实现rtsp音视频流的获取和播放，但这种方法对于安装和使用不方便，特别是对移动端上的浏览器而言，安装插件一般很难实现。
第二种方式是在监控摄像头处定制流媒体接口，提供除rtsp外的流媒体数据传输接口，这是一种非标准的私有协议，只能供特定的监控摄像头使用，并不具有通用性，而且对各个监控摄像头均定制流媒体结构的成本太高。
第三种方法为采用中转服务器对摄像头的rtsp实时转码成浏览器所支持的流媒体格式，但这种方式对中转服务器的资源消耗较大，单服务器能支撑的摄像头并发数量有限，且转码会使音视频的在浏览器端的播放延迟。
发明内容
本发明要解决的技术问题是为了克服现有技术中难以在不安装插件的情况下，在浏览器端实时监控监控摄像头所拍摄的音视频的缺陷，提供一种在不安装插件的情况下，能够在浏览器端实时监控监控摄像头所拍摄的音视频的音视频监控方法、装置、电子设备及计算机可读存储介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供了一种音视频监控方法，所述音视频监控方法应用于网关端，所述音视频监控方法包括：
从浏览器端接收音视频监控指令，所述音视频监控指令包括监控摄像头的识别信息以及对所述监控摄像头的监控请求，所述监控请求包括音视频播放请求；
根据所述识别信息与所述监控摄像头建立socket连接；
发送所述监控请求至所述监控摄像头；
接收所述监控摄像头发送的rtsp数据包，所述rtsp数据包包括rtp媒体数据，所述rtsp数据包为基于rtsp通信协议的数据包；
将所述rtsp数据包转换为目标数据包，所述目标数据包为基于所述浏览器端所支持的通信协议的数据包；
将所述目标数据包发送至所述浏览器端，所述目标数据包用于供所述浏览器端获取rtp媒体数据，以分析生成可供所述浏览器端播放的音视频数据。
较佳地，所述目标数据包包括websocket(一种在单个TCP连接上进行全双工通信的协议)数据包、webrtc(Web Real-Time Communication，一种支持网页浏览器进行实时语音对话或者视对话的应用程序接口)数据包或http(Hyper Text Transfer Protocol，超文本传输协议)数据包，所述websocket数据包为基于websocket通信协议的数据包，所述webrtc数据包为基于webrtc通信协议的数据包，所述http数据包为基于http通信协议的数据包。
较佳地，所述监控请求还包括摄像头控制请求和/或画面调整请求。
本发明还提供了一种音视频监控方法，所述音视频监控方法应用于浏览器端，所述音视频监控方法包括：
发送音视频监控指令至网关端，所述音视频监控指令包括监控摄像头的识别信息以及对所述监控摄像头的监控请求；
接收所述网关端发送的目标数据包，所述目标数据包为基于所述浏览器端所支持的通信协议的数据包；
根据所述目标数据包获取rtp(Real-time Transport Protocol，实时传输协议)媒体数据；
解析所述rtp媒体数据以生成可供所述浏览器端播放的音视频数据。
较佳地，所述解析所述rtp媒体数据包的步骤包括：
通过javascript(简称JS，是一种具有函数优先的轻量级，解释型或即时编译型的编程语言)调用公共库中的目标数据以解析所述rtp媒体数据。
本发明还提供了一种音视频监控方法，所述音视频监控方法应用于监控摄像头端，所述音视频监控方法包括：
接收网关端发送的监控请求；
根据所述监控请求发送对应的rtsp数据包至网关端，所述rtsp数据包用于供所述网关端转换为目标数据包，所述目标数据包为所述浏览器端所支持的通信协议的数据包。
本发明还提供了一种音视频监控装置，所述音视频监控装置应用于网关端，所述音视频监控装置包括：指令接收模块、连接建立模块、请求发送模块、rtsp数据接收模块、通信转换模块及目标数据发送模块；
所述指令接收模块用于从浏览器端接收音视频监控指令，所述音视频监控指令包括监控摄像头的识别信息以及对所述监控摄像头的监控请求；
所述连接建立模块用于根据所述识别信息与所述监控摄像头建立socket连接；
所述请求发送模块用于发送所述监控请求至所述监控摄像头；
所述rtsp数据接收模块用于接收所述监控摄像头发送的rtsp数据包，所述rtsp数据包包括rtp媒体数据，所述rtsp数据包为基于rtsp通信协议的数据包；
所述通信转换模块用于将所述rtsp数据包转换为目标数据包，所述目标数据包为基于所述浏览器端所支持的通信协议的数据包；
所述目标数据发送模块用于将所述目标数据包发送至所述浏览器端，所述目标数据包用于供所述浏览器端获取rtp媒体数据，以分析生成可供所述浏览器端播放的音视频数据。
本发明还提供了一种音视频监控装置，所述音视频监控装置应用于浏览器端，所述音视频监控装置包括：指令发送模块、目标数据接收模块、媒体数据获取模块及解析模块；
所述指令发送模块用于发送监控指令至网关端；
所述目标数据接收模块用于接收所述网关端发送的目标数据包，所述目标数据包为基于所述浏览器端所支持的通信协议的数据包；
所述媒体数据获取模块用于根据所述目标数据包获取rtp媒体数据；
所述解析模块用于解析所述rtp媒体数据以生成可供所述浏览器端播放的音视频数据。
本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的音视频监控方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的音视频监控方法。
本发明的积极进步效果在于：本发明中，将网关作为中转站，通过轻量化的处理过程可以将基于rtsp通信协议的rtsp数据包转换成基于浏览器端所支持的通信协议的目标数据包，由于中转网关不进行码流解析和转码，提高了网关的并发性能。通过将目标数据包发送至浏览器端可以使浏览器端获取rtp媒体数据，以分析生成可供浏览器端播放的音视频数据。
本发明中，浏览器端将从websocket通道收取到websocket数据包分离为rtp媒体数据并通过公共库进行解析，重组为浏览器所支持的媒体格式，并通过浏览器的接口传入对应媒体格式的数据，从而使浏览器端在不安装插件的情况下实时播放监控摄像头监控的rtsp音视频，尤其适用于不方便安装插件的终端应用和移动端设备通过监控摄像头进行实时视频监控，并且，由于网关端只需做一些轻量级的操作，网关可以实现高并发性，并且可以在浏览器端提供几乎无延迟的监控摄像头的实时画面。
附图说明
图1为本发明实施例1中应用于网关端的音视频监控方法的流程图。
图2为本发明实施例1中应用于浏览器端的音视频监控方法的流程图。
图3为本发明实施例1中网关端、浏览器端及摄像头端的连接关系的示意图。
图4为本发明实施例1中具体场景下的音视频监控方法的流程图。
图5为本发明实施例2中应用于网关端的音视频监控装置。
图6为本发明实施例2中应用于浏览器端的音视频监控装置。
图7为本发明实施例3中的电子设备的模块示意图。
具体实施方式
为了便于理解，下面先对实施例中常出现的术语进行解释：
【包括的定义】如这里所使用的术语“具有”、“可以具有”、“包括”或“可以包括”指示本公开的相应功能、操作、元件等的存在，并且不限制其它的一个或多个功能、操作、元件等的存在。此外应当理解到，如这里所使用的术语“包括”或“具有”是指示在说明书中所描述的特点、数字、步骤、操作、元件、部件或其组合的存在，而不排除一个或多个其它特点、数字、步骤、操作、元件、部件或其组合的存在或增加。
【和/或的定义】如这里所使用的术语“A或B”、“A和/或B的至少之一”或“A和/或B的一个或多个”包括与其一起列举的单词的任意和所有组合。例如，“A或B”、“A和B的至少之一”或“A或B的至少之一”意味着(1)包括至少一个A，(2)包括至少一个B，或(3)包括至少一个A和至少一个B两者。
【连接的定义】将理解到，当将元件(例如，第一元件)“连接到”或“(操作性地或通信性地)耦接到”另一元件(例如，第二元件)时，可以将所述元件直接连接或耦接到另一元件，并且在所述元件与另一元件之间可以有中间元件(例如，第三元件)。相反，将理解到，当将元件(例如，第一元件)“直接连接到”或“直接耦接到”另一元件(例如，第二元件)时，在所述元件与另一元件之间没有中间元件(例如，第三元件)。
【是否适用于各代通信系统】本方明技术方案可适用于5G(5Generation)通信系统，还可适用于4G、3G通信系统，还可适用于未来新的各种通信系统，例如6G、7G等。
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供了一种音视频监控方法，该音视频监控方法应用于网关端，如图1所示，该音视频监控方法包括以下步骤：
步骤101、从浏览器端接收音视频监控指令。
其中，音视频监控指令包括监控摄像头的识别信息以及对监控摄像头的监控请求，具体而言，步骤102中为通过浏览器端所支持的通信协议的连接通道，接收浏览器端发送的音视频监控指令。
其中，监控请求包括音视频播放请求，音视频播放请求用于请求对应的监控摄像头端同步传输实时监控的音视频。
在一些具体的实施方式中监控请求还可以进一步包括摄像头控制请求(如摄像头方向的控制、摄像头焦距的控制)以及画面调整请求等等，以对获取的音视频内容进行控制或者调节。
步骤102、根据识别信息与监控摄像头建立socket连接。
具体的，在接收到音视频监控指令后分析该指令以得到监控摄像头的识别信息，如请求要播放的监控摄像头的网络地址，基于识别信息找到对应的监控摄像头，以与该监控摄像头建立基于socket通信协议的rtsp连接，基于该连接对应的rtsp连接通道可以在监控摄像头端及网关端进行数据传输。
步骤103、发送监控请求至监控摄像头。
具体的，经过rtsp连接通道发送监控请求至对应的监控摄像头。
步骤104、接收监控摄像头发送的rtsp数据包。
rtsp数据包包括rtp媒体数据，rtsp数据包为基于rtsp通信协议的数据包，同样基于rtsp连接通道接收对应的监控摄像头发送的rtsp数据包，其中，rtsp数据包还可以包括rtsp信令。
步骤105、将rtsp数据包转换为目标数据包。
具体的，目标数据包为基于浏览器端所支持的通信协议的数据包。网关端仅需对rtsp数据包做一些轻量化的处理，即将rtsp数据包通过一些简单的形式上的转换则可以转换成符合浏览器端所支持的通信协议的要求的目标数据包，不需额外做rtsp数据包的码流解析和转换任务。
其中，目标数据包具体可以包括websocket数据包、webrtc数据包或http数据包，websocket数据包为基于websocket通信协议的数据包，webrtc数据包为基于webrtc通信协议的数据包，http数据包为基于http通信协议的数据包。本实施例优选websocket数据包，以提高数据传输的及时性以及提高数据包分析的效率性。
本实施例中，网关端相当于中转站，维护着中转任务列表，包括每个中转任务与对应的监控摄像头的rtsp连接通道以及与浏览器端的websocket连接通道。网关端接收和分析来自浏览器端的websocket通道的信令数据，接收和中转来自摄像头的rtsp数据包，探测各个通道的健壮性，维护中转任务的状态变迁。
步骤106、将目标数据包发送至浏览器端。
目标数据包用于供浏览器端获取rtp媒体数据，以分析生成可供浏览器端播放的音视频数据。
本实施例中，将网关作为中转站，通过轻量化的处理过程可以将基于rtsp通信协议的rtsp数据包转换成基于浏览器端所支持的通信协议的目标数据包，由于中转网关不进行码流解析和转码，提高了网关的并发性能。通过将目标数据包发送至浏览器端可以使浏览器端获取rtp媒体数据，以分析生成可供浏览器端播放的音视频数据。
本实施例还提供了一种音视频监控方法，该音视频监控方法应用于浏览器端，如图2所示，该音视频监控方法包括：
步骤201、发送音视频监控指令至网关端。
其中，音视频监控指令包括监控摄像头的识别信息以及对监控摄像头的监控请求，具体的，步骤101接收的即为步骤201发送的音视频监控指令。
步骤202、接收网关端发送的目标数据包。
目标数据包为基于浏览器端所支持的通信协议的数据包，具体的，步骤202接收的目标数据包即为网关端在步骤106中发送的目标数据包。
步骤203、根据目标数据包获取rtp媒体数据。
具体的，浏览器端在收到网关端中转的rtsp数据包后，不使用额外安装的插件，具体可以使用javascript调用公共库中的数据进行rtsp协议解析，分离rtsp信令和rtp媒体数据(即rtp包)，浏览器端负责rtsp协议的信令交互，包括OPTIONS、DESCRIBE、SETUP、PLAY、PAUSE等信令的建立。
步骤204、解析rtp媒体数据以生成可供浏览器端播放的音视频数据。
浏览器端还负责rtp包的解析，获取时间戳，并组合多个rtp包的负载内容为H264(一种高度压缩数字视频编解码器标准)的NALU(一种编码结构)单元；负责解析NALU单元，判断视频帧类型，SPS/PPS(SDP中的信息串)单元特别处理，提取H264的编码信息(如分辨率，时钟频率，帧率，解码控制参数等)以及时间戳信息；接着解析所提取出的H264数据视频帧类别、dts/pts(一种具体类型的时间戳)解码和显示时间，并按fmp4(fragment mp4)流式容器格式进行封装，传入H264的NALU单元内容，生成一系列moof(一种信息容器)和mdat(一种信息容器)片段；最后将封装好的fmp4片段，通过mse(media source extension，媒体资源扩展)接口传入浏览器的mse接口，供浏览器解码和显示。
浏览器端可以在预设的页面展示解码后的监控摄像头的监控画面，并且还可以进一步的在预设操作界面对监控画面进行播放相关控制，如暂停、播放、拖动、停止、全屏等等。
本实施例中，浏览器端将从websocket通道收取到的websocket数据包分离为rtp媒体数据并通过公共库进行解析，具体包括rtsp协议解析，rtp协议解析，nal(网络抽象层面)码流解析，H264码流解析，重组为浏览器所支持的fmp4媒体格式，并通过浏览器的mse接口传入fmp4数据，从而使浏览器端在不安装插件的情况下实时播放监控摄像头监控的rtsp音视频，尤其适用于不方便安装插件的终端应用和移动端设备通过监控摄像头进行实时视频监控，并且，由于网关端只需做一些轻量级的操作，可以在浏览器端提供几乎无延迟的摄像头实时画面。
本实施例还提供了一种音视频监控方法，该音视频监控方法应用于监控摄像头端，该音视频监控方法包括以下步骤：
接收网关端发送的监控请求，并根据监控请求发送对应的rtsp数据包至网关端。
其中，rtsp数据包用于供网关端转换为目标数据包，目标数据包为浏览器端所支持的通信协议的数据包。具体而言，上述步骤中的监控请求为网关端在步骤103中发送的监控请求，而网关端在步骤104中接收的rtsp数据包则为监控摄像头在上述步骤中发送的rtsp数据包。
本实施例中，监控摄像头端可以基于监控请求执行相关的操作，如获取实时音视频流、又如调整摄像头的方向、焦距、画面等等，最终将调整后的实时音视频流通过rtsp数据包的方式发送至网关端以供网关端传输至浏览器端。
为了更好地理解本实施例，下面通过一具体实例来对本实施例进行进一步的说明：
图3示出了浏览器端、网关端及摄像头端的连接关系的示意图，其中浏览器端为图3中左边的模块，具体包括javascript媒体解析模块来解析rtp媒体数据以生成可供媒体播放器应用播放的音视频。浏览器端与网关端基于websocket通信协议进行数据的传输。
网关端为图3中的中间的模块，具体的实现方式为RTSP网关模块，其作为浏览器端和摄像头端传输数据的中转站，网关端与摄像头端通过rtsp通信来进行数据的传输。应当理解，网关端可以根据需要作为中转站来传输多个监控摄像头的监控数据。
如图4所示，浏览器端的具体应用请求播放rtsp视频流(步骤201及步骤101)：具体而言，浏览器端的具体应用通过websocket与网关建立连接，并发送信令，请求播放RTSP视频流。
网关建立与摄像头的rtsp连接(步骤102)，具体而言，网关模块分析浏览器应用发过来的播放请求，提取rtsp视频流的ip和端口信息，构建与监控摄像头的socket连接。之后，通过建立的连接发送监控请求至监控摄像头端(步骤103)。
监控摄像头接收到监控请求后反馈rtsp数据包(即rtsp网络数据)
网关作为中转站接收rtsp网络数据(步骤104)，具体而言，网关与摄像头建立socket连接后，中转来自浏览器端的监控请求给摄像头，中转来自摄像头回复的rtsp数据包，将rtsp数据包转换成符合websocket通信协议包括RTP媒体数据的websocket数据包(步骤105)，并发送给浏览器(步骤106)。
浏览器的对websocket数据包进行JS解析(步骤105和步骤106)，具体而言浏览器收到中转的RTSP信令包和RTP数据包后，依次进行RTSP协议的解析；RTP包协议的解析，RTP包负载的提取；H264 NALU的解析，视频帧类别，分辨率，帧率，解码控制参数的提取等。浏览器JS构造fmp4(fragment mp4)容器和媒体数据封装在收取和解析264视频流后，浏览器JS解析模块，构造fmp4容器，初始化ftyp和moov片段，传入视频基础信息，包括264码流的SPS和PPS信息；对后续收取的264帧内容，依次构造moof和mdat片段，封装入fmp4容器内。浏览器MSE接口传入fmp4媒体数据(步骤1006)：对构造好的fmp4容器内容，通过浏览器的mse(media source extension)接口，流式传入fmp4内容数据，供浏览器做解码和显示。
最后，由浏览器端的播放器模块，来做监控画面的显示和操作控制，如暂停，播放，全屏等。
实施例2
本实施例提供了一种音视频监控装置，如图5所示，音视频监控装置应用于网关端，音视频监控装置包括：指令接收模块301、连接建立模块302、请求发送模块303、rtsp数据接收模块304、通信转换模块305及目标数据发送模块306；
指令接收模块301用于从浏览器端接收音视频监控指令，音视频监控指令包括监控摄像头的识别信息以及对监控摄像头的监控请求；
连接建立模块302用于根据识别信息与监控摄像头建立socket连接；
请求发送模块303用于发送监控请求至监控摄像头；
rtsp数据接收模块304用于接收监控摄像头发送的rtsp数据包，rtsp数据包包括rtp媒体数据，rtsp数据包为基于rtsp通信协议的数据包；
通信转换模块305用于将rtsp数据包转换为目标数据包，目标数据包为基于浏览器端所支持的通信协议的数据包；
目标数据发送模块306用于将目标数据包发送至浏览器端，目标数据包用于供浏览器端获取rtp媒体数据，以分析生成可供浏览器端播放的音视频数据。
应当理解，上述应用于网关端的各个模块的实现方式可以参考实施例1中对应的实现方式，此处便不再赘述。
本实施例中，将网关作为中转站，通过通信转换模块轻量化的处理过程可以将基于rtsp通信协议的rtsp数据包转换成基于浏览器端所支持的通信协议的目标数据包，由于中转网关不进行码流解析和转码，提高了网关的并发性能。通过将目标数据包发送至浏览器端可以使浏览器端获取rtp媒体数据，以分析生成可供浏览器端播放的音视频数据。
本实施例还提供了一种音视频监控装置，该音视频监控装置应用于浏览器端，如图6所示，该音视频监控装置包括：指令发送模块401、目标数据接收模块402、媒体数据获取模块403及解析模块404。
指令发送模块401用于发送监控指令至网关端；
目标数据接收模块402用于接收网关端发送的目标数据包，目标数据包为基于浏览器端所支持的通信协议的数据包；
媒体数据获取模块403用于根据目标数据包获取rtp媒体数据；
解析模块404用于解析rtp媒体数据以生成可供浏览器端播放的音视频数据。
应当理解，上述应用于浏览器端的各个模块的实现方式可以参考实施例1中对应的实现方式，此处便不再赘述。
本实施例中，浏览器端的目标数据接收模块将从websocket通道收取到websocket数据包，媒体数据获取模块分离websocket数据包为rtp媒体数据并通过通过解析模块调用公共库进行解析，具体包括rtsp协议解析，rtp协议解析，nal码流解析，H264码流解析，重组为浏览器所支持的fmp4(fragment mp4)媒体格式，并通过浏览器的mse(media sourceextensions)接口传入fmp4数据，从而使浏览器端在不安装插件的情况下实时播放监控摄像头监控的rtsp音视频，尤其适用于不方便安装插件的终端应用和移动端设备通过监控摄像头进行实时视频监控，并且，由于网关端只需做一些轻量级的操作，可以在浏览器端提供几乎无延迟的摄像头实时画面。
本实施例还提供了一种音视频监控装置，该音视频监控装置应用于监控摄像头端，监控摄像头端包括rtsp数据包发送模块，用于接收网关端发送的监控请求，并根据监控请求发送对应的rtsp数据包至网关端。
应当理解，上述应用于监控摄像头端的各个模块的实现方式可以参考实施例1中对应的实现方式，此处便不再赘述。
本实施例中，监控摄像头端的rtsp数据包发送模块可以基于监控请求执行相关的操作，如获取实时音视频流，又如调整摄像头的方向、焦距、画面等等，最终将调整后的实时音视频流通过rtsp数据包的方式发送至网关端以供网关端传输至浏览器端。
实施例3
本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现(例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例1中音视频监控方法。
图7示出了本实施例的硬件结构示意图，如图7所示，电子设备9具体包括：
至少一个处理器91、至少一个存储器92以及用于连接不同系统组件(包括处理器91和存储器92)的总线93，其中：
总线93包括数据总线、地址总线和控制总线。
存储器92包括易失性存储器，例如随机存取存储器(RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM)923。
存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具925，这样的程序模块924包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1中音视频监控方法。
电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备9使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例6
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1中音视频监控方法。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中音视频监控方法。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (10)
1.一种音视频监控方法，其特征在于，所述音视频监控方法应用于网关端，所述音视频监控方法包括：
从浏览器端接收音视频监控指令，所述音视频监控指令包括监控摄像头的识别信息以及对所述监控摄像头的监控请求，所述监控请求包括音视频播放请求；
根据所述识别信息与所述监控摄像头建立socket连接；
发送所述监控请求至所述监控摄像头；
接收所述监控摄像头发送的rtsp数据包，所述rtsp数据包包括rtp媒体数据，所述rtsp数据包为基于rtsp通信协议的数据包；
将所述rtsp数据包转换为目标数据包，所述目标数据包为基于所述浏览器端所支持的通信协议的数据包；
将所述目标数据包发送至所述浏览器端，所述目标数据包用于供所述浏览器端获取rtp媒体数据，以分析生成可供所述浏览器端播放的音视频数据。
2.如权利要求1所述的音视频监控方法，其特征在于，所述目标数据包包括websocket数据包、webrt数据包或http数据包，所述websocket数据包为基于websocket通信协议的数据包，所述webrt数据包为基于webrt通信协议的数据包，所述http数据包为基于http通信协议的数据包。
3.如权利要求1所述的音视频监控方法，其特征在于，所述监控请求还包括摄像头控制请求和/或画面调整请求。
4.一种音视频监控方法，其特征在于，所述音视频监控方法应用于浏览器端，所述音视频监控方法包括：
发送音视频监控指令至网关端，所述音视频监控指令包括监控摄像头的识别信息以及对所述监控摄像头的监控请求；
接收所述网关端发送的目标数据包，所述目标数据包为基于所述浏览器端所支持的通信协议的数据包；
根据所述目标数据包获取rtp媒体数据；
解析所述rtp媒体数据以生成可供所述浏览器端播放的音视频数据。
5.如权利要求4所述的音视频监控方法，其特征在于，所述解析所述rtp媒体数据包的步骤包括：
通过javascript调用公共库中的目标数据以解析所述rtp媒体数据。
6.一种音视频监控方法，其特征在于，所述音视频监控方法应用于监控摄像头端，所述音视频监控方法包括：
接收网关端发送的监控请求；
根据所述监控请求发送对应的rtsp数据包至网关端，所述rtsp数据包用于供所述网关端转换为目标数据包，所述目标数据包为浏览器端所支持的通信协议的数据包。
7.一种音视频监控装置，其特征在于，所述音视频监控装置应用于网关端，所述音视频监控装置包括：指令接收模块、连接建立模块、请求发送模块、rtsp数据接收模块、通信转换模块及目标数据发送模块；
所述指令接收模块用于从浏览器端接收音视频监控指令，所述音视频监控指令包括监控摄像头的识别信息以及对所述监控摄像头的监控请求；
所述连接建立模块用于根据所述识别信息与所述监控摄像头建立socket连接；
所述请求发送模块用于发送所述监控请求至所述监控摄像头；
所述rtsp数据接收模块用于接收所述监控摄像头发送的rtsp数据包，所述rtsp数据包包括rtp媒体数据，所述rtsp数据包为基于rtsp通信协议的数据包；
所述通信转换模块用于将所述rtsp数据包转换为目标数据包，所述目标数据包为基于所述浏览器端所支持的通信协议的数据包；
所述目标数据发送模块用于将所述目标数据包发送至所述浏览器端，所述目标数据包用于供所述浏览器端获取rtp媒体数据，以分析生成可供所述浏览器端播放的音视频数据。
8.一种音视频监控装置，其特征在于，所述音视频监控装置应用于浏览器端，所述音视频监控装置包括：指令发送模块、目标数据接收模块、媒体数据获取模块及解析模块；
所述指令发送模块用于发送监控指令至网关端；
所述目标数据接收模块用于接收所述网关端发送的目标数据包，所述目标数据包为基于所述浏览器端所支持的通信协议的数据包；
所述媒体数据获取模块用于根据所述目标数据包获取rtp媒体数据；
所述解析模块用于解析所述rtp媒体数据以生成可供所述浏览器端播放的音视频数据。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的音视频监控方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的音视频监控方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111589252.9A CN114339146B (zh) | 2021-12-23 | 2021-12-23 | 音视频监控方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111589252.9A CN114339146B (zh) | 2021-12-23 | 2021-12-23 | 音视频监控方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114339146A true CN114339146A (zh) | 2022-04-12 |
| CN114339146B CN114339146B (zh) | 2022-11-18 |
Family
ID=81054547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111589252.9A Active CN114339146B (zh) | 2021-12-23 | 2021-12-23 | 音视频监控方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114339146B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115589399A (zh) * | 2022-10-11 | 2023-01-10 | 北京太格时代自动化系统设备有限公司 | 变电所辅助监控视频远程播放方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170289214A1 (en) * | 2016-04-04 | 2017-10-05 | Hanwha Techwin Co., Ltd. | Method and apparatus for playing media stream on web browser |
| CN107277004A (zh) * | 2017-06-13 | 2017-10-20 | 重庆扬讯软件技术股份有限公司 | 一种浏览器无插件视频直播方法 |
| CN109104590A (zh) * | 2018-09-05 | 2018-12-28 | 北京许继电气有限公司 | 轻量级可视化系统 |
| CN113556579A (zh) * | 2021-06-07 | 2021-10-26 | 武汉众智数字技术有限公司 | 一种基于HTML5的web无插件播放安防实时视频的方法 |
| CN113766317A (zh) * | 2021-03-08 | 2021-12-07 | 京东城市(北京)数字科技有限公司 | 视频传输方法、装置、电子设备和存储介质 |
-
2021
- 2021-12-23 CN CN202111589252.9A patent/CN114339146B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170289214A1 (en) * | 2016-04-04 | 2017-10-05 | Hanwha Techwin Co., Ltd. | Method and apparatus for playing media stream on web browser |
| CN107277612A (zh) * | 2016-04-05 | 2017-10-20 | 韩华泰科株式会社 | 用于在web浏览器上播放媒体流的方法和设备 |
| CN107277004A (zh) * | 2017-06-13 | 2017-10-20 | 重庆扬讯软件技术股份有限公司 | 一种浏览器无插件视频直播方法 |
| CN109104590A (zh) * | 2018-09-05 | 2018-12-28 | 北京许继电气有限公司 | 轻量级可视化系统 |
| CN113766317A (zh) * | 2021-03-08 | 2021-12-07 | 京东城市(北京)数字科技有限公司 | 视频传输方法、装置、电子设备和存储介质 |
| CN113556579A (zh) * | 2021-06-07 | 2021-10-26 | 武汉众智数字技术有限公司 | 一种基于HTML5的web无插件播放安防实时视频的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115589399A (zh) * | 2022-10-11 | 2023-01-10 | 北京太格时代自动化系统设备有限公司 | 变电所辅助监控视频远程播放方法和装置 |
| CN115589399B (zh) * | 2022-10-11 | 2023-06-27 | 北京太格时代电气股份有限公司 | 变电所辅助监控视频远程播放方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114339146B (zh) | 2022-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110661752A (zh) | 一种无插件实时视频播放系统及方法 | |
| US20230308554A1 (en) | Peripheral bus video communication using internet protocol | |
| US10979785B2 (en) | Media playback apparatus and method for synchronously reproducing video and audio on a web browser | |
| CN102263959B (zh) | 直播中转方法和系统 | |
| US20140139735A1 (en) | Online Media Data Conversion Method, Online Video Playing Method and Corresponding Device | |
| CN112752115B (zh) | 直播数据传输方法、装置、设备及介质 | |
| US10862940B1 (en) | Low latency live video on a communication session | |
| KR101821123B1 (ko) | 웹브라우저 상에서 미디어 스트림을 재생하는 방법 및 장치 | |
| CN112866199B (zh) | 一种支持GB/T28181协议的设备在Chrome浏览器中查看的方法 | |
| CN106464933B (zh) | 用于远程控制对多媒体内容的渲染的设备和方法 | |
| KR101821124B1 (ko) | 웹브라우저 상에서 미디어 스트림을 재생하는 방법 및 장치 | |
| CN101600092A (zh) | 网络视频录像的生成和播放方法及系统 | |
| WO2010114092A1 (ja) | 配信システムと方法と変換装置及びプログラム | |
| KR20180086113A (ko) | 웹 브라우저 상에서 비디오와 오디오를 동기화하여 재생하는 미디어 재생 장치 및 방법 | |
| CN113938470A (zh) | 一种浏览器播放rtsp数据源的方法、装置以及流媒体服务器 | |
| CN114339146B (zh) | 音视频监控方法、装置、电子设备及计算机可读存储介质 | |
| CN114745361A (zh) | 一种用于html5浏览器的音视频播放方法及系统 | |
| CN114900719A (zh) | 一种基于html5播放监控设备实时视频的方法及系统 | |
| CN112312221A (zh) | 一种音视频播放方法、存储介质及装置 | |
| WO2024022317A1 (zh) | 视频流的处理方法及装置、存储介质、电子设备 | |
| TW201605230A (zh) | 即時影音傳輸方法及其系統 | |
| KR101412048B1 (ko) | 하이브리드 월 시스템 및 그 동작방법 | |
| CN109104635A (zh) | 即时传送屏幕图像的方法及系统 | |
| CN101193105A (zh) | 一种媒体流的传送/切换方法 | |
| CN113556612A (zh) | 一种浏览器上播放h.265视频流的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Audio and video monitoring methods, devices, electronic devices, and computer-readable storage media Effective date of registration: 20231123 Granted publication date: 20221118 Pledgee: Industrial Commercial Bank of China Ltd. Shanghai Zhangjiang science and Technology Branch Pledgor: SHANGHAI QINGHE TECHNOLOGY CO.,LTD. Registration number: Y2023980066983 |