CN117459771B - 一种网络摄像机录像存储、预览、回放的方法及系统 - Google Patents
一种网络摄像机录像存储、预览、回放的方法及系统 Download PDFInfo
- Publication number
- CN117459771B CN117459771B CN202311797873.5A CN202311797873A CN117459771B CN 117459771 B CN117459771 B CN 117459771B CN 202311797873 A CN202311797873 A CN 202311797873A CN 117459771 B CN117459771 B CN 117459771B
- Authority
- CN
- China
- Prior art keywords
- real
- time
- stream
- video
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000005530 etching Methods 0.000 claims abstract description 6
- 239000012634 fragment Substances 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 11
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/4147—PVR [Personal Video Recorder]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
- H04L65/1108—Web based protocols, e.g. webRTC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供了一种网络摄像机录像存储、预览、回放的方法及系统，属于摄像机录像领域，包括：使用网络摄像机采集实时流并复刻，得到第一实时流和第二实时流；使用H265编码标准对第一实时流的实时视频流进行编码，使用PCM编码标准对第一实时流的实时音频流进行编码，编码后一起存储至本地存储卡；建立客户端与网络摄像机的WebRTC连接，获取客户端的请求；依据客户端的请求类型，通过不同的传输通道将实时视频流和实时音频流传输至客户端。本方案建立一路WebRTC连接，完成预览和回放的任意切换，预览和回放无需重复断开和创建连接，使用同一连接，设备端切换媒体源，降低时延，增强体验，客户端无感切换，取消内存缓存，可降低系统内存容量，提高资源利用率。
Description
技术领域
本发明属于摄像机录像领域，尤其涉及一种网络摄像机录像存储、预览、回放的方法及系统。
背景技术
摄像机在录像时，通常将音、视频帧缓存在内存中，打包为流媒体格式，保存至本地存储卡;客户端在回放时，若客户端在预览界面，需要先关闭，下载录像片段，通过播放器进行播放。
音、视频帧缓存在内存队列中，直到满足流媒体格式要求的一个片段，存在以下缺陷：
（a）该操作需要更大的内存规格，增加硬件成本；
（b）写本地存储卡慢，导致内存中缓存过多的录像片段，当遇到掉电，或内存溢出时，则录像片段丢失。
回放时，需要先下载媒体流，满足解码器所需要的容量。
预览状态下，查看录像，需要先关闭预览，再建立回放连接请求，延时增大。
现有公开了一种网络摄像机的内存卡录像回放方法及系统（专利申请号为：CN202310522685.5），该方案通过采用提前缓存、同步解码的播放方式，具有播放内存卡录像时不需要等待加载录像文件、播放时不会出现卡顿丢帧的问题、客户端不需要浪费空间去存储录像文件的优点，但是该方案只公开了录像回放的内容，对于录像的存储以及录像的预览没有公开，且其没有公开预览与回放之间的切换等技术内容；现有还公开了一种基于RTSP协议的实时视频无插件预览方法及系统（专利申请号为：CN201810644201.3），该方案不需要安装浏览器插件或者扩展程序，并且支持跨浏览器，也无需进行浏览器的相关设置操作，便可实时预览无延迟或者低延迟监控视频，但是其公开的是前端设备即摄像头采集实时码流之后传输到客户端进行实时预览的过程，重点内容是图像数据的低延迟传输，没有解决图像存储占内存大以及预览切换到回放状态时增加延时的问题；现有还公开了视频处理方法、装置、设备、存储介质及计算机程序产品（专利申请号为：CN202210053938.4），该方案通过使用WebRTC协议进行视频流传输，可以保证视频流的传输效率，且可以降低视频播放的时延，但是该方案只是WebRTC协议以及H265编码提高视频流的传输效率，但是其没有公开提高传输效率后，如何保存录像，如何在预览和回放之间切换的技术内容，也没有解决图像存储占内存大以及预览切换到回放状态时增加延时的问题。
发明内容
本申请提供了一种网络摄像机录像存储、预览、回放的方法及系统，旨在解决现有录像机录像后，录像存储需要占用大量的内存卡空间，增加硬件成本，以及图像回放与图像预览之间的切换会增加延时的问题。
为了实现上述目的，本发明采用以下技术方案：
一种网络摄像机录像存储、预览、回放的方法，包括：
使用网络摄像机采集实时流并复刻，得到第一实时流和第二实时流，其中，实时流包括实时视频流和实时音频流；
使用H265编码标准对第一实时流的实时视频流进行编码，使用PCM编码标准对第一实时流的实时音频流进行编码，编码后一起存储至本地存储卡；
建立客户端与网络摄像机的WebRTC连接，获取客户端的请求，WebRTC连接包括视频通道、音频通道和数据通道；
当请求为预览时，使用H264编码器对第二实时流的实时视频流进行编码，编码后通过视频通道传输至客户端，将第二实时流的实时音频流编码后通过音频通道传输至客户端；
当请求为回放时，使用H265解码器对本地存储卡中的第一实时流的实时视频流进行解码，得到第一视频流数据，使用H264编码器对第一视频流数据进行编码，编码后通过视频通道传输至客户端，读取本地存储卡中的第一实时流的实时音频流，编码后通过音频通道传输至客户端，其中，第二实时流的实时音频流和第一实时流的实时音频流均通过符合WebRTC音频规范的编码模块进行编码后通过音频通道传输至客户端。
作为优选，客户端的请求还包括下载；
当请求为下载时，在本地存储卡中读取第一实时流的实时音频流和第一实时流的实时视频流，打包后得到MP4媒体分片，通过数据通道将MP4媒体分片传输至客户端。
作为优选，网络摄像机通过数据通道接收客户端的请求，当请求为回放时，请求包括回放指令、回放时间和码率；
在使用H265解码器解码或H264编码器编码之前，网络摄像机先依据回放指令停止采集实时流，依据回放时间在本地存储卡中匹配符合时间点的第一实时流的实时音频流和第一实时流的实时视频流，依据码率调整H264编码器；
当请求为下载时，请求包括下载指令和起始时间点；
网络摄像机通过数据通道得到下载指令，依据起始时间点在本地存储卡中匹配符合时间区间的第一实时流的实时音频流和第一实时流的实时视频流，依次读取后，打包得到MP4媒体分片，通过数据通道将MP4媒体分片传输至客户端。
作为优选，存储至本地存储卡的过程，具体为：
创建录像元数据文件和帧目录，将编码后的第一实时流的实时音频流和第一实时流的实时视频流保存至帧目录，得到录像数据，其中，编码后的第一实时流的实时音频流为PCM数据，编码后的第一实时流的实时视频流为H265数据；
创建帧目录中帧的元数据，依据录像数据的信息填写元数据后，插入录像元数据文件中，完成存储。
作为优选，元数据包括名称、时间戳、帧类型，实时视频流中网络摄像机开始采集到的第一帧视频帧为录像开始帧。
作为优选，WebRTC连接的类型包括relay模式、p2p模式和local模式，local模式的网络环境优于p2p模式的网络环境，p2p模式的网络环境优于relay模式的网络环境。
作为优选，客户端在发送请求时，检测当前网络环境，依据relay模式或p2p模式或local模式进行预览或回放。
一种网络摄像机录像存储、预览、回放的系统，包括：
录像采集模块：用于使用网络摄像机采集实时流并复刻，得到第一实时流和第二实时流，其中，实时流包括实时视频流和实时音频流；
录像存储模块：用于使用H265编码标准对第一实时流的实时视频流进行编码，使用PCM编码标准对第一实时流的实时音频流进行编码，编码后一起存储至本地存储卡；
网络连接建立模块：用于建立客户端与网络摄像机的WebRTC连接，获取客户端的请求，WebRTC连接包括视频通道、音频通道和数据通道；
预览模块：用于当请求为预览时，使用H264编码器对第二实时流的实时视频流进行编码，编码后通过视频通道传输至客户端，将第二实时流的实时音频流编码后通过音频通道传输至客户端；
回放模块：用于当请求为回放时，使用H265解码器对本地存储卡中的第一实时流的实时视频流进行解码，得到第一视频流数据，使用H264编码器对第一视频流数据进行编码，编码后通过视频通道传输至客户端，读取本地存储卡中的第一实时流的实时音频流，编码后通过音频通道传输至客户端，其中，第二实时流的实时音频流和第一实时流的实时音频流均通过符合WebRTC音频规范的编码模块进行编码后通过音频通道传输至客户端。
一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如上述中任一所述的一种网络摄像机录像存储、预览、回放的方法。
一种计算机可读存储介质，所述存储介质中存储的计算机程序被计算机执行时实现如上述中任一所述的一种网络摄像机录像存储、预览、回放的方法。
本发明具有以下有益效果：
（1）本方案通过H265编码标准对网络摄像机采集的实时流中的实时视频流进行编码，使用PCM编码标准对第一实时流的实时音频流进行编码，然后一起存储，保证视频高质量的同时，节省大量存储空间，降低硬件成本，且不通过流媒体格式存储，避免掉电或内存溢出时，录像片段丢失的情况出现；
（2）本方案建立一路WebRTC连接，完成预览和回放的任意切换，预览和回放无需重复断开和创建连接，使用同一连接，设备端切换媒体源，降低时延，增强体验，客户端无感切换，取消内存缓存，可降低系统内存容量，提高资源利用率；
（3）预览和回放均采用低码率H264对视频流进行编码，将编码后的视频流和音频流分别通过视频通道和音频通道传输，节省带宽，保证实时性；
（4）下载则使用数据通道传输高质量的H265编码格式视频，同时不影响预览或回放。
附图说明
图1为本发明中一种网络摄像机录像存储、预览、回放的方法的流程图；
图2为本发明实施例1中触发录像时网络摄像机工作过程的流程图；
图3为本发明实施例1中客户端预览、回放、下载时工作过程的流程图；
图4为本发明中网络摄像机录像存储、预览、回放的系统的结构示意图。
具体实施方式
实施例1
如图1所示，一种网络摄像机录像存储、预览、回放的方法，包括以下步骤：
S11、使用网络摄像机采集实时流并复刻，得到第一实时流和第二实时流，其中，实时流包括实时视频流和实时音频流；
S12、使用H265编码标准对第一实时流的实时视频流进行编码，使用PCM编码标准对第一实时流的实时音频流进行编码，编码后一起存储至本地存储卡；
S13、建立客户端与网络摄像机的WebRTC连接，获取客户端的请求，WebRTC连接包括视频通道、音频通道和数据通道；
S14、当请求为预览时，使用H264编码器对第二实时流的实时视频流进行编码，编码后通过视频通道传输至客户端，将第二实时流的实时音频流编码后通过音频通道传输至客户端；
S15、当请求为回放时，使用H265解码器对本地存储卡中的第一实时流的实时视频流进行解码，得到第一视频流数据，使用H264编码器对第一视频流数据进行编码，编码后通过视频通道传输至客户端，读取本地存储卡中的第一实时流的实时音频流，编码后通过音频通道传输至客户端，其中，第二实时流的实时音频流和第一实时流的实时音频流均通过符合WebRTC音频规范的编码模块进行编码后通过音频通道传输至客户端。
本实施例中方案的过程具体如下：
1.创建录像元数据文件，用以记录录像信息；创建帧目录，用以保存原始帧数据；
2.录像保存至本地存储卡，存储至本地存储卡的过程，具体为：
（a）采集到的原始帧（即实时流，采集到实时流之后，进行复刻，得到第一实时流和第二实时流，第一实时流用于存储、回放、下载，第二实时流用于预览），将第一实时流的实时视频流通过视频编码器以原始分辨率编码为H265，将第一实时流的实时音频流编码为PCM，保存至帧目录内，得到此次存储的录像数据；
（b）创建帧的元数据，依据此次存储的录像数据的信息，填写其名称、时间戳、帧类型，然后插入元数据文件中，完成存储；
（c）录像开始采集到的第一帧视频帧，设定为录像开始帧。
重复上述过程，进行不断的录像存储。
3.客户端预览摄像机，建立WebRTC连接，打开视频、音频及数据三个通道；设备端通过WebRTC的视频通道发送采集到的视频帧（即第一实时流/第二实时流的实时视频流）；通过WebRTC的音频通道发送采集到的音频帧（即第一实时流/第二实时流的实时音频流）；通过数据通道，发送需下载的录像或客户端的请求或录像数据的信息；
4.客户端通过数据通道接收录像数据的信息并生成回放列表；
5.客户端点击回放，生成回放请求，通过数据通道发送给设备端（即网络摄像机，下述的设备端均为网络摄像机）；
6.设备端接收回放请求，停止音、视频采集；读取录像元数据，定位到回放的时间点，依次读取元数据记录，判断原始帧类型：
（a）若是视频帧，通过WebRTC视频通道发送；
（b）若是音频帧，通过WebRTC音频通道发送；
7.客户端通过当前WebRTC连接通道持续接收音、视频帧，无需退出当前预览，无缝切换到回放状态；
8.客户端停止回放，通过数据通道发送停止回放请求；设备端接收数据通道的停止回放请求，停止录像数据发送；
客户端恢复预览，通过数据通道发送预览请求；设备端接收预览请求，停止录像数据发送，开始音、视频采集，并通过WebRTC连接发送。
上述过程中，设备端触发录像时，内部具有以下变化逻辑，过程如流程图图2所示：
（1）采集第一实时流，启用H265超高清编码模块进行实时视频流编码，使用PCM编码标准对实时音频流进行编码；
（2）编码后，保存至存储卡（保存的编码后的第一实时流的实时视频流和实时音频流等同于录像数据），保证视频质量的同时节省大量的存储空间；
（3）创建帧目录中帧的元数据，填写后插入录像元数据文件中；
下述预览、回放、下载的过程如流程图图3所示；
客户端预览时：
视频处理：
（1）若当前处于回放状态，则首先停止H265解码模块，停止对H265编码后的第一实时流的实时视频流进行解码；
（2）将第二实时流的实时视频流传输到H264编码模块进行编码；
（3）H264编码模块将完成H264编码的视频帧通过WebRTC视频通道传输至客户端；
音频处理：
（1）若当前处于回放状态，则首先停止音频读取，即停止读取第一实时流的实时音频流；
（2）将第二实时流的实时音频流传输至符合WebRTC音频规范的编码模块进行编码；
（3）音频编码模块将完成编码的音频帧通过WebRTC的音频通道传输至客户端；
客户端查看录像：
请求处理：
（1）设备端通过WebRTC的数据通道，接收客户端的回放请求，该请求包含回放指令、回放时间点及码率；
（2）设备端读取录像元数据（即在本地存储卡中读取录像数据），找到匹配时间点的录像起始视频帧（即依据回放时间在本地存储卡中匹配符合时间点的第一实时流的实时音频流和第一实时流的实时视频流）；
（3）根据客户端请求码率调整H264编码器；
视频处理：
（1）启动H265视频解码器；
（2）依次读取H265视频帧（读取录像数据中编码后的第一实时流的实时视频流），传输至H265解码器进行解码；
（3）H265解码器将完成解码的视频帧，传输至H264编码器模块进行编码；
（4）H264编码器将完成H264编码的视频帧通过WebRTC的视频通道传输至客户端；
音频处理：
（1）以视频帧的时间为基准，依次读取音频帧（读取录像数据中第一实时流的实时音频流），传输至符合WebRTC音频规范的音频编码器；
（2）音频编码器将完成音频编码的音频帧通过WebRTC音频通道传输至客户端；
客户端录像下载：
（1）客户端发送下载请求，该请求包含下载指令及录像时间起始点；
（2）设备端通过数据通道接收下载请求；
（3）设备端读取录像元数据（即读取本地存储卡中的录像数据），找到匹配时间点的录像起始视频帧；
（4）依次读取H265视频帧及音频帧（即在本地存储卡中读取第一实时流的实时音频流和第一实时流的实时视频流），打包MP4媒体分片；
（5）MP4分片通过WebRTC数据通道，传输至客户端；
码率自适应：
1.客户端对于视频编码预设三种模式，即：
（a）低清，低分辨率，低帧率进行H264编码，视频帧及码率最小，以适应弱网或需要更长传输路劲的网络；
（b）高清，高分辨率，高帧率进行H264编码，视频帧及码率均达到高清标准，在良好的网络环境下，提供高质量的预览回放；
（c）超高清，以超高（如：4K）分辨率，超高帧率（如：60帧）进行H265编码，在直连的网络环境下，提供超高质量的预览回放；
2.WEBRTC建立连接完成；
3.客户端获取网络连接类型，WEBRTC网络连接类型存在3种，分别如下：
（a）通过中继服务器进行转发，即relay模式；
（b）NAT穿透，点对点传输，即p2p模式；
（c）本地局域网直连，即local模式；
4.WEBRTC连接自动选出最佳可用网络，local模式的网络环境优于p2p模式的网络环境，p2p模式的网络环境优于relay模式的网络环境；
5.客户在预览或回放过程中，获取WEBRTC连接类型：
（a）relay模式下，视频帧需要通过中继服务器进行转发，过于依赖中继服务器的性能及网络带宽，且传输路径长，因此延时大，容易丢包。客户端向设备端请求低清编码，以此保证传输的高效与稳定；
（b）P2P模式下，视频帧不再经过中转服务进行转发，而是直接传输，客户端向设备端请求高清编码，在保证传输高效与稳定的前提下，提供高质量的预览与回放；
（c）Local模式下，在本地网络环境，客户端与设备端直接连接，网络环境纯净，传输路径短，客户端向设备端请求超高清编码，设备端直接通过数据通道传输H265编码，提供超高质量的预览回放。
实施例2
如图4所示，一种网络摄像机录像存储、预览、回放的系统，包括：
录像采集模块10：用于使用网络摄像机采集实时流并复刻，得到第一实时流和第二实时流，其中，实时流包括实时视频流和实时音频流；
录像存储模块20：用于使用H265编码标准对第一实时流的实时视频流进行编码，使用PCM编码标准对第一实时流的实时音频流进行编码，编码后一起存储至本地存储卡；
网络连接建立模块30：用于建立客户端与网络摄像机的WebRTC连接，获取客户端的请求，WebRTC连接包括视频通道、音频通道和数据通道；
预览模块40：用于当请求为预览时，使用H264编码器对第二实时流的实时视频流进行编码，编码后通过视频通道传输至客户端，将第二实时流的实时音频流编码后通过音频通道传输至客户端；
回放模块50：用于当请求为回放时，使用H265解码器对本地存储卡中的第一实时流的实时视频流进行解码，得到第一视频流数据，使用H264编码器对第一视频流数据进行编码，编码后通过视频通道传输至客户端，读取本地存储卡中的第一实时流的实时音频流，编码后通过音频通道传输至客户端，其中，第二实时流的实时音频流和第一实时流的实时音频流均通过符合WebRTC音频规范的编码模块进行编码后通过音频通道传输至客户端。
上述系统的一种实施方式为，在录像采集模块10中，使用网络摄像机采集实时流并复刻，得到第一实时流和第二实时流，其中，实时流包括实时视频流和实时音频流，在录像存储模块20中，使用H265编码标准对第一实时流的实时视频流进行编码，使用PCM编码标准对第一实时流的实时音频流进行编码，编码后一起存储至本地存储卡，在网络连接建立模块30中，建立客户端与网络摄像机的WebRTC连接，获取客户端的请求，WebRTC连接包括视频通道、音频通道和数据通道，在预览模块40中，当请求为预览时，使用H264编码器对第二实时流的实时视频流进行编码，编码后通过视频通道传输至客户端，将第二实时流的实时音频流编码后通过音频通道传输至客户端，在回放模块50中，当请求为回放时，使用H265解码器对本地存储卡中的第一实时流的实时视频流进行解码，得到第一视频流数据，使用H264编码器对第一视频流数据进行编码，编码后通过视频通道传输至客户端，读取本地存储卡中的第一实时流的实时音频流，编码后通过音频通道传输至客户端，其中，第二实时流的实时音频流和第一实时流的实时音频流均通过符合WebRTC音频规范的编码模块进行编码后通过音频通道传输至客户端。
实施例3
在上述实施例基础上，本实施例提供了一种电子设备。
实施例4
在上述实施例基础上，本实施例提供了一种存储介质。
以上所述仅为本发明的具体实施例，但本发明的技术特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。
Claims (7)
1.一种网络摄像机录像存储、预览、回放的方法，其特征在于，包括：
使用网络摄像机采集实时流并复刻，得到第一实时流和第二实时流，其中，实时流包括实时视频流和实时音频流；
使用H265编码标准对第一实时流的实时视频流进行编码，使用PCM编码标准对第一实时流的实时音频流进行编码，编码后一起存储至本地存储卡；存储至本地存储卡的过程，具体为：创建录像元数据文件和帧目录，将编码后的第一实时流的实时音频流和第一实时流的实时视频流保存至帧目录，得到录像数据，其中，编码后的第一实时流的实时音频流为PCM数据，编码后的第一实时流的实时视频流为H265数据；创建帧目录中帧的元数据，依据录像数据的信息填写元数据后，插入录像元数据文件中，完成存储；
建立客户端与网络摄像机的WebRTC连接，获取客户端的请求，WebRTC连接包括视频通道、音频通道和数据通道；
当请求为预览时，使用H264编码器对第二实时流的实时视频流进行编码，编码后通过视频通道传输至客户端，将第二实时流的实时音频流编码后通过音频通道传输至客户端；
当请求为回放时，请求包括回放指令、回放时间和码率，网络摄像机先依据回放指令停止采集实时流，依据回放时间在本地存储卡中匹配符合时间点的第一实时流的实时音频流和第一实时流的实时视频流，依据码率调整H264编码器，再使用H265解码器对本地存储卡中的第一实时流的实时视频流进行解码，得到第一视频流数据，使用H264编码器对第一视频流数据进行编码，编码后通过视频通道传输至客户端，读取本地存储卡中的第一实时流的实时音频流，编码后通过音频通道传输至客户端，其中，第二实时流的实时音频流和第一实时流的实时音频流均通过符合WebRTC音频规范的编码模块进行编码后通过音频通道传输至客户端；
当请求为下载时，请求包括下载指令和起始时间点，网络摄像机通过数据通道得到下载指令，依据起始时间点在本地存储卡中匹配符合时间区间的第一实时流的实时音频流和第一实时流的实时视频流，依次读取后，打包得到MP4媒体分片，通过数据通道将MP4媒体分片传输至客户端。
2.根据权利要求1所述的一种网络摄像机录像存储、预览、回放的方法，其特征在于，元数据包括名称、时间戳、帧类型，实时视频流中网络摄像机开始采集到的第一帧视频帧为录像开始帧。
3.根据权利要求1所述的一种网络摄像机录像存储、预览、回放的方法，其特征在于，WebRTC连接的类型包括relay模式、p2p模式和local模式，local模式的网络环境优于p2p模式的网络环境，p2p模式的网络环境优于relay模式的网络环境。
4.根据权利要求3所述的一种网络摄像机录像存储、预览、回放的方法，其特征在于，客户端在发送请求时，检测当前网络环境，依据relay模式或p2p模式或local模式进行预览或回放。
5.一种网络摄像机录像存储、预览、回放的系统，其特征在于，包括：
录像采集模块：用于使用网络摄像机采集实时流并复刻，得到第一实时流和第二实时流，其中，实时流包括实时视频流和实时音频流；
录像存储模块：用于使用H265编码标准对第一实时流的实时视频流进行编码，使用PCM编码标准对第一实时流的实时音频流进行编码，编码后一起存储至本地存储卡；
网络连接建立模块：用于建立客户端与网络摄像机的WebRTC连接，获取客户端的请求，WebRTC连接包括视频通道、音频通道和数据通道；
预览模块：用于当请求为预览时，使用H264编码器对第二实时流的实时视频流进行编码，编码后通过视频通道传输至客户端，将第二实时流的实时音频流编码后通过音频通道传输至客户端；
回放模块：用于当请求为回放时，使用H265解码器对本地存储卡中的第一实时流的实时视频流进行解码，得到第一视频流数据，使用H264编码器对第一视频流数据进行编码，编码后通过视频通道传输至客户端，读取本地存储卡中的第一实时流的实时音频流，编码后通过音频通道传输至客户端，其中，第二实时流的实时音频流和第一实时流的实时音频流均通过符合WebRTC音频规范的编码模块进行编码后通过音频通道传输至客户端。
6.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1-4中任一所述的一种网络摄像机录像存储、预览、回放的方法。
7.一种计算机可读存储介质，其特征在于，所述存储介质中存储的计算机程序被计算机执行时实现如权利要求1-4中任一所述的一种网络摄像机录像存储、预览、回放的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311797873.5A CN117459771B (zh) | 2023-12-26 | 2023-12-26 | 一种网络摄像机录像存储、预览、回放的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311797873.5A CN117459771B (zh) | 2023-12-26 | 2023-12-26 | 一种网络摄像机录像存储、预览、回放的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117459771A CN117459771A (zh) | 2024-01-26 |
| CN117459771B true CN117459771B (zh) | 2024-04-19 |
Family
ID=89593363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311797873.5A Active CN117459771B (zh) | 2023-12-26 | 2023-12-26 | 一种网络摄像机录像存储、预览、回放的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117459771B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104394319A (zh) * | 2014-11-24 | 2015-03-04 | 广州市浩云安防科技股份有限公司 | 一种嵌入式的高清网络视频录像机 |
| CN106060571A (zh) * | 2016-05-30 | 2016-10-26 | 湖南纽思曼导航定位科技有限公司 | 一种行车记录仪及视频直播方法 |
| CN107800989A (zh) * | 2017-10-16 | 2018-03-13 | 深圳市天视通电子科技有限公司 | 基于动态帧率检测的视频显示方法、系统及网络录像机 |
| CN108769616A (zh) * | 2018-06-21 | 2018-11-06 | 泰华智慧产业集团股份有限公司 | 一种基于rtsp协议的实时视频无插件预览方法及系统 |
| CN112738644A (zh) * | 2021-04-01 | 2021-04-30 | 浙江华创视讯科技有限公司 | 一种基于WebRTC的视频流传输方法和装置 |
| CN114245080A (zh) * | 2021-12-20 | 2022-03-25 | 厦门南棠科技有限公司 | 网络视频监控系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11606628B2 (en) * | 2009-06-01 | 2023-03-14 | Sony Interactive Entertainment LLC | Real-time cloud-based video watermarking systems and methods |
| EP3698549A4 (en) * | 2017-10-19 | 2021-04-14 | Lazar Entertainment Inc. | SYSTEMS AND PROCEDURES FOR BROADCASTING LIVE MEDIA STREAMS |
| CN109547844A (zh) * | 2018-12-19 | 2019-03-29 | 网宿科技股份有限公司 | 基于WebRTC协议的音视频推送方法和推流客户端 |
| US20220141524A1 (en) * | 2020-10-29 | 2022-05-05 | Alexander Savenok | Low Latency Synthetic Broadcast System and Method |
-
2023
- 2023-12-26 CN CN202311797873.5A patent/CN117459771B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104394319A (zh) * | 2014-11-24 | 2015-03-04 | 广州市浩云安防科技股份有限公司 | 一种嵌入式的高清网络视频录像机 |
| CN106060571A (zh) * | 2016-05-30 | 2016-10-26 | 湖南纽思曼导航定位科技有限公司 | 一种行车记录仪及视频直播方法 |
| CN107800989A (zh) * | 2017-10-16 | 2018-03-13 | 深圳市天视通电子科技有限公司 | 基于动态帧率检测的视频显示方法、系统及网络录像机 |
| CN108769616A (zh) * | 2018-06-21 | 2018-11-06 | 泰华智慧产业集团股份有限公司 | 一种基于rtsp协议的实时视频无插件预览方法及系统 |
| CN112738644A (zh) * | 2021-04-01 | 2021-04-30 | 浙江华创视讯科技有限公司 | 一种基于WebRTC的视频流传输方法和装置 |
| CN114245080A (zh) * | 2021-12-20 | 2022-03-25 | 厦门南棠科技有限公司 | 网络视频监控系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117459771A (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101010258B1 (ko) | 미디어 스트림의 타임쉬프트 프리젠테이션 | |
| JP6016778B2 (ja) | チャンクの形態でストリーミングされたコンテンツを回復する方法 | |
| JP4936751B2 (ja) | 迅速なメディアチャネル切り替え機構、および該機構を含むアクセスネットワークノード | |
| EP3295674A1 (en) | Transferring media data using a websocket subprotocol | |
| WO2007062567A1 (fr) | Procede, dispositif et systeme de realisation d'une tv a decalage | |
| CN107819809B (zh) | 对内容进行同步操作的方法及装置 | |
| US9153127B2 (en) | Video transmitting apparatus, video receiving apparatus, and video transmission system | |
| CN112752115B (zh) | 直播数据传输方法、装置、设备及介质 | |
| CN112770122B (zh) | 一种在云导播台视频同步的方法及系统 | |
| CN104768033A (zh) | 一种基于预加载的网络电视频道快速切换方法及系统 | |
| KR20080004561A (ko) | 신속 미디어 채널 변경 메커니즘 및 이를 포함하는 액세스네트워크 노드 | |
| JP5428734B2 (ja) | ネットワーク機器、情報処理装置、ストリーム切替方法、情報処理方法、プログラムおよびコンテンツ配信システム | |
| CN113382278B (zh) | 视频推送方法、装置、电子设备和可读存储介质 | |
| CN114025191A (zh) | 一种基于Nginx-rtmp的webrtc低延迟直播方法及系统 | |
| CN117459771B (zh) | 一种网络摄像机录像存储、预览、回放的方法及系统 | |
| US7720067B2 (en) | Data transfer apparatus and transfer control method | |
| CN115643426B (zh) | 一种面向空间应用领域的通用视频播放方法和系统 | |
| US8811478B2 (en) | Data transmission method and apparatus | |
| JP4491918B2 (ja) | データ配信装置及び方法、データ配信システム | |
| US20070019725A1 (en) | Motion image data converting method, apparatus and program | |
| US20220043856A1 (en) | Method and apparatus for thumbnail generation for a video device | |
| KR100643981B1 (ko) | 주문형 비디오 컨텐츠 녹화 방법 | |
| JPH09224231A (ja) | ビデオ・オン・デマンドシステムにおける映像プログラム選択方法 | |
| CN114760486A (zh) | 直播方法、装置、设备及存储介质 | |
| CN116170612A (zh) | 一种直播的实现方法、边缘节点、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |