CN115442641A - 一种基于楼宇监控视频无插件化使用的方法 - Google Patents

一种基于楼宇监控视频无插件化使用的方法 Download PDF

Info

Publication number
CN115442641A
CN115442641A CN202210997717.2A CN202210997717A CN115442641A CN 115442641 A CN115442641 A CN 115442641A CN 202210997717 A CN202210997717 A CN 202210997717A CN 115442641 A CN115442641 A CN 115442641A
Authority
CN
China
Prior art keywords
stream
video
pulling
client
flv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210997717.2A
Other languages
English (en)
Inventor
郭军
祝娟
刘云博
虞龙飞
吴孝朝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yuanchuang Intelligent Control Technology Co ltd
Original Assignee
Zhejiang Yuanchuang Intelligent Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Yuanchuang Intelligent Control Technology Co ltd filed Critical Zhejiang Yuanchuang Intelligent Control Technology Co ltd
Priority to CN202210997717.2A priority Critical patent/CN115442641A/zh
Publication of CN115442641A publication Critical patent/CN115442641A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于楼宇监控视频无插件化使用的方法，采用拉流器对选择的视频进行拉流处理，将视频转换为浏览器可以直接播放的视频流并推送至前端进行播放；与此同时，通过检测视频流的编码，将H265编码的视频流转码为H264编码。本发明具有楼宇监控视频播放方便的特点。

Description

一种基于楼宇监控视频无插件化使用的方法
技术领域
本发明涉及一种建筑监控视频播放方法，特别是一种基于楼宇监控视频无插件化使用的方法。
背景技术
楼宇建筑行业中接入的视频系统厂家众多，大都提供了各自的SDK，部分厂家提供的播放服务依然要使用插件，在视频集成中需要对接各个厂家的协议，十分繁琐。
随着时代的发展和技术的演进，H5页面无插件化访问视频的需求已然成了必须。目前的视频厂家基本支持RTSP(Real-Time Stream Protocol)和RTMP(Real-Time MessageProtocol)等两种以上协议，但Flash支持的RTMP协议当前已经淘汰，RTSP协议又无法在主流浏览器中直接播放，且H265编码的视频已在楼宇行业得到了广泛的使用，浏览器并不支持该协议的视频播放。各个厂家目前提供RTSP协议的访问地址也略有不同。
《通过rtsp视频流转flv格式实现h5网页端以video控件播放的方法》(实审中CN202111281379)是将rtsp视频源转为flv格式，实现了无插件化的功能，但面对H265编码的视频依然存在无法播放的问题，且没有无人观看时自动断开拉流推流，需要手动调用停止转码接口，在使用中可能存在网络意外断开未正常调用接口的情况下转码依然继续的问题。
《一种实现网页端无插件播放的视频流管理方法及装置》(有权CN202011217408)应用于交通系统，系统包含了网页端和转码服务器，通过websocket通信实现基于H264编码的视频流。和上一篇专利存在一样的问题，无法满足当前广泛使用的H265编码视频。
因此，现有的技术存在着视频播放十分繁琐的问题。
发明内容
本发明的目的在于，提供一种基于楼宇监控视频无插件化使用的方法。本发明具有楼宇监控视频播放方便的特点。
本发明的技术方案：一种基于楼宇监控视频无插件化使用的方法，采用拉流器对选择的视频进行拉流处理，将视频转换为浏览器可以直接播放的视频流并推送至前端进行播放；与此同时，通过检测视频流的编码，将H265编码的视频流转码为H264编码。
前述的一种基于楼宇监控视频无插件化使用的方法中，在对视频流进行拉流处理后，再次对外提供统一格式的推流地址。
前述的一种基于楼宇监控视频无插件化使用的方法中，当检测到无人观看视频时，自动断开拉流和推流操作。
前述的一种基于楼宇监控视频无插件化使用的方法中，解码的具体过程为：1)先检测视频流的编码格式；2)当检测到视频流为H265编码格式时，检测运行的硬件；3)若硬件支持GPU解码，则采用GPU将H265编码格式硬解码为H264编码格式；若硬件不支持GPU解码，则采用CPU软解码方式将H265编码格式硬解码为H264编码格式。
前述的一种基于楼宇监控视频无插件化使用的方法中，当采用flv实现视频播放时，具体过程包括以下步骤：
f1)选择待播放的视频：
f2)判断该视频是否启动拉流操作：若已经启动拉流操作，则进入下一步；若未启动拉流操作，则启动拉流器，进行拉流操作：
f3)将完成拉流操作的视频流添加至flv客户端，并将视频流发送至前端播放器进行播放；
f4)当停止观看时，关闭前端播放器；
f5)随后，后端客户端创建线程，监听后端客户端连接，若后端客户端被断开连接，则停止推送视频流给前端播放器。
前述的一种基于楼宇监控视频无插件化使用的方法中，采用flv实现视频播放时，拉流操作的具体过程为：首先构建拉流转码命令，并且执行转码转码命令实现拉流转码；在拉流转码过程中，需要监听网络超时异常，当出现由于网络问题导致断开连接时，需要关闭拉流，并且需要处理标准输出和标准错误，在监听标准输出或标准错误时，若时间超过设定时间，则触发网络超时异常，关闭拉流；
在与前端客户端进行连接时，通过输入视频流，获取flv数据，通过websocket-flv或者http-flv客户端，将flv数据发送到前端客户端；
当关闭前端播放器时，就关闭了前端播放器与后端客户端之间的连接；后端客户端就会创建线程，监听与前端客户端的连接，若前客户端断开连接，则停止推送流给前端客户端。
前述的一种基于楼宇监控视频无插件化使用的方法中，当采用hls方式实现视频播放时，具体过程为：
H1)选择待播放的视频；
H2)启动拉流器进行拉流操作，得到视频流；
H3)前端循环请求获取后端的ts文件；
H3)后端通过ts文件名，将ts文件推送至前端，实现视频的播放；
前端选择视频流时，需先开启hls切片。
前述的一种基于楼宇监控视频无插件化使用的方法中，采用hls方式实现视频播放时，拉流操作的具体过程为：先构建拉流转码命令，进行拉流操作；并且在拉流命令中，将生成的.m3u8文件作为入参，调用接口将ts文件缓存到对象中，当前端需要播放时，只需获取这个对象，就能拿到缓存的ts文件。
与现有技术相比，本发明通过拉流器对视频进行拉流操作，将不同厂家的rstp视频流拉流后，以flv、hls等浏览器支持的协议推流，将视频转换为浏览器可以直接播放的格式，并提供统一的访问格式(方便浏览器或者其他系统调用显示)；从而可以有效解决楼宇行业同一项目可能存在多种厂家产品需要多次接入的问题，极大的方便了监控视频的播放。同时，本发明还将采用了H265编码的视频流自动转为H264编码，从而可以解决支持H265浏览器无法播放的问题。另外，本发明还可以按需播放，当无人观看时自动断开拉流推流，减少转流解码资源的消耗。综上所述，本发明具有楼宇监控视频播放方便的特点。
附图说明
图1是flv实现视频播放流程图；
图2是flv拉流流程图；
图3是hls实现视频播放流程图；
图4是hls拉流流程图；
图5是解码流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例。一种基于单片机控制的模拟量自动标定电路及方法，采用拉流器对选择的视频进行拉流处理，将视频转换为浏览器可以直接播放的视频流并推送至前端进行播放；与此同时，通过检测视频流的编码，将H265编码的视频流转码为H264编码。
在对视频流进行拉流处理后，再次对外提供统一格式的推流地址。
当检测到无人观看视频时，自动断开拉流和推流操作。
解码的具体过程为：1)先检测视频流的编码格式；2)当检测到视频流为H265编码格式时，检测运行的硬件；3)若硬件支持GPU解码，则采用GPU将H265编码格式硬解码为H264编码格式；若硬件不支持GPU解码，则采用CPU软解码方式将H265编码格式硬解码为H264编码格式。
以下列举了两种拉流协议但不限于这两种，提供统一的拉流格式，屏蔽不同厂家格式的差异性。
本发明技术实现了http-flv、websocket-flv流媒体服务(可用于直播点播)和hls的流媒体服务，支持rtsp、rtmp等多种源，不需要依赖第三方，低延迟(支持识别h264、aac编码自动转封装)。
flv实现视频播放流程图如图1所示，本系统将流进行持久化，保存到数据库中，新增流到数据库中，可以对其进行增删改查操作，在该页面，可以开启拉流和关闭拉流，进行视频播放时，先判断当前流是否已经启动拉流，若是已经启动拉流，则添加客户端，开始往前端推流，若是未启动拉流器，则需要先启动拉流器，然后添加客户端，往前端推流。
flv拉流流程图如图2所示，flv拉流，由于视频编码不同，需要统一编码，则构建拉流转码命令，并且执行转码命令实现拉流转码。在拉流转码过程中，需要监听网络超时异常，当由于网络问题导致断开连接时，需要关闭拉流，并且需要处理标准输出和标准错误，在监听标准输出或标准错误时，若时间超过15s(时间可设置)，则触发网络超时异常，关闭拉流。
客户端进行连接，通过输入流，获取flv数据，通过websocket-flv或者http-flv客户端，将数据发送到前端。若关闭视频播放器，则关闭与后端客户端连接，后端客户端创建线程，监听客户端连接，若客户端被断开连接，则停止推送流给前端。
hls实现播放流程如图3所示，hls的业务逻辑与flv相似，其业务流程如上图所示，简单描述就是，前端选择rstp流时先开启hls切片，否则无法播放，前端播放的是后端切片后的ts文件，由于ts文件按照固定间隔切片，比如每10秒切一个，则后端需要循环请求后端获取ts文件，当关闭前端播放器，则不再请求后端ts文件，关闭拉流推送。
hls拉流流程图如图4所示，hls拉流，由于视频编码不同，需要统一编码，则构建拉流转码命令，进行拉流，并且再拉流命令中，将生成的.m3u8文件作为入参，调用接口将ts文件缓存到对象中，当前端需要播放时，只需获取这个对象，就能拿到缓存的ts文件。
以上两种拉流中，有判断流格式和执行转码命令两个过程步骤，具体来说是H265转H264的过程。在此过程中，会优先检测视频编码是否是H265，如下图5所示，如果是H264编码，则直接完成转码命令。如果检测到是H265编码，则会先检测运行的硬件，硬件支持GPU解码，则调用GPU硬解码为H264，如果运行硬件不支持，则采用CPU软解码，解码为H264的视频流，完成转码命令。
本发明将不同厂家的rstp视频流拉流后，以flv、hls等浏览器支持的协议推流，并提供统一的访问格式。
提供永久播放和按需播放，永久播放则直接启动拉流器进行拉流，观看视频时无需再次拉流，但是未播放过的视频，不通过关闭拉流接口，则一直拉流。按需播放，则在播放视频时，才启动拉流器，未播放视频则不会自动拉流，会自动判断无人播放，停止推流到前端，且关闭拉流器，当网络连接超时，会自动断开连接。

Claims (8)

1.一种基于楼宇监控视频无插件化使用的方法，其特征在于：采用拉流器对选择的视频进行拉流处理，将视频转换为浏览器可以直接播放的视频流并推送至前端进行播放；与此同时，通过检测视频流的编码，将H265编码的视频流转码为H264编码。
2.根据权利要求1所述的一种基于楼宇监控视频无插件化使用的方法，其特征在于：在对视频流进行拉流处理后，再次对外提供统一格式的推流地址。
3.根据权利要求1所述的一种基于楼宇监控视频无插件化使用的方法，其特征在于：当检测到无人观看视频时，自动断开拉流和推流操作。
4.根据权利要求1所述的一种基于楼宇监控视频无插件化使用的方法，其特征在于，解码的具体过程为：1)先检测视频流的编码格式；2)当检测到视频流为H265编码格式时，检测运行的硬件；3)若硬件支持GPU解码，则采用GPU将H265编码格式硬解码为H264编码格式；若硬件不支持GPU解码，则采用CPU软解码方式将H265编码格式硬解码为H264编码格式。
5.根据权利要求1所述的一种基于楼宇监控视频无插件化使用的方法，其特征在于，当采用flv实现视频播放时，具体过程包括以下步骤：
f1)选择待播放的视频：
f2)判断该视频是否启动拉流操作：若已经启动拉流操作，则进入下一步；若未启动拉流操作，则启动拉流器，进行拉流操作：
f3)将完成拉流操作的视频流添加至flv客户端，并将视频流发送至前端播放器进行播放；
f4)当停止观看时，关闭前端播放器；
f5)随后，后端客户端创建线程，监听后端客户端连接，若后端客户端被断开连接，则停止推送视频流给前端播放器。
6.根据权利要求5所述的一种基于楼宇监控视频无插件化使用的方法，其特征在于，采用flv实现视频播放时，拉流操作的具体过程为：首先构建拉流转码命令，并且执行转码转码命令实现拉流转码；在拉流转码过程中，需要监听网络超时异常，当出现由于网络问题导致断开连接时，需要关闭拉流，并且需要处理标准输出和标准错误，在监听标准输出或标准错误时，若时间超过设定时间，则触发网络超时异常，关闭拉流；
在与前端客户端进行连接时，通过输入视频流，获取flv数据，通过websocket-flv或者http-flv客户端，将flv数据发送到前端客户端；
当关闭前端播放器时，就关闭了前端播放器与后端客户端之间的连接；后端客户端就会创建线程，监听与前端客户端的连接，若前客户端断开连接，则停止推送流给前端客户端。
7.根据权利要求1所述的一种基于楼宇监控视频无插件化使用的方法，其特征在于，当采用hls方式实现视频播放时，具体过程为：
H1)选择待播放的视频；
H2)启动拉流器进行拉流操作，得到视频流；
H3)前端循环请求获取后端的ts文件；
H3)后端通过ts文件名，将ts文件推送至前端，实现视频的播放；
前端选择视频流时，需先开启hls切片。
8.根据权利要求7所述的一种基于楼宇监控视频无插件化使用的方法，其特征在于，采用hls方式实现视频播放时，拉流操作的具体过程为：先构建拉流转码命令，进行拉流操作；并且在拉流命令中，将生成的.m3u8文件作为入参，调用接口将ts文件缓存到对象中，当前端需要播放时，只需获取这个对象，就能拿到缓存的ts文件。
CN202210997717.2A 2022-08-19 2022-08-19 一种基于楼宇监控视频无插件化使用的方法 Pending CN115442641A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210997717.2A CN115442641A (zh) 2022-08-19 2022-08-19 一种基于楼宇监控视频无插件化使用的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210997717.2A CN115442641A (zh) 2022-08-19 2022-08-19 一种基于楼宇监控视频无插件化使用的方法

Publications (1)

Publication Number Publication Date
CN115442641A true CN115442641A (zh) 2022-12-06

Family

ID=84242448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210997717.2A Pending CN115442641A (zh) 2022-08-19 2022-08-19 一种基于楼宇监控视频无插件化使用的方法

Country Status (1)

Country Link
CN (1) CN115442641A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740791B1 (en) * 2014-09-23 2017-08-22 Amazon Technologies, Inc. Browser as a service
CN110446010A (zh) * 2019-08-02 2019-11-12 江西航天鄱湖云科技有限公司 基于web的视频监控方法、装置、存储介质、服务器及系统
CN111355979A (zh) * 2020-03-09 2020-06-30 联通沃音乐文化有限公司 一种在线音频快速播放系统和方法
CN113556579A (zh) * 2021-06-07 2021-10-26 武汉众智数字技术有限公司 一种基于HTML5的web无插件播放安防实时视频的方法
CN114900719A (zh) * 2022-04-29 2022-08-12 广东博思信息技术股份有限公司 一种基于html5播放监控设备实时视频的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9740791B1 (en) * 2014-09-23 2017-08-22 Amazon Technologies, Inc. Browser as a service
CN110446010A (zh) * 2019-08-02 2019-11-12 江西航天鄱湖云科技有限公司 基于web的视频监控方法、装置、存储介质、服务器及系统
CN111355979A (zh) * 2020-03-09 2020-06-30 联通沃音乐文化有限公司 一种在线音频快速播放系统和方法
CN113556579A (zh) * 2021-06-07 2021-10-26 武汉众智数字技术有限公司 一种基于HTML5的web无插件播放安防实时视频的方法
CN114900719A (zh) * 2022-04-29 2022-08-12 广东博思信息技术股份有限公司 一种基于html5播放监控设备实时视频的方法及系统

Similar Documents

Publication Publication Date Title
US10250664B2 (en) Placeshifting live encoded video faster than real time
US9479737B2 (en) Systems and methods for event programming via a remote media player
JP6352191B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112752115B (zh) 直播数据传输方法、装置、设备及介质
US20150007237A1 (en) On the fly transcoding of video on demand content for adaptive streaming
US20090300701A1 (en) Area of interest processing of video delivered to handheld device
US10051026B2 (en) Real-time transcode transfer method and system based on HTTP under DLNA
US20070028278A1 (en) System and method for providing pre-encoded audio content to a television in a communications network
US7844723B2 (en) Live content streaming using file-centric media protocols
US20140139735A1 (en) Online Media Data Conversion Method, Online Video Playing Method and Corresponding Device
US10567825B2 (en) Cloud DVR storage
US20110138429A1 (en) System and method for delivering selections of multi-media content to end user display systems
CN106464933B (zh) 用于远程控制对多媒体内容的渲染的设备和方法
US11563962B2 (en) Seamless content encoding and transmission
CN108494792A (zh) 一种flash播放器播放hls视频流的转换系统及其工作方法
US20240056637A1 (en) Performing Trick Plays of Segmented Video Content
US20120084435A1 (en) Smart Real-time Content Delivery
CN105430510A (zh) 一种视频点播方法、网关、智能终端及视频点播系统
US20140036990A1 (en) System and method for optimizing a video stream
CN115442641A (zh) 一种基于楼宇监控视频无插件化使用的方法
CN116233490A (zh) 视频合成方法、系统、装置、电子设备及存储介质
CN113556612A (zh) 一种浏览器上播放h.265视频流的方法及系统
US9219948B2 (en) Method and system for compression and decompression for handling web content
US20110162023A1 (en) Method and system for providing correlated advertisement for complete internet anywhere
US11412309B2 (en) Method for managing the connections of an electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination