CN109327727A - 一种WebRTC中的直播流处理方法及推流客户端 - Google Patents

一种WebRTC中的直播流处理方法及推流客户端 Download PDF

Info

Publication number
CN109327727A
CN109327727A CN201811385153.7A CN201811385153A CN109327727A CN 109327727 A CN109327727 A CN 109327727A CN 201811385153 A CN201811385153 A CN 201811385153A CN 109327727 A CN109327727 A CN 109327727A
Authority
CN
China
Prior art keywords
watermark
picture
interim
label
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811385153.7A
Other languages
English (en)
Other versions
CN109327727B (zh
Inventor
林新建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201811385153.7A priority Critical patent/CN109327727B/zh
Priority to PCT/CN2018/120099 priority patent/WO2020103218A1/zh
Priority to US17/285,747 priority patent/US20220007083A1/en
Priority to EP18940831.3A priority patent/EP3883256A4/en
Publication of CN109327727A publication Critical patent/CN109327727A/zh
Application granted granted Critical
Publication of CN109327727B publication Critical patent/CN109327727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16—Program or content traceability, e.g. by watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4396—Processing of audio elementary streams by muting the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627—Rights management associated to the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91335—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种WebRTC中的直播流处理方法及推流客户端，其中，所述方法包括：采集原始直播流，并将所述原始直播流加载至临时视频标签中，以通过所述临时视频标签播放所述原始直播流；创建临时图片标签，并将预设水印图片加载至所述临时图片标签中；创建临时绘制标签，并将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中；获取所述临时绘制标签对应的画布视频流，并基于所述画布视频流和所述原始直播流，生成添加了水印的水印直播流，所述水印直播流用于通过WebRTC连接被发送至资源服务器。本申请提供的技术方案，能够给WebRTC通信中的直播视频流添加对应的版权信息。

Description

一种WebRTC中的直播流处理方法及推流客户端
技术领域
本发明涉及互联网技术领域，特别涉及一种WebRTC中的直播流处理方法及推流客户端。
背景技术
随着互联网技术和终端设备的不断发展，实时的视频通信越来越受到人们的青睐。WebRTC(Web Real-Time Communication，源自网页实时通信)协议由于具有跨平台、高实时性的特点，被广泛用于基于网络的视频会议、视频通话等应用场景，并且WebRTC的出现使得在页面端实现一套直播互动的解决方案变得极其简单。推流客户端在录制直播视频流之后，可以通过WebRTC连接将直播视频流的数据包推送至资源服务器，后续拉流客户端同样可以基于WebRTC连接从资源服务器处获取直播视频流，从而实现具备低延时的视频直播功能。
然而，WebRTC在给用户带来便利的同时，直播视频流的版权问题也日益凸显。很多直播视频流在传输过程中，可能会被不法分子盗取，并在其它平台上播放。因此，目前亟需一种能够体现直播视频流版权的方法。
发明内容
本申请的目的在于提供一种WebRTC中的直播流处理方法及推流客户端，能够给WebRTC通信中的直播视频流添加对应的版权信息。
为实现上述目的，本申请一方面提供一种WebRTC中的直播流处理方法，所述方法应用于推流客户端中，所述方法包括：采集原始直播流，并将所述原始直播流加载至临时视频标签中，以通过所述临时视频标签播放所述原始直播流；创建临时图片标签，并将预设水印图片加载至所述临时图片标签中；创建临时绘制标签，并将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中；获取所述临时绘制标签对应的画布视频流，并基于所述画布视频流和所述原始直播流，生成添加了水印的水印直播流，所述水印直播流用于通过WebRTC连接被发送至资源服务器。
为实现上述目的，本申请另一方面还提供一种推流客户端，所述推流客户端包括：原始直播流采集单元，用于采集原始直播流，并将所述原始直播流加载至临时视频标签中，以通过所述临时视频标签播放所述原始直播流；水印图片加载单元，用于创建临时图片标签，并将预设水印图片加载至所述临时图片标签中；图片绘制单元，用于创建临时绘制标签，并将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中；水印直播流生成单元，用于获取所述临时绘制标签对应的画布视频流，并基于所述画布视频流和所述原始直播流，生成添加了水印的水印直播流，所述水印直播流用于通过WebRTC连接被发送至资源服务器。
为实现上述目的，本申请另一方面还提供一种推流客户端，所述推流客户端包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的方法。
由上可见，本申请提供的技术方案，推流客户端在采集到原始直播流后，可以将该原始直播流加载于预先创建的临时视频标签中，该临时视频标签可以自动播放所述原始直播流。在本申请中，可以通过向原始直播流中添加水印图片的方式，来显示该原始直播流的版权。具体地，通过创建临时图片标签，可以将预设水印图片加载至该临时图片标签处，后续，可以基于创建的临时绘制标签，依次从临时视频标签和临时图片标签中分别获取原始视频流的当前视频帧和预设水印图片，并将当前视频帧和预设水印图片依次绘制于该临时绘制标签中，从而针对每一帧视频画面，都可以添加对应的预设水印图片。这样，临时绘制标签中会不断产生添加了水印图片的视频帧，这些视频帧便可以构成画布直播流。最终，基于所述画布视频流和所述原始直播流，便可以生成添加了水印的水印直播流，该水印直播流可以通过WebRTC连接推送至资源服务器。这样，后续在网络中传输的直播视频流都会带有预设水印图片，从而体现了直播视频流的版权信息。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施方式中推流客户端的界面示意图；
图2是本发明实施方式中直播流处理方法的步骤示意图；
图3是本发明实施方式中临时视频标签的工作示意图；
图4是本发明实施方式中WebWorker的工作示意图；
图5是本发明实施方式中水印直播流的推送示意图；
图6是本发明实施方式中直播流处理的流程示意图；
图7是本发明实施方式中推流客户端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本申请提供一种WebRTC中的直播流处理方法，所述方法可以被应用于推流客户端中。所述推流客户端可以是视频主播所使用的具备图像和语音采集功能的电子设备。所述电子设备例如可以是智能手机、平板电脑、笔记本电脑、个人计算机、智能可穿戴设备(虚拟现实眼镜、智能手表)等。当然，所述推流客户端还可以是运行于上述电子设备中的软件。例如，所述推流客户端可以是App(Application，应用程序)、浏览器、SDK(SoftwareDevelopment Kit，软件开发工具包)等。
请参阅图1，在一个实施方式中，所述推流客户端的界面中可以包括推流区域和显示区域，其中，所述推流区域中可以分布一些按键或者文本框等常见的网页元素，这些网页元素可以与主播进行交互，从而实现直播视频流的采集和推送。所述显示区域中则可以展示最终向资源服务器推送的直播视频流的画面，以便主播实时关注向外推送的视频画面是否合适。该推送的直播视频流可以是已经添加了版权信息的直播视频流。
请参阅图2，本申请提供的WebRTC中的直播流处理方法，可以包括以下步骤。
S1：采集原始直播流，并将所述原始直播流加载至临时视频标签中，以通过所述临时视频标签播放所述原始直播流。
请结合图3，在本实施方式中，推流客户端可以通过浏览器提供的getUserMedia接口，启动推流客户端内置或者外接的摄像头和麦克风，采集主播的实时视频画面，从而生成原始直播流，该原始直播流中可以包括同步的视频轨道和音频轨道。
在采集到所述原始直播流后，推流客户端内部可以创建临时视频(Video)标签，该临时视频标签可以用于播放所述原始直播流。具体地，在创建临时视频标签时，可以指定该临时视频标签的名称。例如，所述临时视频标签的名称可以是TV。此外，还可以设置该临时视频标签的各项播放属性。例如，由于对原始视频流的处理实际是在后台进行的，因此不应当在页面前端显示画面和声音，因此可以将该临时视频标签的播放音量调为0，从而可以静音播放所述原始直播流。同时，还可以将该临时视频标签设置为不可见(隐藏)，这样，用户无法从外部直接观看到播放的原始直播流。此外，还可以将该临时视频标签的播放模式设置为自动播放，一旦该临时视频标签加载了原始直播流，便可以自动播放，无需主播再去触发播放的按键。当然，在实际应用中，为了使得临时视频标签在播放原始直播流时不会出现显示异常，还可以读取原始视频流的尺寸信息，并将读取的尺寸信息同步地配置到临时视频标签上。该尺寸信息例如可以是原始直播流中视频画面的宽和高，宽和高均可以通过像素点的数量来表示。经过上述的设置，采集的原始直播流便可以同步在临时视频标签内进行静音播放。
S3：创建临时图片标签，并将预设水印图片加载至所述临时图片标签中。
在本实施方式中，可以通过嵌入预设水印图片的方式，在原始直播流中标注主播的版权信息。所述预设水印图片可以是主播设置的，也可以是推流客户端按照主播的信息随机生成的。所述预设水印图片可以具备自身的加载地址，所述加载地址例如可以是图片的URL(Uniform Resource Locator，统一资源定位符)，也可以是图片在推流客户端中的存储路径。这样，在推流客户端中可以创建临时图片(Image)标签，该临时图片标签可以用于加载所述预设水印图片。具体地，可以将所述预设水印图片的加载地址关联至所述临时图片标签中，从而使得所述临时图片标签按照所述加载地址加载所述预设水印图片。
在创建临时图片标签时，可以指定该临时图片标签的名称。例如，所述临时图片标签的名称可以是TIM。此外，还可以设置该临时图片标签的图片展示属性。例如，可以在所述临时图片标签中设置所述预设水印图片的展示尺寸以及所述预设水印图片在视频画面中所处的位置信息。其中，所述展示尺寸可以通过宽和高来表示，该宽和高均可以通过像素点的数量来表示。所述位置信息则可以表征所述预设水印图片在视频画面中展示时，左上角顶点对应的坐标值。所述坐标值是在视频画面的坐标系中确定的，并且该坐标值可以包括横坐标值和纵坐标值，所述横坐标值和纵坐标值均可以通过像素点的序号来表示。举例来说，原始直播流的视频画面的宽和高分别为TCW和TCH，该原始直播流的视频画面的左上角顶点的坐标值为(0,0)，那么右下角顶点的坐标值便可以是(TCW-1，TCH-1)。在这样的坐标系中，可以识别所述预设水印图片的左上角顶点对应的坐标值，从而可以将该坐标值作为预设水印图片在视频画面中所处的位置信息。这样，根据所述位置信息和所述展示尺寸，便可以在视频画面中唯一确定出预设水印图片所占的区域。
S5：创建临时绘制标签，并将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中。
在本实施方式中，在将原始直播流和预设水印图片都通过各自的标签进行播放和展示后，便可以针对原始直播流的每一帧视频画面，添加对应的预设水印图片。具体地，在推流客户端内部可以创建临时绘制(Canvas)标签，该临时绘制标签的作用是依次绘制原始直播流的视频帧和预设水印图片，这样，原始直播流的视频帧位于临时绘制标签的下层，而预设水印图片位于临时绘制标签的上层，从而可以产生在视频帧上覆盖了预设水印图片的视觉效果。
在本实施方式中，为了依次绘制视频帧和预设水印图片，可以调用所述临时绘制标签中用于返回绘图环境的预设指令，所述预设指令例如可以是getContext()指令，所述getContext()指令可以返回一个用于在画布上绘图的环境。若要正常使用该指令，需要指定在画布上绘制的类型。具体地，在本实施方式中，绘制的类型为2d平面图像，那么该绘制的类型可以通过表征平面图像的参数来表示。例如，所述参数可以是“2d”。这样，在向所述预设指令传递用于表征平面图像的参数后，便可以获取所述临时视频标签对应的平面图像渲染对象CanvasRenderingContext2D。在一个应用示例中，所述平面图像渲染对象可以通过以下方式来表示：
TCC＝TC.getContext(“2d”)
其中，TCC表示所述平面图像渲染对象的名称，TC表示所述临时绘制标签的名称，2d则可以表示所述表征平面图像的参数。
在本实施方式中，获取所述平面图像渲染对象后，可以通过所述平面图像渲染对象依次从所述临时视频标签和所述临时图片标签中分别获取所述当前视频帧和所述预设水印图片，并将获取的所述当前视频帧和所述预设水印图片绘制到所述临时绘制标签中。在一个应用示例中，所述平面图像渲染对象可以通过drawImage的绘图指令，依次向临时绘制标签中绘制所述当前视频帧和所述预设水印图片。具体地，可以按照以下方式通过平面图像渲染对象的绘图指令进行图片绘制：
TCC.drawImage(TV,0,0,TCW,TCH)
TCC.drawImage(TIM,WX,WY,WW,WH)
其中，TV表示所述临时视频标签的名称，(0,0)则表示当前视频帧的左上角顶点的坐标值，TCW和TCH分别表示所述当前视频帧的宽和高；TIM则表示所述临时图片标签的名称，(WX,WY)则表示所述预设水印图片的左上角顶点在当前视频帧的坐标系中的坐标值，WW和WH分别表示所述预设水印图片的宽和高。
由此可见，可以在所述平面图像渲染对象中标注所述临时视频标签TV、所述原始视频流中视频帧的尺寸信息(TCW和TCH)以及所述原始视频流中视频帧的起始位置信息(0，0)，从而从所述临时视频标签中获取所述当前视频帧。同理，可以在所述平面图像渲染对象中标注所述临时图片标签TIM、所述预设水印图片的尺寸信息(WW和WH)以及所述预设水印图片的起始位置信息(WX，WY)，从而可以从所述临时图片标签中获取所述预设水印图片。最终，可以将获取的所述当前视频帧和所述预设水印图片依次绘制到所述临时绘制标签中，从而形成覆盖了预设水印图片的当前视频帧。
请参阅图4，在一个实施方式中，上述对当前视频帧添加预设水印图片的过程，可以通过浏览器提供的页面工作对象WebWorker完成。具体地，推流客户端可以在内部调用浏览器提供的页面工作对象WebWorker，并通过所述页面工作对象WebWorker创建一个多线程MT，此外还可以预先准备与该多线程相对应的多线程脚本MTJS，并且在多线程脚本MTJS中编写好对应的预设业务逻辑。这样，在启动所述多线程MT后，可以通过所述多线程MT向预设脚本MTJS传递表征添加水印的指令，该指令中可以通过以下方式表示：
MT.postMessage(params)
其中，postMessage则可以表示所述表征添加水印的指令，params则可以表示该指令中携带的参数。
所述预设脚本MTJS接收到该指令后，可以响应于所述表征添加水印的指令，执行预先编写的所述预设业务逻辑，在执行完所述预设业务逻辑之后，便可以向所述多线程反馈通知信息。该通知信息可以表示预设脚本MTJS当前已经执行完成自身的业务逻辑，多线程MT可以开始进行添加水印的流程。这样，所述多线程MT响应于所述通知信息，可以将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中。
S7：获取所述临时绘制标签对应的画布视频流，并基于所述画布视频流和所述原始直播流，生成添加了水印的水印直播流，所述水印直播流用于通过WebRTC连接被发送至资源服务器。
在本实施方式中，所述临时绘制标签中可以按照上述的方式，不断产生添加了预设水印图片的视频帧，这些视频帧便可以构成画布视频流。由于临时绘制标签中只能进行视频画面的处理，而无法添加对应的音频信息。因此，可以将所述画布视频流与原始直播流的音频信息进行结合，从而形成具备声画信息的水印直播流。具体地，可以从所述原始直播流中提取音频轨道，并从所述画布视频流中提取视频轨道，然后将所述音频轨道和所述视频轨道合并，从而生成添加了水印的水印直播流。在一个应用示例中，可以通过以下指令获取原始直播流的音频轨道：
AT＝OS.getAudioTracks()[0]
其中，AT表示提取的音频轨道，OS表示原始直播流的名称，getAudioTracks()表示提取音频轨道的指令，0表示首个可用的音频轨道。
此外，可以通过以下指令提取画布视频流的视频轨道：
VT＝CS.getVideoTracks()[0]
其中，VT表示提取的视频轨道，CS表示画布视频流的名称，getVudioTracks()表示提取视频轨道的指令，0表示首个可用的视频轨道。
在提取到视频轨道和音频轨道后，可以按照以下方式，利用浏览器提供的MediaStream指令，将所述音频轨道和所述视频轨道合并为水印直播流：
WS＝MediaStream([AT,VT])
其中，WS表示合并后的水印直播流的名称。
在本实施方式中，在生成所述水印直播流之后，便可以将所述水印直播流通过WebRTC连接推送至资源服务器。具体地，请参阅图5，推流客户端可以利用浏览器提供的用于维护WebRTC连接的接口RTCPeerConnection创建连接对象Peer，并将所述水印直播流加入所述连接对象Peer中。然后，所述连接对象Peer便可以与资源服务器建立WebRTC连接，并通过所述WebRTC连接向所述资源服务器推送所述水印直播流的数据包。具体地，资源服务器可以开启UDP(User Datagram Protocol，用户数据报协议)端口或TCP(TransmissionControl Protocol，传输控制协议)端口等待推流客户端推送的数据包。这样，推流客户端便可以实时向资源服务器的UDP端口或TCP端口发送水印直播流的音视频数据包。
在一个实施方式中，推流客户端在生成水印直播流之后，可以将该水印直播流实时展示在如图1所示的显示区域中。具体地，请结合图6，在生成所述水印直播流后，推流客户端可以创建显示视频标签，并将所述水印直播流加载至所述显示视频标签中。其中，该显示视频标签的播放属性可以设置为可见，这样，主播在外部便可以直接观看到水印直播流的画面。然后，推流客户端可以创建内部容器(内部div，内部division)，并将所述显示视频标签中加载的水印直播流展示于所述内部容器(内部div)中。然后，浏览器页面可以通过回调展示所述水印直播流的所述内部容器(内部div)，从而将展示所述水印直播流的所述内部容器(内部div)填充于预先在所述浏览器页面中设置的外部容器(页面div)内。所述外部容器(页面div)可以在图1所示的显示区域中自定义画面展示的效果样式。由上可见，在图6中，临时视频标签中的内容是无法从外部观看到的，并且设置的是静音播放，其主要作用是在静音播放原始直播流时，由平面图像绘制对象捕捉一帧一帧的视频画面。而显示视频标签中的水印直播流可以在显示区域中被看到，从而可以用于预览添加了水印的视频画面。所述内部div的作用是用于存放水印直播流，并且可以被回调至页面端。而在页面端的显示区域中预先设置的页面div，则可以将内部div嵌入其中，从而可以在显示区域中展示出最终的水印直播流的视频画面。
本申请还提供一种推流客户端，所述推流客户端包括：
原始直播流采集单元，用于采集原始直播流，并将所述原始直播流加载至临时视频标签中，以通过所述临时视频标签播放所述原始直播流；
水印图片加载单元，用于创建临时图片标签，并将预设水印图片加载至所述临时图片标签中；
图片绘制单元，用于创建临时绘制标签，并将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中；
水印直播流生成单元，用于获取所述临时绘制标签对应的画布视频流，并基于所述画布视频流和所述原始直播流，生成添加了水印的水印直播流，所述水印直播流用于通过WebRTC连接被发送至资源服务器。
在一个实施方式中，所述水印图片加载单元包括：
地址关联模块，用于将所述预设水印图片的加载地址关联至所述临时图片标签中，以使得所述临时图片标签按照所述加载地址加载所述预设水印图片。
在一个实施方式中，所述图片绘制单元包括：
页面工作对象调用模块，用于调用浏览器提供的页面工作对象，并通过所述页面工作对象创建多线程；
指令传递模块，用于启动所述多线程，以通过所述多线程向预设脚本传递表征添加水印的指令；其中，所述预设脚本响应于所述表征添加水印的指令，执行完预设业务逻辑后，向所述多线程反馈通知信息，以使得所述多线程响应于所述通知信息，将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中。
在一个实施方式中，所述图片绘制单元包括：
平面图像渲染对象获取模块，用于调用所述临时绘制标签中用于返回绘图环境的预设指令，并向所述预设指令传递用于表征平面图像的参数，以获取所述临时绘制标签对应的平面图像渲染对象；
绘制模块，用于通过所述平面图像渲染对象依次从所述临时视频标签和所述临时图片标签中分别获取所述当前视频帧和所述预设水印图片，并将获取的所述当前视频帧和所述预设水印图片绘制到所述临时绘制标签中。
在一个实施方式中，所述绘制模块包括：
视频信息标注模块，用于在所述平面图像渲染对象中标注所述临时视频标签、所述原始视频流中视频帧的尺寸信息以及所述原始视频流中视频帧的起始位置信息，以从所述临时视频标签中获取所述当前视频帧；
图片信息标注模块，用于在所述平面图像渲染对象中标注所述临时图片标签、所述预设水印图片的尺寸信息以及所述预设水印图片的起始位置信息，以从所述临时图片标签中获取所述预设水印图片。
请参阅图7，本申请还提供一种推流客户端，所述推流客户端包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，可以实现上述的WebRTC中的直播流处理方法。具体地，如图7所示，在硬件层面，该推流客户端可以包括处理器、内部总线和存储器。所述存储器可以包括内存以及非易失性存储器。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行。本领域普通技术人员可以理解，图7所示的结构仅为示意，其并不对上述识别装置的结构造成限定。例如，所述推流客户端还可包括比图7中所示更多或者更少的组件，例如还可以包括其他的处理硬件，如GPU(GraphicsProcessing Unit，图像处理器)，或者具有与图7所示不同的配置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等。
在本实施方式中，所述的处理器可以包括中央处理器(CPU)或图形处理器(GPU)，当然也可以包括其他的具有逻辑处理能力的单片机、逻辑门电路、集成电路等，或其适当组合。本实施方式所述的存储器可以是用于保存信息的记忆设备。在数字系统中，能保存二进制数据的设备可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也可以为存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也可以叫存储器等。实现的时候，该存储器也可以采用云存储器的方式实现，具体实现方式，本说明书不错限定。
需要说明的是，本说明书中的推流客户端，具体的实现方式可以参照方法实施方式的描述，在此不作一一赘述。
由上可见，本申请提供的技术方案，推流客户端在采集到原始直播流后，可以将该原始直播流加载于预先创建的临时视频标签中，该临时视频标签可以自动播放所述原始直播流。在本申请中，可以通过向原始直播流中添加水印图片的方式，来显示该原始直播流的版权。具体地，通过创建临时图片标签，可以将预设水印图片加载至该临时图片标签处，后续，可以基于创建的临时绘制标签，依次从临时视频标签和临时图片标签中分别获取原始视频流的当前视频帧和预设水印图片，并将当前视频帧和预设水印图片依次绘制于该临时绘制标签中，从而针对每一帧视频画面，都可以添加对应的预设水印图片。这样，临时绘制标签中会不断产生添加了水印图片的视频帧，这些视频帧便可以构成画布直播流。最终，基于所述画布视频流和所述原始直播流，便可以生成添加了水印的水印直播流，该水印直播流可以通过WebRTC连接推送至资源服务器。这样，后续在网络中传输的直播视频流都会带有预设水印图片，从而体现了直播视频流的版权信息。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种WebRTC中的直播流处理方法，其特征在于，所述方法应用于推流客户端中，所述方法包括：
采集原始直播流，并将所述原始直播流加载至临时视频标签中，以通过所述临时视频标签播放所述原始直播流；
创建临时图片标签，并将预设水印图片加载至所述临时图片标签中；
创建临时绘制标签，并将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中；
获取所述临时绘制标签对应的画布视频流，并基于所述画布视频流和所述原始直播流，生成添加了水印的水印直播流，所述水印直播流用于通过WebRTC连接被发送至资源服务器。
2.根据权利要求1所述的方法，其特征在于，通过所述临时视频标签播放所述原始直播流包括：
将所述临时视频标签设置为不可见，并通过所述临时视频标签静音播放所述原始直播流。
3.根据权利要求1所述的方法，其特征在于，将预设水印图片加载至所述临时图片标签中包括：
将所述预设水印图片的加载地址关联至所述临时图片标签中，以使得所述临时图片标签按照所述加载地址加载所述预设水印图片。
4.根据权利要求1或3所述的方法，其特征在于，将预设水印图片加载至所述临时图片标签中时，所述方法还包括：
在所述临时图片标签中设置所述预设水印图片的展示尺寸以及所述预设水印图片在视频画面中所处的位置信息。
5.根据权利要求1所述的方法，其特征在于，将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中包括：
调用浏览器提供的页面工作对象，并通过所述页面工作对象创建多线程；
启动所述多线程，以通过所述多线程向预设脚本传递表征添加水印的指令；其中，所述预设脚本响应于所述表征添加水印的指令，执行完预设业务逻辑后，向所述多线程反馈通知信息；
所述多线程响应于所述通知信息，将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中。
6.根据权利要求1或5所述的方法，其特征在于，将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中包括：
调用所述临时绘制标签中用于返回绘图环境的预设指令，并向所述预设指令传递用于表征平面图像的参数，以获取所述临时绘制标签对应的平面图像渲染对象；
通过所述平面图像渲染对象依次从所述临时视频标签和所述临时图片标签中分别获取所述当前视频帧和所述预设水印图片，并将获取的所述当前视频帧和所述预设水印图片绘制到所述临时绘制标签中。
7.根据权利要求6所述的方法，其特征在于，通过所述平面图像渲染对象依次从所述临时视频标签和所述临时图片标签中分别获取所述当前视频帧和所述预设水印图片包括：
在所述平面图像渲染对象中标注所述临时视频标签、所述原始视频流中视频帧的尺寸信息以及所述原始视频流中视频帧的起始位置信息，以从所述临时视频标签中获取所述当前视频帧；
在所述平面图像渲染对象中标注所述临时图片标签、所述预设水印图片的尺寸信息以及所述预设水印图片的起始位置信息，以从所述临时图片标签中获取所述预设水印图片。
8.根据权利要求1所述的方法，其特征在于，基于所述画布视频流和所述原始直播流，生成添加了水印的水印直播流包括：
从所述原始直播流中提取音频轨道，并从所述画布视频流中提取视频轨道；
将所述音频轨道和所述视频轨道合并，以生成添加了水印的水印直播流。
9.根据权利要求1所述的方法，其特征在于，在生成添加了水印的水印直播流之后，所述方法还包括：
利用浏览器提供的用于维护WebRTC连接的接口创建连接对象，并将所述水印直播流加入所述连接对象中；
所述连接对象与资源服务器建立WebRTC连接，并通过所述WebRTC连接向所述资源服务器推送所述水印直播流的数据包。
10.根据权利要求1所述的方法，其特征在于，在生成添加了水印的水印直播流之后，所述方法还包括：
创建显示视频标签，并将所述水印直播流加载至所述显示视频标签中；
创建内部容器，并将所述显示视频标签中加载的水印直播流展示于所述内部容器中；
浏览器页面回调展示所述水印直播流的所述内部容器，以将展示所述水印直播流的所述内部容器填充于预先在所述浏览器页面中设置的外部容器内。
11.一种推流客户端，其特征在于，所述推流客户端包括：
原始直播流采集单元，用于采集原始直播流，并将所述原始直播流加载至临时视频标签中，以通过所述临时视频标签播放所述原始直播流；
水印图片加载单元，用于创建临时图片标签，并将预设水印图片加载至所述临时图片标签中；
图片绘制单元，用于创建临时绘制标签，并将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中；
水印直播流生成单元，用于获取所述临时绘制标签对应的画布视频流，并基于所述画布视频流和所述原始直播流，生成添加了水印的水印直播流，所述水印直播流用于通过WebRTC连接被发送至资源服务器。
12.根据权利要求11所述的推流客户端，其特征在于，所述水印图片加载单元包括：
地址关联模块，用于将所述预设水印图片的加载地址关联至所述临时图片标签中，以使得所述临时图片标签按照所述加载地址加载所述预设水印图片。
13.根据权利要求11所述的推流客户端，其特征在于，所述图片绘制单元包括：
页面工作对象调用模块，用于调用浏览器提供的页面工作对象，并通过所述页面工作对象创建多线程；
指令传递模块，用于启动所述多线程，以通过所述多线程向预设脚本传递表征添加水印的指令；其中，所述预设脚本响应于所述表征添加水印的指令，执行完预设业务逻辑后，向所述多线程反馈通知信息，以使得所述多线程响应于所述通知信息，将所述临时视频标签中的当前视频帧以及所述临时图片标签中的所述预设水印图片绘制到所述临时绘制标签中。
14.根据权利要求11或13所述的推流客户端，其特征在于，所述图片绘制单元包括：
平面图像渲染对象获取模块，用于调用所述临时绘制标签中用于返回绘图环境的预设指令，并向所述预设指令传递用于表征平面图像的参数，以获取所述临时绘制标签对应的平面图像渲染对象；
绘制模块，用于通过所述平面图像渲染对象依次从所述临时视频标签和所述临时图片标签中分别获取所述当前视频帧和所述预设水印图片，并将获取的所述当前视频帧和所述预设水印图片绘制到所述临时绘制标签中。
15.根据权利要求14所述的推流客户端，其特征在于，所述绘制模块包括：
视频信息标注模块，用于在所述平面图像渲染对象中标注所述临时视频标签、所述原始视频流中视频帧的尺寸信息以及所述原始视频流中视频帧的起始位置信息，以从所述临时视频标签中获取所述当前视频帧；
图片信息标注模块，用于在所述平面图像渲染对象中标注所述临时图片标签、所述预设水印图片的尺寸信息以及所述预设水印图片的起始位置信息，以从所述临时图片标签中获取所述预设水印图片。
16.一种推流客户端，其特征在于，所述推流客户端包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至10中任一所述的方法。
CN201811385153.7A 2018-11-20 2018-11-20 一种WebRTC中的直播流处理方法及推流客户端 Active CN109327727B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811385153.7A CN109327727B (zh) 2018-11-20 2018-11-20 一种WebRTC中的直播流处理方法及推流客户端
PCT/CN2018/120099 WO2020103218A1 (zh) 2018-11-20 2018-12-10 一种WebRTC中的直播流处理方法及推流客户端
US17/285,747 US20220007083A1 (en) 2018-11-20 2018-12-10 Method and stream-pushing client for processing live stream in webrtc
EP18940831.3A EP3883256A4 (en) 2018-11-20 2018-12-10 METHOD OF PROCESSING A LIVE STREAM AT A WEBRTC AND STREAM PUSHING CLIENT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811385153.7A CN109327727B (zh) 2018-11-20 2018-11-20 一种WebRTC中的直播流处理方法及推流客户端

Publications (2)

Publication Number Publication Date
CN109327727A true CN109327727A (zh) 2019-02-12
CN109327727B CN109327727B (zh) 2020-11-27

Family

ID=65258411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811385153.7A Active CN109327727B (zh) 2018-11-20 2018-11-20 一种WebRTC中的直播流处理方法及推流客户端

Country Status (4)

Country Link
US (1) US20220007083A1 (zh)
EP (1) EP3883256A4 (zh)
CN (1) CN109327727B (zh)
WO (1) WO2020103218A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109982132A (zh) * 2019-04-23 2019-07-05 姚耀 一种音视频远程双录系统
CN110457624A (zh) * 2019-06-26 2019-11-15 网宿科技股份有限公司 视频生成方法、装置、服务器及存储介质
CN110536143A (zh) * 2019-07-11 2019-12-03 网宿科技股份有限公司 推流方法与电子设备
CN111031331A (zh) * 2019-11-25 2020-04-17 深圳智播科技有限公司 一种直播内容被多方控制的方法
CN111796818A (zh) * 2019-10-16 2020-10-20 厦门雅基软件有限公司 多媒体文件的制作方法、装置、电子设备及可读存储介质
CN111935443A (zh) * 2020-10-12 2020-11-13 融智通科技（北京）股份有限公司 一种视频会议实时直播分享到即时通讯工具的方法和装置
CN112333558A (zh) * 2020-10-27 2021-02-05 江苏税软软件科技有限公司 视频文件的水印处理方法
CN112616093A (zh) * 2020-12-14 2021-04-06 重庆紫光华山智安科技有限公司 一种视频水印添加方法、系统、介质及电子终端
US10984067B2 (en) 2019-06-26 2021-04-20 Wangsu Science & Technology Co., Ltd. Video generating method, apparatus, server, and storage medium
CN112839192A (zh) * 2021-01-20 2021-05-25 青岛以萨数据技术有限公司 基于浏览器的音视频通讯系统及方法
CN114222149A (zh) * 2021-11-17 2022-03-22 武汉斗鱼鱼乐网络科技有限公司 一种推流方法、装置、介质及计算机设备
US20220377116A1 (en) * 2021-05-21 2022-11-24 Technologies Crewdle Inc. Peer-to-peer conferencing system and method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734784B2 (en) * 2019-11-14 2023-08-22 Sony Interactive Entertainment Inc. Metadata watermarking for ‘nested spectating’
CN111343477B (zh) * 2020-03-09 2022-05-06 北京达佳互联信息技术有限公司 数据传输方法、装置、电子设备及存储介质
CN114584798A (zh) * 2022-03-02 2022-06-03 深圳禾苗通信科技有限公司 私人订制直播方法、装置、计算机设备及存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101115A1 (en) * 2011-10-19 2013-04-25 Playnsite, Llc Method, apparatus, and system for processing and delivering media content
CN103763578A (zh) * 2014-01-10 2014-04-30 北京酷云互动科技有限公司 一种节目关联信息推送方法和装置
CN103873954A (zh) * 2012-12-13 2014-06-18 航天信息股份有限公司 将不见数字水印嵌入到流媒体的方法、装置和系统
US20150092106A1 (en) * 2013-10-02 2015-04-02 Fansmit, LLC System and method for tying audio and video watermarks of live and recorded events for simulcasting alternative audio commentary to an audio channel or second screen
CN105247883A (zh) * 2013-04-26 2016-01-13 耐瑞唯信有限公司 用于给媒体内容加水印的方法以及实现这一方法的系统
CN105451035A (zh) * 2015-11-13 2016-03-30 北京光慧鸿途科技股份有限公司 防止视频版权保护图标删、改的视频显示方法及系统
CN105848009A (zh) * 2016-03-31 2016-08-10 乐视控股（北京）有限公司 一种视频直播方法及装置
CN105898622A (zh) * 2015-10-29 2016-08-24 乐视致新电子科技（天津）有限公司 一种视频数字版权保护方法及系统
CN105933724A (zh) * 2016-05-23 2016-09-07 福建星网视易信息系统有限公司 视频制作方法、装置及系统
US20160301988A1 (en) * 2011-04-12 2016-10-13 The Nielsen Company (Us), Llc Methods and apparatus to validate a tag for media
CN106911936A (zh) * 2017-03-01 2017-06-30 北京牡丹电子集团有限责任公司数字电视技术中心 动态静态视频流图片覆盖方法
CN107317815A (zh) * 2017-07-04 2017-11-03 上海鋆创信息技术有限公司 一种视频叠加的方法及装置、存储介质和终端
CN107360160A (zh) * 2017-07-12 2017-11-17 广州华多网络科技有限公司 直播视频与动画融合方法、装置及终端设备
US20170334234A1 (en) * 2016-05-19 2017-11-23 Atlanta DTH, Inc. System and Method for Identifying the Source of Counterfeit Copies of Multimedia Works Using Layered Simple Digital Watermarks
CN107464206A (zh) * 2017-07-26 2017-12-12 维沃移动通信有限公司 一种水印添加方法及移动终端
CN107534797A (zh) * 2015-04-24 2018-01-02 皇家Kpn公司 增强包括相机记录的媒体记录
CN107610036A (zh) * 2017-09-26 2018-01-19 武汉斗鱼网络科技有限公司 一种输出直播标识图片的方法、装置及计算机设备
US20180308520A1 (en) * 2017-04-25 2018-10-25 Terry Crawford Method and system for watermarking video media to trace video distribution
CN108810654A (zh) * 2018-07-12 2018-11-13 武汉斗鱼网络科技有限公司 一种水印添加方法、装置及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379325B (zh) * 2012-04-19 2017-02-15 常熟南师大发展研究院有限公司 一种面向版权保护服务的视频地理数据数字水印方法
US8818021B2 (en) * 2012-09-24 2014-08-26 Mobitv, Inc. Watermarking of digital video
US9299119B2 (en) * 2014-02-24 2016-03-29 Disney Enterprises, Inc. Overlay-based watermarking for video synchronization with contextual data
GB2551113A (en) * 2016-05-27 2017-12-13 Grypp Corp Ltd Interactive display synchronisation
KR101860129B1 (ko) * 2016-06-10 2018-05-21 비비엠씨 (주) 플레이어의 보안 장치 및 이를 포함하는 스트리밍 보안 시스템
US10698988B2 (en) * 2017-03-30 2020-06-30 Cisco Technology, Inc. Difference attack protection
US20220417617A1 (en) * 2017-06-21 2022-12-29 Verance Corporation Watermark-based metadata acquisition and processing
CN107885848B (zh) * 2017-11-10 2020-10-16 杭州美创科技有限公司 基于web技术的网页截屏方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160301988A1 (en) * 2011-04-12 2016-10-13 The Nielsen Company (Us), Llc Methods and apparatus to validate a tag for media
US20130101115A1 (en) * 2011-10-19 2013-04-25 Playnsite, Llc Method, apparatus, and system for processing and delivering media content
CN103873954A (zh) * 2012-12-13 2014-06-18 航天信息股份有限公司 将不见数字水印嵌入到流媒体的方法、装置和系统
CN105247883A (zh) * 2013-04-26 2016-01-13 耐瑞唯信有限公司 用于给媒体内容加水印的方法以及实现这一方法的系统
US20150092106A1 (en) * 2013-10-02 2015-04-02 Fansmit, LLC System and method for tying audio and video watermarks of live and recorded events for simulcasting alternative audio commentary to an audio channel or second screen
CN103763578A (zh) * 2014-01-10 2014-04-30 北京酷云互动科技有限公司 一种节目关联信息推送方法和装置
CN107534797A (zh) * 2015-04-24 2018-01-02 皇家Kpn公司 增强包括相机记录的媒体记录
CN105898622A (zh) * 2015-10-29 2016-08-24 乐视致新电子科技（天津）有限公司 一种视频数字版权保护方法及系统
CN105451035A (zh) * 2015-11-13 2016-03-30 北京光慧鸿途科技股份有限公司 防止视频版权保护图标删、改的视频显示方法及系统
CN105848009A (zh) * 2016-03-31 2016-08-10 乐视控股（北京）有限公司 一种视频直播方法及装置
US20170334234A1 (en) * 2016-05-19 2017-11-23 Atlanta DTH, Inc. System and Method for Identifying the Source of Counterfeit Copies of Multimedia Works Using Layered Simple Digital Watermarks
CN105933724A (zh) * 2016-05-23 2016-09-07 福建星网视易信息系统有限公司 视频制作方法、装置及系统
CN106911936A (zh) * 2017-03-01 2017-06-30 北京牡丹电子集团有限责任公司数字电视技术中心 动态静态视频流图片覆盖方法
US20180308520A1 (en) * 2017-04-25 2018-10-25 Terry Crawford Method and system for watermarking video media to trace video distribution
CN107317815A (zh) * 2017-07-04 2017-11-03 上海鋆创信息技术有限公司 一种视频叠加的方法及装置、存储介质和终端
CN107360160A (zh) * 2017-07-12 2017-11-17 广州华多网络科技有限公司 直播视频与动画融合方法、装置及终端设备
CN107464206A (zh) * 2017-07-26 2017-12-12 维沃移动通信有限公司 一种水印添加方法及移动终端
CN107610036A (zh) * 2017-09-26 2018-01-19 武汉斗鱼网络科技有限公司 一种输出直播标识图片的方法、装置及计算机设备
CN108810654A (zh) * 2018-07-12 2018-11-13 武汉斗鱼网络科技有限公司 一种水印添加方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙明瑞: "《基于水印技术的P2P流媒体直播应用研究》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109982132A (zh) * 2019-04-23 2019-07-05 姚耀 一种音视频远程双录系统
US10984067B2 (en) 2019-06-26 2021-04-20 Wangsu Science & Technology Co., Ltd. Video generating method, apparatus, server, and storage medium
CN110457624A (zh) * 2019-06-26 2019-11-15 网宿科技股份有限公司 视频生成方法、装置、服务器及存储介质
WO2020258480A1 (zh) * 2019-06-26 2020-12-30 网宿科技股份有限公司 视频生成方法、装置、服务器及存储介质
CN110536143A (zh) * 2019-07-11 2019-12-03 网宿科技股份有限公司 推流方法与电子设备
CN111796818A (zh) * 2019-10-16 2020-10-20 厦门雅基软件有限公司 多媒体文件的制作方法、装置、电子设备及可读存储介质
CN111031331A (zh) * 2019-11-25 2020-04-17 深圳智播科技有限公司 一种直播内容被多方控制的方法
CN111935443A (zh) * 2020-10-12 2020-11-13 融智通科技（北京）股份有限公司 一种视频会议实时直播分享到即时通讯工具的方法和装置
CN111935443B (zh) * 2020-10-12 2021-01-22 融智通科技（北京）股份有限公司 一种视频会议实时直播分享到即时通讯工具的方法和装置
CN112333558A (zh) * 2020-10-27 2021-02-05 江苏税软软件科技有限公司 视频文件的水印处理方法
CN112333558B (zh) * 2020-10-27 2022-06-10 江苏税软软件科技有限公司 视频文件的水印处理方法
CN112616093A (zh) * 2020-12-14 2021-04-06 重庆紫光华山智安科技有限公司 一种视频水印添加方法、系统、介质及电子终端
CN112839192A (zh) * 2021-01-20 2021-05-25 青岛以萨数据技术有限公司 基于浏览器的音视频通讯系统及方法
US20220377116A1 (en) * 2021-05-21 2022-11-24 Technologies Crewdle Inc. Peer-to-peer conferencing system and method
US11588865B2 (en) * 2021-05-21 2023-02-21 Technologies Crewdle Inc. Peer-to-peer conferencing system and method
CN114222149A (zh) * 2021-11-17 2022-03-22 武汉斗鱼鱼乐网络科技有限公司 一种推流方法、装置、介质及计算机设备

Also Published As

Publication number Publication date
WO2020103218A1 (zh) 2020-05-28
EP3883256A4 (en) 2022-03-23
US20220007083A1 (en) 2022-01-06
CN109327727B (zh) 2020-11-27
EP3883256A1 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
CN109327727A (zh) 一种WebRTC中的直播流处理方法及推流客户端
US11490033B2 (en) Video generating method, apparatus, electronic device and computer storage medium
CN108989830A (zh) 一种直播方法、装置、电子设备及存储介质
CN109168034B (zh) 商品信息显示方法、装置、电子设备和可读存储介质
US9210372B2 (en) Communication method and device for video simulation image
CN110286773A (zh) 基于增强现实的信息提供方法、装置、设备及存储介质
CN111541930B (zh) 直播画面的显示方法、装置、终端及存储介质
US11450044B2 (en) Creating and displaying multi-layered augemented reality
CN107924575A (zh) 视频序列的异步3d注释
CN109920065A (zh) 资讯的展示方法、装置、设备及存储介质
CN109121000A (zh) 一种视频处理方法及客户端
CN103974007A (zh) 屏幕菜单式调节方式信息的叠加方法及装置
CN112672219B (zh) 评论信息的交互方法和装置、电子设备
CN114245228B (zh) 页面链接投放方法、装置及电子设备
US20170142389A1 (en) Method and device for displaying panoramic videos
WO2021227919A1 (zh) 图像数据编码方法及装置、显示方法及装置、电子设备
CN110213640B (zh) 虚拟物品的生成方法、装置及设备
CN109286760B (zh) 一种娱乐视频制作方法及其终端
CN105744338B (zh) 一种视频处理方法及其设备
CN110264543B (zh) 拼接画面的边框绘制方法、装置及存储介质
CN115690664A (zh) 一种图像处理方法、装置、电子设备及存储介质
KR101221540B1 (ko) 인터랙티브 미디어 매핑 시스템 및 그 방법
CN113038225B (zh) 视频播放方法、装置、计算设备以及存储介质
WO2021088973A1 (zh) 直播流显示方法、装置、电子设备及可读存储介质
CN114630184A (zh) 视频的渲染方法、装置、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant