CN113068059B - 视频直播方法、装置、设备及存储介质 - Google Patents

视频直播方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113068059B
CN113068059B CN202110302825.9A CN202110302825A CN113068059B CN 113068059 B CN113068059 B CN 113068059B CN 202110302825 A CN202110302825 A CN 202110302825A CN 113068059 B CN113068059 B CN 113068059B
Authority
CN
China
Prior art keywords
video
live broadcast
stream data
content
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110302825.9A
Other languages
English (en)
Other versions
CN113068059A (zh
Inventor
林泽全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202110302825.9A priority Critical patent/CN113068059B/zh
Publication of CN113068059A publication Critical patent/CN113068059A/zh
Application granted granted Critical
Publication of CN113068059B publication Critical patent/CN113068059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及数据处理领域,公开了一种视频直播方法、装置、设备及存储介质。本方法包括:接收用户终端发送的视频直播请求;获取与视频直播请求对应的目标视频内容,根据预置视频转发规则,将视频内容转发至对应视频直播间;对目标视频内容进行音视频融合处理,生成视频流数据;根据所述视频流数据的格式,解析出所述视频流数据的内容,并根据预定传输协议将所述视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据,播放视频流数据。本方案用户终端直接接入直播,解决了用户无法直接接入直播,与坐席端之间的交互延迟较大,造成座席端的性能压力激增的技术问题。本发明中的目标视频内容可存储于区块链中。

Description

视频直播方法、装置、设备及存储介质
技术领域
本发明涉及大数据领域,尤其涉及一种视频直播方法、装置、设备及存储介质。
背景技术
当前在视频直播时,用户往往需要在待连接区等待进入直播区连接,当直播区有空闲时,用户往中转服务器发起连接,同时,中转服务器与坐席建立连接,之后,用户与坐席通过P2P通道交流,并将视频内容通过座席端合成后推送给内容分发网络,以便于观众通过访问内容分发网络观察直播内容。
在这种情况下,互联网流量全部都经过座席端,压力较大,尤其是移动端网络要求极高,另外用户与坐席间的交互需要通过座席端进行编码合成,硬件压力也难以跟上。同时,因为性能限制导致用户需要在待连接区等待较长时间后,所以如何让用户直接进入直播区与座席端交互成了本领域技术人员需要解决的技术问题。
发明内容
本发明的主要目的是解决用户无法直接接入直播,与坐席端之间的交互延迟较大的技术问题。
本发明第一方面提供了一种视频直播方法,包括:
接收用户终端发送的视频直播请求;
对所述视频直播请求进行解析,得到与所述视频直播请求对应的目标视频内容,并将所述目标视频内容发送至预置的中转服务器进行缓存;
根据预置视频转发规则,将缓存于所述中转服务器中的至少一个目标视频内容转发至当前时刻待直播的视频直播间的直播服务器上;
控制所述直播服务器对至少一个所述目标视频内容进行音视频融合处理,生成视频流数据,其中,所述视频流数据的格式为预设的原始格式;
根据所述视频流数据的格式,解析出所述视频流数据的内容,并根据预定传输协议将所述视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据,通过所述内容分发网络对所述流分发格式的视频流数据进行解码和分发播放。
可选地,在本发明第一方面的第一种实现方式中,在所述接收用户终端发送的视频直播请求之前,还包括:
获取与所述用户信息相关联的直播间信息;
获取所述直播间信息对应的直播间配置参数集合,并根据所述直播间配置参数集合创建视频直播间。
可选地,在本发明第一方面的第二种实现方式中,所述对所述视频直播请求进行解析,得到与所述视频直播请求对应的目标视频内容包括:
对所述视频直播请求进行解析,得到与所述视频直播请求对应的节目源信息;
根据所述节目源信息,按照预定的文件属性,生成所述视频直播请求的初始视频内容;
根据预置移动终端的视频相关属性,对所述初始视频内容进行转换,得到与所述视频相关属性相对应的目标视频内容。
可选地,在本发明第一方面的第三种实现方式中,所述控制所述直播服务器对至少一个所述目标视频内容进行音视频融合处理,生成视频流数据包括:
根据预设用户网络状态信息确定当前码率;
对所述目标视频内容包含的图像进行显著度处理,得到宏块的显著度信息,其中,所述宏块为所述图像中包含预设数量的像素点的区域;
根据所述当前码率和所述宏块的显著度信息确定编码参数;
基于所述当前码率和所述编码参数对所述目标视频内容包含的图像进行编码,生成待传输至预置客户端的视频流数据。
可选地,在本发明第一方面的第四种实现方式中,所述对所述目标视频内容包含的图像进行显著度处理,得到宏块的显著度信息包括:
对所述待处理视频包含的图像进行显著度检测,得到所述图像中每个像素点的显著度;
将所述图像转换成宏块集合;
根据所述宏块集合中的每个宏块包括的像素点的显著度确定所述每个宏块的显著度信息。
可选地,在本发明第一方面的第五种实现方式中,所述将所述视频流数据发送至内容分发网络,通过所述内容分发网络对所述流分发格式的视频流数据进行解码和分发播放包括:
获取视频直播间对应的视频流数据播放请求,其中,所述视频流数据播放请求是所述视频直播间的主播终端离线时触发生成的请求;
根据所述视频流数据播放请求,获取所述视频直播间的视频流数据,其中,所述视频流数据是对所述直播间的直播视频流数据进行录制得到的;
根据所述视频流数据的格式,解析出所述视频流数据的内容,并根据预定传输协议将所述视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据;
将所述流分发格式的视频流数据发送至内容分发网络,以便所述直播系统中的观众终端从所述内容分发网络拉取并播放所述视频流数据。
可选地,在本发明第一方面的第六种实现方式中,所述获取视频直播间对应的视频流数据播放请求包括:
当所述直播间的主播终端离线时,获取所述主播终端对应的主播标识;
在离线轮播的主播列表中查询所述主播标识;
当所述离线轮播的主播列表中包含所述主播标识时,生成所述直播间对应的视频流数据播放请求。
本发明第二方面提供了一种视频直播装置,包括:
接收模块,用于接收用户终端发送的视频直播请求,其中,所述视频直播请求包括用户信息;
发送模块,用于对所述视频直播请求进行解析,得到与所述视频直播请求对应的目标视频内容,并将所述目标视频内容发送至预置的中转服务器进行缓存;
转发模块,用于根据预置视频转发规则,将缓存于所述中转服务器中的至少一个目标视频内容转发至当前时刻待直播的视频直播间的直播服务器上;
第一生成模块,用于控制所述直播服务器对至少一个所述目标视频内容进行音视频融合处理,生成视频流数据,其中所述视频流数据的格式为预设的原始格式;
播放模块,用于根据所述视频流数据的格式,解析出所述视频流数据的内容,并根据预定传输协议将所述视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据,通过所述内容分发网络对所述流分发格式的视频流数据进行解码和分发播放。
可选地,在本发明第二方面的第一种实现方式中,所述视频直播装置还包括:
第一获取模块,用于获取与所述用户信息相关联的直播间信息;获取所述直播间信息对应的直播间配置参数集合,并根据所述直播间配置参数集合创建视频直播间。
可选地,在本发明第二方面的第二种实现方式中,所述发送模块具体用于:
对所述视频直播请求进行解析,得到与所述视频直播请求对应的节目源信息;
根据所述节目源信息,按照预定的文件属性,生成所述视频直播请求的初始视频内容;
根据预置移动终端的视频相关属性,对所述初始视频内容进行转换,得到与所述视频相关属性相对应的目标视频内容。
可选地,在本发明第二方面的第三种实现方式中,所述第一生成模块包括:
第一确定单元,用于根据预设用户网络状态信息确定当前码率;
显著度处理单元,用于对所述目标视频内容包含的图像进行显著度处理,得到宏块的显著度信息,其中,所述宏块为所述图像中包含预设数量的像素点的区域;
第二确定单元,用于根据所述当前码率和所述宏块的显著度信息确定编码参数;
编码单元,用于基于所述当前码率和所述编码参数对所述目标视频内容包含的图像进行编码,生成待传输至预置客户端的视频流数据。
可选地,在本发明第二方面的第四种实现方式中,所述显著度处理单元具体用于:
对所述待处理视频包含的图像进行显著度检测,得到所述图像中每个像素点的显著度;
将所述图像转换成宏块集合;
根据所述宏块集合中的每个宏块包括的像素点的显著度确定所述每个宏块的显著度信息。
可选地,在本发明第二方面的第五种实现方式中,所述播放模块包括:
获取单元,用于获取视频直播间对应的视频流数据播放请求,其中,所述视频流数据播放请求是所述视频直播间的主播终端离线时触发生成的请求;根据所述视频流数据播放请求,获取所述视频直播间的视频流数据,其中,所述视频流数据是对所述直播间的直播视频流数据进行录制得到的;
解析单元,用于根据视频流数据的格式,解析出视频流数据的内容,并根据预定传输协议将视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据;
播放单元,用于将所述流分发格式的视频流数据发送至内容分发网络以便所述直播系统中的观众终端从所述内容分发网络拉取并播放所述视频流数据。
可选地,在本发明第二方面的第五种实现方式中,所述获取单元具体用于:
当所述直播间的主播终端离线时,获取所述主播终端对应的主播标识;
在离线轮播的主播列表中查询所述主播标识;
当所述离线轮播的主播列表中包含所述主播标识时,生成所述直播间对应的视频流数据播放请求。
本发明第三方面提供了一种视频直播设备,包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述视频直播设备执行上述的视频直播方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的视频直播方法。
本发明提供的技术方案中,通过接收用户终端发送的视频直播请求;获取与视频直播请求对应的目标视频内容,并将目标视频内容发送至预置中转服务器;根据预置视频转发规则,将视频内容转发至对应视频直播间;对目标视频内容进行音视频融合处理,生成视频流数据;将所述视频流发送至预置内容分发网络,播放视频流数据。本方案用户终端直接接入直播,解决用户无法直接接入直播,与坐席端之间的交互延迟较大,造成座席端的性能压力激增的技术问题。
附图说明
图1为本发明视频直播方法的第一个实施例示意图;
图2为本发明视频直播方法的第二个实施例示意图;
图3为本发明视频直播方法的第三个实施例示意图;
图4为本发明视频直播方法的第四个实施例示意图;
图5为本发明视频直播方法的第五个实施例示意图;
图6为本发明视频直播装置的第一个实施例示意图;
图7为本发明视频直播装置的第二个实施例示意图;
图8为本发明视频直播设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种视频直播方法、装置、设备及存储介质,本发明的技术方案中,首先接收用户终端发送的视频直播请求;获取与视频直播请求对应的目标视频内容,并将目标视频内容发送至预置中转服务器;根据预置视频转发规则,将视频内容转发至对应视频直播间;对目标视频内容进行音视频融合处理,生成视频流数据;根据所述视频流数据的格式,解析出所述视频流数据的内容,并根据预定传输协议将所述视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据,播放视频流数据。本方案用户终端直接接入直播,解决用户无法直接接入直播,与坐席端之间的交互延迟较大,造成座席端的性能压力激增的技术问题。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中视频直播方法的第一个实施例包括:
101、接收用户终端发送的视频直播请求;
本实施例中,客户端所属用户可以通过用户信息登录所述视频直播应用,所述用户信息优选为应用服务设备在所述客户端所属用户对所述视频直播应用进行注册时所分配的序列号(Identity,ID),所述客户端所属用户可以通过所述客户端在所述视频直播应用的界面中点击视频直播请求触发端口,所述视频直播请求触发端口优选为在所述视频直播应用的界面中的触发图标,当所述客户端检测到对所述视频直播请求触发端口的点击操作时,所述客户端向所述应用服务设备发送基于所述视频直播应用的用户信息的视频直播请求指令,所述应用服务设备接收所述视频直播请求指令,并获取所述视频直播请求指令中携带的所述用户信息。
102、对视频直播请求进行解析,得到与视频直播请求对应的目标视频内容,并将目标视频内容发送至预置的中转服务器进行缓存;
本实施例中,视频直播服务设备根据用户移动终端的视频相关属性,对与用户的视频直播请求相对应的初始视频内容进行相应转换,以获得与所述视频相关属性相对应的目标视频内容。在此,所述视频相关属性包括但不限于任何可适用于本发明的影响用户移动终端的视频播放的属性,诸如移动终端的屏幕分辨率、所支持的媒体文件格式等;所述视频相关属性可以通过解析用户的视频直播请求获取,也可以根据所述视频直播请求中移动终端的标识信息通过查询终端属性库获取,还可以通过向所述移动终端发送视频相关属性的查询请求获取。视频直播服务设备不仅可以根据移动终端的一项视频相关属性对初始视频内容进行转换,还可以根据移动终端的多项视频相关属性对初始视频内容进行相应转换,得到目标视频内容。
103、根据预置视频转发规则,将缓存于中转服务器中的至少一个目标视频内容转发至当前时刻待直播的视频直播间的直播服务器上;
本实施例中,所述应用服务设备查找与所述用户信息相关联的直播间信息,所述直播间信息优选为直播间名称。所述直播间名称对应的直播间可以为基于所述视频直播应用中的虚拟空间,优选为基于所述视频直播应用中的游戏直播间。
需要说明的是,所述客户端所属用户若是之前就已经通过所述客户端向所述应用服务设备添加过自身是主播的直播间,或者添加了自己不是主播的直播间,所述应用服务设备会对所述直播间的直播间名称进行记录,并将所述直播间名称发送至所述客户端以进行显示,当然,所述应用服务设备所记录的直播间的直播间名称为至少一个直播间名称,即所述客户端所属用户拥有不止一个直播间时,所述视频直播请求指令中还携带有所述客户端所属用户在所述视频直播应用的界面所选择的直播间的直播间名称。
若未添加过自身是主播的直播间,或者未添加过自己不是主播的直播间,则所述应用服务设备可以提示所述客户端所属用户在所述视频直播应用的界面中输入直播间的直播间名称,所述应用服务设备可以获取所输入的直播间的直播间名称。
104、控制直播服务器对至少一个目标视频内容进行音视频融合处理,生成视频流数据;
本实施例中,现场录制终端可以将其采集的视频数据经过编码后加载地址信息生成IP数据包,服务器在与现场录制终端建立无线通信连接之后,可以实时地接收现场录制终端传输IP数据包。服务器在接收用户终端发送的视频直播请求之后,可以从IP数据包中获取元视频流数据。视频流数据是指连续时间内的视频帧的集合。元视频流数据是指直接从现场录制终端传输过来视频流数据,中间没有插入任何其他提前录制好的视频或动画
本实施例中,音视频融合的应用有很多,例如语音识别,说话者识别,生物特征验证,事件检测,概念检测,人或物体跟踪,主动说话者定位和跟踪,音乐内容分析,会议细分,情感识别,独白检测,视频检索,人机交互,新闻视频中的故事细分,视频拍摄检测,语音活动检测(VAD)和源分离。通常,视音频分析包括两个主要步骤。1.从每个模态中提取合适的特征,此步骤完全取决于所使用的模态类型以及应用程序。对音频提取MFCC和LPC,音素和韵律等。在视频中寻找合适的视觉特征具有挑战,大多数是取决于应用,在大多数视音频应用中,视觉特征是从身体的信息部分(例如嘴和眼区域)中提取的,但通常,它们取决于应用。
提取特定信息的方法也有所不同。例如,在AV语音识别中,虽然通常使用MFCC功能来表示语音,但已经考虑了多种方法来提取视觉特征,这些视觉特征可以分为四类:基于图像的,基于运动的,基于几何和基于模型的特征。在提取视觉特征之后会考虑进行降维步骤。为了捕获音频和视频流数据中的时间动态,从新功能中获取了一阶和二阶导数(通过差异实现)。
本实施例中,音视频融合的融合方法,融合可以在不同的级别上进行。一方面,通过集成或组合来自所有模态的特征,可以在建模过程之前完成特征级别的融合;它被称为早期整合,早期融合主要问题是不同模态的维度要保持一致;另一方面,在决策层,分别对每个模态进行建模,然后对模型的输出或决策进行集成以生成最终决策,将其称为后期集成。此外,还有另一种方法处于早期和晚期集成的中间,称为中间集成(在某些文献中,它也被视为早期集成)。也有可能通过在两个级别上执行融合来组合这些融合方法中的两种,称为混合方法。有许多技术已用于AV处理中的建模和融合步骤,例如SVM,图模型(例如DBN和HMM),神经网络和估计算法(例如,卡尔曼滤波)。这些建模技术适用于视音频系统的各个部分。例如,它们可以用作建模过程单元中的一种技术。由于当前研究的重点是融合,只介绍这些技术在融合中的工作。在下文中我们简要介绍了一些AV应用中最常用的融合技术。
本实施例中,视频流数据是指视频数据的传输,例如,它能够被作为一个稳定的和连续的流通过网络处理。因为流动,客户机浏览器或插件能够在整个文件被传输完成前显示多媒体数据。视频流数据技术基于2密钥技术,视频译码技术和可升级的视频分发技术发展。
105、根据视频流数据的格式,解析出视频流数据的内容,并根据预定传输协议将视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据,通过内容分发网络对流分发格式的视频流数据进行解码和分发播放。
本实施例中,向内容分发网络推送该视频流数据,以便该直播系统中的观众终端从该内容分发网络拉取并播放该视频流数据。
本实施例中,直播服务器将获取到的视频流数据推送到内容分发网络中,观众终端可以获取在内容分发网络中的视频流数据并且在观众终端按照推送的轮播顺序进行播放。其中,内容分发网络是在享有的互联网基础之上的一层智能虚拟网络,用户可以通过内容分发网络就近获取所需要的内容。
本实施例中,所述应用服务设备将所创建的视频直播间的交互界面输出至所述客户端,所述客户端所属用户可以通过所述客户端所显示的视频直播间的交互界面进行视频直播等。
本发明实施例中,通过接收用户终端发送的视频直播请求;获取与视频直播请求对应的目标视频内容,并将目标视频内容发送至预置中转服务器;根据预置视频转发规则,将视频内容转发至对应视频直播间;对目标视频内容进行音视频融合处理,生成视频流数据;将所述视频流发送至预置内容分发网络,播放视频流数据。本方案用户终端直接接入直播,解决用户无法直接接入直播,与坐席端之间的交互延迟较大,造成座席端的性能压力激增的技术问题。
请参阅图2,本发明实施例中视频直播方法的第二个实施例包括:
201、接收用户终端发送的视频直播请求;
202、获取与用户信息相关联的直播间信息;
本实施例中,所述应用服务设备查找与所述用户信息相关联的直播间信息,所述直播间信息优选为直播间名称。所述直播间名称对应的直播间可以为基于所述视频直播应用中的虚拟空间,优选为基于所述视频直播应用中的游戏直播间。
需要说明的是,所述客户端所属用户若是之前就已经通过所述客户端向所述应用服务设备添加过自身是主播的直播间,或者添加了自己不是主播的直播间,所述应用服务设备会对所述直播间的直播间名称进行记录,并将所述直播间名称发送至所述客户端以进行显示,当然,所述应用服务设备所记录的直播间的直播间名称为至少一个直播间名称,即所述客户端所属用户拥有不止一个直播间时,所述视频直播请求指令中还携带有所述客户端所属用户在所述视频直播应用的界面所选择的直播间的直播间名称。若未添加过自身是主播的直播间,或者未添加过自己不是主播的直播间,则所述应用服务设备可以提示所述客户端所属用户在所述视频直播应用的界面中输入直播频道的直播间名称,所述应用服务设备可以获取所输入的直播间的直播间名称。
203、获取直播间信息对应的直播间配置参数集合,并根据直播间配置参数集合创建视频直播间;
本实施例中,所述应用服务设备获取所述直播间信息对应的直播间参数集合,优选的,对于添加过直播间的情况,所述应用服务设备直接获取所述直播间名称对应的直播频道标识,并根据所述直播间标识将所述用户信息添加至所述直播间标识对应的直播频道中,所述应用服务设备配置所述直播间标识以及所述用户信息的运行状态,并在运行状态配置后在所述直播间中创建视频直播间。所述视频直播间具体为所述直播间中的子频道。
而对于未添加过直播间的情况,则所述应用服务设备根据所输入的直播间名称创建对应的直播间以及对应的直播间标识,并根据所述直播间标识将所述用户信息添加至所述直播间中,所述应用服务设备配置所述直播间标识以及所述用户信息的运行状态,并在运行状态配置后在所述直播间中创建视频直播间。
204、对视频直播请求进行解析,得到与视频直播请求对应的目标视频内容,并将目标视频内容发送至预置的中转服务器进行缓存;
205、根据预置视频转发规则,将缓存于中转服务器中的至少一个目标视频内容转发至当前时刻待直播的视频直播间的直播服务器上;
206、控制直播服务器对至少一个目标视频内容进行音视频融合处理,生成视频流数据;
207、根据视频流数据的格式,解析出视频流数据的内容,并根据预定传输协议将视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据,通过内容分发网络对流分发格式的视频流数据进行解码和分发播放。
本实施例中步骤201、204-207与第一实施例中的步骤101-105类似,此处不再赘述。
本发明实施例中,通过接收用户终端发送的视频直播请求;获取与视频直播请求对应的目标视频内容,并将目标视频内容发送至预置中转服务器;根据预置视频转发规则,将视频内容转发至对应视频直播间;对目标视频内容进行音视频融合处理,生成视频流数据;将所述视频流发送至预置内容分发网络,播放视频流数据。本方案用户终端直接接入直播,解决用户无法直接接入直播,与坐席端之间的交互延迟较大,造成座席端的性能压力激增的技术问题。
请参阅图3,本发明实施例中视频直播方法的第三个实施例包括:
301、接收用户终端发送的视频直播请求;
302、对视频直播请求进行解析,得到与视频直播请求对应的节目源信息;
本实施例中,视频直播服务设备获取所述视频直播请求的方式包括但不限于:接收用户自移动终端发送的视频直播请求;接收第三方设备转发的用户自移动终端发送的视频直播请求。本领域技术人员应能理解,上述获取视频直播请求的方式仅为举例,其他现有的或今后可能出现的获取视频直播请求的方式如可适用于本发明,也应包含在本发明保护范围以内,并以引用方式包含于此。
303、根据节目源信息,按照预定的文件属性,生成视频直播请求的初始视频内容;
本实施例中,视频直播服务设备获取当前的直播节目所对应的初始视频内容。在此,视频直播服务设备获取所述初始视频内容的方式包括但不限于:1)从视频源设备接收其对当前直播节目进行录制、编码及封装获得的初始视频内容,其中,所述初始视频文件可以是视频源设备直接推送至初始视频获取装置的,也可以是视频源设备应初始视频获取装置的获取请求推送的;2)视频直播服务设备包括多个服务器组成的基于CDN(内容分发网络)的服务器集合,其中,该CDN的中心服务器从视频源设备获取当前直播节目所对应的初始视频内容,并向该CDN中的所有服务器分发所述初始视频内容,该CDN中的其他服务器从该中心服务器获取所述初始视频内容;3)视频直播服务设备包括多个计算机和/或服务器组成的基于P2P(对等网络)的计算机集合,该P2P网络中的至少一个节点从视频源设备获取当前直播节目所对应的初始视频内容,并向其他节点转发,该P2P网络中的每个节点从与其连接的节点获取所述初始视频内容;4)视频直播服务设备直接获取当前直播节目的视频源和/或音频源,对该视频源和/或音频源进行编码和封装,以生成相应的初始视频内容。
304、根据预置移动终端的视频相关属性,对初始视频内容进行转换,得到与视频相关属性相对应的目标视频内容;
本实施例中,视频直播服务设备根据用户移动终端的视频相关属性,对与用户的视频直播请求相对应的初始视频内容进行相应转换,以获得与所述视频相关属性相对应的目标视频内容。在此,所述视频相关属性包括但不限于任何可适用于本发明的影响用户移动终端的视频播放的属性,诸如移动终端的屏幕分辨率、所支持的媒体文件格式等;所述视频相关属性可以通过解析用户的视频直播请求获取,也可以根据所述视频直播请求中移动终端的标识信息通过查询终端属性库获取,还可以通过向所述移动终端发送视频相关属性的查询请求获取。视频直播服务设备不仅可以根据移动终端的一项视频相关属性对初始视频内容进行转换,还可以根据移动终端的多项视频相关属性对初始视频内容进行相应转换,得到目标视频内容。
本实施例中,所述视频相关属性包括但不限于,以下至少任一项:1)所述移动终端所支持的媒体文件格式;2)所述移动终端的屏幕分辨率;3)所述移动终端的接入网络的速率。具体地,不同的移动终端其所支持的媒体文件格式以及对应的屏幕分辨率是不同的,移动终端的接入网络的速率包括移动终端的网络运营商为其分配的网络速率(即带宽)以及移动终端的当前网络速率。视频直播服务设备可以根据移动终端的视频相关属性的一项或多项对所述初始视频内容进行相应转换。
305、对视频直播请求进行解析,得到与视频直播请求对应的目标视频内容,并将目标视频内容发送至预置的中转服务器进行缓存;
306、根据预置视频转发规则,将缓存于所述中转服务器中的至少一个目标视频内容转发至当前时刻待直播的视频直播间的直播服务器上;
307、控制直播服务器对至少一个目标视频内容进行音视频融合处理,生成视频流数据;
308、根据视频流数据的格式,解析出视频流数据的内容,并根据预定传输协议将视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据,通过内容分发网络对流分发格式的视频流数据进行解码和分发播放。
本实施例中步骤301、305-308与第一实施例中的步骤101、102-105类似,此处不再赘述。
本发明实施例中,通过接收用户终端发送的视频直播请求;获取与视频直播请求对应的目标视频内容,并将目标视频内容发送至预置中转服务器;根据预置视频转发规则,将视频内容转发至对应视频直播间;对目标视频内容进行音视频融合处理,生成视频流数据;将所述视频流发送至预置内容分发网络,播放视频流数据。本方案用户终端直接接入直播,解决用户无法直接接入直播,与坐席端之间的交互延迟较大,造成座席端的性能压力激增的技术问题。
请参阅图4,本发明实施例中视频直播方法的第四个实施例包括:
401、接收用户终端发送的视频直播请求;
402、对视频直播请求进行解析,得到与视频直播请求对应的目标视频内容,并将目标视频内容发送至预置的中转服务器进行缓存;
403、根据预置视频转发规则,将缓存于中转服务器中的至少一个目标视频内容转发至当前时刻待直播的视频直播间的直播服务器上;
404、根据预设用户网络状态信息确定当前码率;
本实施例中,由于用户网络信息可以包括客户端接收帧率和每帧传输时长,当服务器得到上述的客户端接收帧率和每帧传输时长,一种可选的实施方式中,服务器可以基于查表的方式确定当前码率。其中,表中包括客户端接收帧率、每帧传输时长和当前码率,不同的客户端接收帧率匹配不同的每帧传输时长可以对应不同的当前码率。该种方式中,表的构建可以基于历史数据或者不断调整的经验数据。
另一种可选的实施方式中,服务器可以基于机器学习模型确定当前码率。机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。服务器可以根据码率预测模型和用户网络状态信息确定当前码率,也就是说,服务器可以将用户网络状态信息输入至训练好的码率预测模型,从该码率预测模型输出端输出当前码率。
405、对待处理视频包含的图像进行显著度检测,得到图像中每个像素点的显著度;
本实施例中,对待处理视频包含的图像进行显著度检测,得到图像中每个像素点的显著度。其中,图像的显著度又叫图像显著性,是图像中重要的视觉特征,体现了人眼对图像的某些区域的重视程度。对于一幅图像来说,用户只对图像中的部分区域感兴趣,这部分感兴趣的区域代表了用户的查询意图,而多数剩余的不感兴趣区域则与用户查询意图无关.显著区域是图像中最能引起用户兴趣、最能表现图像内容的区域.事实上,显著区域的选择是非常主观的,由于用户任务和知识背景的不同,对于同一幅图像,不同的用户可能会选择不同的区域作为显著区域.常用的方法是利用人的注意力机制为基础计算图像的显著度。图像显著性分析应用广泛,主要包括:基于显著性区域的自适应图像压缩和编码,基于显著性度量的图像边缘或区域加强,基于显著性分析的目标分割或提取等。
406、将图像转换成宏块集合;
本实施例中,一种确定宏块的显著度的方式包括服务器对待处理视频包含的图像进行显著度检测,得到图像中每个像素点的显著度。将图像转换成宏块集合,并根据宏块集合中的每个宏块包括的像素点的显著度确定每个宏块的显著度信息。
本实施例中,宏块,英文Macroblock,是视频编码技术中的一个基本概念。通过将画面分成一个个大小不同的块来对不同位置实行不同的压缩策略。
在视频编码中,一个编码图像通常划分成若干宏块组成,一个宏块由一个亮度像素块和附加的两个色度像素块组成。一般来说,亮度块为16x16大小的像素块,而两个色度图像像素块的大小依据其图像的采样格式而定,如:对于YUV420采样图像,色度块为8x8大小的像素块。每个图像中,若干宏块被排列成片的形式,视频编码算法以宏块为单位,逐个宏块进行编码,组织成连续的视频码流。
407、根据宏块集合中的每个宏块包括的像素点的显著度确定每个宏块的显著度信息;
本实施例中,一种确定宏块的显著度的方式包括服务器对待处理视频包含的图像进行显著度检测,得到图像中每个像素点的显著度。将图像转换成宏块集合,并根据宏块集合中的每个宏块包括的像素点的显著度确定每个宏块的显著度信息。
一种可选的得到图像中每个像素点的显著度的实施方式中,服务器可以获取待处理视频包含的图像中每个像素点的特征信息。可选的,该图像可以是RGB格式,因此,特征信息可以包括红绿蓝三原色信息。可选的,该图像可以是YUV格式,因此,特征信息可以包括色度信息、明度信息和饱和度信息。服务器得到每张图像中每个像素的特征信息后,可以根据图像中每个像素点的特征信息和显著度检测模型确定图像中每个像素点的显著度。
408、根据当前码率和宏块的显著度信息确定编码参数;
本实施例中,图像可以被分为多个宏块,每个宏块包括的像素点的个数可以根据实际的应用场景确定,比如,每个宏块包括16*16=256个像素点,或者每个宏块包括8*8=64的像素点。
可选的,服务器可以将每个宏块中的像素点的显著度值求和,随后求平均得到每个宏块的显著度信息。
可选的,服务器还可以根据每个宏块中的像素点的显著度得到每个宏块的量化参数,其中,量化参数只是表达宏块的显著度信息的一种方式,除此方式之外,还可以使用每个宏块的量化参数偏移值,或者每个宏块的权重大小表示每个宏块的显著度信息。如此,可以调整图像画面的各个区域(宏块)得编码性能。
409、基于当前码率和编码参数对目标视频内容包含的图像进行编码,生成待传输至预置客户端的视频流数据;
本实施例中,服务器可以将编码参数、当前码率和待处理视频包含的图像输入编码器,以使得待处理视频经过处理后得到复合人眼视觉的云游戏视频流数据。
由于各个宏块的显著度信息是不同的,也就是说各个宏块的编码重要性是分大小的,因此,得到的各个宏块的编码参数是不一致,如此,基于实时更新调整的当前码率结合编码参数对待处理视频进行编码,才可以根据网络状况调节码率和画面中各区域质量的分配,使得用户得到质量更高的视频流数据。
410、根据视频流数据的格式,解析出视频流数据的内容,并根据预定传输协议将视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据,通过内容分发网络对流分发格式的视频流数据进行解码和分发播放。
本实施例中步骤401-403、410与第一实施例中的步骤101-103、105类似,此处不再赘述。
本发明实施例中,通过接收用户终端发送的视频直播请求;获取与视频直播请求对应的目标视频内容,并将目标视频内容发送至预置中转服务器;根据预置视频转发规则,将视频内容转发至对应视频直播间;对目标视频内容进行音视频融合处理,生成视频流数据;将所述视频流发送至预置内容分发网络,播放视频流数据。本方案用户终端直接接入直播,解决用户无法直接接入直播,与坐席端之间的交互延迟较大,造成座席端的性能压力激增的技术问题。
请参阅图5,本发明实施例中视频直播方法的第五个实施例包括:
501、接收用户终端发送的视频直播请求;
502、对视频直播请求进行解析,得到与视频直播请求对应的目标视频内容,并将目标视频内容发送至预置的中转服务器进行缓存;
503、根据预置视频转发规则,将缓存于中转服务器中的至少一个目标视频内容转发至当前时刻待直播的视频直播间的直播服务器上;
504、控制直播服务器对至少一个目标视频内容进行音视频融合处理,生成视频流数据;
505、当直播间的主播终端离线时,获取主播终端对应的主播标识;
本实施例中,主播标识可以为该主播以及直播间的基本信息,可以包括主播名称、直播内容分类、主播头像以及轮播的内容标题等。
其中,当该直播间的主播终端离线时,该主播终端将对应的主播标识发送给直播服务器,直播服务器将该主播标识添加到离线轮播的主播列表中,其中各个观众终端可以从直播服务器中获取离线轮播的主播列表。
506、在离线轮播的主播列表中查询主播标识;
本实施例中,各个观众终端可以存在查询界面,各个观众终端一侧的用户可以通过在查询界面中输入需要获取的主播对应的主播标识作为查询信息,比如,主播名称、直播内容的分类等信息,各个观众终端可以发送查询信息给直播服务器,直播服务器可以查询到对应主播标识的离线轮播视频。
507、当离线轮播的主播列表中包含所述主播标识时,生成直播间对应的视频流数据播放请求;
本实施例中,当直播服务器查询到存在对应主播标识的离线轮播视频时,直播服务器生成对应直播间的视频流数据播放指令。
本实施例中,直播服务器可以获取由主播终端发送的视频流数据播放指令,或者,该直播服务器也可以在检测到主播终端离线时生成该视频流数据播放指令。其中,视频流数据播放指令可以用于控制直播服务器开始轮播从主播终端获取到的录制的视频内容。其中,当直播服务器获取到视频流数据播放指令后,该视频流数据播放指令对应的主播终端的直播间可以进行视频流数据的播放,观众终端的用户可以通过进入对应主播的直播间获取进行轮播的视频流数据,并在观众终端中进行播放。
508、根据视频流数据播放请求,获取视频直播间的视频流数据;
本实施例中,当直播服务器接收到视频流数据播放指令后,直播服务器可以从对应的视频流数据的存储位置,获取该视频流数据。
可选的,视频流数据的录制可以通过主播终端进行录制并存储在主播终端的存储器中,或者由主播终端进行录制之后,直接发送给直播服务器,存储在直播服务器的存储器中,或者,也可以由直播服务器直接录制主播终端的视频流数据并存储在直播服务器的存储器中。
其中,当视频流数据存储在主播终端的存储器中时,当直播服务器接收到视频流数据播放指令后,直播服务器可以从对应的主播终端中获取对应的视频流数据。当需要进行轮播操作的视频流数据存储在直播服务器的存储器中时,直播服务器可以直接获取到该主播终端录制的视频流数据。
509、根据视频流数据的格式,解析出视频流数据的内容,并根据预定传输协议将视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据;
本实施例中,由于网页所承载的网页客户端(如浏览器)多种多样,并不能在所有的网页客户端都约定私有协议格式的解析方式,因此本实施例中,转码服务器需将原始视频流数据的格式转换为可被内容分发网络分发的格式,即将所述原始视频流数据的格式由所述原始格式转换为预定的流分发格式;
可选的,预定的流分发格式可以为RTMP(Real Time Messaging Protocol,实时消息传输协议)格式,也可以是RTMP格式的变种流分发格式,如RTMPT(RTMP用http包装后的协议)、RTMPS(在RTMPT的基础上,增加了SSL(Secure Sockets Layer,安全套接层)的安全功能)、RTMPE(在RTMPT的基础上进行了加密)等格式。
510、将流分发格式的视频流数据发送至预置内容分发网络,以便直播系统中的观众终端从内容分发网络拉取并播放视频流数据。
本实施例中,直播服务器将获取到的视频流数据推送到内容分发网络(ContentDelivery Network,内容分发网络)中,观众终端可以获取在内容分发网络中的视频流数据并且在观众终端按照推送的轮播顺序进行播放。其中,内容分发网络是在享有的互联网基础之上的一层智能虚拟网络,用户可以通过内容分发网络就近获取所需要的内容。
本实施例中,直播服务器按照对应直播间的视频流数据的顺序,向内容分发网络中推送该视频流数据。观众终端可以通过从直播服务器获取对应直播间的播放地址,根据播放地址从内容分发网络中获取对应的直播间的视频流数据进行播放。其中,观众终端播放的视频流数据按照该直播间的视频流数据的顺序进行循环播放。
本实施例中步骤501-504与第一实施例中的101-104类似,此处不再赘述。
在本发明实施例中,通过接收用户终端发送的视频直播请求;获取与视频直播请求对应的目标视频内容,并将目标视频内容发送至预置中转服务器;根据预置视频转发规则,将视频内容转发至对应视频直播间;对目标视频内容进行音视频融合处理,生成视频流数据;将所述视频流发送至预置内容分发网络,播放视频流数据。本方案用户终端直接接入直播,解决用户无法直接接入直播,与坐席端之间的交互延迟较大,造成座席端的性能压力激增的技术问题。
上面对本发明实施例中视频直播方法进行了描述,下面对本发明实施例中视频直播装置进行描述,请参阅图6,本发明实施例中视频直播装置的第一个实施例包括:
接收模块601,用于接收用户终端发送的视频直播请求,其中,所述视频直播请求包括用户信息;
发送模块602,用于对所述视频直播请求进行解析,得到与所述视频直播请求对应的目标视频内容,并将所述目标视频内容发送至预置的中转服务器进行缓存;
转发模块603,用于根据预置视频转发规则,将缓存于所述中转服务器中的至少一个目标视频内容转发至当前时刻待直播的视频直播间的直播服务器上;
第一生成模块604,用于控制所述直播服务器对至少一个所述目标视频内容进行音视频融合处理,生成视频流数据;
播放模块605,用于根据所述视频流数据的格式,解析出所述视频流数据的内容,并根据预定传输协议将所述视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据,通过所述内容分发网络对所述流分发格式的视频流数据进行解码和分发播放。
本发明实施例中,通过接收用户终端发送的视频直播请求;获取与视频直播请求对应的目标视频内容,并将目标视频内容发送至预置中转服务器;根据预置视频转发规则,将视频内容转发至对应视频直播间;对目标视频内容进行音视频融合处理,生成视频流数据;将所述视频流发送至预置内容分发网络,播放视频流数据。本方案用户终端直接接入直播,解决用户无法直接接入直播,与坐席端之间的交互延迟较大,造成座席端的性能压力激增的技术问题。
请参阅图7,本发明实施例中视频直播装置的第二个实施例,该视频直播装置具体包括:
接收模块601,用于接收用户终端发送的视频直播请求,其中,所述视频直播请求包括用户信息;
发送模块602,用于对所述视频直播请求进行解析,得到与所述视频直播请求对应的目标视频内容,并将所述目标视频内容发送至预置的中转服务器进行缓存;
转发模块603,用于根据预置视频转发规则,将缓存于所述中转服务器中的至少一个目标视频内容转发至当前时刻待直播的视频直播间的直播服务器上;
第一生成模块604,用于控制所述直播服务器对至少一个所述目标视频内容进行音视频融合处理,生成视频流数据;
播放模块605,用于根据所述视频流数据的格式,解析出所述视频流数据的内容,并根据预定传输协议将所述视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据,通过所述内容分发网络对所述流分发格式的视频流数据进行解码和分发播放。
本实施例中,所述视频直播装置还包括:
第一获取模块606,用于获取与所述用户信息相关联的直播间信息;获取所述直播间信息对应的直播间配置参数集合,并根据所述直播间配置参数集合创建视频直播间。
本实施例中,所述视频直播装置还包括:
解析模块607,用于对所述视频直播请求进行解析,得到与所述视频直播请求对应的节目源信息;
第二生成模块608,用于根据所述节目源信息,按照预定的文件属性,生成所述视频直播请求的初始视频内容;
转换模块609,用于根据预置移动终端的视频相关属性,对所述初始视频内容进行转换,得到与所述视频相关属性相对应的目标视频内容。
本实施例中,所述第一生成模块604包括:
第一确定单元6041,用于根据预设用户网络状态信息确定当前码率;
显著度处理单元6042,用于对所述目标视频内容包含的图像进行显著度处理,得到宏块的显著度信息,其中,所述宏块为所述图像中包含预设数量的像素点的区域;
第二确定单元6043,用于根据所述当前码率和所述宏块的显著度信息确定编码参数;
编码单元6044,用于基于所述当前码率和所述编码参数对所述目标视频内容包含的图像进行编码,生成待传输至预置客户端的视频流数据。
本实施例中,所述显著度处理单元6042具体用于:
对所述待处理视频包含的图像进行显著度检测,得到所述图像中每个像素点的显著度;
将所述图像转换成宏块集合;
根据所述宏块集合中的每个宏块包括的像素点的显著度确定所述每个宏块的显著度信息。
本实施例中,所述播放模块605包括:
获取单元6051,用于获取视频直播间对应的视频流数据播放请求,其中,所述视频流数据播放请求是所述视频直播间的主播终端离线时触发生成的请求;根据所述视频流数据播放请求,获取所述视频直播间的视频流数据,其中,所述视频流数据是对所述直播间的直播视频流数据进行录制得到的;
解析单元6052,用于根据视频流数据的格式,解析出视频流数据的内容,并根据预定传输协议将视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据;
播放单元6053,用于将所述流分发格式的视频流数据发送至内容分发网络,以便所述直播系统中的观众终端从所述内容分发网络拉取并播放所述视频流数据。
本实施例中,所述获取单元6051具体用于:
当所述直播间的主播终端离线时,获取所述主播终端对应的主播标识;
在离线轮播的主播列表中查询所述主播标识;
当所述离线轮播的主播列表中包含所述主播标识时,生成所述直播间对应的视频流数据播放请求。
本发明实施例中,通过接收用户终端发送的视频直播请求;获取与视频直播请求对应的目标视频内容,并将目标视频内容发送至预置中转服务器;根据预置视频转发规则,将视频内容转发至对应视频直播间;对目标视频内容进行音视频融合处理,生成视频流数据;将所述视频流发送至预置内容分发网络,播放视频流数据。本方案用户终端直接接入直播,解决用户无法直接接入直播,与坐席端之间的交互延迟较大,造成座席端的性能压力激增的技术问题。
上面图6和图7从模块化功能实体的角度对本发明实施例中的视频直播装置进行详细描述,下面从硬件处理的角度对本发明实施例中视频直播设备进行详细描述。
图8是本发明实施例提供的一种视频直播设备的结构示意图,该视频直播设备800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)810(例如,一个或一个以上处理器)和存储器820,一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中,存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对视频直播设备800中的一系列指令操作。更进一步地,处理器810可以设置为与存储介质830通信,在视频直播设备800上执行存储介质830中的一系列指令操作,以实现上述各方法实施例提供的视频直播方法的步骤。
视频直播设备800还可以包括一个或一个以上电源840,一个或一个以上有线或无线网络接口850,一个或一个以上输入输出接口860,和/或,一个或一个以上操作系统831,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图8示出的视频直播设备结构并不构成对本申请提供的视频直播设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行上述视频直播方法的步骤。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所述领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视频直播方法,其特征在于,所述视频直播方法包括:
接收用户终端发送的视频直播请求;
对所述视频直播请求进行解析,得到与所述视频直播请求对应的目标视频内容,并将所述目标视频内容发送至预置的中转服务器进行缓存;
根据预置视频转发规则,将缓存于所述中转服务器中的至少一个目标视频内容转发至当前时刻待直播的视频直播间的直播服务器上;
控制所述直播服务器对至少一个所述目标视频内容进行音视频融合处理,生成视频流数据,其中,所述视频流数据的格式为预设的原始格式;
根据所述视频流数据的格式,解析出所述视频流数据的内容,并根据预定传输协议将所述视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据,通过所述内容分发网络对所述流分发格式的视频流数据进行解码和分发播放。
2.根据权利要求1所述的视频直播方法,其特征在于,在所述接收用户终端发送的视频直播请求之前,还包括:
获取与用户信息相关联的直播间信息;
获取所述直播间信息对应的直播间配置参数集合,并根据所述直播间配置参数集合创建视频直播间。
3.根据权利要求1所述的视频直播方法,其特征在于,所述对所述视频直播请求进行解析,得到与所述视频直播请求对应的目标视频内容包括:
对所述视频直播请求进行解析,得到与所述视频直播请求对应的节目源信息;
根据所述节目源信息,按照预定的文件属性,生成所述视频直播请求的初始视频内容;
根据预置移动终端的视频相关属性,对所述初始视频内容进行转换,得到与所述视频相关属性相对应的目标视频内容。
4.根据权利要求2所述的视频直播方法,其特征在于,所述控制所述直播服务器对至少一个所述目标视频内容进行音视频融合处理,生成视频流数据包括:
根据预设用户网络状态信息确定当前码率;
对所述目标视频内容包含的图像进行显著度处理,得到宏块的显著度信息,其中,所述宏块为所述图像中包含预设数量的像素点的区域;
根据所述当前码率和所述宏块的显著度信息确定编码参数;
基于所述当前码率和所述编码参数对所述目标视频内容包含的图像进行编码,生成待传输至预置客户端的视频流数据。
5.根据权利要求4所述的视频直播方法,其特征在于,所述对所述目标视频内容包含的图像进行显著度处理,得到宏块的显著度信息包括:
对待处理视频包含的图像进行显著度检测,得到所述图像中每个像素点的显著度;
将所述图像转换成宏块集合;
根据所述宏块集合中的每个宏块包括的像素点的显著度确定所述每个宏块的显著度信息。
6.根据权利要求1所述的视频直播方法,其特征在于,所述根据所述视频流数据的格式,解析出所述视频流数据的内容,并根据预定传输协议将所述视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据,通过所述内容分发网络对所述流分发格式的视频流数据进行解码和分发播放包括:
获取视频直播间对应的视频流数据播放请求,其中,所述视频流数据播放请求是所述视频直播间的主播终端离线时触发生成的请求;
根据所述视频流数据播放请求,获取所述视频直播间的视频流数据,其中,所述视频流数据是对所述直播间的直播视频流数据进行录制得到的;
根据视频流数据的格式,解析出视频流数据的内容,并根据预定传输协议将视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据;
将所述流分发格式的视频流数据发送至内容分发网络,以便直播系统中的观众终端从所述内容分发网络拉取并播放所述视频流数据。
7.根据权利要求6所述的视频直播方法,其特征在于,所述获取视频直播间对应的视频流数据播放请求包括:
当所述直播间的主播终端离线时,获取所述主播终端对应的主播标识;
在离线轮播的主播列表中查询所述主播标识;
当所述离线轮播的主播列表中包含所述主播标识时,生成所述直播间对应的视频流数据播放请求。
8.一种视频直播装置,其特征在于,所述视频直播装置包括:
接收模块,用于接收用户终端发送的视频直播请求;
发送模块,用于对所述视频直播请求进行解析,得到与所述视频直播请求对应的目标视频内容,并将所述目标视频内容发送至预置的中转服务器进行缓存;
转发模块,用于根据预置视频转发规则,将缓存于所述中转服务器中的至少一个目标视频内容转发至当前时刻待直播的视频直播间的直播服务器上;
第一生成模块,用于控制所述直播服务器对至少一个所述目标视频内容进行音视频融合处理,生成视频流数据,其中所述视频流数据的格式为预设的原始格式;
播放模块,用于根据所述视频流数据的格式,解析出所述视频流数据的内容,并根据预定传输协议将所述视频流数据的内容转换为可被内容分发网络分发的流分发格式,得到流分发格式的视频流数据,通过所述内容分发网络对所述流分发格式的视频流数据进行解码和分发播放。
9.一种视频直播设备,其特征在于,所述视频直播设备包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述视频直播设备执行如权利要求1-7中任一项所述的视频直播方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的视频直播方法的步骤。
CN202110302825.9A 2021-03-22 2021-03-22 视频直播方法、装置、设备及存储介质 Active CN113068059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110302825.9A CN113068059B (zh) 2021-03-22 2021-03-22 视频直播方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110302825.9A CN113068059B (zh) 2021-03-22 2021-03-22 视频直播方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113068059A CN113068059A (zh) 2021-07-02
CN113068059B true CN113068059B (zh) 2022-12-13

Family

ID=76563144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110302825.9A Active CN113068059B (zh) 2021-03-22 2021-03-22 视频直播方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113068059B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115243074A (zh) * 2022-07-26 2022-10-25 京东方科技集团股份有限公司 视频流的处理方法及装置、存储介质、电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516739A (zh) * 2015-12-22 2016-04-20 腾讯科技(深圳)有限公司 一种视频直播方法、转码服务器、网页客户端及系统
CN107483972A (zh) * 2017-07-24 2017-12-15 平安科技(深圳)有限公司 一种音视频的直播处理方法、存储介质和一种移动终端
WO2018068556A1 (zh) * 2016-10-13 2018-04-19 北京奇虎科技有限公司 一种业务对象的处理方法、服务器、终端和系统
CN109756758A (zh) * 2017-11-01 2019-05-14 腾讯科技(深圳)有限公司 直播控制方法及装置
CN110958465A (zh) * 2019-12-17 2020-04-03 广州酷狗计算机科技有限公司 视频流推送方法、装置及存储介质
CN111918085A (zh) * 2020-08-06 2020-11-10 腾讯科技(深圳)有限公司 直播处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516739A (zh) * 2015-12-22 2016-04-20 腾讯科技(深圳)有限公司 一种视频直播方法、转码服务器、网页客户端及系统
WO2018068556A1 (zh) * 2016-10-13 2018-04-19 北京奇虎科技有限公司 一种业务对象的处理方法、服务器、终端和系统
CN107483972A (zh) * 2017-07-24 2017-12-15 平安科技(深圳)有限公司 一种音视频的直播处理方法、存储介质和一种移动终端
CN109756758A (zh) * 2017-11-01 2019-05-14 腾讯科技(深圳)有限公司 直播控制方法及装置
CN110958465A (zh) * 2019-12-17 2020-04-03 广州酷狗计算机科技有限公司 视频流推送方法、装置及存储介质
CN111918085A (zh) * 2020-08-06 2020-11-10 腾讯科技(深圳)有限公司 直播处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN113068059A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
US9800883B2 (en) Parallel video transcoding
US9288510B1 (en) Adaptive video transcoding based on parallel chunked log analysis
EP2151970B1 (en) Processing and supplying video data
TW201246942A (en) Object of interest based image processing
US20230045876A1 (en) Video Playing Method, Apparatus, and System, and Computer Storage Medium
WO2019184822A1 (zh) 多媒体文件处理方法和装置、存储介质及电子装置
CN113225585A (zh) 一种视频清晰度的切换方法、装置、电子设备以及存储介质
CN113068059B (zh) 视频直播方法、装置、设备及存储介质
CN111031032A (zh) 云端视频转码方法及装置、解码方法及装置、及电子设备
CN114139491A (zh) 一种数据处理方法、装置及存储介质
US11356722B2 (en) System for distributing an audiovisual content
Huang et al. A cloud computing based deep compression framework for UHD video delivery
CN116320431B (zh) 视频压缩编码数据动态无线网络传输系统
CN113099282A (zh) 一种数据处理方法、装置及设备
US20230328308A1 (en) Synchronization of multiple content streams
CN116193197A (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN113593587B (zh) 语音分离方法及装置、存储介质、电子装置
US11973994B2 (en) Media processing method
CN111787417B (zh) 基于人工智能ai的音视频的传输控制方法及相关设备
CN110795008B (zh) 图片传输方法、装置及计算机可读存储介质
CN115134664A (zh) 实时视频流的播放方法及系统、非易失性存储介质
CN108989905B (zh) 媒体流控制方法、装置、计算设备及存储介质
KR102549073B1 (ko) 분석 중계 서버의 분석 영상 중계 방법 및 분석 중계 시스템
US20180192085A1 (en) Method and apparatus for distributed video transmission
CN113038254B (zh) 一种视频播放方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant