CN116320596A - 进度内容预览处理方法、装置及系统 - Google Patents
进度内容预览处理方法、装置及系统 Download PDFInfo
- Publication number
- CN116320596A CN116320596A CN202211463885.XA CN202211463885A CN116320596A CN 116320596 A CN116320596 A CN 116320596A CN 202211463885 A CN202211463885 A CN 202211463885A CN 116320596 A CN116320596 A CN 116320596A
- Authority
- CN
- China
- Prior art keywords
- image
- video data
- spliced
- content preview
- live
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 134
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 27
- 230000006835 compression Effects 0.000 claims description 20
- 238000007906 compression Methods 0.000 claims description 20
- 230000000750 progressive effect Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000008520 organization Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请实施例公开了一种进度内容预览处理方法、装置及系统,该方法包括:获取直播视频数据,根据直播视频数据生成各个内容预览图像,并将各个内容预览图像进行拼接,得到直播视频数据对应的拼接图像;记录各个内容预览图像与各个视频时间点之间的映射关系;在客户端拉取直播视频数据的过程中,将直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据发送至客户端,以供客户端解析拼接图像和拼接图像对应的图像时间映射数据,确定并展示历史视频时间点对应的内容预览图像,从而可以让用户看到直播视频数据不同历史视频时间点的内容预览图像,让用户快速知道直播时移时的画面内容,便于用户快速定位至实际想看的时移位置。
Description
技术领域
本申请实施例涉及互联网技术领域,具体涉及一种进度内容预览处理方法、装置及系统。
背景技术
HLS协议用于实时音视频流的传输,目前HLS协议被广泛应用于视频点播和直播领域,基于HLS协议体系,可以提供直播时移功能,直播时移功能可以让看直播的用户在当前时间点向前回溯到某个历史时间点,从该历史时间点开始一直观看下去。在直播时移中,用户通常是通过进度条的时间来定位到想看的内容。
然而,在直播时移中,用户在点击进度条的时候,并不知道所点击的时移具体画面内容,只能靠进度条的时间来定位具体位置,导致用户需要多次点击才能找到真正想看的内容,非常影响用户的直播时移使用体验。
发明内容
鉴于上述问题,本申请提出了一种进度内容预览处理方法、装置、系统、计算设备及计算机存储介质,用于解决以下问题:现有的直播时移只能靠进度条时间定位具体位置,不能显示时移具体画面内容,导致用户无法很快定位想看的内容。
根据本申请实施例的一个方面,提供了一种进度内容预览处理方法,包括:
获取直播视频数据,根据直播视频数据生成各个内容预览图像,并将各个内容预览图像进行拼接,得到直播视频数据对应的拼接图像;
记录各个内容预览图像与各个视频时间点之间的映射关系,形成拼接图像对应的图像时间映射数据;
在客户端拉取直播视频数据的过程中,将直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据发送至客户端,以供客户端响应于用户针对直播视频数据的历史视频时间点的进度预览请求,解析直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定并展示历史视频时间点对应的内容预览图像。
进一步地,根据直播视频数据生成各个内容预览图像进一步包括:
对直播视频数据进行关键帧提取,得到各个关键帧;
利用各个关键帧生成各个内容预览图像。
进一步地,直播视频数据包括:全帧压缩编码帧、前向预测编码帧和双向预测内插编码帧;
对直播视频数据进行关键帧提取,得到各个关键帧进一步包括:
检测直播视频数据中的当前帧是否为全帧压缩编码帧;
若当前帧为全帧压缩编码帧,则从直播视频数据中提取当前帧,并将当前帧确定为关键帧。
进一步地,利用各个关键帧生成各个内容预览图像进一步包括:
针对各个关键帧中的每个关键帧,对该关键帧的帧图像进行分辨率压缩处理,将帧图像的分辨率压缩至预设分辨率,得到该关键帧对应的内容预览图像。
进一步地,该方法还包括:
将拼接图像对应的图像时间映射数据以及预设分辨率写入至描述文件中。
进一步地,将各个内容预览图像进行拼接,得到直播视频数据对应的拼接图像进一步包括:
按照内容预览图像的生成顺序,将各个内容预览图像依次添加至预设图像容器中,并设置各个内容预览图像在预设图像容器中的位置信息,得到直播视频数据对应的拼接图像。
进一步地,记录各个内容预览图像与各个视频时间点之间的映射关系,形成拼接图像对应的图像时间映射数据进一步包括:
获取各个关键帧在直播视频数据中的视频时间点,记录各个关键帧对应的内容预览图像的图像标识与各个关键帧在直播视频数据中的视频时间点之间的映射关系,形成拼接图像对应的图像时间映射数据。
进一步地,在客户端拉取直播视频数据的过程中,将直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据发送至客户端进一步包括:
响应于客户端发送的针对直播间的当前直播播放请求,确定当前直播播放请求对应的请求时间点;
将位于请求时间点之后获取到的直播间的直播视频数据、位于请求时间点之后生成的直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据实时地发送至客户端。
根据本申请实施例的另一方面,提供了一种进度内容预览处理方法,包括:
从服务端拉取并存储直播视频数据、直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据;
展示直播视频数据;
响应于用户针对直播视频数据的历史视频时间点的进度预览请求,解析直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定历史视频时间点对应的内容预览图像;
展示历史视频时间点对应的内容预览图像。
进一步地,从服务端拉取并存储直播视频数据、直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据进一步包括:
响应于用户的直播间进入操作,向服务端发送针对直播间的当前直播播放请求,以供服务端响应于当前直播播放请求确定当前直播播放请求对应的请求时间点;
接收并存储服务端发送的位于请求时间点之后获取到的直播间的直播视频数据、位于请求时间点之后生成的直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据。
进一步地,解析直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定历史视频时间点对应的内容预览图像进一步包括:
从拼接图像对应的图像时间映射数据中查找与历史视频时间点具有映射关系的图像标识;
从直播视频数据对应的拼接图像中提取图像标识对应的内容预览图像确定为历史视频时间点对应的内容预览图像。
进一步地,在解析直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定历史视频时间点对应的内容预览图像之前,该方法还包括:
判断历史视频时间点是否位于当前直播播放请求对应的请求时间点之前;
若历史视频时间点位于当前直播播放请求对应的请求时间点之前,则从处于同一客户域的其他客户端或者服务端中重新拉取直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据。
进一步地,从处于同一客户域的其他客户端或者服务端中重新拉取直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据进一步包括:
通过点到点通信方式,向处于同一客户域的其他客户端请求获取包含有历史视频时间点对应的内容预览图像的拼接图像以及拼接图像对应的图像时间映射数据;
若处于同一客户域的其他客户端未包含有历史视频时间点对应的内容预览图像的拼接图像以及拼接图像对应的图像时间映射数据,则向服务端请求获取包含有历史视频时间点对应的内容预览图像的拼接图像以及拼接图像对应的图像时间映射数据。
进一步地,同一客户域是指由同一边缘服务节点提供服务的客户端所形成的组织单元。
进一步地,展示历史视频时间点对应的内容预览图像进一步包括:
在直播间展示页面中的进度显示元素的预设位置处展示历史视频时间点对应的内容预览图像。
根据本申请实施例的又一方面,提供了一种进度内容预览处理装置,包括:
拼接模块,用于获取直播视频数据,根据直播视频数据生成各个内容预览图像,并将各个内容预览图像进行拼接,得到直播视频数据对应的拼接图像;
映射模块,用于记录各个内容预览图像与各个视频时间点之间的映射关系,形成拼接图像对应的图像时间映射数据;
处理模块,用于在客户端拉取直播视频数据的过程中,将直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据发送至客户端,以供客户端响应于用户针对直播视频数据的历史视频时间点的进度预览请求,解析直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定并展示历史视频时间点对应的内容预览图像。
根据本申请实施例的再一方面,提供了一种进度内容预览处理装置,包括:
拉取模块,用于从服务端拉取并存储直播视频数据、直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据;
直播视频展示模块,用于展示直播视频数据;
解析模块,用于响应于用户针对直播视频数据的历史视频时间点的进度预览请求,解析直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定历史视频时间点对应的内容预览图像;
预览模块,用于展示历史视频时间点对应的内容预览图像。
根据本申请实施例的另一方面,提供了一种进度内容预览处理系统,包括:上述的进度内容预览处理装置。
根据本申请实施例的又一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,处理器、存储器和通信接口通过通信总线完成相互间的通信;
存储器用于存放至少一可执行指令,可执行指令使处理器执行如上述的进度内容预览处理方法对应的操作。
根据本申请实施例的再一方面,提供了一种计算机存储介质,存储介质中存储有至少一可执行指令,可执行指令使处理器执行如上述的进度内容预览处理方法对应的操作。
根据本申请实施例提供的进度内容预览处理方法、装置及系统,通过获取直播视频数据,根据直播视频数据生成各个内容预览图像,并将各个内容预览图像进行拼接,得到直播视频数据对应的拼接图像;记录各个内容预览图像与各个视频时间点之间的映射关系,形成拼接图像对应的图像时间映射数据;在客户端拉取直播视频数据的过程中,将直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据发送至客户端。本方案在HLS切片生产过程中,实时生产出内容预览图像,并以精灵图的形式,将多个内容预览图像以拼接图像的形式拼接在一起,将直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据一起提供给客户端,供客户端响应于用户针对直播视频数据的历史视频时间点的进度预览请求,解析直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定并展示历史视频时间点对应的内容预览图像,实现了向用户提供直播时移内容预览图像,可以让用户看到直播视频数据不同历史视频时间点的内容预览图像,让用户快速知道直播时移时的画面内容,便于用户快速定位至实际想看的时移位置。
上述说明仅是本申请实施例技术方案的概述,为了能够更清楚了解本申请实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请实施例的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请实施例的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本申请一个实施例的进度内容预览处理方法的流程示意图;
图2a示出了根据本申请另一个实施例的进度内容预览处理方法的流程示意图;
图2b示出了一种页面展示示意图;
图3示出了根据本申请一个实施例的进度内容预览处理装置的结构框图;
图4示出了根据本申请另一个实施例的进度内容预览处理装置的结构框图;
图5示出了根据本申请一个实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
首先,对本申请一个或多个实施例涉及的名词术语进行解释。
直播(Live broadcast):一般都指网络视频直播,广义上的直播还包括了电视台的直播,直播音视频会以媒体流的形式推到服务端上(即推流)。如果有观众收看直播,服务端收到用户的请求后,会把视频传输到网站、客户端的应用(APP)或者客户端的播放器等中,以实时播放视频。
点播:是根据观众的要求播放节目的视频点播系统,把用户所点击或选择的视频内容,传输给所请求的用户。
基于HTTP的自适应码率流媒体传输协议(HTTP Live Streaming,HLS):是一种动态码率自适应技术;用于实时音视频流的传输,目前HLS协议被广泛应用于视频点播和直播领域。HLS协议的工作原理是把整个流分成一个个小的基于HTTP的文件来下载,每次只下载一些;其包括一个m3u8的索引文件。
m3u8文件:是一种索引文件,通常一个音视频文件会被分割成若干小文件,然后通过m3u8记录每个文件的地址与播放顺序。
直播时移:是指在直播过程中可以任意回看过去的直播内容的技术,是与直播和点播相结合的一种技术,观众可以在当前时间点向前回溯到某个时间点开始一直观看下去,直到视频内容结束。
精灵图:又称雪碧图,拼合图,很多大型网页在首次加载的时候都需要加载很多的小图片,而考虑到在同一时间,服务端拥堵的情况下,为了解决这一问题,采用了精灵图这一技术来缓解加载时间过长从而影响用户体验的这个问题,在计算机图形学中,当一张二维图像集成进场景中,成为整个显示图像的一部分时,这张图就称为精灵图。在本实施例中,将通过对各个内容预览图像进行拼接而得到的图像称为拼接图像。
JS对象简谱(JavaScript Object Notation,JSON):是一种轻量级资料交换格式,其内容由属性和值所组成,因此也有易于阅读和处理的优势。JSON是独立于程式语言的资料格式,其不仅是JavaScript的子集,也采用了C语言家族的习惯用法,其广泛使用的程度也使其成为通用的资料格式。
对等网络(Peer to Peer,P2P):属于覆盖层网络(Overlay Network)的范畴,是相对于客户端/服务端(C/S)模式来说的一种网络信息交换方式,在C/S模式中,数据的分发采用专门的服务端,多个客户端都从此服务端获取数据。
图1示出了根据本申请一个实施例的进度内容预览处理方法的流程示意图,适用于服务端,如图1所示,该方法包括如下步骤:
步骤S101:获取直播视频数据,根据直播视频数据生成各个内容预览图像。
在本实施例中,在应用HLS协议传输直播视频数据的过程中,由于HLS协议的工作原理是把整个流分成一个个小的切片(即基于HTTP的文件)来下载,因此可以在HLS生产切片的过程中,通过服务端获取直播视频数据,并根据直播视频数据实时地生成各个内容预览图像。
在一种可选的实施方式中,步骤S101进一步包括:对直播视频数据进行关键帧提取,得到各个关键帧;利用各个关键帧生成各个内容预览图像。
在本实施例中,服务端获取直播视频数据,对直播视频数据进行关键帧提取,得到各个关键帧;利用各个关键帧生成各个内容预览图像。
在一种可选的实施方式中,直播视频数据包括:全帧压缩编码帧、前向预测编码帧和双向预测内插编码帧;具体地说,在视频压缩中,每帧都代表着一幅静止的图像,在实际的视频压缩编码时,会采取各种算法减少数据的容量,其中IPB帧就是最常见的一种算法,IPB帧包括:全帧压缩编码帧(intra picture,I帧)、前向预测编码帧(predictive-frame,P帧),双向预测内插编码帧(bi-directional interpolated prediction frame,B帧);其中,I帧通常是每个画面组(Group of Pictures,GOP)的第一个帧,经过适度地压缩,作为随机访问的参考点,可以当成静态图像;P帧通常将图像序列中前面已经编码帧的时间冗余信息充分去除来压缩传输数据量的编码图像;B帧则既考虑源图像序列前面的已编码帧,又顾及源图像序列后面的已编码帧之间的时间冗余信息,通常用来压缩传输数据量的编码图像。
从编解码角度来说,I帧自身可以通过视频解压算法解压成一张单独的完整视频画面,所以I帧去掉的是视频帧在空间维度上的冗余信息;P帧需要参考前面的I帧或者P帧来解码成一张完整的视频画面;B帧需要参考前一个I帧或者P帧及其后面的一个P帧来生成一张完整的视频画面,所以P帧与B帧去掉的是视频帧在时间维度上的冗余信息。
在一种可选的实施方式中,步骤S101进一步包括:检测直播视频数据中的当前帧是否为全帧压缩编码帧;若当前帧为全帧压缩编码帧,则从直播视频数据中提取当前帧,并将当前帧确定为关键帧。
具体地,编码器将多张图像进行编码后生产成一段一段的GOP,解码器在播放时则是读取一段一段的GOP进行解码后读取画面再渲染显示。基于I帧自身可以通过视频解压算法解压成一张单独的完整视频画面,也就是说,I帧是一个完整的画面,而P帧和B帧记录的是相对于I帧的变化;如果没有I帧,P帧和B帧就无法解码,因此,在本实施例中,将I帧确定为关键帧。
在一种可选的实施方式中,步骤S101进一步包括:针对各个关键帧中的每个关键帧,对该关键帧的帧图像进行分辨率压缩处理,将帧图像的分辨率压缩至预设分辨率,得到该关键帧对应的内容预览图像。
具体地说,分辨率影响图像大小,分辨率与图像大小成正比,即分辨率越高,图像越大,分辨率越低,图像越小,在本实施例中,为了便于加载出各个内容预览图像,针对每个关键帧,需要对该关键帧的帧图像进行分辨率压缩处理,例如,可以预设分辨率为24*24,并将该预设分辨率写入至描述文件中,则可将帧图像的分辨率压缩至24*24,以该压缩图像作为该关键帧对应的内容预览图像。
步骤S102:将各个内容预览图像进行拼接,得到直播视频数据对应的拼接图像。
其中,可按照内容预览图像的生成顺序,将各个内容预览图像依次添加至预设图像容器中,并设置各个内容预览图像在预设图像容器中的位置信息,得到直播视频数据对应的拼接图像。
在本实施例中,预设图像容器可以是精灵图技术的背景画布,在用户通过客户端直播时移想要的内容时,可以通过移动背景画布中的小图片,显示出用户想要显示出来的部分,从而缓解处理压力,精灵图的原理是将很多的小图片合并到一张较大的图片里,所以在首次加载页面的时候,只需要加载出来将小图片合并起来的那一张大图片也就是精灵图即可,这样在一定程度上减少了页面的加载速度,也一定程度上缓解了图像处理压力。
步骤S103:记录各个内容预览图像与各个视频时间点之间的映射关系,形成拼接图像对应的图像时间映射数据。
其中,获取各个关键帧在直播视频数据中的视频时间点,记录各个关键帧对应的内容预览图像的图像标识与各个关键帧在直播视频数据中的视频时间点之间的映射关系,形成拼接图像对应的图像时间映射数据。
另外,还可将拼接图像对应的图像时间映射数据以及预设分辨率写入至描述文件中。其中,描述文件可以是JSON格式的描述文件,基于其易于阅读和处理的优势,将拼接图像对应的图像时间映射数据和预设分辨率等数据写入;其中,拼接图像对应的图像时间映射数据指的是拼接图像中的各个内容预览图像与整个直播视频数据中对应的播放时间(即例如进度条等进度显示元素对应的时间)之间的映射数据。
具体地说,可以记录各个关键帧对应的内容预览图像的图像标识与各个关键帧在直播视频数据中的视频时间点之间的映射关系形成该拼接图像对应的图像时间映射数据,将该拼接图像对应的图像时间映射数据写入至描述文件(例如JSON文件)中,在客户端需要拉取直播时移内容时,服务端可以将拼接图像和JSON文件一并发送至客户端。
步骤S104:在客户端拉取直播视频数据的过程中,将直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据发送至客户端。
在本步骤中,客户端侧的用户在看直播的过程中,服务端可以将直播视频数据、直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据发送至客户端,客户端若有用户针对直播视频数据的历史视频时间点发起进度预览请求,客户端即可解析直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定并展示历史视频时间点对应的内容预览图像;其中,进度预览请求可以是用户针对直播视频的进度显示元素执行的操作等。
在一种可选的实施方式中,步骤S104进一步包括:响应于客户端发送的针对直播间的当前直播播放请求,确定当前直播播放请求对应的请求时间点;将位于请求时间点之后获取到的直播间的直播视频数据、位于请求时间点之后生成的直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据实时地发送至客户端。
其中,若用户进直播间的时候比较早,直播还没开始,那么待直播开始后,该客户端获取到的则是从直播起始时间点开始的直播视频数据、直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据;若用户进直播间的时候直播已经开始,那么之前产生的直播视频数据、拼接图像及图像时间映射数据就可以无需下发至客户端,从而减少数据传输量,缓解服务端压力,服务端只需要发送位于请求时间点之后获取到的直播间的直播视频数据、位于请求时间点之后生成的直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据实时地至客户端。
根据本申请实施例提供的一种进度内容预览处理方法,能够在HLS切片生产过程中,实时生产出内容预览图像,并以精灵图的形式,将多个内容预览图像以拼接图像的形式拼接在一起,将直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据一起提供给客户端,供客户端响应于用户针对直播视频数据的历史视频时间点的进度预览请求,解析直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定并展示历史视频时间点对应的内容预览图像,实现了向用户提供直播时移内容预览图像,可以让用户看到直播视频数据不同历史视频时间点的内容预览图像,让用户快速知道直播时移时的画面内容,便于用户快速定位至实际想看的时移位置。
图2a示出了根据本申请另一个实施例的进度内容预览处理方法的流程示意图,适用于客户端,如图2a所示,该方法包括如下步骤:
步骤S201:从服务端拉取并存储直播视频数据、直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据。
在本步骤中,在用户通过客户端观看直播时,客户端可以选择从服务端拉取并存储直播视频数据至本地的存储设备,服务端在客户端拉取直播视频数据的过程中,将直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据发送至客户端。
为了减少数据传输量,缓解服务端压力,在一种可选的实施方式中,步骤S201进一步包括:响应于用户的直播间进入操作,向服务端发送针对直播间的当前直播播放请求,以供服务端响应于当前直播播放请求确定当前直播播放请求对应的请求时间点;接收并存储服务端发送的位于请求时间点之后获取到的直播间的直播视频数据、位于请求时间点之后生成的直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据。
步骤S202:展示直播视频数据。
具体地说,用户可以通过客户端的播放器等设备进入直播间,服务端响应于用户的直播间进入操作,向服务端发送针对直播间的当前直播播放请求,接收并存储服务端发送的位于请求时间点之后获取到的直播间的直播视频数据、位于请求时间点之后生成的直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据,并依据接收的直播视频数据通过播放器等设备在直播间展示页面中向用户展示直播视频数据。
步骤S203:响应于用户针对直播视频数据的历史视频时间点的进度预览请求,判断历史视频时间点是否位于当前直播播放请求对应的请求时间点之前;若是,执行步骤S204;若否,执行步骤S205。
具体地说,若历史视频时间点位于当前直播播放请求对应的请求时间点之后,说明用户想要看的是其进入直播间之后已经加载过的历史直播视频数据,而客户端从服务端拉取的拼接图像里已经包含有历史视频时间点对应的内容预览图像,因此无需重新再拉取,可以直接从已经存储于本地的拼接图像以及拼接图像对应的图像时间映射数据进行解析出内容预览图像;如果请求时间点位于历史视频时间点之后,说明用户想要看的是其进入直播间之前已经直播过的、但用户并未观看到的历史直播内容,由于客户端拉取到的拼接图像里没有包含有历史视频时间点对应的内容预览图像,因此需要重新再拉取直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据。
步骤S204:从处于同一客户域的其他客户端或者服务端中重新拉取直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据。
在一种可选的实施方式中,步骤S204进一步包括:通过点到点通信方式,向处于同一客户域的其他客户端请求获取包含有历史视频时间点对应的内容预览图像的拼接图像以及拼接图像对应的图像时间映射数据;若处于同一客户域的其他客户端未包含有历史视频时间点对应的内容预览图像的拼接图像以及拼接图像对应的图像时间映射数据,则向服务端请求获取包含有历史视频时间点对应的内容预览图像的拼接图像以及拼接图像对应的图像时间映射数据。
在本步骤中,点到点通信方式可以包括P2P等通信方式,若历史视频时间点位于当前直播播放请求对应的请求时间点之前,说明用户想要看的是其进入直播间之前已经直播过的、但用户并未观看到的历史直播内容,由于客户端拉取的拼接图像里没有包含有历史视频时间点对应的内容预览图像,因此需要重新再拉取直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据,则可以通过P2P通信方式从处于同一客户域的其他客户端中重新拉取直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据,或者从服务端中重新拉取直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据,
其中,同一客户域是指由同一边缘服务节点提供服务的客户端所形成的组织单元。与该客户端处于同一客户域的其他客户端还可称为该客户端的邻近客户端,而通过查询同一边缘服务节点服务过的其他客户端可更快速获取到直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据;若处于同一客户域的其他客户端未包含有历史视频时间点对应的内容预览图像的拼接图像以及拼接图像对应的图像时间映射数据,则可向服务端请求获取包含有历史视频时间点对应的内容预览图像的拼接图像以及拼接图像对应的图像时间映射数据;该方式可以提升拉取拼接图像以及拼接图像对应的图像时间映射数据的速率和准确率。其中,包含有历史视频时间点对应的内容预览图像的拼接图像具体可以为从直播起始时间点开始通过不断地拼接从实时的直播视频数据中所生成的各个内容预览图像而得到的拼接图像。
步骤S205:解析直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定历史视频时间点对应的内容预览图像。
其中,从拼接图像对应的图像时间映射数据中查找与历史视频时间点具有映射关系的图像标识;从直播视频数据对应的拼接图像中提取图像标识对应的内容预览图像确定为历史视频时间点对应的内容预览图像。
客户端在拉取到直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据之后,还需要解析拼接图像和拼接图像对应的图像时间映射数据,以得到历史视频时间点对应的内容预览图像。具体地说,通过各个内容预览图像的图像标识来代表各个内容预览图像,在图像时间映射数据中记录的是各个内容预览图像的图像标识与各个视频时间点之间的映射关系,结合拼接图像对应的图像时间映射数据中记录的视频时间点,查找该历史视频时间点对应的内容预览图像的图像标识,再从拼接图像里查找该图像标识对应的内容预览图像。
步骤S206:展示历史视频时间点对应的内容预览图像。
客户端可以通过播放器在直播间展示页面中的例如进度条等进度显示元素的预设位置处展示历史视频时间点对应的内容预览图像,预设位置可以为进度显示元素的上方等位置处;图2b示出了一种页面展示示意图,如图2b所示,可以在直播间展示页面的进度条的上方以小窗方式展示历史视频时间点对应的内容预览图像。
根据本申请实施例提供的一种进度内容预览处理方法,客户端响应于用户针对直播视频数据的历史视频时间点的进度预览请求,解析服务端提供的直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定并展示历史视频时间点对应的内容预览图像,实现了向用户提供直播时移内容预览图像,可以让用户看到直播视频数据不同历史视频时间点的内容预览图像,让用户快速知道直播时移时的画面内容,便于用户快速定位至实际想看的时移位置。
图3示出了根据本申请一个实施例的进度内容预览处理装置的结构框图,适用于服务端,如图3所示,该装置包括:拼接模块301、映射模块302以及处理模块303。
拼接模块301,用于获取直播视频数据,根据直播视频数据生成各个内容预览图像,并将各个内容预览图像进行拼接,得到直播视频数据对应的拼接图像。
在一种可选的实施方式中,拼接模块301进一步用于:对直播视频数据进行关键帧提取,得到各个关键帧;利用各个关键帧生成各个内容预览图像。
在一种可选的实施方式中,直播视频数据包括:全帧压缩编码帧、前向预测编码帧和双向预测内插编码帧;拼接模块301进一步用于:检测直播视频数据中的当前帧是否为全帧压缩编码帧;若当前帧为全帧压缩编码帧,则从直播视频数据中提取当前帧,并将当前帧确定为关键帧。
在一种可选的实施方式中,拼接模块301进一步用于:针对各个关键帧中的每个关键帧,对该关键帧的帧图像进行分辨率压缩处理,将帧图像的分辨率压缩至预设分辨率,得到该关键帧对应的内容预览图像。
在一种可选的实施方式中,拼接模块301进一步用于:将拼接图像对应的图像时间映射数据以及预设分辨率写入至描述文件中。
在一种可选的实施方式中,拼接模块301进一步用于:按照内容预览图像的生成顺序,将各个内容预览图像依次添加至预设图像容器中,并设置各个内容预览图像在预设图像容器中的位置信息,得到直播视频数据对应的拼接图像。
映射模块302,用于记录各个内容预览图像与各个视频时间点之间的映射关系,形成拼接图像对应的图像时间映射数据。
在一种可选的实施方式中,映射模块302进一步用于:获取各个关键帧在直播视频数据中的视频时间点,记录各个关键帧对应的内容预览图像的图像标识与各个关键帧在直播视频数据中的视频时间点之间的映射关系,形成拼接图像对应的图像时间映射数据。
处理模块303,用于在客户端拉取直播视频数据的过程中,将直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据发送至客户端,以供客户端响应于用户针对直播视频数据的历史视频时间点的进度预览请求,解析直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定并展示历史视频时间点对应的内容预览图像。
在一种可选的实施方式中,处理模块303进一步用于:响应于客户端发送的针对直播间的当前直播播放请求,确定当前直播播放请求对应的请求时间点;将位于请求时间点之后获取到的直播间的直播视频数据、位于请求时间点之后生成的直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据实时地发送至客户端。
以上各模块的描述参照方法实施例中对应的描述,在此不再赘述。
根据本申请实施例提供的一种进度内容预览处理装置,能够在HLS切片生产过程中,实时生产出内容预览图像,并以精灵图的形式,将多个内容预览图像以拼接图像的形式拼接在一起,将直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据一起提供给客户端,供客户端响应于用户针对直播视频数据的历史视频时间点的进度预览请求,解析直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定并展示历史视频时间点对应的内容预览图像,实现了向用户提供直播时移内容预览图像,可以让用户看到直播视频数据不同历史视频时间点的内容预览图像,让用户快速知道直播时移时的画面内容,便于用户快速定位至实际想看的时移位置。
图4示出了根据本申请另一个实施例的进度内容预览处理装置的结构框图,适用于客户端,如图4所示,该装置包括:拉取模块401、直播视频展示模块402、解析模块403以及预览模块404。
拉取模块401,用于从服务端拉取并存储直播视频数据、直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据。
在一种可选的实施方式中,拉取模块401进一步用于:响应于用户的直播间进入操作,向服务端发送针对直播间的当前直播播放请求,以供服务端响应于当前直播播放请求确定当前直播播放请求对应的请求时间点;接收并存储服务端发送的位于请求时间点之后获取到的直播间的直播视频数据、位于请求时间点之后生成的直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据。
直播视频展示模块402,用于展示直播视频数据。
解析模块403,用于响应于用户针对直播视频数据的历史视频时间点的进度预览请求,解析直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定历史视频时间点对应的内容预览图像。
在一种可选的实施方式中,解析模块403进一步用于:从拼接图像对应的图像时间映射数据中查找与历史视频时间点具有映射关系的图像标识;从直播视频数据对应的拼接图像中提取图像标识对应的内容预览图像确定为历史视频时间点对应的内容预览图像。
在一种可选的实施方式中,解析模块403进一步用于:判断历史视频时间点是否位于当前直播播放请求对应的请求时间点之前;若历史视频时间点位于当前直播播放请求对应的请求时间点之前,则从处于同一客户域的其他客户端或者服务端中重新拉取直播视频数据对应的拼接图像以及拼接图像对应的图像时间映射数据。
在一种可选的实施方式中,解析模块403进一步用于:通过点到点通信方式,向处于同一客户域的其他客户端请求获取包含有历史视频时间点对应的内容预览图像的拼接图像以及拼接图像对应的图像时间映射数据;若处于同一客户域的其他客户端未包含有历史视频时间点对应的内容预览图像的拼接图像以及拼接图像对应的图像时间映射数据,则向服务端请求获取包含有历史视频时间点对应的内容预览图像的拼接图像以及拼接图像对应的图像时间映射数据。
在一种可选的实施方式中,同一客户域是指由同一边缘服务节点提供服务的客户端所形成的组织单元。
预览模块404,用于展示历史视频时间点对应的内容预览图像。
在一种可选的实施方式中,预览模块404进一步用于:在直播间展示页面中的进度显示元素的预设位置处展示历史视频时间点对应的内容预览图像。
以上各模块的描述参照方法实施例中对应的描述,在此不再赘述。
根据本申请实施例提供的一种进度内容预览处理装置,客户端响应于用户针对直播视频数据的历史视频时间点的进度预览请求,解析服务端提供的直播视频数据对应的拼接图像和拼接图像对应的图像时间映射数据,确定并展示历史视频时间点对应的内容预览图像,实现了向用户提供直播时移内容预览图像,可以让用户看到直播视频数据不同历史视频时间点的内容预览图像,让用户快速知道直播时移时的画面内容,便于用户快速定位至实际想看的时移位置。
本申请实施例还提供一种进度内容预览处理系统,该进度内容预览处理系统包括上述实施例示出的应用于服务端的进度内容预览处理装置和应用于客户端的进度内容预览处理装置。
本申请实施例还提供了一种非易失性计算机存储介质,计算机存储介质存储有至少一可执行指令,可执行指令可执行上述任意方法实施例中的一种进度内容预览处理方法。
图5示出了根据本申请实施例的一种计算设备的结构示意图,本申请实施例的具体实施例并不对计算设备的具体实现做限定。
如图5所示,该计算设备可以包括:处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中:
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502,用于执行程序510,具体可以执行上述一种进度内容预览处理方法实施例中的相关步骤。
具体地,程序510可以包括程序代码,该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器506,用于存放程序510。存储器506可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行上述任意方法实施例中的一种进度内容预览处理方法。程序510中各步骤的具体实现可以参见上述一种进度内容预览处理方法实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本申请实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请实施例的内容,并且上面对特定语言所做的描述是为了披露本申请实施例的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本申请实施例的示例性实施例的描述中,本申请实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本申请实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请实施例的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请实施例的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请实施例的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例中的一些或者全部部件的一些或者全部功能。本申请实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请实施例的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本申请实施例进行说明而不是对本申请实施例进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (22)
1.一种进度内容预览处理方法,包括:
获取直播视频数据,根据所述直播视频数据生成各个内容预览图像,并将所述各个内容预览图像进行拼接,得到所述直播视频数据对应的拼接图像;
记录所述各个内容预览图像与各个视频时间点之间的映射关系,形成所述拼接图像对应的图像时间映射数据;
在客户端拉取所述直播视频数据的过程中,将所述直播视频数据对应的拼接图像以及所述拼接图像对应的图像时间映射数据发送至所述客户端,以供所述客户端响应于用户针对所述直播视频数据的历史视频时间点的进度预览请求,解析所述直播视频数据对应的拼接图像和所述拼接图像对应的图像时间映射数据,确定并展示所述历史视频时间点对应的内容预览图像。
2.根据权利要求1所述的方法,其中,所述根据所述直播视频数据生成各个内容预览图像进一步包括:
对所述直播视频数据进行关键帧提取,得到各个关键帧;
利用所述各个关键帧生成所述各个内容预览图像。
3.根据权利要求2所述的方法,其中,所述直播视频数据包括:全帧压缩编码帧、前向预测编码帧和双向预测内插编码帧;
所述对所述直播视频数据进行关键帧提取,得到各个关键帧进一步包括:
检测所述直播视频数据中的当前帧是否为全帧压缩编码帧;
若所述当前帧为所述全帧压缩编码帧,则从所述直播视频数据中提取所述当前帧,并将所述当前帧确定为所述关键帧。
4.根据权利要求2或3所述的方法,其中,所述利用所述各个关键帧生成所述各个内容预览图像进一步包括:
针对所述各个关键帧中的每个关键帧,对该关键帧的帧图像进行分辨率压缩处理,将所述帧图像的分辨率压缩至预设分辨率,得到该关键帧对应的内容预览图像。
5.根据权利要求4所述的方法,其中,所述方法还包括:
将所述拼接图像对应的图像时间映射数据以及所述预设分辨率写入至描述文件中。
6.根据权利要求1-5任一项中所述的方法,其中,所述将所述各个内容预览图像进行拼接,得到所述直播视频数据对应的拼接图像进一步包括:
按照内容预览图像的生成顺序,将所述各个内容预览图像依次添加至预设图像容器中,并设置所述各个内容预览图像在所述预设图像容器中的位置信息,得到所述直播视频数据对应的拼接图像。
7.根据权利要求2-5任一项中所述的方法,其中,所述记录所述各个内容预览图像与各个视频时间点之间的映射关系,形成所述拼接图像对应的图像时间映射数据进一步包括:
获取所述各个关键帧在所述直播视频数据中的视频时间点,记录所述各个关键帧对应的内容预览图像的图像标识与所述各个关键帧在所述直播视频数据中的视频时间点之间的映射关系,形成所述拼接图像对应的图像时间映射数据。
8.根据权利要求1-7任一项中所述的方法,其中,所述在客户端拉取所述直播视频数据的过程中,将所述直播视频数据对应的拼接图像以及所述拼接图像对应的图像时间映射数据发送至所述客户端进一步包括:
响应于所述客户端发送的针对直播间的当前直播播放请求,确定所述当前直播播放请求对应的请求时间点;
将位于所述请求时间点之后获取到的所述直播间的直播视频数据、位于所述请求时间点之后生成的所述直播视频数据对应的拼接图像以及所述拼接图像对应的图像时间映射数据实时地发送至所述客户端。
9.一种进度内容预览处理方法,包括:
从服务端拉取并存储直播视频数据、所述直播视频数据对应的拼接图像以及所述拼接图像对应的图像时间映射数据;
展示所述直播视频数据;
响应于用户针对所述直播视频数据的历史视频时间点的进度预览请求,解析所述直播视频数据对应的拼接图像和所述拼接图像对应的图像时间映射数据,确定所述历史视频时间点对应的内容预览图像;
展示所述历史视频时间点对应的内容预览图像。
10.根据权利要求9所述的方法,其中,所述从服务端拉取并存储直播视频数据、所述直播视频数据对应的拼接图像以及所述拼接图像对应的图像时间映射数据进一步包括:
响应于用户的直播间进入操作,向所述服务端发送针对所述直播间的当前直播播放请求,以供所述服务端响应于所述当前直播播放请求确定所述当前直播播放请求对应的请求时间点;
接收并存储所述服务端发送的位于所述请求时间点之后获取到的所述直播间的直播视频数据、位于所述请求时间点之后生成的所述直播视频数据对应的拼接图像以及所述拼接图像对应的图像时间映射数据。
11.根据权利要求9或10所述的方法,其中,解析所述直播视频数据对应的拼接图像和所述拼接图像对应的图像时间映射数据,确定所述历史视频时间点对应的内容预览图像进一步包括:
从所述拼接图像对应的图像时间映射数据中查找与所述历史视频时间点具有映射关系的图像标识;
从所述直播视频数据对应的拼接图像中提取所述图像标识对应的内容预览图像确定为所述历史视频时间点对应的内容预览图像。
12.根据权利要求10所述的方法,其中,在所述解析所述直播视频数据对应的拼接图像和所述拼接图像对应的图像时间映射数据,确定所述历史视频时间点对应的内容预览图像之前,所述方法还包括:
判断所述历史视频时间点是否位于所述当前直播播放请求对应的请求时间点之前;
若所述历史视频时间点位于所述当前直播播放请求对应的请求时间点之前,则从处于同一客户域的其他客户端或者所述服务端中重新拉取所述直播视频数据对应的拼接图像以及所述拼接图像对应的图像时间映射数据。
13.根据权利要求12所述的方法,其中,所述从处于同一客户域的其他客户端或者所述服务端中重新拉取所述直播视频数据对应的拼接图像以及所述拼接图像对应的图像时间映射数据进一步包括:
通过点到点通信方式,向所述处于同一客户域的其他客户端请求获取包含有所述历史视频时间点对应的内容预览图像的拼接图像以及所述拼接图像对应的图像时间映射数据;
若所述处于同一客户域的其他客户端未包含有所述历史视频时间点对应的内容预览图像的拼接图像以及所述拼接图像对应的图像时间映射数据,则向所述服务端请求获取包含有所述历史视频时间点对应的内容预览图像的拼接图像以及所述拼接图像对应的图像时间映射数据。
14.根据权利要求9-13任一项中所述的方法,其中,所述同一客户域是指由同一边缘服务节点提供服务的客户端所形成的组织单元。
15.根据权利要求9-14任一项中所述的方法,其中,所述展示所述历史视频时间点对应的内容预览图像进一步包括:
在直播间展示页面中的进度显示元素的预设位置处展示所述历史视频时间点对应的内容预览图像。
16.一种进度内容预览处理装置,包括:
拼接模块,用于获取直播视频数据,根据所述直播视频数据生成各个内容预览图像,并将所述各个内容预览图像进行拼接,得到所述直播视频数据对应的拼接图像;
映射模块,用于记录所述各个内容预览图像与各个视频时间点之间的映射关系,形成所述拼接图像对应的图像时间映射数据;
处理模块,用于在客户端拉取所述直播视频数据的过程中,将所述直播视频数据对应的拼接图像以及所述拼接图像对应的图像时间映射数据发送至所述客户端,以供所述客户端响应于用户针对所述直播视频数据的历史视频时间点的进度预览请求,解析所述直播视频数据对应的拼接图像和所述拼接图像对应的图像时间映射数据,确定并展示所述历史视频时间点对应的内容预览图像。
17.一种进度内容预览处理装置,包括:
拉取模块,用于从服务端拉取并存储直播视频数据、所述直播视频数据对应的拼接图像以及所述拼接图像对应的图像时间映射数据;
直播视频展示模块,用于展示所述直播视频数据;
解析模块,用于响应于用户针对所述直播视频数据的历史视频时间点的进度预览请求,解析所述直播视频数据对应的拼接图像和所述拼接图像对应的图像时间映射数据,确定所述历史视频时间点对应的内容预览图像;
预览模块,用于展示所述历史视频时间点对应的内容预览图像。
18.一种进度内容预览处理系统,包括:权利要求16所述的进度内容预览处理装置和权利要求17所述的进度内容预览处理装置。
19.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-8中任一项所述的进度内容预览处理方法对应的操作。
20.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-8中任一项所述的进度内容预览处理方法对应的操作。
21.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求9-15中任一项所述的进度内容预览处理方法对应的操作。
22.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求9-15中任一项所述的进度内容预览处理方法对应的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211463885.XA CN116320596A (zh) | 2022-11-22 | 2022-11-22 | 进度内容预览处理方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211463885.XA CN116320596A (zh) | 2022-11-22 | 2022-11-22 | 进度内容预览处理方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116320596A true CN116320596A (zh) | 2023-06-23 |
Family
ID=86783898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211463885.XA Pending CN116320596A (zh) | 2022-11-22 | 2022-11-22 | 进度内容预览处理方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116320596A (zh) |
-
2022
- 2022-11-22 CN CN202211463885.XA patent/CN116320596A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102286881B1 (ko) | 시간지정된 미디어 데이터의 스트리밍 동안의 렌더링 디스플레이를 개선하기 위한 방법, 디바이스, 및 컴퓨터 프로그램 | |
US10841667B2 (en) | Producing video data | |
US10389784B2 (en) | Method and device for generating a description file, and corresponding streaming method | |
US9601126B2 (en) | Audio splitting with codec-enforced frame sizes | |
CN108391179B (zh) | 直播数据处理方法、装置、服务器、终端及存储介质 | |
US10200723B2 (en) | Converting live streaming content to video-on-demand streaming content | |
US11695816B2 (en) | Video streaming | |
US20100242066A1 (en) | Method of Performing Random Seek Preview for Streaming Video | |
CN113329267B (zh) | 一种视频播放方法、装置、终端设备及存储介质 | |
CN113141522B (zh) | 资源传输方法、装置、计算机设备及存储介质 | |
CN107634928B (zh) | 一种码流数据的处理方法及装置 | |
US9161088B2 (en) | Method in a streaming client for handling video streaming data, streaming client, computer programs and computer program products | |
RU2651241C2 (ru) | Передающее устройство, способ передачи, приемное устройство и способ приема | |
JP6632550B2 (ja) | タイムピリオドにまたがってオブジェクトを識別する方法および対応デバイス | |
US20180324480A1 (en) | Client and Method for Playing a Sequence of Video Streams, and Corresponding Server and Computer Program Product | |
CN112243136A (zh) | 内容播放方法、视频存储方法和设备 | |
CN108632644B (zh) | 预览图的展示方法以及设备 | |
CN116320596A (zh) | 进度内容预览处理方法、装置及系统 | |
CN112954396B (zh) | 视频的播放方法、装置、电子设备及计算机可读存储介质 | |
CN114363710A (zh) | 基于时移加速的直播观看方法及装置 | |
EP4152754A1 (en) | Content transmission system and method | |
CN114025201A (zh) | 一种视频播放方法、装置、设备及存储介质 | |
CN114363637A (zh) | 视频预解码方法、电子设备及计算机可读存储介质 | |
CA3210941A1 (en) | Playback of media content during dual mode trick play operations | |
CN115604523A (zh) | 自由视角视频场景的处理方法、客户端及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |