CN109218836B - 一种视频处理方法及其设备 - Google Patents
一种视频处理方法及其设备 Download PDFInfo
- Publication number
- CN109218836B CN109218836B CN201710526176.4A CN201710526176A CN109218836B CN 109218836 B CN109218836 B CN 109218836B CN 201710526176 A CN201710526176 A CN 201710526176A CN 109218836 B CN109218836 B CN 109218836B
- Authority
- CN
- China
- Prior art keywords
- video
- target
- view angle
- view
- switching path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25891—Management of end-user data being end-user preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请实施例公开了一种视频处理方法及其设备,用于减少用户在观看视频的过程中画面的某些部分模糊的几率。本申请实施例方法包括:客户端确定第一视频分片的第一目标视角区域,所述第一目标视角区域包括第一视角区域和第二视角区域,所述第一视角区域为所述第一视频分片对应的视角区域,所述第二视角区域为第二视频分片对应的视角区域所述客户端向所述服务端发送对所述第一视频分片的获取请求,所述获取请求包括所述第一目标视角区域的位置信息;所述客户端接收所述服务端根据所述获取请求发送的所述第一视频分片,所述第一视频分片中的所述第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度;所述客户端播放所述第一视频分片。
Description
技术领域
本申请涉及视频处理领域,尤其涉及一种视频处理方法及其设备。
背景技术
近年来的虚拟现实技术(Virtual Reality,VR)视频的点播内容源增长迅速,消费同样飞速增长,一些视频网站设置了VR视频专区,其用户群和点击量也颇为可观。
当前,VR视频的在线传输有两种主要的技术路线:全景传送方案和视角(Field ofView,FOV)传送方案。全景传送方案就是服务端将视频的全景画面都传输给客户端,当用户头部转动需要切换画面时,所有的处理都在客户端本地完成。而视角传送方案为基于视角区域进行有差别传送VR视频,相比较全景传送方案更节省带宽。该方案仍然将全景画面传输给客户端,但是画面做了特殊处理,通过预测用户视角在某时间点的视角区域,该视角区域与用户视角的大小一致,以使得在该时间点所在的视频分片内该视角区域内画面清晰,该视角区域外画面相对模糊。
当前的视角传送方案中,通过预测一个视频分片的用户视角对应的视角区域,在该视频分片内的播放期间,使该视角区域比其他区域清晰。但是即使预测准确,由于用户视角常常在该视频分片的播放期间有所移动,如用户视角在该视频分片的播放期间向某个特定区域靠近,用户视角会渐渐远离原来的区域,而渐渐靠近该特定区域直至与该特定区域重合。在这个过程中,由于该特定区域没有限定为清晰的,因此用户可能会在用户视角和该特定区域重合的部分看到模糊的画面,造成不良的用户体验。
发明内容
本申请实施例提供了一种视频处理方法及其设备,用于减少用户在观看视频的过程中画面的某些部分模糊的几率。
有鉴于此,本申请第一方面提供了一种视频处理方法,该方法包括:
客户端确定第一视频分片的第一目标视角区域,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;
在本申请实施例中,客户端可以通过目标切换路径确定第一视频分片对应的第一视角区域和第二视频分片对应的第二视角区域,以该第一视角区域和该第二视角区域作为第一目标视角区域。在一些可行的实施例中,若该第一视角区域和第二视角区域无重叠且不相邻,则第一目标视角区域包括该第一视角区域和第二视角区域之间的区域,此处不做限定。
在一些可行的实施例中,在该目标视频的播放期间,可以设置某些tile一直是清晰的,如体育赛事的比分、队名和时间,或者电视台的台标或者视频的出品公司等,以此作为目标视角区域的一部分,此处不做限定。
该客户端向该服务端发送对该第一视频分片的获取请求,该获取请求包括该第一目标视角区域的位置信息;该客户端接收该服务端根据该获取请求发送的该第一视频分片,该第一视频分片中的该第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度;在一些可行的实施例中,当客户端决定了第一视角区域之后,可以向服务端发送对第一视频分片的获取请求,该获取请求包括该第一目标视角区域的位置信息。该位置信息具体可以为所述第一目标视角区域的坐标信息、对应的视角标识或对应的tile集合中每个tile的编号。
在一些可行的实施例中,可以对清晰度预设一个阈值,高于该阈值的清晰度的视频可以认为是清晰的。在一些可行的实施例中,清晰度可以为视频码率或者分辨率,以下以清晰度为分辨率固定,而视频码率不固定的情况进行说明。具体的实施例中,第一视频分片中的每1帧的每个tile的画面可以大小相同、分辨率相同,各自独立按多种视频码率编码,假设共S种,用rk表示视频码率的值,k∈{1,2,…,S},也就是说每个tile压缩编码后可以生成S种清晰度不同的视频文件,如r1到rs为视频码率越来越高的值。设rc为与阈值相等的视频码率,则对于任意ri,若i大于c,则ri为高于阈值的视频码率,若i小于c,则ri为低于阈值的视频码率。也可以rc到rc+1之间的数值作为阈值,则rc+1为高于阈值的视频码率,rc为低于阈值的视频码率,此处不做限定。在一些可行的实施例中,当S=2的情况下,即只有高视频码率和低视频码率两种版本的情况下,高视频码率即可视为高于该阈值,低视频码率即可视为低于阈值。
该客户端播放该第一视频分片。
可选的,该第一目标视角区域的每个单位区域的码率或分辨率高于其它区域的部分或全部区域中的每个单位区域的码率或分辨率。
可选的,若该第一视角区域和该第二视角区域既不相邻也不重叠,该第一目标视角区域还包括该第一视角区域和该第二视角区域之间的区域。
该方法,还包括:
该客户端接收该服务端发送的多个切换路径,该多个切换路径中的任一切换路径为在该目标视频中该目标用户视角的切换路径;该客户端从该多个切换路径中选取一个切换路径作为目标切换路径,该目标视频包括多个视频分片,该目标切换路径包括该多个视频分片分别对应的视角区域;该客户端根据该目标切换路径确定该第一视角区域和该第二视角区域。
可选的,该目标视频为视频文件或视频段。
可选的,该目标视频为目标视频文件中的视频段,该客户端从该多个切换路径中选取一个切换路径作为目标切换路径包括:
当播放该目标视频文件时,该客户端获取先前视频对应的先前视角区域,该先前视频为按照该目标视频文件的播放时序中该目标视频的上一个视频段;该客户端根据该先前视角区域从该多个切换路径中选取一个切换路径作为该目标切换路径。
在一些可行的实施例中,若目标视频为视频段,该目标视频为目标视频文件的一部分,当客户端在播放目标视频文件时,可以获取目标用户视角的在先前视频中的先前视角区域,所谓先前视频是相对于该目标视频而言,在该目标视频文件的播放时序中,该目标视频的上一个视频段,然后从一个或多个切换路径中选取一个作为目标切换路径,该目标切换路径的第一个视角区域的与该先前视角区域最接近。
在另一些可行的实施例中,当播放该目标视频时,该客户端可以先获取若干个先前视频分片分别对应的若干个视角区域,得到切换子路径,从该一个或多个切换路径中选取一个切换路径作为目标切换路径,其中,该目标切换路径中的对应部分与该切换子路径最相似。
该方法中,该客户端从该多个切换路径中选取一个切换路径作为目标切换路径包括:
当播放该目标视频时,该客户端获取若干个先前视频分片分别对应的视角区域,得到切换子路径,该先前视频分片为该目标视频中该第一视频分片之前的视频分片;
该客户端根据该切换子路径从该多个切换路径中选取一个切换路径作为该目标切换路径。
本申请第二方面提供了一种视频处理方法,该方法包括:
服务端接收客户端发送的对第一视频分片的获取请求,该获取请求包括第一目标视角区域的位置信息,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;
该服务端根据该获取请求向该客户端发送该第一视频分片,该第一视频分片中的该第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度。
可选的,该第一目标视角区域的每个单位区域的码率或分辨率高于其它区域的部分或全部区域中的每个单位区域的码率或分辨率。
可选的,若该第一视角区域和该第二视角区域之间的区域既不相邻也不重叠,该第一目标视角区域还包括该第一视角区域和该第二视角区域之间的区域。
该方法,还包括:
该服务端预测在该目标视频中该目标用户视角的一个或多个切换路径;
在本申请实施例中,当服务端接收到客户端发送的对第一视频分片的获取请求,需要确定客户端需要的第一目标视角区域,因此可以向客户端发送预测到的多个切换路径,以供该客户端进行选择。
该服务端向该客户端发送该一个或多个切换路径,该一个或多个切换路径用于确定该目标切换路径,该目标切换路径用于确定该第一目标视角区域。
该方法,还包括:
该服务端获取该目标视频的历史切换路径集合,该历史切换路径集合中的每一个历史切换路径为该目标视频的一次播放过程中,观看该目标视频的用户视角的切换路径;
在一些可行的实施例中,当目标视频已经被播放了很多次,每次播放时,可以收集用户使用头显时用户视角的历史切换路径,得到历史切换路径集合,可以用于预测目标切换路径。
当客户端向服务端请求目标视频并播放时,针对任一视频Q2,客户端可以采集并存储用户视角的变化,得到该视频Q2中用户视角的切换路径R2,客户端将该切换路径R2发送给服务端,服务端存储该切换路径R2作为一个历史切换路径,当存储的多个历史切换路径到达一定数量时,则可以汇集称为历史切换路径集合,该历史切换路径集合可以用于预测目标视频中目标用户视角的目标切换路径。
该服务端预测在该目标视频中该目标用户视角的一个或多个切换路径包括:
该服务端根据该历史切换路径集合预测在该目标视频中该目标用户视角的该一个或多个切换路径。
当用户点播的视频的数量达到一定规模后(规模大小跟机器学习算法有关),在服务端端利用用户观看视频生成的序列,基于机器学习算法挖掘观看视角随时间的切换规律,生成视角切换路径描述文件(Viewport Present Description,VPD),该VPD用于描述该目标切换路径。
可选的,该目标视频为视频文件或视频片段。
本申请第三方面提供了一种视频处理方法,该方法包括:
服务端获取目标用户视角在第一视频分片对应的第一视角区域和第二视频分片对应的第二视角区域,该第一视频分片和该第二视频分片包含于目标视频,其中,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;该服务端确定第一目标视角区域,该第一目标视角区域包括该第一视角区域和该第二视角区域;
该服务端向客户端发送该第一视频分片,该第一视频分片中的该第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度。
可选的,该第一目标视角区域的每个单位区域的码率或分辨率高于其它区域的部分或全部区域中的每个单位区域的码率或分辨率。
可选的,若该第一视角区域和该第二视角区域之间的区域既不相邻也不重叠,该第一目标视角区域还包括该第一视角区域和该第二视角区域之间的区域。
该方法中,该服务端获取目标用户视角在第一视频分片对应的第一视角区域和第二视频分片对应的第二视角区域包括:
该服务端获取该目标用户视角在该目标视频对应的目标切换路径,该目标视频包括多个视频分片,该目标切换路径包括该多个视频分片分别对应的多个视角区域,其中,该目标切换路径包括该第一视频分片对应的该第一视角区域和该第二视频分片对应的该第二视角区域。
该方法还包括:
该服务端获取该目标视频的历史切换路径集合,该历史切换路径集合中的每一个历史切换路径为该目标视频的一次播放历史中,观看该目标视频的用户视角的切换路径;该服务端获取该目标用户视角在该目标视频对应的目标切换路径包括:
该服务端根据该历史切换路径集合预测在该目标视频中该目标用户视角的该目标切换路径。
该方法中,该服务端根据该历史切换路径集合预测在该目标视频中该目标用户视角的该目标切换路径包括:
该服务端预测在该目标视频中该目标用户视角的多个切换路径;该服务端向该客户端发送该多个切换路径,以使得该客户端从该多个切换路径选择一个切换路径作为该目标切换路径;
该服务端接收客户端发送的该目标切换路径。
可选的,该目标视频为视频文件或视频片段。
本申请第四方面提供了一种视频处理方法,该方法包括:
客户端接收服务端发送的第一视频分片,该第一视频分片中的第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;该客户端播放该第一视频分片。
可选的,该第一目标视角区域的每个单位区域的码率或分辨率高于其它区域的部分或全部区域中的每个单位区域的码率或分辨率。
可选的,若该第一视角区域和该第二视角区域之间的区域既不相邻也不重叠,该第一目标视角区域还包括该第一视角区域和该第二视角区域之间的区域。
该方法还包括:
该客户端接收该服务端发送的多个切换路径,该多个切换路径中的任一切换路径为该服务端预测的在该目标视频中该目标用户视角的切换路径;该客户端从该多个切换路径中选取一个切换路径作为目标切换路径,该目标视频包括多个视频分片,该目标切换路径包括该多个视频分片分别对应的多个视角区域,其中,该目标切换路径包括该第一视频分片对应的该第一视角区域和该第二视频分片对应的该第二视角区域;该客户端向该服务端发送该目标切换路径,该目标切换路径用于确定该第一视频分片对应的该第一视角区域和该第二视频分片对应的该第二视角区域。
可选的,该目标视频为视频文件或视频片段。
该方法中,该客户端从该多个切换路径中选取一个切换路径作为目标切换路径包括:
当播放该目标视频文件时,该客户端获取先前视频对应的先前视角区域,该先前视频为按照该目标视频文件的播放时序中该目标视频的上一个视频段;该客户端根据该先前视角区域从该多个切换路径中选取一个切换路径作为该目标切换路径。
该方法中,该客户端从该多个切换路径中选取一个切换路径作为目标切换路径包括:
当播放该目标视频时,该客户端获取若干个先前视频分片分别对应的若干个视角区域,得到切换子路径;该客户端根据该切换子路径从该多个切换路径中选取一个切换路径作为该目标切换路径。
本申请第五方面提供了一种客户端,该客户端包括:
第一确定模块,用于确定第一视频分片的第一目标视角区域,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;发送模块,用于向该服务端发送对该第一视频分片的获取请求,该获取请求包括该第一目标视角区域的位置信息;第一接收模块,用于接收该服务端根据该获取请求发送的该第一视频分片,该第一视频分片中的该第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度;
播放模块,用于播放该第一视频分片。
该客户端还包括:
第二接收模块,用于接收该服务端发送的多个切换路径,该多个切换路径中的任一切换路径为在该目标视频中该目标用户视角的切换路径;选取模块,用于从该多个切换路径中选取一个切换路径作为目标切换路径,该目标视频包括多个视频分片,该目标切换路径包括该多个视频分片分别对应的视角区域;第二确定模块,用于根据该目标切换路径确定该第一视角区域和该第二视角区域。
具体的,该获取子模块,还用于当播放该目标视频时,获取若干个先前视频分片分别对应的视角区域,得到切换子路径,该先前视频分片为该目标视频中该第一视频分片之前的视频分片;该选取子模块,还用于根据该切换子路径从该多个切换路径中选取一个切换路径作为该目标切换路径。
本申请第六方面提供了一种服务端,该客户端包括:
接收模块,用于收客户端发送的对第一视频分片的获取请求,该获取请求包括第一目标视角区域的位置信息,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;发送模块,用于根据该获取请求向该客户端发送该第一视频分片,该第一视频分片中的该第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度。
该服务端,还包括:
预测模块,用于预测在该目标视频中该目标用户视角的一个或多个切换路径;第二发送模块,用于向该客户端发送该一个或多个切换路径,该一个或多个切换路径用于确定该目标切换路径,该目标切换路径用于确定该第一目标视角区域。
该服务端还包括:
第一获取模块,用于获取该目标视频的历史切换路径集合,该历史切换路径集合中的每一个历史切换路径为该目标视频的一次播放过程中,观看该目标视频的用户视角的切换路径。
本申请第七方面提供了一种客户端,该服务端包括:
第一获取模块,用于获取目标用户视角在第一视频分片对应的第一视角区域和第二视频分片对应的第二视角区域,该第一视频分片和该第二视频分片包含于目标视频,其中,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;确定模块,用于确定第一目标视角区域,该第一目标视角区域包括该第一视角区域和该第二视角区域;第一发送模块,用于向客户端发送该第一视频分片,该第一视频分片中的该第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度。
具体的,该第一获取模块,具体用于获取该目标用户视角在该目标视频对应的目标切换路径,该目标视频包括多个视频分片,该目标切换路径包括该多个视频分片分别对应的多个视角区域,其中,该目标切换路径包括该第一视频分片对应的该第一视角区域和该第二视频分片对应的该第二视角区域。
该服务端还包括:
第二获取模块,用于获取该目标视频的历史切换路径集合,该历史切换路径集合中的每一个历史切换路径为该目标视频的一次播放历史中,观看该目标视频的用户视角的切换路径。
该服务端还包括:
预测模块,用于预测在该目标视频中该目标用户视角的多个切换路径;第二发送模块,用于向该客户端发送该多个切换路径,以使得该客户端从该多个切换路径选择一个切换路径作为该目标切换路径;
接收模块,用于接收客户端发送的该目切换路径。
本申请第七方面提供了一种客户端,该客户服务端包括:
第一接收模块,用于接收服务端发送的第一视频分片,该第一视频分片中的第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;
播放模块,用于播放该第一视频分片。
该客户端还包括:
第二接收模块,用于接收该服务端发送的多个切换路径,该多个切换路径中的任一切换路径为该服务端预测的在该目标视频中该目标用户视角的切换路径;选取模块,用于从该多个切换路径中选取一个切换路径作为目标切换路径,该目标视频包括多个视频分片,该目标切换路径包括该多个视频分片分别对应的多个视角区域,其中,该目标切换路径包括该第一视频分片对应的该第一视角区域和该第二视频分片对应的该第二视角区域,该先前视频分片为该目标视频中该第一视频分片之前的视频分片;发送模块,用于向该服务端发送该目标切换路径,该目标切换路径用于确定该第一视频分片对应的该第一视角区域和该第二视频分片对应的该第二视角区域。
该选取模块包括:
获取子模块,用于当播放该目标视频文件时,获取先前视频对应的先前视角区域,该先前视频为按照该目标视频文件的播放时序中该目标视频的上一个视频段;选取子模块,用于根据该先前视角区域从该多个切换路径中选取一个切换路径作为该目标切换路径。
若该目标视频为目标视频文件中的视频段,该选取模块包括:
获取子模块,还用于当播放该目标视频时,获取若干个先前视频分片分别对应的若干个视角区域,得到切换子路径;选取子模块,还用于根据该切换子路径从该多个切换路径中选取一个切换路径作为该目标切换路径。
本申请第八方面提供了一种客户端,该服务端包括:
处理器、收发器和存储器;该处理器,用于确定第一视频分片的第一目标视角区域,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;该收发器,用于向该服务端发送对该第一视频分片的获取请求,该获取请求包括该第一目标视角区域的位置信息;该存储器,用于存储程序,该处理器通过该程序执行相关方面的步骤。
本申请第九方面提供了一种客户端,该服务端包括:
收发器、处理器和存储器;
该收发器,用于接收客户端发送的对第一视频分片的获取请求,该获取请求包括第一目标视角区域的位置信息,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;
该处理器,用于根据该获取请求向该客户端确定该第一视频分片;
该收发器,还用于向该客户端发送该第一视频分片;
该存储器,用于存储程序,该处理器通过该程序执行相关方面的步骤。
本申请第十方面提供了一种客户端,该服务端包括:
处理器、收发器和存储器;该处理器,用于确定第一视频分片的第一目标视角区域,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;该收发器,用于向该服务端发送对该第一视频分片的获取请求,该获取请求包括该第一目标视角区域的位置信息;该存储器,用于存储程序,该处理器通过该程序执行相关方面的步骤。
本申请第十一方面提供了一种客户端,该客户端包括:
收发器、处理器和存储器;该收发器,用于接收客户端发送的对第一视频分片的获取请求,该获取请求包括第一目标视角区域的位置信息,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;该处理器,用于根据该获取请求向该客户端发送该第一视频分片;该收发器,还用于根据该获取请求向该客户端发送该第一视频分片,该第一视频分片中的该第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度;该存储器,用于存储程序,以使得该处理器通过该程序执行相关方面的方法。
本申请的又一方面提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
按照目标视频的播放时序,第二视频分片为第一视频分片的下一个视频分片,其中第一视频分片对应第一视角区域,第二视频分片对应第二视角区域,在第一视频分片的播放期间,用户视角会从第一视角区域向第二视角区域靠近,从而出现用户视角与第二视角区域重合的区域,由于客户端获取了第二视角区域,并且在第一视频分片播放期间,包括第二视角区域的第一目标视角区域的清晰度高于其它区域的部分或全部的清晰度,因此用户视角与第二视角区域重合的区域也是清晰的,从而减少了用户观看视频时画面模糊的几率,改良了用户体验。
附图说明
图1为本申请实施例中视频处理系统的架构示意图;
图2为本申请实施例中视频处理方法的一个实施例示意图;
图2a为本申请实施例中标准视角的一个实施例示意图;
图3为本申请实施例中视频处理方法的另一个实施例示意图;
图4为本申请实施例中客户端的一个实施例示意图;
图5为本申请实施例中客户端的另一个实施例示意图;
图6为本申请实施例中客户端的另一个实施例示意图;
图7为本申请实施例中服务客户端的一个实施例示意图;
图8为本申请实施例中服务端的另一个实施例示意图;
图9为本申请实施例中服务端的另一个实施例示意图;
图10为本申请实施例中服务端的另一个实施例示意图;
图11为本申请实施例中服务端的一个实施例示意图;
图12为本申请实施例中服务端的一个实施例示意图;
图13为本申请实施例中客户端的另一个实施例示意图;
图14为本申请实施例中客户端的另一个实施例示意图;
图15为本申请实施例中客户端的另一个实施例示意图;
图16为本申请实施例中客户端的一个实施例示意图;
图17为本申请实施例中服务端的一个实施例示意图;
图18为本申请实施例中服务端的一个实施例示意图;
图19为本申请实施例中客户端的一个实施例示意图。
具体实施方式
本申请实施例提供了一种视频处理方法及其设备,用于减少用户在观看视频的过程中画面的某些部分模糊的几率。
为了使本技术领域的人员更好地理解本申请实施例方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,是一种视频处理系统的架构示意图,包括头端、内容分发网络CDN和视频播放客户端,其中,头端和CDN可以通过核心路由器CR、接入路由器BR连接,CDN和视频播放客户端可以通过远程宽带接入服务端BRAS、光线路终端OLT和光网络终端ONT连接。OLT为用于负责连接光纤干线的终端,ONT用于为光接入网络提供直接或者远程的用户侧接口设备,与终端设备相连。
在本申请实施例中,头端用于在本方案中负责对视频进行预处理,并将处理后的视频发送给CDN。CDN指的是边缘CDN服务端,在本申请实施例中,CDN和头端合称服务端,CDN用于响应客户端的请求,向客户端传送处理后的视频。BR为位于网络边缘的路由器,CR为位于网络中心的路由器,BRAS为一种面向宽带网络应用的接入网关,位于网络的边缘,提供宽带接入服务、实现多种业务的汇聚与转发,能满足不同用户对传输容量和带宽利用率的要求。视频播放客户端为本申请实施例中客户端,可以是手机/计算机、和VR终端设备组成的系统,也可以是集成手机/计算机和VR终端设备,此处不做限定。其中该手机/计算机为能运行视频播放软件的设备,该视频播放软件用于本地视频的播放以及与服务端的交互。其中,VR终端设备可以用于当光学信号通过头显向眼睛传送,对于使用该头显的用户而言,可以起到虚拟现实、增强现实或者混合现实等不同的效果。其中,虚拟现实(Virtual Reality,VR)为利用电脑技术模拟出一个立体、高度模拟的3D空间,当使用者穿戴用于VR的头显时,用户可以通过改变头部的位置实现用户视角的切换,从而带来身临其境的体验。需要说明的是,VR终端设备可以为头显,头显用于采集用户的头部姿态,并提供相应的画面,以及向终端或服务端反馈该头部姿态。VR终端设备还可以为其他设备,此处不做限定,在本文中,以VR终端为头显进行说明。
目前,VR视频的在线传输有两种主要的技术路线,分别是全景传送方案和视角(Field of View,FOV)传送方案。其中基于视角区域进行有差别传送VR视频的视角传送方案更为节省带宽资源。该方案仍然将VR视频的全景画面传输给客户端,但是画面做了特殊处理,通过预测用户在某时间点的视角区域,使得播放该时间点时该视角区域内画面清晰,该视角区域外画面相对模糊。但是由于仅预测时间点的一个视角区域,若用户视角在整个该时间点内与该视角一致并重合,可以观看到较清晰的视频,但是由于用户视角的变动在整个时间段内可能有所变化,则用户仅能在该时间点上观看清晰,其他时间的用户视角与视角区域不完全重合,则在观看过程中会看到在不重合的部分较为模糊。在一些可行的实施例中,客户端和服务端也可以为集成一体的设备,此处不做限定。
因此,在本申请中,在第一视频分片的播放期间,用户视角会从第一视角区域向第二视角区域靠近,从而出现用户视角与第二视角区域重合的区域,其中,按照目标视频的播放时序,第二视频分片为第一视频分片的下一个视频分片,其中第一视频分片对应第一视角区域,第二视频分片对应第二视角区域。由于客户端获取了第二视角区域,并且在第一视频分片播放期间第二视角区域的清晰度高于其它视角区域的部分或全部的清晰度,因此用户视角与第二视角区域重合的区域也是清晰的,从而解决了该重合的区域可能画面模糊的问题,改良了用户体验。本技术申请的方案尤其适用于头部转动与视频内容强相关的剧情类和体育赛事类视频点播场景。
为便于理解,下面对本申请实施例中的具体流程进行描述,请参阅图2,本申请实施例中视频处理方法一个实施例包括:
201、服务端获取目标视频的历史切换路径集合。
在本申请实施例中,服务端存储着许多不同的视频,包括体育点播视频,或者电视剧视频等,当用户需要观看目标视频时,可以通过客户端向服务端获取。在一些可行的实施例中,可以将目标视频整个切分成一系列播放时间上连续的、且播放时长相等的视频分片,每个视频分片的序号标识为i,i∈{1,2,…,N}。其中每个视频分片中的每一帧对应一个画面,则一个视频分片可以对应1个画面组。例如,目标视频被切分成N个视频分片,每个视频分片的播放时长为T秒,一般来说,T可以取1~3秒,如在一些可行的实施例中,可以取该一个视频分片的时长为0.5秒或1秒。
在一些可行的实施例中,VR视频的屏幕可以是一个矩形画面,通过VR的头显可以为用户提供了水平方向、垂直方向全方位的虚拟物理空间视域和观感体验。即VR视频为用户在虚拟环境中呈现的整个视野可以认为是从内往外看的一个空间球面,我们将整个球面称为全景画面。在本申请实施例中,用户视角为当用户使用VR终端设备观看视频时所使用的视角。当用户使用头显且不动时,用户视角会对应屏幕的一个特定的视角区域,当改变头显的指向和位置时,会改变对应的视角区域。
在一些可行的实施例中,为了产生3维立体的效果,VR视频的一帧是由2个画面构成,其中一个画面对应一只眼睛,在这种情况下,则可以说有两个用户视角,而本文的其他部分中,如无特别说明,即针对一个用户视角而言进行说明。
在本申请实施例中,VR视频的屏幕可以被划分出相等区域大小的单位区域,该单位区域可以为矩形,单位区域可以被编号,用tile表示,如tile=7表示该单位区域的编号为7,则不同帧中编号相同的tile表示为屏幕中的同一个单位区域。
在一些可行的实施例中,可以在VR视频的屏幕上定义m个tile,m个tile对应的n个相同大小的视角区域,则n个视角区域能够覆盖全景画面,则该n个视角区域中的任意一个可以被称为标准视角FOV(以下简称FOV),则有n个FOV。需要说明的是,相邻的FOV之间可以有重叠部分,每个FOV覆盖相同数量的tile,标准视角与tile存在映射关系。
如图2a所示,例如假设全景画面切分成4行8列总计32个tile,每个FOV覆盖4个相邻的tile(横向、纵向各2个),总计可定义出21个FOV,假设FOV从左往右逐行编号,用编号1~21作为FOV的ID,则可知编号为1的FOV所覆盖的tile为的编号为1、2、9、10,编号为2的FOV所覆盖的tile的编号为2、3、10、11,编号为8的FOV所覆盖的tile的编号为9、10、17、18。另外,需要说明的是,在一些可行的实施例中,可以定义一个基准视角,如全景画面的中心,作为当用户观看视频时,第一个视频分片的第一个画面所使用的FOV,作为固定FOV。
在一些可行的实施例中,FOV与tile的映射中,可以通过标准视角描述(ViewportDescription,VD)来描述,VD的内容可以包括但不限于:全景画面的宽度,单位为像素;全景画面的高度,单位为像素;FOV的宽度,单位为像素;FOV的高度,单位为像素;FOV总数;基准视角编号;视角描述信息表,每个FOV需描述ID、对应FOV的左上角顶点的坐标、覆盖的tile编号等。
例如,VD中需描述的信息可以为:全景画面的宽度=4096;全景画面的高度=2160;FOV画面的宽度=1024;FOV画面的高度=1080;FOV总数=21;基准视角FOV的编号=11。
其中,基准视角为采样当前的头部姿态,将此姿态对应的用户视角作为基准视角(即该视角覆盖区域是即将播放的全景画面的正中间),后续播放过程中就可得到新的FOV,进而计算新视角在全景画面上覆盖的视角区域。则VD的表如下所示:
FOV编号 | 对应FOV的左上角顶点坐标(x,y) | tile编号 |
1 | (0,0) | 1、2、9、10 |
2 | (512,0) | 2、3、10、11 |
3 | (1024,0) | 3、4、11、12 |
… | … | … |
21 | (3072,1024) | 23、24、31、32 |
在本申请实施例中,切换路径是由在一个视频中的各个视频分片所对应的视角区域(FOV)所组成的。例如切换路径R1为视频Q1中用户视角的切换路径,若该视频Q1有4个视频分片,其中每个视频分片对应的视角区域可以表示为r1、r2、r3、r4,则该切换路径R可以表示为{r1,r2,r3,r4}。若该视频Q1有8个视频分片,则R1可以等于{r1,r2,r3,r4,r5,r6,r7,r8}。
需要说明的是,一个切换路径可以通过一串“分片编号+视角区域位置信息”来表示,其中视角区域的位置信息可以是视角标识、tile标识集合、区域坐标等,分片编号,可以是为这个分片分配的一个编号,也可以是这个分片中第一帧的帧号。
在本申请实施例中,由于切换路径中的任一视角区域为在一个视频分片中用户视角所对应的视角区域,则每个切换路径的表示方法可以如下:视频分片的编号-tile的集合。如视频分片的编号为7,对应的tile的集合为{3、4、9、10}。
在一些可行的实施例中,当目标视频已经被播放了很多次,每次播放时,可以收集用户使用头显时用户视角的历史切换路径,得到历史切换路径集合,可以用于预测目标切换路径。
当客户端向服务端请求目标视频并播放时,针对任一视频Q2,客户端可以采集并存储用户视角的变化,得到该视频Q2中用户视角的切换路径R2,客户端将该切换路径R2发送给服务端,服务端存储该切换路径R2作为一个历史切换路径,当存储的多个历史切换路径到达一定数量时,则可以汇集称为历史切换路径集合,该历史切换路径集合可以用于预测目标视频中目标用户视角的目标切换路径。
202、该服务端根据历史切换路径集合预测在该目标视频中该目标用户视角的一个或多个切换路径。
当用户点播的视频的数量达到一定规模后(规模大小跟机器学习算法有关),在服务端端利用用户观看视频生成的序列,基于机器学习算法挖掘观看视角随时间的切换规律,生成视角切换路径描述文件(Viewport Present Description,VPD),该VPD用于描述该目标切换路径。
在一些可行的实施例中,VPD包含并不限于以下描述信息的组合:路径数量、每条路径的ID、每条路径中每个视频分片与视角区域的映射等。例如,经历史数据学习,获得2个切换路径,并统计在历史数据中2条切换路径的采用频率,VPD中描述路径数量=2,该对应100个视频分片,具体路径信息如下表所示。
路径 | 视频分片的帧-视角 |
1 | 1-11,2-10,3-9,4-8,…,98-9,99-10,100-11 |
2 | 1-11,2-12,3-12,4-13,…,98-12,99-11,100-11 |
在本申请实施例中,服务端可以使用VD对存储的视频进行描述,且使用VPD对切换路径进行描述。则当客户端需要与服务端交互时,客户端可以首先向服务端请求目标视频的视频信息描述MPD和VD等文件,其中,MPD用于描述目标视频的各个tile的编号、tile的长、宽、坐标等信息。
在本申请实施例中,目标切换路径为预测的目标用户视角在目标视频中的切换路径。在一些可行的实施例中,当播放目标视频时,客户端可以获取用户视角的在每个视频分片的切换情况,得到历史切换路径。在另一些可行的实施例中,一个或多个切换路径也可以通过其他方式获取,不一定要使用历史切换路径集合,如视频提供商直接提供,此处不做限定。
在本申请实施例中,当服务端确定了一个或多个切换路径后,服务端可以向客户端发送一个或多个切换路径,以使得客户端从中选择一个作为目标切换区域。
203、该服务端向该客户端发送该一个或多个切换路径。
在本申请实施例中,当服务端接收到客户端发送的对第一视频分片的获取请求,需要确定客户端需要的第一目标视角区域,因此可以向客户端发送预测到的多个切换路径,以供该客户端进行选择。
204、该客户端从该一个或多个切换路径中选取一个切换路径作为该目标切换路径。
在一些可行的实施例中,客户端可以根据实际切换路径从多个切换路径中选取一个切换路径作为该目标切换路径。具体的,客户端可以根据实际切换路径的最后一个FOV为依据,选取以该FOV为起点或者离该FOV最近的起点的切换路径作为目标切换路径。客户端也可以根据实际切换路径中的一个或多个视角区域作为依据决定目标切换路径,此处不做限定。
在一些可行的实施例中,若目标视频为视频段,该目标视频为目标视频文件的一部分,当客户端在播放目标视频文件时,可以获取目标用户视角的在先前视频中的先前视角区域,所谓先前视频是相对于该目标视频而言,在该目标视频文件的播放时序中,该目标视频的上一个视频段,然后从一个或多个切换路径中选取一个作为目标切换路径,该目标切换路径的第一个视角区域的与该先前视角区域最接近。
在另一些可行的实施例中,当播放该目标视频时,该客户端可以先获取若干个先前视频分片分别对应的若干个视角区域,得到切换子路径,从该一个或多个切换路径中选取一个切换路径作为目标切换路径,其中,该目标切换路径中的对应部分与该切换子路径最相似。
205、客户端根据该目标切换路径确定第一目标视角区域,该第一目标视角区域包括第一视角区域和第二视角区域。
在本申请实施例中,客户端可以通过目标切换路径确定第一视频分片对应的第一视角区域和第二视频分片对应的第二视角区域,以该第一视角区域和该第二视角区域作为第一目标视角区域。在一些可行的实施例中,若该第一视角区域和第二视角区域无重叠且不相邻,则第一目标视角区域包括该第一视角区域和第二视角区域之间的区域,此处不做限定。
在一些可行的实施例中,在该目标视频的播放期间,可以设置某些tile一直是清晰的,如体育赛事的比分、队名和时间,或者电视台的台标或者视频的出品公司等,以此作为目标视角区域的一部分,此处不做限定。
206、客户端向服务端发送对第一视频分片的获取请求,该获取请求包括该第一目标视角区域的位置信息。
在一些可行的实施例中,当客户端决定了第一视角区域之后,可以向服务端发送对第一视频分片的获取请求,该获取请求包括该第一目标视角区域的位置信息。该位置信息具体可以为所述第一目标视角区域的坐标信息、对应的视角标识或对应的tile集合中每个tile的编号。
207、该服务端向客户端发送该第一视频分片,该第一视频分片中的该第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度。
在一些可行的实施例中,可以对清晰度预设一个阈值,高于该阈值的清晰度的视频可以认为是清晰的。在一些可行的实施例中,清晰度可以为视频码率或者分辨率,以下以清晰度为分辨率固定,而视频码率不固定的情况进行说明。具体的实施例中,第一视频分片中的每1帧的每个tile的画面可以大小相同、分辨率相同,各自独立按多种视频码率编码,假设共S种,用rk表示视频码率的值,k∈{1,2,…,S},也就是说每个tile压缩编码后可以生成S种清晰度不同的视频文件,如r1到rs为视频码率越来越高的值。设rc为与阈值相等的视频码率,则对于任意ri,若i大于c,则ri为高于阈值的视频码率,若i小于c,则ri为低于阈值的视频码率。也可以rc到rc+1之间的数值作为阈值,则rc+1为高于阈值的视频码率,rc为低于阈值的视频码率,此处不做限定。在一些可行的实施例中,当S=2的情况下,即只有高视频码率和低视频码率两种版本的情况下,高视频码率即可视为高于该阈值,低视频码率即可视为低于阈值。
当确定了目标视角区域后,可以为第一视频分片的第一目标视角区域中的tile选择高于阈值的视频码率,这些tile不一定要都相同的视频码率,可为不同的视频码率,只要都高于阈值即可,此处不做限定。在本申请实施例中,服务端可以将第一视频分片中第一目标视角区域之外的区域的视频视频码率设置为低于该阈值。则服务端可以向客户端返回第一视频分片,该第一视频分片中,第一目标视角区域中的tile的集合是清晰的,其余的都是不清晰的。
另外,在一些可行的实施例中,步骤206中发送的获取请求还可能包括第一目标视角区域中每个tile对应的码率版本,则该服务端直接获取对应的码率版本即可,此处不做限定。
208、该客户端播放该第一视频分片。
在一些可行的实施例中,当客户端接收到该第一视频分片后,则可以播放该第一视频分片。
本申请还提供了另一种实施方式,在该实施方式中,客户端根据目标切换路径确定第一目标视角区域,具体的,请参考图3。
301、服务端获取第一视频分片的历史切换路径集合。
302、该服务端根据历史切换路径集合预测在该目标视频中该目标用户视角的一个或多个切换路径。
303、该服务端向该客户端发送该一个或多个切换路径。
304、该客户端从该一个或多个切换路径中选取一个切换路径作为该目标切换路径,并向服务端发送该目标切换路径。
305、客户端向服务端发送对第一视频分片的获取请求。
306、服务端根据该目标切换路径确定第一目标视角区域,该第一目标视角区域包括第一视角区域和第二视角区域。
307、该服务端向客户端发送该第一视频分片,该第一视频分片中的该第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度。
308、客户端播放该第一视频分片。
步骤301-步骤303与上述步骤201-步骤203相同,步骤307与上述207相同,此处不再赘述,在步骤304-306中可知,在该实施例中,客户端确定目标切换路径后,并向服务端发送该目标切换路径,以使得服务端根据该目标切换路径确定第一目标视角区域。
上面对本申请实施例中视频处理方法进行描述,下面对本申请实施例中的视频处理设备进行描述。
请参阅图4,本申请实施例客户端400的一实施例包括:
第一确定模块401,用于确定第一视频分片的第一目标视角区域,所述第一目标视角区域包括第一视角区域和第二视角区域,所述第一视角区域为所述第一视频分片对应的视角区域,所述第二视角区域为第二视频分片对应的视角区域,其中,所述第一视频分片和所述第二视频分片包含于目标视频,按照所述目标视频的播放时序,所述第二视频分片为所述第一视频分片的下一个视频分片;
发送模块402,用于向所述服务端发送对所述第一视频分片的获取请求,所述获取请求包括所述第一目标视角区域的位置信息;
第一接收模块403,用于接收所述服务端根据所述获取请求发送的所述第一视频分片,所述第一视频分片中的所述第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度;
播放模块,用于播放所述第一视频分片。
请参阅图5,该客户端400还包括:
第二接收模块404,用于接收该服务端发送的多个切换路径,该多个切换路径中的任一切换路径为在该目标视频中该目标用户视角的切换路径;
选取模块405,用于从该多个切换路径中选取一个切换路径作为目标切换路径,该目标视频包括多个视频分片,该目标切换路径包括该多个视频分片分别对应的视角区域;
第二确定模块406,用于根据该目标切换路径确定该第一视角区域和该第二视角区域。
请参阅图6,该选取模块405包括:
获取子模块4051,用于当播放该目标视频文件时,获取先前视频对应的先前视角区域,该先前视频为按照该目标视频文件的播放时序中该目标视频的上一个视频段;
选取子模块4052,用于根据该先前视角区域从该多个切换路径中选取一个切换路径作为该目标切换路径。
该获取子模块4051,还用于当播放该目标视频时,获取若干个先前视频分片分别对应的视角区域,得到切换子路径,该先前视频分片为该目标视频中该第一视频分片之前的视频分片;
该选取子模块4052,还用于根据该切换子路径从该多个切换路径中选取一个切换路径作为该目标切换路径。
请参阅图7,该服务端500包括:
接收模块501,用于收客户端发送的对第一视频分片的获取请求,该获取请求包括第一目标视角区域的位置信息,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;
发送模块502,用于根据该获取请求向该客户端发送该第一视频分片,该第一视频分片中的该第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度。
请参阅图8,该服务端500还包括:
预测模块503,用于预测在该目标视频中该目标用户视角的一个或多个切换路径;
第二发送模块504,用于向该客户端发送该一个或多个切换路径,该一个或多个切换路径用于确定该目标切换路径,该目标切换路径用于确定该第一目标视角区域。
请参阅图9,该服务端500还包括:
第一获取模块505,用于获取该目标视频的历史切换路径集合,该历史切换路径集合中的每一个历史切换路径为该目标视频的一次播放过程中,观看该目标视频的用户视角的切换路径,以使得该预测模块根据该历史切换路径集合预测在该目标视频中该目标用户视角的一个或多个切换路径。
请参阅图10,为一种服务端600,包括:
第一获取模块601,用于获取目标用户视角在第一视频分片对应的第一视角区域和第二视频分片对应的第二视角区域,该第一视频分片和该第二视频分片包含于目标视频,其中,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;
确定模块602,用于确定第一目标视角区域,该第一目标视角区域包括该第一视角区域和该第二视角区域;
第一发送模块603,用于向客户端发送该第一视频分片,该第一视频分片中的该第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度。
该第一获取模块601,具体用于获取该目标用户视角在该目标视频对应的目标切换路径,该目标视频包括多个视频分片,该目标切换路径包括该多个视频分片分别对应的多个视角区域,其中,该目标切换路径包括该第一视频分片对应的该第一视角区域和该第二视频分片对应的该第二视角区域。
请参阅图11,该服务端600,还包括:
第二获取模块604,用于获取该目标视频的历史切换路径集合,该历史切换路径集合中的每一个历史切换路径为该目标视频的一次播放历史中,观看该目标视频的用户视角的切换路径,以使得该预测模块根据该历史切换路径集合预测在该目标视频中该目标用户视角的该目标切换路径。
请参阅图12,该服务端600,还包括:
预测模块605,用于预测在该目标视频中该目标用户视角的多个切换路径;
第二发送模块606,用于向该客户端发送该多个切换路径,以使得该客户端从该多个切换路径选择一个切换路径作为该目标切换路径;
接收模块607,用于接收客户端发送的该目标切换路径。
请参阅图13,为一种客户端700,包括:
接收模块701,用于接收服务端发送的第一视频分片,该第一视频分片中的第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;
播放模块702,用于播放该第一视频分片。
请参阅图14,该客户端700还包括:
第二接收模块703,用于接收该服务端发送的多个切换路径,该多个切换路径中的任一切换路径为该服务端预测的在该目标视频中该目标用户视角的切换路径;
选取模块704,用于从该多个切换路径中选取一个切换路径作为目标切换路径,该目标视频包括多个视频分片,该目标切换路径包括该多个视频分片分别对应的多个视角区域,其中,该目标切换路径包括该第一视频分片对应的该第一视角区域和该第二视频分片对应的该第二视角区域;
发送模块705,用于向该服务端发送该目标切换路径,该目标切换路径用于确定该第一视频分片对应的该第一视角区域和该第二视频分片对应的该第二视角区域。
请参阅图15,该选取模块70包括:
获取子模块7041,用于当播放该目标视频文件时,获取先前视频对应的先前视角区域,该先前视频为按照该目标视频文件的播放时序中该目标视频的上一个视频段;
选取子模块7042,用于根据该先前视角区域从该多个切换路径中选取一个切换路径作为该目标切换路径。
该获取子模块7041,还用于当播放该目标视频时,获取若干个先前视频分片分别对应的若干个视角区域,得到切换子路径;
该选取子模块7042,还用于根据该切换子路径从该多个切换路径中选取一个切换路径作为该目标切换路径。
请参阅图16,为一种客户端900,包括:
处理器902、收发器901和存储器903;
该处理器902,用于确定第一视频分片的第一目标视角区域,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;
该收发器901,由于向该服务端发送对该第一视频分片的获取请求,该获取请求包括该第一目标视角区域的位置信息;
该存储器903,用于存储程序,该处理器通过该程序执行权利要求1-12中任一项该方法的步骤。
请参阅图17,为一种服务端1000,包括:
收发器1001、处理器1002和存储器1003;
该收发器1001,用于接收客户端发送的对第一视频分片的获取请求,该获取请求包括第一目标视角区域的位置信息,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;
该处理器1002,用于根据该获取请求向该客户端确定该第一视频分片;
该收发器,还由于向该客户端发送该第一视频分片。
请参阅图18,为一种服务端1100,包括:
处理器1102、收发器1101和存储器1103;
该处理器1102,用于确定第一视频分片的第一目标视角区域,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;
该收发器1101,由于向该服务端发送对该第一视频分片的获取请求,该获取请求包括该第一目标视角区域的位置信息;
该存储器1103,用于存储程序,该处理器通过该程序执行权利要求1-12中任一项该方法的步骤。
请参阅图19,为一种客户端1200,包括:
收发器1201、处理器1202和存储器1203;
该收发器1201,用于接收客户端发送的对第一视频分片的获取请求,该获取请求包括第一目标视角区域的位置信息,该第一目标视角区域包括第一视角区域和第二视角区域,该第一视角区域为该第一视频分片对应的视角区域,该第二视角区域为第二视频分片对应的视角区域,其中,该第一视频分片和该第二视频分片包含于目标视频,按照该目标视频的播放时序,该第二视频分片为该第一视频分片的下一个视频分片;
该处理器1202,用于根据该获取请求向该客户端发送该第一视频分片;
该收发器1201,还用于根据该获取请求向该客户端发送该第一视频分片,该第一视频分片中的该第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度;
该存储器1203,用于存储程序,以使得该处理器通过该程序执行权利要求8-19中的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (46)
1.一种视频处理方法,其特征在于,包括:
客户端确定第一视频分片的第一目标视角区域,所述第一目标视角区域包括第一视角区域和第二视角区域,所述第一视角区域为所述第一视频分片对应的视角区域,所述第二视角区域为第二视频分片对应的视角区域,其中,所述第一视频分片和所述第二视频分片包含于目标视频,按照所述目标视频的播放时序,所述第二视频分片为所述第一视频分片的下一个视频分片;
所述客户端向服务端发送对所述第一视频分片的获取请求,所述获取请求包括所述第一目标视角区域的位置信息;
所述客户端接收所述服务端根据所述获取请求发送的所述第一视频分片,所述第一视频分片中的所述第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度;
所述客户端播放所述第一视频分片。
2.根据权利要求1所述方法,其特征在于,所述第一目标视角区域的每个单位区域的码率或分辨率高于其它区域的部分或全部区域中的每个单位区域的码率或分辨率。
3.根据权利要求1或2所述方法,其特征在于,若所述第一视角区域和所述第二视角区域既不相邻也不重叠,所述第一目标视角区域还包括所述第一视角区域和所述第二视角区域之间的区域。
4.根据权利要求1或2所述方法,其特征在于,所述客户端确定第一视频分片的第一目标视角区域之前,还包括:
所述客户端接收所述服务端发送的多个切换路径,所述多个切换路径中的任一切换路径为在所述目标视频中目标用户视角的切换路径;
所述客户端从所述多个切换路径中选取一个切换路径作为目标切换路径,所述目标视频包括多个视频分片,所述目标切换路径包括所述多个视频分片分别对应的视角区域;
所述客户端根据所述目标切换路径确定所述第一视角区域和所述第二视角区域。
5.根据权利要求1或2所述方法,其特征在于,所述目标视频为视频文件或视频段。
6.根据权利要求4所述方法,其特征在于,所述目标视频为目标视频文件中的视频段,所述客户端从所述多个切换路径中选取一个切换路径作为目标切换路径包括:
当播放所述目标视频文件时,所述客户端获取先前视频对应的先前视角区域,所述先前视频为按照所述目标视频文件的播放时序中所述目标视频的上一个视频段;
所述客户端根据所述先前视角区域从所述多个切换路径中选取一个切换路径作为所述目标切换路径。
7.根据权利要求4所述方法,其特征在于,所述客户端从所述多个切换路径中选取一个切换路径作为目标切换路径包括:
当播放所述目标视频时,所述客户端获取若干个先前视频分片分别对应的视角区域,得到切换子路径,所述先前视频分片为所述目标视频中所述第一视频分片之前的视频分片;
所述客户端根据所述切换子路径从所述多个切换路径中选取一个切换路径作为所述目标切换路径。
8.一种视频处理方法,其特征在于,包括:
服务端接收客户端发送的对第一视频分片的获取请求,所述获取请求包括第一目标视角区域的位置信息,所述第一目标视角区域包括第一视角区域和第二视角区域,所述第一视角区域为所述第一视频分片对应的视角区域,所述第二视角区域为第二视频分片对应的视角区域,其中,所述第一视频分片和所述第二视频分片包含于目标视频,按照所述目标视频的播放时序,所述第二视频分片为所述第一视频分片的下一个视频分片;
所述服务端根据所述获取请求向所述客户端发送所述第一视频分片,所述第一视频分片中的所述第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度。
9.根据权利要求8所述方法,其特征在于,所述第一目标视角区域的每个单位区域的码率或分辨率高于其它区域的部分或全部区域中的每个单位区域的码率或分辨率。
10.根据权利要求8或9所述方法,其特征在于,若所述第一视角区域和所述第二视角区域之间的区域既不相邻也不重叠,所述第一目标视角区域还包括所述第一视角区域和所述第二视角区域之间的区域。
11.根据权利要求8或9所述方法,其特征在于,所述服务端接收客户端发送的对第一视频分片的获取请求之前,还包括:
所述服务端预测在所述目标视频中目标用户视角的一个或多个切换路径;
所述服务端向所述客户端发送所述一个或多个切换路径,所述一个或多个切换路径用于确定目标切换路径,所述目标切换路径用于确定所述第一目标视角区域。
12.根据权利要求11所述方法,其特征在于,所述方法还包括:
所述服务端获取所述目标视频的历史切换路径集合,所述历史切换路径集合中的每一个历史切换路径为所述目标视频的一次播放过程中,观看所述目标视频的用户视角的切换路径;
所述服务端预测在所述目标视频中所述目标用户视角的一个或多个切换路径包括:
所述服务端根据所述历史切换路径集合预测在所述目标视频中所述目标用户视角的所述一个或多个切换路径。
13.根据权利要求8或9所述方法,其特征在于,所述目标视频为视频文件或视频片段。
14.一种视频处理方法,其特征在于,包括:
服务端获取目标用户视角在第一视频分片对应的第一视角区域和第二视频分片对应的第二视角区域,所述第一视频分片和所述第二视频分片包含于目标视频,其中,按照所述目标视频的播放时序,所述第二视频分片为所述第一视频分片的下一个视频分片;
所述服务端确定第一目标视角区域,所述第一目标视角区域包括所述第一视角区域和所述第二视角区域;
所述服务端向客户端发送所述第一视频分片,所述第一视频分片中的所述第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度。
15.根据权利要求14所述方法,其特征在于,所述第一目标视角区域的每个单位区域的码率或分辨率高于其它区域的部分或全部区域中的每个单位区域的码率或分辨率。
16.根据权利要求14或15所述方法,其特征在于,若所述第一视角区域和所述第二视角区域之间的区域既不相邻也不重叠,所述第一目标视角区域还包括所述第一视角区域和所述第二视角区域之间的区域。
17.根据权利要求14或15所述方法,其特征在于,所述服务端获取目标用户视角在第一视频分片对应的第一视角区域和第二视频分片对应的第二视角区域包括:
所述服务端获取所述目标用户视角在所述目标视频对应的目标切换路径,所述目标视频包括多个视频分片,所述目标切换路径包括所述多个视频分片分别对应的多个视角区域,其中,所述目标切换路径包括所述第一视频分片对应的所述第一视角区域和所述第二视频分片对应的所述第二视角区域。
18.根据权利要求17所述方法,其特征在于,所述方法还包括:
所述服务端获取所述目标视频的历史切换路径集合,所述历史切换路径集合中的每一个历史切换路径为所述目标视频的一次播放历史中,观看所述目标视频的用户视角的切换路径;
所述服务端获取所述目标用户视角在所述目标视频对应的目标切换路径包括:
所述服务端根据所述历史切换路径集合预测在所述目标视频中所述目标用户视角的所述目标切换路径。
19.根据权利要求18所述方法,其特征在于,所述服务端根据所述历史切换路径集合预测在所述目标视频中所述目标用户视角的所述目标切换路径包括:
所述服务端预测在所述目标视频中所述目标用户视角的多个切换路径;
所述服务端向所述客户端发送所述多个切换路径,以使得所述客户端从所述多个切换路径选择一个切换路径作为所述目标切换路径;
所述服务端接收客户端发送的所述目标切换路径。
20.根据权利要求14或15所述方法,其特征在于,所述目标视频为视频文件或视频片段。
21.一种视频处理方法,其特征在于,包括:
客户端接收服务端发送的第一视频分片,所述第一视频分片中的第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度,所述第一目标视角区域包括第一视角区域和第二视角区域,所述第一视角区域为所述第一视频分片对应的视角区域,所述第二视角区域为第二视频分片对应的视角区域,其中,所述第一视频分片和所述第二视频分片包含于目标视频,按照所述目标视频的播放时序,所述第二视频分片为所述第一视频分片的下一个视频分片;
所述客户端播放所述第一视频分片。
22.根据权利要求21所述方法,其特征在于,所述第一目标视角区域的每个单位区域的码率或分辨率高于其它区域的部分或全部区域中的每个单位区域的码率或分辨率。
23.根据权利要求21或22所述方法,其特征在于,若所述第一视角区域和所述第二视角区域之间的区域既不相邻也不重叠,所述第一目标视角区域还包括所述第一视角区域和所述第二视角区域之间的区域。
24.根据权利要求21所述方法,其特征在于,所述方法还包括:
所述客户端接收所述服务端发送的多个切换路径,所述多个切换路径中的任一切换路径为所述服务端预测的在所述目标视频中所述目标用户视角的切换路径;
所述客户端从所述多个切换路径中选取一个切换路径作为目标切换路径,所述目标视频包括多个视频分片,所述目标切换路径包括所述多个视频分片分别对应的多个视角区域,其中,所述目标切换路径包括所述第一视频分片对应的所述第一视角区域和所述第二视频分片对应的所述第二视角区域;
所述客户端向所述服务端发送所述目标切换路径,所述目标切换路径用于确定所述第一视频分片对应的所述第一视角区域和所述第二视频分片对应的所述第二视角区域。
25.根据权利要求21或22所述方法,其特征在于,所述目标视频为视频文件或视频片段。
26.根据权利要求24所述方法,其特征在于,若所述目标视频为目标视频文件中的视频段,所述客户端从所述多个切换路径中选取一个切换路径作为目标切换路径包括:
当播放所述目标视频文件时,所述客户端获取先前视频对应的先前视角区域,所述先前视频为按照所述目标视频文件的播放时序中所述目标视频的上一个视频段;
所述客户端根据所述先前视角区域从所述多个切换路径中选取一个切换路径作为所述目标切换路径。
27.根据权利要求24所述方法,其特征在于,所述客户端从所述多个切换路径中选取一个切换路径作为目标切换路径包括:
当播放所述目标视频时,所述客户端获取若干个先前视频分片分别对应的若干个视角区域,得到切换子路径;
所述客户端根据所述切换子路径从所述多个切换路径中选取一个切换路径作为所述目标切换路径。
28.一种客户端,其特征在于,包括:
第一确定模块,用于确定第一视频分片的第一目标视角区域,所述第一目标视角区域包括第一视角区域和第二视角区域,所述第一视角区域为所述第一视频分片对应的视角区域,所述第二视角区域为第二视频分片对应的视角区域,其中,所述第一视频分片和所述第二视频分片包含于目标视频,按照所述目标视频的播放时序,所述第二视频分片为所述第一视频分片的下一个视频分片;
发送模块,用于向服务端发送对所述第一视频分片的获取请求,所述获取请求包括所述第一目标视角区域的位置信息;
第一接收模块,用于接收所述服务端根据所述获取请求发送的所述第一视频分片,所述第一视频分片中的所述第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度;
播放模块,用于播放所述第一视频分片。
29.根据权利要求28所述客户端,其特征在于,所述客户端还包括:
第二接收模块,用于接收所述服务端发送的多个切换路径,所述多个切换路径中的任一切换路径为在所述目标视频中目标用户视角的切换路径;
选取模块,用于从所述多个切换路径中选取一个切换路径作为目标切换路径,所述目标视频包括多个视频分片,所述目标切换路径包括所述多个视频分片分别对应的视角区域;
第二确定模块,用于根据所述目标切换路径确定所述第一视角区域和所述第二视角区域。
30.根据权利要求29所述客户端,其特征在于,所述选取模块包括:
获取子模块,还用于当播放所述目标视频时,获取若干个先前视频分片分别对应的视角区域,得到切换子路径,所述先前视频分片为所述目标视频中所述第一视频分片之前的视频分片;
选取子模块,还用于根据所述切换子路径从所述多个切换路径中选取一个切换路径作为所述目标切换路径。
31.一种服务端,其特征在于,包括:
接收模块,用于收客户端发送的对第一视频分片的获取请求,所述获取请求包括第一目标视角区域的位置信息,所述第一目标视角区域包括第一视角区域和第二视角区域,所述第一视角区域为所述第一视频分片对应的视角区域,所述第二视角区域为第二视频分片对应的视角区域,其中,所述第一视频分片和所述第二视频分片包含于目标视频,按照所述目标视频的播放时序,所述第二视频分片为所述第一视频分片的下一个视频分片;
发送模块,用于根据所述获取请求向所述客户端发送所述第一视频分片,所述第一视频分片中的所述第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度。
32.根据权利要求31所述服务端,其特征在于,所述服务端,还包括:
预测模块,用于预测在所述目标视频中目标用户视角的一个或多个切换路径;
第二发送模块,用于向所述客户端发送所述一个或多个切换路径,所述一个或多个切换路径用于确定目标切换路径,所述目标切换路径用于确定所述第一目标视角区域。
33.根据权利要求32所述服务端,其特征在于,所述服务端还包括:
第一获取模块,用于获取所述目标视频的历史切换路径集合,所述历史切换路径集合中的每一个历史切换路径为所述目标视频的一次播放过程中,观看所述目标视频的用户视角的切换路径。
34.一种服务端,其特征在于,包括:
第一获取模块,用于获取目标用户视角在第一视频分片对应的第一视角区域和第二视频分片对应的第二视角区域,所述第一视频分片和所述第二视频分片包含于目标视频,其中,按照所述目标视频的播放时序,所述第二视频分片为所述第一视频分片的下一个视频分片;
确定模块,用于确定第一目标视角区域,所述第一目标视角区域包括所述第一视角区域和所述第二视角区域;
第一发送模块,用于向客户端发送所述第一视频分片,所述第一视频分片中的所述第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度。
35.根据权利要求34所述服务端,其特征在于,
所述第一获取模块,具体用于获取所述目标用户视角在所述目标视频对应的目标切换路径,所述目标视频包括多个视频分片,所述目标切换路径包括所述多个视频分片分别对应的多个视角区域,其中,所述目标切换路径包括所述第一视频分片对应的所述第一视角区域和所述第二视频分片对应的所述第二视角区域。
36.根据权利要求35所述服务端,其特征在于,所述服务端还包括:
预测模块,用于根据预测在所述目标视频中所述目标用户视角的多个切换路径;
第二发送模块,用于向所述客户端发送所述多个切换路径,以使得所述客户端从所述多个切换路径选择一个切换路径作为所述目标切换路径;
接收模块,用于接收客户端发送的所述目标切换路径。
37.根据权利要求36所述服务端,其特征在于,所述服务端还包括:
第二获取模块,用于获取所述目标视频的历史切换路径集合,所述历史切换路径集合中的每一个历史切换路径为所述目标视频的一次播放历史中,观看所述目标视频的用户视角的切换路径。
38.一种客户端,其特征在于,包括:
第一接收模块,用于接收服务端发送的第一视频分片,所述第一视频分片中的第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度,所述第一目标视角区域包括第一视角区域和第二视角区域,所述第一视角区域为所述第一视频分片对应的视角区域,所述第二视角区域为第二视频分片对应的视角区域,其中,所述第一视频分片和所述第二视频分片包含于目标视频,按照所述目标视频的播放时序,所述第二视频分片为所述第一视频分片的下一个视频分片;
播放模块,用于播放所述第一视频分片。
39.根据权利要求38所述客户端,其特征在于,所述客户端还包括:
第二接收模块,用于接收所述服务端发送的多个切换路径,所述多个切换路径中的任一切换路径为所述服务端预测的在所述目标视频中所述目标用户视角的切换路径;
选取模块,用于从所述多个切换路径中选取一个切换路径作为目标切换路径,所述目标视频包括多个视频分片,所述目标切换路径包括所述多个视频分片分别对应的多个视角区域,其中,所述目标切换路径包括所述第一视频分片对应的所述第一视角区域和所述第二视频分片对应的所述第二视角区域;
发送模块,用于向所述服务端发送所述目标切换路径,所述目标切换路径用于确定所述第一视频分片对应的所述第一视角区域和所述第二视频分片对应的所述第二视角区域。
40.根据权利要求39所述客户端,其特征在于,若所述目标视频为目标视频文件中的视频段,所述选取模块包括:
获取子模块,用于当播放所述目标视频文件时,获取先前视频对应的先前视角区域,所述先前视频为按照所述目标视频文件的播放时序中所述目标视频的上一个视频段;
选取子模块,用于根据所述先前视角区域从所述多个切换路径中选取一个切换路径作为所述目标切换路径。
41.根据权利要求39所述客户端,其特征在于,若所述目标视频为目标视频文件中的视频段,所述选取模块包括:
获取子模块,还用于当播放所述目标视频时,获取若干个先前视频分片分别对应的若干个视角区域,得到切换子路径;
选取子模块,还用于根据所述切换子路径从所述多个切换路径中选取一个切换路径作为所述目标切换路径。
42.一种客户端,其特征在于,包括:
处理器、收发器和存储器;
所述处理器,用于确定第一视频分片的第一目标视角区域,所述第一目标视角区域包括第一视角区域和第二视角区域,所述第一视角区域为所述第一视频分片对应的视角区域,所述第二视角区域为第二视频分片对应的视角区域,其中,所述第一视频分片和所述第二视频分片包含于目标视频,按照所述目标视频的播放时序,所述第二视频分片为所述第一视频分片的下一个视频分片;
所述收发器,用于向服务端发送对所述第一视频分片的获取请求,所述获取请求包括所述第一目标视角区域的位置信息;
所述存储器,用于存储程序,所述处理器通过所述程序执行权利要求1-7中任一项所述方法的步骤。
43.一种服务端,其特征在于,包括:
收发器、处理器和存储器;
所述收发器,用于接收客户端发送的对第一视频分片的获取请求,所述获取请求包括第一目标视角区域的位置信息,所述第一目标视角区域包括第一视角区域和第二视角区域,所述第一视角区域为所述第一视频分片对应的视角区域,所述第二视角区域为第二视频分片对应的视角区域,其中,所述第一视频分片和所述第二视频分片包含于目标视频,按照所述目标视频的播放时序,所述第二视频分片为所述第一视频分片的下一个视频分片;
所述处理器,用于根据所述获取请求向所述客户端确定所述第一视频分片;
所述收发器,还用于向所述客户端发送所述第一视频分片;
所述存储器,用于存储程序,所述处理器通过所述程序执行权利要求8-13中任一项所述方法的步骤。
44.一种服务端,其特征在于,包括:
处理器、收发器和存储器;
所述处理器,用于确定第一视频分片的第一目标视角区域,所述第一目标视角区域包括第一视角区域和第二视角区域,所述第一视角区域为所述第一视频分片对应的视角区域,所述第二视角区域为第二视频分片对应的视角区域,其中,所述第一视频分片和所述第二视频分片包含于目标视频,按照所述目标视频的播放时序,所述第二视频分片为所述第一视频分片的下一个视频分片;
所述收发器,用于向所述服务端发送对所述第一视频分片的获取请求,所述获取请求包括所述第一目标视角区域的位置信息;
所述存储器,用于存储程序,所述处理器通过所述程序执行权利要求14-20中任一项所述方法的步骤。
45.一种客户端,其特征在于,包括:
收发器、处理器和存储器;
所述收发器,用于接收客户端发送的对第一视频分片的获取请求,所述获取请求包括第一目标视角区域的位置信息,所述第一目标视角区域包括第一视角区域和第二视角区域,所述第一视角区域为所述第一视频分片对应的视角区域,所述第二视角区域为第二视频分片对应的视角区域,其中,所述第一视频分片和所述第二视频分片包含于目标视频,按照所述目标视频的播放时序,所述第二视频分片为所述第一视频分片的下一个视频分片;
所述处理器,用于根据所述获取请求向所述客户端发送所述第一视频分片;
所述收发器,还用于根据所述获取请求向所述客户端发送所述第一视频分片,所述第一视频分片中的所述第一目标视角区域的清晰度高于其它区域的部分或全部区域的清晰度;
所述存储器,用于存储程序,以使得所述处理器通过所述程序执行权利要求21-27中任一项所述的方法。
46.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机的处理器执行如权利要求1-27中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710526176.4A CN109218836B (zh) | 2017-06-30 | 2017-06-30 | 一种视频处理方法及其设备 |
PCT/CN2018/084962 WO2019001130A1 (zh) | 2017-06-30 | 2018-04-27 | 一种视频处理方法及其设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710526176.4A CN109218836B (zh) | 2017-06-30 | 2017-06-30 | 一种视频处理方法及其设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109218836A CN109218836A (zh) | 2019-01-15 |
CN109218836B true CN109218836B (zh) | 2021-02-26 |
Family
ID=64741058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710526176.4A Active CN109218836B (zh) | 2017-06-30 | 2017-06-30 | 一种视频处理方法及其设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109218836B (zh) |
WO (1) | WO2019001130A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111246224A (zh) * | 2020-03-24 | 2020-06-05 | 成都忆光年文化传播有限公司 | 一种视频直播方法及视频直播系统 |
CN111885310A (zh) * | 2020-08-31 | 2020-11-03 | 深圳市圆周率软件科技有限责任公司 | 一种全景数据处理方法、处理设备和播放设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008028502A (ja) * | 2006-07-19 | 2008-02-07 | Toshiba Corp | 映像送出システム、および映像送出制御方法 |
CN102055967A (zh) * | 2009-10-28 | 2011-05-11 | 中国移动通信集团公司 | 多视点视频的视角切换以及编码方法和装置 |
CN106060570A (zh) * | 2016-06-30 | 2016-10-26 | 北京奇艺世纪科技有限公司 | 一种全景视频图像播放、编码方法及装置 |
CN106131615A (zh) * | 2016-07-25 | 2016-11-16 | 北京小米移动软件有限公司 | 视频播放方法及装置 |
CN106454321A (zh) * | 2016-10-26 | 2017-02-22 | 深圳市道通智能航空技术有限公司 | 全景视频的处理方法、装置及系统 |
CN106550240A (zh) * | 2016-12-09 | 2017-03-29 | 武汉斗鱼网络科技有限公司 | 一种带宽节省方法和系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101969548B (zh) * | 2010-10-15 | 2012-05-23 | 中国人民解放军国防科学技术大学 | 基于双目摄像的主动视频获取方法及装置 |
GB2489675A (en) * | 2011-03-29 | 2012-10-10 | Sony Corp | Generating and viewing video highlights with field of view (FOV) information |
US9645394B2 (en) * | 2012-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Configured virtual environments |
CN103077509B (zh) * | 2013-01-23 | 2015-10-28 | 天津大学 | 利用离散立方体全景图实时合成连续平滑全景视频的方法 |
CN105323552B (zh) * | 2015-10-26 | 2019-03-12 | 北京时代拓灵科技有限公司 | 一种全景视频播放方法及系统 |
-
2017
- 2017-06-30 CN CN201710526176.4A patent/CN109218836B/zh active Active
-
2018
- 2018-04-27 WO PCT/CN2018/084962 patent/WO2019001130A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008028502A (ja) * | 2006-07-19 | 2008-02-07 | Toshiba Corp | 映像送出システム、および映像送出制御方法 |
CN102055967A (zh) * | 2009-10-28 | 2011-05-11 | 中国移动通信集团公司 | 多视点视频的视角切换以及编码方法和装置 |
CN106060570A (zh) * | 2016-06-30 | 2016-10-26 | 北京奇艺世纪科技有限公司 | 一种全景视频图像播放、编码方法及装置 |
CN106131615A (zh) * | 2016-07-25 | 2016-11-16 | 北京小米移动软件有限公司 | 视频播放方法及装置 |
CN106454321A (zh) * | 2016-10-26 | 2017-02-22 | 深圳市道通智能航空技术有限公司 | 全景视频的处理方法、装置及系统 |
CN106550240A (zh) * | 2016-12-09 | 2017-03-29 | 武汉斗鱼网络科技有限公司 | 一种带宽节省方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2019001130A1 (zh) | 2019-01-03 |
CN109218836A (zh) | 2019-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7029562B2 (ja) | コンテンツを提供及び表示するための装置及び方法 | |
US11902493B2 (en) | Methods and apparatus for processing content based on viewing information and/or communicating content | |
CN109565605B (zh) | 拍摄技术生成方法以及影像处理装置 | |
Bao et al. | Motion-prediction-based multicast for 360-degree video transmissions | |
US11706403B2 (en) | Positional zero latency | |
US10271082B2 (en) | Video distribution method, video reception method, server, terminal apparatus, and video distribution system | |
CN107534789B (zh) | 影像同步装置及影像同步方法 | |
Sun et al. | Flocking-based live streaming of 360-degree video | |
US9363542B2 (en) | Techniques to provide an enhanced video replay | |
US10623816B2 (en) | Method and apparatus for extracting video from high resolution video | |
CN113170234B (zh) | 多向视频的自适应编码和流式传输方法、系统和存储介质 | |
CN108156467B (zh) | 数据传输方法和装置、存储介质及电子装置 | |
CN106063277A (zh) | 用于对内容进行流传输的方法和装置 | |
KR20130108311A (ko) | 영상 비트 스트림의 전송 시스템 | |
KR102076139B1 (ko) | 360 영상 라이브 스트리밍 서비스 방법 및 서버장치 | |
CN113163214A (zh) | 一种视频处理方法及其装置 | |
CN109218836B (zh) | 一种视频处理方法及其设备 | |
WO2019048733A1 (en) | TRANSMISSION OF VIDEO CONTENT BASED ON FEEDBACK | |
JP2017123503A (ja) | 映像配信装置、映像配信方法及びコンピュータプログラム | |
CN113572975A (zh) | 视频播放方法、装置及系统、计算机存储介质 | |
CN105812838B (zh) | 一种多屏互动数据分享方法及系统 | |
KR101295002B1 (ko) | Sns 정보를 이용한 파노라마 영상 인터페이스 제공 시스템 및 방법 | |
CN112312159A (zh) | 视频的缓存方法和装置 | |
KR101549016B1 (ko) | 공간임의접근을 지원하는 영상 코덱 시스템, 영상 부호화 방법 및 복호화 방법 | |
WO2022222533A1 (zh) | 视频播放方法、装置及系统、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |