CN110351607A - 一种全景视频场景切换的方法、计算机存储介质及客户端 - Google Patents

一种全景视频场景切换的方法、计算机存储介质及客户端 Download PDF

Info

Publication number
CN110351607A
CN110351607A CN201810300319.4A CN201810300319A CN110351607A CN 110351607 A CN110351607 A CN 110351607A CN 201810300319 A CN201810300319 A CN 201810300319A CN 110351607 A CN110351607 A CN 110351607A
Authority
CN
China
Prior art keywords
video flowing
video
backup
flowing
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810300319.4A
Other languages
English (en)
Other versions
CN110351607B (zh
Inventor
盛骁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Youku Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Youku Network Technology Beijing Co Ltd filed Critical Youku Network Technology Beijing Co Ltd
Priority to CN201810300319.4A priority Critical patent/CN110351607B/zh
Priority to TW108107049A priority patent/TW202002666A/zh
Priority to PCT/US2019/025634 priority patent/WO2019195462A1/en
Priority to US16/374,607 priority patent/US11025881B2/en
Publication of CN110351607A publication Critical patent/CN110351607A/zh
Application granted granted Critical
Publication of CN110351607B publication Critical patent/CN110351607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/158Switching image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26241Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the time of distribution, e.g. the best time of the day for inserting an advertisement or airing a children program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请实施方式公开了一种全景视频场景切换的方法、计算机存储介质及客户端,其中,所述方法提供有多个与用户的视角相关联的视频流组;视频流组包括展示相同内容的主视频流和备份视频流;与主视频流相比,备份视频流中视频切片的时间长度较短;所述方法包括:播放与用户的第一视角相关联的第一视频流组中的第一主视频流;在用户的视角由第一视角切换至第二视角的情况下,确定视频流切换时刻;视频流切换时刻与第二备份视频流中视频切片的时间长度相关联;在播放第一主视频流至视频流切换时刻时,从第一主视频流切换至第二备份视频流,以播放第二备份视频流中从视频流切换时刻起的内容。本申请提供的技术方案,能够提高全景视频场景切换的效果。

Description

一种全景视频场景切换的方法、计算机存储介质及客户端
技术领域
本申请涉及互联网技术领域,特别涉及一种全景视频场景切换的方法、计算机存储介质及客户端。
背景技术
为了降低全景视频的渲染压力,通常会根据不同视角将全景视频划分为多个区域,按照不同的分辨率分别对多个区域进行渲染;在视频传输过程中,通过与区域数量相同的视频流分别对全景视频进行传输,视频流与区域一一对应,例如,如图1所示,根据用户的8个不同视角,可以将所述全景视频划分为8个不同的区域,其中,用户的视角1、2、3、4、5、6、7、8分别与视频流1、2、3、4、5、6、7、8相关联。视频流1传输的全景视频中区域1的视频采用较高的分辨率进行渲染,其他区域的视频采用较低的分辨率进行渲染,这样,用户的视角对应的区域1的视频的分辨率较高,画质较好,虽然其他区域视频的分辨率较低,画质较差,但用户看到的始终是分辨率较高的区域1的视频,并不影响用户的观看。
然而,如图1和图2所示,在时刻t1,用户的视角对应的区域由视角1对应的区域转向视角2对应的区域,这时,至少需要等待一段时间(t2-t1),视频流1才能切换至视频流5上的视频切片,而在等待时间内,用户所观看的视角5对应的区域的视频依然是由视频流1提供的分辨率较低的视频,由于通常视频切片的时间长度为1秒(s),往往等待时间会超过500毫秒(ms),甚至超过1s,这样用户会在等待时间内察觉自己观看的视频是模糊的,极大影响用户的观看体验。
发明内容
本申请实施方式的目的是提供一种全景视频场景切换的方法、计算机存储介质及客户端,能够提高全景视频场景切换的效果。
为实现上述目的,本申请实施方式提供一种客户端,所述客户端包括存储器和处理器,所述存储器用于存储计算机程序和多个视频流组,所述视频流组与用户的视角相关联;其中,所述视频流组包括展示相同内容的主视频流和备份视频流;所述备份视频流中视频切片的时间长度小于所述主视频流中视频切片的时间长度;所述计算机程序被所述处理器执行时,实现以下步骤:向用户播放与所述用户的第一视角相关联的第一视频流组中的第一主视频流;在所述用户的视角由所述第一视角切换至第二视角的情况下,在与所述第二视角相关联的第二视频流组中的第二备份视频流中确定视频流切换时刻;其中,所述视频流切换时刻与所述第二备份视频流中视频切片的时间长度相关联;在播放所述第一主视频流至所述视频流切换时刻时,从所述第一主视频流切换至所述第二备份视频流,以向所述用户播放所述第二备份视频流中从所述视频流切换时刻起的内容。
为实现上述目的,本申请实施方式还提供一种计算机存储介质,所述计算机存储介质用于存储计算机程序和多个视频流组,所述视频流组与用户的视角相关联;其中,所述视频流组包括展示相同内容的主视频流和备份视频流;所述备份视频流中视频切片的时间长度小于所述主视频流中视频切片的时间长度;所述计算机程序被处理器执行时,实现以下步骤:向用户播放与所述用户的第一视角相关联的第一视频流组中的第一主视频流;在所述用户的视角由所述第一视角切换至第二视角的情况下,在与所述第二视角相关联的第二视频流组中的第二备份视频流中确定视频流切换时刻;其中,所述视频流切换时刻与所述第二备份视频流中视频切片的时间长度相关联;在播放所述第一主视频流至所述视频流切换时刻时,从所述第一主视频流切换至所述第二备份视频流,以向所述用户播放所述第二备份视频流中从所述视频流切换时刻起的内容。
为实现上述目的,本申请实施方式还提供一种全景视频场景切换的方法,提供有多个视频流组,所述视频流组与用户的视角相关联;其中,所述视频流组包括展示相同内容的主视频流和备份视频流;所述备份视频流中视频切片的时间长度小于所述主视频流中视频切片的时间长度;所述方法包括:向用户播放与所述用户的第一视角相关联的第一视频流组中的第一主视频流;在所述用户的视角由所述第一视角切换至第二视角的情况下,在与所述第二视角相关联的第二视频流组中的第二备份视频流中确定视频流切换时刻;其中,所述视频流切换时刻与所述第二备份视频流中视频切片的时间长度相关联;在播放所述第一主视频流至所述视频流切换时刻时,从所述第一主视频流切换至所述第二备份视频流,以向所述用户播放所述第二备份视频流中从所述视频流切换时刻起的内容。
由上可见,本申请可以将多个视频流组分别与用户的不同视角进行关联,所述视频流组中包括展示相同内容的主视频流和备份视频流,所述备份视频流中视频切片的时间长度小于所述主视频流中视频切片的时间长度。那么,在用户的视角由第一视角切换至第二视角的情况下,可以在与第二视角相关联的第二备份视频流中的一个视频切片的时间长度内,从与第一视角相关联的第一主视频流切换至与第二视角相关联的第二备份视频流。这样,尽管第一主视频流中视频切片的时间长度较长,本申请的技术方案还是可以在较短时间内完成视频流切换,避免用户察觉自己在视频流切换过程中观看的视频是模糊的,从而提高了全景视频场景切换的效果。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是现有技术中全景视频区域划分的示意图;
图2是现有技术中视频流切换的示意图;
图3是本申请实施方式中全景视频场景切换的方法的流程图;
图4是本申请实施方式中全景视频场景切换的方法的应用场景的示意图;
图5是本申请实施方式中第二备份视频流切换至第二主视频流的示意图;
图6是本申请实施方式中客户端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施方式中的附图,对本申请实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本申请一部分实施方式,而不是全部的实施方式。基于本申请中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都应当属于本申请保护的范围。
本申请实施方式提供一种全景视频场景切换的方法,所述全景视频场景切换的方法可以应用于客户端和服务器的系统架构中。所述服务器可以是存储全景视频数据的设备。具体地,所述服务器可以是能够提供视频服务的网站的后台业务服务器。所述网站例如可以是爱奇艺、搜狐视频、Acfun等。在本实施方式中,所述服务器可以为一个具有数据运算、存储功能以及网络交互功能的电子设备;也可以为运行于该电子设备中,为数据处理、存储和网络交互提供支持的软件。在本实施方式中并不具体限定所述服务器的数量。所述服务器可以为一个服务器,还可以为几个服务器,或者,若干服务器形成的服务器集群。
在本实施方式中,所述客户端可以是用于渲染全景视频数据并可以捕捉用户视角的电子设备。具体地,所述客户端例如可以是具备用户视角捕捉功能的台式电脑、平板电脑、笔记本电脑、智能手机、数字助理、智能可穿戴设备、具有网络访问功能的电视机等。或者,所述客户端也可以为能够运行于上述电子设备中的软件。具体的,所述客户端可以为电子设备中的浏览器,所述浏览器中可以加载视频网站平台提供的访问入口。所述视频网站平台例如可以是爱奇艺、搜狐视频、Acfun等,所述访问入口可以是上述网站平台的首页。所述客户端还可以是视频网站平台提供的在智能终端中运行的应用。
本申请实施方式提供一种全景视频场景切换的方法,所述全景视频场景切换的方法可以应用于上述的客户端中。所述方法可以提供有多个视频流组,所述视频流组与用户的视角相关联;其中,所述视频流组中包括展示相同内容的主视频流和备份视频流;所述备份视频流中视频切片的时间长度小于所述主视频流中视频切片的时间长度。
在本实施方式中,为了降低全景视频的渲染压力,通常可以根据用户的不同视角将全景视频划分为多个区域,并按照不同的分辨率分别对多个区域的视频进行渲染。例如,可以采用较高的分辨率对所述全景视频中指定区域的视频进行渲染,而采用较低的分辨率对所述全景视频中其他区域的视频进行渲染。接着在视频传输过程中,通过与所述指定区域相对应的视频流组对渲染后的全景视频进行传输。这样,针对用户的不同视角,可以通过多个视频流组分别传输多种分辨率与用户的视角相关联的全景视频。具体地,例如,如图1所示,根据用户的8个不同视角,可以将所述全景视频划分为8个不同的区域。其中,用户的视角1、2、3、4、5、6、7、8分别与视频流组1、2、3、4、5、6、7、8相关联。这样,视频流组1传输的全景视频中与用户的视角1对应的区域的视频是采用较高的分辨率进行渲染,而其他区域的视频是采用较低的分辨率进行渲染;类似地,视频流组2传输的全景视频中与用户的视角2对应的区域的视频是采用较高的分辨率进行渲染,而其他区域的视频是采用较低的分辨率进行渲染;其他视频流组传输的全景视频也采用类似的方式进行渲染。如此,用户的视角对应的区域的视频的分辨率较高,画质较好,虽然其他区域视频的分辨率较低,画质较差,但用户看到的始终是分辨率较高的区域1的视频,并不影响用户的观看。
在本实施方式中,所述多个视频流组可以存储于所述服务器中,这样,在用户的视角为默认视角时,所述客户端可以从所述服务器中下载与所述默认视角相关联的视频流组,并向所述用户播放与所述默认视角相关联的视频流组。而在用户的视角发生变化的情况下,所述客户端可以在视频流组切换至与用户的当前视角对应的视频流组时,从所述服务器中下载与当前视角对应的视频流组。不仅如此,所述客户端还可以将下载的视频流组存储于存储器中,以向用户播放与用户的视角对应的视频流组。其中,所述存储器可以是内存或缓存。
在本实施方式中,所述视频流组中可以包括展示相同内容的主视频流和备份视频流。具体地,所述主视频流传输的全景视频数据和所述备份视频流传输的全景视频数据相同。所述全景视频数据表征的全景视频中,与所述主视频流或所述备份视频流相关联的用户的视角对应的区域的视频是采用较高的分辨率渲染的,其他区域的视频是采用较低的分辨率渲染的。
在本实施方式中,所述主视频流中包括多个视频切片,所述备份视频流中也包括多个视频切片。其中,所述备份视频流中视频切片的时间长度小于所述主视频流中视频切片的时间长度。具体地,所述主视频流中视频切片的时间长度通常可以为1秒,或者更长,所述备份视频流中视频切片的时间长度可以300毫秒或200毫秒,甚至更短。
请参阅图3,所述全景视频场景切换的方法可以包括以下步骤。
S11:向用户播放与所述用户的第一视角相关联的第一视频流组中的第一主视频流。
在本实施方式中,所述服务器中可以提供有全景视频数据库。所述全景视频数据库可以是存储全景视频数据的数据集。所述全景视频数据库可以采用MySQL、Oracle、DB2、Sybase等数据库格式中的任意一种。所述全景视频数据库可以部署在服务器中的存储介质上。
在本实施方式中,所述全景视频数据库中可以存储各种全景视频数据。各个全景视频数据均与用户的视角相关联,针对用户的不同视角中指定视角,与所述指定视角相关联的全景视频数据表征的全景视频中,所述指定视角对应的区域的视频是采用较高的分辨率进行渲染的,其他区域的视频是采用较低的分辨率进行渲染的。不仅如此,所述全景视频数据库中的每个全景视频数据可以具备各自的数据标识。所述数据标识与全景视频数据之间可以通过key-value(键值对)的形式进行存储,这样,通过提供的数据标识,便可以从所述全景视频数据库中获取到对应的全景视频数据。
在本实施方式中,所述全景视频数据可以通过绘图标准绘制为全景视频。所述绘图标准例如可以是Open GL标准、WebGL标准等。所述全景视频可以是以指定观测点为中心的球体视频。所述指定观测点可以是观测所述全景视频的中心点,所述指定观测点观测到的图像可以展示于显示器上,以供用户观看。一方面,用户可以通过与显示器或者显示器的输入设备进行交互,从而改变所述指定观测点的视线。例如,用户在显示器上施加向右滑动的手势时,所述指定观测点的视线可以相应地向左偏转,从而可以在显示器上显示全景视频中左侧的视频信息。另一方面,还可以通过带有显示器的电子设备渲染所述全景视频数据,以得到所述全景视频数据表征的全景视频。所述带有显示器的电子设备中可以具备陀螺仪,当所述电子设备发生翻转时,在所述陀螺仪的作用下,所述指定观测点的视线可以随着电子设备的翻转而进行同步的偏转。例如,用户在通过头戴式VR眼镜观看全景视频时,用户可以向下低头,那么受到VR眼镜中陀螺仪的影响,所述指定观测点便可以相应地向下偏转,在所述VR眼镜中可以展示之前视频画面下方的视频画面。
在本实施方式中,所述客户端可以向所述服务器发送视频加载请求,所述视频加载请求指向所述服务器中的第一全景视频数据。所述第一全景视频数据与所述用户的第一视角相对应,其中,所述用户的第一视角可以是用户的当前视角,例如,如图1所示的视角1。这样,所述客户端可以通过与所述第一视角相关联的第一视频流组传输所述第一全景视频数据,并向用户播放所述第一视频流组中的内容,即所述第一全景视频数据表征的全景视频。具体地,所述第一视频流组中包括展示相同内容的第一主视频流和第一备份视频流,这样,所述客户端可以通过所述第一视频流组中的第一主视频流传输所述第一全景视频,并向用户播放所述第一主视频流中的内容。
在本实施方式中,所述视频加载请求指向所述服务器中的全景视频数据可以指所述视频加载请求中携带所述全景视频数据的标识。这样,服务器接收到所述视频加载请求后,可以从所述视频加载请求中提取所述全景视频数据的标识。在提取出所述全景视频数据的标识后,所述服务器可以从所述全景视频数据库中读取具备所述标识的全景视频数据。
在本实施方式中,所述视频加载请求可以是按照预设规则进行编写的字符串。其中,所述预设规则可以是所述客户端与所述服务器之间遵循的网络通信协议。例如,所述视频加载请求可以是按照HTTP协议进行编写的字符串。所述预设规则可以限定视频加载请求中的各个组成部分以及各个组成部分之间的排列顺序。例如,所述视频加载请求中可以包括请求标识字段、源IP地址字段以及目的IP地址字段。所述请求标识字段可以填充所述全景视频数据的标识。所述源IP地址字段可以填写所述客户端的IP地址,所述目标IP地址字段可以填写所述服务器的IP地址。这样,所述视频加载请求便可以从所述客户端发送至所述服务器处。
S13:在所述用户的视角由所述第一视角切换至第二视角的情况下,在与所述第二视角相关联的第二视频流组中的第二备份视频流中确定视频流切换时刻;其中,所述视频流切换时刻与所述第二备份视频流中视频切片的时间长度相关联。
在本实施方式中,在所述多个视频流组中,各个视频流组中的主视频流的视频切片的时间长度相同,以及备份视频流的视频切片的时间长度也相同。如此,与所述第二视角相关联的第二视频流组中包括展示相同内容的第二主视频流和第二备份视频流,所述第二主视频流中的视频切片的时间长度可以与所述第一主视频流中的视频切片的时间长度相同,所述第二备份视频流中的视频切片的时间长度可以与所述第一备份视频流中的视频切片的时间长度相同。
在本实施方式中,在所述用户的视角由所述第一视角切换至第二视角的情况下,可以在所述第二备份视频流中确定视频流切换时刻。其中,所述第二备份视频流中包括多个备份视频切片,所述视频流切换时刻与所述备份视频切片的时间长度相关联。具体地,由于视频流的切换位置通常选择在视频流中相邻两个视频切片的交界处,所述客户端需要在所述第二备份视频流中相邻两个备份视频切片的交界处,将视频流从所述第一主视频流切换至所述第二备份视频流。那么,在所述用户的视角由所述第一视角切换至所述第二视角时,所述客户端可以先确定所述第一视角切换至所述第二视角的视角切换时刻,并确定所述视角切换时刻在所述第二备份视频流中的目标位置。当所述目标位置在所述第二备份视频流中的备份视频切片内时,可以将所述目标位置所处的备份视频切片的结束时刻作为所述视频流切换时刻;当所述目标位置在所述第二备份视频流中的相邻两个备份视频切片的交界处时,可以将位于所述目标位置之后的备份视频切片的结束时刻作为所述视频流切换时刻。这样,所述客户端切换视频流的时间长度仅为所述备份视频切片的时间长度,甚至少于所述备份视频切片的时间长度。
S15:在播放所述第一主视频流至所述视频流切换时刻时,从所述第一主视频流切换至所述第二备份视频流,以向所述用户播放所述第二备份视频流中从所述视频流切换时刻起的内容。
在本实施方式中,在所述客户端确定视频流切换时刻后,继续向所述用户播放所述第一主视频流,待播放所述第一主视频流至所述视频流切换时刻时,再将视频流从所述第一主视频流切换至所述第二备份视频流,这样,在视频流切换至所述第二备份视频流后,客户端不在向所述用户播放所述第一主视频流,开始向所述用户播放所述第二备份视频流中从所述视频流切换时刻起的内容。如此,用户在切换视角后,仅需等待所述视频流切换时刻距离所述视角切换时刻的时间,即等待所述备份视频切片的时间长度对应的时间,甚至更短,便可以观看到所述第二备份视频流传输的视频。若所述备份视频切片的时间长度为200毫秒,用户甚至不会察觉视频流切换过程中所观看的视频是模糊的,待用户反应过来,视频流已经切换至所述第二备份视频流,用户观看到的依然是分辨率较高的视频,从而可以提高用户的观看体验。
在一个具体应用场景中,所述客户端可以是VR眼镜。用户可以通过佩戴VR眼镜来观看全景视频。例如,如图4所示,在当前时刻,用户的第一视角为当前视角,用户当前观看的全景视频是通过与用户的第一视角相关联的第一视频流组中的第一主视频流播放的,其中,第一主视频流中包括多个主视频切片,每个主视频切片的时间长度可以为1s。在当前时刻,例如时刻t1,用户的视角从第一视角转向至第二视角,用户观看的区域随之调整至第二视角对应的区域;其中,第二视角与第二视频流组相关联。在第二视频流组中,第二备份视频流中包括多个备份视频切片,每个备份视频切片的时间长度可以为200ms。此时,可以先确定时刻t1在所述第二备份视频流中的目标位置,由于所述目标位置在所述第二备份视频流中的相邻两个备份视频切片的交界处,可以将位于所述目标位置之后的备份视频切片的结束时刻t2作为所述视频流切换时刻。这样,可以在播放第一主视频流至时刻t2时,可以将视频流从第二主视频流切换至第二备份视频流,在视频流切换过程中,用户需要等待的切换时间仅需200ms,虽然在这段切换时间内,用户依然观看的是第一主视频流传输的与第一视角对应的区域的较低分辨率的视频,但由于视频流切换时间较短,用户并不会有明显的察觉,在视频流切换之后,用户观看的目标区域的视频已经是第二备份视频流传输的与第二视角对应的区域的视频,如此,并不会影响到用户的观看体验。
在本申请一个实施方式中,视频流切换的时刻可以基于用户视角的转变时刻来确定。具体地,可以在所述用户的视角由所述第一视角切换至第二视角的情况下,先确定所述第一视角切换至所述第二视角的视角切换时刻。接着可以根据所述视角切换时刻在所述第二备份视频流中对应的目标备份视频切片,确定所述视频流切换时刻。
在本实施方式中,在确定所述视角切换时刻后,可以确定所述视角切换时刻在所述第二备份视频流中对应的目标备份视频切片,具体可以包括,当所述视角切换时刻在所述第二备份视频流中的备份视频切片内时,可以将所述视角切换时刻所处的备份视频切片作为所述目标备份视频切片。或者,当所述视角切换时刻在所述第二备份视频流中的相邻两个备份视频切片的交界处时,可以将位于所述视角切换时刻之后的备份视频切片作为所述目标备份视频切片。
在本实施方式中,在确定所述目标备份视频切片后,所述客户端可以确定所述视频流切换时刻。具体地,可以将所述目标备份视频切片的结束时刻作为所述视频流切换时刻。
在本申请一个实施方式中,为了避免因视频流切换失败而导致视频播放过程中出现卡顿的情况,视频流切换的时刻可以基于所述第一主视频流的视频缓存量来确定。具体地,所述客户端可以检测所述第一主视频流的视频缓存量。例如,可以在所述用户的视角由所述第一视角切换至第二视角之前,检测所述第一主视频流的视频缓存量;也可以在所述用户的视角由所述第一视角切换至第二视角时,检测所述第一主视频流的视频缓存量;还可以在所述用户的视角由所述第一视角切换至第二视角之后,检测所述第一主视频流的视频缓存量。接着在所述第一主视频流的视频缓存量小于指定缓存量的情况下,可以继续播放所述第一主视频流至指定时刻。其中,所述第一主视频流在所述指定时刻对应的视频缓存量大于或等于所述指定缓存量。最后,可以根据所述指定时刻在所述第二备份视频流中对应的备份视频切片,确定所述视频流切换时刻。这样,即使在所述视频切换时刻进行的视频流切换失败了,在等待下一次视频流切换时机的过程中所述第一主视频流中仍有足够的视频缓存量,可以持续播放,避免出现卡顿的情况,从而可以进一步提高用户的观看体验。
在本实施方式中,所述指定缓存量可以是所述第一主视频流中指定数量的主视频切片的视频缓存量,也可以是所述第一主视频流中指定时间长度的视频缓存量。在实际应用中,所述指定数量或所述指定时间长度具体可以根据实际播放的全景视频的分辨率来确定。例如,当实际播放的全景视频的分辨率较高时,所述指定数量较多或所述指定时间长度较长;当实际播放的全景视频的分辨率较低时,所述指定数量较少或所述指定时间长度较短。
在本申请一个实施方式中,为了保证视频流切换后能够正常播放视频,所述方法还可以包括:所述客户端从所述视角切换时刻起,开始缓存所述第二备份视频流中从指定备份视频切片的结束时刻起的内容,以在播放所述第一主视频流至所述视频流切换时刻时,向所述用户播放所述第二备份视频流中从所述视频流切换时刻起的缓存内容;其中,所述指定备份视频切片用于表征所述视角切换时刻在所述第二备份视频流中对应的备份视频切片。这样,在播放所述第一主视频流至所述视频流切换时刻时,所述第二备份视频流中从所述视频流切换时刻起已经有一定的视频缓存量,可以保证视频流切换后能够正常播放视频。
不仅如此,还可以在所述用户的视角由所述第一视角切换至第二视角的情况下,检测所述第一主视频流的视频缓存量,在所述第一主视频流的视频缓存量小于所述指定缓存量的情况下,可以继续播放所述第一主视频流至指定时刻,其中,所述第一主视频流在所述指定时刻对应的视频缓存量大于或等于所述指定缓存量,此时,所述客户端从所述指定时刻起,开始缓存所述第二备份视频流中从指定备份视频切片的结束时刻起的内容,这样,既可以保证视频流切换后能够正常播放视频,还可以避免因视频流切换失败而导致视频播放过程中出现卡顿的情况。
在本申请一个实施方式中,在所述第二备份视频流中播放的时候,由于备份视频切片的数量过多,导致I帧(关键帧)过多,这样,会导致同一视频时段内视频数据量增大,从而导致视频码率较高,进而增加带宽和网络负载。如此,为了降低视频码率,所述客户端还可以将视频流由所述第二备份视频流切换至所述第二视频流组中的第二主视频流,这样,针对相同时间长度的视频,由于所述第二主视频流中的视频切片的时间长度较长,所需的视频切片的数量较少,通过所述第二主视频流播放,可以降低视频码率。具体地,在视频流切换至所述第二备份视频流后,可以根据所述第二备份视频流的当前播放时刻在所述第二视频流组中的第二主视频流中对应的目标主视频切片,确定目标时刻。然后在播放所述第二备份视频流至所述目标时刻时,从所述第二备份视频流切换至所述第二主视频流,以向所述用户播放所述第二主视频流中从所述目标时刻起的内容。
在本实施方式中,可以确定所述第二备份视频流的当前播放时刻在所述第二视频流组中的第二主视频流中对应的目标主视频切片,具体可以包括,当所述第二备份视频流的当前播放时刻在所述第二主视频流中的主视频切片内时,可以将所述第二备份视频流的当前播放时刻所处的主视频切片作为所述目标主视频切片。或者,当所述第二备份视频流的当前播放时刻在所述第二主视频流中的相邻两个主视频切片的交界处时,可以将位于所述第二备份视频流的当前播放时刻之后的主视频切片作为所述目标主视频切片。例如,如图5所示,所述第二备份视频流的当前播放时刻为时刻t3,时刻t3在所述第二主视频流的主视频切片内,这时,可以将时刻t3所处的主视频切片作为所述目标主视频切片,并将所述目标主视频切片的结束时刻t4作为所述目标时刻。
在本实施方式中,在确定所述目标主视频切片后,所述客户端可以确定所述目标时刻。具体地,可以将所述目标主视频切片的结束时刻作为所述目标时刻。
在本实施方式中,为了避免因视频流切换失败而导致视频播放过程中出现卡顿的情况,目标时刻可以基于所述第二备份视频流的视频缓存量来确定。具体地,所述客户端可以检测所述第二备份视频流的视频缓存量。例如,可以在向所述用户播放的视频流由所述第一主视频流切换至所述第二备份视频流之前,检测所述第二备份视频流的视频缓存量;也可以在向所述用户播放的视频流由所述第一主视频流切换至所述第二备份视频流时,检测所述第二备份视频流的视频缓存量;还可以在向所述用户播放的视频流由所述第一主视频流切换至所述第二备份视频流之后,检测所述第二备份视频流的视频缓存量。接着在所述第二备份视频流的视频缓存量小于指定缓存量的情况下,可以继续播放所述第二备份视频流至指定时刻;其中,所述第二备份视频流在所述指定时刻对应的视频缓存量大于或等于所述指定缓存量。最后,可以根据所述指定时刻在所述第二主视频流中对应的主视频切片,确定所述目标时刻。这样,即使在所述目标时刻进行的视频流切换失败了,在等待下一次视频流切换时机的过程中所述第二备份视频流中仍有足够的视频缓存量,可以持续播放,避免出现卡顿的情况。
在本实施方式中,为了保证视频流切换后能够正常播放视频,所述方法还可以包括:所述客户端从所述第二备份视频流的当前播放时刻起,开始缓存所述第二主视频流中从指定主视频切片的结束时刻起的内容,以在播放所述第二备份视频流至所述目标时刻时,向所述用户播放所述第二主视频流中从所述目标时刻起的缓存内容;其中,所述指定主视频切片用于表征所述第二备份视频流的当前播放时刻在所述第二主视频流中对应的主视频切片。这样,在播放所述第二备份视频流至所述目标时刻时,所述第二主视频流中从所述目标时刻起已经有一定的视频缓存量,可以保证视频流切换后能够正常播放视频。
不仅如此,还可以在向所述用户播放的视频流由所述第一主视频流切换至所述第二备份视频流的情况下,检测所述第二备份视频流的视频缓存量,在所述第二备份视频流的视频缓存量小于所述指定缓存量的情况下,可以继续播放所述第二备份视频流至指定时刻,其中,所述第二备份视频流在所述指定时刻对应的视频缓存量大于或等于所述指定缓存量,此时,所述客户端从所述指定时刻起,开始缓存所述第二主视频流中从指定主视频切片的结束时刻起的内容,这样,既可以保证视频流切换后能够正常播放视频,还可以避免因视频流切换失败而导致视频播放过程中出现卡顿的情况。
在本实施方式中,上述方法步骤中实现的功能,可以由计算机程序实现,所述计算机程序可以被存储于计算机存储介质中。具体的,所述计算机存储介质可以与处理器进行耦合,处理器从而可以读取计算机存储介质中的计算机程序。所述计算机存储介质可以用于存储多个视频流组,所述视频流组与用户的视角相关联;其中,所述视频流组包括展示相同内容的主视频流和备份视频流;所述备份视频流中视频切片的时间长度小于所述主视频流中视频切片的时间长度。所述计算机程序被处理器执行时,可以实现以下功能:
S11:向用户播放与所述用户的第一视角相关联的第一视频流组中的第一主视频流;
S13:在所述用户的视角由所述第一视角切换至第二视角的情况下,在与所述第二视角相关联的第二视频流组中的第二备份视频流中确定视频流切换时刻;其中,所述视频流切换时刻与所述第二备份视频流中视频切片的时间长度相关联;
S15:在播放所述第一主视频流至所述视频流切换时刻时,从所述第一主视频流切换至所述第二备份视频流,以向所述用户播放所述第二备份视频流中从所述视频流切换时刻起的内容。
在一个实施方式中,所述计算机程序被处理器执行时,确定视频流切换时刻包括以下步骤:
确定所述第一视角切换至第二视角的视角切换时刻;
根据所述视角切换时刻在所述第二备份视频流中对应的目标备份视频切片,确定所述视频流切换时刻。
在一个实施方式中,所述计算机程序被处理器执行时,所述目标备份视频切片按照以下步骤确定:
当所述视角切换时刻在所述第二备份视频流中的备份视频切片内时,将所述视角切换时刻所处的备份视频切片作为所述目标备份视频切片;
当所述视角切换时刻在所述第二备份视频流中的相邻两个备份视频切片的交界处时,将位于所述视角切换时刻之后的备份视频切片作为所述目标备份视频切片。
在一个实施方式中,所述计算机程序被处理器执行时,确定所述视频流切换时刻包括以下步骤:
将所述目标备份视频切片的结束时刻作为所述视频流切换时刻。
在一个实施方式中,所述计算机程序被处理器执行时,还实现以下步骤:
根据所述第二备份视频流的当前播放时刻在所述第二视频流组中的第二主视频流中对应的目标主视频切片,确定目标时刻;
在播放所述第二备份视频流至所述目标时刻时,从所述第二备份视频流切换至所述第二主视频流,以向所述用户播放所述第二主视频流中从所述目标时刻起的内容。
需要说明的是,上述计算机存储介质中的计算机程序所能实现的功能,均可以参照前述的方法实施实施方式,实现的技术效果也与前述方法实施方式中实现的技术效果类似,这里便不再赘述。
请参阅图6,本申请还提供一种客户端。所述客户端包括存储器和处理器,所述存储器可以用于存储计算机程序和多个视频流组,所述视频流组与用户的视角相关联;其中,所述视频流组包括展示相同内容的主视频流和备份视频流;所述备份视频流中视频切片的时间长度小于所述主视频流中视频切片的时间长度;所述计算机程序被所述处理器执行时,实现以下步骤:
步骤S11:向用户播放与所述用户的第一视角相关联的第一视频流组中的第一主视频流;
步骤S13:在所述用户的视角由所述第一视角切换至第二视角的情况下,在与所述第二视角相关联的第二视频流组中的第二备份视频流中确定视频流切换时刻;其中,所述视频流切换时刻与所述第二备份视频流中视频切片的时间长度相关联;
步骤S15:在播放所述第一主视频流至所述视频流切换时刻时,从所述第一主视频流切换至所述第二备份视频流,以向所述用户播放所述第二备份视频流中从所述视频流切换时刻起的内容。
在本实施方式中,所述存储器可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方法的媒体加以存储。本实施方式所述的存储器又可以包括:利用电能方式存储信息的装置,如RAM、ROM等;利用磁能方式存储信息的装置,如硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置,如CD或DVD。当然,还有其他方式的存储器,例如量子存储器、石墨烯存储器等等。
在本实施方式中,所述处理器可以按任何适当的方式实现。例如,所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。
在一个实施方式中,所述计算机程序被处理器执行时,确定视频流切换时刻包括以下步骤:
确定所述第一视角切换至第二视角的视角切换时刻;
根据所述视角切换时刻在所述第二备份视频流中对应的目标备份视频切片,确定所述视频流切换时刻。
在一个实施方式中,所述计算机程序被处理器执行时,所述目标备份视频切片按照以下步骤确定:
当所述视角切换时刻在所述第二备份视频流中的备份视频切片内时,将所述视角切换时刻所处的备份视频切片作为所述目标备份视频切片;
当所述视角切换时刻在所述第二备份视频流中的相邻两个备份视频切片的交界处时,将位于所述视角切换时刻之后的备份视频切片作为所述目标备份视频切片。
在一个实施方式中,所述计算机程序被处理器执行时,确定所述视频流切换时刻包括以下步骤:
将所述目标备份视频切片的结束时刻作为所述视频流切换时刻。
在一个实施方式中,所述计算机程序被处理器执行时,还实现以下步骤:
检测所述第一主视频流的视频缓存量;
在所述第一主视频流的视频缓存量小于指定缓存量的情况下,继续播放所述第一主视频流至指定时刻;其中,所述第一主视频流在所述指定时刻对应的视频缓存量大于或等于所述指定缓存量;
根据所述指定时刻在所述第二备份视频流中对应的备份视频切片,确定所述视频流切换时刻。
在一个实施方式中,所述计算机程序被处理器执行时,还实现以下步骤:
从所述视角切换时刻起,缓存所述第二备份视频流中从指定备份视频切片的结束时刻起的内容,以在播放所述第一主视频流至所述视频流切换时刻时,向所述用户播放所述第二备份视频流中从所述视频流切换时刻起的缓存内容;其中,所述指定备份视频切片用于表征所述视角切换时刻在所述第二备份视频流中对应的备份视频切片。
在一个实施方式中,所述计算机程序被处理器执行时,还实现以下步骤:
根据所述第二备份视频流的当前播放时刻在所述第二视频流组中的第二主视频流中对应的目标主视频切片,确定目标时刻;
在播放所述第二备份视频流至所述目标时刻时,从所述第二备份视频流切换至所述第二主视频流,以向所述用户播放所述第二主视频流中从所述目标时刻起的内容。
在一个实施方式中,所述计算机程序被处理器执行时,所述目标主视频切片按照以下步骤确定:
当所述第二备份视频流的当前播放时刻在所述第二主视频流中的主视频切片内时,将所述第二备份视频流的当前播放时刻所处的主视频切片作为所述目标主视频切片;
当所述第二备份视频流的当前播放时刻在所述第二主视频流中的相邻两个主视频切片的交界处时,将位于所述第二备份视频流的当前播放时刻之后的主视频切片作为所述目标主视频切片。
在一个实施方式中,所述计算机程序被处理器执行时,确定所述目标时刻包括以下步骤:
将所述目标主视频切片的结束时刻作为所述目标时刻。
在一个实施方式中,所述计算机程序被处理器执行时,还实现以下步骤:
检测所述第二备份视频流的视频缓存量;
在所述第二备份视频流的视频缓存量小于指定缓存量的情况下,继续播放所述第二备份视频流至指定时刻;其中,所述第二备份视频流在所述指定时刻对应的视频缓存量大于或等于所述指定缓存量;
根据所述指定时刻在所述第二主视频流中对应的主视频切片,确定所述目标时刻。
在一个实施方式中,所述计算机程序被处理器执行时,还实现以下步骤:
从所述第二备份视频流的当前播放时刻起,缓存所述第二主视频流中从指定主视频切片的结束时刻起的内容,以在播放所述第二备份视频流至所述目标时刻时,向所述用户播放所述第二主视频流中从所述目标时刻起的缓存内容;其中,所述指定主视频切片用于表征所述第二备份视频流的当前播放时刻在所述第二主视频流中对应的主视频切片。
本说明书实施方式提供的客户端,其存储器和处理器实现的具体功能,可以与本说明书中的前述实施方式相对照解释,并能够达到前述实施方式的技术效果,这里便不再赘述。
由上可见,本申请可以将多个视频流组分别与用户的不同视角进行关联,所述视频流组中包括展示相同内容的主视频流和备份视频流,所述备份视频流中视频切片的时间长度小于所述主视频流中视频切片的时间长度。那么,在用户的视角由第一视角切换至第二视角的情况下,可以在与第二视角相关联的第二备份视频流中的一个视频切片的时间长度内,从与第一视角相关联的第一主视频流切换至与第二视角相关联的第二备份视频流。这样,尽管第一主视频流中视频切片的时间长度较长,本申请的技术方案还是可以在较短时间内完成视频流切换,避免用户察觉自己在视频流切换过程中观看的视频是模糊的,从而提高了全景视频场景切换的效果。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现客户端、服务器以外,完全可以通过将方法步骤进行逻辑编程来使得客户端、服务器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种客户端、服务器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施方式或者实施方式的某些部分所述的方法。
本说明书中的各个实施方式均采用递进的方式描述,各个实施方式之间相同相似的部分互相参见即可,每个实施方式重点说明的都是与其他实施方式的不同之处。尤其,针对计算机存储介质、服务器和客户端的实施方式来说,均可以参照前述方法的实施方式的介绍对照解释。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施方式描绘了本申请,本领域普通技术人员知道,本申请有许多变形和变化而不脱离本申请的精神,希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (21)

1.一种客户端,其特征在于,所述客户端包括存储器和处理器,所述存储器用于存储计算机程序和多个视频流组,所述视频流组与用户的视角相关联;其中,所述视频流组包括展示相同内容的主视频流和备份视频流;所述备份视频流中视频切片的时间长度小于所述主视频流中视频切片的时间长度;所述计算机程序被所述处理器执行时,实现以下步骤:
向用户播放与所述用户的第一视角相关联的第一视频流组中的第一主视频流;
在所述用户的视角由所述第一视角切换至第二视角的情况下,在与所述第二视角相关联的第二视频流组中的第二备份视频流中确定视频流切换时刻;其中,所述视频流切换时刻与所述第二备份视频流中视频切片的时间长度相关联;
在播放所述第一主视频流至所述视频流切换时刻时,从所述第一主视频流切换至所述第二备份视频流,以向所述用户播放所述第二备份视频流中从所述视频流切换时刻起的内容。
2.根据权利要求1所述的客户端,其特征在于,所述计算机程序被所述处理器执行时,确定视频流切换时刻包括以下步骤:
确定所述第一视角切换至所述第二视角的视角切换时刻;
根据所述视角切换时刻在所述第二备份视频流中对应的目标备份视频切片,确定所述视频流切换时刻。
3.根据权利要求2所述的客户端,其特征在于,所述计算机程序被所述处理器执行时,所述目标备份视频切片按照以下步骤确定:
当所述视角切换时刻在所述第二备份视频流中的备份视频切片内时,将所述视角切换时刻所处的备份视频切片作为所述目标备份视频切片;
当所述视角切换时刻在所述第二备份视频流中的相邻两个备份视频切片的交界处时,将位于所述视角切换时刻之后的备份视频切片作为所述目标备份视频切片。
4.根据权利要求2或3所述的客户端,其特征在于,所述计算机程序被所述处理器执行时,确定所述视频流切换时刻包括以下步骤:
将所述目标备份视频切片的结束时刻作为所述视频流切换时刻。
5.根据权利要求2所述的客户端,其特征在于,所述计算机程序被所述处理器执行时,还实现以下步骤:
检测所述第一主视频流的视频缓存量;
在所述第一主视频流的视频缓存量小于指定缓存量的情况下,继续播放所述第一主视频流至指定时刻;其中,所述第一主视频流在所述指定时刻对应的视频缓存量大于或等于所述指定缓存量;
根据所述指定时刻在所述第二备份视频流中对应的备份视频切片,确定所述视频流切换时刻。
6.根据权利要求1所述的客户端,其特征在于,所述计算机程序被所述处理器执行时,还实现以下步骤:
从所述视角切换时刻起,缓存所述第二备份视频流中从指定备份视频切片的结束时刻起的内容,以在播放所述第一主视频流至所述视频流切换时刻时,向所述用户播放所述第二备份视频流中从所述视频流切换时刻起的缓存内容;其中,所述指定备份视频切片用于表征所述视角切换时刻在所述第二备份视频流中对应的备份视频切片。
7.根据权利要求1所述的客户端,其特征在于,所述计算机程序被所述处理器执行时,还实现以下步骤:
根据所述第二备份视频流的当前播放时刻在所述第二视频流组中的第二主视频流中对应的目标主视频切片,确定目标时刻;
在播放所述第二备份视频流至所述目标时刻时,从所述第二备份视频流切换至所述第二主视频流,以向所述用户播放所述第二主视频流中从所述目标时刻起的内容。
8.根据权利要求7所述的客户端,其特征在于,所述计算机程序被所述处理器执行时,所述目标主视频切片按照以下步骤确定:
当所述第二备份视频流的当前播放时刻在所述第二主视频流中的主视频切片内时,将所述第二备份视频流的当前播放时刻所处的主视频切片作为所述目标主视频切片;
当所述第二备份视频流的当前播放时刻在所述第二主视频流中的相邻两个主视频切片的交界处时,将位于所述第二备份视频流的当前播放时刻之后的主视频切片作为所述目标主视频切片。
9.根据权利要求7或8所述的客户端,其特征在于,所述计算机程序被所述处理器执行时,确定所述目标时刻包括以下步骤:
将所述目标主视频切片的结束时刻作为所述目标时刻。
10.根据权利要求7所述的客户端,其特征在于,所述计算机程序被所述处理器执行时,还实现以下步骤:
检测所述第二备份视频流的视频缓存量;
在所述第二备份视频流的视频缓存量小于指定缓存量的情况下,继续播放所述第二备份视频流至指定时刻;其中,所述第二备份视频流在所述指定时刻对应的视频缓存量大于或等于所述指定缓存量;
根据所述指定时刻在所述第二主视频流中对应的主视频切片,确定所述目标时刻。
11.根据权利要求7所述的客户端,其特征在于,所述计算机程序被所述处理器执行时,还实现以下步骤:
从所述第二备份视频流的当前播放时刻起,缓存所述第二主视频流中从指定主视频切片的结束时刻起的内容,以在播放所述第二备份视频流至所述目标时刻时,向所述用户播放所述第二主视频流中从所述目标时刻起的缓存内容;其中,所述指定主视频切片用于表征所述第二备份视频流的当前播放时刻在所述第二主视频流中对应的主视频切片。
12.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储计算机程序和多个视频流组,所述视频流组与用户的视角相关联;其中,所述视频流组包括展示相同内容的主视频流和备份视频流;所述备份视频流中视频切片的时间长度小于所述主视频流中视频切片的时间长度;所述计算机程序被处理器执行时,实现以下步骤:
向用户播放与所述用户的第一视角相关联的第一视频流组中的第一主视频流;
在所述用户的视角由所述第一视角切换至第二视角的情况下,在与所述第二视角相关联的第二视频流组中的第二备份视频流中确定视频流切换时刻;其中,所述视频流切换时刻与所述第二备份视频流中视频切片的时间长度相关联;
在播放所述第一主视频流至所述视频流切换时刻时,从所述第一主视频流切换至所述第二备份视频流,以向所述用户播放所述第二备份视频流中从所述视频流切换时刻起的内容。
13.根据权利要求12所述的计算机存储介质,其特征在于,所述计算机程序被处理器执行时,确定视频流切换时刻包括以下步骤:
确定所述第一视角切换至第二视角的视角切换时刻;
根据所述视角切换时刻在所述第二备份视频流中对应的目标备份视频切片,确定所述视频流切换时刻。
14.根据权利要求13所述的计算机存储介质,其特征在于,所述计算机程序被处理器执行时,所述目标备份视频切片按照以下步骤确定:
当所述视角切换时刻在所述第二备份视频流中的备份视频切片内时,将所述视角切换时刻所处的备份视频切片作为所述目标备份视频切片;
当所述视角切换时刻在所述第二备份视频流中的相邻两个备份视频切片的交界处时,将位于所述视角切换时刻之后的备份视频切片作为所述目标备份视频切片。
15.根据权利要求13或14所述的计算机存储介质,其特征在于,所述计算机程序被处理器执行时,确定所述视频流切换时刻包括以下步骤:
将所述目标备份视频切片的结束时刻作为所述视频流切换时刻。
16.根据权利要求12所述的计算机存储介质,其特征在于,所述计算机程序被处理器执行时,还实现以下步骤:
根据所述第二备份视频流的当前播放时刻在所述第二视频流组中的第二主视频流中对应的目标主视频切片,确定目标时刻;
在播放所述第二备份视频流至所述目标时刻时,从所述第二备份视频流切换至所述第二主视频流,以向所述用户播放所述第二主视频流中从所述目标时刻起的内容。
17.一种全景视频场景切换的方法,其特征在于,提供有多个视频流组,所述视频流组与用户的视角相关联;其中,所述视频流组包括展示相同内容的主视频流和备份视频流;所述备份视频流中视频切片的时间长度小于所述主视频流中视频切片的时间长度;所述方法包括:
向用户播放与所述用户的第一视角相关联的第一视频流组中的第一主视频流;
在所述用户的视角由所述第一视角切换至第二视角的情况下,在与所述第二视角相关联的第二视频流组中的第二备份视频流中确定视频流切换时刻;其中,所述视频流切换时刻与所述第二备份视频流中视频切片的时间长度相关联;
在播放所述第一主视频流至所述视频流切换时刻时,从所述第一主视频流切换至所述第二备份视频流,以向所述用户播放所述第二备份视频流中从所述视频流切换时刻起的内容。
18.根据权利要求17所述的方法,其特征在于,确定视频流切换时刻,包括:
确定所述第一视角切换至第二视角的视角切换时刻;
根据所述视角切换时刻在所述第二备份视频流中对应的目标备份视频切片,确定所述视频流切换时刻。
19.根据权利要求18所述的方法,其特征在于,所述目标备份视频切片按照以下方式确定:
当所述视角切换时刻在所述第二备份视频流中的备份视频切片内时,将所述视角切换时刻所处的备份视频切片作为所述目标备份视频切片;
当所述视角切换时刻在所述第二备份视频流中的相邻两个备份视频切片的交界处时,将位于所述视角切换时刻之后的备份视频切片作为所述目标备份视频切片。
20.根据权利要求18或19所述的方法,其特征在于,确定所述视频流切换时刻,包括:
将所述目标备份视频切片的结束时刻作为所述视频流切换时刻。
21.根据权利要求17所述的方法,其特征在于,所述方法还包括:
根据所述第二备份视频流的当前播放时刻在所述第二视频流组中的第二主视频流中对应的目标主视频切片,确定目标时刻;
在播放所述第二备份视频流至所述目标时刻时,从所述第二备份视频流切换至所述第二主视频流,以向所述用户播放所述第二主视频流中从所述目标时刻起的内容。
CN201810300319.4A 2018-04-04 2018-04-04 一种全景视频场景切换的方法、计算机存储介质及客户端 Active CN110351607B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810300319.4A CN110351607B (zh) 2018-04-04 2018-04-04 一种全景视频场景切换的方法、计算机存储介质及客户端
TW108107049A TW202002666A (zh) 2018-04-04 2019-03-04 全景視頻場景切換的方法、電腦儲存媒體及用戶端
PCT/US2019/025634 WO2019195462A1 (en) 2018-04-04 2019-04-03 Method, computer storage media, and client for switching scenes of panoramic video
US16/374,607 US11025881B2 (en) 2018-04-04 2019-04-03 Method, computer storage media, and client for switching scenes of panoramic video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810300319.4A CN110351607B (zh) 2018-04-04 2018-04-04 一种全景视频场景切换的方法、计算机存储介质及客户端

Publications (2)

Publication Number Publication Date
CN110351607A true CN110351607A (zh) 2019-10-18
CN110351607B CN110351607B (zh) 2022-01-14

Family

ID=68097549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810300319.4A Active CN110351607B (zh) 2018-04-04 2018-04-04 一种全景视频场景切换的方法、计算机存储介质及客户端

Country Status (4)

Country Link
US (1) US11025881B2 (zh)
CN (1) CN110351607B (zh)
TW (1) TW202002666A (zh)
WO (1) WO2019195462A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110913278A (zh) * 2019-12-06 2020-03-24 深圳创维新世界科技有限公司 视频播放方法、显示终端及存储介质
CN111356018A (zh) * 2020-03-06 2020-06-30 北京奇艺世纪科技有限公司 一种播放控制方法、装置、电子设备及存储介质
CN111372145A (zh) * 2020-04-15 2020-07-03 烽火通信科技股份有限公司 一种多视点视频的视点切换方法和系统
CN111741314A (zh) * 2020-06-18 2020-10-02 聚好看科技股份有限公司 视频播放方法及显示设备
CN112788362A (zh) * 2020-12-25 2021-05-11 北京小米移动软件有限公司 一种视频播放方法、视频播放装置及存储介质
CN113438495A (zh) * 2021-06-23 2021-09-24 中国联合网络通信集团有限公司 Vr直播方法、装置、系统、设备及存储介质
CN113938711A (zh) * 2021-10-13 2022-01-14 北京奇艺世纪科技有限公司 一种视角切换方法、装置、用户端、服务器及存储介质
WO2022048277A1 (zh) * 2020-09-01 2022-03-10 中兴通讯股份有限公司 虚拟现实视频处理方法及其终端、服务器及存储介质
CN114449348A (zh) * 2020-11-04 2022-05-06 北京金山云网络技术有限公司 一种全景视频的处理方法和装置
CN115314750A (zh) * 2022-08-10 2022-11-08 润博全景文旅科技有限公司 一种视频播放方法、装置及设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259770B (zh) * 2021-05-11 2022-11-18 北京奇艺世纪科技有限公司 视频播放方法、装置、电子设备、介质及产品
CN115529451A (zh) * 2021-06-25 2022-12-27 北京金山云网络技术有限公司 数据的传输方法及装置、存储介质、电子设备
CN116346583B (zh) * 2023-02-17 2024-05-03 广东保伦电子股份有限公司 一种基于解码端的主备音频切换方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100440330C (zh) * 2002-11-12 2008-12-03 Lg电子有限公司 记录和重现用于管理视频数据重现的数据结构的方法和装置
CN102187667A (zh) * 2008-08-26 2011-09-14 Csir公司 从第一编码视频流切换到第二编码视频流的方法
US20150015789A1 (en) * 2013-07-09 2015-01-15 Samsung Electronics Co., Ltd. Method and device for rendering selected portions of video in high resolution
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
US20170070772A1 (en) * 2015-09-09 2017-03-09 Media Global Links Co., Ltd. Video transmission system and video receiver
CN106534716A (zh) * 2016-11-17 2017-03-22 三星电子(中国)研发中心 一种全景视频的传输和显示方法
US20170339507A1 (en) * 2016-05-18 2017-11-23 Cyberlink Corp. Systems and methods for adjusting directional audio in a 360 video
WO2017205794A1 (en) * 2016-05-26 2017-11-30 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
US20170374120A1 (en) * 2016-06-22 2017-12-28 JBF Interlude 2009 LTD Dynamic summary generation for real-time switchable videos

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729471A (en) 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
WO2003027766A2 (en) 2001-09-27 2003-04-03 Eyesee360, Inc. System and method for panoramic imaging
US7058239B2 (en) 2001-10-29 2006-06-06 Eyesee360, Inc. System and method for panoramic imaging
US8599266B2 (en) 2002-07-01 2013-12-03 The Regents Of The University Of California Digital processing of video images
US20070182812A1 (en) 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US8164655B2 (en) 2008-05-19 2012-04-24 Spatial Cam Llc Systems and methods for concurrently playing multiple images from a storage medium
US9007432B2 (en) 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US8600220B2 (en) * 2012-04-02 2013-12-03 JBF Interlude 2009 Ltd—Israel Systems and methods for loading more than one video content at a time
JP5594850B2 (ja) 2012-08-17 2014-09-24 独立行政法人理化学研究所 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
US10991108B2 (en) 2015-04-01 2021-04-27 Owl Labs, Inc Densely compositing angularly separated sub-scenes
US9573062B1 (en) 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US20170195561A1 (en) 2016-01-05 2017-07-06 360fly, Inc. Automated processing of panoramic video content using machine learning techniques
US10848743B2 (en) 2016-06-10 2020-11-24 Lucid VR, Inc. 3D Camera calibration for adjustable camera settings
US10021464B2 (en) 2016-10-25 2018-07-10 Aether, Inc. Video content switching and synchronization system and method for switching between multiple video formats

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100440330C (zh) * 2002-11-12 2008-12-03 Lg电子有限公司 记录和重现用于管理视频数据重现的数据结构的方法和装置
CN102187667A (zh) * 2008-08-26 2011-09-14 Csir公司 从第一编码视频流切换到第二编码视频流的方法
US20150015789A1 (en) * 2013-07-09 2015-01-15 Samsung Electronics Co., Ltd. Method and device for rendering selected portions of video in high resolution
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
US20170070772A1 (en) * 2015-09-09 2017-03-09 Media Global Links Co., Ltd. Video transmission system and video receiver
US20170339507A1 (en) * 2016-05-18 2017-11-23 Cyberlink Corp. Systems and methods for adjusting directional audio in a 360 video
WO2017205794A1 (en) * 2016-05-26 2017-11-30 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
US20170374120A1 (en) * 2016-06-22 2017-12-28 JBF Interlude 2009 LTD Dynamic summary generation for real-time switchable videos
CN106534716A (zh) * 2016-11-17 2017-03-22 三星电子(中国)研发中心 一种全景视频的传输和显示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张帆: "全景视觉图像质量优化方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110913278A (zh) * 2019-12-06 2020-03-24 深圳创维新世界科技有限公司 视频播放方法、显示终端及存储介质
CN110913278B (zh) * 2019-12-06 2022-04-08 深圳创维新世界科技有限公司 视频播放方法、显示终端及存储介质
CN111356018A (zh) * 2020-03-06 2020-06-30 北京奇艺世纪科技有限公司 一种播放控制方法、装置、电子设备及存储介质
CN111372145B (zh) * 2020-04-15 2021-07-27 烽火通信科技股份有限公司 一种多视点视频的视点切换方法和系统
CN111372145A (zh) * 2020-04-15 2020-07-03 烽火通信科技股份有限公司 一种多视点视频的视点切换方法和系统
CN111741314A (zh) * 2020-06-18 2020-10-02 聚好看科技股份有限公司 视频播放方法及显示设备
WO2022048277A1 (zh) * 2020-09-01 2022-03-10 中兴通讯股份有限公司 虚拟现实视频处理方法及其终端、服务器及存储介质
CN114449348A (zh) * 2020-11-04 2022-05-06 北京金山云网络技术有限公司 一种全景视频的处理方法和装置
CN112788362A (zh) * 2020-12-25 2021-05-11 北京小米移动软件有限公司 一种视频播放方法、视频播放装置及存储介质
CN112788362B (zh) * 2020-12-25 2023-09-12 北京小米移动软件有限公司 一种视频播放方法、视频播放装置及存储介质
CN113438495A (zh) * 2021-06-23 2021-09-24 中国联合网络通信集团有限公司 Vr直播方法、装置、系统、设备及存储介质
CN113938711A (zh) * 2021-10-13 2022-01-14 北京奇艺世纪科技有限公司 一种视角切换方法、装置、用户端、服务器及存储介质
CN115314750A (zh) * 2022-08-10 2022-11-08 润博全景文旅科技有限公司 一种视频播放方法、装置及设备
CN115314750B (zh) * 2022-08-10 2023-09-29 润博全景文旅科技有限公司 一种视频播放方法、装置及设备

Also Published As

Publication number Publication date
WO2019195462A1 (en) 2019-10-10
CN110351607B (zh) 2022-01-14
TW202002666A (zh) 2020-01-01
US11025881B2 (en) 2021-06-01
US20190313079A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
CN110351607A (zh) 一种全景视频场景切换的方法、计算机存储介质及客户端
US20220321968A1 (en) System and method of displaying content based on locational activity
CN104010225B (zh) 显示全景视频的方法和系统
WO2018184436A1 (zh) 图片的显示方法和装置
US20230045363A1 (en) Video playback method and apparatus, computer device, and storage medium
WO2018205663A1 (zh) 虚拟场景中的视频播放、数据提供方法、客户端及服务器
US11431772B2 (en) Skipping content of lesser interest when streaming media
CN115474085B (zh) 媒体内容播放方法、装置、设备和存储介质
CN106791953A (zh) 多播放器控制方法、服务器及客户端
CN114154012A (zh) 一种视频推荐方法、装置、电子设备和存储介质
CN113395572A (zh) 一种视频处理方法、装置、存储介质及电子设备
CN104023181A (zh) 信息处理方法及装置
CN111309225B (zh) 清屏处理方法及装置
CN104010223A (zh) 接管终端系统进行视频播放的方法和系统
CN112188219B (zh) 视频接收方法和装置以及视频发送方法和装置
US10003834B1 (en) Enhanced trick mode to enable presentation of information related to content being streamed
CN107820133B (zh) 在电视机提供虚拟现实视频的方法、电视机和系统
CN116112617A (zh) 演播画面的处理方法、装置、电子设备及存储介质
WO2017101326A1 (zh) 一种快速定位播放时间点的显示方法及装置
CN111885417B (zh) Vr视频播放方法、装置、设备以及存储介质
CN115643454A (zh) 显示设备、视频播放方法及其装置
KR102139331B1 (ko) 영상 콘텐츠 재생을 위한 장치, 서버 및 방법
CN112347301A (zh) 图像特效处理方法、装置、电子设备和计算机可读存储介质
US20200401417A1 (en) Optimized User Interface Delivery
CN114428582A (zh) 一种图像生成方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200518

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Applicant before: Youku network technology (Beijing) Co., Ltd

GR01 Patent grant
GR01 Patent grant