CN113630648B - 多剧情全景视频的播放方法、装置及计算机可读存储介质 - Google Patents

多剧情全景视频的播放方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN113630648B
CN113630648B CN202110741964.1A CN202110741964A CN113630648B CN 113630648 B CN113630648 B CN 113630648B CN 202110741964 A CN202110741964 A CN 202110741964A CN 113630648 B CN113630648 B CN 113630648B
Authority
CN
China
Prior art keywords
panoramic video
scenario content
scenario
user
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110741964.1A
Other languages
English (en)
Other versions
CN113630648A (zh
Inventor
瞿静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongtu Yunchuang Intelligent Technology Beijing Co ltd
Original Assignee
Zhongtu Yunchuang Intelligent Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongtu Yunchuang Intelligent Technology Beijing Co ltd filed Critical Zhongtu Yunchuang Intelligent Technology Beijing Co ltd
Priority to CN202110741964.1A priority Critical patent/CN113630648B/zh
Publication of CN113630648A publication Critical patent/CN113630648A/zh
Application granted granted Critical
Publication of CN113630648B publication Critical patent/CN113630648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本发明提供了多剧情全景视频播放方法、装置及计算机可读存储介质,该方法包括:基于播放索引文件播放全景视频,当全景视频播放到当前剧情内容的分岔点时,检测用户视觉关注点;根据用户视觉关注点确定全景视频的球形投影模型上的目标区域,其中,目标区域为球形投影模型上的多个待选择区域之一,每个待选择区域具有对应的分岔剧情内容;根据目标区域确定对应的分岔剧情内容,作为目标剧情内容;根据目标剧情内容动态修改播放索引文件,以将全景视频的当前剧情内容无缝切换到目标剧情内容。利用上述方法,能够为用户提供交互感更好的全景视频观看体验。

Description

多剧情全景视频的播放方法、装置及计算机可读存储介质
技术领域
本发明属于视频领域,具体涉及一种多剧情全景视频的播放方法、装置及计算机可读存储介质。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着虚拟现实(英文名称:Virtual Reality,缩写为VR)技术的不断发展,用户可以在极广的角度范围内观看全景视频,以获得身临其境的体验感。目前的全景视频通常采用球面投影的形式呈现,也就是用户在观看全景视频时是从一个球体的中心来观看360°范围内的投影视频。
进一步发展的是全景视频的游览方式,用户可以观看固定路径拍摄的全景视频,从而实现几个场景的全景漫游,能够体验到更加丰富的场景信息。但是由于用户所观看的是已按照固定路径拍摄的视频,用户虽然可以在游览过程中通过转动头显等方式切换观看视角,但是这种单纯的全景视频游览模式无法支持多剧情视频,用户难以在全景视频的游览过程中无感地选择更为感兴趣的后续剧情进行观看,交互性相对较差。
发明内容
针对上述现有技术中存在的问题,提出了一种多剧情全景视频播放方法、装置及计算机可读存储介质,利用这种方法、装置及计算机可读存储介质,能够解决上述问题。
本发明提供了以下方案。
第一方面,提供一种多剧情全景视频播放方法,包括:基于播放索引文件播放全景视频,当所述全景视频播放到当前剧情内容的分岔点时,检测用户视觉关注点;根据所述用户视觉关注点确定所述全景视频的球形投影模型上的目标区域,其中,所述目标区域为所述球形投影模型上的多个待选择区域之一,每个所述待选择区域具有对应的分岔剧情内容;根据所述目标区域确定对应的所述分岔剧情内容,作为目标剧情内容;根据所述目标剧情内容动态修改所述播放索引文件,以将所述全景视频的当前剧情内容无缝切换到所述目标剧情内容。
在一种实施方式中,获取用户视觉关注点,还包括:检测所述全景视频的播放设备的俯仰角,根据所述俯仰角和所述球形投影模型计算出用户的当前视野范围;根据所述用户在所述当前视野范围中的视线中心点确定所述用户视觉关注点。
在一种实施方式中,还包括:当检测到所述全景视频的播放设备未发生动作时,根据历史数据选择默认剧情内容作为所述目标剧情内容。
在一种实施方式中,根据所述用户视觉关注点确定所述全景视频的目标区域,还包括:在所述全景视频的所述球形投影模型的空间坐标系中,将所述球形投影模型划分为多个所述待选择区域,每个所述待选择区域具有对应的坐标范围;根据所述用户视觉关注点的坐标值和多个所述待选择区域对应的所述坐标范围,确定所述目标区域。
在一种实施方式中,根据所述用户视觉关注点确定所述全景视频的目标区域,还包括:在所述全景视频的所述球形投影模型的空间坐标系中,设定经过所述球形投影模型的多个预设平面,所述多个预设平面将所述球形投影模型切分为多个所述待选择区域;根据所述用户视觉关注点和多个所述预设平面之间的相对位置关系确定所述目标区域。
在一种实施方式中,在修改前的所述播放索引文件中,所述当前剧情内容以及接续的每个所述待选择的剧情内容均已完成帧对齐的切片。
在一种实施方式中,所述方法还包括:当在所述播放索引文件修改之后,将所述当前剧情内容和所述目标剧情内容进行帧对齐的切片。
在一种实施方式中,所述播放索引文件为以下中的一种或多种格式:m3u8格式,dash的mpd格式、自定义索引文件格式。。
在一种实施方式中,所述全景视频的播放设备为头戴式虚拟现实设备。
第二方面,提供一种多剧情全景视频播放装置,被配置为用于执行如第一方面的方法,装置包括:关注点确定模块,用于基于播放索引文件播放全景视频,当全景视频播放到当前剧情内容的分岔点时,获取用户视觉关注点;区域确定模块,用于根据所述用户视觉关注点确定所述全景视频的球形投影模型上的目标区域,其中,所述目标区域为所述球形投影模型上的多个待选择区域之一,每个所述待选择区域具有对应的分岔剧情内容;剧情确定模块,用于根据所述目标区域确定对应的所述分岔剧情内容,作为目标剧情内容;剧情切换模块,用于根据所述目标剧情内容动态修改所述全景视频的播放索引文件,以将所述全景视频的当前剧情内容无缝切换到所述目标剧情内容。
第三方面,提供一种全景视频播放装置,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行:如第一方面的方法。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有程序,当所述程序被多核处理器执行时,使得所述多核处理器执行如第一方面的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:本实施例中,以剧情为导向,确认全景视频各视角与多个分岔剧情之间的内容与时间的关系,基于此,用户使用本实施例提供的方法观看全景视频时,当其播放到预定的分岔点时间时,播放终端会根据用户的视角选择(即用户视觉关注点),无感且及时切换并播放用户关注内容相关的剧情。
应当理解,上述说明仅是本发明技术方案的概述,以便能够更清楚地了解本发明的技术手段,从而可依照说明书的内容予以实施。为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举例说明本发明的具体实施方式。
附图说明
通过阅读下文的示例性实施例的详细描述,本领域普通技术人员将明白本文所述的优点和益处以及其他优点和益处。附图仅用于示出示例性实施例的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的标号表示相同的部件。在附图中:
图1为根据本发明一实施例的多剧情全景视频播放方法的流程示意图;
图2为根据本发明一实施例的多剧情全景视频的球形投影模型的示意图;
图3为根据本发明一实施例的多剧情全景视频的球形投影模型的分区示意图;
图4为根据本发明又一实施例的多剧情全景视频播放装置的结构示意图;
图5为根据本发明一实施例的多剧情全景视频播放装置的结构示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
在本申请实施例的描述中,应理解,诸如“包括”或“具有”等术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不旨在排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在的可能性。
除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请中的所有代码都是示例性的,本领域技术人员根据所使用的编程语言,具体的需求和个人习惯等因素会在不脱离本申请的思想的条件下想到各种变型。
图1为根据本申请一实施例的全景视频播放方法的流程示意图,在该流程中,从设备角度而言,执行主体可以是一个或者多个电子设备;从程序角度而言,执行主体相应地可以是搭载于这些电子设备上的程序。
如图1所示,本实施例提供的方法可以包括以下步骤:
S120、基于播放索引文件播放全景视频,当全景视频播放到当前剧情内容的分岔点时,检测用户视觉关注点;
全景视频也可以称为360度全景视频或360度视频,是一种用多个摄像头进行全方位360度进行拍摄的视频。参考图2,全景视频图像一般可以展示在球形投影模型上,用户能观看到的图像区域是在该球体内表面上的位置。
本申请实施例中的全景视频是指多剧情的全景视频,其包括可供用户选择的多剧情关联内容,比如至少包括当前剧情内容video1,以及接续在当前剧情内容video1之后的待选择的多个分岔剧情内容video2-1、video2-2、video2-3等。当前剧情内容的分岔点可以理解为当前剧情内容和后续的分岔剧情内容之间的接续时间点。例如,在当前剧情内容video1播放到分岔点时(通常是其终点),需要从多个分岔剧情内容video2-1、video2-2、video2-3等中选择一个分岔剧情内容进行播放。
用户视觉关注点可以理解为用户的当前视线落在全景视频的球形投影模型上的位置。优选地,用户视觉关注点可以指用户在所述当前视野范围中的视线中心点。例如,若全景视频的播放设备为头戴式VR设备,则可以通过检测VR设备的俯仰角等信息确定该用户视觉关注点。可选地,还可以通过检测用户的眼球注视方向而确定该用户视觉关注点。
本申请实施例中的全景视频是通过使用播放索引文件而播放的,可以预先至少根据当前剧情内容以及后续的多个待选择的剧情内容创建初始的播放索引文件,全景视频的播放终端在获取该初始的播放索引文件之后即可以播放该全景视频的当前剧情内容。
S140、根据所述用户视觉关注点确定所述全景视频的球形投影模型上的目标区域,其中,所述目标区域为所述球形投影模型上的多个待选择区域之一,每个所述待选择区域具有对应的分岔剧情内容;
S160、根据所述目标区域确定对应的所述分岔剧情内容,作为目标剧情内容;
参考图2,全景视频的球形投影模型上可能包括多个待选择区域,比如区域1、2、3,每个所述待选择区域具有对应的分岔剧情内容,比如区域1、2、3分别对应于video2-1、video2-2、video2-3,假设其中的点A为上述步骤中确定的用户视觉关注点A,进一步可以根据用户视觉关注点A从多个待选择区域(区域1、2、3)中选出用户视觉关注点A落入的目标区域,比如是区域1,并选定目标区域对应的分岔剧情内容作为即将播放的目标剧情内容,也即选定video2-1作为目标剧情内容,将其接续在video1之后进行播放。
可以理解,全景视频中可能存在多个剧情分叉点,球形投影模型上划分的多个待选择区域及其对应的分岔剧情内容都会随剧情分叉点发生改变。
S180、根据所述目标剧情内容动态修改所述全景视频的播放索引文件,以将所述全景视频的当前剧情内容无缝切换到所述目标剧情内容。
本实施例中,全景视频文件会被分成若干小文件,比如上面的video1、video2-1、video2-2、video2-3等,然后通过播放索引文件记录每个文件的地址与播放顺序。在实际播放全景视频的时候,实际上是通过该播放索引文件解析放在服务器上的各分块视频网络地址,从而实现在线播放。由此,在确定目标剧情内容之后,即可动态修改全景视频的播放索引文件,以将所述全景视频的当前剧情内容无缝切换到目标剧情内容。
本申请实施例预先对全景视频的剧情内容进行分析,以剧情为导向,确认全景视频各视角与多个分岔剧情之间的内容与时间的关系。基于此,用户使用本实施例提供的方法观看全景视频时,当其播放到预定的分岔点时间时,播放终端会根据用户的视角选择(即用户视觉关注点),无感且及时切换并播放用户关注内容相关的剧情。
在一些可能的实施方式中,播放索引文件为m3u8格式。换言之,该播放索引文件是指UTF-8编码格式的M3U文件。播放索引文件的格式不限于此,还可以是dash格式,本申请对此不作具体限制。
在一些可能的实施方式中,为了更为准确地检测出用户视觉关注点,S120还可以包括:检测所述全景视频的播放设备的俯仰角,根据所述俯仰角和所述球形投影模型计算出用户的当前视野范围;根据所述用户在所述当前视野范围中的视线中心点确定所述用户视觉关注点。
一个示例中,参考图2,当使用诸如VR设备观看视频时,用户的眼睛可以认为位于球形投影模型的球心O,可以通过检测VR设备的俯仰角计算出用户的当前视野范围,可以将用户的当前视野范围的视线中心点作为该用户视觉关注点。
可选地,还可以通过检测用户的眼球运动情况来更精确地确定用户视觉关注点。可选地,还可以响应于用户的主动指令来确定用户视觉关注点,用户可以触发VR设备上或者手机界面上的选择按钮发出该主动指令。
在一些可能的实施方式中,该方法还包括:当检测到所述全景视频的播放设备未发生交互动作时,根据历史数据选择默认剧情内容作为所述目标剧情内容。
具体来说,在用户没有给出反馈的情况下,为了找到用户最有可能感兴趣的分岔剧情内容,可以根据历史数据选择总体或者近期一段时间内最受欢迎的分岔剧情内容作为目标剧情内容。还可以根据历史数据并参考用户的年龄、性别、职业、剧情喜好等属性为该用户适配同类用户中最受欢迎的分岔剧情内容作为目标剧情内容。因此,可以根据历史数据选择上述用户最有可能感兴趣的分岔剧情内容(也即默认剧情内容)作为目标剧情内容。
在一些可能的实施方式中,全景视频的播放设备可以为头戴式虚拟现实设备。也可以是诸如手机的其他播放设备。
在一些可能的实施方式中,S140还可以包括:在所述全景视频的所述球形投影模型的空间坐标系中,将所述球形投影模型划分为多个所述待选择区域,每个所述待选择区域具有对应的坐标范围;根据所述用户视觉关注点的坐标值和多个所述待选择区域对应的所述坐标范围,确定所述目标区域。
一个示例中,在基于球形投影模型构建的空间坐标系中,可以设定一个如下的判定函数f(x,y,z):
当播放到剧情分岔点,根据用户视觉关注点的坐标值即可判定剧情的发展。这种判定函数的形式,类似于将全景视频的主画面按一定的规则划分网格,每个网格对应了一定的坐标范围,相当于一定坐标范围对应了一条剧情线路。当用户视觉关注点在全景视频的球型模型中切换时,相当于用户在球型网格中进行剧情的选择,根据用户视觉关注点的落脚点,最终确定播放的视频内容。
在一些可能的实施方式中,S140还可以包括:在所述全景视频的所述球形投影模型的空间坐标系中,设定经过所述球形投影模型的多个预设平面,所述多个预设平面将所述球形投影模型切分为多个所述待选择区域;根据所述用户视觉关注点和多个所述预设平面之间的相对位置关系确定所述目标区域。
一个示例中,参考图3,示出了多剧情全景视频的球形投影模型的一种分区示意图,可以利用预设平面M、N将球形投影模型切分为多个待选择区域1、2、3,进而根据用户视觉关注点A和每个预设平面之间的相对位置关系确定三个区域之一作为目标区域,比如,用户视觉关注点A夹在平面M、N之间则为区域2,在平面M之下则为区域1,在平面N之上则为区域3,诸如此类。
在一些可能的实施方式中,在S120之前,还包括:在初始的所述播放索引文件中,当前剧情内容以及接续的每个所述待选择的分歧剧情内容均已完成帧对齐的切片。由于帧对齐切片后的各视频,在切片时间间隔处可以互相切换,因此无论后续选择哪一个分歧剧情内容,都可以完成快速无感切换。
在一些可能的实施方式中,S180中,还包括:当在所述播放索引文件修改之后,将所述当前剧情内容和所述目标剧情内容进行帧对齐的切片。在本实施方式汇总,无需在初始的播放索引文件中完成当前剧情内容和接续的全部分歧剧情内容完成帧对齐的切片,而仅需对当前剧情内容和目标剧情内容进行帧对齐的切片,相对节省了工作量。
在本说明书的描述中,参考术语“一些可能的实施方式”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
基于相同的技术构思,本发明实施例还提供一种全景视频播放装置,用于执行上述任一实施例所提供的全景视频播放方法。
图4为本发明实施例提供的一种全景视频播放装置的结构示意图。
如图4所示,装置400包括:
关注点确定模块401,用于当全景视频播放到当前剧情内容的分岔点时,获取用户视觉关注点;
区域确定模块402,用于根据用户视觉关注点确定全景视频的球形投影模型上的目标区域,其中,目标区域为球形投影模型上的多个待选择区域之一,每个待选择区域具有对应的分岔剧情内容;
剧情确定模块403,用于根据目标区域确定对应的分岔剧情内容,作为目标剧情内容;
剧情切换模块404,用于根据目标剧情内容动态修改全景视频的播放索引文件,以将全景视频的当前剧情内容无缝切换到目标剧情内容。
在一些可能的实施方式中,关注点确定模块401还用于:
检测全景视频的播放设备的俯仰角,根据俯仰角和球形投影模型计算出用户的当前视野范围;
根据用户在当前视野范围中的视线中心点确定用户视觉关注点。
在一些可能的实施方式中,剧情确定模块403,还用于:当检测到全景视频的播放设备未发生动作时,根据历史数据选择默认剧情内容作为目标剧情内容。
在一些可能的实施方式中,区域确定模块402,还用于:在全景视频的球形投影模型的空间坐标系中,将球形投影模型划分为多个待选择区域,每个待选择区域具有对应的坐标范围;根据用户视觉关注点的坐标值和多个待选择区域对应的坐标范围,确定目标区域。
在一些可能的实施方式中,区域确定模块402,还用于:在全景视频的球形投影模型的空间坐标系中,设定经过球形投影模型的多个预设平面,多个预设平面将球形投影模型切分为多个待选择区域;根据用户视觉关注点和多个预设平面之间的相对位置关系确定目标区域。
在一些可能的实施方式中,装置400还用于:在修改前的播放索引文件中,当前剧情内容以及接续的每个待选择的剧情内容均已完成帧对齐的切片。
在一些可能的实施方式中,装置400还用于:当在播放索引文件修改之后,将当前剧情内容和目标剧情内容进行帧对齐的切片。
在一些可能的实施方式中,播放索引文件为m3u8格式。
在一些可能的实施方式中,全景视频的播放设备为头戴式虚拟现实设备。
需要说明的是,本申请实施例中的装置可以实现前述方法的实施例的各个过程,并达到相同的效果和功能,这里不再赘述。
图5为根据本申请一实施例的全景视频播放装置,用于执行图1所示出的全景视频播放方法,该装置包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述实施例所述的方法。
根据本申请的一些实施例,提供了全景视频播放方法的非易失性计算机存储介质,其上存储有计算机可执行指令,该计算机可执行指令设置为在由处理器运行时执行:上述实施例所述的方法。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备和计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以其描述进行了简化,相关之处可参见方法实施例的部分说明即可。
本申请实施例提供的装置、设备和计算机可读存储介质与方法是一一对应的,因此,装置、设备和计算机可读存储介质也具有与其对应的方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述装置、设备和计算机可读存储介质的有益技术效果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (11)

1.一种多剧情全景视频播放方法,其特征在于,包括:
基于播放索引文件播放全景视频,当所述全景视频播放到当前剧情内容的分岔点时,检测所述全景视频的播放设备的俯仰角,根据所述俯仰角和球形投影模型计算出用户的当前视野范围;
根据所述用户在所述当前视野范围中的视线中心点确定所述用户视觉关注点;
根据所述用户视觉关注点确定所述全景视频的球形投影模型上的目标区域,其中,所述目标区域为所述球形投影模型上的多个待选择区域之一,每个所述待选择区域具有对应的分岔剧情内容;
根据所述目标区域确定对应的所述分岔剧情内容,作为目标剧情内容;
根据所述目标剧情内容动态修改所述播放索引文件,以将所述全景视频的当前剧情内容无缝切换到所述目标剧情内容。
2.根据权利要求1所述的方法,其特征在于,还包括:
当检测到所述全景视频的播放设备未发生动作时,根据历史数据选择默认剧情内容作为所述目标剧情内容。
3.根据权利要求1所述的方法,其特征在于,根据所述用户视觉关注点确定所述全景视频的目标区域,还包括:
在所述全景视频的所述球形投影模型的空间坐标系中,将所述球形投影模型划分为多个所述待选择区域,每个所述待选择区域具有对应的坐标范围;
根据所述用户视觉关注点的坐标值和多个所述待选择区域对应的所述坐标范围,确定所述目标区域。
4.根据权利要求1所述的方法,其特征在于,根据所述用户视觉关注点确定所述全景视频的目标区域,还包括:
在所述全景视频的所述球形投影模型的空间坐标系中,设定经过所述球形投影模型的多个预设平面,所述多个预设平面将所述球形投影模型切分为多个所述待选择区域;
根据所述用户视觉关注点和多个所述预设平面之间的相对位置关系确定所述目标区域。
5.根据权利要求1所述的方法,其特征在于,在所述方法之前,还包括:
在修改前的所述播放索引文件中,所述当前剧情内容以及接续的每个所述待选择的剧情内容均已完成帧对齐的切片。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当在所述播放索引文件修改之后,将所述当前剧情内容和所述目标剧情内容进行帧对齐的切片。
7.根据权利要求1所述的方法,其特征在于,所述播放索引文件为以下中的一种或多种格式:m3u8格式,dash的mpd格式、自定义索引文件格式。
8.根据权利要求1所述的方法,其特征在于,所述全景视频的播放设备为头戴式虚拟现实设备。
9.一种全景视频播放装置,其特征在于,被配置为用于执行如权利要求1-8中任一项所述的方法,装置包括:
关注点确定模块,用于当全景视频播放到当前剧情内容的分岔点时,检测所述全景视频的播放设备的俯仰角,根据所述俯仰角和所述球形投影模型计算出用户的当前视野范围,根据所述用户在所述当前视野范围中的视线中心点确定所述用户视觉关注点;区域确定模块,用于根据所述用户视觉关注点确定所述全景视频的球形投影模型上的目标区域,其中,所述目标区域为所述球形投影模型上的多个待选择区域之一,每个所述待选择区域具有对应的分岔剧情内容;
剧情确定模块,用于根据所述目标区域确定对应的所述分岔剧情内容,作为目标剧情内容;
剧情切换模块,用于根据所述目标剧情内容动态修改所述全景视频的播放索引文件,以将所述全景视频的当前剧情内容无缝切换到所述目标剧情内容。
10.一种全景视频播放装置,其特征在于,包括:
至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行:如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质,所述计算机可读存储介质存储有程序,当所述程序被多核处理器执行时,使得所述多核处理器执行如权利要求1-8中任一项所述的方法。
CN202110741964.1A 2021-07-01 2021-07-01 多剧情全景视频的播放方法、装置及计算机可读存储介质 Active CN113630648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110741964.1A CN113630648B (zh) 2021-07-01 2021-07-01 多剧情全景视频的播放方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110741964.1A CN113630648B (zh) 2021-07-01 2021-07-01 多剧情全景视频的播放方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113630648A CN113630648A (zh) 2021-11-09
CN113630648B true CN113630648B (zh) 2024-01-12

Family

ID=78378707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110741964.1A Active CN113630648B (zh) 2021-07-01 2021-07-01 多剧情全景视频的播放方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113630648B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114268835B (zh) * 2021-11-23 2022-11-01 北京航空航天大学 一种低传输流量的vr全景视频时空切片方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107888987A (zh) * 2016-09-29 2018-04-06 华为技术有限公司 一种全景视频播放方法及装置
CN107908290A (zh) * 2018-01-12 2018-04-13 四川超影科技有限公司 一种基于剧情选择的vr视频播放系统
CN107948751A (zh) * 2017-11-24 2018-04-20 互影科技(北京)有限公司 分支剧情视频的播放方法及装置
KR20190059558A (ko) * 2017-11-23 2019-05-31 박준서 비선형 인터렉티브 브이알 컨텐츠 개발방법
CN111282268A (zh) * 2020-02-28 2020-06-16 苏州叠纸网络科技股份有限公司 一种虚拟环境中的剧情展示方法、装置、终端及存储介质
CN111654730A (zh) * 2020-06-05 2020-09-11 腾讯科技(深圳)有限公司 视频播放方法、数据处理方法、相关设备及介质
CN112584218A (zh) * 2019-09-27 2021-03-30 腾讯科技(深圳)有限公司 一种视频播放方法、装置、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
US10582265B2 (en) * 2015-04-30 2020-03-03 JBF Interlude 2009 LTD Systems and methods for nonlinear video playback using linear real-time video players

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107888987A (zh) * 2016-09-29 2018-04-06 华为技术有限公司 一种全景视频播放方法及装置
KR20190059558A (ko) * 2017-11-23 2019-05-31 박준서 비선형 인터렉티브 브이알 컨텐츠 개발방법
CN107948751A (zh) * 2017-11-24 2018-04-20 互影科技(北京)有限公司 分支剧情视频的播放方法及装置
CN107908290A (zh) * 2018-01-12 2018-04-13 四川超影科技有限公司 一种基于剧情选择的vr视频播放系统
CN112584218A (zh) * 2019-09-27 2021-03-30 腾讯科技(深圳)有限公司 一种视频播放方法、装置、计算机设备和存储介质
CN111282268A (zh) * 2020-02-28 2020-06-16 苏州叠纸网络科技股份有限公司 一种虚拟环境中的剧情展示方法、装置、终端及存储介质
CN111654730A (zh) * 2020-06-05 2020-09-11 腾讯科技(深圳)有限公司 视频播放方法、数据处理方法、相关设备及介质

Also Published As

Publication number Publication date
CN113630648A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
US11563915B2 (en) Media content presentation
US9485493B2 (en) Method and system for displaying multi-viewpoint images and non-transitory computer readable storage medium thereof
CN111277845B (zh) 游戏直播控制方法及装置、计算机存储介质及电子设备
CN108632674A (zh) 一种全景视频的播放方法和客户端
US20200296316A1 (en) Media content presentation
CN107851425B (zh) 信息处理设备、信息处理方法和程序
US8643672B2 (en) Instant message analytics of historical conversations in relation to present communication
CN109257587A (zh) 一种编解码视频数据的方法及装置
CN108881894B (zh) Vr多媒体的体验质量确定方法及装置
CN113630648B (zh) 多剧情全景视频的播放方法、装置及计算机可读存储介质
CN110784753A (zh) 互动视频播放方法及装置、存储介质、电子设备
CN114445600A (zh) 一种特效道具的展示方法、装置、设备及存储介质
WO2022193931A1 (zh) 一种虚拟现实设备及媒资播放方法
US11659219B2 (en) Video performance rendering modification based on device rotation metric
US11483492B2 (en) Immersive video experience including rotation
CN114095785A (zh) 视频播放方法、装置及计算机设备
WO2024078209A1 (zh) 视频评论的显示方法、装置、终端及存储介质
US11381805B2 (en) Audio and video stream rendering modification based on device rotation metric
CN114900679B (zh) 一种三维模型展示方法、装置、电子设备及可读存储介质
CN115002335B (zh) 视频处理方法、装置、电子设备和计算机可读存储介质
KR102621434B1 (ko) 미디어 리소스 재생 및 텍스트 렌더링 방법, 장치, 기기 및 저장 매체
WO2021087412A1 (en) Video performance rendering modification based on device rotation metric
WO2020163878A1 (en) Immersive video experience
CN117827002A (zh) 虚拟资源预览方法、设备及计算机可读介质
CN116016971A (zh) 直播特效的观看视角处理方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant