CN107027041A - 场景展示方法及装置 - Google Patents

场景展示方法及装置 Download PDF

Info

Publication number
CN107027041A
CN107027041A CN201710252402.4A CN201710252402A CN107027041A CN 107027041 A CN107027041 A CN 107027041A CN 201710252402 A CN201710252402 A CN 201710252402A CN 107027041 A CN107027041 A CN 107027041A
Authority
CN
China
Prior art keywords
broadcasting
panoramic video
current image
image frame
played
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710252402.4A
Other languages
English (en)
Other versions
CN107027041B (zh
Inventor
黄扬帆
王凡
吴俊秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intelligent Reality Technology Co Ltd
Original Assignee
Shenzhen Intelligent Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intelligent Reality Technology Co Ltd filed Critical Shenzhen Intelligent Reality Technology Co Ltd
Priority to CN201710252402.4A priority Critical patent/CN107027041B/zh
Priority to PCT/CN2017/090793 priority patent/WO2018192094A1/zh
Publication of CN107027041A publication Critical patent/CN107027041A/zh
Application granted granted Critical
Publication of CN107027041B publication Critical patent/CN107027041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection

Abstract

本发明揭示了一种场景展示方法及装置,属于计算机应用技术领域。所述方法包括:获取全景视频中的当前图像帧及在当前图像帧时的视角方向,将接收的移动控制指令转换为对所述全景视频的播放控制指令,根据所述播放控制指令与所述视角方向,以所述当前图像帧为播放起点控制所述全景视频的连续播放,对与所述全景视频关联的场景进行展示。上述场景展示方法及装置能够提高位置移动时场景展示画面的连续性。

Description

场景展示方法及装置
技术领域
本发明涉及计算机应用技术领域,特别涉及一种场景展示方法及装置。
背景技术
随着计算机技术的发展,虚拟场景的实现得到越来越多的应用。例如,通过对超市进行全景拍摄,获取全景图片后对超市进行三维建模,实现对该超市的场景展示,从而用户无需亲自前往该超市,就能如身临其境一般地观察该超市空间内的事物。
目前的场景展示方案中,采用深度相机进行景深定位,结合全景拍摄的场景图片进行建模,进而对在拍摄点采集的图片进行显示实现场景的展示。由于各图片的拍摄点位置不同,且相互之间存在一定的距离,因而各场景图片之间并不连续。而场景展示时,实现场景的位置移动是通过场景图片的切换实现的,即只能从一个拍摄点拍摄的场景图片切换到到另一个拍摄点拍摄的场景图片,导致实现场景的位置移动时的场景展示画面不连续,从而造成移动体验较差。
因此,在场景展示时提高场景展示画面的连续性将成为当前所亟待解决的技术问题。
发明内容
为了解决相关技术中场景展示时画面切换不连续的技术问题,本发明提供了一种场景展示方法及装置。
一种场景展示方法,包括:
获取全景视频中的当前图像帧及在当前图像帧时的视角方向;
将接收的移动控制指令转换为对所述全景视频的播放控制指令;
根据所述播放控制指令与所述视角方向,以所述当前图像帧为播放起点控制所述全景视频的连续播放,对与所述全景视频关联的场景进行展示。
一种场景展示装置,包括:
图像帧及视角获取模块,用于获取全景视频中的当前图像帧及在当前图像帧时的视角方向;
控制指令转换模块,用于将接收的移动控制指令转换为对所述全景视频的播放控制指令;
视频播放模块,用于根据所述播放控制指令与所述视角方向,以所述当前图像帧为播放起点控制所述全景视频的连续播放,对与所述全景视频关联的场景进行展示。
通过本发明的实施例提供的技术方案能够得到以下有益效果:
在进行场景展示时,获取全景视频中的当前图像帧及在当前图像帧时的视角方向,将接收的移动控制指令转换为对全景视频的播放控制指令,根据播放控制指令与视角方向,以当前图像帧为播放起点控制全景视频的连续播放,对与全景视频关联的场景进行展示,从而通过全景视频的播放实现场景展示时的位置移动,提高了实现场景的位置移动时场景展示画面的连续性,增强了场景中位置移动的体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,本发明并不受限制。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种场景展示方法流程图。
图2是根据图1对应实施例示出的场景展示方法中步骤S130的一种具体实现流程图。
图3是根据图2对应实施例示出的场景展示方法中步骤S132的一种具体实现流程图。
图4是根据图2对应实施例示出的场景展示方法中步骤S131的一种具体实现流程图。
图5是根据一示例性实施例示出的全景视频的播放方向示意图。
图6是根据另一示例性实施例示出的场景展示方法流程图。
图7是根据一示例性实施例示出的全景视频示意图。
图8是根据一示例性实施例示出的全景视频播放时的示意图。
图9是根据一示例性实施例示出的一种场景展示装置的框图。
图10是根据图9对应实施例示出的视频播放模块130的框图。
图11是根据图10对应实施例示出的连续播放子模块132的框图。
图12是根据图10对应实施例示出的播放方向确定子模块131的一种结构框图。
图13是根据图10对应实施例示出的另一种场景展示装置的结构框图。
图14是根据一示例性实施例示出的一种终端的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所记载的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种场景展示方法流程图,如图1所示,该场景展示方法可以包括以下步骤。
在步骤S110中,获取全景视频中的当前图像帧及在当前图像帧时的视角方向。
全景视频是拍摄路线上的全方位视频。
可以理解的是,全景视频是由多个连续的图像帧组成的。
全景视频与普通视频不同,在任一图像帧,通过调整视角方向,能够对全景视频关联的场景中的任一视角方向进行画面显示。
视角方向是对关联场景进行展示时全景视频中图像帧的显示方向,对应于在全景视频关联的场景中的相应位置时的视野朝向。
全景视频的图像帧是与关联场景中的位置对应的,因而,对于全景视频中的任何一个图像帧,通过调整视角方向,可以对关联场景中对应的位置在任一视野朝向的场景进行展示。
在一具体的示例性实施例中,通过全景摄像机进行全景视频的拍摄。拍摄时,将全景摄像机以一定的速度进行运动拍摄,从而采集到在该运动路线上的全景视频,而全景视频中的图像帧对应该运动路线上的位置点。
例如,全景视频与场景中运动路线相对应,当全景视频拍摄时在运动路线上的运动速度为1米/秒,全景视频拍摄的图像帧采集率为25帧/秒。则全景视频的播放起点图像帧对应场景中运动路线上的起点位置,即0米。当全景视频播放到25帧时,场景展示的位置移动到对应的运动路线上的1米位置。
在一具体的示例性实施例中,在每一次进行场景展示时,均会对播放的当前图像帧及视角方向进行记录。因此,通过查询全景视频的当前记录,获取全景视频的当前图像帧及在当前图像帧时的视角方向。
在步骤S120中,将接收的移动控制指令转换为对全景视频的播放控制指令。
移动控制指令是对在全景视频关联的场景中实现位置移动的控制指令。
在接收移动控制指令后,根据场景中的位置与全景视频中图像帧的对应关系,将移动控制指令转换为全景视频的播放控制指令。
播放控制指令为对全景视频的播放进行控制的指令。
移动控制指令可以是移动方向控制指令、移动速度控制指令等中的一种或多种指令,也可以为其它类型的控制指令。
相应的,对移动控制指令进行转换后,得到的播放控制指令可以是播放方向控制指令、播放速度控制指令等中的一种或多种指令。也可以为其它类型的控制指令。
在用户层面,其可通过交互界面中预置的按钮触发输入操作,从而输入相应的移动控制指令,转换后得到全景视频的播放控制指令;也可通过传感器等探测设备进行方位变动的检测,进而获取相应的播放控制指令;还可以通过其他的方式接收获取对全景视频的播放控制指令。
在步骤S130中,根据播放控制指令与视角方向,以当前图像帧为播放起点控制全景视频的连续播放,对与全景视频关联的场景进行展示。
根据播放控制指令与视角方向,确定全景视频的播放方向、播放图像帧、播放速度等播放参数,进而以当前图像帧为播放起点在确定的播放方向上进行全景视频的连续播放。
例如,播放控制指令为控制播放图像为10帧,则基于当前全景视频所处的当前图像帧,按照当前的播放方向向前播放10帧。
通过如上所述的方法,根据全景视频的当前图像帧及视角方向,在播放控制指令的控制下,对全景视频进行连续播放,通过全景视频的播放实现场景展示时的位置移动,提高了实现场景的位置移动时场景展示画面的连续性,增强了场景中位置移动的体验。
图2是根据一示例性实施例示出的场景展示方法中步骤S130的细节描述。图2中,播放控制指令可以包括播放方向控制指令,该步骤S130可以包括以下步骤。
在步骤S131中,根据播放方向控制指令与视角方向,确定在当前图像帧时全景视频的播放方向。
播放方向控制指令为对全景视频的播放方向进行调整的指令。
播放方向控制指令可以为全景视频中指定方向的控制指令,也可以为相对全景视频当前视角方向的调整指令。
在一具体的示例性实施例中,播放方向控制指令为全景视频中指定视角方向的控制指令。全景视频中,各视角方向具有相应的方向标记,通过接收包含方向标记的播放方向控制指令,将该方向标记对应的视角方向确定为全景视频的播放方向。
在一具体的示例性实施例中,播放方向控制指令为相对全景视频当前视角方向的偏转角度指令。通过接收包含偏转角度的播放方向控制指令,基于全景视频当前的视角方向进行偏转角度的调整,进而将调整后的方向作为全景视频的播放方向。
在步骤S132中,以当前图像帧为播放起点,按照播放方向进行全景视频的连续播放。
通过如上所述的方法,根据播放控制指令确定全景视频的播放方向,以全景视频的当前图像帧为播放起点,按照该播放方向进行全景视频的连续播放,从而在对全景视频关联的场景进行展示时,能够自主选择位置移动的方向,并且使实现场景的位置移动时的场景展示画面更加连续,增强了虚拟场景中位置移动的体验。
图3是根据图2对应实施例示出的场景展示方法中步骤S132的细节描述。图2中,播放控制指令还可以包括播放速度控制指令,该步骤S132可以包括以下步骤。
在步骤S1321中,根据播放速度控制指令确定对全景视频进行播放的倍速大小。
可以理解的是,全景视频播放时,全景视频具有一定的播放速度。
播放速度控制指令为对全景视频的播放速度进行控制的指令。
如上所述,全景视频的图像帧是与关联场景中的位置对应的。因而,通过控制全景视频的播放速度,实现对关联场景中位置的移动速度的控制。
在步骤S1322中,以当前图像帧为播放起点,在播放方向上对全景视频按照倍速大小进行倍速播放。
通过倍速大小,控制全景视频的播放速度,即调节全景视频中图像帧的切换速度,从而实现关联场景中位置移动速度的控制。
对全景视频按照倍速大小进行倍速播放的方式有多种。
在一具体的示例性实施例中,对全景视频按照倍速大小进行倍速播放时,根据倍速大小,从全景视频在确定的播放方向上的图像帧中选取部分图像帧进行跳跃性地播放。
例如,全景视频中的图像帧按照时间顺序分为A1、A2、A3、A4、A5、A6、A7、A8,按照倍速大小为1进行播放时,每一图像帧的显示时间为40毫秒。当按照倍速大小为2进行倍速播放时,选取图像帧A1、A3、A5、A7进行显示,各图像帧的显示时间均为40毫秒。
在一具体的示例性实施例中,对全景视频按照倍速大小进行倍速播放时,根据倍速大小,改变全景视频在确定的播放方向上每一图像帧的显示时间,进而按照改变后的显示时间对全景视频在确定的播放方向上的每一图像帧进行显示,实现全景视频的倍速播放。
例如,全景视频中的图像帧按照时间顺序分为A1、A2、A3、A4、A5、A6、A7、A8,按照倍速大小为1进行播放时,每一图像帧的显示时间为40毫秒。当按照倍速大小为2进行倍速播放时,对图像帧A1、A2、A3、A4、A5、A6、A7、A8均进行显示,但各图像帧的显示时间均为20毫秒。
通过如上所述的方法,根据播放控制指令确定全景视频的播放方向及播放速度,进而以全景视频的当前图像帧为播放起点,按照该播放方向和播放速度实现全景视频的倍速播放,从而在对全景视频关联的场景进行展示时,能够自主选择场景中位置移动的路线及速度,大大提高了实现场景的位置移动时场景展示画面的连续性及场景展示的灵活性,增强了虚拟场景中位置移动的体验。
图4是根据图2对应实施例示出的场景展示方法中步骤S131的细节描述。图4中,该步骤S131可以包括以下步骤。
在步骤S1311中,根据播放方向控制指令与视角方向,确定期望控制方向。
通常地,在某一个图像帧时,全景视频存在一个或二个候选播放方向。
例如,在全景视频的中间图像帧时,全景视频存在二个候选播放方向;而在全景视频的端点图像帧时,全景视频只存在一个候选播放方向。
然而,为使展示的场景画面更加全面,场景关联的全景视频包括多个全景视频段,各全景视频段之间通过关联图像帧相关联,即关联图像帧为各全景视频段之间的交点。
由于各全景视频段在不同的图像帧时存在一个或二个候选播放方向,因而,在关联图像帧时,全景视频将存在两个以上的候选播放方向。
图5是根据一示例性实施例示出的全景视频的候选播放方向示意图。图5所示的全景视频包括全景视频段MN和全景视频段XY,而图像帧A为关联图像帧,因而在图像帧A虽然存在全方位的视角方向,但候选播放方向分别为AM、AN、AX、AY。因此,在图像帧A时,只能从候选播放方向AM、AN、AX、AY中选取一个作为候选播放方向进行全景视频的播放,并不能按照任一视角方向进行全景视频的播放。
因此,需根据播放方向控制指令和视角方向,从全景视频在当前图像帧时的候选播放方向中确定全景视频的播放方向。
期望控制方向是根据播放方向控制指令和视角方向而得到的控制方向,全景视频并非在任一期望控制方向均存在能够进行视频播放的方向。
候选播放方向是能够在全景视频的图像帧时进行全景视频播放的方向。对于全景视频中的图像帧,需要根据期望控制方向从该图像帧时的候选播放方向中确定播放方向。
在步骤S1312中,针对全景视频在当前图像帧的每一个候选播放方向,计算候选播放方向与期望控制方向之间的夹角。
在一具体的示例性实施例中,如图5所示,全景视频在图像帧A存在AM、AN、AX、AY四个候选播放方向,而在图像帧M时只存在MA一个候选播放方向。
由于每个候选播放方向是特定的,因而基于期望控制方向计算候选播放方向与期望控制方向之间的夹角。
如图5所示,全景视频在图像帧A存在4个候选播放方向AM、AN、AX、AY,当确定期望控制方向为Ap时,则候选播放方向AM与期望控制方向Ap之间的夹角为30°,候选播放方向AN与期望控制方向Ap之间的夹角为150°,候选播放方向AX与期望控制方向Ap之间的夹角为60°,候选播放方向AY与期望控制方向Ap之间的夹角为120°。
在步骤S1313中,根据夹角在候选播放方向中确定全景视频的播放方向。
根据夹角确定在候选播放方向中确定全景视频的播放方向时,可以通过比较各候选播放方向与期望控制方向之间的夹角大小,选取最小夹角对应的候选播放方向作为全景视频的播放方向。
在一具体的示例性实施例中,全景视频在某一图像帧只存在一个候选播放方向,则对该候选播放方向与期望控制方向之间的夹角进行大小判断,当夹角小于90°时,确定该候选播放方向为全景视频的播放方向。
在一具体的示例性实施例中,全景视频在某一图像帧存在至少两个候选播放方向,在获取对各候选播放方向与期望控制方向之间的夹角后,可以对各夹角进行大小判断,选取最小夹角,在该最小夹角小于90°时,确定该最小夹角对应的候选播放方向为全景视频的播放方向。
通过如上所述的方法,先根据播放控制指令在全景视频的当前图像帧确定期望控制方向,进而在获取当前图像帧的各候选播放方向与期望控制方向之间的夹角后,在所有的候选播放方向中确定全景视频的播放方向,从而在对关联场景展示时实现位置移动路线的选择,并且在对全景视频关联的场景展示时,保证实现场景的位置移动时场景展示画面的连续性的同时,又提高了场景展示的灵活性,增强了虚拟场景中位置移动的体验。
图6是根据另一示例性实施例示出的场景展示方法流程图。如图6中,全景视频包括多个全景视频段,关联图像帧为各全景视频段之间的交点,通过关联图像帧对不同全景视频段进行切换播放,图2中示出的场景展示方法中的步骤S131之后,该场景展示方法还可以包括以下步骤。
在步骤S210中,将在当前图像帧时进行全景视频段播放的播放方向标记为第一播放方向。
在步骤S220中,以当前图像帧为起点,按照第一播放方向查找关联图像帧。
关联图像帧是全景视频中存在多个播放方向的图像帧。
通常地,通过对存在多个播放方向的图像帧进行标记,从而确定为关联图像帧。
因而,以当前图像帧为起点,按照第一播放方向,查找全景视频中存在多个播放方向的图像帧。
在步骤S230中,判断当前图像帧与关联图像帧的时间间隔是否在预设时间范围内,若为是(Y),则执行步骤S240,若为否(Y),则执行步骤S242。
如前所述的,全景视频中各图像帧之间存在一定的时间间隔。
因而,根据当前图像帧及关联图像帧在全景视频中的时间位置,计算当前图像帧与关联图像帧之间的时间间隔。
例如,图7是根据一示例性实施例示出的全景视频示意图。如图7所示,全景视频包括视频1和视频2两个全景视频段,图像帧M、A为视频1的首尾图像帧,图像帧X、Y为视频2的首尾图像帧。在关联图像帧A时存在AM、AX、AY三个候选播放方向,视频1和视频2通过关联图像帧A相关联。当前图像帧B为视频1中第80图像帧,关联图像帧A为视频1中第100图像帧,而视频1常速播放时的播放速率为25帧/秒,因此当前图像帧B与关联图像帧A的时间间隔为0.8秒。
预设时间范围是预先设置的时间大小值。
当前图像帧与关联图像帧之间的时间间隔在预设时间范围内时,则在当前图像帧就预先计算在关联图像帧时全景视频的播放方向;当前图像帧与关联图像帧之间的时间间隔不在预设时间范围内时,则以当前图像帧为播放起点,按照第一播放方向进行全景视频的连续播放。
例如,图7中,预设时间范围为1秒,当前图像帧B与关联图像帧A的时间间隔为0.8秒时,则在当前图像帧B时就预先确定关联图像帧A时全景视频的播放方向;当前图像帧B与关联图像帧A的时间间隔为1.1秒时,则以当前图像帧B为起点,按照确定的播放方向进行全景视频的连续播放。
可选的,以当前图像帧为起点,按照第一播放方向查找到的关联图像帧存在多个时,则按照当前图像帧与关联图像帧在第一播放方向上的时间间隔,选取最小时间间隔对应的关联图像帧。
在步骤S240中,根据播放方向控制指令与视角方向,确定在关联图像帧时进行全景视频播放的全景视频段,及在关联图像帧对全景视频段进行播放的播放方向,并将在关联图像帧时对全景视频段进行播放的播放方向标记为第二播放方向。
如上所述的,由于全景视频的各全景视频段在不同的图像帧时存在一个或二个候选播放方向,而在关联图像帧时,全景视频存在两个以上的候选播放方向。
因而,与确定第一播放方向类似,按照播放方向控制指令与视角方向,从全景视频在关联图像帧时的多个候选播放方向中,预先确定在关联图像帧时全景视频的播放方向及所属的全景视频段。
在步骤S242中,以当前图像帧为播放起点,按照第一播放方向进行全景视频的连续播放。
若当前图像帧与关联图像帧在第一播放方向上的时间间隔较大,此时距离进行播放方向选择的时间间隔还较长,无需预先确定在关联图像帧时的播放方向。因此,将第一播放方向确定为全景视频的播放方向,以当前图像帧为起点,按照第一播放方向进行全景视频的连续播放。
在步骤S250中,以当前图像帧为播放起点,依次按照第一播放方向与第二播放方向进行全景视频的连续播放。
若当前图像帧与关联图像帧在第一播放方向上的时间间隔较小,即在预设时间范围内,由于关联图像帧时的候选播放方向较多,通过从多个候选播放方向中预先确定在关联图像帧时全景视频的播放方向,从而避免直到播放到关联图像帧才进行播放方向的确定而影响全景视频播放的流畅性。
图8是根据一示例性实施例示出的全景视频播放时的示意图。如图8所示,全景视频包括视频1和视频2两个全景视频段,图像帧M、A为视频1的首尾图像帧,图像帧X、Y为视频2的首尾图像帧。在关联图像帧A时存在AM、AX、AY三个候选播放方向,关联图像帧A为视频1和视频2之间的交点。根据播放方向控制指令与视角方向,确定的当前图像帧B时的期望控制方向为BC方向,即当前图像帧B时的第一播放方向为BA方向。当当前图像帧B与关联图像帧A之间的时间间隔在预设范围内时,则在当前图像帧B时,就预先确定在关联图像帧A时全景视频的播放方向。确定在关联图像帧A时全景视频的播放方向(即第二播放方向)为AX方向时,以当前图像帧B为起点,按照BA方向进行全景视频的播放,直到播放到关联图像帧A时,再以关联图像帧A为转折点,按照AX方向进行全景视频的播放。
通过如上所述的方法,根据播放方向控制指令与视角方向确定当前图像帧的第一播放方向,在当前图像帧与关联图像帧在第一播放方向上的时间间隔在预设时间范围内时,在当前图像帧就预先确定在关联图像帧时全景视频的第二播放方向,进而以当前图像帧为起点,按照第一播放方向播放到关联图像帧后,再以关联图像帧为起点按照第二播放方向进行相应全景视频段的播放,从而在对关联场景展示时实现位置移动路线的自动选择,保证实现场景的位置移动时场景展示画面的连续性的同时,又提高了场景展示的灵活性,增强了虚拟场景中位置移动的体验。
下述为本发明装置实施例,可以用于执行上述场景展示方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明场景展示方法实施例。
图9是根据一示例性实施例示出的一种场景展示装置的框图,该装置包括但不限于:图像帧及视角获取模块110、控制指令转换模块120及视频播放模块130。
图像帧及视角获取模块110,用于获取全景视频中的当前图像帧及在当前图像帧时的视角方向;
控制指令转换模块120,用于将接收的移动控制指令转换为对全景视频的播放控制指令;
视频播放模块130,用于根据播放控制指令与视角方向,以当前图像帧为播放起点控制全景视频的连续播放,对与全景视频关联的场景进行展示。
上述装置中各个模块的功能和作用的实现过程具体详见上述场景展示方法中对应步骤的实现过程,在此不再赘述。
可选的,如图10所示,播放控制指令包括播放方向控制指令,图9示出的视频播放模块130包括但不限于:播放方向确定子模块131和连续播放子模块132。
播放方向确定子模块131,用于根据播放方向控制指令与视角方向,确定在当前图像帧时全景视频的播放方向;
连续播放子模块132,用于以当前图像帧为播放起点,按照播放方向进行全景视频的连续播放。
可选的,如图11所示,控制指令还包括播放速度控制指令,图10示出的连续播放子模块132包括但不限于:倍速大小确定单元1321和倍速播放单元1322。
倍速大小确定单元1321,用于根据播放速度控制指令确定对全景视频进行播放的倍速大小;
倍速播放单元1322,用于以当前图像帧为播放起点,在播放方向上对全景视频按照倍速大小进行倍速播放。
可选的,如图12所示,图10示出的播放方向确定子模块131包括但不限于:期望控制方向确定单元1311、夹角计算单元1312和播放方向确定单元1313。
期望控制方向确定单元1311,用于根据播放方向控制指令与视角方向,确定期望控制方向;
夹角计算单元1312,用于针对全景视频在当前图像帧时的每一个候选播放方向,计算候选播放方向与期望控制方向之间的夹角;
播放方向确定单元1313,用于根据夹角从候选播放方向中确定在当前图像帧时全景视频的播放方向。
可选的,如图13所示,全景视频包括多个全景视频段,关联图像帧为各全景视频段之间的交点,通过关联图像帧对不同全景视频段进行切换播放,图10对应实施例中的场景展示装置还包括但不限于:第一播放方向标记子模块210、关联图像帧查找子模块220、时间间隔判断子模块230、第二播放方向确定子模块240和依次连续播放子模块250。
第一播放方向标记子模块210,用于将在当前图像帧时进行全景视频段播放的播放方向标记为第一播放方向;
关联图像帧查找子模块220,用于以当前图像帧为起点,按照第一播放方向查找关联图像帧;
时间间隔判断子模块230,用于判断当前图像帧与关联图像帧的时间间隔是否在预设时间范围内;
第二播放方向确定子模块240,用于在时间间隔在预设时间范围内时,根据播放方向控制指令与视角方向,确定在关联图像帧时进行全景视频播放的全景视频段,及在关联图像帧对全景视频段进行播放的播放方向,并将在关联图像帧时对全景视频段进行播放的播放方向标记为第二播放方向;
依次连续播放子模块250,用于以当前图像帧为播放起点,依次按照第一播放方向与第二播放方向进行全景视频的连续播放。
图14是根据一示例性实施例示出的一种终端100的框图。参考图14,终端100可以包括以下一个或者多个组件:处理组件101,存储器102,电源组件103,多媒体组件104,音频组件105,传感器组件107以及通信组件108。其中,上述组件并不全是必须的,终端100可以根据自身功能需求增加其他组件或减少某些组件,本实施例不作限定。
处理组件101通常控制终端100的整体操作,诸如与显示,电话呼叫,数据通信,相机操作以及记录操作相关联的操作等。处理组件101可以包括一个或多个处理器109来执行指令,以完成上述操作的全部或部分步骤。此外,处理组件101可以包括一个或多个模块,便于处理组件101和其他组件之间的交互。例如,处理组件101可以包括多媒体模块,以方便多媒体组件104和处理组件101之间的交互。
存储器102被配置为存储各种类型的数据以支持在终端100的操作。这些数据的示例包括用于在终端100上操作的任何应用程序或方法的指令。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如SRAM(Static Random AccessMemory,静态随机存取存储器),EEPROM(Electrically Erasable Programmable Read-Only Memory,电可擦除可编程只读存储器),EPROM(Erasable Programmable Read OnlyMemory,可擦除可编程只读存储器),PROM(Programmable Read-Only Memory,可编程只读存储器),ROM(Read-Only Memory,只读存储器),磁存储器,快闪存储器,磁盘或光盘。存储器102中还存储有一个或多个模块,该一个或多个模块被配置成由该一个或多个处理器109执行,以完成图1、图2、图3、图4和图6任一所示方法中的全部或者部分步骤。
电源组件103为终端100的各种组件提供电力。电源组件103可以包括电源管理系统,一个或多个电源,及其他与为终端100生成、管理和分配电力相关联的组件。
多媒体组件104包括在所述终端100和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括LCD(Liquid Crystal Display,液晶显示器)和TP(TouchPanel,触摸面板)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件105被配置为输出和/或输入音频信号。例如,音频组件105包括一个麦克风,当终端100处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中,音频组件105还包括一个扬声器,用于输出音频信号。
传感器组件107包括一个或多个传感器,用于为终端100提供各个方面的状态评估。例如,传感器组件107可以检测到终端100的打开/关闭状态,组件的相对定位,传感器组件107还可以检测终端100或终端100一个组件的坐标改变以及终端100的温度变化。在一些实施例中,该传感器组件107还可以包括磁传感器,压力传感器或温度传感器。
通信组件108被配置为便于终端100和其他设备之间有线或无线方式的通信。终端100可以接入基于通信标准的无线网络,如WiFi(WIreless-Fidelity,无线网络),2G或3G,或它们的组合。在一个示例性实施例中,通信组件108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件108还包括NFC(Near Field Communication,近场通信)模块,以促进短程通信。例如,在NFC模块可基于RFID(Radio Frequency Identification,射频识别)技术,IrDA(Infrared DataAssociation,红外数据协会)技术,UWB(Ultra-Wideband,超宽带)技术,BT(Bluetooth,蓝牙)技术和其他技术来实现。
在示例性实施例中,终端100可以被一个或多个ASIC(Application SpecificIntegrated Circuit,应用专用集成电路)、DSP(Digital Signal Processing,数字信号处理器)、PLD(Programmable Logic Device,可编程逻辑器件)、FPGA(Field-ProgrammableGate Array,现场可编程门阵列)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
该实施例中的终端的处理器执行操作的具体方式已经在有关该场景展示方法的实施例中执行了详细描述,此处将不再做详细阐述说明。
可选的,本发明还提供一种智能终端,执行图1、图2、图3、图4和图6任一所示的场景展示方法的全部或者部分步骤。所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行:
获取全景视频中的当前图像帧及在当前图像帧时的视角方向;
将接收的移动控制指令转换为对所述全景视频的播放控制指令;
根据所述播放控制指令与所述视角方向,以所述当前图像帧为播放起点控制所述全景视频的连续播放,对与所述全景视频关联的场景进行展示。
该实施例中的装置的处理器执行操作的具体方式已经在有关该场景展示方法的实施例中执行了详细描述,此处将不做详细阐述说明。
在示例性实施例中,还提供了一种存储介质,该存储介质为计算机可读存储介质,例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器102,上述指令可由终端100的处理器109执行以完成上述场景展示方法。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,本领域技术人员可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种场景展示方法,其特征在于,所述方法包括:
获取全景视频中的当前图像帧及在当前图像帧时的视角方向;
将接收的移动控制指令转换为对所述全景视频的播放控制指令;
根据所述播放控制指令与所述视角方向,以所述当前图像帧为播放起点控制所述全景视频的连续播放,对与所述全景视频关联的场景进行展示。
2.根据权利要求1所述的方法,其特征在于,所述播放控制指令包括播放方向控制指令,所述根据所述播放控制指令与所述视角方向,以所述当前图像帧为播放起点控制所述全景视频的连续播放,对与所述全景视频关联的场景进行展示的步骤包括:
根据所述播放方向控制指令与所述视角方向,确定在所述当前图像帧时所述全景视频的播放方向;
以所述当前图像帧为播放起点,按照所述播放方向进行所述全景视频的连续播放。
3.根据权利要求2所述的方法,其特征在于,所述控制指令还包括播放速度控制指令,所述以所述当前图像帧为播放起点,按照所述播放方向进行所述全景视频的连续播放的步骤包括:
根据所述播放速度控制指令确定对所述全景视频进行播放的倍速大小;
以所述当前图像帧为播放起点,在所述播放方向上对所述全景视频按照所述倍速大小进行倍速播放。
4.根据权利要求2所述的方法,其特征在于,所述根据所述播放方向控制指令与所述视角方向,确定在所述当前图像帧时所述全景视频的播放方向的步骤包括:
根据所述播放方向控制指令与所述视角方向,确定期望控制方向;
针对所述全景视频在所述当前图像帧时的每一个候选播放方向,计算所述候选播放方向与所述期望控制方向之间的夹角;
根据所述夹角从所述候选播放方向中确定在所述当前图像帧时所述全景视频的播放方向。
5.根据权利要求2所述的方法,其特征在于,所述全景视频包括多个全景视频段,关联图像帧为各全景视频段之间的交点,通过关联图像帧对不同全景视频段进行切换播放,所述根据所述播放方向控制指令与所述视角方向,确定在所述当前图像帧时所述全景视频的播放方向的步骤之后,所述方法还包括:
将在所述当前图像帧时进行全景视频段播放的播放方向标记为第一播放方向;
以所述当前图像帧为起点,按照所述第一播放方向查找关联图像帧;
判断所述当前图像帧与所述关联图像帧的时间间隔是否在预设时间范围内,若为是,则
根据所述播放方向控制指令与所述视角方向,确定在所述关联图像帧时进行全景视频播放的全景视频段,及在所述关联图像帧对所述全景视频段进行播放的播放方向,并将在所述关联图像帧时对所述全景视频段进行播放的播放方向标记为第二播放方向;
以所述当前图像帧为播放起点,依次按照所述第一播放方向与所述第二播放方向进行所述全景视频的连续播放。
6.一种场景展示装置,其特征在于,所述装置包括:
图像帧及视角获取模块,用于获取全景视频中的当前图像帧及在当前图像帧时的视角方向;
控制指令转换模块,用于将接收的移动控制指令转换为对所述全景视频的播放控制指令;
视频播放模块,用于根据所述播放控制指令与所述视角方向,以所述当前图像帧为播放起点控制所述全景视频的连续播放,对与所述全景视频关联的场景进行展示。
7.根据权利要求6所述的装置,其特征在于,所述播放控制指令包括播放方向控制指令,所述视频播放模块包括:
播放方向确定子模块,用于根据所述播放方向控制指令与所述视角方向,确定在所述当前图像帧时所述全景视频的播放方向;
连续播放子模块,用于以所述当前图像帧为播放起点,按照所述播放方向进行所述全景视频的连续播放。
8.根据权利要求7所述的装置,其特征在于,所述控制指令还包括播放速度控制指令,所述连续播放子模块包括:
倍速大小确定单元,用于根据所述播放速度控制指令确定对所述全景视频进行播放的倍速大小;
倍速播放单元,用于以所述当前图像帧为播放起点,在所述播放方向上对所述全景视频按照所述倍速大小进行倍速播放。
9.根据权利要求7所述的装置,其特征在于,所述播放方向确定子模块包括:
期望控制方向确定单元,用于根据所述播放方向控制指令与所述视角方向,确定期望控制方向;
夹角计算单元,用于针对所述全景视频在所述当前图像帧时的每一个候选播放方向,计算所述候选播放方向与所述期望控制方向之间的夹角;
播放方向确定单元,用于根据所述夹角从所述候选播放方向中确定在所述当前图像帧时所述全景视频的播放方向。
10.根据权利要求7所述的装置,其特征在于,所述全景视频包括多个全景视频段,关联图像帧为各全景视频段之间的交点,通过关联图像帧对不同全景视频段进行切换播放,所述装置还包括:
第一播放方向标记子模块,用于将在所述当前图像帧时进行全景视频段播放的播放方向标记为第一播放方向;
关联图像帧查找子模块,用于以所述当前图像帧为起点,按照所述第一播放方向查找关联图像帧;
时间间隔判断子模块,用于判断所述当前图像帧与所述关联图像帧的时间间隔是否在预设时间范围内;
第二播放方向确定子模块,用于根据所述播放方向控制指令与所述视角方向,确定在所述关联图像帧时进行全景视频播放的全景视频段,及在所述关联图像帧对所述全景视频段进行播放的播放方向,并将在所述关联图像帧时对所述全景视频段进行播放的播放方向标记为第二播放方向;
依次连续播放子模块,用于以所述当前图像帧为播放起点,依次按照所述第一播放方向与所述第二播放方向进行所述全景视频的连续播放。
CN201710252402.4A 2017-04-18 2017-04-18 场景展示方法及装置 Active CN107027041B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710252402.4A CN107027041B (zh) 2017-04-18 2017-04-18 场景展示方法及装置
PCT/CN2017/090793 WO2018192094A1 (zh) 2017-04-18 2017-06-29 场景展示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710252402.4A CN107027041B (zh) 2017-04-18 2017-04-18 场景展示方法及装置

Publications (2)

Publication Number Publication Date
CN107027041A true CN107027041A (zh) 2017-08-08
CN107027041B CN107027041B (zh) 2019-12-27

Family

ID=59528169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710252402.4A Active CN107027041B (zh) 2017-04-18 2017-04-18 场景展示方法及装置

Country Status (2)

Country Link
CN (1) CN107027041B (zh)
WO (1) WO2018192094A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009588A (zh) * 2017-12-01 2018-05-08 深圳市智能现实科技有限公司 定位方法及装置、移动终端
CN109040846A (zh) * 2018-07-13 2018-12-18 北京幻鲸数字科技有限公司 全景视频播放方法及装置
CN111145321A (zh) * 2019-12-25 2020-05-12 河南蜻蜓云智能科技有限公司 一种利用序列帧实现场景旋转和转换的方法及系统
CN115396740A (zh) * 2022-07-29 2022-11-25 北京势也网络技术有限公司 全景视频的播放方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140140677A1 (en) * 2012-11-19 2014-05-22 Lg Electronics Inc. Video display device and method of displaying video
CN104702919A (zh) * 2015-03-31 2015-06-10 小米科技有限责任公司 播放控制方法及装置、电子设备
CN106067877A (zh) * 2016-05-27 2016-11-02 大连楼兰科技股份有限公司 车联网虚拟现实全景回放方法
CN106454401A (zh) * 2016-10-26 2017-02-22 乐视网信息技术(北京)股份有限公司 一种播放视频的方法及装置
CN106507178A (zh) * 2016-12-09 2017-03-15 北京小米移动软件有限公司 视频播放方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916163B (zh) * 2010-08-02 2012-02-08 周寅 一种在时空变换下保持协同渐变的全景视频互动播放的方法
CN103488413B (zh) * 2013-04-26 2016-12-28 展讯通信(上海)有限公司 触控设备及在触控设备上显示3d界面的控制方法和装置
CN105791882B (zh) * 2016-03-22 2018-09-18 腾讯科技(深圳)有限公司 视频编码方法及装置
CN105847850A (zh) * 2016-03-28 2016-08-10 乐视控股(北京)有限公司 全景视频的实时播放方法及装置
CN105959675A (zh) * 2016-05-25 2016-09-21 腾讯科技(深圳)有限公司 一种视频数据的处理方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140140677A1 (en) * 2012-11-19 2014-05-22 Lg Electronics Inc. Video display device and method of displaying video
CN104702919A (zh) * 2015-03-31 2015-06-10 小米科技有限责任公司 播放控制方法及装置、电子设备
CN106067877A (zh) * 2016-05-27 2016-11-02 大连楼兰科技股份有限公司 车联网虚拟现实全景回放方法
CN106454401A (zh) * 2016-10-26 2017-02-22 乐视网信息技术(北京)股份有限公司 一种播放视频的方法及装置
CN106507178A (zh) * 2016-12-09 2017-03-15 北京小米移动软件有限公司 视频播放方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009588A (zh) * 2017-12-01 2018-05-08 深圳市智能现实科技有限公司 定位方法及装置、移动终端
CN109040846A (zh) * 2018-07-13 2018-12-18 北京幻鲸数字科技有限公司 全景视频播放方法及装置
CN109040846B (zh) * 2018-07-13 2021-06-18 北京幻鲸数字科技有限公司 全景视频播放方法及装置
CN111145321A (zh) * 2019-12-25 2020-05-12 河南蜻蜓云智能科技有限公司 一种利用序列帧实现场景旋转和转换的方法及系统
CN111145321B (zh) * 2019-12-25 2023-06-27 河南蜻蜓云智能科技有限公司 一种利用序列帧实现场景旋转和转换的方法及系统
CN115396740A (zh) * 2022-07-29 2022-11-25 北京势也网络技术有限公司 全景视频的播放方法、装置、电子设备及可读存储介质
CN115396740B (zh) * 2022-07-29 2023-11-21 北京势也网络技术有限公司 全景视频的播放方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
WO2018192094A1 (zh) 2018-10-25
CN107027041B (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN104065878B (zh) 拍摄控制方法、装置及终端
CA2997034C (en) Method and apparatus for playing video content from any location and any time
CN105611413B (zh) 一种添加视频段类别标记的方法和装置
CN104836889B (zh) 移动终端及其控制方法
US9667870B2 (en) Method for controlling camera operation based on haptic function and terminal supporting the same
CN107027041A (zh) 场景展示方法及装置
US9684056B2 (en) Automatic object tracking camera
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
CN104104986B (zh) 音频与字幕的同步方法和装置
CN104270565A (zh) 图像拍摄方法、装置及设备
CN105222802A (zh) 导航、导航视频生成方法及装置
CN105282441A (zh) 拍照方法及装置
KR102575196B1 (ko) 촬영 방법, 촬영 장치, 전자기기 및 저장매체
EP3945490A1 (en) Method and device for processing video, and storage medium
CN104077029A (zh) 一种选座的提示方法及装置
CN108628449A (zh) 设备控制方法、装置、电子设备及计算机可读存储介质
CN105117004A (zh) 展现设备工作状态的方法和装置
CN104535721A (zh) 空气质量数据显示方法及装置
CN105100897A (zh) 快捷播放的控制方法及装置
CN104168422A (zh) 处理图像的方法及装置
CN104035674A (zh) 图片显示方法和装置
CN105512658A (zh) 矩形物体的图像识别方法及装置
CN107645628B (zh) 一种信息处理方法及装置
CN105898228B (zh) 用于摄像设备的控制方法及装置
CN106954093A (zh) 全景视频处理方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant