CN111277886B - 全景视频的视场控制方法、装置、电子设备及存储介质 - Google Patents

全景视频的视场控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111277886B
CN111277886B CN201811368770.6A CN201811368770A CN111277886B CN 111277886 B CN111277886 B CN 111277886B CN 201811368770 A CN201811368770 A CN 201811368770A CN 111277886 B CN111277886 B CN 111277886B
Authority
CN
China
Prior art keywords
field
view
panoramic video
scaling
zooming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811368770.6A
Other languages
English (en)
Other versions
CN111277886A (zh
Inventor
付宇豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201811368770.6A priority Critical patent/CN111277886B/zh
Publication of CN111277886A publication Critical patent/CN111277886A/zh
Application granted granted Critical
Publication of CN111277886B publication Critical patent/CN111277886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开实施例提供一种全景视频的视场控制方法、装置、电子设备及存储介质；方法包括：根据监听到的缩放事件，确定对所述全景视频的缩放比例；按照所述缩放比例，调整与播放窗口对应的播放窗口视场，得到调整后的播放窗口视场；将所述调整后的播放窗口视场在三维模型的表面纹理中进行投影，得到处于所述调整后的播放窗口视场的纹理区域；其中，所述三维模型的表面纹理是所述全景视频中的视频帧映射得到的；在所述播放窗口中渲染所述纹理区域。

Description

全景视频的视场控制方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及多媒体技术，尤其涉及一种全景视频的视场控制方法、装置、电子设备及存储介质。
背景技术
通信基础设施的不断发展，使得终端网络通信的速率不断提升，从而各种媒体形式特别是视频在网络中得到前所未有地广泛传播。全景视频是对用户感知视频方式的拓展，视频中的内容的展现能够呈现丰富多样的方式。
例如，在全景视频中，用户不再是纯粹的观看者，还可以与全景视频进行互动，全景视频中的视场能够根据用户的需求进行方向转动，且视场中的对象(例如景物、人等)能够根据用户意愿进行缩放，从而用户可以关注全景视频中感兴趣的内容，并给用户如同身临其境的感知效果。
虽然全景视频的视场能够进行变化，但是在播放过程的任意时刻其视场是单一的，对于如何改进展现内容的效率，从而保证用户更高效地在全景视频中获取信息，现有技术尚无有效解决方案。
发明内容
有鉴于此，本公开实施例提供一种全景视频的视场控制方法、装置、电子设备及存储介质。
第一方面，本公开实施例提供了一种全景视频的视场控制方法，包括：
根据监听到的缩放事件，确定对所述全景视频的缩放比例；
按照所述缩放比例，调整与播放窗口对应的播放窗口视场，得到调整后的播放窗口视场；
将所述调整后的播放窗口视场在三维模型的表面纹理中进行投影，得到处于所述调整后的播放窗口视场的纹理区域；其中，所述三维模型的表面纹理是所述全景视频中的视频帧映射得到的；
在所述播放窗口中渲染所述纹理区域。
上述方案中，所述按照所述缩放比例，调整与播放窗口对应的播放窗口视场，得到调整后的播放窗口视场，包括：
按照所述缩放比例，缩放所述视频帧中的内容在所述播放窗口视场中的成像尺寸，得到所述调整后的播放窗口视场。
上述方案中，所述根据监听到的缩放事件，确定对所述全景视频的缩放比例之前，所述方法还包括：
在所述播放窗口展示全景视频时，获取自身的设备类型；
根据所述设备类型，监听与所述设备类型对应的所述缩放事件。
上述方案中，所述根据所述设备类型，监听与所述设备类型对应的所述缩放事件，包括：
当所述设备类型为触控终端类型时，监听触控缩放操作事件；
当所述设备类型为实体控制终端类型时，监听实体缩放操作事件。
上述方案中，所述根据监听到的缩放事件，确定对所述全景视频的缩放比例，包括：
当所述缩放事件包含至少两种缩放事件时，按照预设缩放事件优先级，分别响应所述至少两种缩放事件，确定对所述全景视频的所述缩放比例。
第二方面，本公开实施例提供了一种全景视频的视场控制装置，包括：
缩放单元，用于根据监听到的缩放事件，缩放对所述全景视频的缩放比例；
视场单元，用于按照所述缩放比例，调整与播放窗口对应的播放窗口视场，得到调整后的播放窗口视场；
纹理单元，用于将所述调整后的播放窗口视场在三维模型的表面纹理中进行投影，得到处于所述调整后的播放窗口视场的纹理区域；其中，所述三维模型的表面纹理是所述全景视频中的视频帧映射得到的；
渲染单元，用于在所述播放窗口中渲染所述纹理区域。
上述方案中，所述视场单元，具体用于按照所述缩放比例，缩放所述视频帧中的内容在所述播放窗口视场中的成像尺寸，得到所述调整后的播放窗口视场。
上述方案中，所述装置还包括：监听单元，
所述监听单元，用于在所述播放窗口展示全景视频时，获取自身的设备类型；
根据所述设备类型，监听与所述设备类型对应的所述缩放事件。
上述方案中，所述监听单元，具体用于当所述设备类型为触控终端类型时，监听触控缩放操作事件；以及当所述设备类型为实体控制终端类型时，监听实体缩放操作事件。
上述方案中，所述缩放单元，具体用于当所述缩放事件包含至少两种缩放事件时，按照预设缩放事件优先级，分别响应所述至少两种缩放事件，缩放对所述全景视频的所述缩放比例。
第三方面，本公开实施例提供了一种电子设备，包括：
存储器，用于存储可执行全景视频的视场控制指令；
处理器，用于执行所述可执行全景视频的视场控制指令时，实现本公开实施例提供的全景视频的视场控制方法。
第四方面，本公开实施例提供了一种存储介质，存储有可执行全景视频的视场控制指令，所述可执行全景视频的视场控制指令被执行时，用于实现本公开实施例提供的全景视频的视场控制方法。
本公开实施例具有如下有益效果：
通过监听缩放事件，利用监听到的缩放事件中的缩放比例，调整播放窗口视场，在全景视频的播放窗口中展示视频帧中位于调整后的视场中的内容，使得在观看全景视频时不再受到单一视场的约束，扩展了在全景视频中获取信息的途径，有效提升了在全景视频中展示内容的效率。
附图说明
图1是实现本公开实施例的电子设备(例如图1中的电子设备或服务器)100的结构示意图；
图2是实现本公开实施例的电子设备的一个可选的结构示意图；
图3是实现本公开实施例的电子设备显示全景视频的一个可选的流程示意图；
图4A是实现本公开实施例的电子设备显示全景视频的一个可选的纹理映射示意图；
图4B是实现本公开实施例的电子设备显示全景视频的一个可选的视场示意图；
图4C是实现本公开实施例的电子设备显示全景视频的一个可选的投影示意图；
图5是实现本公开实施例的全景视频的视场控制方法的一个可选的流程示意图；
图6是实现本公开实施例的全景视频的视场控制方法的一个可选的流程示意图；
图7是本公开实施例提供的全景视频的视场控制的一个可选的示意图；
图8A是本公开实施例提供的全景视频的视场控制的另一个可选的示意图；
图8B是本公开实施例提供的全景视频的视场控制的又一个可选的示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
对本公开实施例进行进一步详细说明之前，对本公开实施例中涉及的名词和术语进行说明，除非另有定义，本公开实施例所使用的技术和科学术语与属于本公开实施例的技术领域的技术人员通常理解的含义相同。所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开实施例，本公开实施例中涉及的名词和术语适用于如下的解释。
1)全景视频，是指在各种电子设备中播放能够供用户裸眼观看的视频，且播放窗口的视场能够进行方向和缩放比例的调整。
2)三维模型，是模拟全景视频所表达的空间的模型，用于将全景视频的视频帧映射到三维模型的表面以形成表面纹理，三维模型的表面一般采用球面或圆柱面。
3)视场，在三维模型的中心的虚拟镜头感知三维模型的表面纹理的视线的集合，更一般地，是指通过一个窗口在全景视频的视频帧中能够观看的区域。
4)播放窗口，全景视频的客户端中默认用于播放全景视频的全屏或非全屏的窗口，至少包括全景视频的视频播放区域，还可以包括设置有相关操作的入口的操作区域。
5)播放窗口视场，即与播放窗口对应的视场，控制在播放窗口中能够感知到视频帧中处于相应视场的部分内容。
6)子窗口，全景视频的客户端中辅助用于播放的非全屏的窗口，小于播放窗口，至少包括全景视频的视频播放区域，还可以包括设置有相关操作的入口的操作区域。
7)子窗口视场，即与子窗口对应的视场，控制在窗口中能够感知到的视频帧中处于相应视场的部分内容。
8)纹理，视频帧中的对象在颜色、几何上有规律的特性，以视频帧中各纹理像素的纹理坐标和对应的颜色值表示。
9)纹理区域，视场在三维模型的表面纹理的投影所包括的区域，是三维模型的表面纹理的一个子集，例如全景视频帧能够完整展示的区域的视角在垂直方向和水平方向可以覆盖0至180度，而视场对应的纹理区域覆盖的视角在垂直方向和水平方向可以覆盖0至30度。
下面参见图1，图1是实现本公开实施例的电子设备(例如图1中的电子设备或服务器)100的结构示意图。电子设备可以是各种终端，包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(PDA，Personal Digital Assistant)、平板电脑(PAD)、便携式多媒体播放器(PMP，Portable Media Player)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字电视(TV)、台式计算机等等的固定终端。图1示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图1所示，电子设备100可以包括处理装置(例如中央处理器、图形处理器等)110，其可以根据存储在只读存储器(ROM，Read-Only Memory)120中的程序或者从存储装置180加载到随机访问存储器(RAM，Random Access Memory)130中的程序而执行各种适当的动作和处理。在RAM 130中，还存储有电子设备100操作所需的各种程序和数据。处理装置110、ROM 120以及RAM 130通过总线140彼此相连。输入/输出(I/O，Input/Output)接口150也连接至总线140。
通常，以下装置可以连接至I/O接口150：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置160；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置170；包括例如磁带、硬盘等的存储装置180；以及通信装置190。通信装置190可以允许电子设备100与其他设备进行无线或有线通信以交换数据。虽然图1示出了具有各种装置的电子设备100，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，所提供的全景视频的视场控制方法的流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机可读介质，其包括承载在计算机可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，计算机程序可以通过通信装置190从网络上被下载和安装，或者从存储装置180被安装，或者从ROM 120被安装。在计算机程序被处理装置110执行时，执行本公开实施例的方法中的功能。
需要说明的是，本公开实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、射频(RF，Radio Frequency)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备100中所包含的；也可以是单独存在，而未装配入电子设备100中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得电子设备100执行本公开实施例提供的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN，Local Area Network))和广域网(WAN，Wide Area Network)，以连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
描述于本公开实施例中所涉及到的单元和/或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。
对于硬件的方式来说，实现本公开实施例的电子设备的单元和/或模块可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件实现，用于执行实现本公开实施例提供的方法。
对于软件的方式来说，实现本公开实施例的全景视频的视场控制装置的单元和/或模块可以被两个或以上的单元实现，
下面以软件的方式为例，示例性说明实现本公开实施例的全景视频的视场控制装置的单元和/或模块。
参见图2，图2是实现本公开实施例的全景视频的视场控制装置的一个可选的结构示意图，示出了存储在存储装置180的如下软件模块：缩放单元210、视场单元220、纹理单元230和渲染单元240，分别进行说明。
缩放单元210，用于根据监听到的缩放事件，确定对全景视频的缩放比例。
视场单元220，用于按照缩放比例，调整与播放窗口对应的播放窗口视场，得到调整后的播放窗口视场。
纹理单元230，用于将调整后的播放窗口视场在三维模型的表面纹理中进行投影，得到处于调整后的播放窗口视场的纹理区域；其中，三维模型的表面纹理是全景视频中的视频帧映射得到的。
渲染单元240，用于在播放窗口中渲染所述纹理区域。
在一些实施例中，所述视场控制装置还包括映射单元250，映射单元250用于：将待渲染的所述视频帧的像素点映射到纹理空间，得到所述像素点的纹理坐标；将所述像素点的纹理坐标映射到所述三维模型的表面的顶点坐标，以形成所述三维模型的表面纹理。
在一些实施例中，所述视场控制装置还包括监听单元260，监听单元260用于：在所述播放窗口展示全景视频时，获取自身的设备类型；根据所述设备类型，监听与所述设备类型对应的所述缩放事件。
在一些实施例中，监听单元260，具体用于当所述设备类型为触控终端类型时，监听触控缩放操作事件；以及当所述设备类型为实体控制终端类型时，监听实体缩放操作事件。
在一些实施例中，缩放单元210具体用于当所述缩放事件包含至少两种缩放事件时，按照预设缩放事件优先级，分别响应至少两种缩放事件，缩放对所述全景视频的所述缩放比例。
需要指出，上述单元的分类并不构成对电子设备本身的限定，例如一些单元可以拆分为两个或以上的子单元，或者，一些单元可以合并为一个新的单元。
还需要指出，上述单元的名称在某种情况下并不构成对单元本身的限定，例如，上述确定单元210也可以被描述为“根据监听到的缩放事件，确定对所述全景视频的缩放比例”的单元。
基于同样的理由，电子设备中未详尽描述的单元和/或模块不代表相应的单元和/或模块的缺省，凡是电子设备所执行的操作都可以通过电子设备中的相应的单元和/或模块实现。
继续参见图3，图3是实现本公开实施例的电子设备显示全景视频的视场控制方法的一个可选的流程示意图，以处理装置110从只读存储器(ROM)120中的程序或者从存储装置180加载到随机访问存储器(RAM)130中的程序为用于全景视频播放的客户端为例，在全景视频的视场控制过程中，播放窗口用于展示视频帧的视场(也就是在播放窗口中显示视频帧所采用的视场，下文中简称为播放窗口视场)会不断地发生变化，客户端将根据播放窗口视场的变化，通过纹理映射的方式，在播放窗口中显示顺序解码的视频帧中处于播放窗口视场的内容，并同步播放音频帧。
结合图3示出的步骤说明在电子设备中的客户端对全景视频进行视场控制的过程，需要指出，在下文关于图3的相关说明中，为方便描述，关于图3的说明中，“视场”即是指代“播放窗口视场”。
在步骤101中，客户端从全景视频的服务器请求全景视频的文件，并加载到客户端的内存(RAM 130)中。
例如，在全景视频的在线播放场景中，客户端通过通信装置190向服务器请求当前的播放点(例如起始的播放点或根据用户操作而跳转的播放点)之后的预加载时长(例如1分钟)分段文件，并加载到RAM130中。预加载时长可由客户端根据电子设备的网络接入类型、带宽等网络参数自动设定，也可以接收用户的设定。
全景视频的分段文件中包括封装了必要的解码元数据和媒体数据(包括音频帧和视频帧)，客户端可以对分段文件进行及时地解码，分段文件的时长保证了在客户端中连续的播放效果且不会过分消耗电子设备的带宽。
在一些实施例中，作为步骤101的替代步骤，客户端可以从服务器一次性请求全景视频的完整的文件，并加载到内存中；或者，从存储装置180中读取本地的全景视频的文件，并加载到内存中。
在步骤102中，客户端对加载到内存中的全景视频的文件进行解码，以提取出解码元数据和媒体数据。
按照约定的封装格式例如FLV(Flash Video)、动态图像专家组-4(MPEG-4，MovingPictures Experts Group-4)，全景视频的文件中封装了解码元数据和媒体数据，客户端根据封装格式中约定的位置(例如文件的二进制数据起始的若干字节)从文件中读出解码元数据，就解码元数据而言，指示了各音频帧/视频帧在文件中的存储位置、时间(解码时间/渲染时间)、长度、宽高和分辨率等信息。从而，客户端能够从文件中提取各视频帧和音频帧。
在步骤103中，客户端将媒体数据中的待渲染的视频帧映射为三维模型的表面纹理。
对于在步骤102中解码得到的视频帧，需要进行后续的渲染才能够在播放窗口中显示，因此解码得到的、且未在播放窗口中渲染的视频帧也称为待渲染的视频帧(或，待渲染视频帧)，例如从全景视频的分段文件中解码得到的视频帧，或者从全景视频的完整文件中解码得到的视频帧。
示例性说明待渲染的视频帧基于视频帧在三维模型的表面的贴图的实现过程。
首先，客户端将视频帧映射到纹理空间。
视频帧在纹理空间中的纹理以视频帧中各像素的纹理坐标以及对应的颜色值表示，视频帧的像素在纹理空间中的纹理坐标(u，v)上是一个存放视频帧中像素在纹理空间的x轴/y轴的位置的二维数组，从而在纹理空间中可以离散地分离出视频帧中每个像素点的颜色值。
其次，将视频帧在纹理空间的纹理坐标映射到三维模型的表面，以形成三维模型的表面纹理。
例如，可以采用的这样的方式：将视频帧的像素在纹理空间的纹理坐标映射到三维模型的顶点的坐标(x，y，z)，三维模型的顶点是将三维模型的表面分割成一系列的图形(例如三角形)的顶点，从而使得无论三维模型如何发生变化，顶点之间的像素点是稳定的。
例如，参见图4A，图4A是实现本公开实施例的电子设备显示全景视频的一个可选的纹理映射示意图，客户端解码媒体数据中的视频帧，以解码得到的视频帧41为例，将视频帧41中各像素点的纹理坐标映射到球面模型42(当然，不局限于球面模型，还可以采用柱面模型等三维模型)的三角形的顶点(三角形将使得球面模型42的表面的纹理稳定，不容易使视频帧中展示的对象发生形变；当然不限于三角形)，形成以视频帧41为表面纹理的球面模型43。
在步骤104中，客户端确定播放窗口中展示全景视频的各视频帧时所使用的视场，即播放窗口视场。
在一些实施例中，客户端根据全景视频的解码元数据对应各视频帧的时间，确定已解码的各视频帧的渲染时间的先后顺序，并顺序确定渲染各视频帧时对应的播放窗口视场，客户端通过视角(决定视场的尺寸)、方向(决定视频帧处于视场的内容在视频帧中的位置)和缩放比例(决定视频帧的内容在视场中成像的尺寸)来确定视场，下面进行说明。
参见图4B，图4B是实现本公开实施例的电子设备显示全景视频的一个可选的视场示意图，播放窗口视场46模拟了人眼47通过输出装置170的显示器显示的播放窗口能够观看到的区域，播放窗口视场46的尺寸取决于播放窗口视场46的水平视角44和垂直视角45，角度越大则播放窗口视场46中能够观看到的视频帧中的内容越多(在播放窗口视场46的缩放比例一定的情况下)。
例如，参见图4C，图4C是实现本公开实施例的电子设备显示全景视频的一个可选的投影示意图，在球面模型43的中心模拟一个如图4B示出的人眼47的虚拟镜头48，虚拟镜头48与播放窗口具有相同的视场，播放窗口视场46在球面模型43的表面纹理中的投影区域即纹理区域49，即是通过播放窗口能够在视频帧中观看到的内容。
也就是说，虽然全景视频的视频帧记录的内容包含了，位于人眼47前方的、垂直方向0至180度和水平方向0至180度的视角内的景象，但是播放窗口视场46决定了通过播放窗口只能看到视频帧41中的部分内容；
对播放窗口显示视频帧41的内容的改变，需要通过改变视场来实现，而视场的水平视角和垂直视角取决于输出装置170中的显示器(例如显示器的宽高)，是不能调整的，因此，一般地，视场可以使用方向转动参数和镜头缩放参数两个参数进行表示，下面分别进行说明。
方向转动是表示视场的方向的变化，而播放窗口视场46的方向(即视场朝向球面模型43的表面纹理的方向)能够影响客户端在播放窗口中显示的部分内容(即视频帧的部分内容)处于视频帧中的位置。例如，假设播放窗口视场46相对于图4C示出的朝向球面模型43的方向进行方向转动时，那么，区别于纹理区域49的另一纹理区域的纹理将被渲染到播放窗口中，从而使用户观看到视频帧41中的另一区域的内容。
镜头缩放是表示视场的缩放比例，从而客户端在播放窗口显示的视频帧的内容还受到镜头缩放的约束，在水平视角44和垂直视角45一定(也就是视场的尺寸一定)的情况下，镜头缩放所实现的缩放比例(以大于1表示放大，小于1表示缩小)与播放窗口视场46在球面模型43对应的纹理区域(即视场在球面模型43的表面纹理的投影区域)中纹理的成像尺寸成正比，即缩放比例越小，则成像的尺寸越小，从而播放窗口中能够显示的视频帧41中的内容越多，同时能够看到的内容的细节也越少。
在一些实施例中，视场的方向转动和缩放比例可以通过输入装置160接收用户的各种操作来确定，输入装置160中可以设置如陀螺仪、鼠标、键盘、触摸板和操作条等支持实施相应的操作。
以方向转动的操作为例，包括移动端的触控拖拽交互、陀螺仪事件，还可以包括电脑(PC)端的鼠标拖拽交互、转动控件和键盘事件。
以镜头缩放的操作为例，包括移动端的双击(或多击)触控操作、双指(或多指)触控操作，还可以包括PC端的触摸板事件、操作条滑动和鼠标滚轮事件。
需要说明的是，对于移动端和PC端这两个不同的设备类型，镜头缩放的操作也不同，以移动端中的智能手机为例，智能手机具有全触屏式的特点，即能够对针对一个显示图标的点击触控操作进行响应，又能够对在某一显示界面上执行的、包含多个接触点的触控操作进行分析响应，即根据包含多个接触点的触控操作中的点击次数、点击时长和滑动方向等，分析得到对应的目标功能，从而响应对应的目标功能；那么，在移动端上实现镜头缩放，可以是通过设计包含多个接触点的触控操作中的点击次数、点击时长和滑动方向等参数，控制针对镜头缩放的缩放比例。
以PC端中的包括触摸板的设备为例，包括触摸板的设备是通过在触摸板上设置各个功能的控件，接收用户对任意一个控件的触控操作，从而响应该控件对应的功能，对于没有触摸板的设备而言，其接收用户通过鼠标或键盘等输入设备对任意一个控件执行的操作，从而响应该控件对应的功能，也就是说，PC端需要设置不同功能的控件，从而通过控件实现对应的功能；那么，在PC端上实现镜头缩放，可以通过设置缩放比例的控件，例如，缩放比例的滑动条，对缩放比例的控件进行操作，来控制针对镜头缩放的缩放比例。
此外，方向转动和镜头缩放的操作的类型不局限于上述类型，例如还可以包括向输入装置160的摄像头实施的面部动作和眼部动作。从而，客户端可以根据用户意愿而显示全景视频处于不同视场的内容，符合用户针对全景视频的个性化的需求。
在另一些实施例中，视场的方向和缩放比例两个参数可以为客户端中根据全景视频的特点而设置的保证观看体验的经验值；或者，可以是从全景视频的文件中读取的参数(由拍摄或发布全景视频的用户设定，可以针对全景视频中对应部分或者全部的时间轴的视频帧而设定)，又或者，可以是服务器跟随全景视频而向客户端所下发的参数。
可以理解地，上述确定视场的参数的方式可以择一使用或者结合使用，例如，设置不同来源的参数的优先级，按照优先级的降序使用不同来源的参数，特别地，当没有检测到用户指示参数的操作时，采用客户端中的针对播放效果而优化的参数的默认值，以保证全景视频的最佳播放效果。
在步骤105A中，客户端将以待渲染的视频帧为贴图的三维模型的表面纹理中，与待渲染的视频帧的视场相对应的纹理渲染到输出装置170中的显示器显示的播放窗口。
在一些实施例中，客户端根据视场朝向三维模型的方向，确定三维模型的表面纹理中处于视场的纹理区域，根据纹理区域中的顶点从纹理空间提取与纹理区域相应的纹理，包括顶点在纹理空间中对应的纹理像素、以及顶点之间的区域在纹理空间中对应的纹理像素；采用透视投影的方式(即近大远小的原则)，将纹理区域对应的纹理渲染到输出装置170中的显示器显示的播放窗口。
可以理解，由于视场的方向转动/缩放，对三维模型处于视场的纹理区域提取的纹理像素在整体上可以进行相应的旋转/缩放(例如在放大时进行像素插值)处理。
在步骤105B中，与步骤105A同步地，客户端播放与步骤105A中待渲染的视频帧在时间上同步的已解码音频帧。
在步骤106中，客户端判断是否已经渲染完毕内存中的全部待渲染的视频帧，如果是则结束播放；否则，返回步骤104以继续处理下一视频帧，直至渲染完毕内存中的全部待渲染的视频帧。
至此，已经说明了客户端在播放窗口中显示全景视频的过程，客户端能够在播放过程中播放符合用户意愿的视场中的对象，使得用户能够灵活进行视场的方向转动和调整镜头缩放，以关注全景视频中感兴趣的内容，并给用户如同身临其境的感知效果。
为了进一步提升在全景视频的播放窗口展现的信息量，客户端除了按照全景视频文件中预先设定的播放窗口视场的缩放比例，控制播放窗口展示的视频帧的内容，本公开实施例还提供了实时监听缩放事件，利用监听到的缩放事件中的缩放比例，展示缩放比例对应的播放窗口视场的内容的方案。
参见图5，图5是实现本公开实施例的全景视频的视场控制方法的一个可选的流程示意图，将结合图5示出的步骤进行说明。
在步骤201中，根据监听到的缩放事件，确定对全景视频的缩放比例。
客户端对全景视频的视频帧中位于播放窗口视场内的内容，通过输出装置170的播放窗口上进行展示，在播放窗口展示视频帧的视场时，用户可以通过输入装置160执行缩放操作，即客户端监听到缩放事件，于是，就可以根据监听到的缩放事件，实现对全景视频的缩放比例的获取，采用缩放比例对全景视频进行调整了。
当客户端被启动时，或在后台运行并当接收播放全景视频的操作时，获取全景视频的文件，从全景视频的文件中读取各视频帧对应的播放窗口视场的方向和缩放比例，以确定对应的播放窗口视场，其中，从全景视频的文件中读取到的方向和缩放比例是预先设定的，首先按照预先设定的方向和缩放比例，在播放窗口中展示视频帧中的位于视场内的内容。
播放窗口视场是客户端通过播放窗口视场的方向和缩放比例的两个参数来确定的。
那么，基于预先设定的方向和缩放比例确定的视场，在播放窗口展示视频帧中的位于该视场内的内容后，由于全景视频的视频帧包含了垂直方向0至180度和水平方向0至180度的视角内的景象，用户可能对当前视场的内容并不满意，在每一时刻想要从播放窗口中获取更多的视频帧中的内容，就会改变视场的缩放比例。
客户端对播放窗口视场的缩放比例是通过解析监听到的缩放事件来确定的。
例如，对于播放窗口视场的缩放比例来说，根据监听到的缩放事件(例如包括前述的双指滑动事件、针对缩放比例空间的鼠标滚轮事件等)中的缩放比对预先设定的缩放比例进行更新。
进一步地，在播放窗口展示视频帧的视场时，由于客户端的设备类型包括了触控类终端类型和实体控制终端类型，当客户端为触控类终端(例如，智能手机)时，在触摸屏上展示全景视频；当客户端为实体控制终端(例如，PC)时，在显示屏上展示全景视频。
对于设备类型不同的客户端，用户控制功能的操作不同，即对视频帧的视场进行控制的控制事件往往也不同；其中，控制事件包括了：对视频帧的视场的缩放倍数进行控制的缩放事件。
例如，对于触控类终端类型的客户端，输入装置160可以是触摸屏，通过输入装置160能够接收双击(或多击)触控操作、双指(或多指)触控操作等，那么，对于视频帧中的内容在播放窗口视场中的成像尺寸的缩放比例，用户就可以直接在触摸屏上，通过至少两个接触点的距离变化，表达出缩放比例。
对于实体控制终端类型的客户端，输入装置160可以是触摸板、鼠标或键盘，其中，触摸板可以用作展示全景视频，然而触摸板只能够响应单次的点击触控操作，单次的点击触控操作只能通过在缩放比例的控件，发出缩放比例的控制指令；鼠标和键盘也同样的只能通过在缩放比例的控件，发出缩放比例的控制指令。
那么，对于设备类型不同的客户端，在展示全景视频的播放窗口中，需要监听的缩放事件也不同，因此，监听缩放事件包括了：获取自身的设备类型；根据设备类型，监听与设备类型对应的缩放事件。
特别地，针对不同类型的缩放事件，客户端可以按照一定的优先级进行响应，例如由于鼠标操作的时间兼容性差于触摸板操作和键盘操作的情况，鼠标操作的响应优先级可以设置为低于触摸板操作和键盘操作。
例如，当缩放事件包含至少两种缩放事件时，按照预设缩放事件优先级，分别响应至少两种缩放事件，确定对全景视频的缩放比例。
根据上述示例，可以理解地，播放窗口视场的方向和缩放比例可以是独立于全景视频的播放视场数据，当客户端向服务器初始请求全景视频的过程中，由服务器向客户端下发，以控制播放窗口视场中渲染全景视频的部分或者全部视频时所使用的缩放比例，并展示视频帧中的位于视场内的内容；进而，用户看到播放窗口中展示的内容后，根据自己对信息量的要求，通过缩放事件对预先设定的缩放比例进行更新，例如，缩小或放大。
在一些实施例中，当没有监听到缩放事件时，播放窗口视场的缩放比例还可以由客户端自动确定。例如，客户端运行人工智能模型，通过对全景视频的各视频帧进行分析，预测保证全景视频的观看体验时合理的缩放比例。
可以理解地，上述的根据用户操作确定播放窗口视场和播放窗口视场是预设的方式可以结合或者择一使用。
在另一些实施例中，在全景视频的一些时段中为了强调一些需要突出显示的目标内容，例如高潮情节或者植入广告，需要在全景视频中显示这些内容的时段(锁定播放窗口视场的方向的时段即为锁定时段)为播放窗口视场设置合适的缩放比例。锁定时段和对应的缩放比例称为播放窗口视场的锁定数据，可以理解，缩放比例都是针对锁定时段内的各个视频帧分别设定，或者统一设置。
锁定时段与渲染锁定时段内的视频帧时播放窗口视场的缩放比例共同构成锁定数据，作为示例，锁定数据可以封装在全景视频的解码元数据中，在全景视频的解码阶段，由客户端根据约定的封装格式解析全景视频的文件，从解码元数据中提出锁定数据，并判断当前待渲染的视频帧是否处于锁定时段，以及处于锁定时段端是播放窗口需要使用的播放窗口视场。
例如，客户端在解码或在向服务器请求全景视频时，判断是否存在播放窗口视场的锁定数据。
如果存在锁定数据，则将处于相应锁定时段的视频帧对应的缩放比例，作为在播放窗口中渲染相应视频帧时播放窗口视场的缩放比例。
如果不存在锁定数据，则客户端可以自动确定播放窗口视场的缩放比例，或者，根据在客户端的操作区域(其中提供了)接收的操作而确定播放窗口视场的缩放比例。
在步骤202中，按照缩放比例，调整与播放窗口对应的播放窗口视场，得到调整后的播放窗口视场。
客户端按照缩放比例，缩放待渲染视频帧中的内容在播放窗口视场中的成像尺寸，得到调整后的播放窗口视场。
例如，假设缩放事件中指示的缩放比例等于0.5，当预先设定的播放窗口视场，对应视频帧中的覆盖了垂直方向30度和水平方向30度的视角内的内容，那么，根据缩放比例得到的调整后的播放窗口视场，对应视频帧中的覆盖了垂直方向60度和水平方向60度的视角内的内容。
可以知道，相较于预先设定的播放窗口视场，调整后的播放窗口视场中的景象的成像尺寸缩小了，但是调整后的播放窗口视场中展示的内容也更多了，与此同时，由于景象的成像尺寸缩小了，景象的细节信息也保留的更少了。
在步骤203中，将调整后的播放窗口视场在三维模型的表面纹理中进行投影，得到处于调整后的播放窗口视场的纹理区域；其中，三维模型的表面纹理是全景视频中的视频帧映射得到的。
客户端在将调整后的播放窗口视场在三维模型的表面纹理中进行投影之前，还包括以下步骤：客户端先将待渲染视频帧映射到纹理空间；再将待渲染视频帧在纹理空间的纹理坐标映射到三维模型的表面，以形成三维模型的表面纹理；上述步骤可以根据前述步骤103的说明而实施。
在另一些实施例中，对于全景视频中各个待渲染的视频帧，提供按照全景视频中各视频帧的先后时间顺序在播放窗口中渲染
具体来说，对于按照先后时间顺序待渲染的每个视频帧执行以下操作：将播放窗口视场在待渲染的视频帧对应的三维模型的表面纹理中进行投影，得到处于播放窗口视场的纹理区域。
在步骤204中，在播放窗口中渲染纹理区域。
客户端对于全景视频中各个待渲染的视频帧，提供按照全景视频中各视频帧的先后时间顺序，在播放窗口渲染待渲染视频帧中的位于视场内的内容。
对每个待渲染视频帧中的位于视场内的内容在播放窗口中进行渲染，包括了：将每个待渲染视频帧的调整后的播放窗口视场相对应的纹理渲染到播放窗口中；同步地，播放与该待渲染视频帧的时间上同步的已解码的音频帧。
从而，用户可以根据自身需求实施缩放事件，客户端能够基于监听到的缩放事件调整播放窗口视场，从而展示缩放事件对应的视频帧的内容，使用户在观看全景视频的过程中能够更加高效地获取所需要的信息，下面结合图6继续进行说明。
参见图6，图6是实现本公开实施例的全景视频的视场控制方法的一个可选的流程示意图，将结合图6示出的步骤进行说明。
在步骤301中，在展示全景视频的播放窗口中，监听缩放事件。
客户端按照预先设定的视场的方向和缩放倍数，在播放窗口中展示位于视场内的内容，同时，还将获取自身的设备类型，根据设备类型，监听与设备类型对应的所述缩放事件。
例如，当客户端的设备类型为触控终端类型时，监听触控缩放操作事件，触控缩放操作事件包括了：两次点击操作、双指滑动操作；参见图7，图7为本公开实施例提供的全景视频的视场控制的一个可选的示意图，客户端在播放窗口71上监听到的触控缩放控制事件为，两个手指向相同方向滑动，对应的是缩小预先设定的缩放比例的功能。
当客户端的设备类型为实体控制终端类型时，监听实体缩放操作事件，实体缩放操作事件包括了：针对缩放比例控件的鼠标操作、针对缩放比例控件的键盘操作、针对缩放比例控件的触摸板操作；参见图8A和图8B，图8A为本公开实施例提供的全景视频的视场控制的另一个可选的示意图，在PC的播放窗口81上监听到的实体缩放控制事件为，对缩放比例控件中的增加键进行按压的触摸板操作，对应的是放大预先设定的缩放比例的功能，其中，缩放比例控件中的1表示预先设定的缩放比例；图8B为本公开实施例提供的全景视频的视场控制方法的又一个可选的示意图，在PC的播放窗口81上监听到的实体缩放控制事件为，对缩放比例控件中的增加键进行控制的鼠标操作，对应的是放大预先设定的缩放比例的功能。
在步骤302中，根据监听到的缩放事件，确定对全景视频的缩放比例。
步骤302可以根据前述步骤201的说明而实施。
在步骤303中，按照缩放比例，调整全景视频中的待渲染视频帧中与播放窗口对应的播放窗口视场，得到调整后的播放窗口视场。
步骤303可以根据前述步骤202的说明而实施。
在步骤304中，将调整后的播放窗口视场在三维模型的表面纹理中进行投影，得到处于调整后的播放窗口视场的纹理区域；其中，三维模型的表面纹理是全景视频中的待渲染视频帧映射得到的。
步骤304可以根据前述步骤203的说明而实施。
在步骤305A中，将在步骤304中得到的处于调整后的播放窗口视场的纹理区域渲染到播放窗口中。
在一些实施例中，客户端对三维模型的表面纹理中处于调整后的播放窗口视场的纹理区域，根据纹理区域中的顶点从纹理空间提取与纹理区域相应的纹理，包括顶点在纹理空间中对应的纹理像素、以及顶点之间的区域在纹理空间中对应的纹理像素；采用透视投影的方式(即近大远小的原则)，将纹理区域对应的纹理渲染到输出装置170中的显示器显示的播放窗口。
可以理解，由于视场的缩放，对三维模型处于视场的纹理区域提取的纹理像素在整体上可以进行相应的缩放处理(例如在放大时进行像素插值)。
例如，如前所述，假设缩放事件中指示的缩放比例小于1时，从而，当按照预先设定的播放窗口视场显示时，播放窗口展示视频帧中的覆盖了垂直方向30度和水平方向30度的视角内的内容，那么按照缩放比例得到的调整后的播放窗口视场，播放窗口展示待渲染视频帧中的覆盖了垂直方向60度和水平方向60度的视角内的内容。
在步骤305B中，与步骤305A同步地，播放与步骤304中待渲染视频帧的时间上同步的已解码的音频帧。
在步骤306中，判断是否已经渲染完毕内存中的全部的待渲染视频帧，如果是，执行步骤307，即结束播放；否则，返回步骤303以继续渲染内存中的下一视频帧，直至渲染完毕内存中的全部待渲染的视频帧。
综上所述，本公开实施例具有以下有益效果：
通过监听缩放事件，利用监听到的缩放事件中的缩放比例，调整播放窗口视场，在全景视频的播放窗口中展示视频帧中位于调整后的视场中的内容，使得在观看全景视频时不再受到单一视场的约束，扩展了在全景视频中获取信息的途径，有效提升了在全景视频中展示内容的效率。
以上描述仅为本公开的实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开实施例中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开实施例构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种全景视频的视场控制方法，其特征在于，包括：
判断是否存在播放窗口视场的锁定数据，其中，所述锁定数据包括：锁定时段与目标缩放比例，所述目标缩放比例为渲染所述锁定时段内的视频帧时所述播放窗口视场的缩放比例；
若存在所述锁定数据，则将所述目标缩放比例确定为在播放窗口中渲染相应视频帧时所述播放窗口视场的缩放比例；
若不存在所述锁定数据，则监听与展示全景视频播放窗口的设备的设备类型对应的缩放事件；
当监听到所述缩放事件时，根据监听到的所述缩放事件，确定对所述全景视频的缩放比例；
当未监听到缩放事件时，通过对所述全景视频的各视频帧进行分析，确定对所述全景视频的缩放比例；
按照所述缩放比例，缩放待渲染视频帧中的内容在所述播放窗口视场中的成像尺寸，得到调整后的播放窗口视场；
将所述调整后的播放窗口视场在三维模型的表面纹理中进行投影，得到处于所述调整后的播放窗口视场的纹理区域；其中，所述三维模型的表面纹理是所述全景视频中的视频帧映射得到的；
在所述播放窗口中渲染所述纹理区域。
2.根据权利要求1所述的方法，其特征在于，所述监听与展示全景视频播放窗口的设备的设备类型对应的缩放事件，包括：
在所述播放窗口展示全景视频时，获取监听展示全景视频播放窗口的设备的设备类型；
根据所述设备类型，监听与所述设备类型对应的所述缩放事件。
3.根据权利要求2所述的方法，其特征在于，所述根据所述设备类型，监听与所述设备类型对应的所述缩放事件，包括：
当所述设备类型为触控终端类型时，监听触控缩放操作事件；
当所述设备类型为实体控制终端类型时，监听实体缩放操作事件。
4.根据权利要求2或3所述的方法，其特征在于，所述根据监听到的缩放事件，确定对所述全景视频的缩放比例，包括：
当所述缩放事件包含至少两种缩放事件时，按照预设缩放事件优先级，分别响应所述至少两种缩放事件，确定对所述全景视频的所述缩放比例。
5.一种全景视频的视场控制装置，其特征在于，包括：
判断单元，用于判断是否存在播放窗口视场的锁定数据，其中，所述锁定数据包括：锁定时段与目标缩放比例，所述目标缩放比例为渲染所述锁定时段内的视频帧时所述播放窗口视场的缩放比例；
确定单元，用于若存在所述锁定数据，则将所述目标缩放比例确定为在播放窗口中渲染相应视频帧时所述播放窗口视场的缩放比例；
监听单元，用于若不存在所述锁定数据，则监听与展示全景视频播放窗口的设备的设备类型对应的缩放事件；
缩放单元，用于当监听到所述缩放事件时，根据监听到的所述缩放事件，缩放对所述全景视频的缩放比例；当未监听到缩放事件时，通过对所述全景视频的各视频帧进行分析，确定对所述全景视频的缩放比例；
视场单元，用于按照所述缩放比例，缩放待渲染视频帧中的内容在所述播放窗口视场中的成像尺寸，得到调整后的播放窗口视场；
纹理单元，用于将所述调整后的播放窗口视场在三维模型的表面纹理中进行投影，得到处于所述调整后的播放窗口视场的纹理区域；其中，所述三维模型的表面纹理是所述全景视频中的视频帧映射得到的；
渲染单元，用于在所述播放窗口中渲染所述纹理区域。
6.根据权利要求5所述的装置，其特征在于，
所述监听单元，还用于在所述播放窗口展示全景视频时，获取监听展示全景视频播放窗口的设备的设备类型；
根据所述设备类型，监听与所述设备类型对应的所述缩放事件。
7.根据权利要求6所述的装置，其特征在于，
所述监听单元，具体用于当所述设备类型为触控终端类型时，监听触控缩放操作事件；以及当所述设备类型为实体控制终端类型时，监听实体缩放操作事件。
8.根据权利要求6或7所述的装置，其特征在于，
所述缩放单元，具体用于当所述缩放事件包含至少两种缩放事件时，按照预设缩放事件优先级，分别响应所述至少两种缩放事件，缩放对所述全景视频的所述缩放比例。
9.一种电子设备，其特征在于，包括：
存储器，用于存储可执行全景视频的视场控制指令；
处理器，用于执行所述可执行全景视频的视场控制指令时，实现如权利要求1至4任一项所述的全景视频的视场控制方法。
10.一种存储介质，其特征在于，存储有可执行全景视频的视场控制指令，所述可执行全景视频的视场控制指令被执行时，用于实现如权利要求1至4任一项所述的全景视频的视场控制方法。
CN201811368770.6A 2018-11-16 2018-11-16 全景视频的视场控制方法、装置、电子设备及存储介质 Active CN111277886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811368770.6A CN111277886B (zh) 2018-11-16 2018-11-16 全景视频的视场控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811368770.6A CN111277886B (zh) 2018-11-16 2018-11-16 全景视频的视场控制方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111277886A CN111277886A (zh) 2020-06-12
CN111277886B true CN111277886B (zh) 2022-10-28

Family

ID=70998471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811368770.6A Active CN111277886B (zh) 2018-11-16 2018-11-16 全景视频的视场控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111277886B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426202A (zh) * 2013-07-24 2013-12-04 江苏物联网络科技发展有限公司 三维全景互动移动终端展示系统及展示方法
CN104184985A (zh) * 2013-05-27 2014-12-03 华为技术有限公司 图像获取的方法及装置
CN104822088A (zh) * 2015-04-16 2015-08-05 腾讯科技（北京）有限公司 视频图像缩放方法和装置
CN105892890A (zh) * 2014-11-30 2016-08-24 黄石木信息科技有限公司 一种全景互动移动终端展示系统及方法
CN106534827A (zh) * 2016-12-19 2017-03-22 暴风集团股份有限公司 基于用户视角播放全景视频的方法及系统
CN106803884A (zh) * 2012-12-26 2017-06-06 株式会社理光 图像处理系统和图像处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803884A (zh) * 2012-12-26 2017-06-06 株式会社理光 图像处理系统和图像处理方法
CN104184985A (zh) * 2013-05-27 2014-12-03 华为技术有限公司 图像获取的方法及装置
CN103426202A (zh) * 2013-07-24 2013-12-04 江苏物联网络科技发展有限公司 三维全景互动移动终端展示系统及展示方法
CN105892890A (zh) * 2014-11-30 2016-08-24 黄石木信息科技有限公司 一种全景互动移动终端展示系统及方法
CN104822088A (zh) * 2015-04-16 2015-08-05 腾讯科技（北京）有限公司 视频图像缩放方法和装置
CN106534827A (zh) * 2016-12-19 2017-03-22 暴风集团股份有限公司 基于用户视角播放全景视频的方法及系统

Also Published As

Publication number Publication date
CN111277886A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN110766777B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
CN111198610B (zh) 一种全景视频的视场控制方法、装置、设备及存储介质
WO2020248900A1 (zh) 全景视频的处理方法、装置及存储介质
CN112672185B (zh) 基于增强现实的显示方法、装置、设备及存储介质
CN114077375B (zh) 目标对象的展示方法及装置、电子设备及存储介质
WO2020007113A1 (zh) 用于加载图像的方法和装置
CN112051961A (zh) 虚拟交互方法、装置、电子设备及计算机可读存储介质
CN112965780B (zh) 图像显示方法、装置、设备及介质
CN111258519B (zh) 屏幕分屏实现方法、装置、终端和介质
CN110519645B (zh) 视频内容的播放方法、装置、电子设备及计算机可读介质
CN112053370A (zh) 基于增强现实的显示方法、设备及存储介质
CN112954441B (zh) 视频编辑及播放方法、装置、设备、介质
US20190045178A1 (en) Generating a Three-Dimensional Preview of a Three-Dimensional Video
CN115474085B (zh) 媒体内容播放方法、装置、设备和存储介质
CN114419213A (zh) 图像处理方法、装置、设备和存储介质
CN111200750B (zh) 全景视频的多窗口播放方法、装置、电子设备及存储介质
CN114900625A (zh) 虚拟现实空间的字幕渲染方法、装置、设备及介质
CN114598823A (zh) 特效视频生成方法、装置、电子设备及存储介质
CN114445600A (zh) 一种特效道具的展示方法、装置、设备及存储介质
CN111818265B (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
CN111200758B (zh) 全景视频的多视场控制方法、装置、电子设备及存储介质
CN111506241A (zh) 直播间的特效显示方法、装置、电子设备及计算机介质
CN111277886B (zh) 全景视频的视场控制方法、装置、电子设备及存储介质
CN111667313A (zh) 广告展示方法、装置、客户端设备及存储介质
CN111200754B (zh) 一种全景视频的播放方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant