CN111163306A - 一种vr视频处理的方法及相关装置 - Google Patents

一种vr视频处理的方法及相关装置 Download PDF

Info

Publication number
CN111163306A
CN111163306A CN201811327393.1A CN201811327393A CN111163306A CN 111163306 A CN111163306 A CN 111163306A CN 201811327393 A CN201811327393 A CN 201811327393A CN 111163306 A CN111163306 A CN 111163306A
Authority
CN
China
Prior art keywords
video image
region
video
heat
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811327393.1A
Other languages
English (en)
Other versions
CN111163306B (zh
Inventor
刘红波
吴亮
何薇
靳丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201811327393.1A priority Critical patent/CN111163306B/zh
Priority to PCT/CN2019/112410 priority patent/WO2020093862A1/zh
Priority to EP19881627.4A priority patent/EP3860109A4/en
Publication of CN111163306A publication Critical patent/CN111163306A/zh
Priority to US17/245,905 priority patent/US11341712B2/en
Application granted granted Critical
Publication of CN111163306B publication Critical patent/CN111163306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8583—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by creating hot-spots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

本发明实施例公开了一种VR视频处理的方法和相关装置。在该方法中，视频处理设备会将接收到的视频图像划分成多个区域，并建立视频图像的区域热度表，在视频播放过程中通过跟踪用户视角来更新区域热度表，以此来收集全景视频的热点区域信息，向用户发出热点区域提示。该方法可以有效地引导用户的视角移动，避免用户错过全景视频中的精彩内容，提高用户的体验。

Description

一种VR视频处理的方法及相关装置
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种VR视频处理的方法及相关装置。
背景技术
虚拟现实(virtual reality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，使用户沉浸到该环境中。其中VR全景视频(VR360度视频)是VR技术的一种典型应用场景。
与传统视频不同的是，VR全景视频的每一帧都包含以视频拍摄位置为中心的三维球面上的所有信息，因此，在观看VR全景视频的时候，用户能够通过切换视角的方式选择性地观看球面上某个区域内的场景。而传统视频只包含球面的局部信息，因此用户只能观看视频提供的场景内的信息。
虽然在VR全景视频观看过程中，用户可以进行视角切换选择观看感兴趣的场景，但是由于用户实际看到的只是视频帧的部分画面，缺少对全景画面的整体了解，因此，这也会造成用户所观看到的画面实际上并不是全景视频中最精彩的画面，从而错过用户可能更感兴趣的视频内容。
发明内容
本发明实施例提供了一种VR视频处理的方法及相关装置，以解决现有技术中用户随机切换视角而可能错过精彩视频内容的问题。
第一方面，本发明实施例提供了一种VR视频处理的方法，可包括：视频处理设备接收终端设备发送的用户视角在第一视频图像中的位置信息，所述第一视频图像为用户当前正在观看的视频的视频图像；之后基于收到的所述位置信息确定所述用户视角在第一视频图像中的区域，所述区域为由所述第一视频图像划分形成的N个区域中的一个，N为正整数；并且基于所述区域更新所述第一视频图像的区域热度表，所述区域热度表包括所述N个区域的热度信息；基于所述第一视频图像的所述区域热度表的热度信息或者第二视频图像的区域热度表的热度信息，生成第二视频图像对应的热点区域提示，所述第二视频图像为所述第一视频图像的下一帧待显示的视频图像。
通过上述方法，可以跟踪用户视角在视频图像中的位置，并对视频图像的区域热度表进行维护更新。基于区域热度表的热度信息能够得到热点区域信息，并且向用户发出热点区域提示。可以有效地引导用户的视角移动，避免用户错过全景视频中的精彩内容，提高用户体验。
一种可能的方案中，划分的所述区域的大小与终端设备视场角的大小相同。
一种可能的方案中，所述热度信息包括热度值，并且所述基于所述区域更新所述第一视频图像的所述区域热度表，具体的更新方法包括：将所述第一视频图像的区域热度表中所述区域的热度值加1。
通过上述方法，可以根据用户视角所在区域来更新区域热度表，使得区域热度表能够反应出用户感兴趣的区域，保证热点区域提示能够有效地引导用户的视角移动。
一种可能的方案中，所述生成所述第二视频图像的所述热点区域提示，具体包括：视频处理设备先确定所述第二视频图像的热点区域，所述确定基于所述热点区域为所述第一视频图像的所述区域热度表中热度值最高的，或者基于所述热点区域为所述第二视频图像的所述区域热度表中热度值最高的。热度值最高的区域可以是一个或者多个。并且将所述热点区域对应的所述热点区域提示添加到所述第一视频图像中。
通过上述方法，可以基于区域热度表得到观看热度高的热点区域信息，而观看热度高也就意味着用户比较感兴趣。向用户发出热点区域提示，能够有效引导用户的视角移动，避免错过用户可能感兴趣的内容，提升用户体验。
第二方面，本发明实施例提供了一种VR视频处理的视频处理设备，有益效果可以参见第一方面的描述此处不再赘述。该设备具有实现上述第一方面的方法实例中行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，所述视频处理设备的结构中包括划分模块、建立模块、跟踪模块、更新模块和提示模块，这些模块可以执行上述第一方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不做赘述。
第三方面，本发明实施例还提供了一种VR视频处理的视频处理设备，有益效果可以参见第一方面的描述此处不再赘述。所述设备的结构中包括处理器，还可以包括收发器或存储器，所述处理器被配置为支持所述视频处理设备执行上述第一方面方法中相应的功能。所述存储器与所述处理器耦合，其保存所述设备必要的程序指令和数据。所述收发器，用于与其他设备进行通信。
第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
图1为现有的VR全景视频方案的流程图；
图2为本发明实施例中提供的一个系统架构示意图；
图3为本发明实施例中提供的一种VR视频处理的方法的示意图；
图4为本发明实施例中视频图像划分的示意图；
图5为本发明实施例中用户视角跟踪的示意图；
图6为本发明实施例中热点区域提示的示意图；
图7为本发明实施例中提供的一种视频处理设备的组成示意图；
图8为本发明实施例中提供的一种视频处理设备的另一组成示意图。
具体实施方式
本发明实施例提供了一种VR视频处理的方法及相关装置，用于解决现有技术中用户只能通过自主切换视角的方式，随机观看VR全景视频的部分画面，而可能错过VR视频中精彩内容，导致用户体验降低的问题。
现有的VR全景视频方案就是VR系统根据终端设备提供的视角信息来返回视频内容，下面对现有的VR全景视频方案的具体流程进行说明。
如图1所示，首先终端会一直跟踪用户的视角，并将检测到的用户视角信息发送到VR视频系统；VR视频系统根据接收的用户视角信息确定向终端设备返回的全景视频内容；VR视频系统向终端设备发送VR全景视频。
由上，可以看出现有的VR全景视频的播放是基于用户视角的切换来做的，而用户切换视场角是用户在不了解全景视频的全部内容的情况下随机进行的，极有可能发生在随机切换画面时错过全景视频中最精彩内容的情况。现有VR全景视频方案不对用户进行观影引导，使得用户在观影过程中缺乏互动感，还极有可能错过视频的精彩内容，导致用户观影体验差。
为此，本发明实施例提供了一种VR视频处理的方法及相关装置，可以有效地引导用户视角的移动，帮助用户及时关注到全景视频的精彩内容，进一步提升用户体验，下面结合附图进行详细进行介绍。
如图2所示，为本发明实施例的一种系统架构示意图。所述网络系统中包括云端设备和终端设备。需要说明的是，本发明实施例以云端设备作为视频处理设备为示例进行说明，也就是云虚拟现实(Cloud VR)设备来实现视频处理设备的功能为示例进行说明，对于以本地高性能主机来实现视频处理设备的功能也是同样适用的。
云端设备是部署在云端的远程服务器，具有较强的图像处理功能以及数据计算功能，例如可以执行渲染操作、逻辑运算功能等；云端设备可以是超多核服务器、部署有图形处理器(graphics processing unit，GPU)集群的计算机、大型的分布式计算机、硬件资源池化的集群计算机等等，在本发明实施例中所述云端设备可以跟踪终端设备的用户视角的变化，建立并实时更新视频图像的区域热度表来收集多数用户关注的热点区域信息，并向用户提示全景视频的热点观看区域，引导用户观看全景视频。
云端设备中还可以保存有所述终端设备的应用数据，如应用中的环境图像等数据。将所述终端设备的应用数据存储在所述云端设备，一方面可以减轻所述终端设备的数据存储压力，也可以保证所述终端设备中的应用数据的安全性，不易被窃取。
终端设备可以跟踪用户视角的变化并向云端设备传输用户视角的信息，也可以通过显示器向用户显示VR应用中的图像，其中，所述终端设备可以在本地保存VR应用的数据，也可以不在本地保存VR应用的数据，而将VR应用的数据保存在所述云端设备，在需要运行VR应用时，通过所述云端设备加载VR应用的数据。
所述终端设备包括佩戴在用户的头部的设备，如VR眼镜、VR头盔等，还可以包括佩戴在用户的其他部位的设备，如佩戴在用户的手部、肘部、脚部、膝盖处的设备等，例如，游戏手柄等，在本发明实施例中所述终端设备具有VR全景视频显示能力，例如需要基于从所述云端设备获取的视角图像进行再投影，以获取能够显示的视频图像，将VR全景视频呈现给用户。特别的，呈现给用户的VR全景视频中有观看热点区域的提示。
如图3所示，为本发明实施例中提供的一种VR视频处理的方法的示意图。本发明实施例提供的VR视频处理的方法可以应用在上述图2提供的应用场景中。所述方法包括：
步骤301：云端设备将接收的视频的每一帧视频图像划分为N个区域，N为正整数。
云端设备接收VR全景视频，所述视频可以是由设备管理员上传到云端设备的，也可以是用户上传到云端设备的，还可以是VR全景视频的供应商上传的。云端设备将视频的每一帧视频图像都划分为N个区域，可选的，划分的区域大小与终端设备的视场角(Fieldof View，FOV)大小一致。当划分时，视频图像的边界处可能会出现个别区域的大小无法与FOV大小一致，并不影响技术方案的实施。为了便于理解视频图像的划分方法，下面以图示的方式进行说明，如图4所示，为视频图像划分示意图。VR视频图像有t帧，分别是L1，L2，…Lt帧。依终端设备的FOV划分为N个区域，其中每个区域的位置信息可以以区域中心点的球面经纬度坐标来表示，例如区域1的位置信息为区域1中心点所在的球面经纬度坐标(x1，y1)。
步骤302：云端设备建立所述每一帧图像的区域热度表，所述区域热度表包括N个所述区域的位置信息和对应的热度值。
云端设备为每一帧视频图像建立一个区域热度表，例如，与视频图像L1，L2，…Lt帧相对应的表M1，M2，…Mt。区域热度表中，记录的是每一帧视频图像每个区域的热度信息，具体地，可以包括每个区域的位置信息和对应的热度值。例如表Mt中记录了第t帧视频图像Lt第n个区域的序列号n和该区域的热度值Pn，通过序列号n可以查找到第n个区域中心点所在的球面经纬度坐标(xn，yn)，通过热度值可以判断该区域的观看热度。另外，区域热度表中还包括帧时间的信息。
步骤303：云端设备接收终端设备发送的用户视角在第一视频图像中的位置信息，所述第一视频图像为用户当前正在观看的视频的视频图像。
当有用户点播观看云端设备中的全景视频时，云端设备会跟踪用户视角，并不更新断维护该视频中每一帧视频图像的区域热度表。
终端设备可以检测到用户视角的变化，随时向云端设备上报用户视角的位置信息。云端设备通过接收终端设备上报的用户视角的位置信息，获得用户在当前观看的视频图像上视角所处的位置。
步骤304：基于所述位置信息确定所述用户视角在第一视频图像中的区域，所述区域为由所述第一视频图像划分形成的N个区域中的一个。
云端设备基于收到的位置信息并结合区域划分的情况，获得用户视角在当前观看的视频图像上所处的区域。需要说明的是，用户的视角跟踪可以是一直在进行的，以获得实时的用户视角信息。且用户视角在视频图像上的位置不一定刚好和某个区域完全重合，此时可通过比较用户视角中心点和区域中心点之间的距离，来判断用户视角处于哪个区域。
如图5所示，为用户视角跟踪示意图。图中用户正在观看第t帧视频图像Lt，视角落于区域1、区域2、区域3、区域4之间，由于视角中心点更接近区域2的中心点，因此，云端设备获得该用户在观看Lt帧视频时，用户视角处于区域2的信息。当然用户视角处于哪个区域的判断方法还有很多种，本发明实施例对此不做限制。
步骤305：基于所述用户视角所在的区域，更新所述第一视频图像的区域热度表。
云端设备获得用户视角在当前观看的视频图像所在区域之后，会更新该视频图像的区域热度表，将区域热度表中对应区域的热度值加1。如对应上述图5中的情况，可将正在观看的第t帧视频Lt的区域热度表Mt中区域2的热度值P2加1。需要说明的是，区域热度表能够反应用户观看全景视频的热点区域，收集的是视频热度数据。该热度数据可以是实时收集存储的，每个用户观看每一帧视频图像的视角信息都可以以热度值的形式存储到对应的区域热度表中。
步骤306：基于所述第一视频图像的所述区域热度表的热度信息或者第二视频图像的区域热度表的热度信息，生成所述第二视频图像的热点区域提示，所述第二视频图像为所述第一视频图像的下一帧待显示的视频图像。
可选的，云端设备会基于下一帧待显示的视频图像的区域热度表，生成热点区域提示，以提醒用户不要错过全景视频中可能的精彩区域。云端设备可以是通过采集的历史热点区域信息来向用户提示，例如记录观看全景视频的很多用户在每一帧视频图像观看的热点区域信息，以此历史热点区域信息作为依据来向当前正在观看的用户发出提示。云端设备首先会确定下一帧待显示的视频图像的热点区域，确定的方法可以是根据帧时间查询下一帧视频图像的区域热度表，筛选出M个热度值最高的区域，这M个区域就是用户观看的热点区域。M可以是1，也就是云端设备只确定热度值最高的1个区域；M也可以是其他大于1小于N的整数，也就是云端设备确定了热度值最高的几个区域。其中M的值可以是预先设置的、也可以是用户观看视频之前自行设置的。
可选的，云端设备也会基于用户当前正在观看的视频图像的区域热度表或者用户观看的近几帧视频图像的区域热度表，生成热点区域提示，也就是通过采集的实时热点区域信息来向用户提示。例如在观看足球赛事等直播节目的VR全景视频时，云端设备可以实时收集和存储各用户观看每一帧视频图像的视角所在区域，实时生成每一帧视频图像的区域热度表，记录视频热点区域信息。基于用户正在观看的视频图像的区域热度表或者用户观看的近几帧视频图像的区域热度表，可以预测下一帧待显示的视频图像的热点区域，向用户发出提示。具体地：
云端设备首先会确定下一帧待显示的视频图像的热点区域，确定的方法可以是根据帧时间查询正在观看的视频图像或者近几帧视频图像的区域热度表，筛选出M个热度值最高的区域，这M个区域就是用户观看的热点区域。M值的选取参见上文，此处不再赘述。将这M个热点区域与下一帧待显示的视频图像相匹配，得到对应的热点区域。
云端设备将M个热点区域对应的热点区域提示添加到用户当前观看的视频图像中。云端设备在确定M个热点区域之后，会获得这M个热点区域的位置信息，将热点区域所在视频的位置与当前用户正在观看的视频图像的位置进行比较，比较的结果可能是热点区域在用户当前观看视角的上方、下方、左方、右方等，基于这样的相对位置的信息，对用户进行提示。
云端设备生成相应的提示信息纹理，并将其渲染到用户当前观看到的画面中。如图6所示，为可能的一种热点区域提示的示意图。当热点区域所在视频的位置在用户当前视角的左方，形成向左的箭头提示，也可以形成文字提示，例如精彩内容、精彩内容请向左转动、您的左方内容更精彩、您的小伙伴都在观看左方内容哦等文字提示。
应理解，热点区域提示信息的添加可以是实时的，通过采集的实时热点区域信息或者历史热点区域信息来向正在被观看的全景视频实时添加提示信息；热点区域提示信息的添加也可以是提前预置的，通过采集的历史热点区域信息或者热点区域信息的预判断在全景视频中提前添加提示信息。
需要说明的是，本发明实施例中，还可以为每一帧视频图像建立多个区域热度表，分别用以跟踪和采集多种观看视频类型的用户的热点观看区域。例如可以建立第t帧视频的区域热度表LtA、LtB、LtC等，其中，A、B、C为用户类型的标识信息。例如A为经常观看动物类视频的用户的标识信息，B为经常观看风景类视频的用户的标识信息，C为经常观看武打动作片类视频的用户的标识信息。在跟踪用户视角信息时，需要先识别跟踪的是哪一种观看视频类型的用户，确定用户类型的标识信息；在更新区域热度表时，基于标识信息来更新对应的区域热度表。因此，基于区域热度表，可以得到每一帧视频对于不同观看视频类型的用户的热点观看区域。向用户做热点区域提示，也可以是针对不同类型的用户来做提示。
在本发明实施例中，通过跟踪用户视角在视频图像中的位置，并对视频图像的区域热度表进行维护更新，来收集每一帧视频图像的热点区域信息，并基于热点区域信息向用户发出热点区域提示，有利于引导用户的视角移动，避免用户错过全景视频中的精彩内容，提高了全景视频的用户体验。
如图7所示，为本发明实施例中提供的一种视频处理设备的组成示意图。该设备可以包括接收模块701、确定模块702、更新模块703和提示模块704，其中：
所述接收模块701，用于接收终端设备发送的用户视角在第一视频图像中的位置信息，所述第一视频图像为用户当前正在观看的视频的视频图像。具体过程可参见图3所示实施例步骤303。
所述确定模块702，用于基于所述位置信息确定所述用户视角在第一视频图像中的区域，所述区域为由所述第一视频图像划分形成的N个区域中的一个，N为正整数。具体过程可参见图3所示实施例步骤304。具体地，划分区域的方法可以是：划分的区域的大小可以与终端设备视角场的大小相同。具体过程可参见图3所示实施例步骤301。
所述更新模块703，用于基于所述区域更新所述第一视频图像的区域热度表，所述区域热度表包括所述N个区域的热度信息。具体过程可参见图3所示实施例步骤304。具体地，所述热度信息包括位置信息和热度值。具体内容可参见图3所示实施例步骤302。
具体地，更新所述区域热度表的方法可以是：所述更新模块703，用于将所述第一视频图像的所述区域的热度值加1，所述区域为所述用户视角所在的区域。具体过程可参见图3所示实施例步骤305。
所述提示模块704，用于基于所述第一视频图像的所述区域热度表的热度信息或者第二视频图像的区域热度表的热度信息，生成第二视频图像对应的热点区域提示，所述第二视频图像为所述第一视频图像的下一帧待显示的视频图像。具体地，所述提示模块704还可以包括确定子模块7041和提示子模块7042，具体的方法可以是：
所述确定子模块7041：用于确定所述第二视频图像的热点区域，所述确定基于所述热点区域为所述第一视频图像的区域热度表中热度值最高的，或者基于所述热点区域为第二视频图像的区域热度表中热度值最高的。其中，确定的方法可以是筛选出M个热度值最高的区域，这M个区域就是用户观看的热点区域。M可以是1，也就是视频处理设备只确定热度值最高的1个区域；M也可以是其他大于1小于N的整数，也就是视频处理设备确定了热度值最高的几个区域。M的值可以是预先设置的、也可以是用户观看视频之前自行设置的。
所述提示子模块7042：用于将所述热点区域对应的所述热点区域提示添加到所述第一视频图像中。其中，热点区域提示信息的添加可以是实时的，通过采集的实时热点区域信息或者历史热点区域信息来向正在被观看的全景视频实时添加提示信息；热点区域提示信息的添加也可以是提前预置的，通过采集的历史热点区域信息或者热点区域信息的预判断在全景视频中提前添加提示信息。具体过程可参见图3所示实施例步骤305。
由于本发明实施例提供的视频处理设备可用于VR视频处理的方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。
如图8所示，为本发明实施例中提供的一种视频处理设备的另一组成示意图。包括至少一个处理器801、收发器802，可选的，还可以包括存储器803。
存储器803可以是易失性存储器，例如随机存取存储器；存储器也可以是非易失性存储器，例如只读存储器，快闪存储器，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器803是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器803可以是上述存储器的组合。
本发明实施例中不限定上述处理器801以及存储器803之间的具体连接介质。本发明实施例在图中以存储器803和处理器801之间通过总线804连接，总线804在图中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。该总线806可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
处理器801可以具有数据收发功能，能够与其他设备进行通信，如在本发明实施例中，处理器801可以向终端设备发送视频，也可以接收来自所述终端设备的用户视角的信息，在如图8视频处理设备中，也可以设置独立的数据收发模块，例如收发器802，用于收发数据；处理器801在与其他设备进行通信时，也可以通过收发器802进行数据传输，如在本发明实施例中，处理器801可以通过收发器802向终端设备发送视频，也可以通过收发器802接收来自所述终端设备的用户视角的信息。
作为一种实现方式，收发器802的功能可以考虑通过收发电路或者收发的专用芯片实现。处理器801可以考虑通过专用处理芯片、处理电路、处理器或者通用芯片实现。例如，处理器801可以是中央处理单元(Central Processing Unit，简称为“CPU”)，该处理器还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
作为另一种实现方式，可以考虑使用通用计算机的方式来实现本发明实施例提供的视频处理设备。即将实现处理器801，收发器802功能的程序代码存储在存储器803中，通用处理器通过执行存储器803中的代码来实现处理器801，收发器802的功能。
当所述视频处理设备采用图8所示的形式时，图8中的处理器801可以通过调用存储器802中存储的计算机执行指令，使得所述视频处理设备可以执行上述方法实施例中的所述视频处理设备执行的方法。具体步骤请参见前述方法或其他实施例中的描述，此处不做赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本发明实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各种说明性逻辑块(illustrative logical block)和步骤(step)，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种VR视频处理的方法，其特征在于，应用于视频处理设备，所述方法包括：
接收终端设备发送的用户视角在第一视频图像中的位置信息，所述第一视频图像为用户当前正在观看的视频的视频图像；
基于所述位置信息确定所述用户视角在第一视频图像中的区域，所述区域为由所述第一视频图像划分形成的N个区域中的一个，N为正整数；
基于所述区域更新所述第一视频图像的区域热度表，所述区域热度表包括所述N个区域的热度信息；
基于所述第一视频图像的所述区域热度表的热度信息或者第二视频图像的区域热度表的热度信息，生成所述第二视频图像对应的热点区域提示，所述第二视频图像为所述第一视频图像的下一帧待显示的视频图像。
2.根据权利要求1所述的方法，其特征在于，所述区域的大小与所述终端设备的视场角的大小相同。
3.根据权利要求1-2任一项所述的方法，其特征在于，所述热度信息包括热度值，所述基于所述区域更新所述第一视频图像的所述区域热度表，具体包括：将所述第一视频图像的所述区域热度表中所述区域的热度值加1。
4.根据权利要求3所述的方法，其特征在于，所述生成所述第二视频图像的所述热点区域提示，具体包括：
确定所述第二视频图像的热点区域，所述确定基于所述热点区域为所述第一视频图像的所述区域热度表中热度值最高的，或者基于所述热点区域为所述第二视频图像的所述区域热度表中热度值最高的。
将所述热点区域对应的所述热点区域提示添加到所述第一视频图像中。
5.一种视频处理设备，其特征在于，包括：
接收模块，用于接收终端设备发送的用户视角在第一视频图像中的位置信息，所述第一视频图像为用户当前正在观看的视频的视频图像；
确定模块，用于基于所述位置信息确定所述用户视角在第一视频图像中的区域，所述区域为由所述第一视频图像划分形成的N个区域中的一个，N为正整数；
更新模块，用于基于所述区域更新所述第一视频图像的区域热度表，所述区域热度表包括所述N个区域的热度信息；
提示模块，用于基于所述第一视频图像的所述区域热度表的热度信息或者第二视频图像的区域热度表的热度信息，生成所述第二视频图像对应的热点区域提示，所述第二视频图像为所述第一视频图像的下一帧待显示的视频图像。
6.根据权利要求5所述的视频处理设备，其特征在于，所述区域的大小与所述终端设备的视场角的大小相同。
7.根据权利要求5-6任一项所述的视频处理设备，其特征在于，所述热度信息包括热度值，所述更新模块用于基于所述区域更新所述第一视频图像的所述区域热度表，具体包括：
所述更新模块，用于将所述第一视频图像的所述区域热度表中所述区域的热度值加1。
8.根据权利要求7所述的视频处理设备，其特征在于，所述生成所述第二视频图像的所述热点区域提示，具体包括：
确定子模块，用于确定所述第二视频图像的热点区域，所述确定基于所述热点区域为所述第一视频图像的所述区域热度表中热度值最高的，或者基于所述热点区域为所述第二视频图像的所述区域热度表中热度值最高的。
提示子模块，用于将所述热点区域对应的所述热点区域提示添加到所述第一视频图像中。
CN201811327393.1A 2018-11-08 2018-11-08 一种vr视频处理的方法及相关装置 Active CN111163306B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811327393.1A CN111163306B (zh) 2018-11-08 2018-11-08 一种vr视频处理的方法及相关装置
PCT/CN2019/112410 WO2020093862A1 (zh) 2018-11-08 2019-10-22 一种vr视频处理的方法及相关装置
EP19881627.4A EP3860109A4 (en) 2018-11-08 2019-10-22 VR VIDEO PROCESSING PROCESS AND RELATED DEVICE
US17/245,905 US11341712B2 (en) 2018-11-08 2021-04-30 VR video processing method and related apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811327393.1A CN111163306B (zh) 2018-11-08 2018-11-08 一种vr视频处理的方法及相关装置

Publications (2)

Publication Number Publication Date
CN111163306A true CN111163306A (zh) 2020-05-15
CN111163306B CN111163306B (zh) 2022-04-05

Family

ID=70555187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811327393.1A Active CN111163306B (zh) 2018-11-08 2018-11-08 一种vr视频处理的方法及相关装置

Country Status (4)

Country Link
US (1) US11341712B2 (zh)
EP (1) EP3860109A4 (zh)
CN (1) CN111163306B (zh)
WO (1) WO2020093862A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873313A (zh) * 2021-09-22 2021-12-31 乐相科技有限公司 一种虚拟现实画面分享方法及装置
CN115103114A (zh) * 2022-06-16 2022-09-23 京东方科技集团股份有限公司 全景视频的视角跟踪方法、装置、设备和介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174887A (zh) * 2022-06-30 2022-10-11 歌尔股份有限公司 视角拓展方法、装置、终端设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101847A (zh) * 2016-07-12 2016-11-09 三星电子（中国）研发中心 全景视频交互传输的方法和系统
CN106484122A (zh) * 2016-11-16 2017-03-08 捷开通讯(深圳)有限公司 一种虚拟现实装置及其浏览轨迹跟踪方法
CN107135237A (zh) * 2017-07-07 2017-09-05 三星电子（中国）研发中心 一种呈现目标增强信息的实现方法和装置
CN107395984A (zh) * 2017-08-25 2017-11-24 北京佰才邦技术有限公司 一种视频传输的方法及装置
CN108632674A (zh) * 2017-03-23 2018-10-09 华为技术有限公司 一种全景视频的播放方法和客户端

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809197B2 (en) * 2004-12-09 2010-10-05 Eastman Kodak Company Method for automatically determining the acceptability of a digital image
US8687840B2 (en) * 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
US20120326969A1 (en) * 2011-06-24 2012-12-27 Krishnan Ramanathan Image slideshow based on gaze of a user
US10440407B2 (en) * 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
EP3112985A1 (en) * 2015-06-30 2017-01-04 Nokia Technologies Oy An apparatus for video output and associated methods
US10692286B2 (en) 2015-08-28 2020-06-23 VR Drive Sp. z O.O. Device and method of creating an augmented interactive virtual reality system
US20170316806A1 (en) * 2016-05-02 2017-11-02 Facebook, Inc. Systems and methods for presenting content
US20170347084A1 (en) * 2016-05-27 2017-11-30 Intel Corporation Virtual reality panoramic video system using scalable video coding layers
KR102277438B1 (ko) * 2016-10-21 2021-07-14 삼성전자주식회사 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치
US20190253743A1 (en) * 2016-10-26 2019-08-15 Sony Corporation Information processing device, information processing system, and information processing method, and computer program
CN110121885B (zh) * 2016-12-29 2023-07-25 索尼互动娱乐股份有限公司 用于利用注视跟踪的vr、低等待时间无线hmd视频流传输的有凹视频链接
JP2018163461A (ja) * 2017-03-24 2018-10-18 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US10818087B2 (en) * 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
EP3496100A1 (en) * 2017-12-08 2019-06-12 Nokia Technologies Oy Method and apparatus for applying video viewing behavior
US11070891B1 (en) * 2019-12-10 2021-07-20 Amazon Technologies, Inc. Optimization of subtitles for video content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101847A (zh) * 2016-07-12 2016-11-09 三星电子（中国）研发中心 全景视频交互传输的方法和系统
CN106484122A (zh) * 2016-11-16 2017-03-08 捷开通讯(深圳)有限公司 一种虚拟现实装置及其浏览轨迹跟踪方法
CN108632674A (zh) * 2017-03-23 2018-10-09 华为技术有限公司 一种全景视频的播放方法和客户端
CN107135237A (zh) * 2017-07-07 2017-09-05 三星电子（中国）研发中心 一种呈现目标增强信息的实现方法和装置
CN107395984A (zh) * 2017-08-25 2017-11-24 北京佰才邦技术有限公司 一种视频传输的方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873313A (zh) * 2021-09-22 2021-12-31 乐相科技有限公司 一种虚拟现实画面分享方法及装置
CN113873313B (zh) * 2021-09-22 2024-03-29 乐相科技有限公司 一种虚拟现实画面分享方法及装置
CN115103114A (zh) * 2022-06-16 2022-09-23 京东方科技集团股份有限公司 全景视频的视角跟踪方法、装置、设备和介质

Also Published As

Publication number Publication date
WO2020093862A1 (zh) 2020-05-14
CN111163306B (zh) 2022-04-05
US11341712B2 (en) 2022-05-24
US20210248810A1 (en) 2021-08-12
EP3860109A1 (en) 2021-08-04
EP3860109A4 (en) 2021-10-06

Similar Documents

Publication Publication Date Title
CN110800293B (zh) 用于提供多个虚拟现实视图的系统
CN104010225B (zh) 显示全景视频的方法和系统
CN111163306B (zh) 一种vr视频处理的方法及相关装置
US11184646B2 (en) 360-degree panoramic video playing method, apparatus, and system
JP6277329B2 (ja) 立体広告枠決定システム、ユーザ端末および立体広告枠決定コンピュータ
JP2019159950A (ja) 情報処理装置および情報処理方法
CN114097248B (zh) 一种视频流处理方法、装置、设备及介质
US20150172634A1 (en) Dynamic POV Composite 3D Video System
WO2017113577A1 (zh) 一种游戏场景的实时播放方法及相关装置和系统
US20180146218A1 (en) Free viewpoint picture data distribution system
JP7456060B2 (ja) ビデオ共有、取得方法、サーバー、端末機器及び媒体
CN104023181A (zh) 信息处理方法及装置
CN114387400A (zh) 三维场景的显示方法、显示装置、电子设备和服务器
CN114191823A (zh) 多视角的游戏直播方法及装置、电子设备
EP3429706B1 (en) Shared experiences in panoramic video
CN108421240A (zh) 基于ar的球场弹幕系统
US20200082603A1 (en) Information processing apparatus, information processing method and storage medium
CN108401163A (zh) 一种实现vr直播的方法、装置及ott业务系统
CN111277866B (zh) 一种控制vr视频播放的方法及相关装置
CN114143568B (zh) 一种用于确定增强现实直播图像的方法与设备
KR101943554B1 (ko) 스포츠 경기 정보 제공 방법 및 시스템
CN110166825B (zh) 视频数据处理方法及装置、视频播放方法及装置
US20240104832A1 (en) Image processing system, image processing method, and storage media
US20220270368A1 (en) Interactive video system for sports media
KR20180068254A (ko) 게임 영상 제공 장치 및 게임 영상 제공 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant