CN116540872B - Vr数据处理方法、装置、设备、介质及产品 - Google Patents

Vr数据处理方法、装置、设备、介质及产品 Download PDF

Info

Publication number
CN116540872B
CN116540872B CN202310483868.0A CN202310483868A CN116540872B CN 116540872 B CN116540872 B CN 116540872B CN 202310483868 A CN202310483868 A CN 202310483868A CN 116540872 B CN116540872 B CN 116540872B
Authority
CN
China
Prior art keywords
image
sampling
data
plane
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310483868.0A
Other languages
English (en)
Other versions
CN116540872A (zh
Inventor
崔竞飞
苑冠乔
张博尧
杨思齐
骆冉
钟铁军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Radio Film And Television Design And Research Institute Co ltd
Original Assignee
China Radio Film And Television Design And Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Radio Film And Television Design And Research Institute Co ltd filed Critical China Radio Film And Television Design And Research Institute Co ltd
Priority to CN202310483868.0A priority Critical patent/CN116540872B/zh
Publication of CN116540872A publication Critical patent/CN116540872A/zh
Application granted granted Critical
Publication of CN116540872B publication Critical patent/CN116540872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请提供一种VR数据处理方法、装置、设备、介质及产品。该方法包括:根据预先存储的待处理VR数据获取平面待检测图像,待处理VR数据为采用预设投影算法对立体视野图像进行投影处理得到的数据;对平面待检测图像进行反投影处理和采样处理,获取平面采样图像集合;根据平面采样图像集合和非VR数据预设处理算法对待处理VR数据进行预设处理。本申请的方法,对预先存储的VR数据中提取出的平面待检测图像进行反投影处理和采样处理,获得能够被现有的非VR数据预设处理算法自动处理的平面采样图像集合,进而基于平面采样图像集合和非VR数据预设处理算法实现对待处理VR数据的自动处理,从而提升了VR数据的处理效率。

Description

VR数据处理方法、装置、设备、介质及产品
技术领域
本申请涉及虚拟现实技术领域,尤其涉及一种VR数据处理方法、装置、设备、介质及产品。
背景技术
随着科技的进步,虚拟现实(Virtual Reality,简称为VR)技术得到飞速的发展,VR视频/图像如雨后春笋般涌现,VR视频/图像的内容审核、内容监管等问题日益严峻。
在现有技术中,由于不存在专用于对VR视频/图像的内容自动进行审核、监管等处理的算法,因此只能够以人工方式对VR视频/图像的内容进行审核、监管等处理。
但是,这样会导致VR数据的处理效率低。
发明内容
本申请提供一种VR数据处理方法、装置、设备、介质及产品,用以解决VR数据的处理效率低问题。
第一方面,本申请实施例提供一种VR数据处理方法,所述VR数据处理方法包括:
根据预先存储的待处理VR数据获取平面待检测图像,所述待处理VR数据为采用预设投影算法对立体视野图像进行投影处理得到的数据;
对所述平面待检测图像进行反投影处理和采样处理,获取平面采样图像集合;
根据所述平面采样图像集合和非VR数据预设处理算法对所述待处理VR数据进行预设处理。
可选地,所述根据预先存储的待处理VR数据获取平面待检测图像,包括:
响应于所述待处理VR数据为单目VR静态图像,将所述单目VR静态图像确定为所述平面待检测图像;
响应于所述待处理VR数据为双目VR静态图像,根据所述双目VR静态图像的生成方式对所述双目VR静态图像进行视场分离处理,获取左眼VR静态图像和右眼VR静态图像;
将所述左眼VR静态图像和/或所述右眼VR静态图像确定为所述平面待检测图像。
可选地,所述根据预先存储的待处理VR数据获取平面待检测图像,包括:
响应于所述待处理VR数据为VR视频,对所述VR视频进行解码处理,获取所述VR视频对应的多个图像帧;
根据多个所述图像帧确定所述平面待检测图像。
可选地,所述根据多个所述图像帧确定所述平面待检测图像,包括:
将多个所述图像帧均确定为所述平面待检测图像;或,
按照预设帧数比例、或预设时间间隔、或预设帧间隔提取多个所述图像帧中的部分图像帧;
响应于所述VR视频为单目VR视频,将所述部分图像帧确定为所述平面待检测图像;
响应于所述VR视频为双目VR视频,根据所述双目VR视频的生成方式对所述部分图像帧进行视场分离处理,获取左眼图像帧和右眼图像帧,并将所述左眼图像帧和/或所述右眼图像帧确定为所述平面待检测图像。
可选地,所述对所述平面待检测图像进行反投影处理和采样处理,获取平面采样图像集合,包括:
对所述平面待检测图像进行第一处理,获得第一处理后图像;
对所述第一处理后图像进行第二处理,获得多个立体采样图像;
根据多个所述立体采样图像获取所述平面采样图像集合;
所述第一处理为反投影处理或采样处理中的一个,所述第二处理为反投影处理或采样处理中的另一个。
可选地,所述第一处理为反投影处理,所述第二处理为采样处理,所述第一处理后图像为立体待检测图像;
所述对所述平面待检测图像进行第一处理,获得第一处理后图像,包括:
根据所述预设投影算法对所述平面待检测图像进行所述反投影处理,获得所述立体待检测图像;
所述对所述第一处理后图像进行第二处理,获得多个立体采样图像,包括:
对所述立体待检测图像进行所述采样处理,获得多个所述立体采样图像。
可选地,所述对所述立体待检测图像进行所述采样处理,获得多个立体采样图像,包括:
根据第一预设对应关系,确定所述预设投影算法对应的第一采样窗口数据,其中,所述第一预设对应关系包括多个预设投影算法及其对应的第一采样窗口数据,所述第一采样窗口数据包括第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序;
将所述立体待检测图像中的一个像素点确定为采样起点,从所述采样起点开始,根据所述第一采样窗口形状、所述第一采样窗口尺寸和所述第一采样窗口移动顺序对所述立体待检测图像进行采样,获得多个所述立体采样图像。
可选地,所述第一采样窗口数据还包括第一偏移补偿方向和第一偏移补偿量;
在所述从所述采样起点开始,根据所述第一采样窗口形状、所述第一采样窗口尺寸和所述第一采样窗口移动顺序对所述立体待检测图像进行采样之后,还包括:
将所述采样起点沿所述第一偏移补偿方向移动所述第一偏移补偿量,确定新的采样起点;
从所述新的采样起点开始,根据所述第一采样窗口形状、所述第一采样窗口尺寸和所述第一采样窗口移动顺序对所述立体待检测图像进行采样,获得多个所述立体采样图像。
可选地,所述第一处理为采样处理,所述第二处理为反投影处理,所述第一处理后图像为平面采样待检测图像;
所述对所述平面待检测图像进行第一处理,获得第一处理后图像,包括:
对所述平面待检测图像进行所述采样处理,获得多个所述平面采样待检测图像;
所述对所述第一处理后图像进行第二处理,获得多个立体采样图像,包括:
根据所述预设投影算法对多个所述平面采样待检测图像进行所述反投影处理,获得多个所述立体采样图像。
可选地,所述对所述平面待检测图像进行所述采样处理,获得多个所述平面采样待检测图像,包括:
根据第二预设对应关系,确定所述预设投影算法对应的第二采样窗口数据,其中,所述第二预设对应关系包括多个预设投影算法及其对应的第二采样窗口数据,所述第二采样窗口数据包括第二采样窗口形状、第二采样窗口尺寸和第二采样窗口移动顺序;
将所述平面待检测图像中的一个像素点确定为采样起点,从所述采样起点开始,根据所述第二采样窗口形状、所述第二采样窗口尺寸和所述第二采样窗口移动顺序对所述平面待检测图像进行采样,获得多个所述平面采样待检测图像。
可选地,所述第二采样窗口数据还包括第二偏移补偿方向和第二偏移补偿量;
在所述从所述采样起点开始,根据所述第二采样窗口形状、所述第二采样窗口尺寸和所述第二采样窗口移动顺序对所述立体待检测图像进行采样之后,还包括:
将所述采样起点沿所述第二偏移补偿方向移动所述第二偏移补偿量,确定新的采样起点;
从所述新的采样起点开始,根据所述第二采样窗口形状、所述第二采样窗口尺寸和所述第二采样窗口移动顺序对所述平面待检测图像进行采样,获得多个所述平面采样待检测图像。
可选地,所述根据多个所述立体采样图像获取所述平面采样图像集合,包括:
响应于所述预设投影算法为立方体投影算法,确定多个所述立体采样图像中的立方体平面图像和立方体转角图像,对所述立方体转角图像进行展平处理,采用所述立方体平面图像和展平处理后的立方体转角图像构建所述平面采样图像集合;
响应于所述预设投影算法为球体投影算法,采用预设曲面校正算法对用多个所述立体采样图像进行曲面校正,并采用曲面校正后的多个所述立体采样图像构建所述平面采样图像集合。
可选地,所述非VR数据预设处理算法包括非VR数据内容审核算法、非VR数据技术审核算法、非VR数据内容监管算法;
所述根据所述平面采样图像集合和非VR数据预设处理算法对所述待处理VR数据进行预设处理,包括:
将所述平面采样图像集合输入所述非VR数据内容审核算法,并将所述非VR数据内容审核算法的输出结果确定为所述待处理VR数据的内容审核结果;
将所述平面采样图像集合输入所述非VR数据技术审核算法,并将所述非VR数据技术审核算法的输出结果确定为所述待处理VR数据的技术审核结果;
将所述平面采样图像集合输入所述非VR数据内容监管算法,并将所述非VR数据内容监管算法的输出结果确定为所述待处理VR数据的内容监管结果。
可选地,在所述根据待处理VR数据获取平面待检测图像之前,还包括:
响应于待处理VR内容的分发方式为流服务方式,录制所述待处理VR内容,生成所述待处理VR数据。
第二方面,本申请实施例提供一种VR数据处理装置,所述VR数据处理装置包括:
获取模块,用于根据预先存储的待处理VR数据获取平面待检测图像,所述待处理VR数据为采用预设投影算法对立体视野图像进行投影处理得到的数据;
预处理模块,用于对所述平面待检测图像进行反投影处理和采样处理,获取平面采样图像集合;
处理模块,用于根据所述平面采样图像集合和非VR数据预设处理算法对所述待处理VR数据进行预设处理。
第三方面,本申请实施例提供一种电子设备,所述电子设备包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现第一方面实施例中任一项所述的VR数据处理方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面实施例中任一项所述的VR数据处理方法。
第五方面,本申请实施例提供一种计算机程序产品,所述计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现第一方面实施例中任一项所述的VR数据处理方法。
本申请提供的VR数据处理方法、装置、设备、介质及产品,VR数据处理方法包括:根据预先存储的待处理VR数据获取平面待检测图像,待处理VR数据为采用预设投影算法对立体视野图像进行投影处理得到的数据;对平面待检测图像进行反投影处理和采样处理,获取平面采样图像集合;根据平面采样图像集合和非VR数据预设处理算法对待处理VR数据进行预设处理。通过上述方案,对预先存储的VR数据中提取出的平面待检测图像进行反投影处理和采样处理,获得能够被现有的非VR数据预设处理算法自动处理的平面采样图像集合,进而基于平面采样图像集合和非VR数据预设处理算法实现对待处理VR数据的自动处理,从而提升了VR数据的处理效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为现有技术的生成VR文件的流程示意图;
图2为本申请实施例提供的VR数据处理方法的场景示意图;
图3为本申请实施例提供的VR数据处理方法的流程示意图;
图4为本申请实施例提供的VR数据处理方法的另一流程示意图;
图5为本申请实施例提供的VR数据处理方法的采样示意图;
图6为本申请实施例提供的VR数据处理装置的结构示意图;
图7为本申请实施例提供的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
为了清楚理解本申请的技术方案,首先对现有技术的方案进行详细介绍。
在现有技术中,对于传统的非VR视频/图像内容,在内容审核、技术监管、质量监管、内容监管等方面有着完备的评价体系和自动化处理流程。由于VR视频/图像与传统非VR视频/图像格式不同,因此,现有的用于自动化处理非VR视频/图像的非VR数据预设处理算法无法用于自动化处理VR视频/图像,只能够采用人工方式处理VR视频/图像。但是,人工处理(如内容审核、技术监管、质量监管、内容监管等)VR数据存在处理效率较低的问题。
针对上述VR数据的处理效率低的问题,发明人在研究中发现,在VR视频/图像的制作过程中,通过预设投影算法将立体视野图像(如图1所示的球形视野图像)映射成平面图像,然后生成VR数据,并存储在VR文件或者内存的数据存储区中。由于受到预设投影算法的影响,VR数据中图像的几何关系是扭曲的,造成VR数据中图像内容无法与自然状态下的立体视野对应,对应的色度分布与亮度分布关系也不代表在显示过程中展示给观众的效果,所以导致现有的非VR数据预设处理算法无法根据VR数据中的图像特性处理VR数据。因此,为了解决VR数据的处理效率低的问题,可以通过将VR数据中的图像处理成能够被现有的非VR数据预设处理算法识别的平面采样图像,进而基于平面采样图像和非VR数据预设处理算法实现对VR数据的自动处理。
下面对本申请实施例提供的VR数据处理方法的应用场景进行介绍。
如图2所示,作为一种可能的场景,包括制作方客户端100和审核服务器200,制作方客户端100与审核服务器200通信连接。在VR数据制作完成之后,制作方客户端100向审核服务器200发送VR数据审核请求,VR数据审核请求中携带有待审核VR数据。审核服务器200在接收到VR数据审核请求之后,从VR数据审核请求中提取待审核VR数据,并从待审核VR数据中获取平面待检测图像,接着对平面待检测图像进行反投影处理和采样处理,获取能够被非VR数据审核算法正常处理的平面采样图像集合,进而根据平面采样图像集合和非VR数据审核算法对待审核VR数据进行审核,以及将审核结果返回给制作方客户端100。
需要指出的是,本申请中,待处理VR数据包括但不限于通过拍摄、CG生成、或者两者结合制作的VR视频/静态图像,以及前有交互操作的VR内容等,并且包括但不限于具有双目视差的360°、180°VR视频/图像,以及没有视差的单双目全景视频/图像等。
需要指出的是,本申请中,待处理VR数据包括但不限于采用各种分辨率、图像压缩算法(如MPEG-2、H.264、H.265、AVS、AV-1等)、画幅(如1:1、4:3、16:9、16:10等)、文件存储格式(如TS、AVI等)、分发服务方式(如文件分发,流式服务如广播、组播、单播等)、文件加密方式、收看方式(如头戴式设备、电视机、计算机、移动终端等)、使用方式(如消费服务、行业垂直应用等)所对应的VR数据。
需要指出的是,本申请中,对待处理VR数据进行的预设处理包括但不限于内容审核、技术审核、内容监管等,并且包括但不限于播前审查、内容交易审核、内容入库审核、直播实时监测、播出内容监管等。
下面,通过具体实施例对本申请所示的技术方案进行详细说明。可选地,如下实施例可以单独存在,也可以相互结合,对于相同或相似的内容,在不同的实施例中不再重复说明。
图3为本申请实施例提供的VR数据处理方法的流程图,如图3所示,本申请实施例提供的VR数据处理方法包括:
S10:根据预先存储的待处理VR数据获取平面待检测图像,待处理VR数据为采用预设投影算法对立体视野图像进行投影处理得到的数据。
可选地,待处理VR数据存储于预设文件或者内存的数据存储区中。可以理解的是,预先存储的待处理VR数据不会随着用户操作而变化,因此,能够从待处理VR数据中获取到平面待检测图像,而实时渲染VR数据(比如VR游戏)未存储于预设文件或者内存的数据存储区中,会随着用户操作而实时变化,预先存储的待处理VR数据与实时渲染VR数据不同。
在某些实施例中,预设投影算法为球体投影算法(如Equirectangular算法),此时,立体视野图像可以理解为球形视野图像。
在某些实施例中,预设投影算法为立方体投影算法(如Cube map算法),此时,立体视野图像可以理解为立方体视野图像。
可选地,在步骤S10之前,还包括:响应于待处理VR内容的分发方式为流服务方式,录制待处理VR内容,生成待处理VR数据。
上述实施例的VR数据处理方法,在根据待处理VR数据获取平面待检测图像之前,响应于待处理VR内容的分发方式为流服务方式,录制待处理VR内容,生成待处理VR数据。如此,针对流服务方式分发的待处理VR内容,通过录制生成待处理VR数据,从而方便后续根据待处理VR数据对流服务方式分发的待处理VR内容进行预设处理。
S20:对平面待检测图像进行反投影处理和采样处理,获取平面采样图像集合。
反投影处理可将平面的图像转换为立体的图像。采样处理可从连续视野的、完整的图像中采样出局部的图像。反投影处理和采样处理的先后执行顺序,在此不作限定。
平面采样图像集合中可包括至少一个平面采样图像,平面采样图像是平面的图像,平面采样图像中几何关系与色度/亮度分布关系基本符合传统的非VR图像特性,因此平面采样图像可以交由传统的非VR数据预设处理算法进行自动、半自动处理。
平面待检测图像的数量可为多个。
在某些实施例中,先对其中一个平面待检测图像进行反投影处理和采样处理,获取其中一个平面待检测图像对应的平面采样图像集合,再对另一个平面待检测图像进行反投影处理和采样处理,获取另一个平面待检测图像对应的平面采样图像集合,如此类推,直至获取全部平面待检测图像对应的平面采样图像集合。由此,单位时间内VR数据处理方法占用的算力较少,能够节省算力以应对其他突发计算需求。
在某些实施例中,同时分别对全部平面待检测图像进行反投影处理和采样处理,获取全部平面待检测图像对应的平面采样图像集合。由此,能够缩短VR数据处理的整体时长,提升VR数据处理效率。
S30:根据平面采样图像集合和非VR数据预设处理算法对待处理VR数据进行预设处理。
非VR数据预设处理算法,可以理解为现有的用于自动或半自动处理非VR数据的算法。由于平面采样图像可被非VR数据预设处理算法正常处理,因此在不更改非VR数据预设处理算法的前提下,可基于平面采样图像集合和非VR数据预设处理算法实现对待处理VR数据的预设处理。
本申请提供的VR数据处理方法,根据预先存储的待处理VR数据获取平面待检测图像,待处理VR数据为采用预设投影算法对立体视野图像进行投影处理得到的数据;对平面待检测图像进行反投影处理和采样处理,获取平面采样图像集合;根据平面采样图像集合和非VR数据预设处理算法对待处理VR数据进行预设处理。通过上述方案,对预先存储的VR数据中提取出的平面待检测图像进行反投影处理和采样处理,获得能够被现有的非VR数据预设处理算法自动处理的平面采样图像集合,进而基于平面采样图像集合和非VR数据预设处理算法实现对待处理VR数据的自动处理,从而提升了VR数据的处理效率。
可选地,步骤S10,包括:
S11:响应于待处理VR数据为单目VR静态图像,将单目VR静态图像确定为平面待检测图像。
具体地,在待处理VR数据为单目VR静态图像时,可直接将单目VR静态图像确定为平面待检测图像。
S12:响应于待处理VR数据为双目VR静态图像,根据双目VR静态图像的生成方式对双目VR静态图像进行视场分离处理,获取左眼VR静态图像和右眼VR静态图像。
在某些实施例中,将左眼VR静态图像和右眼VR静态图像按照上下排列或左右排列的方式拼接在一起,生成双目VR静态图像。因此,在待处理VR数据为双目VR静态图像时,可根据双目VR静态图像的生成方式对双目VR静态图像进行视场分离处理,从而获得左眼VR静态图像和右眼VR静态图像。
S13:将左眼VR静态图像和/或右眼VR静态图像确定为平面待检测图像。
在某些实施例中,仅将左眼VR静态图像确定为平面待检测图像;在某些实施例中,仅将右眼VR静态图像确定为平面待检测图像;在某些实施例中,将左眼VR静态图像和右眼VR静态图像均确定为平面待检测图像。
上述实施例的VR数据处理方法,响应于待处理VR数据为单目VR静态图像,将单目VR静态图像确定为平面待检测图像;响应于待处理VR数据为双目VR静态图像,根据双目VR静态图像的生成方式对双目VR静态图像进行视场分离处理,获取左眼VR静态图像和右眼VR静态图像;将左眼VR静态图像和/或右眼VR静态图像确定为平面待检测图像。如此,针对待处理VR数据为VR静态图像的情况,能够从待处理VR数据准确地获得平面待检测图像,从而方便进行后续的VR数据处理步骤。
可选地,步骤S10,包括:
S14:响应于待处理VR数据为VR视频,对VR视频进行解码处理,获取VR视频对应的多个图像帧。
S15:根据多个图像帧确定平面待检测图像。
在待处理VR数据为VR视频时,采用预设解码器(如MPEG-2解码器、H.264解码器等)对VR视频进行解码处理,恢复VR视频对应的图像帧序列,获得VR视频对应的多个图像帧,进而根据多个图像帧确定平面待检测图像。
上述实施例的VR数据处理方法,响应于待处理VR数据为VR视频,对VR视频进行解码处理,获取VR视频对应的多个图像帧;根据多个图像帧确定平面待检测图像。如此,针对待处理VR数据为VR视频的情况,能够从待处理VR数据准确地获得平面待检测图像,从而方便进行后续的VR数据处理步骤。
可选地,步骤S15,包括:
S151:将多个图像帧均确定为平面待检测图像。
上述实施例的VR数据处理方法,将多个图像帧均确定为平面待检测图像,如此,能够获得数据量丰富的平面待检测图像,有利于最大程度保证后续VR数据处理结果的准确性。
可选地,步骤S15,包括:
S152:按照预设帧数比例、或预设时间间隔、或预设帧间隔提取多个图像帧中的部分图像帧。
S153:响应于VR视频为单目VR视频,将部分图像帧确定为平面待检测图像。
S154:响应于VR视频为双目VR视频,根据双目VR视频的生成方式对部分图像帧进行视场分离处理,获取左眼图像帧和右眼图像帧,并将左眼图像帧和/或右眼图像帧确定为平面待检测图像。
预设帧数比例、预设时间间隔、预设帧间隔可根据经验提前配置,在此不作限定。
考虑到VR视频包括单目VR视频和双目VR视频,因此在提取到部分图像帧之后,若VR视频为单目VR视频,则将部分图像帧直接确定为平面待检测图像;若VR视频为双目VR视频,则先根据双目VR视频的生成方式对部分图像帧进行视场分离处理,获取左眼图像帧和右眼图像帧,再将左眼图像帧和/或右眼图像帧确定为平面待检测图像。
在某些实施例中,将左眼图像帧和右眼图像帧按照上下排列或左右排列的方式拼接在一起,生成双目VR视频的图像帧。因此,在待处理VR数据为双目VR视频时,可根据双目VR视频的生成方式对双目VR视频的部分图像帧进行视场分离处理,从而获得左眼图像帧和右眼图像帧。
上述实施例的VR数据处理方法,按照预设帧数比例、或预设时间间隔、或预设帧间隔提取多个图像帧中的部分图像帧;响应于VR视频为单目VR视频,将部分图像帧确定为平面待检测图像;响应于VR视频为双目VR视频,根据双目VR视频的生成方式对部分图像帧进行视场分离处理,获取左眼图像帧和右眼图像帧,并将左眼图像帧和/或右眼图像帧确定为平面待检测图像。如此,针对单目VR视频和双目VR视频分别采用不同的方式确定平面待检测图像,保证了从不同类型的VR视频中均能够准确获得平面待检测图像
请结合图4,可选地,步骤S20,包括:
S21:对平面待检测图像进行第一处理,获得第一处理后图像。
S22:对第一处理后图像进行第二处理,获得多个立体采样图像,其中,第一处理为反投影处理或采样处理中的一个,第二处理为反投影处理或采样处理中的另一个。
S23:根据多个立体采样图像获取平面采样图像集合。
通过反投影处理和采样处理获得的多个立体采样图像为非平面的图像或者存在部分立体采样图像为非平面的图像,而非VR数据预设处理算法的处理对象为平面的图像,因此在获得多个立体采样图像之后,还应当对立体采样图像进行进一步处理,以将立体采样图像转化为平面的平面采样图像,从而方便后续采用非VR数据预设处理算法对其进行预设处理。
在某些实施例中,每获得一个立体采样图像,就将这一个立体采样图像转化为平面采样图像;在某些实施例中,在获得全部立体采样图像之后,再将全部立体采样图像转化为平面采样图像,在此不作限定。
上述实施例的VR数据处理方法,对平面待检测图像进行第一处理,获得第一处理后图像;对第一处理后图像进行第二处理,获得多个立体采样图像;根据多个立体采样图像获取平面采样图像集合;第一处理为反投影处理或采样处理中的一个,第二处理为反投影处理或采样处理中的另一个。如此,通过反投影处理和采样处理获得多个立体采样图像,进而根据多个立体采样图像获取多个平面采样图像,并形成平面采样图像集合,从而方便后续基于平面采样图像集合直接采用非VR数据预设处理算法对待处理BR数据进行预设处理。
可选地,第一处理为反投影处理,第二处理为采样处理,第一处理后图像为立体待检测图像。
步骤S21,包括:
S211:根据预设投影算法对平面待检测图像进行反投影处理,获得立体待检测图像;
在获取到待处理VR数据时,可进一步确定生成待处理VR数据时所采用的预设投影算法(如Equirectangular算法、Cube map算法等),进而可以基于预设投影算法的实现原理对平面待检测图像进行反投影处理,消除预设投影算法对待处理VR数据造成的不利影响,以获得图像几何关系是未扭曲的、且色度/亮度分布关系基本符合传统的非VR图像特性的立体待检测图像。
可以理解的是,由于平面待检测图像为连续视野对应的一整幅图像,因此在对其进行反投影处理之后,得到的立体待检测图像为一副连续立体视野(如球形或立方体行)图像。
步骤S22,包括:
S221:对立体待检测图像进行采样处理,获得多个立体采样图像。
在某些实施例中,若生成待处理VR数据时所采用的预设投影算法为Equirectangular算法,则立体待检测图像为球形的图像,对立体待检测图像进行采样处理,获得的多个立体采样图像均为曲面的图像,即均为非平面的图像。
在某些实施例中,若生成待处理VR数据时所采用的预设投影算法为Cube map算法,则立体待检测图像为立方体形的图像,对立体待检测图像进行采样处理,当采样窗口恰好位于立方体的同一面内时,采样获得的立体采样图像为平面的图像;当采样窗口分跨立方体的两个面或三个面时,采样获得的立体采样图像为非平面的图像。
上述实施例的VR数据处理方法,根据预设投影算法对平面待检测图像进行反投影处理,获得立体待检测图像;对立体待检测图像进行采样处理,获得多个立体采样图像。如此,通过先进行反投影处理再进行采样处理的方式获得多个立体采样图像,并且在获得多个立体采样图像的过程中,一副平面待检测图像只需要做一次反投影处理,从而减少了反投影处理的次数,有利于加快VR数据的整体处理速度,同时,由于立体待检测图像为立体视野的一副图像,可通过遍历这副图像的方式进行采样处理,更加便捷。
可选地,步骤S221,包括:
S2211:根据第一预设对应关系,确定预设投影算法对应的第一采样窗口数据,其中,第一预设对应关系包括多个预设投影算法及其对应的第一采样窗口数据,第一采样窗口数据包括第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序。
第一预设对应关系可预先配置并存储在本地。在确定预设投影算法之后,可以基于预设投影算法的标识查找第一预设对应关系,从而确定预设投影算法对应的第一采样窗口数据。
不同预设投影算法对应的第一采样窗口数据可不同,从而保证对于采用不同预设投影算法对应的反投影处理获得的立体待检测图像均能够合理地进行采样,以获得合适的立体采样图像。
S2212:将立体待检测图像中的一个像素点确定为采样起点,从采样起点开始,根据第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序对立体待检测图像进行采样,获得多个立体采样图像。
在一个例子中,第一采样窗口形状可为矩形,第一采样窗口尺寸可为1600像素*1200像素,第一采样窗口移动顺序可为顺序移动,进而在采样时,将立体待检测图像中的一个像素点确定为采样起点,从采样起点开始,绘制一个1600像素*1200像素的平面的矩形采样窗口,将1600像素*1200像素的平面的矩形采样窗口所覆盖范围内的立体待检测图像作为一个立体采样图像,接着将矩形采样窗口按照顺序滑动至下一位置,并将下一位置的矩形采样窗口所覆盖范围内的立体待检测图像作为一个立体采样图像,如此类推,遍历采样整幅立体待检测图像,获得多个立体采样图像。
请结合图5,在另一个例子中,立体待检测图像为球形的图像,可以视场中心(也即球心)为基准,选择立体待检测图像上的任一点作为采样起点(或采样区域中心),第一采样窗口尺寸为从视场中心向外看水平110°且垂直90°的视野范围内立体待检测图像的尺寸,如此,将不重叠的水平110°且垂直90°的视野范围内的立体待检测图像分别作为立体采样图像,直至遍历采样整幅立体待检测图像,获得多个立体采样图像。
上述实施例的VR数据处理方法,根据第一预设对应关系,确定预设投影算法对应的第一采样窗口数据,其中,第一预设对应关系包括多个预设投影算法及其对应的第一采样窗口数据,第一采样窗口数据包括第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序;将立体待检测图像中的一个像素点确定为采样起点,从采样起点开始,根据第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序对立体待检测图像进行采样,获得多个立体采样图像。如此,能够基于第一采样窗口数据有效、自动地遍历立体待检测图像的各个视角,避免了人工审核造成的视角遗漏,确保审核/监管质量,并大幅提高审核效率。
可选地,第一采样窗口数据还包括第一偏移补偿方向和第一偏移补偿量。
在步骤S2212之后,还包括:
S2213:将采样起点沿第一偏移补偿方向移动第一偏移补偿量,确定新的采样起点。
S2214:从新的采样起点开始,根据第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序对立体待检测图像进行采样,获得多个立体采样图像。
第一偏移补偿方向可包括至少一种方向,第一偏移补偿量可包括至少一个量值。
不同预设投影算法对应的第一偏移补偿方向、第一偏移补偿量可不同,从而保证对于采用不同预设投影算法对应的反投影处理获得的立体待检测图像均能够合理地进行采样,以获得合适的立体采样图像。
在一个例子中,第一偏移补偿方向包括水平方向、竖直方向和45°倾斜方向,第一偏移补偿量包括1/2第一采样窗口水平采样尺寸、1/2第一采样窗口竖直采样尺寸和1/2第一采样窗口对角线采样尺寸,在步骤S2212之后,首先,将采样起点沿水平方向移动1/2第一采样窗口水平采样尺寸,确定新的采样起点,并从新的采样起点开始,根据第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序对立体待检测图像进行采样,直至遍历采样整幅立体待检测图像,再次获得多个立体采样图像;其次,将采样起点沿竖直方向移动1/2第一采样窗口竖直采样尺寸,再次确定新的采样起点,并从新的采样起点开始,根据第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序对立体待检测图像进行采样,直至遍历采样整幅立体待检测图像,再次获得多个立体采样图像;接着,将采样起点沿45°倾斜方向移动1/2第一采样窗口对角线采样尺寸,再次确定新的采样起点,并从新的采样起点开始,根据第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序对立体待检测图像进行采样,直至遍历采样整幅立体待检测图像,再次获得多个立体采样图像;最后,根据获得的步骤S2212中获得的全部立体采样图像以及本实施例中获得的全部立体采样图像获取平面采样图像集合。
上述实施例的VR数据处理方法,在从采样起点开始,根据第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序对立体待检测图像进行采样之后,将采样起点沿第一偏移补偿方向移动第一偏移补偿量,确定新的采样起点;从新的采样起点开始,根据第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序对立体待检测图像进行采样,获得多个立体采样图像。如此,能够对立体待检测图像进行多样化采样,更大程度地保证获得的立体采样图像能够包含完整的待检测对象,避免待检测对象采样不完整,提升后续VR数据处理准确率。可以理解的是,由于立体待检测图像为连续视场,其中的图像异常、敏感内容可能并未完整存在于任一当前采样窗口中,如果只进行一次遍历采样,难以保证待检测对象均位于同一立体采样图像中,进而导致后续VR数据处理出现漏判、错判等情况。
可选地,第一处理为采样处理,第二处理为反投影处理,第一处理后图像为平面采样待检测图像。
步骤S21,包括:
S212:对平面待检测图像进行采样处理,获得多个平面采样待检测图像。
由于平面待检测图像为平面的图像,因此对平面待检测图像进行采样处理获得的多个平面采样待检测图像均为平面的图像,在平面采样待检测图像中,图像的几何关系是扭曲的,且色度/亮度分布关系不符合传统的非VR图像特性。
步骤S22,包括:
S222:根据预设投影算法对多个平面采样待检测图像进行反投影处理,获得多个立体采样图像。
在获取到待处理VR数据时,可进一步确定生成待处理VR数据时所采用的预设投影算法(如Equirectangular算法、Cube map算法等),进而可以基于预设投影算法的实现原理对多个平面采样待检测图像进行反投影处理,消除预设投影算法对待处理VR数据造成的不利影响,以获得图像几何关系是未扭曲的、且色度/亮度分布关系基本符合传统的非VR图像特性的多个立体采样图像。
在某些实施例中,每获得一个平面采样待检测图像,就根据预设投影算法对一个平面采样待检测图像进行反投影处理,获得一个立体采样图像,如此,节省内存开销。
在某些实施例中,在获得全部平面采样待检测图像之后,再根据预设投影算法对全部平面采样待检测图像进行反投影处理,获得全部立体采样图像,如此,提升整体效率。
上述实施例的VR数据处理方法,对平面待检测图像进行采样处理,获得多个平面采样待检测图像;根据预设投影算法对多个平面采样待检测图像进行反投影处理,获得多个立体采样图像。如此,通过先进行采样处理再进行反投影处理的方式获得多个立体采样图像,并且在获得多个立体采样图像的过程中,不需要对整个平面待检测图像进行反投影处理,从而能够避免整个平面待检测图像反投影出的图像持续占用大内存,而由于一张平面采样待检测图像仅为平面待检测图像的一部分,对一张平面采样待检测图像进行反投影处理所需的内存开销较小,有利于节省内存开销。
可选地,步骤S212,包括:
S2121:根据第二预设对应关系,确定预设投影算法对应的第二采样窗口数据,其中,第二预设对应关系包括多个预设投影算法及其对应的第二采样窗口数据,第二采样窗口数据包括第二采样窗口形状、第二采样窗口尺寸和第二采样窗口移动顺序。
S2122:将平面待检测图像中的一个像素点确定为采样起点,从采样起点开始,根据第二采样窗口形状、第二采样窗口尺寸和第二采样窗口移动顺序对平面待检测图像进行采样,获得多个平面采样待检测图像。
需要指出的是,由于第二采样窗口用于对图像几何关系扭曲的平面待检测图像进行采样,而第一采样窗口用于对图像几何关系未扭曲的立体待检测图像进行采样,因此,第二采样窗口数据与第一采样窗口数据不同,进而第二预设对应关系与第一预设对应关系也不同。
另外,虽然,第二采样窗口数据与第一采样窗口数据不同,但是采用第二采样窗口数据对平面待检测图像进行采样的原理与采用第一采样窗口数据对立体待检测图像进行采样的原理类似,即本实施例中,步骤S2121-S2122的实现方式与前述实施例中的步骤S2211-S2212的实现方式类似,为避免冗余,此不赘述。
示例性地,考虑到平面待检测图像中图像几何关系是扭曲的,可针对扭曲的图像几何关系设置不规则形状和/或不连续的第二采样窗口,从而保证采样获得的平面采样待检测图像在反投影处理之后,能够得到正常的立体采样图像。
上述实施例的VR数据处理方法,根据第二预设对应关系,确定预设投影算法对应的第二采样窗口数据,其中,第二预设对应关系包括多个预设投影算法及其对应的第二采样窗口数据,第二采样窗口数据包括第二采样窗口形状、第二采样窗口尺寸和第二采样窗口移动顺序;将平面待检测图像中的一个像素点确定为采样起点,从采样起点开始,根据第二采样窗口形状、第二采样窗口尺寸和第二采样窗口移动顺序对平面待检测图像进行采样,获得多个平面采样待检测图像。如此,能够基于第二采样窗口数据有效、自动地遍历平面待检测图像的各个视角,避免了人工审核造成的视角遗漏,确保审核/监管质量,并大幅提高审核效率。
可选地,第二采样窗口数据还包括第二偏移补偿方向和第二偏移补偿量。
在步骤S2122之后,还包括:
S2123:将采样起点沿第二偏移补偿方向移动第二偏移补偿量,确定新的采样起点。
S2124:从新的采样起点开始,根据第二采样窗口形状、第二采样窗口尺寸和第二采样窗口移动顺序对平面待检测图像进行采样,获得多个平面采样待检测图像。
需要指出的是,采用第二偏移补偿方向和第二偏移补偿量对平面待检测图像再次进行采样的原理与采用第一偏移补偿方向和第一偏移补偿量对立体待检测图像进行再次采样的原理类似,即本实施例中,步骤S2123-S2124的实现方式与前述实施例中的步骤S2213-S2214的实现方式类似,为避免冗余,此不赘述。
上述实施例的VR数据处理方法,将采样起点沿第二偏移补偿方向移动第二偏移补偿量,确定新的采样起点;从新的采样起点开始,根据第二采样窗口形状、第二采样窗口尺寸和第二采样窗口移动顺序对平面待检测图像进行采样,获得多个平面采样待检测图像。如此,能够对平面待检测图像进行多样化采样,更大程度地保证获得的平面采样待检测图像能够包含完整的待检测对象,避免待检测对象采样不完整,提升后续VR数据处理准确率。
可选地,步骤S23,包括:
S231:响应于预设投影算法为立方体投影算法,确定多个立体采样图像中的立方体平面图像和立方体转角图像,对立方体转角图像进行展平处理,采用立方体平面图像和展平处理后的立方体转角图像构建平面采样图像集合。
可以理解的是,在预设投影算法为立方体投影算法(如Cube map算法)时,立体采样图像可能是对立方体视野图像的一个面内的图像进行采样得到,也可能是对立方体视野图像的两个面或三个面内的图像一起进行采样得到,对立方体视野图像的一个面内的图像进行采样得到的立体采样图像为平面的立方体平面图像,对立方体视野图像的两个面或三个面内的图像一起进行采样得到的立体采样图像为非平面的立方体转角图像,立方体平面图像可直接被非VR数据预设处理算法处理,立方体转角图像不可直接被非VR数据预设处理算法处理,因此,在获得多个立体采样图像之后,确定多个立体采样图像中的立方体平面图像和立方体转角图像,针对立方体转角图像进行展平处理,展平处理后的立方体转角图像可被非VR数据预设处理算法处理的平面的图像,进而可用立方体平面图像和展平处理后的立方体转角图像构建平面采样图像集合。
示例性地,考虑到球形视野图像与立方体视野图像之间存在转化关系,展平处理可包括以下步骤:根据球形视野图像与立方体视野图像的转化关系,将立方体转角图像转化为球形视野下的曲面的图像,进而采用预设曲面校正算法对球形视野下的曲面的图像进行曲面校正,获得展平处理后的立方体转角图像。
S232:响应于预设投影算法为球体投影算法,采用预设曲面校正算法对用多个立体采样图像进行曲面校正,并采用曲面校正后的多个立体采样图像构建平面采样图像集合。
示例性地,预设曲面校正算法可为现有技术中的曲面校正算法。
可以理解的是,在预设投影算法为球体投影算法(如Equirectangular算法)时,立体采样图像为曲面的图像,而非VR数据预设处理算法的处理对象为平面的图像,因此在获得多个立体采样图像之后,采用预设曲面校正算法对用多个立体采样图像进行曲面校正,曲面校正后的多个立体采样图像为平面的图像,进而可采用曲面校正后的多个立体采样图像构建平面采样图像集合。
上述实施例的VR数据处理方法,响应于预设投影算法为立方体投影算法,确定多个立体采样图像中的立方体平面图像和立方体转角图像,对立方体转角图像进行展平处理,采用立方体平面图像和展平处理后的立方体转角图像构建平面采样图像集合;响应于预设投影算法为球体投影算法,采用预设曲面校正算法对用多个立体采样图像进行曲面校正,并采用曲面校正后的多个立体采样图像构建平面采样图像集合。如此,能够将立体采样图像转化为可直接被非VR数据预设处理算法处理的、平面的平面采样图像,进而在不改变非VR数据预设处理算法的基础上,可采用非VR数据预设处理算法对平面采样图像进行预设处理,从而实现待处理VR数据的自动、半自动处理。
可选地,非VR数据预设处理算法包括非VR数据内容审核算法、非VR数据技术审核算法、非VR数据内容监管算法。
步骤S30,包括:
S301:将平面采样图像集合输入非VR数据内容审核算法,并将非VR数据内容审核算法的输出结果确定为待处理VR数据的内容审核结果。
S302:将平面采样图像集合输入非VR数据技术审核算法,并将非VR数据技术审核算法的输出结果确定为待处理VR数据的技术审核结果。
S303:将平面采样图像集合输入非VR数据内容监管算法,并将非VR数据内容监管算法的输出结果确定为待处理VR数据的内容监管结果。
上述实施例的VR数据处理方法,将平面采样图像集合输入非VR数据内容审核算法,并将非VR数据内容审核算法的输出结果确定为待处理VR数据的内容审核结果;将平面采样图像集合输入非VR数据技术审核算法,并将非VR数据技术审核算法的输出结果确定为待处理VR数据的技术审核结果;将平面采样图像集合输入非VR数据内容监管算法,并将非VR数据内容监管算法的输出结果确定为待处理VR数据的内容监管结果。如此,实现了基于现有的非VR数据预设处理算法对VR数据自动进行内容审核、技术审核、内容监管等预设处理,提升了VR数据的处理效率。
需要指出的是,上述所提到的具体数值只为了作为例子详细说明本申请的实施,而不应理解为对本申请的限制。在其他例子或实施方式或实施例中,可根据本申请来选择其他数值,在此不作具体限定。
图6为本申请实施例提供的VR数据处理装置的结构示意图,如图6所示,本申请实施例提供的VR数据处理装置300包括获取模块301、预处理模块302和处理模块303。
其中,获取模块301,用于根据预先存储的待处理VR数据获取平面待检测图像,待处理VR数据为采用预设投影算法对立体视野图像进行投影处理得到的数据。预处理模块302,用于对平面待检测图像进行反投影处理和采样处理,获取平面采样图像集合。处理模块303,用于根据平面采样图像集合和非VR数据预设处理算法对待处理VR数据进行预设处理。
可选地,获取模块301,具体用于:
响应于待处理VR数据为单目VR静态图像,将VR静态图像确定为平面待检测图像;
响应于待处理VR数据为双目VR静态图像,根据双目VR静态图像的生成方式对双目VR静态图像进行视场分离处理,获取左眼VR静态图像和右眼VR静态图像;
将左眼VR静态图像和/或右眼VR静态图像确定为平面待检测图像。
可选地,获取模块301,具体用于:
响应于待处理VR数据为VR视频,对VR视频进行解码处理,获取VR视频对应的多个图像帧;
根据多个图像帧确定平面待检测图像。
可选地,获取模块301,具体用于:
将多个图像帧均确定为平面待检测图像;或,
按照预设帧数比例、或预设时间间隔、或预设帧间隔提取多个图像帧中的部分图像帧;
响应于VR视频为单目VR视频,将部分图像帧确定为平面待检测图像;
响应于VR视频为双目VR视频,根据双目VR视频的生成方式对部分图像帧进行视场分离处理,获取左眼图像帧和右眼图像帧,并将左眼图像帧和/或右眼图像帧确定为平面待检测图像。
可选地,预处理模块302,具体用于:
对平面待检测图像进行第一处理,获得第一处理后图像;
对第一处理后图像进行第二处理,获得多个立体采样图像;
根据多个立体采样图像获取平面采样图像集合;
第一处理为反投影处理或采样处理中的一个,第二处理为反投影处理或采样处理中的另一个。
可选地,第一处理为反投影处理,第二处理为采样处理,第一处理后图像为立体待检测图像。
预处理模块302,具体用于:
根据预设投影算法对平面待检测图像进行反投影处理,获得立体待检测图像;
预处理模块302,具体用于:
对立体待检测图像进行采样处理,获得多个立体采样图像。
可选地,预处理模块302,具体用于:
根据第一预设对应关系,确定预设投影算法对应的第一采样窗口数据,其中,第一预设对应关系包括多个预设投影算法及其对应的第一采样窗口数据,第一采样窗口数据包括第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序;
将立体待检测图像中的一个像素点确定为采样起点,从采样起点开始,根据第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序对立体待检测图像进行采样,获得多个立体采样图像。
可选地,第一采样窗口数据还包括第一偏移补偿方向和第一偏移补偿量。
预处理模块302,具体用于:
将采样起点沿第一偏移补偿方向移动第一偏移补偿量,确定新的采样起点;
从新的采样起点开始,根据第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序对立体待检测图像进行采样,获得多个立体采样图像。
可选地,第一处理为采样处理,第二处理为反投影处理,第一处理后图像为平面采样待检测图像。
预处理模块302,具体用于:
对平面待检测图像进行采样处理,获得多个平面采样待检测图像;
预处理模块302,具体用于:
根据预设投影算法对多个平面采样待检测图像进行反投影处理,获得多个立体采样图像。
可选地,预处理模块302,具体用于:
根据第二预设对应关系,确定预设投影算法对应的第二采样窗口数据,其中,第二预设对应关系包括多个预设投影算法及其对应的第二采样窗口数据,第二采样窗口数据包括第二采样窗口形状、第二采样窗口尺寸和第二采样窗口移动顺序;
将平面待检测图像中的一个像素点确定为采样起点,从采样起点开始,根据第二采样窗口形状、第二采样窗口尺寸和第二采样窗口移动顺序对平面待检测图像进行采样,获得多个平面采样待检测图像。
可选地,第二采样窗口数据还包括第二偏移补偿方向和第二偏移补偿量。
预处理模块302,具体用于:
将采样起点沿第二偏移补偿方向移动第二偏移补偿量,确定新的采样起点;
从新的采样起点开始,根据第二采样窗口形状、第二采样窗口尺寸和第二采样窗口移动顺序对平面待检测图像进行采样,获得多个平面采样待检测图像。
可选地,预处理模块302,具体用于:
响应于预设投影算法为立方体投影算法,确定多个立体采样图像中的立方体平面图像和立方体转角图像,对立方体转角图像进行展平处理,采用立方体平面图像和展平处理后的立方体转角图像构建平面采样图像集合;
响应于预设投影算法为球体投影算法,采用预设曲面校正算法对用多个立体采样图像进行曲面校正,并采用曲面校正后的多个立体采样图像构建平面采样图像集合。
可选地,非VR数据预设处理算法包括非VR数据内容审核算法、非VR数据技术审核算法、非VR数据内容监管算法。
处理模块303,具体用于:
将平面采样图像集合输入非VR数据内容审核算法,并将非VR数据内容审核算法的输出结果确定为待处理VR数据的内容审核结果;
将平面采样图像集合输入非VR数据技术审核算法,并将非VR数据技术审核算法的输出结果确定为待处理VR数据的技术审核结果;
将平面采样图像集合输入非VR数据内容监管算法,并将非VR数据内容监管算法的输出结果确定为待处理VR数据的内容监管结果。
可选地,VR数据处理装置300还包括生成模块。
其中,生成模块,用于响应于待处理VR内容的分发方式为流服务方式,录制待处理VR内容,生成待处理VR数据。
本申请实施例提供的VR数据处理装置300可以执行上述VR数据处理方法实施例所示的技术方案,其实现原理和技术效果类似,此处不再赘述。
图7为本申请实施例提供的电子设备的结构示意图,如图7所示,本申请实施例提供的电子设备400包括:处理器401,以及与处理器401通信连接的存储器402;存储器402存储计算机执行指令;处理器401执行存储器402存储的计算机执行指令,以实现上述任一项实施例的VR数据处理方法。
例如,当处理器401执行存储器402存储的计算机执行指令时,实现如下VR数据处理方法的步骤:
S10:根据预先存储的待处理VR数据获取平面待检测图像,待处理VR数据为采用预设投影算法对立体视野图像进行投影处理得到的数据;
S20:对平面待检测图像进行反投影处理和采样处理,获取平面采样图像集合;
S30:根据平面采样图像集合和非VR数据预设处理算法对待处理VR数据进行预设处理。
在图7对应的实施例中,程序可以包括程序代码,程序代码包括计算机执行指令。存储器402可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
其中,存储器402和处理器401通过总线连接。总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(PeripheralComponent Interconnect,简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
具体地,电子设备包括但不限于服务器、计算机、平板电脑、笔记本电脑等。
本申请实施例提供的电子设备400可以执行上述VR数据处理方法实施例所示的技术方案,其实现原理和技术效果类似,此处不再赘述。
本申请实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现上述任一项实施例的VR数据处理方法。
本申请实施例提供一种计算机程序产品,计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现上述任一项实施例的VR数据处理方法。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
进一步需要说明的是,虽然流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
应该理解,上述的装置实施例仅是示意性的,本申请的装置还可通过其它的方式实现。例如,上述实施例中单元/模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如,多个单元、模块或组件可以结合,或者可以集成到另一个系统,或一些特征可以忽略或不执行。
另外,若无特别说明,在本申请各个实施例中的各功能单元/模块可以集成在一个单元/模块中,也可以是各个单元/模块单独物理存在,也可以两个或两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
集成的单元/模块如果以硬件的形式实现时,该硬件可以是数字电路,模拟电路等等。硬件结构的物理实现包括但不局限于晶体管,忆阻器等等。若无特别说明,人工智能处理器可以是任何适当的硬件处理器,比如CPU、GPU、FPGA、DSP和ASIC等等。若无特别说明,存储单元可以是任何适当的磁存储介质或者磁光存储介质,比如,阻变式存储器RRAM(Resistive Random Access Memory)、动态随机存取存储器DRAM(Dynamic Random AccessMemory)、静态随机存取存储器SRAM(Static Random-Access Memory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、高带宽内存HBM(High-Bandwidth Memory)、混合存储立方HMC(Hybrid Memory Cube)等等。
集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

Claims (18)

1.一种VR数据处理方法,其特征在于,包括:
根据预先存储的待处理VR数据获取平面待检测图像,所述待处理VR数据为采用预设投影算法对立体视野图像进行投影处理得到的数据,所述预设投影算法为球体投影算法,所述立体视野图像为球形视野图像,或者,所述预设投影算法为立方体投影算法,所述立体视野图像为立方体视野图像;
对所述平面待检测图像进行反投影处理和采样处理,获取平面采样图像集合;
根据所述平面采样图像集合和非VR数据预设处理算法对所述待处理VR数据进行预设处理,所述非VR数据预设处理算法包括非VR数据内容审核算法、非VR数据技术审核算法、非VR数据内容监管算法。
2.根据权利要求1所述的方法,其特征在于,所述根据预先存储的待处理VR数据获取平面待检测图像,包括:
响应于所述待处理VR数据为单目VR静态图像,将所述单目VR静态图像确定为所述平面待检测图像;
响应于所述待处理VR数据为双目VR静态图像,根据所述双目VR静态图像的生成方式对所述双目VR静态图像进行视场分离处理,获取左眼VR静态图像和右眼VR静态图像;
将所述左眼VR静态图像和/或所述右眼VR静态图像确定为所述平面待检测图像。
3.根据权利要求1所述的方法,其特征在于,所述根据预先存储的待处理VR数据获取平面待检测图像,包括:
响应于所述待处理VR数据为VR视频,对所述VR视频进行解码处理,获取所述VR视频对应的多个图像帧;
根据多个所述图像帧确定所述平面待检测图像。
4.根据权利要求3所述的方法,其特征在于,所述根据多个所述图像帧确定所述平面待检测图像,包括:
将多个所述图像帧均确定为所述平面待检测图像;或,
按照预设帧数比例、或预设时间间隔、或预设帧间隔提取多个所述图像帧中的部分图像帧;
响应于所述VR视频为单目VR视频,将所述部分图像帧确定为所述平面待检测图像;
响应于所述VR视频为双目VR视频,根据所述双目VR视频的生成方式对所述部分图像帧进行视场分离处理,获取左眼图像帧和右眼图像帧,并将所述左眼图像帧和/或所述右眼图像帧确定为所述平面待检测图像。
5.根据权利要求1所述的方法,其特征在于,所述对所述平面待检测图像进行反投影处理和采样处理,获取平面采样图像集合,包括:
对所述平面待检测图像进行第一处理,获得第一处理后图像;
对所述第一处理后图像进行第二处理,获得多个立体采样图像;
根据多个所述立体采样图像获取所述平面采样图像集合;
所述第一处理为反投影处理或采样处理中的一个,所述第二处理为反投影处理或采样处理中的另一个。
6.根据权利要求5所述的方法,其特征在于,所述第一处理为反投影处理,所述第二处理为采样处理,所述第一处理后图像为立体待检测图像;
所述对所述平面待检测图像进行第一处理,获得第一处理后图像,包括:
根据所述预设投影算法对所述平面待检测图像进行所述反投影处理,获得所述立体待检测图像;
所述对所述第一处理后图像进行第二处理,获得多个立体采样图像,包括:
对所述立体待检测图像进行所述采样处理,获得多个所述立体采样图像。
7.根据权利要求6所述的方法,其特征在于,所述对所述立体待检测图像进行所述采样处理,获得多个立体采样图像,包括:
根据第一预设对应关系,确定所述预设投影算法对应的第一采样窗口数据,其中,所述第一预设对应关系包括多个预设投影算法及其对应的第一采样窗口数据,所述第一采样窗口数据包括第一采样窗口形状、第一采样窗口尺寸和第一采样窗口移动顺序;
将所述立体待检测图像中的一个像素点确定为采样起点,从所述采样起点开始,根据所述第一采样窗口形状、所述第一采样窗口尺寸和所述第一采样窗口移动顺序对所述立体待检测图像进行采样,获得多个所述立体采样图像。
8.根据权利要求7所述的方法,其特征在于,所述第一采样窗口数据还包括第一偏移补偿方向和第一偏移补偿量;
在所述从所述采样起点开始,根据所述第一采样窗口形状、所述第一采样窗口尺寸和所述第一采样窗口移动顺序对所述立体待检测图像进行采样之后,还包括:
将所述采样起点沿所述第一偏移补偿方向移动所述第一偏移补偿量,确定新的采样起点;
从所述新的采样起点开始,根据所述第一采样窗口形状、所述第一采样窗口尺寸和所述第一采样窗口移动顺序对所述立体待检测图像进行采样,获得多个所述立体采样图像。
9.根据权利要求5所述的方法,其特征在于,所述第一处理为采样处理,所述第二处理为反投影处理,所述第一处理后图像为平面采样待检测图像;
所述对所述平面待检测图像进行第一处理,获得第一处理后图像,包括:
对所述平面待检测图像进行所述采样处理,获得多个所述平面采样待检测图像;
所述对所述第一处理后图像进行第二处理,获得多个立体采样图像,包括:
根据所述预设投影算法对多个所述平面采样待检测图像进行所述反投影处理,获得多个所述立体采样图像。
10.根据权利要求9所述的方法,其特征在于,所述对所述平面待检测图像进行所述采样处理,获得多个所述平面采样待检测图像,包括:
根据第二预设对应关系,确定所述预设投影算法对应的第二采样窗口数据,其中,所述第二预设对应关系包括多个预设投影算法及其对应的第二采样窗口数据,所述第二采样窗口数据包括第二采样窗口形状、第二采样窗口尺寸和第二采样窗口移动顺序;
将所述平面待检测图像中的一个像素点确定为采样起点,从所述采样起点开始,根据所述第二采样窗口形状、所述第二采样窗口尺寸和所述第二采样窗口移动顺序对所述平面待检测图像进行采样,获得多个所述平面采样待检测图像。
11.根据权利要求10所述的方法,其特征在于,所述第二采样窗口数据还包括第二偏移补偿方向和第二偏移补偿量;
在所述从所述采样起点开始,根据所述第二采样窗口形状、所述第二采样窗口尺寸和所述第二采样窗口移动顺序对所述平面待检测图像进行采样之后,还包括:
将所述采样起点沿所述第二偏移补偿方向移动所述第二偏移补偿量,确定新的采样起点;
从所述新的采样起点开始,根据所述第二采样窗口形状、所述第二采样窗口尺寸和所述第二采样窗口移动顺序对所述平面待检测图像进行采样,获得多个所述平面采样待检测图像。
12.根据权利要求5所述的方法,其特征在于,所述根据多个所述立体采样图像获取所述平面采样图像集合,包括:
响应于所述预设投影算法为立方体投影算法,确定多个所述立体采样图像中的立方体平面图像和立方体转角图像,对所述立方体转角图像进行展平处理,采用所述立方体平面图像和展平处理后的立方体转角图像构建所述平面采样图像集合;
响应于所述预设投影算法为球体投影算法,采用预设曲面校正算法对用多个所述立体采样图像进行曲面校正,并采用曲面校正后的多个所述立体采样图像构建所述平面采样图像集合。
13.根据权利要求1-12中任一项所述的方法,其特征在于,所述根据所述平面采样图像集合和非VR数据预设处理算法对所述待处理VR数据进行预设处理,包括:
将所述平面采样图像集合输入所述非VR数据内容审核算法,并将所述非VR数据内容审核算法的输出结果确定为所述待处理VR数据的内容审核结果;
将所述平面采样图像集合输入所述非VR数据技术审核算法,并将所述非VR数据技术审核算法的输出结果确定为所述待处理VR数据的技术审核结果;
将所述平面采样图像集合输入所述非VR数据内容监管算法,并将所述非VR数据内容监管算法的输出结果确定为所述待处理VR数据的内容监管结果。
14.根据权利要求1-12中任一项所述的方法,其特征在于,在所述根据预先存储的待处理VR数据获取平面待检测图像之前,还包括:
响应于待处理VR内容的分发方式为流服务方式,录制所述待处理VR内容,生成所述待处理VR数据。
15.一种VR数据处理装置,其特征在于,包括:
获取模块,用于根据预先存储的待处理VR数据获取平面待检测图像,所述待处理VR数据为采用预设投影算法对立体视野图像进行投影处理得到的数据,所述预设投影算法为球体投影算法,所述立体视野图像为球形视野图像,或者,所述预设投影算法为立方体投影算法,所述立体视野图像为立方体视野图像;
预处理模块,用于对所述平面待检测图像进行反投影处理和采样处理,获取平面采样图像集合;
处理模块,用于根据所述平面采样图像集合和非VR数据预设处理算法对所述待处理VR数据进行预设处理,所述非VR数据预设处理算法包括非VR数据内容审核算法、非VR数据技术审核算法、非VR数据内容监管算法。
16.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-14中任一项所述的VR数据处理方法。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-14任一项所述的VR数据处理方法。
18.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-14中任一项所述的VR数据处理方法。
CN202310483868.0A 2023-04-28 2023-04-28 Vr数据处理方法、装置、设备、介质及产品 Active CN116540872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310483868.0A CN116540872B (zh) 2023-04-28 2023-04-28 Vr数据处理方法、装置、设备、介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310483868.0A CN116540872B (zh) 2023-04-28 2023-04-28 Vr数据处理方法、装置、设备、介质及产品

Publications (2)

Publication Number Publication Date
CN116540872A CN116540872A (zh) 2023-08-04
CN116540872B true CN116540872B (zh) 2024-06-04

Family

ID=87453600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310483868.0A Active CN116540872B (zh) 2023-04-28 2023-04-28 Vr数据处理方法、装置、设备、介质及产品

Country Status (1)

Country Link
CN (1) CN116540872B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000065461A1 (en) * 1999-04-22 2000-11-02 Fraunhofer Center For Research In Computer Graphics, Inc. Tools for interacting with virtual environments
TW200741584A (en) * 2006-04-18 2007-11-01 Iner Aec Executive Yuan Image reconstruction method for structuring two-dimensional planar imaging into three-dimension imaging
CN101802873A (zh) * 2007-06-29 2010-08-11 帝国创新技术有限公司 增强现实的非真实感绘制
CN103810754A (zh) * 2014-03-04 2014-05-21 姜卫剑 医用图像处理方法
WO2018048287A1 (ko) * 2016-09-12 2018-03-15 삼성전자 주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
CN108012153A (zh) * 2016-10-17 2018-05-08 联发科技股份有限公司 一种编解码方法及装置
CN109429561A (zh) * 2017-06-23 2019-03-05 联发科技股份有限公司 沉浸式视频编解码中的运动矢量推导的方法及装置
CN109952760A (zh) * 2016-12-30 2019-06-28 谷歌有限责任公司 多视图场景流拼接
CN110111262A (zh) * 2019-03-29 2019-08-09 北京小鸟听听科技有限公司 一种投影仪畸变校正方法、装置和投影仪
CN111354083A (zh) * 2020-02-21 2020-06-30 中国电建集团昆明勘测设计研究院有限公司 一种基于原始激光点云的递进式建筑物提取方法
CN111580661A (zh) * 2020-05-09 2020-08-25 维沃移动通信有限公司 交互方法和增强现实设备
CN113191841A (zh) * 2021-04-28 2021-07-30 张鹏 基于增强现实技术的科技创新与文化共享智能平台模式方法
CN113506082A (zh) * 2021-06-17 2021-10-15 沈阳新松虚拟现实产业技术研究院有限公司 一种基于vr的数字化工厂生产线的监管方法及系统
CN113902932A (zh) * 2021-10-22 2022-01-07 Oppo广东移动通信有限公司 特征提取方法、视觉定位方法及装置、介质和电子设备
CN114648498A (zh) * 2022-03-04 2022-06-21 惠州Tcl移动通信有限公司 一种虚像内容度量方法、装置、电子设备和存储介质
CN114758296A (zh) * 2022-04-19 2022-07-15 国网湖北省电力有限公司黄石供电公司 一种基于vr技术的电网设备远程监测方法及系统
CN115240043A (zh) * 2022-07-21 2022-10-25 深兰人工智能(深圳)有限公司 数据处理方法、装置、电子设备及可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9282321B2 (en) * 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US10977859B2 (en) * 2017-11-24 2021-04-13 Frederic Bavastro Augmented reality method and system for design

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000065461A1 (en) * 1999-04-22 2000-11-02 Fraunhofer Center For Research In Computer Graphics, Inc. Tools for interacting with virtual environments
TW200741584A (en) * 2006-04-18 2007-11-01 Iner Aec Executive Yuan Image reconstruction method for structuring two-dimensional planar imaging into three-dimension imaging
CN101802873A (zh) * 2007-06-29 2010-08-11 帝国创新技术有限公司 增强现实的非真实感绘制
CN103810754A (zh) * 2014-03-04 2014-05-21 姜卫剑 医用图像处理方法
WO2018048287A1 (ko) * 2016-09-12 2018-03-15 삼성전자 주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
CN108012153A (zh) * 2016-10-17 2018-05-08 联发科技股份有限公司 一种编解码方法及装置
CN109952760A (zh) * 2016-12-30 2019-06-28 谷歌有限责任公司 多视图场景流拼接
CN109429561A (zh) * 2017-06-23 2019-03-05 联发科技股份有限公司 沉浸式视频编解码中的运动矢量推导的方法及装置
CN110111262A (zh) * 2019-03-29 2019-08-09 北京小鸟听听科技有限公司 一种投影仪畸变校正方法、装置和投影仪
CN111354083A (zh) * 2020-02-21 2020-06-30 中国电建集团昆明勘测设计研究院有限公司 一种基于原始激光点云的递进式建筑物提取方法
CN111580661A (zh) * 2020-05-09 2020-08-25 维沃移动通信有限公司 交互方法和增强现实设备
CN113191841A (zh) * 2021-04-28 2021-07-30 张鹏 基于增强现实技术的科技创新与文化共享智能平台模式方法
CN113506082A (zh) * 2021-06-17 2021-10-15 沈阳新松虚拟现实产业技术研究院有限公司 一种基于vr的数字化工厂生产线的监管方法及系统
CN113902932A (zh) * 2021-10-22 2022-01-07 Oppo广东移动通信有限公司 特征提取方法、视觉定位方法及装置、介质和电子设备
CN114648498A (zh) * 2022-03-04 2022-06-21 惠州Tcl移动通信有限公司 一种虚像内容度量方法、装置、电子设备和存储介质
CN114758296A (zh) * 2022-04-19 2022-07-15 国网湖北省电力有限公司黄石供电公司 一种基于vr技术的电网设备远程监测方法及系统
CN115240043A (zh) * 2022-07-21 2022-10-25 深兰人工智能(深圳)有限公司 数据处理方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN116540872A (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
US10484664B2 (en) Mapping of spherical image data into rectangular faces for transport and decoding across networks
US9179124B2 (en) Method and apparatus for generating stereoscopic image data stream by using camera parameter, and method and apparatus for restoring stereoscopic image by using camera parameter
US10158846B2 (en) Pseudo-3d forced perspective methods and devices
US20180027181A1 (en) Method to capture, store, distribute, share, stream and display panoramic image or video
US20140340404A1 (en) Method and apparatus for generating 3d free viewpoint video
KR20170031700A (ko) 완전 시차 광 필드 압축을 위한 전처리기
US20100266198A1 (en) Apparatus, method, and medium of converting 2D image 3D image based on visual attention
CA2927046A1 (en) Method and system for 360 degree head-mounted display monitoring between software program modules using video or image texture sharing
WO2016045425A1 (zh) 一种两视点立体图像合成方法及系统
US10037335B1 (en) Detection of 3-D videos
US20120105601A1 (en) Apparatus and method for creating three-dimensional panoramic image by using single camera
WO2017185761A1 (zh) 2d视频播放方法及装置
WO2011014421A2 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
CN111091491B (zh) 一种等距圆柱投影的全景视频像素再分配方法及系统
WO2024082933A1 (zh) 视频处理方法、装置、电子设备及存储介质
CN116540872B (zh) Vr数据处理方法、装置、设备、介质及产品
US8599240B2 (en) Super-resolution from 3D (3D to 2D conversion) for high quality 2D playback
CN110198457B (zh) 视频播放方法及其设备、系统、存储介质、终端、服务器
WO2023280266A1 (zh) 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法
Marton et al. A real-time coarse-to-fine multiview capture system for all-in-focus rendering on a light-field display
CN114040184A (zh) 图像显示方法、系统、存储介质及计算机程序产品
CN108683842B (zh) 一种全景相机及输出全景视频的方法和装置
EP4319150A1 (en) 3d format image detection method and electronic apparatus using the same method
CN112004162B (zh) 一种在线3d内容播放系统及方法
WO2024093893A1 (zh) 空间现实显示方法、空间现实显示系统以及非易失性计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant