CN106600703A - 基于虚拟现实设备的图像处理方法及装置 - Google Patents

基于虚拟现实设备的图像处理方法及装置 Download PDF

Info

Publication number
CN106600703A
CN106600703A CN201611052187.5A CN201611052187A CN106600703A CN 106600703 A CN106600703 A CN 106600703A CN 201611052187 A CN201611052187 A CN 201611052187A CN 106600703 A CN106600703 A CN 106600703A
Authority
CN
China
Prior art keywords
model
scene
image
place
cone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611052187.5A
Other languages
English (en)
Inventor
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Original Assignee
Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yulong Computer Telecommunication Scientific Shenzhen Co Ltd filed Critical Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Priority to CN201611052187.5A priority Critical patent/CN106600703A/zh
Publication of CN106600703A publication Critical patent/CN106600703A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种基于虚拟现实设备的图像处理方法及装置,所述方法包括:确定视点位置和视线方向;根据所述视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定对应的视锥区域内的场景模型;采用遮挡剔除算法在所述视锥区域内的场景模型中查找可见性为可见的场景模型作为目标场景模型,根据所述目标场景模型生成虚拟场景图像;显示所述虚拟场景图像。采用本发明,可提高图像处理器的处理效率。

Description

基于虚拟现实设备的图像处理方法及装置
技术领域
本发明涉及计算机技术领域,主要涉及了一种基于虚拟现实设备的图像处理方法及装置。
背景技术
VR(Virtual Reality,虚拟现实技术)又称灵境技术,是以沉浸性、交互性和构想性为基本特征的计算机高级人机界面。它综合利用了计算机图形学、仿真技术、多媒体技术、人工智能技术、计算机网络技术、并行处理技术和多传感器技术,模拟人的视觉、听觉、触觉等感觉器官功能,使人能够沉浸在计算机生成的虚拟境界中,并能够通过语言、手势、鼠标和键盘等方式与之进行实时交互,创建了一种适人化的多维信息空间,是一项发展中的、具有深远的潜在应用方向的新技术。
随着VR的发展对于GPU(Graphic Processing Unit,图形处理器)的处理效率要求越来越高,当GPU处理效率低时图像的渲染速度跟不上用户头动和视野的移动速度造成图像的延迟,研究表明,头动和视野的延迟不能超过20ms,否则会有很明显的拖影感,长时间的拖影感易造成头晕现象。
在传统的虚拟现实技术中,头戴式显示器是一个重要硬件设备,它实时的获取用户头部朝向,并在显示屏上将该方向上的景物呈现在用户眼前。在这个过程中,图形处理器首先从离视线最远的物体开始渲染,然后渲染靠近视线的物体并覆盖先前渲染的物体,或者对所有对象进行图像渲染,再根据渲染图像的可见性覆盖可见性为不可见的物体,这就造成重复渲染的问题,并浪费了图形处理器资源,降低了图像处理器的处理效率。
发明内容
基于此,为克服图形处理器资源浪费造成的处理效率低和视觉效果差的技术问题,特提出了一种基于虚拟现实设备的图像处理方法。
一种基于虚拟现实设备的图像处理方法,包括:
确定视点位置和视线方向;
根据所述视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定对应的视锥区域内的场景模型;
采用遮挡剔除算法在所述视锥区域内的场景模型中查找可见性为可见的场景模型作为目标场景模型,根据所述目标场景模型生成虚拟场景图像;
显示所述虚拟场景图像。
在其中一个实施例中,所述确定视点位置和视线方向包括:通过定位装置确定虚拟现实设备的所述视点位置;通过陀螺仪传感器检测所述虚拟现实设备的转动角度,根据所述转动角度确定所述视线方向。
在其中一个实施例中,所述根据所述视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定对应的视锥区域内的场景模型还包括:根据所述视点位置和视线方向以及视锥剔除算法计算得到所述视锥区域的水平方向、垂直方向和缩放大小,在预设的全局场景模型中查找满足所述视锥区域的水平方向、垂直方向和缩放大小的场景模型作为所述视锥区域内的场景模型。
在其中一个实施例中,所述根据所述目标场景模型生成虚拟场景图像还包括:获取显示屏的分辨率,将所述虚拟场景图像的分辨率设置为所述显示屏的分辨率。
在其中一个实施例中,所述根据视点位置和视线方向在预设的全局场景模型中确定对应的视锥区域还包括:获取所述视锥区域对应的预设图像,生成遮挡层,在所述遮挡层上显示所述预设图像;所述根据所述目标场景模型生成虚拟场景图像之后,移除所述遮挡层,显示所述虚拟场景图像。
此外,为克服图形处理器资源浪费造成的处理效率低和视觉效果差的技术问题,特提出了一种基于虚拟现实设备的图像处理装置。
一种基于虚拟现实设备的图像处理装置,包括:
场景视角确定模块,用于确定视点位置和视线方向;
场景模型确定模块,用于根据所述视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定对应的视锥区域内的场景模型;
场景图像生成模块,用于采用遮挡剔除算法在所述视锥区域内的场景模型中查找可见性为可见的场景模型作为目标场景模型,根据所述目标场景模型生成虚拟场景图像;
场景图像显示模块,用于显示所述虚拟场景图像。
在其中一个实施例中,所述场景视角确定模块还用于通过定位装置确定虚拟现实设备的所述视点位置;通过陀螺仪传感器检测所述虚拟现实设备的转动角度,根据所述转动角度确定所述视线方向。
在其中一个实施例中,所述场景模型确定模块还用于根据所述视点位置和视线方向以及视锥剔除算法计算得到所述视锥区域的水平方向、垂直方向和缩放大小,在预设的全局场景模型中查找满足所述视锥区域的水平方向、垂直方向和缩放大小的场景模型作为所述视锥区域内的场景模型。
在其中一个实施例中,所述场景图像生成模块还用于获取显示屏的分辨率,将所述虚拟场景图像的分辨率设置为所述显示屏的分辨率。
在其中一个实施例中,所述场景图像显示模块还用于获取所述视锥区域对应的预设图像,生成遮挡层,在所述遮挡层上显示所述预设图像;所述根据所述目标场景模型生成虚拟场景图像之后,移除所述遮挡层,显示所述虚拟场景图像。
实施本发明实施例,将具有如下有益效果:
采用了上述基于虚拟现实设备的图像处理方法及装置之后,当检测到用户佩戴的虚拟现实设备发生转动操作后,确定用户的视点位置和视线方向,结合视锥剔除算法确定与视点位置和视线方向对应的视锥区域。由于视锥剔除算法将视锥区域外的模型剔除得到视锥区域内的模型,然后采用遮挡剔除算法将视锥区域内的场景模型的可见性为不可见的场景模型剔除得到可见的场景模型作为目标场景模型,将目标场景模型生成虚拟场景图像,最后将虚拟场景图像显示出来。整个过程中剔除了视锥体外的场景模型和视锥体内可见性为不可见的场景模型,将视锥区域内可见性为可见的场景模型进行渲染生成虚拟场景图像,从而提高了图像处理器的处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为本发明实施例提供的一种虚拟现实设备的组成示意图;
图2为本发明实施例提供的另一种虚拟现实设备的组成示意图;
图3为本发明实施例提供的一种基于虚拟现实设备的图像处理方法的流程图;
图4为本发明实施例提供的一种全局场景模型示意图;
图5为本发明实施例提供的一种视锥区域的示意图;
图6为本发明实施例提供的一种采用视锥剔除算法的场景模型示意图;
图7为本发明实施例提供的一种采用遮挡剔除算法的场景模型示意图;
图8为本发明实施例提供的一种基于虚拟现实设备的图像处理装置的结构图;
图9为一个实施例中运行基于虚拟现实设备的图像处理方法的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为克服图形处理器资源浪费造成的处理效率低和视觉效果差的技术问题,特提出了一种基于虚拟现实设备的图像处理方法。该方法的实现可依赖于计算机程序,该计算机程序可运行于基于冯诺依曼体系的计算机系统之上,该计算机程序可运行于虚拟现实设备的头戴式可视设备(HMD,Head Mount Display)上或者与头戴式可视设备连接的计算机主机之上。
如图1所示,在图1中,HMD设备上连接有可运行计算机程序的计算机主机设备A,该计算机主机基于冯诺依曼体系的计算机系统,HMD设备B1作为该计算机设备的显示设备,上述基于头戴式可视设备的图像处理方法可运行于该计算机主机上。在其他实施例中,如图2所示,运行上述基于头戴式可视设备的图像处理方法的计算机主机也可集成到HMD设备中,上述基于头戴式可视设备的图像处理方法可运行于该HMD设备上。
具体的,如图3所示,一种基于虚拟现实设备的图像处理方法,包括:
步骤S102:确定视点位置和视线方向。
在虚拟技术中,用户需要佩戴HMD设备,该设备通常为头盔、眼镜或眼罩。其内设置有显示屏,用户在佩戴后,该HMD设备的显示屏则位于用户的双眼正前方。用户在想选择的目标上停留,虚拟技术依据陀螺仪传感器获取的移动视角中心,确定视点位置和视线方向,使得用户的视野完全被显示屏展示的图像覆盖,从而形成使用户置身于虚拟的场景中。具体的:通过定位装置确定虚拟现实设备的视点位置;通过陀螺仪传感器检测虚拟现实设备的转动角度,根据所述转动角度确定视线方向。
虚拟现实设备上的定位装置可确定虚拟现实设备的视点位置,初始视点位置通常为开机或应用启动时的位置。通常陀螺仪传感器为三轴陀螺仪,陀螺仪可同时测定6个方向的位置、移动轨迹、转动角度和加速度,所测的方向和位置是立体的。虚拟现实设备上的陀螺仪传感器可检测虚拟现实设备的转动角度,由转动角度确定视线方向。
如图4所示,视点位置为E点的坐标点为(234,358),其中EF方向为原始的视线方向,转动角度为80度,即为EF′为所表示的转动之后的视线方向。
步骤S104:根据所述视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定对应的视锥区域内的场景模型。
全局场景模型是对虚拟现实中的具体物体进行建模,例如一个居家的虚拟现实图像中,包含餐桌、沙发、电视和茶几等物体,将这些物体进行合理的建模保存在全局场景模型中,通过对场景模型的还原绘制得到虚拟场景图像。
如图4所示的全局场景模型中,视点位置为E点的坐标点为(234,358),转动角度为80度,EF方向为原始的视线方向,EF′为所表示的转动之后的视线方向,其中包含编号为1、2、3、4的四个场景模型。
视锥剔除算法是指通过坐标转换为世界矩阵、观察矩阵和投影矩阵得到视锥区域,将不在视锥区域内的场景模型剔除,剔除后就能减少处理场景模型的数量,能够大大减少后续处理阶段(如几何变换阶段和光栅化阶段)的计算量。其中,世界坐标系转换将顶点从几何模型坐标系移到世界坐标系中。所有顶点在转换到世界坐标系后,观察坐标系转换将其从世界坐标系转换为观察坐标系中。在观察坐标系内,观测者将站在原点(或者说以观测者为原点),透视的方向即是Z轴方向,即观察方向为Z轴方向。投影坐标系转换即是将定点转换为3D坐标系,顶点的X和Y坐标是根据在3D空间中的X/Z和Y/Z的比率获得的。如图5所示,以视点位置E点为顶点,视线方向EF′为观测方向,经过坐标转换得到世界矩阵、观察矩阵和投影矩阵后,可得到视锥区域。
在一个场景中,由于每一个场景模型都有其自己的大小,方向和位置,所以每一个场景模型都有它的世界矩阵、观察矩阵以及投影矩阵。也就是说,可根据场景模型的水平方向、垂直方向和缩放大小计算场景模型的世界矩阵、观察矩阵以及投影矩阵,从而判断视锥区域内的场景模型。具体的:根据所述视点位置和视线方向以及视锥剔除算法计算得到所述视锥区域的水平方向、垂直方向和缩放大小,在预设的全局场景模型中查找满足所述视锥区域的水平方向、垂直方向和缩放大小的场景模型作为所述视锥区域内的场景模型。
根据视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定视锥区域内的场景模型,也就是说根据视点方向和视线方向在全局场景模型中确定视锥区域和视锥区域内的场景模型,它有上、下、左、右、近、远,共6个面组成。也就是说,在全局场景模型中保留视锥区域内的场景模型,反之删除,减少图像处理器的绘制对象,从而提高图像处理器的处理效率。
如图5所示的视锥区域示意图,朝着视点位置E向视线方向EF′描绘的图像偏离线夹角与两个裁剪面定义的截棱锥为视锥体,也就是虚线所描述的截棱锥为视锥体,视锥体所覆盖的区域为视锥区域,可以看出编号1和编号2的场景模型在视锥区域内,而编号3和编号4的场景模型不在视锥区域内。则经过视锥剔除算法后得到的场景模型示意图如图6所示,剔除了编号3和编号4的场景模型,视锥区域内只有编号1和编号2的场景模型。
步骤S106:采用遮挡剔除算法在所述视锥区域内的场景模型中查找可见性为可见的场景模型作为目标场景模型,根据所述目标场景模型生成虚拟场景图像。
遮挡剔除不同于视锥体剔除,视锥体剔除只是不渲染视角范围外的物体而对于被其他物体遮挡依然在视角范围内的物体,则不会被剔除。进一步的,获取可见对象集的层级视图中的场景模型,也就是获取视锥区域内的场景模型的可见性,从而确定可见的和不可见的场景模型,对目标场景模型进行渲染,确保仅渲染可见对象从而减少绘制调用的次数,提高图像处理器的处理效率。需要说明的是,目标场景模型至少包括一个以上的场景模型。
已知图6为视锥剔除的场景示意图,视锥区域内包含编号1和编号2的场景模型。而如图5所示的视锥区域示意图中,编号1和编号2的场景模型在视锥区域内,且编号1的场景模型完全被编号2的场景模型遮挡,则编号1的场景模型的可见性为不可见,编号2的场景模型的可见性为可见,所以编号2的场景模型作为目标场景模型。则经过遮挡剔除算法后得到的场景模型示意图如图7所示,视锥区域内只有编号2的场景模型,即编号2的场景模型为目标场景模型,获取目标场景模型的信息进行绘制即可生成虚拟场景图像。
进一步的,将虚拟场景图像的分辨率设置为显示屏的分辨率,提高图像品质和图像处理器的处理效率。具体的,获取显示屏的分辨率,将所述虚拟场景图像的分辨率设置为所述显示屏的分辨率。优选的显示屏分辨率应大于或等于1080P。
此外,还可以虚拟场景图像的图片保存为.jpg格式,由于.jpg格式支持有损压缩,提高虚拟场景图像的压缩率缩小图片的占用内存,从而图像处理器的处理效率。
优选的,在生成虚拟场景图像前添加一个遮挡层,在遮挡层上展示视锥区域对应的预设图像。由于通常情况下,快速移动可造成加载不及时出现页面空白、延迟或者卡死的情况。而在遮挡层上展示预设图像,页面不会出现上述情况,当虚拟场景图像生成后,移除遮挡层,展示虚拟场景图像,提高浏览效果,为图像处理器渲染图像提供必要的时间。
具体的:获取所述视锥区域对应的预设图像,生成遮挡层,在所述遮挡层上显示所述预设图像;在所述根据所述目标场景模型生成虚拟场景图像之后,移除所述遮挡层,显示所述虚拟场景图像。
需要说明的是,可见性判断并不仅仅是一个简单的遮挡关系判断问题。由于场景规模的增大产生了计算复杂度与稳定性问题,不仅需要考虑交互的实时性,而且还要考虑画面的质量与稳定性,因此很多因素影响可见性判断。例如当存在运动的场景模型时,场景模型之间的遮挡关系时刻发生变化。
步骤S108:显示所述虚拟场景图像。
当用户佩戴虚拟现实设备头部偏移后,确定用户的视点位置和视线方向,从而确定与视点位置和视线方向对应的视锥区域,剔除了不需要渲染的视锥体外模型和不可见模型,将视锥区域内的可见模型进行渲染生成虚拟场景图像,从而提高了图像处理器的处理效率。
为克服图形处理器资源浪费造成的处理效率低和视觉效果差的技术问题,特提出了一种基于虚拟现实设备的图像处理装置。如图8所示,上述基于虚拟现实设备的图像处理装置包括场景视角确定模块102、场景模型获取模块104、场景图像生成模块106以及场景图像显示模块108,其中:
场景视角确定模块102,用于确定视点位置和视线方向;
场景模型确定模块104,用于根据所述视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定对应的视锥区域内的场景模型;
场景图像生成模块106,用于采用遮挡剔除算法在所述视锥区域内的场景模型中查找可见性为可见的场景模型作为目标场景模型,根据所述目标场景模型生成虚拟场景图像;
场景图像显示模块108,用于显示所述虚拟场景图像。
在其中一个实施例中,所述场景视角确定模块102还用于通过定位装置确定虚拟现实设备的所述视点位置;通过陀螺仪传感器检测所述虚拟现实设备的转动角度,根据所述转动角度确定所述视线方向。
在其中一个实施例中,所述场景模型确定模块104还用于根据所述视点位置和视线方向以及视锥剔除算法计算得到所述视锥区域的水平方向、垂直方向和缩放大小,在预设的全局场景模型中查找满足所述视锥区域的水平方向、垂直方向和缩放大小的场景模型作为所述视锥区域内的场景模型。
在其中一个实施例中,所述场景图像生成模块106还用于获取显示屏的分辨率,将所述虚拟场景图像的分辨率设置为所述显示屏的分辨率。
在其中一个实施例中,所述场景图像显示模块108还用于获取所述视锥区域对应的预设图像,生成遮挡层,在所述遮挡层上显示所述预设图像;所述根据所述目标场景模型生成虚拟场景图像之后,移除所述遮挡层,显示所述虚拟场景图像。
实施本发明实施例,将具有如下有益效果:
采用了上述基于虚拟现实设备的图像处理方法及装置之后,当检测到用户佩戴的虚拟现实设备发生转动操作后,确定用户的视点位置和视线方向,结合视锥剔除算法确定与视点位置和视线方向对应的视锥区域。由于视锥剔除算法将视锥区域外的模型剔除得到视锥区域内的模型,然后采用遮挡剔除算法将视锥区域内的场景模型的可见性为不可见的场景模型剔除得到可见的场景模型作为目标场景模型,将目标场景模型生成虚拟场景图像,最后将虚拟场景图像显示出来。整个过程中剔除了视锥体外的场景模型和视锥体内可见性为不可见的场景模型,将视锥区域内可见性为可见的场景模型进行渲染生成虚拟场景图像,从而提高了图像处理器的处理效率。
在一个实施例中,如图9所示,图9展示了一种运行基于虚拟现实设备的图像处理方法基于冯诺依曼体系的计算机系统的虚拟现实设备。该计算机系统可以是VR设备的主机设备或是集成了主机功能的VR头戴式显示设备。具体的,可包括通过系统总线连接的外部输入接口1001、处理器1002、存储器1003和输出接口1004。其中,外部输入接口1001可选的可至少包括网络接口10012、定位装置10014和陀螺仪传感器10016;存储器1003可包括外存储器10032(例如硬盘、光盘或软盘等)和内存储器10034;输出接口1004可至少包括显示屏10042等设备。
在本实施例中,本方法的运行基于计算机程序,该计算机程序的程序文件存储于前述基于冯诺依曼体系的计算机系统的外存储器10032中,在运行时被加载到内存储器10034中,然后被编译为机器码之后传递至处理器1002中执行,从而使得基于冯诺依曼体系的计算机系统中形成逻辑上的场景视角确定模块102、场景模型获取模块104、场景图像生成模块106以及场景图像显示模块108。且在上述基于虚拟现实设备的图像处理方法执行过程中,输入的参数均通过外部输入接口1001接收,并传递至存储器1003中缓存,然后输入到处理器1002中进行处理,处理的结果数据或缓存于存储器1003中进行后续地处理,或被传递至输出接口1004进行输出。
具体的,上述外部输入接口1001用于确定视点位置和视线方向;
上述处理器1002用于根据所述视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定对应的视锥区域内的场景模型;
上述处理器1002还用于采用遮挡剔除算法在所述视锥区域内的场景模型中查找可见性为可见的场景模型作为目标场景模型,根据所述目标场景模型生成虚拟场景图像;
上述输出接口1004中的显示屏10042用于显示所述虚拟场景图像。
在可选实施例中,在上述外部输入接口1001中的定位装置10014用于通过定位装置确定虚拟现实设备的所述视点位置,上述外部输入接口1001中的陀螺仪传感器10016用于通过陀螺仪传感器检测所述虚拟现实设备的转动角度,根据所述转动角度确定所述视线方向。
在可选实施例中,上述处理器1002还用于根据所述视点位置和视线方向以及视锥剔除算法计算得到所述视锥区域的水平方向、垂直方向和缩放大小,在预设的全局场景模型中查找满足所述视锥区域的水平方向、垂直方向和缩放大小的场景模型作为所述视锥区域内的场景模型。
在可选实施例中,上述处理器1002还用于获取显示屏的分辨率,将所述虚拟场景图像的分辨率设置为所述显示屏的分辨率。
在可选实施例中,上述处理器1002还用于获取所述视锥区域对应的预设图像,生成遮挡层;上述输出接口1004中的显示屏10042还用于在所述遮挡层上显示所述预设图像,所述根据所述目标场景模型生成虚拟场景图像之后,移除所述遮挡层,显示所述虚拟场景图像。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种基于虚拟现实设备的图像处理方法,其特征在于,包括:
确定视点位置和视线方向;
根据所述视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定对应的视锥区域内的场景模型;
采用遮挡剔除算法在所述视锥区域内的场景模型中查找可见性为可见的场景模型作为目标场景模型,根据所述目标场景模型生成虚拟场景图像;
显示所述虚拟场景图像。
2.根据权利要求1所述的基于虚拟现实设备的图像处理方法,其特征在于,所述确定视点位置和视线方向包括:
通过定位装置确定虚拟现实设备的所述视点位置;
通过陀螺仪传感器检测所述虚拟现实设备的转动角度,根据所述转动角度确定所述视线方向。
3.根据权利要求1所述的基于虚拟现实设备的图像处理方法,其特征在于,所述根据所述视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定对应的视锥区域内的场景模型还包括:
根据所述视点位置和视线方向以及视锥剔除算法计算得到所述视锥区域的水平方向、垂直方向和缩放大小,在预设的全局场景模型中查找满足所述视锥区域的水平方向、垂直方向和缩放大小的场景模型作为所述视锥区域内的场景模型。
4.根据权利要求1所述的基于虚拟现实设备的图像处理方法,其特征在于,所述根据所述目标场景模型生成虚拟场景图像还包括:
获取显示屏的分辨率,将所述虚拟场景图像的分辨率设置为所述显示屏的分辨率。
5.根据权利要求1所述的基于虚拟现实设备的图像处理方法,其特征在于,所述根据视点位置和视线方向在预设的全局场景模型中确定对应的视锥区域还包括:
获取所述视锥区域对应的预设图像,生成遮挡层,在所述遮挡层上显示所述预设图像;
所述根据所述目标场景模型生成虚拟场景图像之后,移除所述遮挡层,显示所述虚拟场景图像。
6.一种基于虚拟现实设备的图像处理装置,其特征在于,包括:
场景视角确定模块,用于确定视点位置和视线方向;
场景模型确定模块,用于根据所述视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定对应的视锥区域内的场景模型;
场景图像生成模块,用于采用遮挡剔除算法在所述视锥区域内的场景模型中查找可见性为可见的场景模型作为目标场景模型,根据所述目标场景模型生成虚拟场景图像;
场景图像显示模块,用于显示所述虚拟场景图像。
7.根据权利要求6所述的基于虚拟现实设备的图像处理装置,其特征在于,所述场景视角确定模块还用于通过定位装置确定虚拟现实设备的所述视点位置;通过陀螺仪传感器检测所述虚拟现实设备的转动角度,根据所述转动角度确定所述视线方向。
8.根据权利要求6所述的基于虚拟现实设备的图像处理装置,其特征在于,所述场景模型确定模块还用于根据所述视点位置和视线方向以及视锥剔除算法计算得到所述视锥区域的水平方向、垂直方向和缩放大小,在预设的全局场景模型中查找满足所述视锥区域的水平方向、垂直方向和缩放大小的场景模型作为所述视锥区域内的场景模型。
9.根据权利要求6所述的基于虚拟现实设备的图像处理装置,其特征在于,所述场景图像生成模块还用于获取显示屏的分辨率,将所述虚拟场景图像的分辨率设置为所述显示屏的分辨率。
10.根据权利要求6所述的基于虚拟现实设备的图像处理装置,其特征在于,所述场景图像显示模块还用于获取所述视锥区域对应的预设图像,生成遮挡层,在所述遮挡层上显示所述预设图像;所述根据所述目标场景模型生成虚拟场景图像之后,移除所述遮挡层,显示所述虚拟场景图像。
CN201611052187.5A 2016-11-22 2016-11-22 基于虚拟现实设备的图像处理方法及装置 Pending CN106600703A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611052187.5A CN106600703A (zh) 2016-11-22 2016-11-22 基于虚拟现实设备的图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611052187.5A CN106600703A (zh) 2016-11-22 2016-11-22 基于虚拟现实设备的图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN106600703A true CN106600703A (zh) 2017-04-26

Family

ID=58593231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611052187.5A Pending CN106600703A (zh) 2016-11-22 2016-11-22 基于虚拟现实设备的图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN106600703A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610233A (zh) * 2017-09-15 2018-01-19 中国人民解放军63816部队 一种基于实景的仿真场景构建方法
CN107958478A (zh) * 2017-12-15 2018-04-24 歌尔科技有限公司 虚拟现实场景中物体的渲染方法和虚拟现实头戴设备
CN108038816A (zh) * 2017-12-20 2018-05-15 浙江煮艺文化科技有限公司 一种虚拟现实图像处理装置及方法
CN110264393A (zh) * 2019-05-15 2019-09-20 联想(上海)信息技术有限公司 一种信息处理方法、终端和存储介质
CN110488981A (zh) * 2019-08-28 2019-11-22 长春理工大学 基于云渲染的手机端vr场景交互式显示方法
CN111124128A (zh) * 2019-12-24 2020-05-08 Oppo广东移动通信有限公司 位置提示方法及相关产品
CN115035215A (zh) * 2021-03-04 2022-09-09 腾讯科技(深圳)有限公司 一种图像处理方法、装置和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419721A (zh) * 2008-10-30 2009-04-29 上海大学 一种基于视域剔除的复杂室内场景快速绘制方法
CN102831631A (zh) * 2012-08-23 2012-12-19 上海创图网络科技发展有限公司 一种大规模三维动画的渲染方法及渲染装置
CN202771491U (zh) * 2012-08-23 2013-03-06 上海创图网络科技发展有限公司 一种大规模三维动画的渲染装置
CN105894566A (zh) * 2015-12-01 2016-08-24 乐视致新电子科技(天津)有限公司 模型渲染方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419721A (zh) * 2008-10-30 2009-04-29 上海大学 一种基于视域剔除的复杂室内场景快速绘制方法
CN102831631A (zh) * 2012-08-23 2012-12-19 上海创图网络科技发展有限公司 一种大规模三维动画的渲染方法及渲染装置
CN202771491U (zh) * 2012-08-23 2013-03-06 上海创图网络科技发展有限公司 一种大规模三维动画的渲染装置
CN105894566A (zh) * 2015-12-01 2016-08-24 乐视致新电子科技(天津)有限公司 模型渲染方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610233A (zh) * 2017-09-15 2018-01-19 中国人民解放军63816部队 一种基于实景的仿真场景构建方法
CN107958478A (zh) * 2017-12-15 2018-04-24 歌尔科技有限公司 虚拟现实场景中物体的渲染方法和虚拟现实头戴设备
CN107958478B (zh) * 2017-12-15 2022-05-03 歌尔光学科技有限公司 虚拟现实场景中物体的渲染方法和虚拟现实头戴设备
CN108038816A (zh) * 2017-12-20 2018-05-15 浙江煮艺文化科技有限公司 一种虚拟现实图像处理装置及方法
CN110264393A (zh) * 2019-05-15 2019-09-20 联想(上海)信息技术有限公司 一种信息处理方法、终端和存储介质
CN110264393B (zh) * 2019-05-15 2023-06-23 联想(上海)信息技术有限公司 一种信息处理方法、终端和存储介质
CN110488981A (zh) * 2019-08-28 2019-11-22 长春理工大学 基于云渲染的手机端vr场景交互式显示方法
CN110488981B (zh) * 2019-08-28 2022-08-23 长春理工大学 基于云渲染的手机端vr场景交互式显示方法
CN111124128A (zh) * 2019-12-24 2020-05-08 Oppo广东移动通信有限公司 位置提示方法及相关产品
CN115035215A (zh) * 2021-03-04 2022-09-09 腾讯科技(深圳)有限公司 一种图像处理方法、装置和计算机可读存储介质
CN115035215B (zh) * 2021-03-04 2024-07-26 腾讯科技(深圳)有限公司 一种图像处理方法、装置和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN106600703A (zh) 基于虚拟现实设备的图像处理方法及装置
US11580705B2 (en) Viewpoint dependent brick selection for fast volumetric reconstruction
Duchowski et al. Binocular eye tracking in virtual reality for inspection training
JP5592011B2 (ja) マルチスケール3次元配向
CN103472909B (zh) 用于头戴式、增强现实显示器的逼真遮挡
JP2022539314A (ja) 稠密3d再構築データのキャッシュおよび更新
US11587298B2 (en) Caching and updating of dense 3D reconstruction data
US11430192B2 (en) Placement and manipulation of objects in augmented reality environment
CN107038745A (zh) 一种3d旅游景观漫游交互方法及装置
WO2018170470A1 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
CN101414383B (zh) 图像处理设备和图像处理方法
JP2017505933A (ja) 実在の物体上に固定された仮想画像を生成する方法及びシステム
CN106527719A (zh) 基于ar虚拟现实技术和实时三维建模的待售房屋考察系统
US20210407125A1 (en) Object recognition neural network for amodal center prediction
US12033270B2 (en) Systems and methods for generating stabilized images of a real environment in artificial reality
CN108038816A (zh) 一种虚拟现实图像处理装置及方法
CN104349157A (zh) 3d显示装置及其方法
CN109741431A (zh) 一种二三维一体化电子地图框架
CN115661408A (zh) 在人工现实环境中生成和修改手的表示
CN107065164A (zh) 图像展示方法及装置
KR101428577B1 (ko) 적외선 동작 인식 카메라를 사용하여 화면상에 네추럴 유저 인터페이스 기반 입체 지구본을 제공하는 방법
KR20090092153A (ko) 이미지 처리 장치 및 방법
KR102388715B1 (ko) 문화유적복원 실감 장치
Liu et al. Thangka realization based on MR
CN106780693A (zh) 一种通过绘制方式选择三维场景中物体的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170426

RJ01 Rejection of invention patent application after publication