CN108038816A - 一种虚拟现实图像处理装置及方法 - Google Patents

一种虚拟现实图像处理装置及方法 Download PDF

Info

Publication number
CN108038816A
CN108038816A CN201711387153.6A CN201711387153A CN108038816A CN 108038816 A CN108038816 A CN 108038816A CN 201711387153 A CN201711387153 A CN 201711387153A CN 108038816 A CN108038816 A CN 108038816A
Authority
CN
China
Prior art keywords
model
frame buffer
virtual reality
layer
place
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711387153.6A
Other languages
English (en)
Inventor
郑国将
张翔
许驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Cooking Culture & Technology Co Ltd
Original Assignee
Zhejiang Cooking Culture & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Cooking Culture & Technology Co Ltd filed Critical Zhejiang Cooking Culture & Technology Co Ltd
Priority to CN201711387153.6A priority Critical patent/CN108038816A/zh
Publication of CN108038816A publication Critical patent/CN108038816A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种虚拟现实图像处理装置及方法，其方法包括以下步骤：A、确定视点位置和视线方向；B、根据视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定对应的视锥区域内的场景模型；C、采用遮挡剔除算法在视锥区域内的场景模型中查找可见的场景模型作为目标场景模型；D、对显示在目标场景模型中的虚拟显示图像进行细粒度渲染处理。本发明采用遮挡剔除算法在视锥区域内的场景模型中查找可见的场景模型作为目标场景模型，可剔除视锥体外的场景模型和视锥体内不可见的场景模型，并将视锥区域内可见的场景模型进行渲染生成虚拟场景图像，从而提高了图像处理器的处理效率。

Description

一种虚拟现实图像处理装置及方法
技术领域
本发明涉及虚拟现实图像处理技术领域，具体为一种虚拟现实图像处理装置及方法。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，并可使用户沉浸到该环境中，虚拟现实技术是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合，其主要包括模拟环境、感知、自然技能和传感设备等方面，但现有技术存在着图像处理器的处理效率低下、对显示芯片的性能要求高，且不能对关机控制、音量控制以及电量显示等二维图层进行三维显示的弊端，为此，我们提出一种虚拟现实图像处理装置及方法。
发明内容
本发明的目的在于提供一种虚拟现实图像处理装置及方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种虚拟现实图像处理装置及方法，其方法包括以下步骤：
A、确定视点位置和视线方向；
B、根据视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定对应的视锥区域内的场景模型；
C、采用遮挡剔除算法在视锥区域内的场景模型中查找可见的场景模型作为目标场景模型；
D、对显示在目标场景模型中的虚拟显示图像进行细粒度渲染处理；
E、根据目标场景模型生成虚拟场景图像，并显示虚拟场景图像；
F、获取待合成的图层集合，并判断图层集合中是否存在二维图层；
G、是，则将二维图层分别合成到预设的左侧帧缓存和预设的右侧帧缓存中；
H、同时将左侧帧缓存对应的图像显示在左侧显示屏上，将右侧帧缓存对应的图像显示在右侧显示屏上，以实现二维图层的三维显示；
I、否，则使用系统原有方法进行图像合成并显示。
优选的，所述步骤A中包括：①、通过定位装置确定虚拟现实设备的视点位置；②、在用户观看虚拟现实图像时，基于虚拟现实设备中的红外线发射器向用户眼球发射红外光线；③、基于虚拟现实设备中的图像采集模块采集经用户眼球反射后的红外光线，并形成用户当前的眼部图像；④、基于眼部图像及预设的眼部参数信息确定用户双眼对应的视线角度；⑤、基于用户双眼对应的视线角度及用户当前的瞳距，确定用户当前聚焦于虚拟现实图像上的视线焦点。
优选的，所述步骤B中包括：①、根据视点位置和视线方向以及视锥剔除算法计算得到视锥区域的水平方向、垂直方向和缩放大小；②、在预设的全局场景模型中查找满足视锥区域的水平方向、垂直方向和缩放大小的场景模型作为视锥区域内的场景模型。
优选的，所述步骤D中包括：①、获取目标场景模型中的虚拟现实图像对应的图像数据；②、将目标场景模型基于单位图元进行划分，并确定每个单元图元的图元位置；③、根据每个单位图元的图元位置，从图像数据中获取每个单位图元的图元数据；④、对目标场景模型中每个单位图元的图元数据进行渲染。
优选的，所述步骤G中包括：①、创建第一帧缓存对象和第二帧缓存对象；②、将左侧帧缓存关联到第一帧缓存对象，将右侧帧缓存关联到第二帧缓存对象；③、按照预设的第一坐标调整规则调整二维图层的顶点坐标和纹理坐标，得到二维图层的左侧图层；④、按照预设的第二坐标调整规则调整二维图层的顶点坐标和纹理坐垫，得到二维图层的右侧图层；⑤、通过第一帧缓存对象将二维图层的左侧图层合成到左侧帧缓存；⑥、通过第二帧缓存对象将二维图层的右侧图层合成到右侧帧缓存。
优选的，所述左侧帧缓存为与虚拟现实显示设备的左侧显示屏对应的帧缓存，右侧帧缓存为虚拟现实显示设备的右侧显示屏对应的帧缓存。
优选的，所述虚拟现实显示装置为虚拟显示眼镜。
与现有技术相比，本发明的有益效果如下：
本发明采用遮挡剔除算法在视锥区域内的场景模型中查找可见的场景模型作为目标场景模型，可剔除视锥体外的场景模型和视锥体内不可见的场景模型，并将视锥区域内可见的场景模型进行渲染生成虚拟场景图像，从而提高了图像处理器的处理效率，对显示在目标场景模型中的虚拟显示图像进行细粒度渲染处理，不仅可减轻虚拟现实设备中图像处理器进行图像处理时的处理负担，降低图像处理器的处理功耗，同时也可降低虚拟现实设备中显示设备对于显示芯片的性能要求，且本方法中对于系统控制界面的二维图层，将其分别合成到预设的左侧帧缓存和预设的右侧帧缓存中，并将左右帧缓存对应的图像显示到左右显示屏上，从而实现了将控制界面的二维图层进行三维显示的目的。
附图说明
图1为本发明流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，一种虚拟现实图像处理装置及方法，其方法包括以下步骤：
A、确定视点位置和视线方向；
B、根据视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定对应的视锥区域内的场景模型；
C、采用遮挡剔除算法在视锥区域内的场景模型中查找可见的场景模型作为目标场景模型；
D、对显示在目标场景模型中的虚拟显示图像进行细粒度渲染处理；
E、根据目标场景模型生成虚拟场景图像，并显示虚拟场景图像；
F、获取待合成的图层集合，并判断图层集合中是否存在二维图层；
G、是，则将二维图层分别合成到预设的左侧帧缓存和预设的右侧帧缓存中；
H、同时将左侧帧缓存对应的图像显示在左侧显示屏上，将右侧帧缓存对应的图像显示在右侧显示屏上，以实现二维图层的三维显示；
I、否，则使用系统原有方法进行图像合成并显示。
步骤A中包括：①、通过定位装置确定虚拟现实设备的视点位置；②、在用户观看虚拟现实图像时，基于虚拟现实设备中的红外线发射器向用户眼球发射红外光线；③、基于虚拟现实设备中的图像采集模块采集经用户眼球反射后的红外光线，并形成用户当前的眼部图像；④、基于眼部图像及预设的眼部参数信息确定用户双眼对应的视线角度；⑤、基于用户双眼对应的视线角度及用户当前的瞳距，确定用户当前聚焦于虚拟现实图像上的视线焦点。
步骤B中包括：①、根据视点位置和视线方向以及视锥剔除算法计算得到视锥区域的水平方向、垂直方向和缩放大小；②、在预设的全局场景模型中查找满足视锥区域的水平方向、垂直方向和缩放大小的场景模型作为视锥区域内的场景模型。
步骤D中包括：①、获取目标场景模型中的虚拟现实图像对应的图像数据；②、将目标场景模型基于单位图元进行划分，并确定每个单元图元的图元位置；③、根据每个单位图元的图元位置，从图像数据中获取每个单位图元的图元数据；④、对目标场景模型中每个单位图元的图元数据进行渲染。
步骤G中包括：①、创建第一帧缓存对象和第二帧缓存对象；②、将左侧帧缓存关联到第一帧缓存对象，将右侧帧缓存关联到第二帧缓存对象；③、按照预设的第一坐标调整规则调整二维图层的顶点坐标和纹理坐标，得到二维图层的左侧图层；④、按照预设的第二坐标调整规则调整二维图层的顶点坐标和纹理坐垫，得到二维图层的右侧图层；⑤、通过第一帧缓存对象将二维图层的左侧图层合成到左侧帧缓存；⑥、通过第二帧缓存对象将二维图层的右侧图层合成到右侧帧缓存。
左侧帧缓存为与虚拟现实显示设备的左侧显示屏对应的帧缓存，右侧帧缓存为虚拟现实显示设备的右侧显示屏对应的帧缓存。
虚拟现实显示装置为虚拟显示眼镜。
使用时，采用遮挡剔除算法在视锥区域内的场景模型中查找可见的场景模型作为目标场景模型，可剔除视锥体外的场景模型和视锥体内不可见的场景模型，并将视锥区域内可见的场景模型进行渲染生成虚拟场景图像，从而提高了图像处理器的处理效率，对显示在目标场景模型中的虚拟显示图像进行细粒度渲染处理，不仅可减轻虚拟现实设备中图像处理器进行图像处理时的处理负担，降低图像处理器的处理功耗，同时也可降低虚拟现实设备中显示设备对于显示芯片的性能要求，且本方法中对于系统控制界面的二维图层，将其分别合成到预设的左侧帧缓存和预设的右侧帧缓存中，并将左右帧缓存对应的图像显示到左右显示屏上，从而实现了将控制界面的二维图层进行三维显示的目的。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种虚拟现实图像处理装置及方法，其特征在于：其方法包括以下步骤：
A、确定视点位置和视线方向；
B、根据视点位置和视线方向以及视锥剔除算法在预设的全局场景模型中确定对应的视锥区域内的场景模型；
C、采用遮挡剔除算法在视锥区域内的场景模型中查找可见的场景模型作为目标场景模型；
D、对显示在目标场景模型中的虚拟显示图像进行细粒度渲染处理；
E、根据目标场景模型生成虚拟场景图像，并显示虚拟场景图像；
F、获取待合成的图层集合，并判断图层集合中是否存在二维图层；
G、是，则将二维图层分别合成到预设的左侧帧缓存和预设的右侧帧缓存中；
H、同时将左侧帧缓存对应的图像显示在左侧显示屏上，将右侧帧缓存对应的图像显示在右侧显示屏上，以实现二维图层的三维显示；
I、否，则使用系统原有方法进行图像合成并显示。
2.根据权利要求1所述的一种虚拟现实图像处理装置及方法，其特征在于：所述步骤A中包括：①、通过定位装置确定虚拟现实设备的视点位置；②、在用户观看虚拟现实图像时，基于虚拟现实设备中的红外线发射器向用户眼球发射红外光线；③、基于虚拟现实设备中的图像采集模块采集经用户眼球反射后的红外光线，并形成用户当前的眼部图像；④、基于眼部图像及预设的眼部参数信息确定用户双眼对应的视线角度；⑤、基于用户双眼对应的视线角度及用户当前的瞳距，确定用户当前聚焦于虚拟现实图像上的视线焦点。
3.根据权利要求1所述的一种虚拟现实图像处理装置及方法，其特征在于：所述步骤B中包括：①、根据视点位置和视线方向以及视锥剔除算法计算得到视锥区域的水平方向、垂直方向和缩放大小；②、在预设的全局场景模型中查找满足视锥区域的水平方向、垂直方向和缩放大小的场景模型作为视锥区域内的场景模型。
4.根据权利要求1所述的一种虚拟现实图像处理装置及方法，其特征在于：所述步骤D中包括：①、获取目标场景模型中的虚拟现实图像对应的图像数据；②、将目标场景模型基于单位图元进行划分，并确定每个单元图元的图元位置；③、根据每个单位图元的图元位置，从图像数据中获取每个单位图元的图元数据；④、对目标场景模型中每个单位图元的图元数据进行渲染。
5.根据权利要求1所述的一种虚拟现实图像处理装置及方法，其特征在于：所述步骤G中包括：①、创建第一帧缓存对象和第二帧缓存对象；②、将左侧帧缓存关联到第一帧缓存对象，将右侧帧缓存关联到第二帧缓存对象；③、按照预设的第一坐标调整规则调整二维图层的顶点坐标和纹理坐标，得到二维图层的左侧图层；④、按照预设的第二坐标调整规则调整二维图层的顶点坐标和纹理坐垫，得到二维图层的右侧图层；⑤、通过第一帧缓存对象将二维图层的左侧图层合成到左侧帧缓存；⑥、通过第二帧缓存对象将二维图层的右侧图层合成到右侧帧缓存。
6.根据权利要求1所述的一种虚拟现实图像处理装置及方法，其特征在于：所述左侧帧缓存为与虚拟现实显示设备的左侧显示屏对应的帧缓存，右侧帧缓存为虚拟现实显示设备的右侧显示屏对应的帧缓存。
7.根据权利要求1所述的一种虚拟现实图像处理装置及方法，其特征在于：所述虚拟现实显示装置为虚拟显示眼镜。
CN201711387153.6A 2017-12-20 2017-12-20 一种虚拟现实图像处理装置及方法 Pending CN108038816A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711387153.6A CN108038816A (zh) 2017-12-20 2017-12-20 一种虚拟现实图像处理装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711387153.6A CN108038816A (zh) 2017-12-20 2017-12-20 一种虚拟现实图像处理装置及方法

Publications (1)

Publication Number Publication Date
CN108038816A true CN108038816A (zh) 2018-05-15

Family

ID=62100270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711387153.6A Pending CN108038816A (zh) 2017-12-20 2017-12-20 一种虚拟现实图像处理装置及方法

Country Status (1)

Country Link
CN (1) CN108038816A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522866A (zh) * 2018-11-29 2019-03-26 宁波视睿迪光电有限公司 裸眼3d图像处理方法、装置以及设备
CN111210499A (zh) * 2020-01-14 2020-05-29 深圳市康拓普信息技术有限公司 模型渲染方法及装置
CN111275801A (zh) * 2018-12-05 2020-06-12 中国移动通信集团广西有限公司 一种三维画面渲染方法及装置
CN111784612A (zh) * 2020-07-08 2020-10-16 网易（杭州）网络有限公司 游戏中剔除场景物体模型的方法及装置
CN113769382A (zh) * 2021-09-10 2021-12-10 网易（杭州）网络有限公司 游戏场景中模型的剔除方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379077B2 (en) * 2001-08-23 2008-05-27 Siemens Corporate Research, Inc. Augmented and virtual reality guided instrument positioning using along-the-line-of-sight alignment
CN104679509A (zh) * 2015-02-06 2015-06-03 腾讯科技（深圳）有限公司 一种渲染图形的方法和装置
CN106293100A (zh) * 2016-08-24 2017-01-04 上海与德通讯技术有限公司 虚拟现实设备中视线焦点的确定方法及虚拟现实设备
CN106327584A (zh) * 2016-08-24 2017-01-11 上海与德通讯技术有限公司 一种用于虚拟现实设备的图像处理方法及装置
CN106600703A (zh) * 2016-11-22 2017-04-26 宇龙计算机通信科技(深圳)有限公司 基于虚拟现实设备的图像处理方法及装置
CN107277483A (zh) * 2017-05-11 2017-10-20 深圳市冠旭电子股份有限公司 一种虚拟现实显示方法、装置及虚拟现实眼镜

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379077B2 (en) * 2001-08-23 2008-05-27 Siemens Corporate Research, Inc. Augmented and virtual reality guided instrument positioning using along-the-line-of-sight alignment
CN104679509A (zh) * 2015-02-06 2015-06-03 腾讯科技（深圳）有限公司 一种渲染图形的方法和装置
CN106293100A (zh) * 2016-08-24 2017-01-04 上海与德通讯技术有限公司 虚拟现实设备中视线焦点的确定方法及虚拟现实设备
CN106327584A (zh) * 2016-08-24 2017-01-11 上海与德通讯技术有限公司 一种用于虚拟现实设备的图像处理方法及装置
CN106600703A (zh) * 2016-11-22 2017-04-26 宇龙计算机通信科技(深圳)有限公司 基于虚拟现实设备的图像处理方法及装置
CN107277483A (zh) * 2017-05-11 2017-10-20 深圳市冠旭电子股份有限公司 一种虚拟现实显示方法、装置及虚拟现实眼镜

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522866A (zh) * 2018-11-29 2019-03-26 宁波视睿迪光电有限公司 裸眼3d图像处理方法、装置以及设备
CN111275801A (zh) * 2018-12-05 2020-06-12 中国移动通信集团广西有限公司 一种三维画面渲染方法及装置
CN111210499A (zh) * 2020-01-14 2020-05-29 深圳市康拓普信息技术有限公司 模型渲染方法及装置
CN111210499B (zh) * 2020-01-14 2023-08-25 南方电网数字平台科技(广东)有限公司 模型渲染方法及装置
CN111784612A (zh) * 2020-07-08 2020-10-16 网易（杭州）网络有限公司 游戏中剔除场景物体模型的方法及装置
CN113769382A (zh) * 2021-09-10 2021-12-10 网易（杭州）网络有限公司 游戏场景中模型的剔除方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108038816A (zh) 一种虚拟现实图像处理装置及方法
US11632537B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
CN103927005B (zh) 显示控制方法及显示控制装置
US9911214B2 (en) Display control method and display control apparatus
CN106327584B (zh) 一种用于虚拟现实设备的图像处理方法及装置
CN106681512A (zh) 一种虚拟现实设备及对应显示方法
CN110850977B (zh) 一种基于6dof头戴式显示器的立体图像交互方法
CN107203270A (zh) Vr图像处理方法及装置
CN107038745B (zh) 一种3d旅游景观漫游交互方法及装置
WO2014128752A1 (ja) 表示制御装置、表示制御プログラム、および表示制御方法
CN106598252A (zh) 一种图像显示调节方法、装置、存储介质及电子设备
JP6384940B2 (ja) ３ｄ画像の表示方法及びヘッドマウント機器
WO2010044383A1 (ja) 眼鏡の視野画像表示装置及び眼鏡の視野画像表示方法
CN106600703A (zh) 基于虚拟现实设备的图像处理方法及装置
EP3677994A1 (en) Text display method and device in virtual reality, and virtual reality apparatus
CN105208370B (zh) 一种虚拟现实设备的显示校准方法
US11657908B2 (en) Methods and systems for handling virtual 3D object surface interaction
CN107065164B (zh) 图像展示方法及装置
CN204496117U (zh) 3d眼镜
JPWO2014128750A1 (ja) 入出力装置、入出力プログラム、および入出力方法
CN107277483B (zh) 一种虚拟现实显示方法、装置及虚拟现实眼镜
CN102521876B (zh) 一种实现3d用户界面立体效果的方法及系统
WO2021139456A1 (zh) 一种无限视觉边界的图像动态渲染的计算方法及系统
CN104052981A (zh) 一种信息处理方法及电子设备
CN105933690A (zh) 一种自适应调整3d画面内容大小的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180515

RJ01 Rejection of invention patent application after publication