CN107168534A - 一种基于cave系统的渲染优化方法及投影方法 - Google Patents

一种基于cave系统的渲染优化方法及投影方法 Download PDF

Info

Publication number
CN107168534A
CN107168534A CN201710336178.7A CN201710336178A CN107168534A CN 107168534 A CN107168534 A CN 107168534A CN 201710336178 A CN201710336178 A CN 201710336178A CN 107168534 A CN107168534 A CN 107168534A
Authority
CN
China
Prior art keywords
mtd
projected
mrow
visual
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710336178.7A
Other languages
English (en)
Other versions
CN107168534B (zh
Inventor
魏娉婷
秦睿子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Corner Elephant Technology Co Ltd
Original Assignee
Hangzhou Corner Elephant Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Corner Elephant Technology Co Ltd filed Critical Hangzhou Corner Elephant Technology Co Ltd
Priority to CN201710336178.7A priority Critical patent/CN107168534B/zh
Publication of CN107168534A publication Critical patent/CN107168534A/zh
Priority to US15/979,399 priority patent/US10540918B2/en
Application granted granted Critical
Publication of CN107168534B publication Critical patent/CN107168534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于CAVE系统的渲染优化方法及投影方法。所涉渲染优化方法，包括：获取用户相对于各视觉平面的第一视觉坐标信息；基于所述第一视觉坐标信息生成用户相对于各视觉平面的投影通道；根据历史或用户即时输入的视觉偏好信息选择投影通道中的投影物体；基于投影通道中的投影物体渲染管线并读取投影结果。本发明技术方案能够针对CAVE系统中的用户提供个性化的渲染选择。

Description

一种基于CAVE系统的渲染优化方法及投影方法
技术领域
本发明涉及影像处理技术领域，特别涉及一种基于CAVE系统的多窗口智能内容渲染优化方法，以及一种基于CAVE系统的多窗口智能内容投影方法。
背景技术
CAVE投影系统是一种大型的VR系统(比如VR-Platform CAVE)，具有高度的沉浸感、良好的交互手段，可以融合视觉、触觉、声音等，并且可以跟踪头部的6个自由度的运动。CAVE沉浸式虚拟现实显示系统的原理比较复杂，它是以计算机图形学为基础，把高分辨率的立体投影显示技术、多通道视景同步技术、三维计算机图形技术、音响技术、传感器技术等完美地融合在一起，从而产生一个被三维立体投影画面包围的供多人使用的完全沉浸式的虚拟环境。目前，复杂场景的实时高分辨率多窗口内容渲染主要应用于CAVE系统。CAVE是一种大型的虚拟现实系统，具有高度的沉浸感、良好的交互手段，其中CAVE投影系统是由3个面以上(含3面)硬质背投影墙组成的高度沉浸的虚拟演示环境，围绕着观察者具有多个图像画面的虚拟现实系统，多个投影面组成一个虚拟空间。常见CAVE系统投影空间为标准立方体结构，这4个独立的投影通道最终形成空间连续的投影画面。
现有技术中，常见的CAVE系统中需要渲染全部场景，不能根据用户需求进行个性化选择，造成了数据资源的浪费，计算机处理效率的低下；另外，全部场景渲染会增加不必要的计算资源开销，甚至在面向大规模复杂场景时会在一定程度上影响用户观察的连贯性；在展示复杂场景时，展示的场景内容之间存在着遮挡现象，用户在观测时需要自己进行辨别，耗费大量的人力物力。
发明内容
本发明技术方案所解决的技术问题是，如何针对CAVE系统中的用户提供个性化的渲染选择。
为了解决上述技术问题，本发明技术方案提供了一种基于CAVE系统的多窗口智能内容渲染优化方法，所述CAVE系统包括：视觉平台，所述视觉平台包括多个视觉平面，包括：
获取用户相对于各视觉平面的第一视觉坐标信息；
基于所述第一视觉坐标信息生成用户相对于各视觉平面的投影通道；
根据历史或用户即时输入的视觉偏好信息选择投影通道中的投影物体；
基于投影通道中的投影物体渲染管线并读取投影结果。
可选的，所述多窗口智能内容渲染优化方法，还包括：
获取用户相对于所述视觉平台的第二视觉坐标信息；
基于所述第二视觉坐标信息确定各视觉平面的分辨率；
所述基于投影通道中的投影物体渲染管线并读取投影结果包括：
基于投影通道中的投影物体进行图元装配以产生待渲染物体；
根据各投影通道对应视觉平面的分辨率与待渲染物体产生渲染结果。
可选的，所述第一视觉坐标信息包括：用户视点至各视觉平面的近裁剪面距离及远裁剪面距离。
可选的，基于如下算式获取用户相对于视觉平面f的投影通道Sf：
其中，N为用户视点至视觉平面f近裁剪面的距离，F为用户视点至视觉平面f远裁剪面的距离，right、left、top、bottom分别表示该视觉平面f四边边长的长度，f为大于1的自然数。
可选的，所述视觉偏好信息包括：投影物体标记信息，所述标记至少包括以下信息中的一种：
感兴趣投影物体的第一标记信息；
不感兴趣投影物体的第二标记信息。
可选的，所述根据历史或用户即时输入的视觉偏好信息选择投影通道中的投影物体至少包括以下步骤中的一种步骤：
根据用户历史输入的视觉偏好信息选择投影通道中的投影物体以形成待渲染物体；
根据用户历史输入的视觉偏好信息剔除投影通道中的投影物体以形成渲染物体；
根据用户即时输入的视觉偏好信息选择投影通道中的投影物体以形成待渲染物体；
根据用户即时输入的视觉偏好信息剔除投影通道中的投影物体以形成渲染物体。
可选的，所述第二视觉坐标信息包括：用户相对于所述视觉平台的坐标信息及用户视线方向信息。
可选的，基于所述第二视觉坐标信息确定各视觉平面的分辨率包括：
以所述用户相对于所述视觉平台的坐标信息为球心，根据所述用户视线方向信息确定用户视线所在球面的中心，将球面中心所在方向绕所述球心顺时候转动角度J1度及逆时针转动角度J2度的球面范围内的视觉平面设定为焦点区，将球面中心所在方向绕所述球心顺时候转动角度J3度及逆时针转动角度J4度的球面范围内的视觉平面设定为诱导视野区，将其余视觉平面设定为视野盲区；
将所述焦点区的分辨率设为a，诱导视野区的分辨率设为b，视野盲区的分辨率设为c，其中，J1<J3，J2<J4，a>b>c。
可选的，J1＝J3，取50～70；J2＝J4，取90～110。
可选的，所述基于投影通道中的投影物体渲染管线并读取投影结果包括：
基于投影通道中的投影物体进行图元装配以产生待渲染物体；
根据系统分辨率及所述待渲染物体产生渲染结果。
为了解决上述技术问题，本发明技术方案提供了一种基于CAVE系统的多窗口智能内容投影方法，所述CAVE系统包括：数据主机及投影阵列，所述投影阵列包括多个投影设备，包括：
基于如上所述的多窗口智能内容渲染优化方法产生渲染结果；
所述数据主机将所述渲染结果传输至所述投影设备；
所述投影设备产生投影图像至对应视觉平面。
本发明技术方案的有益效果至少包括：
本发明技术方案实现了根据用户偏好信息对CAVE系统中需要渲染全部场景进行选择，为用户提供个性化的场景渲染；不但如此在本发明技术方案的优选实例中，还根据用户视野范围，对系统视觉平面进行分类，以提供不同视觉平面不同的分辨率以进行渲染，从而节省了计算机数据处理的资源，并提高了处理速度；在面向大规模复杂场景时，本发明技术方案通过选择用户偏好的物体进行选择，还会在一定程度上提高用户观察的连贯性；在展示复杂场景时，展示的场景内容之间存在着遮挡现象，用户在观测时需要自己进行辨别，通过本发明技术方案的偏好渲染及分辨率实时调整渲染，可根据用户视觉坐标信息不断生成用户所需的渲染图像进行投放，节省了大量的人力物力及设备资源，也提高了用户体验度。
在本发明技术方案的优选实例中，可根据用户视野设定视觉平面的投放分辨率。在观测过程中，观测参数可随时更改，渲染画面可以实时做出改变，给出用户所期望的高分辨画面的渲染结果。
在本发明技术方案的优选实例中，还根据用户视野范围划分焦点区、诱导视野区及视野盲区，根据上述用户视野范围的特定，将处于焦点区的视觉平面设为高分辨率，将处于诱导视野区的视觉平面设为中分辨率，将处于视野盲区的视觉平面设为低分辨率，不影响用户体验的同时，节约运算资源。本发明技术方案可以随用户的视线朝向，改变系统中不同视觉平面投放分辨率的等级，在不影响用户体验的情况下，节约运算资源，保证多平面的实时高分辨率，同时视觉平面还可以设定不同的观测参数，在复杂场景中着重展示用户需要观测的物体。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：
图1为本发明技术方案所涉CAVE系统结构示意图；
图2为本发明技术方案所涉一种基于CAVE系统的多窗口智能内容渲染优化方法的流程示意图；
图3为本发明技术方案所涉另一种基于CAVE系统的多窗口智能内容渲染优化方法的流程示意图；
图4为本发明技术方案所涉基于所述第二视觉坐标信息确定各视觉平面的分辨率的其一示意图；
图5为本发明技术方案所涉基于所述第二视觉坐标信息确定各视觉平面的分辨率的其二示意图；
图6为本发明技术方案所涉基于所述第二视觉坐标信息确定各视觉平面的分辨率的其三示意图；
图7为本发明技术方案所涉基于CAVE系统的多窗口智能内容渲染优化方法的应用流程示意图；
图8为本发明技术方案所涉渲染过程中渲染管线流程示意图。
具体实施方式
为了更好的使本发明的技术方案清晰的表示出来，下面结合附图对本发明作进一步说明。
如图1所示，CAVE系统包括投影阵列及视觉平台，其中，投影阵列包括多台投影仪(6～10)，视觉平台包括多个视觉平面(1～5)，视觉平面即投影屏幕。在一种CAVE系统的实例中，投影阵列包括5台投影仪，5台投影仪呈五边形布置，视觉平面包括四台横向视觉投影屏幕(1～4)及一个底面视觉投影屏幕(5)，5台投影仪分别投射至视觉平面的5个平面上，5台投影仪分别与数据主机连接以形成投射图像，使用时，用户(11)站立于底面视觉投影屏幕(5)上，本发明所指用户视线一般仅针对横向视觉投影屏幕(1～4)。当然，上述视觉平面及投影仪的摆放位置及数量可以是任意的，本发明并不对上述视觉平面及投影仪的摆放位置及数量做限制。
现有技术中用户基于CAVE系统在观测过程无法实现个性化观测，计算机对全部场景进行渲染，造成计算机资源浪费，本发明技术方案通过用户观测位置，可针对用户不同的观测喜好，实时更改观测参数，对每块屏幕投影通道内的物体，根据放置前的标记进行区分，对不同类别的物体添加对应的裁剪遮罩。在渲染前对非偏好物体进行剔除，将剔除后的内容按对应屏幕的分辨率等级进行渲染，从而实现了渲染优化。
具体的，结合图2，本发明技术方案提供了一种基于CAVE系统的多窗口智能内容渲染优化方法，包括如下步骤：
步骤S100，获取用户相对于各视觉平面的第一视觉坐标信息；
步骤S101，基于所述第一视觉坐标信息生成用户相对于各视觉平面的投影通道；
步骤S102,根据历史或用户即时输入的视觉偏好信息选择投影通道中的投影物体；
步骤S103，基于投影通道中的投影物体渲染管线并读取投影结果。
根据步骤S100，所述第一视觉坐标信息包括：用户视点至各视觉平面的近裁剪面距离及远裁剪面距离。所述用户视点一般可以直接采集用户所在视觉平台所在空间的位置信息，上述位置信息可以根据CAVE系统中设定的坐标系来确定。所述视觉平面在本实施例中可以包括横向视觉平面的屏幕，也可以是底面视觉平面的屏幕。所述近裁剪面距离即用户视点平面到各视觉平面最近的平面距离，所述远裁剪面距离即用户视点平面到各视觉平面最远的平面距离，所述用户视点平面为用户视点所在位置所在面与用户视线方向垂直的平面。
根据步骤S101，所生成的用户相对于各视觉平面的投影通道针对各个视觉平面而言，投影通道即数据主机再根据用户所在位置产生的投影空间，上述投影空间由投影仪投影至视觉平面的投影图像的空间构成，投影通道中定义了投影仪投影至视觉平面的图像空间，具体的，在投影过程中，基于如下算式获取用户相对于视觉平面f的投影通道Sf：
其中，N为用户视点至视觉平面f近裁剪面的距离，F为用户视点至视觉平面f远裁剪面的距离，right、left、top、bottom分别表示该视觉平面f四边边长的长度，f为大于1的自然数。
本实施例通过用户第一时间坐标信息的变换可实现实时投影通道的变换，有利于用户体现，提高投影效果，并节省信息处理成本。
根据步骤S102，所述视觉偏好信息包括：投影物体标记信息，所述标记至少包括以下信息中的一种：
感兴趣投影物体的第一标记信息；
不感兴趣投影物体的第二标记信息。
针对本发明技术方案，投影通道设置好后，用户还可以根据自身的视觉偏好形成历史记录的感兴趣投影物体或不感兴趣投影物体，还可以实时输入感兴趣投影物体或不感兴趣投影物体，在使用投影通道渲染投影物体时，系统对投影通道中的投影物体进行标记，所述根据历史或用户即时输入的视觉偏好信息选择投影通道中的投影物体至少包括以下步骤中的一种步骤：
根据用户历史输入的视觉偏好信息选择投影通道中的投影物体以形成待渲染物体；
根据用户历史输入的视觉偏好信息剔除投影通道中的投影物体以形成渲染物体；
根据用户即时输入的视觉偏好信息选择投影通道中的投影物体以形成待渲染物体；
根据用户即时输入的视觉偏好信息剔除投影通道中的投影物体以形成渲染物体。
上述投影物体的剔除或选择都是根据取消标记或添加标记形成的。
根据步骤S103，所述基于投影通道中的投影物体渲染管线并读取投影结果包括：
基于投影通道中的投影物体进行图元装配以产生待渲染物体；
根据系统分辨率及所述待渲染物体产生渲染结果。
本实施例中，所述进行图元装配的投影物体为投影通道中被标记的物体，所述系统分辨率为系统预定的投影图像分辨率。
在本实施例的一则实例中，采用用户偏好信息来确定投影通道中投射的投影物体，用户可以选择观察的投影物体，例如，如图1所示的场景中摆放了若干家具，用户(11)可以在前后左右四块屏幕(1～4)中看见家具，但是在下面的屏幕(用户所站立的位置的下方)(5)不希望看见家具，这会影响观察体验；用户可以实时在底面屏幕(5)所对应的投影通道中选择剔除上述家具物体，投影通道则取消了上述家具物体的标记；在实例中，用户也可以控制一部分系统观察场景的选项，例如改变整个场景的比例，或者单独改变将一个窗口移动到一个物体附近进行观察。
不限于上述实施例，传统的多窗口渲染方法，需要对每块屏幕分别进行渲染，在非用户视野中心位置的屏幕和视野外的屏幕，占用了大量的运算资源，但这并不能提升用户的观测体验。为了提升多窗口高分辨率渲染的效能，同时突出用户的观测重点本发明技术方案在上述实施例的基础上还提供了一种可根据用户视野范围进行智能优化的渲染方法。在本实施例中，其技术方案根据用户坐标位置和视线朝向角度，计算出用户的视线区域，根据水平角度，将360°的水平空间分为3个区域，以视线方向为中心，左右各50°～70°(以60°为佳)定义为焦点区域，该区域内人眼辨识度最高，形成立体视觉，在该区域内人眼才能够聚焦，使用最高分辨率的投影图像至视觉平面(即投影屏幕)，能提升视觉临场感；以视线方向为中心，左右各90°～110°(以100°为佳)定义为焦点区域，该区域内人眼辨识度最高，形成立部分为诱导视野区，辨识度相对较低，采用次一级分辨率，补足视野，同时使用户视角转动过程中，屏幕景象变换平缓；超过上述部分的区域为视野盲区，用户不能观察到该区域，对于位于该区域的投影屏幕，采用最低的分辨率级别，不影响用户体验的同时，节约运算资源。具体的，针对视觉平台中的多个视觉平面，数据主机通过传入的用户位置信息和视线朝向，确定用户的视觉范围，依此将场景中的屏幕分为3种分辨率级别：焦点区、诱导视野区(即日常所说的“余光”)、盲区，分别对应a,b,c三种不同的分辨率，其中分辨率a>b>c。
上述用户视野的设定与划分，可使得用户在观测过程中，观测参数及投影分辨率可随用户所在位置及视线方向随时更改，渲染画面可以实时做出改变，给出用户所期望的高分辨画面的渲染结果。
具体的，结合图3，一种基于CAVE系统的多窗口智能内容渲染优化方法，包括如下步骤：
步骤S200，获取用户相对于各视觉平面的第一视觉坐标信息；
步骤S201，基于所述第一视觉坐标信息生成用户相对于各视觉平面的投影通道；
步骤S202,根据历史或用户即时输入的视觉偏好信息选择投影通道中的投影物体；
步骤S203，获取用户相对于所述视觉平台的第二视觉坐标信息；
步骤S204，基于所述第二视觉坐标信息确定各视觉平面的分辨率；
步骤S205，基于投影通道中的投影物体进行图元装配以产生待渲染物体；
步骤S206根据各投影通道对应视觉平面的分辨率与待渲染物体产生渲染结果。
在上述步骤中，步骤S203、S204与步骤S200～S202之间不存在先后执行的关系。步骤S200～S202的具体执行过程可参考上文，此处不再赘述。
根据步骤S203，所述第二视觉坐标信息包括：用户相对于所述视觉平台的坐标信息及用户视线方向信息。所述用户相对于所述视觉平台的坐标信息可以参考上述用户视点位置信息，即直接采集用户所在视觉平台所在空间的位置信息，上述位置信息可以根据CAVE系统中设定的坐标系来确定。所述用户视线方向信息可以以上述用户视点位置信息为起点，指向用户视线方向所形成的向量。
根据步骤S204，基于所述第二视觉坐标信息确定各视觉平面的分辨率包括：
结合图4，以所述用户相对于所述视觉平台的坐标信息为球心，并根据所述用户视线方向信息确定用户视线所在球面的中心，将球面中心所在方向绕所述球心顺时候转动角度J1度及逆时针转动角度J2度的球面范围内的视觉平面设定为焦点区，将球面中心所在方向绕所述球心顺时候转动角度J3度及逆时针转动角度J4度的球面范围内的视觉平面设定为诱导视野区，将其余视觉平面设定为视野盲区；
将所述焦点区的分辨率设为a，诱导视野区的分辨率设为b，视野盲区的分辨率设为c，其中，J1<J3，J2<J4，a>b>c。
J1、J3、J2、J4的数值可以根据需要进行设置，其中，在优选的实例中，J1＝J3，取50～70；J2＝J4，取90～110。更为优选的，J1＝J3＝60，J2＝J4＝100。
在J1＝J3＝60，J2＝J4＝100的情况下，焦点区(focus field)及诱导视野区(unfocus field)的空间划分示意图如图5所示，图6则示意了此种情况下视野盲区(Unsighted field)及以用户坐标信息为球心的视野球体(Optical ball)的分区情况。
应用例
本实施例提供一种基于CAVE系统的多窗口智能内容渲染优化方法的应用流程，结合图7，包括如下步骤：
获取用户位置坐标、头部朝向；
计算用户位置坐标为球心、形成包容所示视觉平台所在空间的球体，并基于用户头部朝向对该球体视野区域进行分类；
系统场景布置和窗口摆放；
根据用户位置坐标生成投影通道；
根据用户偏好设置对各投影通道中的物体进行剔除；
基于投影通道中的物体渲染图像。
具体的，将5块屏幕按需求设置并放置在搭建好的场景中，在这个场景中，物体分为两种，第一类物体包括墙壁，天花板，地板，这些物体始终是可见的，但是可以改变其纹理，第二类物体是场景中的内容物体，例如桌椅，沙发等物体，其中可以通过改变观测参数的方式，选择在某些屏幕中忽略某些物体进行观察。
对每块屏幕，分别从用户坐标位置生成一个独立的投影通道，根据用户视线朝向，确定每块屏幕的分辨率级别，以视线方向为中心，焦点区水平角度为120°，诱导视野区水平角度为200°，其余为视野盲区，在视野中心的投影屏幕设置其分辨率为a、在视野边缘的投影屏幕设置其分辨率为b、在视野盲区的投影屏幕设置其分辨率为c，投影通道投影的过程按本发明技术方案的上述投影通道的公式Sf建立。
根据用户的选择将每个投影通道中的物体根据屏幕偏好进行标记，将不选择观察的物体在渲染前进行剔除，系统对应每个屏幕分别使用一个列表标记该屏幕的可见物体的编号。为了提高渲染的效率，我们将列表用于图形学的渲染管线的图元装配阶段，在这一阶段，列表中标记为不可见物体将不会被组装成对于的三角形，线段和点，这样达到了提出不可见物体的目的，具体的渲染管线过程如图8所示。
将剔除处理后的内容，根据屏幕分辨率等级，投影到对应屏幕上。动态设置屏幕偏好，屏幕渲染内容实时产生变化。
随用户位置、视线移动，实时改变屏幕分辨率，不影响用户体验的前提下，节约运算资源。在这里，我们设置屏幕分辨率的方法如下：5个屏幕分别为1～5，其中用户实现的中心为3屏幕，2、4屏幕分别在诱导视野区，而1屏幕在盲区，5屏幕为用户脚下的屏幕，这里我们在渲染的最后阶段，从纹理中读取渲染结果时，分别取出三种不同分辨率的图像，其分辨率分别为a，b，c，其分辨率由高到低设置。
基于本发明技术方案的上述内容，本实施例还提供了一种基于CAVE系统的多窗口智能内容投影方法，包括如下步骤：
基于所述多窗口智能内容渲染优化方法产生渲染结果；
所述数据主机将所述渲染结果传输至所述投影设备；
所述投影设备产生投影图像至对应视觉平面。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于CAVE系统的多窗口智能内容渲染优化方法，所述CAVE系统包括：视觉平台，所述视觉平台包括多个视觉平面，其特征在于，包括：
获取用户相对于各视觉平面的第一视觉坐标信息；
基于所述第一视觉坐标信息生成用户相对于各视觉平面的投影通道；
根据历史或用户即时输入的视觉偏好信息选择投影通道中的投影物体；
基于投影通道中的投影物体渲染管线并读取投影结果。
2.如权利要求1所述的多窗口智能内容渲染优化方法，其特征在于，还包括：
获取用户相对于所述视觉平台的第二视觉坐标信息；
基于所述第二视觉坐标信息确定各视觉平面的分辨率；
所述基于投影通道中的投影物体渲染管线并读取投影结果包括：
基于投影通道中的投影物体进行图元装配以产生待渲染物体；
根据各投影通道对应视觉平面的分辨率与待渲染物体产生渲染结果。
3.如权利要求1或2所述的多窗口智能内容渲染优化方法，其特征在于，所述第一视觉坐标信息包括：用户视点至各视觉平面的近裁剪面距离及远裁剪面距离。
4.如权利要求1或2所述的多窗口智能内容渲染优化方法，其特征在于，基于如下算式获取用户相对于视觉平面f的投影通道Sf：
<mrow> <msub> <mi>S</mi> <mi>f</mi> </msub> <mo>=</mo> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mfrac> <mrow> <mn>2</mn> <mi>N</mi> </mrow> <mrow> <mi>r</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mi>t</mi> <mo>-</mo> <mi>l</mi> <mi>e</mi> <mi>f</mi> <mi>t</mi> </mrow> </mfrac> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mfrac> <mrow> <mi>r</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mi>t</mi> <mo>+</mo> <mi>l</mi> <mi>e</mi> <mi>f</mi> <mi>t</mi> </mrow> <mrow> <mi>r</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mi>t</mi> <mo>-</mo> <mi>l</mi> <mi>e</mi> <mi>f</mi> <mi>t</mi> </mrow> </mfrac> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mfrac> <mrow> <mn>2</mn> <mi>N</mi> </mrow> <mrow> <mi>t</mi> <mi>o</mi> <mi>p</mi> <mo>-</mo> <mi>b</mi> <mi>o</mi> <mi>t</mi> <mi>t</mi> <mi>o</mi> <mi>m</mi> </mrow> </mfrac> </mtd> <mtd> <mfrac> <mrow> <mi>t</mi> <mi>o</mi> <mi>p</mi> <mo>+</mo> <mi>b</mi> <mi>o</mi> <mi>t</mi> <mi>t</mi> <mi>o</mi> <mi>m</mi> </mrow> <mrow> <mi>t</mi> <mi>o</mi> <mi>p</mi> <mo>-</mo> <mi>b</mi> <mi>o</mi> <mi>t</mi> <mi>t</mi> <mi>o</mi> <mi>m</mi> </mrow> </mfrac> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>-</mo> <mfrac> <mrow> <mi>F</mi> <mi>N</mi> <mo>+</mo> <mi>N</mi> </mrow> <mrow> <mi>F</mi> <mo>-</mo> <mi>N</mi> </mrow> </mfrac> </mrow> </mtd> <mtd> <mfrac> <mrow> <mo>-</mo> <mn>2</mn> <mi>F</mi> <mi>N</mi> </mrow> <mrow> <mi>F</mi> <mo>-</mo> <mi>N</mi> </mrow> </mfrac> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中，N为用户视点至视觉平面f近裁剪面的距离，F为用户视点至视觉平面f远裁剪面的距离，r i ght、l eft、top、bottom分别表示该视觉平面f四边边长的长度，f为大于1的自然数。
5.如权利要求1或2所述的多窗口智能内容渲染优化方法，其特征在于，所述视觉偏好信息包括：投影物体标记信息，所述标记至少包括以下信息中的一种：
感兴趣投影物体的第一标记信息；
不感兴趣投影物体的第二标记信息。
6.如权利要求1或2所述的多窗口智能内容渲染优化方法，其特征在于，所述根据历史或用户即时输入的视觉偏好信息选择投影通道中的投影物体至少包括以下步骤中的一种步骤：
根据用户历史输入的视觉偏好信息选择投影通道中的投影物体以形成待渲染物体；
根据用户历史输入的视觉偏好信息剔除投影通道中的投影物体以形成渲染物体；
根据用户即时输入的视觉偏好信息选择投影通道中的投影物体以形成待渲染物体；
根据用户即时输入的视觉偏好信息剔除投影通道中的投影物体以形成渲染物体。
7.如权利要求2所述的多窗口智能内容渲染优化方法，其特征在于，所述第二视觉坐标信息包括：用户相对于所述视觉平台的坐标信息及用户视线方向信息。
8.如权利要求7所述的多窗口智能内容渲染优化方法，其特征在于，基于所述第二视觉坐标信息确定各视觉平面的分辨率包括：
以所述用户相对于所述视觉平台的坐标信息为球心，根据所述用户视线方向信息确定用户视线所在球面的中心，将球面中心所在方向绕所述球心顺时候转动角度J1度及逆时针转动角度J2度的球面范围内的视觉平面设定为焦点区，将球面中心所在方向绕所述球心顺时候转动角度J3度及逆时针转动角度J4度的球面范围内的视觉平面设定为诱导视野区，将其余视觉平面设定为视野盲区；
将所述焦点区的分辨率设为a，诱导视野区的分辨率设为b，视野盲区的分辨率设为c，其中，J1<J3，J2<J4，a>b>c。
9.如权利要求1所述的多窗口智能内容渲染优化方法，其特征在于，所述基于投影通道中的投影物体渲染管线并读取投影结果包括：
基于投影通道中的投影物体进行图元装配以产生待渲染物体；
根据系统分辨率及所述待渲染物体产生渲染结果。
10.一种基于CAVE系统的多窗口智能内容投影方法，所述CAVE系统包括：数据主机及投影阵列，所述投影阵列包括多个投影设备，其特征在于，包括：
基于权利要求1至9所述的多窗口智能内容渲染优化方法产生渲染结果；
所述数据主机将所述渲染结果传输至所述投影设备；
所述投影设备产生投影图像至对应视觉平面。
CN201710336178.7A 2017-05-12 2017-05-12 一种基于cave系统的渲染优化方法及投影方法 Active CN107168534B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710336178.7A CN107168534B (zh) 2017-05-12 2017-05-12 一种基于cave系统的渲染优化方法及投影方法
US15/979,399 US10540918B2 (en) 2017-05-12 2018-05-14 Multi-window smart content rendering and optimizing method and projection method based on cave system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710336178.7A CN107168534B (zh) 2017-05-12 2017-05-12 一种基于cave系统的渲染优化方法及投影方法

Publications (2)

Publication Number Publication Date
CN107168534A true CN107168534A (zh) 2017-09-15
CN107168534B CN107168534B (zh) 2021-05-07

Family

ID=59815234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710336178.7A Active CN107168534B (zh) 2017-05-12 2017-05-12 一种基于cave系统的渲染优化方法及投影方法

Country Status (2)

Country Link
US (1) US10540918B2 (zh)
CN (1) CN107168534B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019129682A1 (en) * 2017-12-28 2019-07-04 Arcelik Anonim Sirketi A method and a system for displaying virtual reality images on a screen
CN111050156A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 基于四折幕场地的投影方法及系统、四折幕场地
CN111210499A (zh) * 2020-01-14 2020-05-29 深圳市康拓普信息技术有限公司 模型渲染方法及装置
CN117873851A (zh) * 2024-01-09 2024-04-12 珠海达人网络科技有限公司 一种基于云计算的数据管理动态分析系统及方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710061B (zh) * 2018-12-04 2019-12-13 三弦文旅(北京)科技有限公司 影像的动感反馈系统和动感反馈方法
CN112433599A (zh) * 2019-08-26 2021-03-02 株式会社理光 显示方法、装置和计算机可读存储介质
TWI763126B (zh) * 2020-11-16 2022-05-01 瑞昱半導體股份有限公司 基於注意力方向之裝置互動方法
CN115421395A (zh) * 2022-09-21 2022-12-02 南京创斐信息技术有限公司 一种家居智能化投影系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW358189B (en) * 1998-01-15 1999-05-11 Ind Tech Res Inst A field-surrounding image simulation real-time play system and method
CN102737097A (zh) * 2012-03-30 2012-10-17 北京峰盛博远科技有限公司 基于lod透明纹理的三维矢量实时动态叠加技术
WO2016171404A1 (ko) * 2015-04-22 2016-10-27 삼성전자 주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
CN106446351A (zh) * 2016-08-31 2017-02-22 郑州捷安高科股份有限公司 一种面向实时绘制的大规模场景组织与调度技术及仿真系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10403043B2 (en) * 2016-04-14 2019-09-03 The Research Foundation For The State University Of New York System and method for generating a progressive representation associated with surjectively mapped virtual and physical reality image data
CN107193372B (zh) * 2017-05-15 2020-06-19 杭州一隅千象科技有限公司 从多个任意位置矩形平面到可变投影中心的投影方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW358189B (en) * 1998-01-15 1999-05-11 Ind Tech Res Inst A field-surrounding image simulation real-time play system and method
CN102737097A (zh) * 2012-03-30 2012-10-17 北京峰盛博远科技有限公司 基于lod透明纹理的三维矢量实时动态叠加技术
WO2016171404A1 (ko) * 2015-04-22 2016-10-27 삼성전자 주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
CN106446351A (zh) * 2016-08-31 2017-02-22 郑州捷安高科股份有限公司 一种面向实时绘制的大规模场景组织与调度技术及仿真系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JEAN-LUC LUGRIN 等: ""CaveUDK: A VR Game Engine Middleware"", 《ACM》 *
JEAN-LUC LUGRIN 等: ""CaveUDK: A VR Game Engine Middleware"", 《VRST"12: THE 18TH ACM SYMPOSIUM ON VIRTUAL REALITY SOFTWARE AND TECHNOLOGY 2012》 *
XAVIER AMATRIAIN 等: ""The AlloSphere: Immersive Multimedia for Scientific Discovery and Artistic Exploration"", 《IEEE》 *
张江 等: ""大规模地形数据组织与调度技术研究"", 《第15届中国系统仿真技术及其应用学术会议》 *
朱德东: ""面向游戏引擎的实时多投影显示系统设计与优化"", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *
李萌: ""基于体感交互的沉浸式森林景观展示研究"", 《中国优秀博士学位论文全文数据库(工程科技Ⅱ辑)》 *
林继承 等: ""一种超大规模地形场景的实时渲染算法"", 《计算机仿真》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019129682A1 (en) * 2017-12-28 2019-07-04 Arcelik Anonim Sirketi A method and a system for displaying virtual reality images on a screen
CN111050156A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 基于四折幕场地的投影方法及系统、四折幕场地
CN111210499A (zh) * 2020-01-14 2020-05-29 深圳市康拓普信息技术有限公司 模型渲染方法及装置
CN111210499B (zh) * 2020-01-14 2023-08-25 南方电网数字平台科技(广东)有限公司 模型渲染方法及装置
CN117873851A (zh) * 2024-01-09 2024-04-12 珠海达人网络科技有限公司 一种基于云计算的数据管理动态分析系统及方法
CN117873851B (zh) * 2024-01-09 2024-06-25 珠海达人网络科技有限公司 一种基于云计算的数据管理动态分析系统及方法

Also Published As

Publication number Publication date
US20180330648A1 (en) 2018-11-15
CN107168534B (zh) 2021-05-07
US10540918B2 (en) 2020-01-21

Similar Documents

Publication Publication Date Title
CN107168534A (zh) 一种基于cave系统的渲染优化方法及投影方法
Nayyar et al. Virtual Reality (VR) & Augmented Reality (AR) technologies for tourism and hospitality industry
Shepiliev et al. Development of career guidance quests using WebAR
Hruby et al. Geovisualization with immersive virtual environments in theory and practice
CN103635939B (zh) 用于虚拟环境的间接照亮过程
CN107018336A (zh) 图像处理的方法和装置及视频处理的方法和装置
CN108389249A (zh) 一种多兼容性的vr/ar空间教室及其构建方法
CN107689082A (zh) 一种数据投影方法以及装置
CN108133454B (zh) 空间几何模型图像切换方法、装置、系统及交互设备
Han et al. A compelling virtual tour of the dunhuang cave with an immersive head-mounted display
Wessels et al. Design and creation of a 3D virtual tour of the world heritage site of Petra, Jordan
CN106375830A (zh) 虚拟现实视频上叠加跟随视角的图文和视频内容的方法
Zhang et al. The Application of Folk Art with Virtual Reality Technology in Visual Communication.
Vega et al. Visualization on spherical displays: Challenges and opportunities
Boukhris et al. 360 versus 3D Environments in VR Headsets for an Exploration Task
JP2023171298A (ja) 拡張現実及び複合現実のための空間とコンテンツの適合
Yonov School atlas with augmented reality
Latham et al. A case study on the advantages of 3D walkthroughs over photo stitching techniques
Xiao et al. Optimal device choice and media display: a novel multimedia exhibition system based on multi-terminal display platform
KR20110107707A (ko) 증강현실을 이용한 온라인 학습 장치 및 그 방법
Gobira et al. Expansion of uses and applications of virtual reality
Schofield et al. Guided by Augmented Reality: The Results of Multiple Experiments Conducted to Enhance the Visitor Experience at a Culturally Historic Site
Ahn et al. Lessons learned from reconstruction of a virtual Grotto-from point cloud to immersive virtual environment
Barbara et al. Digitizing the neolithic hypogeum
Skublewska-Paszkowska et al. 3D scanning digital models for virtual museums

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant