CN112509151A - 一种教学场景中虚拟对象的真实感生成方法 - Google Patents
一种教学场景中虚拟对象的真实感生成方法 Download PDFInfo
- Publication number
- CN112509151A CN112509151A CN202011458753.9A CN202011458753A CN112509151A CN 112509151 A CN112509151 A CN 112509151A CN 202011458753 A CN202011458753 A CN 202011458753A CN 112509151 A CN112509151 A CN 112509151A
- Authority
- CN
- China
- Prior art keywords
- teaching
- scene
- virtual
- virtual object
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/10—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations all student stations being capable of presenting the same information simultaneously
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Abstract
本发明属于混合现实技术的教学应用领域,提供一种教学场景中虚拟对象的真实感生成方法,包括:(1)教学空间的感知:采集教学空间的深度数据,实时感知视场范围内场景对象的变化;(2)真实感虚拟对象生成:通过采集教学场景中光照强度,实现虚实融合的光照效果,采用ShadowMap实时生成虚拟对象的阴影效果;(3)动态交互真实效果生成:通过视线靶点、虚拟手的交互提示设置,引导教师使用多模态算法完成与虚拟对象的实时交互。本发明方法提出了一个环境感知、对象生成和动态交互的方案,建立了一套从深度数据采集、空间感知到环境理解的教学环境感知方案,支持真实感虚拟对象的生成和实时交互。
Description
技术领域
本发明属于混合现实(Mixed Reality,MR)技术的教学应用领域,更具体地,涉及一种教学场景中虚拟对象的真实感生成方法。
背景技术
虚拟现实(Virtual Reality,VR)技术属于信息前沿技术的3大技术之一。MR作为VR技术的一大分支,以HoloLens全息眼镜为代表的MR设备不仅能够实现虚实场景的叠加,还能通过各种传感器追踪使用者的位置,在使用者、学习资源和真实环境之间构成一个交互反馈的信息回路。基于MR技术构建的增强教学场景,可打破现有课堂教学中使用大屏或电子白板存在的某些局限,有效提升学习效果;其沉浸感、交互性和智能性特征能有效激发使用者学习积极性和主观能动性,将深刻改变教学环境、教学内容、教学方法和教学模式。随着我国5G商业化的加深发展,高带宽、低时延的网络环境的进一步普及,结合MR、全息投影等技术构建的成像系统,成为下一代智能教学环境的显示形态,拥有广阔的应用前景。
但目前增强教学场景中虚拟对象的真实感生成方面还存在诸多问题:(1)虚拟对象对真实环境的理解不够,使用者通过MR设备能够感知教学环境,但虚拟对象缺乏相应的能力;(2)真实感不足,常常出现虚拟对象穿透教学空间中对象,且光影、阴影效果不真实;(3)交互体验不够逼真,交互设置、引导方式未能充分考虑使用者的感受,较难在多终端定位和映射。这些缺陷限制虚拟对象在增强教学场景中的应用。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种教学场景中虚拟对象的真实感生成方法,为混合增强教学场景中虚拟对象的真实感生成提供一种新的、完整的途径和方式,满足增强教学环境强互动对虚拟对象真实感效果的需要。
本发明的目的是通过以下技术措施实现的。
一种教学场景中虚拟对象的真实感生成方法,包括以下步骤:
(1)教学空间感知:制定教学环境深度数据采集规范,从多轨迹、多角度采集教学空间的深度数据;利用语义分割算法提取、生成各对象的3D模型,构建场景的八叉树索引结构,实时感知视场范围内场景对象的变化;利用启发式算法、聚类分析方法提取对象的特征点和线,采用空间定位和即时成图技术,优化理解教学场景和模型;
(2)真实感虚拟对象生成;教师使用多种交互方式放置、移动虚拟对象,自适应显示其位置、姿态和尺寸;通过采集教学场景中光照强度,实现虚实融合的光照效果,采用ShadowMap实时生成虚拟对象的阴影效果;基于Raycasting的渲染机制,判别教学场景中各对象的位置与遮挡关系,使用蒙版平面遮挡复杂区域,简化各对象遮挡关系的判别;
(3)动态交互真实效果生成;通过视线靶点、虚拟手的交互提示设置,引导教师使用多模态算法完成与虚拟对象的实时交互;在多终端实现交互结果的同步定位、映射和动态呈现;构建不同对象的碰撞体,根据碰撞情况,执行相应操作,设计自定义Shader,优化交互渲染流程。
在上述技术方案中,步骤(1)教学空间感知具体包括以下步骤:
(1-1)教学环境深度数据采集;制定深度传感器的采集规范,包括采集路线、移动速度;根据采集规范要求,从多轨迹、多角度采集教学空间各对象的深度数据;使用右手坐标系描述深度合成图中各对象的位置和姿态;
(1-1-1)制定教学空间深度数据采集规范,针对面积、长宽比例不同的教学空间,制定主动测距深度传感器的采集路线、移动速度,从多轨迹、多角度采集教学空间各对象的深度数据;
(1-1-2)教学空间深度信息数据采集,将TOF传感器佩戴在教师头部,根据采集规范的要求,扫描教学空间,快速采集墙壁、桌椅、黑板、讲台的深度数据,使用单精度浮点数记录各深度点的坐标数值,单位为米;
(1-1-3)位置与姿态的描述,通过迭代对齐算法,精确计算多站点采集的教学空间及其对象的深度图,将它们拼接到统一坐标系中,生成深度合成图,采用右手坐标系描述教学环境中各对象的位置坐标(x,y,z)和朝向姿态(tx,ty,tz);
(1-2)教学空间感知,根据深度合成图,构建教学空间的表面网格模型,运用语义分割算法提取、生成各对象的3D模型;利用八叉树结构分割教学空间场景,构建场景的索引结构,实现对象之间快速求交、碰撞处理;跟踪教师头部运动和视线方向的变化,实时感知视场范围内场景对象的参数变化;
(1-2-1)对象模型分割,根据合成后的深度图,构建教学空间的表面网格模型,运用语义分割算法提取、生成各对象的3D模型;根据对象的长宽高、空间位置、朝向、姿态特征信息,创建长方体包围盒,利用YOLO算法快速定位其具体位置;
(1-2-2)场景组织,利用八叉树结构分割教学空间场景,构建场景的索引结构,基于各对象包围盒的坐标信息,分割和预处理教学场景中各对象;根据包围盒的位置关系,实现各对象之间快速求交、碰撞处理;
(1-2-3)教学场景感知,结合加速度传感器、陀螺仪和深度感知摄像头,跟踪教师头部运动和视线方向的变化,实时感知新视场范围内的场景对象,确定对象的位置、姿态、尺寸,以及相对于初始状态变换矩阵的变化;
(1-3)环境理解,利用启发式算法提取教学环境中各对象的特征点,设置为空间锚点,优化理解教学空间的场景和模型;分析各对象模型的表面几何特征,采用聚类分析方法,提取其特征平面;运用空间定位和即时成图技术,实时获取教学场景中可见对象的3D表面模型;
(1-3-1)特征点理解,利用启发式算法提取教学环境中各对象的特征点,将它们设置为空间锚点,以锚点为圆心,3米之内的模型不随视场宽高比的变化而变形,通过锚点优化理解教学空间的场景和模型;
(1-3-2)特征平面理解,分析模型的表面几何特征,采用聚类分析方法,提取各对象模型的特征平面,根据教师位置和视线方向的变化,实时获取场景中的可见特征平面,增进对教学空间的理解;
(1-3-3)特征对象理解,运用空间定位和即时成图技术,定位场景空间中可见对象的坐标和姿态,根据教师位置和视线方向的变化,实时获取教学环境中可见对象的3D表面模型,剔除不可见对象,提高对教学环境理解的处理速度。
在上述技术方案中,步骤(2)真实感虚拟对象生成具体包括如下步骤:
(2-1)虚拟对象逼真显示,教师使用语音、手势交互方式在教学空间中放置、移动虚拟对象,运用感知摄像头追踪其位置、姿态和缩放比例的变化,通过求交、碰撞检测步骤,实时自适应调整位置、姿态和缩放参数,实现增强教学场景中虚拟对象的逼真显示;
(2-1-1)虚拟对象的放置,基于对真实教学环境的理解,结合教师的视线焦点与方向,使用语音、手势交互方式在教学空间中选择虚拟对象的定位点,综合考虑其所受物理规则的限制,以适当的姿态、缩放比例放置到教学空间的相应位置;
(2-1-2)虚拟对象的移动,根据教学任务的需要,教师通过语音、视线、手势方式将虚拟对象移动到教学空间的墙壁、地板、桌椅上或空中某处,通过感知摄像头追踪其在教学环境中的6DoF变化,获取新的位置、姿态和缩放参数;
(2-1-3)自适应设置,在增强教学场景中,虚拟对象遵循与真实世界相似的物理规则,放置或移动虚拟对象时,通过求交、碰撞检测步骤,实时自适应地调整位置、姿态和缩放参数,实现增强教学场景的虚实融合显示;
(2-2)真实显示效果生成,通过收集教学场景中采样点的光照强度,运用双线性内插算法计算邻近点的光照强度,并将结果作用于虚拟对象,实现虚实融合的光照效果;采用ShadowMap技术在教学空间中实时生成虚拟对象的逼真阴影效果;
(2-2-1)光影效果生成,通过在教学场景中设置采样点,收集周围环境的光照信息,运用双线性内插算法计算邻近点的光照强度,并将插值结果作用于虚拟对象,实现增强教学场景中光照融合效果,令场景更加真实,更具有立体感;
(2-2-2)阴影生成,根据教学空间中光源类型、数量、位置参数,在光源位置添加深度虚拟相机,确定包围盒落在虚拟对象阴影投射范围中的场景对象,利用ShadowMap技术,创建这些对象表面模型的深度纹理阴影;
(2-2-3)阴影动态变化,随着虚拟对象在教学空间中位置、姿态、缩放比例的变化,实时更新其在教学环境中的阴影投射区域,计算阴影坡度比例,依据深度偏移基准的设置,消除阴影锯齿效果,逼真地表现实时动态阴影效果;
(2-3)遮挡处理,判断教师与增强教学场景中各对象的位置关系,基于Raycasting的渲染机制,按照深度缓冲区的值完成对象排序;采用基于光流法的最大流/最小割跟踪方法,实时追踪各对象的轮廓,判断它们的遮挡关系;通过平移、拉伸、旋转简单平面,遮挡空间中复杂区域的3D网格,简化各对象遮挡关系的判别;
(2-3-1)场景对象的深度排序,根据教师与增强教学场景中各对象的位置关系,基于Raycasting的渲染机制,判断它们离摄像机的远近、位置关系,不断校准它们在深度缓冲区的值,执行各对象的实时深度排序;
(2-3-2)虚实遮挡关系的判断,利用八叉树结构判断增强教学场景中各对象的空间位置关系,采用基于光流法的最大流/最小割跟踪方法,从教师视角实时、精确地追踪各对象的轮廓,确定虚实对象之间的遮挡关系和范围;
(2-3-3)遮挡平面添加,针对教学空间中难以识别的白色墙壁区域、光照复杂或不可穿越的区域情形,创建一些隐藏显示的简单平面,通过平移、旋转、拉伸操作,遮挡教学空间中这些复杂区域的3D网格结构,简化真实空间各对象遮挡关系的判别。
在上述技术方案中,步骤(3)动态交互真实效果生成具体包括如下步骤:
(3-1)虚拟对象的交互,采用多模态交互算法,支持教师多种交互方式操纵虚拟对象;设置交互提示的体感效果,质量越大,虚拟手的体感偏移等级越小;通过视线靶点、虚拟手的交互提示,引导教师将感知到的空间线索与认知结构相结合;
(3-1-1)多模态交互方式,构建全息成像环境中视觉、听觉、触觉多模态交互融合算法,支持教师通过手势、视线、头部交互操作在增强教学场景中推、拉、摇、移虚拟对象,增强教学过程中交互操作的真实性;
(3-1-2)交互提示体感效果设置,根据虚拟对象的性质,估算其体积、密度和质量,基于物理重力规则,设置交互提示的体感效果:质量越大,虚拟手的体感偏移等级越小,越不产生偏移感的错觉,增强教师的真实感体验;
(3-1-3)交互引导,在增强教学场景中通过视线靶点、虚拟手的交互提示,引导教师将感知到的空间线索与认知结构相结合,增强其从真实教学场景向虚拟环境转换的自然过渡,形成相匹配的空间情境模型,增进教师的知觉体验;
(3-2)实时交互,获取教师移动虚拟对象的变化矩阵,在不同终端定位、更新其变化;利用SLAM技术,将变换后的虚拟对象映射到不同终端的本地化教学环境,同步映射交互结果;更新光影、阴影效果,实现教学环境中虚拟对象的真实感体验;
(3-2-1)虚拟对象的同步定位,在虚拟手、视线靶点提示引导下,根据教学活动的需要,教师会在增强教学场景中移动虚拟对象,计算移动前后的位置、姿态和比例尺寸的变换矩阵,用于在不同终端定位、更新虚拟对象的新变化;
(3-2-2)交互结果的同步映射,针对师生用户共享增强教学场景的需求,利用SLAM技术,将虚拟对象的变换参数映射到学生终端的本地化教学环境,实现在不同终端的一致映射以及与其它场景对象的相对位置映射;
(3-2-3)交互结果动态呈现,教师运用多模态交互方式操纵虚拟对象,在增强教学环境使用全息成像系统呈现其新位置、姿态和缩放比例,根据与光源的相对关系,更新光影、阴影效果,令教学环境中虚拟对象产生真实感体验效果;
(3-3)交互优化,依据各对象表面网格模型的形状,构建不同的碰撞体;采用扫描线算法计算虚拟对象的下一位置,判断会否与其它对象发生碰撞,执行相应操作;设计自定义Shader,采用片段着色器渲染纹理像素,重构顶点渲染流程;
(3-3-1)碰撞检测,依据增强教学场景中各对象表面网格模型的形状,构建不同的碰撞体,采用Opcode方法快速检测虚拟对象与其它对象的碰撞;
(3-3-2)避障处理,教师使用手势、视线交互方式移动、旋转和缩放增强教学场景中的虚拟对象,采用扫描线算法计算其下一位置、姿态和比例,判断与其它对象会否发生碰撞,如发生,则停止移动或执行规避障碍操作;
(3-3-3)交互渲染优化,增强教学场景的交互过程中,综合考虑渲染管道中带宽、缓存行为和滤波指标,设计自定义Shader,采用片段着色器渲染纹理像素,重构顶点渲染流程,满足光影、阴影、动画实时动态更新要求。
本发明的有益效果在于:
制定一个针对教学空间的深度数据采集规范,利用语义分割算法提取、生成各对象的3D模型,实时感知视场范围内场景对象的变化,优化理解教学场景和模型;在真实教学场景中放置、移动场景时,可实现虚实融合的光照和阴影效果,采用蒙版平面遮挡复杂区域,简化各对象遮挡关系的判别;通过视线靶点、虚拟手的提示设置,引导教师完成与虚拟对象的实时交互,将交互结果同步定位、映射和动态呈现在多用户终端,采用自定义Shader,优化交互渲染流程。随着5G、MR、全息成像等技术的日臻成熟,对虚拟对象真实感生成和显示的要求越来越高,本发明有助于满足增强教学环境强互动对虚拟对象真实感效果的需要。
附图说明
图1是本发明实施例中教学场景中虚拟对象的真实感生成方法流程图。
图2是教学空间中深度数据采集路线和点位的示意图。
图3是多站点教学空间深度数据合成图。
图4是教学空间的3D模型分割示意图。
图5是4层卷积神经网络结构示意图。
图6是本发明实施例中八叉树结构细分场景示意图。
图7是深度纹理阴影生成效果图,其中1为虚拟对象,2为虚拟对象阴影,3为入射光,4为反射光。
图8是阴影偏移动态处理示意图,其中1为阴影失真平面,2为像素点,3为中心点,L为光源到中心点距离。
图9是虚实对象间遮挡关系效果图。
图10是复杂教学空间区域中遮挡负责3D网格示意图。
图11是不规则碰撞体的创建示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施案例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施案例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,本发明实施例提供一种教学场景中虚拟对象真实感的生成方法,包括如下步骤:
(1)教学空间的感知。制定深度传感器的采集规范,从多角度采集教学空间的深度信息,利用语义分割算法生成各个对象的3D模型,构建场景的八叉树索引结构,感知教学空间各对象的变化;利用启发式算法提取对象的特征,通过空间锚点设置,优化理解教学场景和模型。
所述教学空间的感知具体包括如下步骤:
(1-1)教学环境深度数据采集。制定深度传感器的采集规范,涉及采集路线、移动速度等;根据采集规范要求,从多轨迹、多角度采集教学空间各对象的深度数据;使用右手坐标系描述深度合成图中各对象的位置和姿态。
(1-1-1)制定教学空间深度数据采集规范。针对面积、长宽比例不同的教学空间,制定主动测距深度传感器(Time of Flight,TOF)的采集路线、移动速度等采集规范,从多轨迹、多角度采集教学空间各对象的深度数据。
(1-1-2)教学空间深度信息数据采集。将TOF传感器佩戴在教师头部,依据采集规范的要求,根据教学空间中墙壁、桌椅、黑板、讲台等布局情况,设定教学空间深度数据的采集路线、采集位置与移动速度,获取教学空间的深度数据,使用单精度浮点数记录各深度点的坐标数值,单位为米。
(1-1-3)位置与姿态的描述。通过迭代对齐算法,精确计算、合成多站点采集的教学空间及其对象的深度图(如图3所示),将它们拼接到统一坐标系中,生成深度合成图,采用右手坐标系描述教学环境中各对象(墙壁,桌椅、黑板、讲台等)的位置坐标(x,y,z)和朝向姿态(tx,ty,tz),图3右下角表示3个轴的正方向。
(1-2)教学空间感知。根据深度合成图,构建教学空间的表面网格模型,运用语义分割算法提取、生成各对象的3D模型(如图4所示);利用八叉树结构分割教学空间场景,构建场景的索引结构,实现对象之间快速求交、碰撞等处理;跟踪教师头部运动和视线方向的变化,实时感知视场范围内场景对象的参数变化。
(1-2-1)对象模型分割。根据深度合成图,构建教学空间的表面网格模型,运用语义分割算法提取、生成各个对象的3D模型:
设计一个4层级神经卷积网络,提取深度信息,运用定向深度直方图算子分割深度数据中各个对象数据:
如图5所示,前3层级s={0,1,2}分别对应输入、隐藏卷积和输出深度图(即Is,Cs,Os)。层级之间的汇聚层Ps,P′s,可以减少深度图的分辨率层次。输出层O′2是第4层级,采用基于层级的智能监督训练方法,前一层级的训练成果用于后一层级的内容提取。低分辨率的层级为高分辨率层级提供先验知识,即时采样可将较大感受域的信息用于最终决策。
将像素p的梯度方向和大小定义为αp和np,根据8邻域的值量化|αp|和np,生成各个深度点的方向强度直方图,再应用高斯模糊滤镜量化整个深度图;最后在用L2-hys范式规范化直方图。所有深度图被规范成零均值和单位变量,将该过程重复应用到每个层级,样本地图和对象分割效果如图4所示。
根据各对象的长宽高、空间位置、朝向、姿态等特征信息,获取外接最小长方体包围盒,为各对象创建长方体包围盒,利用YOLO算法快速定位其具体位置。
(1-2-2)场景组织。如图6所示,根据教学空间中各对象的分布范围,采用广度优先算法,细分场景模型的边界立方体,利用八叉树结构细分、迭代教学场景中各对象,构建教学空间场景的索引结构,通过池化操作将深度为d的八分体经过下采样计算后连接到深度为d+1的子八分体,为非空八分体指定标签并存储标签矢量,在第d深度的一个非空节点处定义索引j,计算第d+1深度处其第一个子八分体的索引k=8*(Ld[j]-1),对各对象姿态信息构建场景的索引结构,分割和预处理增强教学场景中各对象,根据包围盒的位置关系(包含、相交等),实现各对象之间快速求交、碰撞等处理。
(1-2-3)教学场景感知。结合加速度传感器、陀螺仪和深度感知摄像头,采用椭圆拟合做瞳孔定位,跟踪教师头部运动和视线方向的变化,实现眼动数据与参考平面上凝视点之间的鲁棒标定,建立头部运动情况下的空间映射模型,实时感知新视场范围内的场景对象,确定对象的位置、姿态、尺寸,以及相对于初始状态变换矩阵的变化。
(1-3)环境理解。利用启发式算法提取教学环境中各对象的特征点,设置为空间锚点,优化理解教学空间的场景和模型;分析各对象模型的边表面几何特征,采用聚类分析方法,提取其特征平面;运用空间定位和即时成图技术,实时获取教学场景中可见对象的3D表面模型。
(1-3-1)特征点的理解。利用启发式算法提取教学环境中墙壁角点,桌椅、讲台、黑板等对象外接包围盒的顶点,创建空间锚点;以锚点为圆心,计算与其他对象锚点的空间距离,如距离小于3米,对象的模型显示效果保持不变,通过锚点优化理解教学空间的场景和模型。
(1-3-2)特征平面的理解。分析墙壁、桌椅、黑板、讲台等模型的表面几何特征,采用聚类分析方法确定各对象中特征平面的分布情况,选取欧式距离作为相似度指标,使用k个点的聚类平方和最小化指标:
提取特征平面的聚类中心,使用空间映射方法拟合特征平面并采用凸壳算法提取每个平面的边界,根据教师位置和视线方向的变化,更新可见视场的范围,实时获取该范围中的特征平面,增进对教学空间的理解。
(1-3-3)特征对象的理解。运用空间定位和即时成图技术,定位场景空间中可见对象的坐标和姿态,根据教师位置和视线方向的变化,实时获取教学环境中可见对象的3D表面模型,剔除不可见对象,提高对教学环境理解的处理速度。
(2)真实感虚拟对象生成。教师使用多种交互方式放置、移动虚拟对象,自适应显示其位置、姿态和尺寸;通过采集教学场景中光照强度,实现虚实融合的光照效果,采用ShadowMap实时生成虚拟对象的阴影效果;基于Raycasting的渲染机制,判别教学场景中各对象的位置与遮挡关系,使用蒙版平面遮挡复杂区域,简化各对象遮挡关系的判别。
(2-1)虚拟对象逼真显示。教师使用语音、手势等交互方式在教学空间中放置、移动虚拟对象,运用感知摄像头追踪其位置、姿态和缩放比例的变化,通过求交、碰撞检测等步骤,实时自适应调整位置、姿态和缩放等参数,实现增强教学场景中虚拟对象的逼真显示。
(2-1-1)虚拟对象的放置。基于对真实教学环境的理解,结合教师的视线焦点与方向,使用语音、手势等交互方式在教学空间中选择虚拟对象的定位点;考虑物理规则为各虚拟对象添加刚体属性,设置在其他对象表面的摩擦力、弹性、空气阻力、重力等约束条件,以适当的姿态、缩放比例将虚拟对象放置到教学空间的相应位置。
(2-1-2)虚拟对象的移动。根据教学任务的需要,教师可通过语音、视线、手势等方式将虚拟对象移动到教学空间的墙壁、地板、桌椅上或空中某处,追踪其在教学场景的6方向自由度(6DoF)变化,获取虚拟对象新的位置、姿态和缩放参数。
(2-1-3)自适应设置。在增强教学场景中,虚拟对象遵循与真实世界相似的物理规则,如近大远小的透视效果,放置或移动虚拟对象时,通过求交、碰撞检测等步骤,使用控制函数:
u(k)∈R,y(k)∈R分别表示k时刻数据的输入和输出,λ是权重因子,ρ是步长因子,用来限制控制虚拟对象输入的变化量,时变参数φc(k)∈R,y*(k+1)为期望输出结果,实时自适应地调整位置、姿态和缩放参数,实现增强教学场景的虚实融合显示。
(2-2)真实显示效果生成。通过收集教学场景中采样点的光照强度,运用双线性内插算法计算邻近采样点的光照强度,并将结果作用于虚拟对象,实现虚实融合的光照效果;采用ShadowMap技术在教学空间中实时生成虚拟对象的逼真阴影效果。
I=kaIa+kd(n·l)Id+ks(r·v)αIs
其中a是环境光,d是反射光,s是高光,k是反射系数或材质颜色,I是光的颜色或亮度,α是对象表面粗糙程度。
根据入射光和反射光关系变化控制亮光区域范围和锐利程度,按距离大小计算增加的光照值,利用场景中采样点的间接光效果照亮虚拟对象,由于目标图像的坐标设置为单精度浮点数存在非整数的重映射,通过边长比对应源图像,运用双线性内插算法计算邻近采样点光照强度值,将其结果作用于虚拟对象,实现增强虚拟教学场景中光照融合效果,令场景更加真实,更具有立体感。
(2-2-2)阴影生成。根据教学空间中光源类型、数量、位置等参数,在光源位置添加深度虚拟相机并设定其视锥范围,从光源视角渲染整个教学场景,获得场景的阴影效果图,根据各对象外接包围盒顶点坐标,确定包围盒落在虚拟对象阴影投射范围中的场景对象,从深度缓冲区遍历并拷贝纹理阴影数据,在特征平面上生成关联的深度纹理阴影(如图7)。
(2-2-3)阴影动态变化。随着虚拟对象在教学空间中位置、姿态、缩放比例的变化,利用光照模型原理、Shadow Map算法实时更新其在教学环境中的阴影投射区域,使用:
反三角函数公式:tanα(坡度)=高程差/水平距离
计算阴影坡度尺度,依据深度偏移基准的设置,消除阴影锯齿效果,结合光源检测算法:
L(x,w)=Le(x,w)+Lr(x,w)
获取光源的方向和强度,对比周围环境与虚拟对象表面亮度,调整虚拟对象在直接光照与间接光照叠加效果下动态阴影变化,Le(x,w)表示直接光照辐照率,Lr(x,w)表示间接光照辐照度,L(x,w)是空间位置x上沿着方向w的辐照率。
图8中,截取一块产生阴影偏移的平面,a、b、c、d四个像素点到光源距离与中心点到光源的距离比较,确定各部分像素点的明暗。
(2-3)遮挡处理。判断教师与增强教学场景中各对象的位置关系,基于Raycasting的渲染机制,按照深度缓冲区的值完成对象排序;采用基于光流法的最大流/最小割的轮廓跟踪方法,实时追踪各对象的轮廓,判断它们的遮挡关系;通过平移、拉伸、旋转简单平面,遮挡空间中复杂区域的3D网格,简化各对象遮挡关系的判别。
(2-3-1)场景对象的深度排序。根据教师与增强教学场景中各对象的位置关系,基于Raycasting的渲染机制获取个对象的前景实物轮廓,判断其离摄像机的远近、位置关系,通过深度值梯度分配方法,完成场景各对象的深度信息排序,不断校准它们在深度缓冲区的值,执行各对象的实时深度排序。
(2-3-2)虚实遮挡关系的判断。利用八叉树结构判断增强教学场景中各对象的空间位置关系,比较场景对象中前景物体和虚拟物体的深度排序值确定遮挡关系,首先利用光流法跟踪上一帧图像中目标区域内的特征点,包围盒的边e∈E连接两个相邻的特征点,为每条边设置一个非负的权值we,运用表达式:
做最大流/最小割的轮廓跟踪,然后根据特征点的位移,将上一帧的轮廓平移,获得当前目标物体的近似轮廓,再以近似轮廓为中心的带状区域求得目标的精确轮廓,快速收敛到目标边界,采用基于光流法的最大流/最小割的轮廓跟踪方法,利用深度图像梯度计算公式:
p(x,y)表示空间某一对象位置,从教师视角实时、精确地追踪各对象的轮廓,比较场景前景对象与虚拟对象的深度值,确定如图9所示虚实对象之间的遮挡关系和范围。
(2-3-3)遮挡平面添加。针对教学空间中难以识别的白色墙壁区域、光照复杂或不可穿越的区域等情形(如墙壁、转角、窗台等),创建一些隐藏显示的简易平面(如四边形),通过平移、旋转、拉伸操作,遮挡教学空间中复杂区域的3D网格(如图10),简化真实空间各对象遮挡关系的判别。
(3)动态交互真实效果生成。通过视线靶点、虚拟手的交互提示设置,引导教师使用多模态算法完成与虚拟对象的实时交互;在多终端实现交互结果的同步定位、映射和动态呈现;构建不同对象的碰撞体,根据碰撞情况,执行相应操作,设计自定义Shader,优化交互渲染流程。
(3-1)虚拟对象的交互。采用多模态交互算法,支持教师多种交互方式操纵虚拟对象;设置交互提示的体感效果,质量越大,虚拟手的体感偏移等级越小;通过视线靶点、虚拟手的交互提示,引导教师将感知到的空间线索与认知结构相结合。
(3-1-1)多模态交互方式。构建全息成像环境中视觉、听觉、触觉等多模态交互融合算法,获取虚拟对象的包围盒,支持教师通过手势、视线、头部等交互操作在增强教学场景中推、拉、摇、移虚拟对象,增强教学过程中交互操作的真实性。
(3-1-2)交互提示体感效果设置。根据虚拟对象的性质,估算其体积、密度和质量,基于物理重力规则对不同的物理负荷水平,划分虚拟交互提示的体感偏移等级,虚拟对象的质量越大,虚拟手的体感偏移等级越小,越不产生偏移感的错觉,增强教师的真实感体验。
(3-1-3)交互引导。建立增强教学场景表征的空间认知,通过视线靶点、虚拟手的交互提示,引导教师将感知到的空间线索与认知结构相结合,根据虚拟对象的移动状态、当前位置坐标、场景呈现角度,匹配师生视角渲染教学场景,提升师生自我定位、主观行为感觉,增强其从真实教学场景向虚拟环境转换的自然过渡,形成相匹配的空间情境模型,增进教师的知觉体验。
(3-2)实时交互。获取教师移动虚拟对象的变化矩阵,在不同终端定位、更新其变化;利用SLAM技术,将变换后的虚拟对象映射到不同终端的本地化教学环境,同步映射交互结果;更新光影、阴影等效果,实现教学环境中虚拟对象的真实感体验。
(3-2-1)虚拟对象的同步定位。在虚拟手、视线靶点等提示引导下,计算教师视线与虚拟对象表面法向量的夹角,根据教学活动的需要,教师会在增强教学场景中点击、移动、旋转、缩放虚拟对象,计算移动前后的位置、姿态和比例尺寸的变换矩阵,用于在不同终端定位、更新虚拟对象的信息变化。
(3-2-2)交互结果的同步映射。针对师生用户共享增强教学场景的需求,利用视觉SLAM技术提取与匹配各对象特征点,反演位置与姿态变化,获取精准的位姿估计,同步多用户不同设备的教学场景数据,获取环境、设备的一致映射以及各组关键帧的相对位置映射,将虚拟对象的变换参数映射到学生终端的本地化教学环境,实现不同终端的一致映射以及与其它场景对象的相对位置映射。
(3-2-3)交互结果动态呈现。教师运用多模态交互方式操纵虚拟对象,在增强教学环境使用全息成像系统呈现其新位置、姿态和缩放比例,根据与光源的相对关系,更新光影、阴影效果,令教学环境中虚拟对象产生真实感体验效果。
(3-3)交互优化。依据各对象表面网格模型的形状,构建不同的碰撞体;采用扫描线算法计算虚拟对象的下一位置,判断会否与其它对象发生碰撞,执行相应操作;设计自定义Shader,采用片段着色器渲染纹理像素,重构顶点渲染流程。
(3-3-1)碰撞检测。依据增强教学场景中各对象表面网格模型的形状,构建不同的碰撞体(如规则的长方体形状,则直接使用外接长方盒;如图11中的不规则表面,则采用分段表示的长方体盒以贴近对象表面),采用Opcode方法,通过检测目标的采样检测对p(Ai,Bj),其初始位置X的标记矩阵:
XAi与XBi表示碰撞体点位坐标,利用三维空间中两个目标特征之间的欧式距离f(p(Ai,Bj))当做判断依据,快速检测虚拟对象与其它对象的碰撞。
(3-3-2)避障处理。教师使用手势、视线等交互方式移动、旋转和缩放增强教学场景中的虚拟对象,采用扫描线算法求出各边方程:
设常量△x表步长关系,计算扫描线与虚拟对象交点,对其交点按照距离远近从小到大排序,判断与其它对象会否发生碰撞,规划出不与其他对象碰撞且满足虚拟对象运动学约束的运动路径,如发生碰撞,则停止移动或利用协调控制运动方程:
ψω当前位置到障碍物的方位角,v,ψ,Φ,g分别为移动速度、偏转角、视转角和重力加速度,ρ是相机到障碍物距离,执行避障操作。
(3-3-3)交互渲染优化。增强教学场景的交互过程中,综合考虑渲染管道中带宽、缓存行为和滤波指标,设计自定义Shader,优先使用满足视觉效果要求的片段着色器,移除材质中Secondary Maps等可以省略的属性,并降低顶点着色器代码复杂度;使用纹理压缩的方式减少教室空间各对象的纹理大小,从而优化现存带宽;重构顶点渲染流程,满足光影、阴影、动画等实时动态更新要求。
本说明书中未作详细描述的内容,属于本专业技术人员公知的现有技术。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种教学场景中虚拟对象的真实感生成方法,其特征在于该方法包括以下步骤:
(1)教学空间感知:制定教学环境深度数据采集规范,从多轨迹、多角度采集教学空间的深度数据;利用语义分割算法提取、生成各对象的3D模型,构建场景的八叉树索引结构,实时感知视场范围内场景对象的变化;利用启发式算法、聚类分析方法提取对象的特征点和线,采用空间定位和即时成图技术,优化理解教学场景和模型;
(2)真实感虚拟对象生成;教师使用多种交互方式放置、移动虚拟对象,自适应显示其位置、姿态和尺寸;通过采集教学场景中光照强度,实现虚实融合的光照效果,采用ShadowMap实时生成虚拟对象的阴影效果;基于Raycasting的渲染机制,判别教学场景中各对象的位置与遮挡关系,使用蒙版平面遮挡复杂区域,简化各对象遮挡关系的判别;
(3)动态交互真实效果生成;通过视线靶点、虚拟手的交互提示设置,引导教师使用多模态算法完成与虚拟对象的实时交互;在多终端实现交互结果的同步定位、映射和动态呈现;构建不同对象的碰撞体,根据碰撞情况,执行相应操作,设计自定义Shader,优化交互渲染流程。
2.根据权利要求1所述的教学场景中虚拟对象的真实感生成方法,其特征在于步骤(1)教学空间感知具体包括以下步骤:
(1-1)教学环境深度数据采集;制定深度传感器的采集规范,包括采集路线、移动速度;根据采集规范要求,从多轨迹、多角度采集教学空间各对象的深度数据;使用右手坐标系描述深度合成图中各对象的位置和姿态;
(1-1-1)制定教学空间深度数据采集规范,针对面积、长宽比例不同的教学空间,制定主动测距深度传感器的采集路线、移动速度,从多轨迹、多角度采集教学空间各对象的深度数据;
(1-1-2)教学空间深度信息数据采集,将TOF传感器佩戴在教师头部,根据采集规范的要求,扫描教学空间,快速采集墙壁、桌椅、黑板、讲台的深度数据,使用单精度浮点数记录各深度点的坐标数值,单位为米;
(1-1-3)位置与姿态的描述,通过迭代对齐算法,精确计算多站点采集的教学空间及其对象的深度图,将它们拼接到统一坐标系中,生成深度合成图,采用右手坐标系描述教学环境中各对象的位置坐标(x,y,z)和朝向姿态(tx,ty,tz);
(1-2)教学空间感知,根据深度合成图,构建教学空间的表面网格模型,运用语义分割算法提取、生成各对象的3D模型;利用八叉树结构分割教学空间场景,构建场景的索引结构,实现对象之间快速求交、碰撞处理;跟踪教师头部运动和视线方向的变化,实时感知视场范围内场景对象的参数变化;
(1-2-1)对象模型分割,根据合成后的深度图,构建教学空间的表面网格模型,运用语义分割算法提取、生成各对象的3D模型;根据对象的长宽高、空间位置、朝向、姿态特征信息,创建长方体包围盒,利用YOLO算法快速定位其具体位置;
(1-2-2)场景组织,利用八叉树结构分割教学空间场景,构建场景的索引结构,基于各对象包围盒的坐标信息,分割和预处理教学场景中各对象;根据包围盒的位置关系,实现各对象之间快速求交、碰撞处理;
(1-2-3)教学场景感知,结合加速度传感器、陀螺仪和深度感知摄像头,跟踪教师头部运动和视线方向的变化,实时感知新视场范围内的场景对象,确定对象的位置、姿态、尺寸,以及相对于初始状态变换矩阵的变化;
(1-3)环境理解,利用启发式算法提取教学环境中各对象的特征点,设置为空间锚点,优化理解教学空间的场景和模型;分析各对象模型的表面几何特征,采用聚类分析方法,提取其特征平面;运用空间定位和即时成图技术,实时获取教学场景中可见对象的3D表面模型;
(1-3-1)特征点理解,利用启发式算法提取教学环境中各对象的特征点,将它们设置为空间锚点,以锚点为圆心,3米之内的模型不随视场宽高比的变化而变形,通过锚点优化理解教学空间的场景和模型;
(1-3-2)特征平面理解,分析模型的表面几何特征,采用聚类分析方法,提取各对象模型的特征平面,根据教师位置和视线方向的变化,实时获取场景中的可见特征平面,增进对教学空间的理解;
(1-3-3)特征对象理解,运用空间定位和即时成图技术,定位场景空间中可见对象的坐标和姿态,根据教师位置和视线方向的变化,实时获取教学环境中可见对象的3D表面模型,剔除不可见对象,提高对教学环境理解的处理速度。
3.根据权利要求1所述的教学场景中虚拟对象的真实感生成方法,其特征在于步骤(2)真实感虚拟对象生成具体包括如下步骤:
(2-1)虚拟对象逼真显示,教师使用语音、手势交互方式在教学空间中放置、移动虚拟对象,运用感知摄像头追踪其位置、姿态和缩放比例的变化,通过求交、碰撞检测步骤,实时自适应调整位置、姿态和缩放参数,实现增强教学场景中虚拟对象的逼真显示;
(2-1-1)虚拟对象的放置,基于对真实教学环境的理解,结合教师的视线焦点与方向,使用语音、手势交互方式在教学空间中选择虚拟对象的定位点,综合考虑其所受物理规则的限制,以适当的姿态、缩放比例放置到教学空间的相应位置;
(2-1-2)虚拟对象的移动,根据教学任务的需要,教师通过语音、视线、手势方式将虚拟对象移动到教学空间的墙壁、地板、桌椅上或空中某处,通过感知摄像头追踪其在教学环境中的6DoF变化,获取新的位置、姿态和缩放参数;
(2-1-3)自适应设置,在增强教学场景中,虚拟对象遵循与真实世界相似的物理规则,放置或移动虚拟对象时,通过求交、碰撞检测步骤,实时自适应地调整位置、姿态和缩放参数,实现增强教学场景的虚实融合显示;
(2-2)真实显示效果生成,通过收集教学场景中采样点的光照强度,运用双线性内插算法计算邻近点的光照强度,并将结果作用于虚拟对象,实现虚实融合的光照效果;采用ShadowMap技术在教学空间中实时生成虚拟对象的逼真阴影效果;
(2-2-1)光影效果生成,通过在教学场景中设置采样点,收集周围环境的光照信息,运用双线性内插算法计算邻近点的光照强度,并将插值结果作用于虚拟对象,实现增强教学场景中光照融合效果,令场景更加真实,更具有立体感;
(2-2-2)阴影生成,根据教学空间中光源类型、数量、位置参数,在光源位置添加深度虚拟相机,确定包围盒落在虚拟对象阴影投射范围中的场景对象,利用ShadowMap技术,创建这些对象表面模型的深度纹理阴影;
(2-2-3)阴影动态变化,随着虚拟对象在教学空间中位置、姿态、缩放比例的变化,实时更新其在教学环境中的阴影投射区域,计算阴影坡度比例,依据深度偏移基准的设置,消除阴影锯齿效果,逼真地表现实时动态阴影效果;
(2-3)遮挡处理,判断教师与增强教学场景中各对象的位置关系,基于Raycasting的渲染机制,按照深度缓冲区的值完成对象排序;采用基于光流法的最大流/最小割跟踪方法,实时追踪各对象的轮廓,判断它们的遮挡关系;通过平移、拉伸、旋转简单平面,遮挡空间中复杂区域的3D网格,简化各对象遮挡关系的判别;
(2-3-1)场景对象的深度排序,根据教师与增强教学场景中各对象的位置关系,基于Raycasting的渲染机制,判断它们离摄像机的远近、位置关系,不断校准它们在深度缓冲区的值,执行各对象的实时深度排序;
(2-3-2)虚实遮挡关系的判断,利用八叉树结构判断增强教学场景中各对象的空间位置关系,采用基于光流法的最大流/最小割跟踪方法,从教师视角实时、精确地追踪各对象的轮廓,确定虚实对象之间的遮挡关系和范围;
(2-3-3)遮挡平面添加,针对教学空间中难以识别的白色墙壁区域、光照复杂或不可穿越的区域情形,创建一些隐藏显示的简单平面,通过平移、旋转、拉伸操作,遮挡教学空间中这些复杂区域的3D网格结构,简化真实空间各对象遮挡关系的判别。
4.根据权利要求1所述的教学场景中虚拟对象的真实感生成方法,其特征在于步骤(3)动态交互真实效果生成具体包括如下步骤:
(3-1)虚拟对象的交互,采用多模态交互算法,支持教师多种交互方式操纵虚拟对象;设置交互提示的体感效果,质量越大,虚拟手的体感偏移等级越小;通过视线靶点、虚拟手的交互提示,引导教师将感知到的空间线索与认知结构相结合;
(3-1-1)多模态交互方式,构建全息成像环境中视觉、听觉、触觉多模态交互融合算法,支持教师通过手势、视线、头部交互操作在增强教学场景中推、拉、摇、移虚拟对象,增强教学过程中交互操作的真实性;
(3-1-2)交互提示体感效果设置,根据虚拟对象的性质,估算其体积、密度和质量,基于物理重力规则,设置交互提示的体感效果:质量越大,虚拟手的体感偏移等级越小,越不产生偏移感的错觉,增强教师的真实感体验;
(3-1-3)交互引导,在增强教学场景中通过视线靶点、虚拟手的交互提示,引导教师将感知到的空间线索与认知结构相结合,增强其从真实教学场景向虚拟环境转换的自然过渡,形成相匹配的空间情境模型,增进教师的知觉体验;
(3-2)实时交互,获取教师移动虚拟对象的变化矩阵,在不同终端定位、更新其变化;利用SLAM技术,将变换后的虚拟对象映射到不同终端的本地化教学环境,同步映射交互结果;更新光影、阴影效果,实现教学环境中虚拟对象的真实感体验;
(3-2-1)虚拟对象的同步定位,在虚拟手、视线靶点提示引导下,根据教学活动的需要,教师会在增强教学场景中移动虚拟对象,计算移动前后的位置、姿态和比例尺寸的变换矩阵,用于在不同终端定位、更新虚拟对象的新变化;
(3-2-2)交互结果的同步映射,针对师生用户共享增强教学场景的需求,利用SLAM技术,将虚拟对象的变换参数映射到学生终端的本地化教学环境,实现在不同终端的一致映射以及与其它场景对象的相对位置映射;
(3-2-3)交互结果动态呈现,教师运用多模态交互方式操纵虚拟对象,在增强教学环境使用全息成像系统呈现其新位置、姿态和缩放比例,根据与光源的相对关系,更新光影、阴影效果,令教学环境中虚拟对象产生真实感体验效果;
(3-3)交互优化,依据各对象表面网格模型的形状,构建不同的碰撞体;采用扫描线算法计算虚拟对象的下一位置,判断会否与其它对象发生碰撞,执行相应操作;设计自定义Shader,采用片段着色器渲染纹理像素,重构顶点渲染流程;
(3-3-1)碰撞检测,依据增强教学场景中各对象表面网格模型的形状,构建不同的碰撞体,采用Opcode方法快速检测虚拟对象与其它对象的碰撞;
(3-3-2)避障处理,教师使用手势、视线交互方式移动、旋转和缩放增强教学场景中的虚拟对象,采用扫描线算法计算其下一位置、姿态和比例,判断与其它对象会否发生碰撞,如发生,则停止移动或执行规避障碍操作;
(3-3-3)交互渲染优化,增强教学场景的交互过程中,综合考虑渲染管道中带宽、缓存行为和滤波指标,设计自定义Shader,采用片段着色器渲染纹理像素,重构顶点渲染流程,满足光影、阴影、动画实时动态更新要求。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011458753.9A CN112509151B (zh) | 2020-12-11 | 2020-12-11 | 一种教学场景中虚拟对象的真实感生成方法 |
US17/397,859 US11282404B1 (en) | 2020-12-11 | 2021-08-09 | Method for generating sense of reality of virtual object in teaching scene |
PCT/CN2021/131211 WO2022121645A1 (zh) | 2020-12-11 | 2021-11-17 | 一种教学场景中虚拟对象的真实感生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011458753.9A CN112509151B (zh) | 2020-12-11 | 2020-12-11 | 一种教学场景中虚拟对象的真实感生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112509151A true CN112509151A (zh) | 2021-03-16 |
CN112509151B CN112509151B (zh) | 2021-08-24 |
Family
ID=74973693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011458753.9A Active CN112509151B (zh) | 2020-12-11 | 2020-12-11 | 一种教学场景中虚拟对象的真实感生成方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11282404B1 (zh) |
CN (1) | CN112509151B (zh) |
WO (1) | WO2022121645A1 (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113253846A (zh) * | 2021-06-02 | 2021-08-13 | 樊天放 | 一种基于目光偏转趋势的hid交互系统及方法 |
CN113434035A (zh) * | 2021-05-19 | 2021-09-24 | 华中师范大学 | 一种vr全景图像素材的教学重用方法 |
CN113487082A (zh) * | 2021-07-06 | 2021-10-08 | 华中师范大学 | 一种虚拟实验教学资源的注记复杂度度量和优化配置方法 |
CN113504890A (zh) * | 2021-07-14 | 2021-10-15 | 炬佑智能科技(苏州)有限公司 | 基于ToF相机的扬声器组件的控制方法、装置、设备和介质 |
CN113672097A (zh) * | 2021-10-22 | 2021-11-19 | 华中师范大学 | 一种立体综合教学场中教师手部感知交互方法 |
CN114022644A (zh) * | 2021-11-05 | 2022-02-08 | 华中师范大学 | 一种教学空间中多虚拟化身的选位方法 |
CN114237389A (zh) * | 2021-12-06 | 2022-03-25 | 华中师范大学 | 一种基于全息成像的增强教学环境中临场感生成方法 |
CN114580575A (zh) * | 2022-04-29 | 2022-06-03 | 中智行(苏州)科技有限公司 | 一种自动驾驶视觉感知的可持续闭环链路的构建方法 |
WO2022121645A1 (zh) * | 2020-12-11 | 2022-06-16 | 华中师范大学 | 一种教学场景中虚拟对象的真实感生成方法 |
CN116416402A (zh) * | 2023-06-07 | 2023-07-11 | 航天宏图信息技术股份有限公司 | 一种基于mr协同数字沙盘的数据展示方法和系统 |
CN117055724A (zh) * | 2023-05-08 | 2023-11-14 | 华中师范大学 | 虚拟教学场景中生成式教学资源系统及其工作方法 |
CN117173365A (zh) * | 2023-08-07 | 2023-12-05 | 华中师范大学 | 基于声音ai模型的虚拟场景生成方法及系统 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102594258B1 (ko) * | 2021-04-26 | 2023-10-26 | 한국전자통신연구원 | 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치 |
KR20230040708A (ko) * | 2021-09-16 | 2023-03-23 | 현대자동차주식회사 | 행위 인식 장치 및 방법 |
US11417069B1 (en) * | 2021-10-05 | 2022-08-16 | Awe Company Limited | Object and camera localization system and localization method for mapping of the real world |
US11514654B1 (en) * | 2021-12-09 | 2022-11-29 | Unity Technologies Sf | Calibrating focus/defocus operations of a virtual display based on camera settings |
CN115035278B (zh) * | 2022-06-06 | 2023-06-27 | 北京新唐思创教育科技有限公司 | 基于虚拟形象的教学方法、装置、设备及存储介质 |
US11776206B1 (en) | 2022-12-23 | 2023-10-03 | Awe Company Limited | Extended reality system and extended reality method with two-way digital interactive digital twins |
CN116630583A (zh) * | 2023-07-24 | 2023-08-22 | 北京亮亮视野科技有限公司 | 虚拟信息的生成方法、装置、电子设备及存储介质 |
CN116860113B (zh) * | 2023-08-16 | 2024-03-22 | 深圳职业技术大学 | 一种xr组合场景体验生成方法、系统及存储介质 |
CN116825293B (zh) * | 2023-08-25 | 2023-11-07 | 青岛市胶州中心医院 | 一种可视化产科影像检查处理方法 |
CN117437098B (zh) * | 2023-12-06 | 2024-04-26 | 中交第四航务工程勘察设计院有限公司 | 一种港口工程方向的智能建造虚拟仿真教学方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998050884A2 (fr) * | 1997-05-06 | 1998-11-12 | Latypov Nurakhmed Nurislamovic | Systeme permettant de placer un sujet dans la realite virtuelle |
CN104504671A (zh) * | 2014-12-12 | 2015-04-08 | 浙江大学 | 一种用于立体显示的虚实融合图像生成方法 |
CN106951079A (zh) * | 2017-03-17 | 2017-07-14 | 北京康邦科技有限公司 | 一种自适应课程控制方法和系统 |
CN107479706A (zh) * | 2017-08-14 | 2017-12-15 | 中国电子科技集团公司第二十八研究所 | 一种基于HoloLens的战场态势信息构建与交互实现方法 |
CN111428726A (zh) * | 2020-06-10 | 2020-07-17 | 中山大学 | 基于图神经网络的全景分割方法、系统、设备及存储介质 |
CN111525552A (zh) * | 2020-04-22 | 2020-08-11 | 大连理工大学 | 一种基于特征信息的三阶段短期风电场群功率预测方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1966767A2 (en) * | 2005-12-31 | 2008-09-10 | BRACCO IMAGING S.p.A. | Systems and methods for collaborative interactive visualization of 3d data sets over a network ("dextronet") |
US20150123966A1 (en) * | 2013-10-03 | 2015-05-07 | Compedia - Software And Hardware Development Limited | Interactive augmented virtual reality and perceptual computing platform |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
DE102016113060A1 (de) * | 2016-07-15 | 2018-01-18 | Beckhoff Automation Gmbh | Verfahren zum Steuern eines Objekts |
AU2017371954A1 (en) * | 2016-12-08 | 2019-07-25 | Digital Pulse Pty. Limited | A system and method for collaborative learning using virtual reality |
US10387485B2 (en) * | 2017-03-21 | 2019-08-20 | International Business Machines Corporation | Cognitive image search refinement |
CN107705353B (zh) * | 2017-11-06 | 2020-02-11 | 太平洋未来科技(深圳)有限公司 | 应用于增强现实的虚拟对象光影效果的渲染方法和装置 |
US11442591B2 (en) * | 2018-04-09 | 2022-09-13 | Lockheed Martin Corporation | System, method, computer readable medium, and viewer-interface for prioritized selection of mutually occluding objects in a virtual environment |
CN115407676A (zh) * | 2018-06-15 | 2022-11-29 | 谷歌有限责任公司 | 使用增强现实可视化的智能家居设备放置和安装 |
JP7432534B2 (ja) * | 2018-06-27 | 2024-02-16 | コロラド・ステート・ユニバーシティ・リサーチ・ファウンデーション | 双方向にマルチユーザの仮想現実体験を効率的にレンダリング、管理、記録、および再生するための方法及び装置 |
US20210097875A1 (en) * | 2019-09-27 | 2021-04-01 | Magic Leap, Inc. | Individual viewing in a shared space |
US11380069B2 (en) * | 2019-10-30 | 2022-07-05 | Purdue Research Foundation | System and method for generating asynchronous augmented reality instructions |
CN111009158B (zh) * | 2019-12-18 | 2020-09-15 | 华中师范大学 | 一种面向野外实践教学的虚拟学习环境多通道融合展示方法 |
US11887365B2 (en) * | 2020-06-17 | 2024-01-30 | Delta Electronics, Inc. | Method for producing and replaying courses based on virtual reality and system thereof |
CN112509151B (zh) * | 2020-12-11 | 2021-08-24 | 华中师范大学 | 一种教学场景中虚拟对象的真实感生成方法 |
-
2020
- 2020-12-11 CN CN202011458753.9A patent/CN112509151B/zh active Active
-
2021
- 2021-08-09 US US17/397,859 patent/US11282404B1/en active Active
- 2021-11-17 WO PCT/CN2021/131211 patent/WO2022121645A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998050884A2 (fr) * | 1997-05-06 | 1998-11-12 | Latypov Nurakhmed Nurislamovic | Systeme permettant de placer un sujet dans la realite virtuelle |
CN104504671A (zh) * | 2014-12-12 | 2015-04-08 | 浙江大学 | 一种用于立体显示的虚实融合图像生成方法 |
CN106951079A (zh) * | 2017-03-17 | 2017-07-14 | 北京康邦科技有限公司 | 一种自适应课程控制方法和系统 |
CN107479706A (zh) * | 2017-08-14 | 2017-12-15 | 中国电子科技集团公司第二十八研究所 | 一种基于HoloLens的战场态势信息构建与交互实现方法 |
CN111525552A (zh) * | 2020-04-22 | 2020-08-11 | 大连理工大学 | 一种基于特征信息的三阶段短期风电场群功率预测方法 |
CN111428726A (zh) * | 2020-06-10 | 2020-07-17 | 中山大学 | 基于图神经网络的全景分割方法、系统、设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
YANG ZONGKAI等: "Research and development of web-based virtual online classroom", 《COMPUTERS & EDUCATION》 * |
张堃等: "大视场大规模目标精确检测算法应用研究", 《仪器仪表学报 》 * |
钟正等: "基于全景视频的空间认知效果实验研究", 《电化教育研究》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022121645A1 (zh) * | 2020-12-11 | 2022-06-16 | 华中师范大学 | 一种教学场景中虚拟对象的真实感生成方法 |
CN113434035B (zh) * | 2021-05-19 | 2022-03-29 | 华中师范大学 | 一种vr全景图像素材的教学重用方法 |
CN113434035A (zh) * | 2021-05-19 | 2021-09-24 | 华中师范大学 | 一种vr全景图像素材的教学重用方法 |
CN113253846A (zh) * | 2021-06-02 | 2021-08-13 | 樊天放 | 一种基于目光偏转趋势的hid交互系统及方法 |
CN113253846B (zh) * | 2021-06-02 | 2024-04-12 | 樊天放 | 一种基于目光偏转趋势的hid交互系统及方法 |
CN113487082A (zh) * | 2021-07-06 | 2021-10-08 | 华中师范大学 | 一种虚拟实验教学资源的注记复杂度度量和优化配置方法 |
CN113487082B (zh) * | 2021-07-06 | 2022-06-10 | 华中师范大学 | 一种虚拟实验教学资源的注记复杂度度量和优化配置方法 |
CN113504890A (zh) * | 2021-07-14 | 2021-10-15 | 炬佑智能科技(苏州)有限公司 | 基于ToF相机的扬声器组件的控制方法、装置、设备和介质 |
CN113672097A (zh) * | 2021-10-22 | 2021-11-19 | 华中师范大学 | 一种立体综合教学场中教师手部感知交互方法 |
CN114022644A (zh) * | 2021-11-05 | 2022-02-08 | 华中师范大学 | 一种教学空间中多虚拟化身的选位方法 |
CN114237389A (zh) * | 2021-12-06 | 2022-03-25 | 华中师范大学 | 一种基于全息成像的增强教学环境中临场感生成方法 |
CN114580575A (zh) * | 2022-04-29 | 2022-06-03 | 中智行(苏州)科技有限公司 | 一种自动驾驶视觉感知的可持续闭环链路的构建方法 |
CN117055724A (zh) * | 2023-05-08 | 2023-11-14 | 华中师范大学 | 虚拟教学场景中生成式教学资源系统及其工作方法 |
CN116416402A (zh) * | 2023-06-07 | 2023-07-11 | 航天宏图信息技术股份有限公司 | 一种基于mr协同数字沙盘的数据展示方法和系统 |
CN117173365A (zh) * | 2023-08-07 | 2023-12-05 | 华中师范大学 | 基于声音ai模型的虚拟场景生成方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112509151B (zh) | 2021-08-24 |
WO2022121645A1 (zh) | 2022-06-16 |
US11282404B1 (en) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112509151B (zh) | 一种教学场景中虚拟对象的真实感生成方法 | |
US11238644B2 (en) | Image processing method and apparatus, storage medium, and computer device | |
CN112150575B (zh) | 场景数据获取方法及模型训练方法、装置及计算机设备 | |
Izadi et al. | Kinectfusion: real-time 3d reconstruction and interaction using a moving depth camera | |
Lu et al. | Non-photorealistic volume rendering using stippling techniques | |
US6795069B2 (en) | Free-form modeling of objects with variational implicit surfaces | |
Lu et al. | Illustrative interactive stipple rendering | |
CN110717494B (zh) | Android移动端室内场景三维重建及语义分割方法 | |
CN108648269A (zh) | 三维建筑物模型的单体化方法和系统 | |
JP5299173B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
EP3533218B1 (en) | Simulating depth of field | |
Mudge et al. | Viewpoint quality and scene understanding | |
JP2012190428A (ja) | 立体映像視覚効果処理方法 | |
US20180286130A1 (en) | Graphical image augmentation of physical objects | |
Sandnes | Sketching 3D immersed experiences rapidly by hand through 2D cross sections | |
CN111145341A (zh) | 一种基于单光源的虚实融合光照一致性绘制方法 | |
Kim et al. | Haptic editing of decoration and material properties | |
Deepu et al. | 3D Reconstruction from Single 2D Image | |
Levene | A framework for non-realistic projections | |
EP3980975B1 (en) | Method of inferring microdetail on skin animation | |
Dutreve et al. | Easy rigging of face by automatic registration and transfer of skinning parameters | |
Zhang et al. | A smart method for developing game-based virtual laboratories | |
Eichelbaum et al. | PointAO-Improved Ambient Occlusion for Point-based Visualization. | |
Moubaraki et al. | Realistic 3d facial animation in virtual space teleconferencing | |
Erdem | A new method for generating 3-D face models for personalized user interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |