CN106296828B - 一种实现虚拟场景分层次建模的方法与系统 - Google Patents
一种实现虚拟场景分层次建模的方法与系统 Download PDFInfo
- Publication number
- CN106296828B CN106296828B CN201610576494.7A CN201610576494A CN106296828B CN 106296828 B CN106296828 B CN 106296828B CN 201610576494 A CN201610576494 A CN 201610576494A CN 106296828 B CN106296828 B CN 106296828B
- Authority
- CN
- China
- Prior art keywords
- scene
- scene objects
- virtual
- objects
- importance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
Abstract
本发明提供一种虚拟场景分层次建模的方法与系统。本发明通过解析虚拟场景中各个场景目标的重要性程度,确定每个场景目标在虚拟场景中所处于的不同层次;从而,对不同层次上的场景目标选用相对应的具有不同复杂度的场景目标模型;并且,本发明对场景目标的各种因素视其对虚拟现实显示效果的影响程度而进行层次划分,并且针对不同层次上的场景目标,与之对应地决定用于建模的目标因素。通过上述方式,本发明实现了在虚拟场景建模过程中对运算和通信资源的合理分配,提高了整个过程的实时性,可应用于各种网络化的虚拟现实平台。
Description
技术领域
本发明属于计算机技术领域,具体涉及一种实现虚拟场景分层次建模的方法与系统。
背景技术
近年来非常热门的虚拟现实技术,是在综合应用了计算机三维图形技术、传感技术、人机交互技术、三维显示技术的基础上,为用户呈现高度逼真的三维视觉感观,并且实现三维显示世界与用户真实世界行为之间的高实时性交互,使用户感受到无限趋近于真实世界的体验。能够产生沉浸效应是虚拟现实技术区别于其它图形显示和人机交互技术的重要特征,所谓沉浸指的是通过高度逼真的显示以及自然无缝的人机交互,使用户的注意力完全集中在虚拟现实所营造的环境中,而难以有意识和下意识地进行虚拟现实世界与真实世界的分界。
用户所在场景环境的营造是利用虚拟现实技术达到沉浸效应的关键一环。因为不论是将虚拟现实技术应用在电影放映、角色模拟游戏当中,还是应用在具有真实环境还原效果的飞行、驾驶、体育训练当中,用户都是首先置身于具体的场景环境之中,并产生对场景环境的感知辨识,进而才会随着场景的变化与切换而将自身代入到故事、游戏或训练的情节,最终达到沉浸效果。因此,在虚拟现实技术中,虚拟场景的构建具有特别重要的地位。
虚拟场景的构建是以针对场景目标构建场景目标模型的方式实现的。具体来说,可以从所拍摄的真实场景图像中提取各场景目标;然后进行建模,将每个场景目标的位置坐标、空间形态、视觉属性等因素以统一格式的场景目标模型加以表示;进而在场景目标模型的基础上,通过解析、框架重建和渲染形成虚拟场景。或者,也可以不以真实场景图像为依据,而是完全基于设计需求而确定每个场景中包含的场景目标,以及场景目标的位置坐标、空间形态、视觉属性等因素;进而通过建模,以场景目标模型表示这些因素;再通过解析、框架重建和渲染的方式最终形成虚拟场景。
不论以上哪一种针对虚拟场景的构建方式,对场景目标的建模都需要比较大的运算量,因而对虚拟现实系统的运算资源消耗也会比较大。特别是,近年来虚拟现实技术的应用越来越向着网络化、实时化、虚实结合的方向发展,因此对场景目标建模的及时性、高效性要求不断提升。
举例来说,目前电商平台正在不断研究虚拟现实技术在网络购物当中的应用平台。当用户佩戴虚拟现实显示器并登陆电商的虚拟现实网络购物平台之后,即进入了该平台的虚拟购物场景。在该场景中,供选购的各种商品作为所包含的场景目标,显示在虚拟构建的货架上,当然货架也是虚拟场景中的场景目标。或者,供选购的各种商品作为场景目标,可以被显示在虚拟构建的商品使用环境中——例如作为商品的跑车会显示在虚拟构建的赛车场上;当然该商品使用环境中也包含各种虚拟的场景目标,例如赛车场的跑道、隔离桩、看台等。又或者,用户可以向本平台上传拟应用该商品的真实使用环境的图像,平台从该图像中提取出各种目标并为其建模,转化为虚拟场景中的场景目标,并把这些场景目标与表示商品的场景目标相互融合起来,共同形成购物的虚拟场景,以便用户可以了解商品实际使用时的感观状况。另外,在虚拟购物场景中也可以构建虚拟的人物作为场景目标,例如构建虚拟的讲解员,用于对商品信息进行介绍。
在虚拟现实网络购物平台这一应用中,首先,当用户选定某一款商品,确定商品的使用环境或者上传表示商品真实使用环境的图像以后,相关的虚拟场景要被尽量高速、无延迟地构建起来,过长的延时会严重降低用户体验,因此对场景目标建模的实时性提出了很高的要求。所构建的虚拟场景要由电商侧的平台通过网络传输给用户的虚拟现实显示器,因此考虑到各种网络环境下的通信容量和速率,虚拟场景总数据量应控制在适当的程度,而该数据量是与场景目标的建模过程直接相关的。
目前,对于虚拟场景下场景目标的建模及其在用户侧的虚拟场景生成,现有技术普遍在生成虚拟场景的渲染阶段,通过渲染精细度的选择和渐进来降低延迟和资源占用。但是在虚拟场景构建过程中的场景目标建模阶段却缺乏有效的手段,由于场景目标建模是整个虚拟场景构建的主要环节,因此这会导致现有技术中延迟时间长、占用运算资源多、生成数据量大的问题无法从根本上得到解决。
发明内容
针对现有技术的上述缺陷,本发明提供了一种虚拟场景分层次建模的方法与系统。本发明通过解析虚拟场景中各个场景目标的重要性程度,确定每个场景目标在虚拟场景中所处于的不同层次;从而,对不同层次上的场景目标选用相对应的具有不同复杂度的场景目标模型;并且,本发明对场景目标的各种因素视其对虚拟现实显示效果的影响程度而进行层次划分,并且针对不同层次上的场景目标,与之对应地决定用于建模的目标因素。通过上述方式,本发明实现了在虚拟场景建模过程中对运算和通信资源的合理分配,提高了整个过程的实时性,可应用于各种网络化的虚拟现实平台。
本发明提供了一种虚拟场景分层次建模的方法,其特征在于,包括:
步骤S1,获得虚拟场景,并提取该虚拟场景中包括的场景目标;确定表示每个场景目标的位置坐标、空间形态、视觉属性的场景目标参数;
步骤S2,针对所提取的场景目标及其场景目标参数,评估各场景目标的重要性程度,从而将虚拟场景中的场景目标按其重要性程度划分至不同的层次;
步骤S3,对于处在不同层次上的每个场景目标,选取和/或重构应用于对该场景目标进行建模的场景目标参数,并根据被选取和/或重构的场景目标参数实现对场景目标的建模。
优选的是,步骤S1中,提取每个场景目标的质心点位置坐标、外接矩形边界坐标、表示场景目标空间形态的点-线坐标组合、纹理映射关系、光照强度和方向作为所述场景目标参数。
优选的是,步骤S2中,将整个虚拟场景的坐标空间根据人眼视域注意力关注的不同而划分为若干空间区域,并根据每个场景目标的质心点位置坐标和外接矩形边界坐标,确定该场景目标所归属的虚拟场景的空间区域;根据各场景目标所归属的虚拟场景的空间区域,为处于不同空间区域内的场景目标分别分配不同的重要性权重值。
进一步优选的是,根据场景目标自身的类型属性和/或运动属性来调整所述重要性权重值。
优选的是,步骤S2中,通过分析整个虚拟场景中的全部场景目标的重要性权重值及其场景目标参数,预判虚拟场景建模负荷,并根据虚拟场景建模负荷决定重要性层次划分阈值的设定方案,从而设定多个重要性层次划分阈值,并将各个场景目标的重要性权重值与各个重要性层次划分阈值进行比较,判定场景目标的重要性层次。
进一步优选的是,虚拟场景建模负荷可以用以下公式进行表征:
B=I1·C1+I2·C2+...In-1·Cn-1+In·Cn
其中,B表示所述虚拟建模负荷,I1至In分别表示虚拟场景中每个场景目标的重要性权重值,而C1至Cn分别表示虚拟场景中每个场景目标的预估建模复杂度。
进一步优选的是,利用场景目标空间形态的点-线坐标组合计算该场景目标三维空间区域网格所具有的多边形面的数量;并且统计用于纹理映射的纹理元图像数量;统计入射到场景目标的光照源的数量;将以上三组数量的乘积作为该场景目标的预估建模复杂度。
进一步优选的是,根据虚拟场景建模负荷B的值,决定在重要性层次划分阈值的设定方案中各层次级别对应的重要性层次划分阈值的值。
优选的是,步骤S3中,根据场景目标所处的重要性层次,选取场景目标的质心点位置坐标、外接矩形边界坐标、表示场景目标空间形态的点-线坐标组合、纹理映射关系、光照强度和方向中的任意一个或多个场景目标参数,重构后作为应用于对该场景目标进行建模的场景目标参数。
本发明提供了一种实现虚拟场景分层次建模的系统,其特征在于,包括:
场景目标提取模块,用于获得虚拟场景,并提取该虚拟场景中包括的场景目标;
场景目标参数获取模块,用于针对场景目标提取模块提取的各个场景目标,确定表征每个场景目标的位置坐标、空间形态、视觉属性的场景目标参数;
场景目标重要性权重值计算模块,用于根据场景目标所归属的虚拟场景的空间区域,和/或,场景目标自身的类型属性或运动属性,确定每个场景目标的重要性权重值;
重要性层次划分模块,用于分析整个虚拟场景中的全部场景目标的重要性权重值及其场景目标参数,预判虚拟场景建模负荷,并根据虚拟场景建模负荷决定重要性层次划分阈值的设定方案,从而设定多个重要性层次划分阈值;并将各个场景目标的重要性权重值与各个重要性层次划分阈值进行比较,判定场景目标的重要性层次;
场景目标分层次建模模块,用于对于处在不同层次上的每个场景目标,选取和/或重构应用于对该场景目标进行建模的场景目标参数,并根据被选取和/或重构的场景目标参数实现对场景目标的建模,形成在虚拟空间中表征各个场景目标的统一格式的空间模型。
从而,本发明针对虚拟现实场景空间中的场景目标,基于多种标准决定其对用户感知影响程度的重要性;进而参考虚拟空间建模的整体负荷,对全部场景目标进行重要性层次的划分;对用户感知影响程度高的高层次的场景目标对象实现高精细度的空间建模、表面纹理建模和光照亮度建模,而对于低层次的场景目标则削减建模的因素并降低建模的精细度;通过本发明,可以在不影响用户感知感受的前提下,在虚拟场景的场景目标之间高效率地分配系统用于建模的运算资源,提高建模运算的实时性,降低生成数据量,有效缩短虚拟现实网络化、实时化的应用当中的延迟时间,提升用户体验和沉浸效应。
说明书附图
结合以下说明书附图,对本发明的具体实施方式进行详细介绍,其中:
图1是本发明优选实施例中实现虚拟场景分层次建模的方法流程示意图;
图2是本发明优选实施例中虚拟场景空间划分示意图;
图3是本发明优选实施例中实现虚拟场景分层次建模的系统结构图。
具体实施方式
下面通过实施例,对本发明的技术方案做进一步具体的说明。
图1是本发明所述实现虚拟场景分层次建模的方法流程示意图。首先,在步骤S1中,获得虚拟场景,并提取该虚拟场景中包括的场景目标。
获得虚拟场景并从中提取场景目标可采用各种手段实现,包括但不限于这里介绍的以下手段。对于将现实生活中存在的真实场景虚拟现实化的情况,可以拍摄该真实场景的图像,例如利用立体成像摄像系统进行全方位的真实场景拍摄以取得该场景各个视点下的图像,并且,利用目标分割提取的算法,从该真实场景的图像中识别出将真实场景转化为虚拟场景后所包含的各场景目标。对于基于设计需求而完全由人工定义的虚拟场景,则可从虚拟场景的定义文件或描述文件中查找目标的列表,从而提取该场景下包含的场景目标。对于实现虚实结合的应用,则是综合以上两种手段,分别确定由真实场景图像转化而来的场景目标以及人为定义的虚拟场景当中存在的场景目标。
提取虚拟场景中的场景目标还进一步包括:确定每个场景目标的位置坐标、空间形态、视觉属性等方面的因素,以场景目标参数表征这些因素。关于位置坐标,定义虚拟场景的空间坐标系,并且将每个场景目标在虚拟场景中的位置表征为该虚拟场景空间坐标系中的坐标。场景目标在虚拟场景中是占据一定空间的三维区域,并不是一个点,因此可以利用该三维区域的质心点的位置坐标以及该三维区域外接矩形的边界坐标(例如矩形的顶点坐标)共同来作为该场景目标的位置坐标。关于空间形态,对于场景目标占据的三维区域,可以用点和线的组合来表示该三维区域的外边界,从而描述该场景目标的空间轮廓。点和线均可以用坐标来表示,而点和线的组合所形成的多边形,可以表示出三维空间中的一个面,而一组多边形的面形成的网格所包围或占据的区域即可以表示出场景目标的三维空间区域图。通过用足够多的多边形的面进行逼近,可以表示出场景目标的曲面等复杂的空间形态。场景目标的视觉属性主要表示为目标外表面的纹理与反射。以纹理表征场景目标的表面视觉特性能够增加目标的细节真实感;可以通过建立纹理映射,把纹理图像的像素点映射为场景目标三维空间区域的外表面上的像素点。光照反映了场景目标的外表面对照射在上面的光的反射和折射作用,体现为场景目标三维空间区域外表面像素点的明暗亮度。逐一确定其外表面像素点的明暗亮度运算过于繁琐庞大,因此,可以根据入射到场景目标三维空间区域外表面的光照强度和方向的设定,根据反射系数、漫反射系数,推算出场景目标三维空间区域外表面像素点的明暗亮度,其中反射系数、漫反射系数是对场景目标表面物理光学性质的模拟。因此,场景目标的质心点位置坐标、外接矩形边界坐标、表示场景目标空间形态的点-线坐标组合、以及纹理映射关系、光照强度和方向即构成了所述场景目标参数。
步骤S2中,针对所提取的场景目标及其场景目标参数,评估各场景目标的重要性程度,从而将虚拟场景中的场景目标按其重要性程度划分至不同的层次。
场景目标的重要性程度主要取决于在用户观看虚拟现实显示并形成沉浸效应的过程中该场景目标对用户感知的影响程度。人的视觉感知存在将注意力集中于希望关注的主要目标而忽略视域内的次要目标的特点,一般来说,人眼视域的中心区域是注意力关注的主要区域,而周边区域则是非注意力关注的次要区域;位于整个场景前景部分的区域是注意力关注的主要区域,而作为整个场景背景部分的区域是非注意力关注的次要区域。故而,如图2所示,将整个虚拟场景的坐标空间划分为中央前景区域A、中央背景区域B、边缘前景区域C、边缘前景区域D、边缘背景区域E、边缘背景区域F等空间区域。根据每个场景目标的质心点位置坐标和外接矩形边界坐标,确定该场景目标所归属的虚拟场景的空间区域;例如,图2中场景目标201的质心点位置坐标2011和各个外接矩形边界坐标2012均位于中央前景区域A,则该场景目标201归属于中央前景区域A;场景目标202的质心点位置坐标2021和各个外接矩形边界坐标2022位于中央背景区域B和中央前景区域A,但其中位于中央背景区域B的坐标点多于位于中央前景区域A的坐标点,因此将该场景目标202归属为中央背景区域B。同理,场景目标203归属于边缘前景区域C,场景目标204归属于边缘背景区域F。
根据各场景目标所归属的虚拟场景空间区域,为处于不同空间区域内的场景目标分别分配不同的重要性权重值。其中,中央前景区域A对应的重要性权重值最高,中央背景区域B的重要性权重值次之,边缘前景区域C和边缘前景区域D的重要性权重值低于中央背景区域B,而边缘背景区域E和边缘背景区域F的重要性权重值最低。
作为决定场景目标重要性权重值的另一种方式,可以在上述根据各场景目标所归属的虚拟场景空间区域确定该场景目标重要性权重值的基础上,根据场景目标自身的类型属性来调整所述重要性权重值。例如,在前文所述的电商虚拟现实网络购物平台当中,可以将待选购的商品作为虚拟现实场景中的一个场景目标201,并将该商品位置设置于中央前景区域A;同时,在边缘前景区域C设置虚拟讲解员作为场景目标203。虽然场景目标203处于虚拟场景空间的边缘区域,但是由于该场景目标203在网络购物这一特定应用中较为容易得到用户的关注,因此将该场景目标203调整为与场景目标201一样具有最高的重要性权重值。
决定场景目标重要性权重值的过程中,可以在上述根据各场景目标所归属的虚拟场景空间区域确定该场景目标重要性权重值的基础上,根据场景目标在整个虚拟场景应用过程中的运动属性来调整所述重要性权重值。例如,在前文所述的电商虚拟现实网络购物平台当中,可以将用户待选购的第一件商品作为虚拟现实场景中的一个场景目标201,并将该商品位置设置于中央前景区域A;并且,将用户待选购的第二件商品作为虚拟场景中的另一个场景目标202,设置于中央背景区域B。在网络购物的整个过程中,用户可以通过商品切换的功能,调换两件商品的位置,即使场景目标202调整至中央前景区域A。因此,根据场景目标在整个虚拟场景应用过程中的运动属性,可以将场景目标202调整为与场景目标201一样具有最高的重要性权重值。这样能够提高虚拟场景最初建模的适用性,避免后续频繁更新模型造成的显示延迟等问题。
步骤S2中,还通过设定多个重要性层次划分阈值,并将各个场景目标的重要性权重值与各个重要性层次划分阈值进行比较,判定场景目标的重要性层次。在这一过程中,通过分析整个虚拟场景中的全部场景目标的重要性权重值及其场景目标参数,预判虚拟场景建模负荷,并根据虚拟场景建模负荷决定重要性层次划分阈值的设定方案。
以图2为例,虚拟场景建模负荷可以用以下公式进行表征:
B=I201·C201+I202·C202+I203·C203+I204·C204
其中,B表示所述虚拟建模负荷,I201至I204分别表示场景目标201至204的重要性权重值,而C201至C204分别表示场景目标201至204的预估建模复杂度。对于每个场景目标,可利用场景目标空间形态的点-线坐标组合,纹理图像,光照强度和方向确定其预估建模复杂度;具体来说,利用场景目标空间形态的点-线坐标组合计算该场景目标三维空间区域网格所具有的多边形面的数量;并且统计用于纹理映射的纹理元图像数量;统计入射到场景目标的光照源的数量;将以上三组数量的乘积作为该场景目标的预估建模复杂度。
由虚拟场景建模负荷决定重要性层次划分阈值的设定方案。举例来说,重要性层次可以分为最高、高、中、低、最低等重要性由高到低的层次级别,每一个层次级别对应一个重要性层次划分阈值;例如,当某个场景目标的重要性权重值大于层次级别为高的重要性层次划分阈值,但低于层次级别为最高的重要性层次划分阈值,则将该场景目标的层次级别确定为高。虚拟场景建模负荷B的值越低,则在重要性层次划分阈值的设定方案中,各层次级别对应的重要性层次划分阈值越低,这表明在对虚拟场景整体建模负荷的预期不大的情况下,通过降低重要性层次划分阈值使更多的场景目标进入较高的层次级别,以便为其建立更精细的模型;相反,虚拟场景建模负荷B的值越高,则在重要性层次划分阈值的设定方案中,各层次级别对应的重要性层次划分阈值越高,从而使更多的场景目标进入较低的层次级别,通过建模的简化而缓解运算负荷压力,提高运算实时性,降低建模产生的数据量。
回到图1,在步骤S3中,对于处在不同层次上的每个场景目标,选取和/或重构应用于对该场景目标进行建模的场景目标参数,并根据被选取和/或重构的场景目标参数实现对场景目标的建模。
在步骤S1中,对于虚拟场景中的每一个场景目标,提取了质心点位置坐标、外接矩形边界坐标、表示场景目标空间形态的点-线坐标组合、以及纹理映射关系、光照强度和方向,作为所述场景目标参数。在本步骤中,则针对每个场景目标的上述场景目标参数进行了选取和重构,选取和重构的核心是减少应用于场景目标建模的场景目标参数的类型和复杂程度,从而降低建模负荷,增强所建模型数据的可网络传输性能。
根据该场景目标所在的重要性层次,对每个场景目标的场景目标参数所进行选取和重构。举例来说,若场景目标处于最高的重要性层次,则将该场景目标的质心点位置坐标、外接矩形边界坐标、表示场景目标空间形态的点-线坐标组合、以及纹理映射关系、光照强度和方向均被选取用于针对该场景目标的建模。并且,所选取的场景目标参数需要进一步实现重构:第一,对于表示场景目标空间形态的点-线坐标组合,利用该点-线坐标组合计算该场景目标三维空间区域网格所具有的多边形面的数量,对此,可以通过控制拟合度而减小多边形面的数量,并将减小后的点-线坐标组合作为用于对该场景目标进行建模的场景目标参数。第二,对于纹理映射关系,可直接将表示纹理的元图像的像素点映射为场景目标三维空间区域的外表面上的像素点。第三,可针对全部入射到场景目标的光照源,确定入射到场景目标三维空间区域外表面的光照强度和方向的设定,再根据反射系数、漫反射系数,推算出场景目标三维空间区域外表面像素点的明暗亮度,其中反射系数、漫反射系数是对场景目标表面物理光学性质的模拟。利用上述重构的场景目标参数,为该具有最高重要性层次的场景目标实现建模,形成用于在虚拟空间中表征该场景目标的统一格式的空间模型。
对于处在高和中等重要性层次的场景目标,可选取场景目标的质心点位置坐标、外接矩形边界坐标、表示场景目标空间形态的点-线坐标组合、以及纹理映射关系、光照强度和方向均被选取用于针对该场景目标的建模。并且,所选取的场景目标参数需要进一步实现重构:第一,对于表示场景目标空间形态的点-线坐标组合,利用该点-线坐标组合计算该场景目标三维空间区域网格所具有的多边形面的数量,对此,可以通过控制拟合度而减小多边形面的数量,并将减小后的点-线坐标组合作为用于对该场景目标进行建模的场景目标参数,其拟合度要低于最高层次场景目标的拟合度,以便缩减场景目标三维空间区域网格所具有的多边形面的数量,降低负荷。第二,对于纹理映射关系,可以从全部表示纹理的元图像中选取与场景目标主要表面对应的一部分纹理元图像,并将纹理元图像的像素点映射为场景目标三维空间区域的外表面上的像素点。第三,可针对全部入射到场景目标的光照源,选取一个主要光照源,确定自该主要光照源入射到场景目标三维空间区域外表面的光照强度和方向的设定,再根据反射系数、漫反射系数,推算出场景目标三维空间区域外表面像素点的明暗亮度,其中反射系数、漫反射系数是对场景目标表面物理光学性质的模拟。利用上述重构的场景目标参数,为该具有高或中的重要性层次的场景目标实现建模,形成用于在虚拟空间中表征该场景目标的统一格式的空间模型。
对于处在较低或低等重要性层次的场景对象,可以选取表示场景目标空间形态的点-线坐标组合以及纹理映射关系,而不选取光照强度和方向;或者,只选取表示场景目标空间形态的点-线坐标组合,而忽略纹理映射关系以及光照强度和方向,从而简化了应用于重要性层次较低的场景对象建模的场景目标参数。对于选取的点-线坐标组合,进一步降低拟合度,缩减场景目标三维空间区域网格所具有的多边形面的数量。以及,进一步减少纹理元图像的数量,从而为该具有低或最低的重要性层次的场景目标实现建模,形成用于在虚拟空间中表征该场景目标的统一格式的空间模型。
在完成了对虚拟场景全部场景目标的建模之后,平台可将该统一格式的空间模型以建模文件集合的形式通过网络发送给客户端,由客户端的虚拟现实显示设备利用模型成像引擎在场景目标的空间模型的基础上,通过解析确定场景目标三维空间网格、表面像素纹理以及表面像素的光照亮度,从而重建和渲染形成虚拟场景。
图3是本发明中用于实现虚拟场景分层次建模的系统结构示意图。参加该图3,场景目标提取模块301用于获得虚拟场景,并提取该虚拟场景中包括的场景目标。场景目标提取模块301可以利用目标分割提取的算法,从该真实场景的图像中识别出将真实场景转化为虚拟场景后所包含的各场景目标。对于基于设计需求而完全由人工定义的虚拟场景,场景目标提取模块301则可从虚拟场景的定义文件或描述文件中查找目标的列表,从而提取该场景下包含的场景目标。对于实现虚实结合的应用,场景目标提取模块301分别确定由真实场景图像转化而来的场景目标以及人为定义的虚拟场景当中存在的场景目标。
场景目标参数获取模块302,用于针对场景目标提取模块301提取的各个场景目标,确定每个场景目标的位置坐标、空间形态、视觉属性等方面的因素,以场景目标参数表征这些因素。如上文所述,可通过场景目标的质心点位置坐标、外接矩形边界坐标、表示场景目标空间形态的点-线坐标组合、以及纹理映射关系、光照强度和方向作为描述场景目标的位置坐标、空间形态、视觉属性的所述场景目标参数。
场景目标重要性权重值计算模块303,用于根据场景目标所归属的虚拟场景的空间区域,和/或,场景目标自身的类型属性或运动属性,确定每个场景目标的重要性权重值。该模块根据场景目标的质心点位置坐标和场景目标外接矩形边界坐标,确定该场景目标所归属的虚拟场景空间区域;再根据各场景目标所归属的虚拟场景空间区域,为处于不同空间区域内的场景目标分别分配不同的重要性权重值。其中,中央前景区域对应的重要性权重值最高,中央背景区域的重要性权重值次之,边缘前景区域和边缘前景区域的重要性权重值低于中央背景区域,而边缘背景区域和边缘背景区域的重要性权重值最低。进而,该模块根据场景目标自身的类型属性来调整所述重要性权重值,和/或根据场景目标在整个虚拟场景应用过程中的运动属性来调整所述重要性权重值。
重要性层次划分模块304,用于分析整个虚拟场景中的全部场景目标的重要性权重值及其场景目标参数,预判虚拟场景建模负荷,并根据虚拟场景建模负荷决定重要性层次划分阈值的设定方案,从而设定多个重要性层次划分阈值;并将各个场景目标的重要性权重值与各个重要性层次划分阈值进行比较,判定场景目标的重要性层次。
场景目标分层次建模模块305,用于对于处在不同层次上的每个场景目标,选取和/或重构应用于对该场景目标进行建模的场景目标参数,并根据被选取和/或重构的场景目标参数实现对场景目标的建模,形成在虚拟空间中表征各个场景目标的统一格式的空间模型。
在完成了对虚拟场景全部场景目标的建模之后,可以通过建模文件发送模块306将该统一格式的空间模型以建模文件集合的形式通过网络发送给客户端,由客户端的虚拟现实显示设备利用模型成像引擎在场景目标的空间模型的基础上,通过解析确定场景目标三维空间网格、表面像素纹理以及表面像素的光照亮度,从而重建和渲染形成虚拟场景。
从而,本发明针对虚拟现实场景空间中的场景目标,基于多种标准决定其对用户感知影响程度的重要性;进而参考虚拟空间建模的整体负荷,对全部场景目标进行重要性层次的划分;对用户感知影响程度高的高层次的场景目标对象实现高精细度的空间建模、表面纹理建模和光照亮度建模,而对于低层次的场景目标则削减建模的因素并降低建模的精细度;通过本发明,可以在不影响用户感知感受的前提下,在虚拟场景的场景目标之间高效率地分配系统用于建模的运算资源,提高建模运算的实时性,降低生成数据量,有效缩短虚拟现实网络化、实时化的应用当中的延迟时间,提升用户体验和沉浸效应。
以上实施例仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。
Claims (7)
1.一种虚拟场景分层次建模的方法,其特征在于,包括:
步骤S1,获得虚拟场景,并提取该虚拟场景中包括的场景目标;确定表示每个场景目标的位置坐标、空间形态、视觉属性的场景目标参数;提取每个场景目标的质心点位置坐标、外接矩形边界坐标、表示场景目标空间形态的点-线坐标组合、纹理映射关系、光照强度和方向作为所述场景目标参数;
步骤S2,针对所提取的场景目标及其场景目标参数,评估各场景目标的重要性程度,将整个虚拟场景的坐标空间根据人眼视域注意力关注的不同而划分为若干空间区域,并根据每个场景目标的质心点位置坐标和外接矩形边界坐标,确定该场景目标所归属的虚拟场景的空间区域;根据各场景目标所归属的虚拟场景的空间区域,为处于不同空间区域内的场景目标分别分配不同的重要性权重值;通过分析整个虚拟场景中的全部场景目标的重要性权重值及其场景目标参数,预判虚拟场景建模负荷,并根据虚拟场景建模负荷决定重要性层次划分阈值的设定方案,从而设定多个重要性层次划分阈值,并将各个场景目标的重要性权重值与各个重要性层次划分阈值进行比较,判定场景目标的重要性层次,从而将虚拟场景中的场景目标按其重要性程度划分至不同的层次;
步骤S3,对于处在不同层次上的每个场景目标,选取和/或重构应用于对该场景目标进行建模的场景目标参数,并根据被选取和/或重构的场景目标参数实现对场景目标的建模。
2.根据权利要求1所述的虚拟场景分层次建模的方法,其特征在于,根据场景目标自身的类型属性和/或运动属性来调整所述重要性权重值。
3.根据权利要求1所述的虚拟场景分层次建模的方法,其特征在于,虚拟场景建模负荷可以用以下公式进行表征:
B=I1·C1+I2·C2+...+In-1·Cn-1+In·Cn
其中,B表示所述虚拟场景建模负荷,I1至In分别表示虚拟场景中每个场景目标的重要性权重值,而C1至Cn分别表示虚拟场景中每个场景目标的预估建模复杂度。
4.根据权利要求3所述的虚拟场景分层次建模的方法,其特征在于,利用场景目标空间形态的点-线坐标组合计算该场景目标三维空间区域网格所具有的多边形面的数量;并且统计用于纹理映射的纹理元图像数量;统计入射到场景目标的光照源的数量;将以上三组数量的乘积作为该场景目标的预估建模复杂度。
5.根据权利要求3所述的虚拟场景分层次建模的方法,其特征在于,根据虚拟场景建模负荷B的值,决定在重要性层次划分阈值的设定方案中各层次级别对应的重要性层次划分阈值的值。
6.根据权利要求1所述的虚拟场景分层次建模的方法,其特征在于,步骤S3中,根据场景目标所处的重要性层次,选取场景目标的质心点位置坐标、外接矩形边界坐标、表示场景目标空间形态的点-线坐标组合、纹理映射关系、光照强度和方向中的任意一个或多个场景目标参数,重构后作为应用于对该场景目标进行建模的场景目标参数。
7.一种实现虚拟场景分层次建模的系统,其特征在于,包括:
场景目标提取模块,用于获得虚拟场景,并提取该虚拟场景中包括的场景目标;
场景目标参数获取模块,用于针对场景目标提取模块提取的各个场景目标,确定表征每个场景目标的位置坐标、空间形态、视觉属性的场景目标参数;
场景目标重要性权重值计算模块,用于根据场景目标所归属的虚拟场景的空间区域,和/或,场景目标自身的类型属性或运动属性,确定每个场景目标的重要性权重值;
重要性层次划分模块,用于分析整个虚拟场景中的全部场景目标的重要性权重值及其场景目标参数,预判虚拟场景建模负荷,并根据虚拟场景建模负荷决定重要性层次划分阈值的设定方案,从而设定多个重要性层次划分阈值;并将各个场景目标的重要性权重值与各个重要性层次划分阈值进行比较,判定场景目标的重要性层次;
场景目标分层次建模模块,用于对于处在不同层次上的每个场景目标,选取和/或重构应用于对该场景目标进行建模的场景目标参数,并根据被选取和/或重构的场景目标参数实现对场景目标的建模,形成在虚拟空间中表征各个场景目标的统一格式的空间模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610576494.7A CN106296828B (zh) | 2016-07-20 | 2016-07-20 | 一种实现虚拟场景分层次建模的方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610576494.7A CN106296828B (zh) | 2016-07-20 | 2016-07-20 | 一种实现虚拟场景分层次建模的方法与系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106296828A CN106296828A (zh) | 2017-01-04 |
CN106296828B true CN106296828B (zh) | 2019-03-26 |
Family
ID=57651842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610576494.7A Active CN106296828B (zh) | 2016-07-20 | 2016-07-20 | 一种实现虚拟场景分层次建模的方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106296828B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10366540B2 (en) * | 2017-03-23 | 2019-07-30 | Htc Corporation | Electronic apparatus and method for virtual reality or augmented reality system |
CN107170047A (zh) * | 2017-04-13 | 2017-09-15 | 北京小鸟看看科技有限公司 | 虚拟现实场景的更新方法、设备及虚拟现实设备 |
CN110223381A (zh) * | 2019-06-12 | 2019-09-10 | 淄博轩悦装饰设计有限公司 | 一种商品、产品、作品展示的方法 |
CN111538410A (zh) * | 2020-04-16 | 2020-08-14 | 上海唯二网络科技有限公司 | 一种vr场景中确定目标算法的方法及装置、计算设备 |
CN111914422B (zh) * | 2020-08-05 | 2021-02-02 | 北京开云互动科技有限公司 | 一种虚拟现实中红外特征实时可视化模拟方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101082934A (zh) * | 2007-06-19 | 2007-12-05 | 北京师范大学 | 网络环境下超大规模空间数据的三维可视化方法 |
CN101216954A (zh) * | 2008-01-21 | 2008-07-09 | 浙江大学 | 一种基于分级层次化深度网格的森林绘制方法 |
CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
CN103077282A (zh) * | 2013-01-15 | 2013-05-01 | 西南交通大学 | 一种基于基元组合与多层次语义约束的高速铁路场景快速建模方法 |
CN103646415A (zh) * | 2013-12-24 | 2014-03-19 | 秦皇岛数据产业研究院有限公司 | 基于双重约束的三维场景lod模型的选择调用方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7126605B1 (en) * | 2001-07-03 | 2006-10-24 | Munshi Aaftab A | Method and apparatus for implementing level of detail with ray tracing |
-
2016
- 2016-07-20 CN CN201610576494.7A patent/CN106296828B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101082934A (zh) * | 2007-06-19 | 2007-12-05 | 北京师范大学 | 网络环境下超大规模空间数据的三维可视化方法 |
CN101216954A (zh) * | 2008-01-21 | 2008-07-09 | 浙江大学 | 一种基于分级层次化深度网格的森林绘制方法 |
CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
CN103077282A (zh) * | 2013-01-15 | 2013-05-01 | 西南交通大学 | 一种基于基元组合与多层次语义约束的高速铁路场景快速建模方法 |
CN103646415A (zh) * | 2013-12-24 | 2014-03-19 | 秦皇岛数据产业研究院有限公司 | 基于双重约束的三维场景lod模型的选择调用方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106296828A (zh) | 2017-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106296828B (zh) | 一种实现虚拟场景分层次建模的方法与系统 | |
CN109255831A (zh) | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 | |
Bustillo et al. | A flexible platform for the creation of 3D semi-immersive environments to teach Cultural Heritage | |
CN107452048A (zh) | 全局光照的计算方法及装置 | |
US11386613B2 (en) | Methods and systems for using dynamic lightmaps to present 3D graphics | |
KR101491941B1 (ko) | 서버로부터 클라이언트로 3d 비디오 정보를 전송하기 위한 디바이스 및 방법 | |
JP7425196B2 (ja) | ハイブリッドストリーミング | |
Bao et al. | Large-scale forest rendering: Real-time, realistic, and progressive | |
US20230230311A1 (en) | Rendering Method and Apparatus, and Device | |
CN105205861A (zh) | 基于Sphere-Board的树木三维可视化模型实现方法 | |
CN110634178A (zh) | 面向数字博物馆的三维场景精细化重建方法 | |
CN107018400B (zh) | 一种将2d视频转换成3d视频的方法 | |
CN115100337A (zh) | 一种基于卷积神经网络的全身人像视频重照明方法和装置 | |
Pigny et al. | Using cnns for users segmentation in video see-through augmented virtuality | |
CN109218706A (zh) | 一种由单张图像生成立体视觉图像的方法 | |
WO2017174006A1 (zh) | 图片处理的方法和装置 | |
CN115953524B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
Wang et al. | Factorized point based global illumination | |
CN102800121B (zh) | 一种交互编辑虚拟人群场景中虚拟个体的方法 | |
Kumsap et al. | The technique of distance decayed visibility for forest landscape visualization | |
Kim et al. | Selective foveated ray tracing for head-mounted displays | |
CN115035231A (zh) | 阴影烘焙方法、装置、电子设备和存储介质 | |
CN109155074A (zh) | 用于无缝隙地渲染点的系统和方法 | |
Onrust et al. | Procedural generation and interactive web visualization of natural environments | |
Hufnagel et al. | Large-scale, realistic cloud visualization based on weather forecast data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |