CN117689791A - 三维可视化多场景渲染应用集成方法 - Google Patents

三维可视化多场景渲染应用集成方法 Download PDF

Info

Publication number
CN117689791A
CN117689791A CN202410145189.7A CN202410145189A CN117689791A CN 117689791 A CN117689791 A CN 117689791A CN 202410145189 A CN202410145189 A CN 202410145189A CN 117689791 A CN117689791 A CN 117689791A
Authority
CN
China
Prior art keywords
representing
coordinates
rendering
space
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410145189.7A
Other languages
English (en)
Other versions
CN117689791B (zh
Inventor
田山
张志龙
孙小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Zaiqi Data Technology Co ltd
Original Assignee
Shandong Zaiqi Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Zaiqi Data Technology Co ltd filed Critical Shandong Zaiqi Data Technology Co ltd
Priority to CN202410145189.7A priority Critical patent/CN117689791B/zh
Publication of CN117689791A publication Critical patent/CN117689791A/zh
Application granted granted Critical
Publication of CN117689791B publication Critical patent/CN117689791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明涉及多场景渲染技术领域,具体地说,涉及三维可视化多场景渲染应用集成方法。其包括以下步骤:S1、将构建好的三维模型和场景导入高性能渲染引擎中;S2、采用图像块分割算法,将场景分割成为图像块;S3、将空间划分算法与视口划分算法结合,基于视线方向预测算法,优化渲染队列;S4、针对每个细分的图像块,根据预设的视点位置,分别计算每个图像块在各个视点下的投影,形成立体视图;S5、将各视点下渲染出的图像块按照人眼视觉原理进行合成,生成具有深度信息的立体图像。本发明设计基于视线方向预测算法,优化渲染队列,实现动态分配GPU、并实现图像块的并行处理能力,提高整体渲染效率和视觉效果。

Description

三维可视化多场景渲染应用集成方法
技术领域
本发明涉及多场景渲染技术领域,具体地说,涉及三维可视化多场景渲染应用集成方法。
背景技术
三维可视化多场景渲染是利用高性能渲染引擎,如Unity,Unreal Engine,Three.js或自研的基于WebGL等技术的渲染引擎,提供强大的图形计算能力实现多个不同的三维场景高效、流畅地整合在同一应用系统中进行实时渲染,模拟真实的光照效果、阴影投射及物理属性,使得每一个场景都具有很高的真实感和沉浸式体验。
现有的三维可视化多场景渲染方法,在处理复杂多场景时,无法有效动态地分配GPU资源,导致某些重要区域的渲染质量和速度得不到保证,尤其是在场景切换时可能出现卡顿、延迟或帧率下降等问题,且现有的渲染策略依赖于固定的渲染顺序或者简单的距离排序,缺乏对视线方向变化的实时响应和预测能力,这会导致不必要的渲染计算量增大,同时在用户视角快速移动时难以及时调整渲染内容,造成视觉上的跳跃感或闪烁现象,图像块的划分与调度不够精细,从而限制了整体渲染效率的提升,鉴于此,提供三维可视化多场景渲染应用集成方法。
发明内容
本发明的目的在于提供三维可视化多场景渲染应用集成方法,以解决上述背景技术中提出的现有的渲染策略依赖于固定的渲染顺序或者简单的距离排序,缺乏对视线方向变化的实时响应和预测能力,这会导致不必要的渲染计算量增大,同时在用户视角快速移动时难以及时调整渲染内容,造成视觉上的跳跃感或闪烁现象,图像块的划分与调度不够精细,从而限制了整体渲染效率的提升的问题。
为实现上述目的,本发明目的在于提供了三维可视化多场景渲染应用集成方法,包括以下步骤:
S1、将构建好的三维模型和场景导入高性能渲染引擎中,对模型进行优化处理;
S2、对于每个三维场景,采用图像块分割算法,将场景分割成为图像块;
其中,图像块分割算法是由空间划分算法和视口划分算法结合的组合算法;
S3、将空间划分算法与视口划分算法结合,形成主渲染循环,并基于视线方向预测算法,优化渲染队列;
通过优化渲染顺序、动态分配GPU及其他计算资源、并实现图像块的并行处理能力,以更好地管理和渲染图像块,从而提高整体渲染效率和视觉效果;
S4、在主渲染循环执行过程中,针对每个细分的图像块,根据预设的视点位置,分别计算每个图像块在各个视点下的投影,形成立体视图;利用GPU并行计算能力,大大提高立体渲染的速度;
S5、将各视点下渲染出的图像块按照人眼视觉原理进行合成,并利用场景深度信息,将不同深度层次的图像块逐层叠加,生成具有深度信息的立体图像。
在每个视点下,已经计算得到了各自的图像块,将各个图像块的颜色信息进行混合:
对每个视点的图像块进行水平位移来模拟双眼的视差差异,为第/>个视点的视差,/>为水平方向上的像素坐标:
考虑到不同视点下的光照、色彩可能不同,进行颜色调整:
其中,表示经过颜色调整后的第/>个视点下像素/>的颜色信息;表示用于调整第/>个视点颜色的调整因子;/>表示第/>个视点下像素/>的颜色信息;
合成最终的图像为:
其中,表示相应视点的权重;/>表示第/>个视点下像素/>的视差;/>表示视点的数量;/>表示最终合成图像中像素/>的颜色信息。
深度信息处理:
其中,表示某个视点下像素/>的深度信息;/>表示最终合成图像中像素/>的深度信息;
基于深度缓冲技术将不同深度层次的图像块逐层叠加,基于深度缓冲技术的深度测试和遮挡处理,确保生成立体图像时每一层图像块都能按正确的深度顺序排列并合并在一起,
当渲染新的图像块时,GPU会将新片段的深度值与深度缓冲中已有的深度值进行比较;采用“深度测试”操作符,来判断新片段是否位于旧片段前方,即新片段是否更接近观察者,如果新片段的深度值表示它比当前缓冲区中的片段更近,则更新颜色缓冲区和深度缓冲区,将新片段的颜色信息写入,并覆盖旧的深度值。反之,如果新片段位于背景较远的位置,则不会更新颜色缓冲区,保留原有更近物体的颜色和深度信息;
对所有图像块按照由近至远的顺序进行渲染,使得最终输出的画面能够正确反映场景中各对象间的前后遮挡关系,即使图像块是并行或分块渲染的,最终合成时也能保证近处的对象不被远处的对象所遮挡。
作为本技术方案的进一步改进,所述S1中,模型优化处理包括模型简化、纹理压缩和减少过度绘制。
其中,模型简化通过算法剔除冗余顶点、边或面片,减少模型几何复杂度,对远处或者细节不明显的部分,使用LOD技术动态调整模型精细度;
纹理压缩是对纹理资源进行高质量的压缩处理,采用MIP映射技术,在保证视觉质量的前提下减小纹理数据量,加快读取速度,同时减少显存占用;
减少过度绘制通过背面消除技术来避免不必要的渲染计算。
作为本技术方案的进一步改进,所述S2中,采用空间划分算法对三维场景进行分割时,涉及以下步骤:
S3.1、获取三维场景中的所有模型及其空间位置信息,并设定空间划分的终止条件;
S3.2、通过空间划分算法确定最优分割方案,得到最优分割平面;
S3.3、根据所选最优分割方案,通过最优平面方程来分割整个三维空间,形成两个半空间,对于每个位于空间中的点,通过代入平面方程判断其位于平面哪一侧,从而确定它所属的半空间;
S3.4、对生成的每个半空间重复上述过程,即再次寻找最优分割面并进行分割,直至达到预设的终止条件,终止条件为所有子空间内无更多对象或者达到最大深度限制;
S3.5、通过递归分割得到的一系列半空间将形成一个多级的空间划分树结构,表示三维场景空间结构的划分树,可以用于高效的碰撞检测、渲染优化、遮挡剔除、空间查询等各种计算机图形学与游戏开发中的任务,显著提高性能和效率;
在空间划分算法的基础上,采用视口划分算法对三维场景进行分割,涉及以下步骤:
S3.6、确定渲染窗口,并设置多个视口,根据摄像机参数计算每个视口的视锥体;
S3.7、将先前通过空间划分算法得到的空间结构映射到视口坐标系下,即转换其在世界坐标中的位置和包围盒信息为视口坐标下的相应数据;
S3.8、对于每个空间划分节点,执行快速的视口裁剪测试,判断该节点对应的几何体是否与当前视口有交集;如果节点完全位于视口之外,则可以跳过该节点及其子节点;反之则继续遍历。
作为本技术方案的进一步改进,所述S3.2中,空间划分算法具体为:
S3.21、计算当前节点所有可能的分割方案;
S3.22、对于每个分割方案,计算其对应的值:
其中,表示分割面命中的概率;/>表示分割面的遍历代价;/>表示叶子节点/>命中的概率;/>表示叶子节点/>的相交代价;/>表示叶子节点的数量;
S3.23、比较所有分割方案的SAH值,选择具有最小SAH值的分割方案作为最优解。
作为本技术方案的进一步改进,通过最优平面方程对空间进行划分,并递归地为生成的新子节点重复上述过程,直至达到预设的终止条件:
其中,最优平面方程为:
其中,、/>、/>为平面的法向量,/>;/>表示法向量与原点到平面距离的乘积;
空间中的任意一点与平面关系的表达式为:
时,点/>恰好位于平面上;
时,点/>在平面的法向量所指一侧;
时,点/>在平面的背离法向量的一侧;
终止条件:
其中,表示递归深度;/>表示最大深度限制;/>为一个布尔变量,表示子空间内无更多对象;
当递归深度达到最大值或当前子空间内没有更多的几何体需要处理时,将停止进一步的空间划分,并转向其他必要的渲染和优化步骤。
作为本技术方案的进一步改进,采用视口划分算法对三维场景进行分割时,当摄像机位置为,摄像机视线方向为/>,摄像机的上方向向量为,摄像机的右方向向量为/>,且与视线方向垂直,并且彼此正交,视场角包括水平视角/>和垂直视角/>,则每个视口的视锥体计算:
水平和垂直视场角转换为方向向量
其中,表示摄像机到近裁剪面的距离;
视锥体的表达式为
其中,表示在视锥体上的横向范围内的参数;/>表示在视锥体上的纵向范围内的参数;
空间结构映射到视口坐标系:
将空间结构中的每个顶点从世界坐标系转换到摄像机坐标系,其中,世界坐标系下的点,则转换到摄像机坐标系下的表达式为:
其中,表示在摄像机坐标系下的顶点;/>表示模型视图矩阵;/>表示在世界坐标系下的顶点;
将摄像机坐标系下的顶点进一步转换到裁剪坐标系:
其中,表示投影矩阵;/>表示在裁剪坐标系下的顶点;
将裁剪坐标除以其齐次坐标,将其映射到标准化区间
其中,表示处于归一化设备坐标中的一个点;/>表示裁剪坐标系下顶点的齐次坐标的第四个分量;
将标准化设备坐标转换为视口坐标,即将区间映射到实际的屏幕像素位置:
其中,表示视口空间中的/>坐标;/>表示视口空间中的/>坐标;/>表示视口空间中的/>坐标;/>表示在归一化设备坐标中/>坐标分量;/>表示在归一化设备坐标中/>坐标分量;/>表示在归一化设备坐标中/>坐标分量;/>表示渲染窗口上视口的宽度;/>表示渲染窗口上视口的高度;
则视口空间中的坐标点为:
其中,表示在视口空间中的坐标点;
视口裁剪测试判断规则为:
其中,表示点在裁剪坐标系中的/>坐标;/>表示点在裁剪坐标系中的/>坐标;/>表示点在裁剪坐标系中的/>坐标;/>表示点在裁剪坐标系中的齐次坐标的第四个分量。
作为本技术方案的进一步改进,所述主渲染循环构建涉及的具体步骤为:
空间划分算法根据三维场景的空间特性,空间特性包括物体分布、复杂度因素,将整个场景划分为多个较小的图像块。
视口划分算法则根据观察者的视口(即屏幕)大小和位置信息,进一步细化这些图像块,确保每个图像块都能对应到视口的一个区域,便于后续的并行或分布式渲染。
S4.1、结合上述的空间与视口划分结果,将位于摄像机视锥体内的空间区域及其包含的图像块作为独立的渲染单元,形成主渲染循环流程;将每个图像块被视为独立的渲染单元,可以并行处理,大大提高了渲染速度;
S4.2、在主渲染循环流程中引入视线方向预测算法,根据观察者视线的方向和移动趋势,预测出即将进入视口的图像块以及离开视口的图像块,
S4.3、基于视线方向预测算法,根据视线方向的变化实时更新图像块的优先级,动态调整渲染队列的优先级;使优先渲染观众视角焦点所在的图像块,降低非关键区域的渲染频率,进一步提升渲染效率和实时交互性能。
对于即将进入视口或位于视线焦点区域的图像块,提升其在渲染队列中的优先级,确保这些图像块能优先渲染;
对于那些即将移出视口或远离视线焦点的图像块,降低其优先级,从而减少不必要的渲染工作;
系统能够更有效地利用GPU资源,在保证视觉效果的同时提高渲染效率,并实现更为流畅的用户交互体验。
作为本技术方案的进一步改进,基于视线方向预测算法,预测未来的视线方向,根据视线方向预测的结果,动态调整渲染顺序;
其中,观察者当前位置为,观察者的速度向量为/>,则视线方向预测算法具体为:
考虑观察者在时间内非均速直线运动,则:
其中,表示下一个时刻的观察者位置;/>表示时间间隔;/>表示加速度;
基于预测得到的下一时刻观察者的位置,则新的视线方向向量为:
其中,表示新的视线方向向量;/>表示观察者当前位置;
则引入视线方向预测算法后,渲染顺序决策为:
给定相机视线向量,分割面法向量/>,则视线方向向量与分割面法向量的点积为:
其中,表示新的视线方向向量/>的/>轴上的分量;/>表示新的视线方向向量/>的/>轴上的分量;/>表示新的视线方向向量/>的/>轴上的分量;
则渲染顺序为:
,则相机位于分割面法向量的同侧,选择先渲染该侧的子空间;
,则相机位于分割面法向量的背面,选择先渲染背面的子空间;
,则相机位于分割面上。
,则相机位于分割面上时,需要特殊处理,根据实际需要选择渲染分割面的哪一侧,或者同时渲染两侧以确保在分割面上的观察者能够看到分割面的两侧。
作为本技术方案的进一步改进,所述S4中,计算图像块在各个视点下的投影,其中,从三维空间中的点转换至对应视点坐标系下的点:
将点从世界坐标变换到左眼坐标:
将点从世界坐标变换到右眼坐标:
其中,表示左眼的位置;/>表示右眼的位置;/>表示将点/>从世界坐标系变换到左眼坐标系下得到的新坐标;/>表示将点/>从世界坐标系变换到右眼坐标系下得到的新坐标;
为了模拟在左眼和右眼的不同视点下观察场景时,相应点的位置发生的变化。在立体图像生成中,这是为了获得每个视点下的场景投影,从而用于后续的图像渲染和合成;
使用齐次坐标表示透视投影,并应用透视投影矩阵,将3D坐标转换为裁剪空间坐标:
其中,
其中,表示透视投影矩阵;/>表示近裁剪面的距离;/>表示远裁剪面的距离;/>表示近裁剪面的左边界;/>表示近裁剪面的右边界;/>表示近裁剪面的上边界;/>表示近裁剪面的下边界。
作为本技术方案的进一步改进,应用透视投影矩阵,将3D坐标转换为裁剪空间坐标后,得到的是裁剪空间坐标,将裁剪空间坐标转换为归一化设备坐标的过程包括除以齐次坐标的/>分量:
其中,表示归一化设备坐标系中的/>轴坐标;/>表示归一化设备坐标系中的/>轴坐标;/>表示归一化设备坐标系中的/>轴坐标;
视口的左下角位于屏幕上的像素坐标,宽度为/>,高度为/>,则将归一化设备坐标映射到实际屏幕像素坐标:
其中,表示最终的屏幕空间坐标中的/>轴坐标;/>表示最终的屏幕空间坐标中的/>轴坐标。/>表示经过视口变换后,映射到屏幕上的具体像素坐标;三维空间中的点经过视图变换、投影变换、归一化设备坐标转换以及视口变换后,就得到了该点在左右眼或其他多视角视口下的二维投影坐标。这些坐标可以直接用于图像渲染,并通过深度信息进行正确的前后遮挡处理,最终生成立体视觉效果。
与现有技术相比,本发明的有益效果:
1、该三维可视化多场景渲染应用集成方法中,在空间划分算法的基础上,采用视口划分算法对三维场景进行分割,将空间划分算法与视口划分算法结合,形成主渲染循环,且在主渲染循环执行过程中,基于视线方向预测算法,优化渲染队列,实现动态分配GPU、并实现图像块的并行处理能力,以更好地管理和渲染图像块,从而提高整体渲染效率和视觉效果。
2、该三维可视化多场景渲染应用集成方法中,基于视线方向预测算法对未来的视线方向进行预测的过程中,引入非均速直线运动模型,更新优先级渲染队列,可以使得视线方向预测更为精确,从而实现对渲染内容的前瞻性和精细化管理,确保在复杂场景下画面切换的平滑过渡,减少因渲染顺序不当造成的视觉突变问题。
附图说明
图1为本发明的整体方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1所示,本实施例提供了一种三维可视化多场景渲染应用集成方法,包括以下步骤:
S1、将构建好的三维模型和场景导入高性能渲染引擎中,对模型进行优化处理,
所述S1中,模型优化处理包括模型简化、纹理压缩和减少过度绘制。
其中,模型简化通过算法剔除冗余顶点、边或面片,减少模型几何复杂度,对远处或者细节不明显的部分,使用LOD技术动态调整模型精细度;
纹理压缩是对纹理资源进行高质量的压缩处理,采用MIP映射技术,在保证视觉质量的前提下减小纹理数据量,加快读取速度,同时减少显存占用;
减少过度绘制通过背面消除技术来避免不必要的渲染计算;
其中,高性能渲染引擎为Unreal Engine、Ogre3D、CryEngine或Blender GameEngine中的任一种;
S2、对于每个三维场景,采用图像块分割算法,将场景分割成为图像块,为后续立体渲染做准备;(图像块指将一幅大的图像分割成多个较小的、通常是矩形或正方形的小图像区域);
其中,图像块分割算法是由空间划分算法和视口划分算法结合的组合算法;
在本实施例中,采用空间划分算法对三维场景进行分割时,涉及以下步骤:
S3.1、获取三维场景中的所有模型及其空间位置信息(顶点坐标、包围盒等),并设定空间划分的终止条件;
S3.2、通过空间划分算法确定最优分割方案,得到最优分割平面;
进一步地,空间划分算法具体为:
S3.21、计算当前节点所有可能的分割方案;
S3.22、对于每个分割方案,计算其对应的值:
其中,表示分割面命中的概率;/>表示分割面的遍历代价;/>表示叶子节点/>命中的概率;/>表示叶子节点/>的相交代价;/>表示叶子节点的数量;
S3.23、比较所有分割方案的SAH值,选择具有最小SAH值的分割方案作为最优解。
S3.3、根据所选最优分割方案,通过最优平面方程来分割整个三维空间,形成两个半空间,对于每个位于空间中的点,通过代入平面方程判断其位于平面哪一侧,从而确定它所属的半空间;
在本实施例中,通过最优平面方程对空间进行划分,并递归地为生成的新子节点重复上述过程,直至达到预设的终止条件:
其中,最优平面方程为:
其中,、/>、/>为平面的法向量,/>;/>表示法向量与原点到平面距离的乘积;
空间中的任意一点与平面关系的表达式为:
时,点/>恰好位于平面上;
时,点/>在平面的法向量所指一侧;
时,点/>在平面的背离法向量的一侧;
终止条件:
其中,表示递归深度;/>表示最大深度限制;/>为一个布尔变量,表示子空间内无更多对象。
当递归深度达到最大值或当前子空间内没有更多的几何体需要处理时,将停止进一步的空间划分,并转向其他必要的渲染和优化步骤。
S3.4、对生成的每个半空间重复上述过程,即再次寻找最优分割面并进行分割,直至达到预设的终止条件,终止条件为所有子空间内无更多对象或者达到最大深度限制;
S3.5、通过递归分割得到的一系列半空间将形成一个多级的空间划分树结构,表示三维场景空间结构的划分树,可以用于高效的碰撞检测、渲染优化、遮挡剔除、空间查询等各种计算机图形学与游戏开发中的任务,显著提高性能和效率;
在空间划分算法的基础上,采用视口划分算法对三维场景进行分割,涉及以下步骤:
S3.6、确定渲染窗口,并设置多个视口,根据摄像机参数(摄像机参数位置、朝向、视场角)计算每个视口的视锥体;
S3.7、将先前通过空间划分算法得到的空间结构映射到视口坐标系下,即转换其在世界坐标中的位置和包围盒信息为视口坐标下的相应数据;
S3.8、对于每个空间划分节点,执行快速的视口裁剪测试,判断该节点对应的几何体是否与当前视口有交集;如果节点完全位于视口之外,则可以跳过该节点及其子节点;反之则继续遍历。
采用视口划分算法对三维场景进行分割时,当摄像机位置为,摄像机视线方向为/>,摄像机的上方向向量为/>,摄像机的右方向向量为/>,且与视线方向垂直,并且彼此正交,视场角包括水平视角/>和垂直视角/>,则每个视口的视锥体计算:
水平和垂直视场角转换为方向向量
其中,表示摄像机到近裁剪面的距离;
视锥体的表达式为
其中,表示在视锥体上的横向范围内的参数;/>表示在视锥体上的纵向范围内的参数;
空间结构映射到视口坐标系:
将空间结构中的每个顶点从世界坐标系转换到摄像机坐标系,其中,世界坐标系下的点,则转换到摄像机坐标系下的表达式为:
其中,表示在摄像机坐标系下的顶点;/>表示模型视图矩阵;/>表示在世界坐标系下的顶点;
将摄像机坐标系下的顶点进一步转换到裁剪坐标系:
;/>
其中,表示投影矩阵;/>表示在裁剪坐标系下的顶点;
将裁剪坐标除以其齐次坐标,将其映射到标准化区间
其中,表示处于归一化设备坐标中的一个点;/>表示裁剪坐标系下顶点的齐次坐标的第四个分量;
将标准化设备坐标转换为视口坐标,即将区间映射到实际的屏幕像素位置:
其中,表示视口空间中的/>坐标;/>表示视口空间中的/>坐标;/>表示视口空间中的/>坐标;/>表示在归一化设备坐标中/>坐标分量;/>表示在归一化设备坐标中/>坐标分量;/>表示在归一化设备坐标中/>坐标分量;/>表示渲染窗口上视口的宽度;/>表示渲染窗口上视口的高度;
则视口空间中的坐标点为:
其中,表示在视口空间中的坐标点;
视口裁剪测试判断规则为:
其中,表示点在裁剪坐标系中的/>坐标;/>表示点在裁剪坐标系中的/>坐标;/>表示点在裁剪坐标系中的/>坐标;/>表示点在裁剪坐标系中的齐次坐标的第四个分量。
确保点被映射到标准化设备坐标系/>范围内,如果这些条件都成立,说明点在视锥体内,可以继续考虑该点是否在视口内进行渲染。
确保了只有位于摄像机视野内的几何体才会被渲染到对应的视口中。
S3、将空间划分算法与视口划分算法结合,形成主渲染循环,并基于视线方向预测算法,优化渲染队列;利用视线方向预测算法,预估观察者可能移动的方向,进而提前调度即将进入视口的图像块进行渲染,或者推迟移出视口图像块的渲染操作,以动态调整渲染任务的优先级;
在本实施例中,主渲染循环构建涉及的具体步骤为:
空间划分算法根据三维场景的空间特性,空间特性包括物体分布、复杂度因素,将整个场景划分为多个较小的图像块。
视口划分算法则根据观察者的视口大小和位置信息,进一步细化这些图像块,确保每个图像块都能对应到视口的一个区域,便于后续的并行或分布式渲染。
S4.1、结合上述的空间与视口划分结果,将位于摄像机视锥体内的空间区域及其包含的图像块作为独立的渲染单元,形成主渲染循环流程;将每个图像块被视为独立的渲染单元,可以并行处理,大大提高了渲染速度;
S4.2、在主渲染循环流程中引入视线方向预测算法,根据观察者视线的方向和移动趋势,预测出即将进入视口的图像块以及离开视口的图像块,
S4.3、基于视线方向预测算法,根据视线方向的变化实时更新图像块的优先级,动态调整渲染队列的优先级;使优先渲染观众视角焦点所在的图像块,降低非关键区域的渲染频率,进一步提升渲染效率和实时交互性能。
对于即将进入视口或位于视线焦点区域的图像块,提升其在渲染队列中的优先级,确保这些图像块能优先渲染;
对于那些即将移出视口或远离视线焦点的图像块,降低其优先级,从而减少不必要的渲染工作;
系统能够更有效地利用GPU资源,在保证视觉效果的同时提高渲染效率,并实现更为流畅的用户交互体验。
进一步的,基于视线方向预测算法,预测未来的视线方向,根据视线方向预测的结果,动态调整渲染顺序;
其中,观察者当前位置为,观察者的速度向量为/>,则视线方向预测算法具体为:
考虑观察者在时间内非均速直线运动,则:
其中,表示下一个时刻的观察者位置;/>表示时间间隔;/>表示加速度;
基于预测得到的下一时刻观察者的位置,则新的视线方向向量为:
其中,表示新的视线方向向量;/>表示观察者当前位置;
则引入视线方向预测算法后,渲染顺序决策为:
给定相机视线向量,分割面法向量/>,则视线方向向量与分割面法向量的点积为:/>
其中,表示新的视线方向向量/>的/>轴上的分量;/>表示新的视线方向向量/>的/>轴上的分量;/>表示新的视线方向向量/>的/>轴上的分量;
则渲染顺序为:
,则相机位于分割面法向量的同侧,选择先渲染该侧的子空间;
,则相机位于分割面法向量的背面,选择先渲染背面的子空间;
,则相机位于分割面上。
,则相机位于分割面上时,需要特殊处理,根据实际需要选择渲染分割面的哪一侧,或者同时渲染两侧以确保在分割面上的观察者能够看到分割面的两侧。
在本实施例中,基于上述信息构建一个优先级渲染队列,靠近视口中心、视线方向上即将到来的图像块会具有更高的优先级,确保有限的渲染资源被更合理地分配给最需要立即呈现的内容;不仅能够有效降低GPU/CPU负担,提高渲染帧率,还能为用户提供更加流畅且高质量的视觉体验,通过不断迭代更新视线预测和队列管理机制,在复杂交互式应用中取得良好的性能表现;
通过优化渲染顺序、动态分配GPU及其他计算资源、并实现图像块的并行处理能力,以更好地管理和渲染图像块,从而提高整体渲染效率和视觉效果;
进一步的,结合视线方向预测算法,系统能实时判断哪些图像块即将进入视线焦点区域,进而提前进行高质量渲染;同时避免过多渲染那些远离视线焦点,甚至即将移出视口的图像块,这样既能节省计算资源,又能保证用户视觉体验的重点区域始终保持高清晰度和流畅性;通过点积运算判断相机与分割面的关系,可以根据视线方向动态决定先渲染哪一侧的子空间,这种智能决策机制有助于进一步提升渲染效率,并确保在复杂场景下画面切换的平滑过渡,减少因渲染顺序不当造成的视觉突变问题。
S4、在主渲染循环执行过程中,针对每个细分的图像块,根据预设的视点位置,对应用户的左右眼或者其他多视角,分别计算每个图像块在各个视点下的投影,形成立体视图;利用GPU并行计算能力,大大提高立体渲染的速度;
在本实施例中,计算图像块在各个视点下的投影,其中,从三维空间中的点转换至对应视点坐标系下的点:
将点从世界坐标变换到左眼坐标:
将点从世界坐标变换到右眼坐标:
其中,表示左眼的位置;/>表示右眼的位置;/>表示将点/>从世界坐标系变换到左眼坐标系下得到的新坐标;/>表示将点/>从世界坐标系变换到右眼坐标系下得到的新坐标;
为了模拟在左眼和右眼的不同视点下观察场景时,相应点的位置发生的变化。在立体图像生成中,这是为了获得每个视点下的场景投影,从而用于后续的图像渲染和合成;
使用齐次坐标表示透视投影,并应用透视投影矩阵,将3D坐标转换为裁剪空间坐标:
其中,表示将3D坐标转换后,得到的裁剪空间坐标;/>表示点/>从世界坐标变换后的对应视点坐标;
其中,表示透视投影矩阵;/>表示近裁剪面的距离;/>表示远裁剪面的距离;/>表示近裁剪面的左边界;/>表示近裁剪面的右边界;/>表示近裁剪面的上边界;/>表示近裁剪面的下边界。
进一步的,应用透视投影矩阵,将3D坐标转换为裁剪空间坐标后,得到的是裁剪空间坐标,将裁剪空间坐标转换为归一化设备坐标的过程包括除以齐次坐标的/>分量:
其中,表示归一化设备坐标系中的/>轴坐标;/>表示归一化设备坐标系中的/>轴坐标;/>表示归一化设备坐标系中的/>轴坐标;
视口的左下角位于屏幕上的像素坐标,宽度为/>,高度为/>,则将归一化设备坐标映射到实际屏幕像素坐标:
;/>
其中, 表示最终的屏幕空间坐标中的/> 轴坐标;/> 表示最终的屏幕空间坐标中的/> 轴坐标;
实际屏幕像素坐标表示经过视口变换后,映射到屏幕上的具体像素坐标;三维空间中的点经过视图变换、投影变换、归一化设备坐标转换以及视口变换后,就得到了该点在左右眼或其他多视角视口下的二维投影坐标,可以直接用于图像渲染,并通过深度信息进行正确的前后遮挡处理,最终生成立体视觉效果。
S5、将各视点下渲染出的图像块按照人眼视觉原理进行合成,并利用场景深度信息,将不同深度层次的图像块逐层叠加,生成具有深度信息的立体图像。
在每个视点下,已经计算得到了各自的图像块,将各个图像块的颜色信息进行混合:
对每个视点的图像块进行水平位移来模拟双眼的视差差异,为第/>个视点的视差,/>为水平方向上的像素坐标:
考虑到不同视点下的光照、色彩可能不同,进行颜色调整:
其中,表示经过颜色调整后的第/>个视点下像素/>的颜色信息;表示用于调整第/>个视点颜色的调整因子;/>表示第/>个视点下像素/>的颜色信息;
合成最终的图像为:
其中,表示相应视点的权重;/>表示第/>个视点下像素/>的视差;/>表示视点的数量;/>表示最终合成图像中像素/>的颜色信息。
深度信息处理:
其中,表示某个视点下像素/>的深度信息;/>表示最终合成图像中像素/>的深度信息;
基于深度缓冲技术将不同深度层次的图像块逐层叠加,确保生成立体图像时每一层图像块都能按正确的深度顺序排列并合并在一起;
当渲染新的图像块时,GPU会将新片段的深度值与深度缓冲中已有的深度值进行比较,采用“深度测试”操作符,来判断新片段是否位于旧片段前方,即新片段是否更接近观察者,如果新片段的深度值表示它比当前缓冲区中的片段更近,则更新颜色缓冲区和深度缓冲区,将新片段的颜色信息写入,并覆盖旧的深度值,反之,如果新片段位于背景较远的位置,则不会更新颜色缓冲区,保留原有更近物体的颜色和深度信息;
对所有图像块按照由近至远的顺序进行渲染,使得最终输出的画面能够正确反映场景中各对象间的前后遮挡关系,即使图像块是并行或分块渲染的,最终合成时也能保证近处的对象不被远处的对象所遮挡。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的仅为本发明的优选例,并不用来限制本发明,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.三维可视化多场景渲染应用集成方法,其特征在于,包括以下步骤:
S1、将构建好的三维模型和场景导入高性能渲染引擎中,对模型进行优化处理;
S2、对于每个三维场景,采用图像块分割算法,将场景分割成为图像块;
其中,图像块分割算法是由空间划分算法和视口划分算法结合的组合算法;
S3、将空间划分算法与视口划分算法结合,形成主渲染循环,并基于视线方向预测算法,优化渲染队列;
S4、在主渲染循环执行过程中,针对每个细分的图像块,根据预设的视点位置,分别计算每个图像块在各个视点下的投影,形成立体视图;
S5、将各视点下渲染出的图像块按照人眼视觉原理进行合成,并利用场景深度信息,将不同深度层次的图像块逐层叠加,生成具有深度信息的立体图像。
2.根据权利要求1所述的三维可视化多场景渲染应用集成方法,其特征在于:所述S1中,模型优化处理包括模型简化、纹理压缩和减少过度绘制。
3.根据权利要求1所述的三维可视化多场景渲染应用集成方法,其特征在于:所述S2中,采用空间划分算法对三维场景进行分割时,涉及以下步骤:
S3.1、获取三维场景中的所有模型及其空间位置信息,并设定空间划分的终止条件;
S3.2、通过空间划分算法确定最优分割方案,得到最优分割平面;
S3.3、根据所选最优分割方案,通过最优平面方程来分割整个三维空间,形成两个半空间,对于每个位于空间中的点,通过代入平面方程判断其位于平面哪一侧,从而确定它所属的半空间;
S3.4、对生成的每个半空间重复上述过程,即再次寻找最优分割面并进行分割,直至达到预设的终止条件;
S3.5、通过递归分割得到的一系列半空间将形成一个多级的空间划分树结构;
在空间划分算法的基础上,采用视口划分算法对三维场景进行分割,涉及以下步骤:
S3.6、确定渲染窗口,并设置多个视口,根据摄像机参数计算每个视口的视锥体;
S3.7、将先前通过空间划分算法得到的空间结构映射到视口坐标系下;
S3.8、对于每个空间划分节点,执行快速的视口裁剪测试,判断该节点对应的几何体是否与当前视口有交集。
4.根据权利要求3所述的三维可视化多场景渲染应用集成方法,其特征在于:所述S3.2中,空间划分算法具体为:
S3.21、计算当前节点所有可能的分割方案;
S3.22、对于每个分割方案,计算其对应的值:
其中,表示分割面命中的概率;/>表示分割面的遍历代价;表示叶子节点/>命中的概率;/>表示叶子节点/>的相交代价;/>表示叶子节点的数量;
S3.23、比较所有分割方案的SAH值,选择具有最小SAH值的分割方案作为最优解。
5.根据权利要求4所述的三维可视化多场景渲染应用集成方法,其特征在于:通过最优平面方程对空间进行划分,并递归地为生成的新子节点重复上述过程,直至达到预设的终止条件:
其中,最优平面方程为:
其中,、/>、/>为平面的法向量,/>;/>表示法向量与原点到平面距离的乘积;
空间中的任意一点与平面关系的表达式为:
时,点/>恰好位于平面上;
时,点/>在平面的法向量所指一侧;
时,点/>在平面的背离法向量的一侧;
终止条件:
其中,表示递归深度;/>表示最大深度限制;/>为一个布尔变量,表示子空间内无更多对象。
6.根据权利要求5所述的三维可视化多场景渲染应用集成方法,其特征在于:采用视口划分算法对三维场景进行分割时,当摄像机位置为,摄像机视线方向为,摄像机的上方向向量为/>,摄像机的右方向向量为,视场角包括水平视角/>和垂直视角/>,则每个视口的视锥体计算:
水平和垂直视场角转换为方向向量
其中,表示摄像机到近裁剪面的距离;
视锥体的表达式为
其中,表示在视锥体上的横向范围内的参数;/>表示在视锥体上的纵向范围内的参数;
空间结构映射到视口坐标系:
将空间结构中的每个顶点从世界坐标系转换到摄像机坐标系,其中,世界坐标系下的点,则转换到摄像机坐标系下的表达式为:
其中,表示在摄像机坐标系下的顶点;/>表示模型视图矩阵;/>表示在世界坐标系下的顶点;
将摄像机坐标系下的顶点进一步转换到裁剪坐标系:
其中,表示投影矩阵;/>表示在裁剪坐标系下的顶点;
将裁剪坐标除以其齐次坐标,将其映射到标准化区间
其中,表示处于归一化设备坐标中的一个点;/>表示裁剪坐标系下顶点/>的齐次坐标的第四个分量;
将标准化设备坐标转换为视口坐标,即将区间映射到实际的屏幕像素位置:
其中,表示视口空间中的/>坐标;/>表示视口空间中的/>坐标;/>表示视口空间中的/>坐标;/>表示在归一化设备坐标中/>坐标分量;/>表示在归一化设备坐标中/>坐标分量;/>表示在归一化设备坐标中/>坐标分量;/>表示渲染窗口上视口的宽度;表示渲染窗口上视口的高度;
则视口空间中的坐标点为:
其中,表示在视口空间中的坐标点;
视口裁剪测试判断规则为:
其中,表示点在裁剪坐标系中的/>坐标;/>表示点在裁剪坐标系中的/>坐标;表示点在裁剪坐标系中/>的坐标;/>表示点在裁剪坐标系中的齐次坐标的第四个分量。
7.根据权利要求6所述的三维可视化多场景渲染应用集成方法,其特征在于:所述主渲染循环构建涉及的具体步骤为:
S4.1、结合上述的空间与视口划分结果,将位于摄像机视锥体内的空间区域及其包含的图像块作为独立的渲染单元,形成主渲染循环流程;
S4.2、在主渲染循环流程中引入视线方向预测算法,根据观察者视线的方向和移动趋势,预测出即将进入视口的图像块以及离开视口的图像块,
S4.3、基于视线方向预测算法,根据视线方向的变化实时更新图像块的优先级,动态调整渲染队列的优先级。
8.根据权利要求7所述的三维可视化多场景渲染应用集成方法,其特征在于:基于视线方向预测算法,预测未来的视线方向,根据视线方向预测的结果,动态调整渲染顺序;
其中,观察者当前位置为,观察者的速度向量为/>,则视线方向预测算法具体为:
考虑观察者在时间内非均速直线运动,则:
其中,表示下一个时刻的观察者位置;/>表示时间间隔;/>表示加速度;
基于预测得到的下一时刻观察者的位置,则新的视线方向向量为:
其中,表示新的视线方向向量;/>表示观察者当前位置;
则引入视线方向预测算法后,渲染顺序决策为:
给定相机视线向量,分割面法向量/>,则视线方向向量与分割面法向量的点积为:
其中,表示新的视线方向向量/>的/>轴上的分量;/>表示新的视线方向向量/>的/>轴上的分量;/>表示新的视线方向向量/>的/>轴上的分量;
则渲染顺序为:
,则相机位于分割面法向量的同侧,选择先渲染该侧的子空间;
,则相机位于分割面法向量的背面,选择先渲染背面的子空间;
,则相机位于分割面上。
9.根据权利要求8所述的三维可视化多场景渲染应用集成方法,其特征在于:所述S4中,计算图像块在各个视点下的投影,其中,从三维空间中的点转换至对应视点坐标系下的点:
将点从世界坐标变换到左眼坐标:
将点从世界坐标变换到右眼坐标:
其中,表示左眼的位置;/>表示右眼的位置;/>表示将点/>从世界坐标系变换到左眼坐标系下得到的新坐标;/>表示将点/>从世界坐标系变换到右眼坐标系下得到的新坐标;
使用齐次坐标表示透视投影,并应用透视投影矩阵,将3D坐标转换为裁剪空间坐标:
其中,表示将3D坐标转换后,得到的裁剪空间坐标;/>表示点/>从世界坐标变换后的对应视点坐标;
其中,表示透视投影矩阵;/>表示近裁剪面的距离;/>表示远裁剪面的距离;/>表示近裁剪面的左边界;/>表示近裁剪面的右边界;/>表示近裁剪面的上边界;/>表示近裁剪面的下边界。
10.根据权利要求9所述的三维可视化多场景渲染应用集成方法,其特征在于:应用透视投影矩阵,将3D坐标转换为裁剪空间坐标后,得到的是裁剪空间坐标,将裁剪空间坐标转换为归一化设备坐标的过程包括除以齐次坐标的/>分量:
其中,表示归一化设备坐标系中的/>轴坐标;/>表示归一化设备坐标系中的/>轴坐标;表示归一化设备坐标系中的/>轴坐标;
视口的左下角位于屏幕上的像素坐标,宽度为/>,高度为/>,则将归一化设备坐标映射到实际屏幕像素坐标:
其中,表示最终的屏幕空间坐标中的/>轴坐标;/>表示最终的屏幕空间坐标中的/>轴坐标。
CN202410145189.7A 2024-02-02 2024-02-02 三维可视化多场景渲染应用集成方法 Active CN117689791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410145189.7A CN117689791B (zh) 2024-02-02 2024-02-02 三维可视化多场景渲染应用集成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410145189.7A CN117689791B (zh) 2024-02-02 2024-02-02 三维可视化多场景渲染应用集成方法

Publications (2)

Publication Number Publication Date
CN117689791A true CN117689791A (zh) 2024-03-12
CN117689791B CN117689791B (zh) 2024-05-17

Family

ID=90139374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410145189.7A Active CN117689791B (zh) 2024-02-02 2024-02-02 三维可视化多场景渲染应用集成方法

Country Status (1)

Country Link
CN (1) CN117689791B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080068389A1 (en) * 2003-11-19 2008-03-20 Reuven Bakalash Multi-mode parallel graphics rendering system (MMPGRS) embodied within a host computing system and employing the profiling of scenes in graphics-based applications
CN101281654A (zh) * 2008-05-20 2008-10-08 上海大学 一种基于八叉树的大规模复杂三维场景处理方法
CN101315703A (zh) * 2007-05-30 2008-12-03 数邦科技(上海)有限公司 三维大规模场景动态管理方法
CN101635061A (zh) * 2009-09-08 2010-01-27 南京师范大学 基于人眼立体视觉机制的自适应立体渲染方法
US20100328428A1 (en) * 2009-06-26 2010-12-30 Booth Jr Lawrence A Optimized stereoscopic visualization
WO2012083508A1 (zh) * 2010-12-24 2012-06-28 中国科学院自动化研究所 互联网上复杂场景真实感快速绘制方法
CN107333121A (zh) * 2017-06-27 2017-11-07 山东大学 曲面屏幕上移动视点的沉浸式立体渲染投影系统及其方法
US20180211434A1 (en) * 2017-01-25 2018-07-26 Advanced Micro Devices, Inc. Stereo rendering
CN111127617A (zh) * 2019-12-29 2020-05-08 浙江科技学院 一种基于分布式渲染引擎的渲染系统及渲染方法
CN116958457A (zh) * 2022-04-14 2023-10-27 西安恒歌数码科技有限责任公司 一种基于OSGEarth的战争迷雾效果绘制方法
CN117237502A (zh) * 2023-09-18 2023-12-15 中冶赛迪工程技术股份有限公司 一种三维渲染方法、装置、设备及介质
CN117274032A (zh) * 2023-10-12 2023-12-22 华东师范大学 一种分层且可扩展的新视图合成方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080068389A1 (en) * 2003-11-19 2008-03-20 Reuven Bakalash Multi-mode parallel graphics rendering system (MMPGRS) embodied within a host computing system and employing the profiling of scenes in graphics-based applications
CN101315703A (zh) * 2007-05-30 2008-12-03 数邦科技(上海)有限公司 三维大规模场景动态管理方法
CN101281654A (zh) * 2008-05-20 2008-10-08 上海大学 一种基于八叉树的大规模复杂三维场景处理方法
US20100328428A1 (en) * 2009-06-26 2010-12-30 Booth Jr Lawrence A Optimized stereoscopic visualization
CN101635061A (zh) * 2009-09-08 2010-01-27 南京师范大学 基于人眼立体视觉机制的自适应立体渲染方法
WO2012083508A1 (zh) * 2010-12-24 2012-06-28 中国科学院自动化研究所 互联网上复杂场景真实感快速绘制方法
US20180211434A1 (en) * 2017-01-25 2018-07-26 Advanced Micro Devices, Inc. Stereo rendering
CN107333121A (zh) * 2017-06-27 2017-11-07 山东大学 曲面屏幕上移动视点的沉浸式立体渲染投影系统及其方法
CN111127617A (zh) * 2019-12-29 2020-05-08 浙江科技学院 一种基于分布式渲染引擎的渲染系统及渲染方法
CN116958457A (zh) * 2022-04-14 2023-10-27 西安恒歌数码科技有限责任公司 一种基于OSGEarth的战争迷雾效果绘制方法
CN117237502A (zh) * 2023-09-18 2023-12-15 中冶赛迪工程技术股份有限公司 一种三维渲染方法、装置、设备及介质
CN117274032A (zh) * 2023-10-12 2023-12-22 华东师范大学 一种分层且可扩展的新视图合成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANMEI DAI ET AL.: "A View Synthesis-Based 360° VR Caching System Over MEC-Enabled C-RAN", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》, vol. 30, no. 10, 31 October 2020 (2020-10-31) *
丁剑飞;徐昆;胡国桥;: "基于GPU的自由立体显示器通用渲染算法", 系统仿真学报, no. 07, 8 July 2012 (2012-07-08) *
李士: "基于DirectX9.0的3D图形渲染引擎关键技术的研究与应用", 《万方数据库》, 3 April 2019 (2019-04-03) *

Also Published As

Publication number Publication date
CN117689791B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
US20180190007A1 (en) Stereoscopic rendering using raymarching and a virtual view broadcaster for such rendering
JP4214976B2 (ja) 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
US9843776B2 (en) Multi-perspective stereoscopy from light fields
US20090207179A1 (en) Parallel processing method for synthesizing an image with multi-view images
KR20110090958A (ko) 이미지 속성들에 대한 오클루젼 데이터의 생성
CN107193372A (zh) 从多个任意位置矩形平面到可变投影中心的投影方法
WO2006122212A2 (en) Statistical rendering acceleration
CN106664397A (zh) 用于生成三维图像的方法和装置
EP4099692A1 (en) Three-dimensional processing method and apparatus for two-dimensional image, device, and computer readable storage medium
CN102447925A (zh) 一种虚拟视点图像合成方法及装置
WO2022063260A1 (zh) 一种渲染方法、装置及设备
EP3703003B1 (en) Hole filling for depth image based rendering
US9196080B2 (en) Medial axis decomposition of 2D objects to synthesize binocular depth
CN112055213B (zh) 用于生成压缩图像的方法、系统和介质
CN108230378B (zh) 一种基于光线追踪的计算全息遮挡处理算法
WO2023004559A1 (en) Editable free-viewpoint video using a layered neural representation
CN117689791B (zh) 三维可视化多场景渲染应用集成方法
JP2006163547A (ja) 立体画像生成プログラム、立体画像生成システム及び立体画像生成装置。
Schulze et al. The perspective shear-warp algorithm in a virtual environment
US8203553B2 (en) Distributed calculation of images of volumetric objects
Burg et al. Real‐time Anticipation of Occlusions for Automated Camera Control in Toric Space
CN110149508A (zh) 一种基于一维集成成像系统的阵列图生成及填补方法
Wan et al. Interactive stereoscopic rendering of voxel-based terrain
Li et al. Intelligent combination of discrete LoD model for 3D visualization based on visual perception and information entropy fusion
CN114140566A (zh) 一种建筑图纸设计效果实时渲染方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant