CN113963100A - 一种数字孪生仿真场景的三维模型渲染方法及系统 - Google Patents

一种数字孪生仿真场景的三维模型渲染方法及系统 Download PDF

Info

Publication number
CN113963100A
CN113963100A CN202111242099.2A CN202111242099A CN113963100A CN 113963100 A CN113963100 A CN 113963100A CN 202111242099 A CN202111242099 A CN 202111242099A CN 113963100 A CN113963100 A CN 113963100A
Authority
CN
China
Prior art keywords
rendering
scene
frame
dimensional model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111242099.2A
Other languages
English (en)
Other versions
CN113963100B (zh
Inventor
赵荣丽
邹尚文
刘强
俞爱林
方洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202111242099.2A priority Critical patent/CN113963100B/zh
Publication of CN113963100A publication Critical patent/CN113963100A/zh
Application granted granted Critical
Publication of CN113963100B publication Critical patent/CN113963100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/61Scene description
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种数字孪生仿真场景的三维模型渲染方法包括以下步骤:建立PBR渲染模型,并提交渲染参数;使用三维模型渲染系统介入三维模型引擎,获取实时的场景描述数据,其中所述场景描述数据包括场景模型数据、场景相机数据和场景灯源数据,转化场景描述数据的格式,写入pbrt文件保存;对PBR渲染模型进行不同方位的拍摄录制得到场景视频;根据渲染参数对场景视频进行逐帧渲染得到渲染预览图;根据渲染预览图判断当前帧是否符合渲染要求,若不符合渲染要求,则修改渲染参数和pbrt文件并进行保存。在使数字孪生仿真过程中的三维场景和模型更具有美观性和真实性的同时令渲染流程具有参数动态调节性,以便于后续帧的渲染和视频合成用于仿真项目的最终展示。

Description

一种数字孪生仿真场景的三维模型渲染方法及系统
技术领域
本发明涉及模型渲染技术领域,特别是一种数字孪生仿真场景的三维模型渲染方法及系统。
背景技术
字孪生技术的虚拟仿真中数字化模型在仿真流程中是实时渲染的,在仿真虚拟调试阶段对画面质量的需求并不高,但对于仿真项目的展示则需要对数字化模型和场景具有更美观和更逼真的效果,因此往往会对虚拟仿真整个流程的模型和场景进行更高质量的近物理渲染并合成输出视频作为项目的最终展示。而当前的数字孪生主流仿真技术在进行近物理渲染时需经过视频录制工具进行视频录制,然后将录制好的视频手动导入到渲染工具进行每一帧的图片渲染,最后将渲染好的图片手动导入视频编辑工具进行视频合成。这种渲染操作的整个流程需要在不同工具之间来回切换,导致渲染操作繁琐复杂,而不同工具之间的数据不互通,导致渲染流程离散化、割裂化,从而导致在场景录制中无法根据需求动态调节当前录制帧的仿真场景数据,最终使整个渲染流程中,在渲染前无法预览渲染效果,在渲染中无法动态调节渲染参数,在渲染结束后若因最终渲染效果不符合预期就只能重新返工。对于数字孪生虚拟仿真要求的真实性和美观性,要达到预期的渲染效果并不可能一步到位,而是需要不断的进行调试工作,现有的渲染流程和技术在调试工作时无法得到即时的渲染效果反馈,且调试的操作繁琐复杂,同时每一帧的图片渲染需要耗费大量时间,导致渲染调试会带来很高的时间成本。
发明内容
针对上述缺陷,本发明的目的在于提出一种数字孪生仿真场景的三维模型渲染方法及系统,在数字孪生仿真场景下能够快速、参数动态调节、可预览地渲染质量高的三维模型渲染。
为达此目的,本发明采用以下技术方案:一种数字孪生仿真场景的三维模型渲染方法包括以下步骤:
建立PBR渲染模型,并提交渲染参数;
使用三维模型渲染系统介入三维模型引擎,获取实时的场景描述数据,其中所述场景描述数据包括场景模型数据、场景相机数据和场景灯源数据,转化场景描述数据的格式,写入pbrt文件保存;
对PBR渲染模型进行不同方位的拍摄录制得到场景视频;
根据渲染参数对场景视频进行逐帧渲染得到渲染预览图;
根据渲染预览图判断当前帧是否符合渲染要求,若不符合渲染要求,则修改渲染参数和pbrt文件并进行保存,对被修改的帧及后续帧按照修改后的渲染参数和pbrt文件进行渲染,得到修改后的渲染预览图,若符合渲染要求,则对场景视频进行逐帧渲染;
判断当前帧是否为最后帧,若否,根据渲染参数渲染当前帧,直到当前帧为最后帧;若是,则对所有帧进行组合,输出渲染后的三维模型渲染视频。
优选的,对被修改的帧及后续帧按照修改后的渲染参数和pbrt文件进行渲染的步骤如下:
动态读取当前帧的pbrt文件信息和渲染参数的设置;
将渲染参数导入渲染引擎计算出场景各个光源的光照信息、环境参数以及当前帧场景模型各个区域的场景描述数据;
根据双向反射分布函数的光强系数计算方程对直接光照和间接光照进行计算;其中双向反射分布函数的公式如下:
Figure BDA0003319561670000031
其中fr为反射率分布函数,sr为立体角度单位,ωi为入射光线单位三维向量,ωr为反射光线单位三维向量,Lr为反射光线的辐射亮度,Li为入射光线的辐射亮度,Ei为入射光纤的辐照度,θi为入射光线与着色平面的法线向量之间的夹角;
再利用蒙特卡洛积分法近似计算得到漫反射和高光的直接光照计算因子建立起渲染方程;
最后将传入的修改后的渲染参数代入渲染方程进行计算,得出每个像素的值并输出修改后场景和PBR渲染模型的渲染预览图。
优选的,利用蒙特卡洛积分法近似计算得到漫反射和高光的直接光照计算因子建立起渲染方程的步骤如下:
根据双向反射分布函数,获取得到着色点数据,其中着色点的获取公式如下:
Figure BDA0003319561670000032
其中p为着色表面的某个点,即着色点,Lr为反射光线的辐射亮度,Li为入射光线的辐射亮度,ωi为入射光线单位三维向量,ωr为反射光线单位三维向量,H2为以入射光线在着色点上形成的半球;
对着色点数据进行蒙特卡洛积分,得到渲染方程,其中所述渲染方程为:
Figure BDA0003319561670000033
其中n为法线方向,ωi为入射光线单位三维向量,ωr为反射光线单位三维向量,N为采样方向的数量,p(ωi)为光线按ωi方向入射到着色平面的概率密度,fr为双向反射分布函数。
优选的,输出渲染后的三维模型渲染视频的步骤如下:
将逐帧渲染好的图片加入视频合成队列;
在所有帧的图片渲染完成后,通过ffmpeg将所有渲染后的图片按照视频合成队列的顺序进行视频合成操作,输出三维模型渲染视频。
优选的,使用三维模型渲染系统介入三维模型引擎包括以下步骤:
启动三维模型渲染系统,将三维模型渲染系统的渲染类包装为Appstate类,将包装完成的Appstate类加入到渲染引擎中StateManager列队中,然后对渲染引擎中的postRender接口进行重新写入,通过postRender接口获取得到场景描述数据。
一种数字孪生仿真场景的三维模型渲染系统,包括存储器和处理器;
所述存储器用于存储可由处理器执行的指令;
所述处理器用于执行所述指令以实现一种数字孪生仿真场景的三维模型渲染方法,所述处理器包括场景描述数据交互模块、渲染参数设置模块、场景录制模块、场景渲染预览模块、图片渲染与视频合成模块;
其中,所述场景描述数据交互模块用于实时获取当前仿真场景相关的组成数据并将数字形式转化为可视化形式;
所述渲染参数设置模块用于向PBR渲染模型以及场景输入PBR渲染模型的渲染参数以及pbrt文件内的场景描述数据;
场景录制模块用于逐帧录制场景渲染的图片;
场景渲染预览模块通过将获取上述场景描述数据交互模块的数据以及上述渲染参数设置模块提交的渲染参数以及场景描述数据进行当前帧场景的PBR渲染并提供渲染效果预览;
图片渲染与视频合成模块用于判断当前帧是否为最后帧,若是,则对所有帧进行组合,输出渲染后的三维模型渲染视频。
上述技术方案中的一个技术方案具有如下优点或有益效果:本技术方案与与现有技术相比并非直接输出渲染后的视频,是先输出当前帧的画面,最后才合成所有帧输出渲染后的视频,能够避免不同工具之间对视频中不满意的部分进行数据割裂再重新制作视频的问题,使数字孪生仿真过程中的三维场景和模型更具有美观性和真实性的同时令渲染流程具有参数动态调节性,以便于后续帧的渲染和视频合成用于仿真项目的最终展示。
附图说明
图1是本发明中方法的一个实施例的流程示意图;
图2是本发明中系统的一个实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
如图1~2所示,一种数字孪生仿真场景的三维模型渲染方法包括以下步骤:
建立PBR渲染模型,并提交渲染参数;
使用三维模型渲染系统介入三维模型引擎,获取实时的场景描述数据,其中所述场景描述数据包括场景模型数据、场景相机数据和场景灯源数据,转化场景描述数据的格式,写入pbrt文件保存;
对PBR渲染模型进行不同方位的拍摄录制得到场景视频;
根据渲染参数对场景视频进行逐帧渲染得到渲染预览图;
根据渲染预览图判断当前帧是否符合渲染要求,若不符合渲染要求,则修改渲染参数和pbrt文件并进行保存,对被修改的帧及后续帧按照修改后的渲染参数和pbrt文件进行渲染,得到修改后的渲染预览图,若符合渲染要求,则对场景视频进行逐帧渲染;
判断当前帧是否为最后帧,若否,根据渲染参数渲染当前帧,直到当前帧为最后帧;若是,则对所有帧进行组合,输出渲染后的三维模型渲染视频。
有益效果:对于数字孪生虚拟仿真要求的真实性和美观性,要达到预期的渲染效果并不可能一步到位,而是需要不断的进行调试工作,现有的渲染流程和技术在调试工作时无法得到即时的渲染效果反馈,且调试的操作繁琐复杂,同时每一帧的图片渲染需要耗费大量时间,导致渲染调试会带来很高的时间成本。一般来说现有技术中渲染结束后出现有问题的动画帧,若问题是渲染参数导致的,可以导入先前的录制视频进行问题帧的重新渲染,然后由于使用的不同工具之间的数据割裂,需要再手动用重新渲染的帧图片替换掉问题帧图片后连同没问题的帧图片导入视频合成工具重新进行视频合成;若是仿真场景参数导致的,则需要从头开始重新制作。
PBR渲染模型包括PBR材质参数和灯光参数,对于数字孪生仿真场景下的三维模型渲染系统,场景模型的材质参数由所述PBR渲染模型自身决定,而场景的灯光参数由数字孪生仿真平台的三维模型引擎计算得出,数字孪生仿真平台则根据当前场景的材质参数和灯光参数对虚拟仿真进行实时渲染。
所以本申请的一个技术方案中在渲染前会使用三维模型渲染系统介入三维模型引擎的实时渲染流程,获取实时的场景描述数据,其中所述场景描述数据中的场景模型数据包括场景相关的PBR渲染模型的位置、旋转以及缩放,所述场景相机数据包括场景相机位置、朝向、画面比例以及视锥角度等场景描述数据,所述场景灯源数据包括PBR渲染模型的基本颜色、法线、高光和粗糙度。获取到场景描述数据将其转化为适应于pbrt文件格式的数据,并录入到pbrt文件中。在渲染的过程前,场景相机会对PBR渲染模型进行不同角度的拍摄,获取到场景视频,本申请将场景视频的每一帧作为渲染的对象,在渲染时,三维模型引擎会根据所述pbrt文件内的场景描述数据进行计算,得到场景的灯光参数,并根据灯光参数与用户输入渲染参数对当前帧中的PBR渲染模型进行渲染,并提供出渲染预览图,用户可以观看渲染预览图判断当前输入的渲染参数以及灯光参数对于PBR渲染模型的效果是否符合预期,若不符合要求的话,就有可能是场景的灯光数据或者渲染参数出现问题,渲染参数出现问题可直接重新输入渲染参数即可,在本申请由于在渲染前在先获取到pbrt文件内场景描述数据,当灯光参数出现问题后可通过三维模型渲染系统调用出所述pbrt文件,通过修改场景描述数据并重新保存至pbrt文件,对灯光参数进行调节,使得渲染效果满足预期。当渲染效果符合预期后,可以对下一帧进行渲染,在渲染时是按照上一帧的渲染参数以及pbrt文件内容进行渲染,直到把所有帧都渲染完成后,将所有帧进行组合,输出三维模型渲染视频。
针对数字孪生仿真过程中的实时性及真实性的要求,根据渲染效果需求在仿真过程中实时更新用户设置渲染参数,并基于此动态获取渲染引擎更新的渲染参数用PBR渲染方法予以快速渲染呈现到数字孪生系统中的数字化三维场景和模型上进行渲染预览,本申请的技术方案提供了渲染预览图,可针对视频中不符合渲染效果预期的关键帧进行修改,本身还利用了三维模型渲染系统动态获取到pbrt文件,通过修改其内容以改变灯光参数,使得当前帧的渲染能够满足要求,本技术方案与与现有技术相比并非直接输出渲染后的视频,是先输出当前帧的画面,最后才合成所有帧输出渲染后的视频,能够避免不同工具之间对视频中不满意的部分进行数据割裂再重新制作视频的问题,使数字孪生仿真过程中的三维场景和模型更具有美观性和真实性的同时令渲染流程具有参数动态调节性,以便于后续帧的渲染和视频合成用于仿真项目的最终展示。
优选的,对被修改的帧及后续帧按照修改后的渲染参数和pbrt文件进行渲染的步骤如下:
动态读取当前帧的pbrt文件信息和渲染参数的设置;
将渲染参数导入渲染引擎计算出场景各个光源的光照信息、环境参数以及当前帧场景模型各个区域的场景描述数据;
根据双向反射分布函数的光强系数计算方程对直接光照和间接光照进行计算;其中双向反射分布函数的公式如下:
Figure BDA0003319561670000091
其中fr为反射率分布函数,sr为立体角度单位,ωi为入射光线单位三维向量,ωr为反射光线单位三维向量,Lr为反射光线的辐射亮度,Li为入射光线的辐射亮度,Ei为入射光纤的辐照度,θi为入射光线与着色平面的法线向量之间的夹角;
再利用蒙特卡洛积分法近似计算得到漫反射和高光的直接光照计算因子建立起渲染方程;
最后将传入的修改后的渲染参数代入渲染方程进行计算,得出每个像素的值并输出修改后场景和PBR渲染模型的渲染预览图。
动态读取当前帧场景模型材质pbrt文件信息和渲染参数的设置,将渲染参数导入渲染引擎计算出场景各个光源的光照信息、环境参数,与当前帧场景模型各个区域的基本颜色、法线、高光、粗糙度等PBR渲染参数一并传入渲染系统,渲染系统通过传入的PBR渲染参数以及光照参数进行PBR渲染,根据双向反射分布函数(BRDF)的光强系数计算方程对直接光照和间接光照进行计算,再利用蒙特卡洛积分法近似计算得到漫反射和高光的直接光照计算因子建立起渲染方程,最后将传入的场景模型PBR渲染参数代入渲染方程进行计算,得出每个像素的值并输出场景和模型的渲染图。
优选的,利用蒙特卡洛积分法近似计算得到漫反射和高光的直接光照计算因子建立起渲染方程的步骤如下:
根据双向反射分布函数,获取得到着色点数据,其中着色点的获取公式如下:
Figure BDA0003319561670000092
其中p为着色表面的某个点,即着色点,Lr为反射光线的辐射亮度,Li为入射光线的辐射亮度,ωi为入射光线单位三维向量,ωr为反射光线单位三维向量,H2为以入射光线在着色点上形成的半球;
对着色点数据进行蒙特卡洛积分,得到渲染方程,其中所述渲染方程为:
Figure BDA0003319561670000101
其中n为法线方向,ωi为入射光线单位三维向量,ωr为反射光线单位三维向量,N为采样方向的数量,p(ωi)为光线按ωi方向入射到着色平面的概率密度,fr为双向反射分布函数。
根据渲染方程公式,关键是计算直接光照以及间接光照。对于直接光照,渲染系统遍历传入的光照参数中直接光照的各个光源信息,然后将直接光照参数带入上述双向反射率分布函数进行直接光照的高光系数和漫反射系数的计算,再将得出的直接光照高光系数和直接光照漫反射系数分别与反照率和当前像素的高光颜色相乘,其中直接光照=反照率*直接光照高光系数+高光颜色*直接光照漫反射系数,同理间接光照=反照率*间接光照高光系数+高光颜色*间接光照漫反射系数;对于间接光照,渲染系统根据传入的环境参数将环境光照渲染成辐照度图作为环境贴图并传入渲染引擎的着色器,通过着色器输出的像素对环境贴图进行像素级遍历,然后将其带入上述双向反射率分布函数并计算每个像素的间接光照高光系数和漫反射系数,与直接光照同理将得出的间接光照高光系数和间接光照漫反射系数分别与反照率和当前像素的高光颜色相乘,两者相加得出间接光照。最后,将计算得出的直接光照和间接光照的进行综合计算,最终实现当前帧的PBR渲染,使三维模型和场景具有更好的真实性和美观性。
优选的,输出渲染后的三维模型渲染视频的步骤如下:
将逐帧渲染好的图片加入视频合成队列;
在所有帧的图片渲染完成后,通过ffmpeg将所有渲染后的图片按照视频合成队列的顺序进行视频合成操作,输出三维模型渲染视频。
优选的,使用三维模型渲染系统介入三维模型引擎包括以下步骤:
启动三维模型渲染系统,将三维模型渲染系统的渲染类包装为Appstate类,将包装完成的Appstate类加入到渲染引擎中StateManager列队中,然后对渲染引擎中的postRender接口进行重新写入,通过postRender接口获取得到场景描述数据。
一种数字孪生仿真场景的三维模型渲染系统,包括存储器和处理器;
所述存储器用于存储可由处理器执行的指令;
所述处理器用于执行所述指令以实现一种数字孪生仿真场景的三维模型渲染方法,所述处理器包括场景描述数据交互模块、渲染参数设置模块、场景录制模块、场景渲染预览模块、图片渲染与视频合成模块;
其中,所述场景描述数据交互模块用于实时获取当前仿真场景相关的组成数据并将数字形式转化为可视化形式;
所述渲染参数设置模块用于向PBR渲染模型以及场景输入PBR渲染模型的渲染参数以及pbrt文件内的场景描述数据;
场景录制模块用于逐帧录制场景渲染的图片;
场景渲染预览模块通过将获取上述场景描述数据交互模块的数据以及上述渲染参数设置模块提交的渲染参数以及场景描述数据进行当前帧场景的PBR渲染并提供渲染效果预览;
图片渲染与视频合成模块用于判断当前帧是否为最后帧,若是,则对所有帧进行组合,输出渲染后的三维模型渲染视频。
其中数字孪生仿真模型组建的仿真场景是渲染的目标,具有数字孪生虚拟空间仿真逻辑和特征,是三维渲染系统场景描述数据和模型数据的提供来源,
其中场景描述数据包括模型的位置、旋转、缩放,灯光的角度、位置,场景相机的位置、朝向、画面比例、视锥角度等参数,
模型数据包括模型自身网格的基本颜色、法线、高光、粗糙度等用于PBR渲染计算的表面属性参数;
场景描述数据交互模块实时获取当前仿真场景相关的组成数据并将其以数字形式实现可视化,同时具有向仿真场景提交修改数据的功能;
渲染参数设置模块是仿真场景渲染参数的输入平台,主要功能为获取输入的渲染参数并将其传输至场景渲染浏览模块等待预渲染,
其中渲染参数包括渲染项目名称、保存路径等的基础参数、过滤器参数、采样器参数、视频合成参数、材质参数、积分器参数和加速器参数;
场景录制模块通过帧录制对数字孪生场景和模型仿真进行逐帧记录,并具有在录制过程中实时保存由上述场景描述数据交互模块实时获取当前帧的帧数及其场景和模型数据的功能,且模块具有随时启停功能,停止之后可以更改场景描述数据通过上述场景描述数据交互模块提交到仿真场景,再根据停止时保存的当前帧的录制场景描述数据和修改后的场景描述数据继续启动录制;
场景渲染预览模块通过将获取上述场景描述数据交互模块获取的场景描述数据以及上述渲染参数设置模块提交的渲染参数进行当前场景帧的PBR渲染并提供渲染效果预览;
图片渲染与视频合成模块获取最终提交的场景描述数据以及渲染参数对上述场景录制模块提供的数字孪生虚拟仿真录制的每帧进行图片渲染,并将渲染图片按照队列顺序进行视频合成,最后输出,模块还具有随时启停功能,通过停止功能暂停当前帧的渲染,可以更改当前帧的场景描述数据以及渲染参数,再重新启动当前及后面帧的图片渲染,且在全部图片渲染完成前可以根据队列里已渲染的图片进行视频合成并输出提供视频合成预览。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种数字孪生仿真场景的三维模型渲染方法,其特征在于,包括以下步骤:
建立PBR渲染模型,并提交渲染参数;
使用三维模型渲染系统介入三维模型引擎,获取实时的场景描述数据,其中所述场景描述数据包括场景模型数据、场景相机数据和场景灯源数据,转化场景描述数据的格式,写入pbrt文件保存;
对PBR渲染模型进行不同方位的拍摄录制得到场景视频;
根据渲染参数对场景视频进行逐帧渲染得到渲染预览图;
根据渲染预览图判断当前帧是否符合渲染要求,若不符合渲染要求,则修改渲染参数和pbrt文件并进行保存,对被修改的帧及后续帧按照修改后的渲染参数和pbrt文件进行渲染,得到修改后的渲染预览图,若符合渲染要求,则对场景视频进行逐帧渲染;
判断当前帧是否为最后帧,若否,根据渲染参数渲染当前帧,直到当前帧为最后帧;若是,则对所有帧进行组合,输出渲染后的三维模型渲染视频。
2.根据权利要求1所述的一种数字孪生仿真场景的三维模型渲染方法,其特征在于,对被修改的帧及后续帧按照修改后的渲染参数和pbrt文件进行渲染的步骤如下:
动态读取当前帧的pbrt文件信息和渲染参数的设置;
将渲染参数导入渲染引擎计算出场景各个光源的光照信息、环境参数以及当前帧场景模型各个区域的场景描述数据;
根据双向反射分布函数的光强系数计算方程对直接光照和间接光照进行计算;其中双向反射分布函数的公式如下:
Figure FDA0003319561660000021
其中fr为反射率分布函数,sr为立体角度单位,ωi为入射光线单位三维向量,ωr为反射光线单位三维向量,Lr为反射光线的辐射亮度,Li为入射光线的辐射亮度,Ei为入射光纤的辐照度,θi为入射光线与着色平面的法线向量之间的夹角;
再利用蒙特卡洛积分法近似计算得到漫反射和高光的直接光照计算因子建立起渲染方程;
最后将传入的修改后的渲染参数代入渲染方程进行计算,得出每个像素的值并输出修改后场景和PBR渲染模型的渲染预览图。
3.根据权利要求2所述的一种数字孪生仿真场景的三维模型渲染方法,其特征在于,利用蒙特卡洛积分法近似计算得到漫反射和高光的直接光照计算因子建立起渲染方程的步骤如下:
根据双向反射分布函数,获取得到着色点数据,其中着色点的获取公式如下:
Figure FDA0003319561660000022
其中p为着色表面的某个点,即着色点,Lr为反射光线的辐射亮度,Li为入射光线的辐射亮度,ωi为入射光线单位三维向量,ωr为反射光线单位三维向量,H2为以入射光线在着色点上形成的半球;
对着色点数据进行蒙特卡洛积分,得到渲染方程,其中所述渲染方程为:
Figure FDA0003319561660000023
其中n为法线方向,ωi为入射光线单位三维向量,ωr为反射光线单位三维向量,N为采样方向的数量,p(ωi)为光线按ωi方向入射到着色平面的概率密度,fr为双向反射分布函数。
4.根据权利要求1所述的一种数字孪生仿真场景的三维模型渲染方法,其特征在于,输出渲染后的三维模型渲染视频的步骤如下:
将逐帧渲染好的图片加入视频合成队列;
在所有帧的图片渲染完成后,通过ffmpeg将所有渲染后的图片按照视频合成队列的顺序进行视频合成操作,输出三维模型渲染视频。
5.根据权利要求1所述的一种数字孪生仿真场景的三维模型渲染方法,其特征在于,使用三维模型渲染系统介入三维模型引擎包括以下步骤:
启动三维模型渲染系统,将三维模型渲染系统的渲染类包装为Appstate类,将包装完成的Appstate类加入到渲染引擎中StateManager列队中,然后对渲染引擎中的postRender接口进行重新写入,通过postRender接口获取得到场景描述数据。
6.一种数字孪生仿真场景的三维模型渲染系统,包括存储器和处理器;
所述存储器用于存储可由处理器执行的指令;
所述处理器用于执行所述指令以实现如权利要求1-5任一项所述的一种数字孪生仿真场景的三维模型渲染方法,其特征在于,所述处理器包括场景描述数据交互模块、渲染参数设置模块、场景录制模块、场景渲染预览模块、图片渲染与视频合成模块;
其中,所述场景描述数据交互模块用于实时获取当前仿真场景相关的组成数据并将数字形式转化为可视化形式;
所述渲染参数设置模块用于向PBR渲染模型以及场景输入PBR渲染模型的渲染参数以及pbrt文件内的场景描述数据;
场景录制模块用于逐帧录制场景渲染的图片;
场景渲染预览模块通过将获取上述场景描述数据交互模块的数据以及上述渲染参数设置模块提交的渲染参数以及场景描述数据进行当前帧场景的PBR渲染并提供渲染效果预览;
图片渲染与视频合成模块用于判断当前帧是否为最后帧,若是,则对所有帧进行组合,输出渲染后的三维模型渲染视频。
CN202111242099.2A 2021-10-25 2021-10-25 一种数字孪生仿真场景的三维模型渲染方法及系统 Active CN113963100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111242099.2A CN113963100B (zh) 2021-10-25 2021-10-25 一种数字孪生仿真场景的三维模型渲染方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111242099.2A CN113963100B (zh) 2021-10-25 2021-10-25 一种数字孪生仿真场景的三维模型渲染方法及系统

Publications (2)

Publication Number Publication Date
CN113963100A true CN113963100A (zh) 2022-01-21
CN113963100B CN113963100B (zh) 2022-04-29

Family

ID=79466735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111242099.2A Active CN113963100B (zh) 2021-10-25 2021-10-25 一种数字孪生仿真场景的三维模型渲染方法及系统

Country Status (1)

Country Link
CN (1) CN113963100B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581611A (zh) * 2022-04-28 2022-06-03 阿里巴巴(中国)有限公司 虚拟场景构建方法以及装置
CN115049811A (zh) * 2022-06-20 2022-09-13 北京数字冰雹信息技术有限公司 一种数字孪生虚拟三维场景的编辑方法、系统及存储介质
CN115115766A (zh) * 2022-05-17 2022-09-27 清华大学 多光谱场景数据生成方法及装置
CN115409944A (zh) * 2022-09-01 2022-11-29 浙江巨点光线智慧科技有限公司 基于低代码数字孪生的三维场景渲染及数据修正系统
CN115423951A (zh) * 2022-11-07 2022-12-02 南京朝鹿鸣科技有限公司 基于数字孪生的给排水可视化方法
CN115578506A (zh) * 2022-12-07 2023-01-06 云粒智慧科技有限公司 数字孪生城市模型的渲染方法、装置和电子设备
CN115631294A (zh) * 2022-08-31 2023-01-20 浙江巨点光线智慧科技有限公司 基于数字孪生时空和移动管控可视化的三维场景建设系统
CN115742562A (zh) * 2023-01-05 2023-03-07 东方合智数据科技(广东)有限责任公司 印刷包装设备的智能监控方法、装置、设备及存储介质
CN116681833A (zh) * 2023-06-06 2023-09-01 北京捷润科技有限公司 一种具有裸眼立体视觉效果的印刷品的制造方法及应用
CN116740298A (zh) * 2023-08-07 2023-09-12 山东捷瑞数字科技股份有限公司 一种基于三维引擎的场景实时地图的构建方法
CN116761018A (zh) * 2023-08-18 2023-09-15 湖南马栏山视频先进技术研究院有限公司 一种基于云平台的实时渲染系统
CN117456074A (zh) * 2023-12-22 2024-01-26 浙江远算科技有限公司 基于数字孪生仿真的海上风电冲刷坑三维渲染方法和设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010028736A1 (en) * 2000-04-07 2001-10-11 Discreet Logic Inc. Processing image data
US7266616B1 (en) * 2001-08-08 2007-09-04 Pasternak Solutions Llc Method and system for digital rendering over a network
CN108830939A (zh) * 2018-06-08 2018-11-16 杭州群核信息技术有限公司 一种基于混合现实的场景漫游体验方法及体验系统
CN110753218A (zh) * 2019-08-21 2020-02-04 佳都新太科技股份有限公司 一种数字孪生系统、方法及计算机设备
CN111696188A (zh) * 2020-04-26 2020-09-22 杭州群核信息技术有限公司 渲染图快速光照编辑方法和装置、渲染方法
CN112015275A (zh) * 2020-08-29 2020-12-01 南京翱翔智能制造科技有限公司 基于数字孪生ar交互方法和系统
CN112733461A (zh) * 2021-01-21 2021-04-30 广东工业大学 数字孪生驱动的实时渲染方法、系统和计算机可读介质
CN113012270A (zh) * 2021-03-24 2021-06-22 纵深视觉科技(南京)有限责任公司 一种立体显示的方法、装置、电子设备及存储介质
CN113476837A (zh) * 2021-07-01 2021-10-08 网易(杭州)网络有限公司 画质展示方法、装置、设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010028736A1 (en) * 2000-04-07 2001-10-11 Discreet Logic Inc. Processing image data
US7266616B1 (en) * 2001-08-08 2007-09-04 Pasternak Solutions Llc Method and system for digital rendering over a network
CN108830939A (zh) * 2018-06-08 2018-11-16 杭州群核信息技术有限公司 一种基于混合现实的场景漫游体验方法及体验系统
CN110753218A (zh) * 2019-08-21 2020-02-04 佳都新太科技股份有限公司 一种数字孪生系统、方法及计算机设备
CN111696188A (zh) * 2020-04-26 2020-09-22 杭州群核信息技术有限公司 渲染图快速光照编辑方法和装置、渲染方法
CN112015275A (zh) * 2020-08-29 2020-12-01 南京翱翔智能制造科技有限公司 基于数字孪生ar交互方法和系统
CN112733461A (zh) * 2021-01-21 2021-04-30 广东工业大学 数字孪生驱动的实时渲染方法、系统和计算机可读介质
CN113012270A (zh) * 2021-03-24 2021-06-22 纵深视觉科技(南京)有限责任公司 一种立体显示的方法、装置、电子设备及存储介质
CN113476837A (zh) * 2021-07-01 2021-10-08 网易(杭州)网络有限公司 画质展示方法、装置、设备和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GICU-CĂLIN DEAC 等: "Virtual Reality Digital Twin for a Smart Factory", 《INTERNATIONAL JOURNAL OF MODELING AND OPTIMIZATION》 *
张文军等: "游戏引擎在电影虚拟化实时交互预演中的应用探究", 《现代电影技术》 *
石子开 等: "导光板模具微冲孔机床在位测量系统的设计与研究", 《机械设计与制造》 *
赵一桥等: "实时渲染技术对动画制作流程的革新", 《当代动画》 *
赵哲等: "AR沉浸式全景仿真演播室系统", 《现代电视技术》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581611B (zh) * 2022-04-28 2022-09-20 阿里巴巴(中国)有限公司 虚拟场景构建方法以及装置
CN114581611A (zh) * 2022-04-28 2022-06-03 阿里巴巴(中国)有限公司 虚拟场景构建方法以及装置
CN115115766A (zh) * 2022-05-17 2022-09-27 清华大学 多光谱场景数据生成方法及装置
CN115049811A (zh) * 2022-06-20 2022-09-13 北京数字冰雹信息技术有限公司 一种数字孪生虚拟三维场景的编辑方法、系统及存储介质
CN115049811B (zh) * 2022-06-20 2023-08-15 北京数字冰雹信息技术有限公司 一种数字孪生虚拟三维场景的编辑方法、系统及存储介质
CN115631294A (zh) * 2022-08-31 2023-01-20 浙江巨点光线智慧科技有限公司 基于数字孪生时空和移动管控可视化的三维场景建设系统
CN115409944A (zh) * 2022-09-01 2022-11-29 浙江巨点光线智慧科技有限公司 基于低代码数字孪生的三维场景渲染及数据修正系统
CN115423951B (zh) * 2022-11-07 2023-09-26 南京朝鹿鸣科技有限公司 基于数字孪生的给排水可视化方法
CN115423951A (zh) * 2022-11-07 2022-12-02 南京朝鹿鸣科技有限公司 基于数字孪生的给排水可视化方法
CN115578506A (zh) * 2022-12-07 2023-01-06 云粒智慧科技有限公司 数字孪生城市模型的渲染方法、装置和电子设备
CN115742562A (zh) * 2023-01-05 2023-03-07 东方合智数据科技(广东)有限责任公司 印刷包装设备的智能监控方法、装置、设备及存储介质
CN116681833A (zh) * 2023-06-06 2023-09-01 北京捷润科技有限公司 一种具有裸眼立体视觉效果的印刷品的制造方法及应用
CN116681833B (zh) * 2023-06-06 2024-01-23 北京捷润科技有限公司 一种具有裸眼立体视觉效果的印刷品的制造方法及应用
CN116740298A (zh) * 2023-08-07 2023-09-12 山东捷瑞数字科技股份有限公司 一种基于三维引擎的场景实时地图的构建方法
CN116740298B (zh) * 2023-08-07 2024-04-26 山东捷瑞数字科技股份有限公司 一种基于三维引擎的场景实时地图的构建方法
CN116761018A (zh) * 2023-08-18 2023-09-15 湖南马栏山视频先进技术研究院有限公司 一种基于云平台的实时渲染系统
CN116761018B (zh) * 2023-08-18 2023-10-17 湖南马栏山视频先进技术研究院有限公司 一种基于云平台的实时渲染系统
CN117456074A (zh) * 2023-12-22 2024-01-26 浙江远算科技有限公司 基于数字孪生仿真的海上风电冲刷坑三维渲染方法和设备
CN117456074B (zh) * 2023-12-22 2024-04-19 浙江远算科技有限公司 基于数字孪生仿真的海上风电冲刷坑三维渲染方法和设备

Also Published As

Publication number Publication date
CN113963100B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN113963100B (zh) 一种数字孪生仿真场景的三维模型渲染方法及系统
US11315214B2 (en) Mixed reality system with color virtual content warping and method of generating virtual con tent using same
US10096146B2 (en) Multiple visual representations of lighting effects in a computer animation scene
US20100060652A1 (en) Graphics rendering system
US9183654B2 (en) Live editing and integrated control of image-based lighting of 3D models
WO2009085063A1 (en) Method and system for fast rendering of a three dimensional scene
KR101669897B1 (ko) 3d 객체 모듈을 이용한 가상 스튜디오 영상 생성 방법 및 장치
KR20120037400A (ko) 입체 영화용 시청자 중심 사용자 인터페이스
JP2011529209A (ja) 画像処理のための装置および方法、およびシステム
US9007393B2 (en) Accurate transparency and local volume rendering
US20100289796A1 (en) Method for processing a spatial image
JP6792335B2 (ja) 画像処理装置およびその方法
AU2023233092A1 (en) Artificial intelligence techniques for extrapolating hdr panoramas from ldr low fov images
US7129961B1 (en) System and method for dynamic autocropping of images
JP2003168130A (ja) リアルタイムで合成シーンのフォトリアルなレンダリングをプレビューするための方法
JP2007272847A (ja) 照明シミュレーション方法及び画像合成方法
US6781583B2 (en) System for generating a synthetic scene
Helzle Immersive media productions involving light fields and virtual production LED walls
JP7352603B2 (ja) 情報処理装置、プログラム及び描画方法
KR20190092697A (ko) 웹 기반 템플릿 영상 제작 시스템
JP2023048793A (ja) 情報処理装置、プログラム及び描画方法
EP3848906A1 (en) Method for editing an image
US20240202892A1 (en) Combined tone and gamut mapping for augmented reality display
US11710212B1 (en) Display non-uniformity correction
US20230236429A1 (en) Display non-uniformity correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant