CN116894922A - 一种基于实时图形引擎的夜视图像生成方法 - Google Patents
一种基于实时图形引擎的夜视图像生成方法 Download PDFInfo
- Publication number
- CN116894922A CN116894922A CN202310856833.7A CN202310856833A CN116894922A CN 116894922 A CN116894922 A CN 116894922A CN 202310856833 A CN202310856833 A CN 202310856833A CN 116894922 A CN116894922 A CN 116894922A
- Authority
- CN
- China
- Prior art keywords
- night vision
- model
- dimensional
- dimensional model
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004297 night vision Effects 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000000463 material Substances 0.000 claims abstract description 85
- 230000000694 effects Effects 0.000 claims abstract description 44
- 238000005286 illumination Methods 0.000 claims abstract description 38
- 238000004040 coloring Methods 0.000 claims abstract description 35
- 238000004088 simulation Methods 0.000 claims abstract description 18
- 238000012876 topography Methods 0.000 claims abstract description 10
- 238000010276 construction Methods 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims description 30
- 238000013461 design Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 18
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000002310 reflectometry Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 16
- 238000009877 rendering Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000010399 physical interaction Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000002645 vision therapy Methods 0.000 description 2
- 241000209504 Poaceae Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种基于实时图形引擎的夜视图像生成方法，所述方法包括对场景中的地形建立第一三维模型，对地形中不同高度的建筑建立第二三维模型，并分别添加纹理贴图与材质参数，将两个模型导入实时引擎中，实现两个模型的匹配，并根据场景的实际需求创建天空盒，并针对这两个模型建立微光夜视着色模型，同时生成夜视绿与夜视噪声效果，并针对微光夜视着色模型定义850nm的材质接口，将这两个模型与天空盒整合到一起，叠加夜视绿与夜视噪声效果，完成夜视仿真场景的搭建；本申请实现了基础材质在夜间不同光照下的夜视效果，初步探索了微光夜视图像生成技术在实践中的应用。
Description
技术领域
本申请涉及夜视图像生成技术领域，具体涉及一种基于实时图形引擎的夜视图像生成方法。
背景技术
真实感图像的生成是计算机图形学研究的一个重要分支，目前可见光图像的生成技术已相对成熟，图像生成效果逼真度高、对比度鲜明，基于微表面理论BRDF(双向反射分布函数)着色模型的图像生成技术则可实现照片级别的渲染效果。微光夜视图像生成技术是指基于计算机图形学、景物的反射特性和材质数据库通过计算机模拟生成夜视镜成像效果的图像。但目前国内实时图形引擎的图像生成技术仅能模拟生成可见光图像，这就导致不能够将基于实时图形引擎开发的模拟器系统运用到夜间反恐训练、飞行训练、边防作战等领域，因为夜间场景通常都是光线较暗的环境，而可见光图像生成技术无法准确模拟微光夜视图像，因此无法呈现真实的夜间场景效果，尤其是在军事模拟或战斗游戏中，如果实时图形引擎无法模拟微光夜视图像，可能会影响夜间战斗和侦查的效果。
发明内容
本申请的目的是针对以上问题，提供一种基于实时图像引擎的夜视图像生成方法，包括如下步骤：
对所需场景中的地形进行三维建模，形成第一三维模型，在所述第一三维模型的表面添加纹理贴图与材质参数，其中，所述纹理贴图用以表征所述第一三维模型表面基本属性的底色、凹凸贴图、高光贴图；所述材质参数是指材质表面的粗糙度；
对所述地形中不同高度的建筑分别进行三维建模，形成不同高度的第二三维模型，在所述第二三维模型的表面添加所述纹理贴图与所述材质参数；
将所述第一三维模型与多个所述第二三维模型导入至实时图形引擎中，实现不同高度的所述第二三维模型与所述第一三维模型的匹配；
根据场景的实际需求创建动态实时的天空盒，所述天空盒用于模拟一天内24小时的光照变化、以及不同月相条件下场景的亮度；
针对所述第一三维模型，与所述第二三维模型建立微光夜视着色模型，并生成夜视绿与夜视噪声效果，针对所述微光夜视着色模型定义850nm的材质接口，所述材质接口用于输入850nm的材质反射率；
将所述第一三维模型、所述第二三维模型以及所述天空盒整合到一起，调整所述第一三维模型和多个所述第二三维模型的着色方式为所述微光夜视着色模型，并叠加所述夜视绿和所述夜视噪声效果，完成夜视效果仿真场景的搭建。
根据本申请实施例提供的技术方案，在所述对所述场景中的地形进行三维建模，形成第一三维模型步骤之前还包括：
按照实际需求从网上获取所建地形的基础地理数据并进行格式转换，所述基础地理数据包括卫星影像数据与高程数据，所述卫星影像数据与所述高程数据均采用GlobalMapper软件进行格式转换。
根据本申请实施例提供的技术方案，所述第二三维模型包括通用模型与场地模型，所述通用模型指在创建的过程中不依赖地形上的植物所建立的模型，其采用SpeedTree建模软件进行构建；所述场地模型指依据所述高程数据与所述卫星影像数据创建的可适配地形高度的三维建筑模型，所述三维建筑模型至少包括房屋，其采用三维建模软件Creator进行创建。
根据本申请实施例提供的技术方案，在所述对所需场景中的地形进行三维建模，形成第一三维模型，在所述第一三维模型的表面添加纹理贴图与材质参数，其中，所述纹理贴图用以表征所述第一三维模型表面基本属性的底色、凹凸贴图、高光贴图；所述材质参数是指材质表面的粗糙度步骤中还包括：
采用纹理映射技术将所述纹理贴图添加到所述第一三维模型与所述第二三维模型的表面。
根据本申请实施例提供的技术方案，所述天空盒中的太阳和月亮通过调用所述实时图形引擎中的两个直接光源进行模拟。
根据本申请实施例提供的技术方案，所述将所述第一三维模型与多个所述第二三维模型导入至实时图形引擎中，实现不同高度的所述第二三维模型与所述第一三维模型的匹配的步骤中包括：
根据卫星影像数据，对所述第二三维模型的空间进行布局，确保每一个所述第二三维模型的朝向、相对分布和相对高度差同卫星影像数据上的建筑相同。
根据本申请实施例提供的技术方案，所述根据卫星影像数据，对所述第二三维模型的空间进行布局，确保每一个所述第二三维模型的朝向、相对分布和相对高度差同卫星影像数据上的建筑相同步骤之后还包括：
进行节点设计、几何外形设计、纹理设计。
与现有技术相比，本申请的有益效果：本申请首先要对所需场景中的地形进行三维建模，形成第一三维模型，然后在第一三维模型的表面添加纹理贴图与材质参数，其中，纹理贴图用以表征第一三维模型表面基本属性的底色，所述纹理贴图至少包括底色、凹凸贴图与高光贴图等，材质参数指的是材质表面的粗糙度，然后对地形中不同高度的建筑分别进行三维建模，形成不同高度的第二三维模型，在第二三维模型的表面也添加纹理贴图与材质参数，然后将第一三维模型与多个第二三维模型导入到实时图形引擎中，来实现不同高度的第二三维模型与第一三维模型的匹配，并根据实际需求创建动态实时的天空盒，用以模拟一天内24小时的光照变化，以及不同月相条件下场景的亮度，并针对第一三维模型与第二三维模型建立微光夜视着色模型，生成夜视绿与夜视噪声效果，针对微光夜视着色模型定义850nm的材质接口，其用于输入850nm的材质反射率，然后将第一三维模型、第二三维模型与天空盒整合到一起，调整第一三维模型和多个第二三维模型的着色方式为微光夜视着色模型，并叠加夜视绿与夜视噪声效果，完成夜视效果仿真场景的搭建；
在使用过程中，本申请通过建立第一三维模型，以及不同高度的第二三维模型，并在建立第一三维模型与第二三维模型时分别添加纹理贴图与材质参数，纹理贴图与材质参数可以表征出第一三维模型与第二三维模型的基本属性，并将添加好纹理贴图与材质参数的第一三维模型与第二三维模型导入至实时图形引擎中，以实现不同高度的所述第二三维模型能够与所述第一三维模型相匹配，并根据场景的实际需求创建动态实时的天空盒，用来模拟一天内24小时的光照变化、以及不同月相条件下场景的亮度，并建立相对应的微光夜视着色模型，生成夜视绿与夜视噪声效果，并将两个模型以及天空盒整合到一起，然后调整第一三维模型与第二三维模型的着色方式为夜视着色模型，并叠加夜视绿与也是噪声效果，完成整个夜视效果仿真场景的搭建；
本申请通过建立模型，并在模型表面添加纹理贴图与材质参数，并引入至实时图形引擎中来实现匹配，以及创建天空盒，并建立微光夜视着色模型，在建立微光夜视着色模型时，针对微光夜视着色模型定义用于输入850nm的材质反射率的材质接口，用以模拟材质对近红外波段光的反射特性，以及模拟出微光夜视镜对光谱的响应增益，生成夜视绿与夜视噪声效果，然后进行整合，完成夜视效果仿真场景的搭建；本申请中的微光夜视图像技术可以将微弱的光线转化为可见图像，能够呈现真实的夜间场景效果，使用户在夜间或者低光环境下能够清晰地看到周围的物体和场景，提升了夜间视觉能力，并且同时也会大大提高夜间作业，夜间安全等方面的效率和安全性；并且，在军事领域，为士兵可以在黑暗中进行侦查、搜索和救援等任务提供了便利。
附图说明
图1为本申请实施例提供的基于实时图像引擎的夜视图像生成方法的流程图。
具体实施方式
为了使本领域技术人员更好地理解本申请的技术方案，下面结合附图对本申请进行详细描述，本部分的描述仅是示范性和解释性，不应对本申请的保护范围有任何的限制作用。
如图1所示，图1为本申请提供的一种基于实时图形引擎的夜视图像生成方法的流程图；
本实例的应用环境为：进行夜视训练的夜视飞行模拟仿真系统的开发，基于该微光夜视图像生成技术开发的飞行模拟仿真设备，结合可见光和近红外双通道投影仪的使用，可支持飞行员在暗室内裸眼或佩戴微光夜视镜进行飞行仿真训练的需求。微光夜视图像生成技术是夜视飞行模拟仿真系统的核心技术，其渲染效果严重影响着飞行员的沉浸式体验和夜视训练的有效性，基于该方法可实现简单场景夜视效果的仿真，具体实例步骤如下：
S1、对所需场景中的地形进行三维建模，形成第一三维模型，在所述第一三维模型的表面添加纹理贴图与材质参数，其中，所述纹理贴图用以表征所述第一三维模型表面的基本属性，所述纹理贴图至少包括底色、凹凸贴图、高光贴图；所述材质参数是指材质表面的粗糙度；
S2、对所述地形中不同高度的建筑分别进行三维建模，形成不同高度的第二三维模型，在所述第二三维模型的表面添加纹理贴图与材质参数；
S3、将所述第一三维模型与多个所述第二三维模型导入至实时图形引擎中，实现不同高度的所述第二三维模型与所述第一三维模型的匹配；
S4、根据场景的实际需求创建动态的天空盒，所述天空盒用于模拟一天内24小时的光照变化、以及不同月相条件下场景的亮度；
S5、针对所述第一三维模型，与所述第二三维模型建立微光夜视着色模型，并生成夜视绿与夜视噪声效果；
S6、将所述第一三维模型、所述第二三维模型以及所述天空盒整合到一起，调整所述第一三维模型和多个所述第二三维模型的着色方式为夜视着色模型，并叠加所述夜视绿和所述夜视噪声效果，完成夜视效果仿真场景的搭建。
S1、对所需场景中的地形进行三维建模，形成第一三维模型，在所述第一三维模型的表面添加纹理贴图与材质参数，其中，所述纹理贴图用以表征所述第一三维模型表面的基本属性，所述纹理贴图至少包括底色、凹凸贴图、高光贴图；所述材质参数是指材质表面的粗糙度；
具体的，在本实施例中，按照实际需求从网上获取所建地形的基础地理数据并进行格式转换，本实施例中的基础地理数据选取的是乐东机场区域，高程数据为150m-377m，卫星影像的分辨率为0.5m。
将所下载的卫星影像数据以PNG格式导入GIS地图处理软件Global Mapper中，按照UE4关卡流所支持的最大地形尺寸1531*1531(m2)从左下角开始进行裁剪分割和导出，同时将裁剪之后包含大量白边的卫星影像进行删除，随后将合格的卫星影像导入到UE4对应工程资源管理的“Content”目录下，并对卫星影像的UV进行相应的缩放和偏移处理制成材质球；高程数据采用Global Mapper软件进行格式转换，Word machine软件进行裁剪分割和高度的设置，并以UE4所支持的PNG格式进行导出，将导出的高程数据采用关卡流的方式导入UE4中，在导入的过程中依据高程的海拔高度对导入的高度值进行计算，以确保后续生成的地形高度与实际高度相符；同时将制成的卫星影像材质球按照一定的顺序添加到高程数据上，完成场景中地形的建模，即形成第一三维模型。
S2、对所述地形中不同高度的建筑分别进行三维建模，形成不同高度的第二三维模型，在所述第二三维模型的表面添加纹理贴图与材质参数；
具体的，根据地形表面三维模型功能的不同，将三维模型分为通用模型和场地模型，其中通用模型是指创建过程中不依赖地形的模型，通常包含单个物体，可以在场景中大量放置，如树木、草等；场地模型是指依据高程和卫星影像创建的可适配地形高度的模型，通常用一个模型组表示，其布局同卫星影像一致，物体之间的高度差也符合地形的走势，如房屋、机场、港口等。
通用模型树木、草等植物依据三维建模软件SpeedTree进行搭建，在搭建的过程中，首先创建树干，调整树干的弯曲程度、高度和粗细，使得树干整体形状符合真实树干的长相；在树干上添加大树枝，大树枝上添加小树枝，小树枝上添加细枝，细枝上添加树叶，并依次调整大树枝、小树枝、细枝和树叶的粗细、弯曲程度和数量，完成树木的基础几何建模，随后创建树干、树枝和树叶所需要的纹理贴图，其中纹理贴图包括底色、凹凸贴图和高光贴图，并将这几种贴图分别覆盖到树干、树枝和树叶上，完成树木整体模型的搭建。
场地模型采用三维建模工具Creator进行创建，将经过地形建模软件TerraVista生成的具有高度信息的三维地形以.flt格式导出，使用Creator三维建模软件打开地形文件，此时将看到与真实地形高度差一致且具有地形材质(卫星影像)的三维地形模型，根据地形表面的卫星影像进行三维模型的空间布局设计，确保所建模型的朝向、相对分布和相对高度差同卫星影像上的建筑相同、然后对整个模型进行节点设计，节点设计是指在建模过程中以树的结构表示模型实体之间的关系，模型中的根节点、组节点、体节点和面节点的关系以树的结构进行表示，方便后续进行管理，根节点是整组模型创建的起点，组节点是场景内模型按照一定的规律进行分类的开始，体节点是组节点下的单个物体，面节点是组成单个三维模型的所有基本几何图元，随后基于基本图元点、线、面对三维模型的几何外观进行设计，几何外形设计是指根据卫星影像相应位置的建筑外形进行的三维模型几何外观设计，确保设计的模型几何外形与真实的世界中的建筑外形相近，最后根据当地的文化特征对模型表面的底色贴图、高光贴图、凹凸贴图、透明度贴图和材质参数进行设计，并采用纹理映射技术将贴图附加到三维模型表面；纹理映射技术是指结合当地文化风格在三维几何模型表面添加表征三维模型外观材质的贴图和RGB参数值。
经过上述操作，完成第二三维模型的建模，并将所述第二三维模型以实时图形引擎支持的.FBX格式导出。
S3、将所述第一三维模型与多个所述第二三维模型导入至实时图形引擎中，实现不同高度的所述第二三维模型与所述第一三维模型的匹配；
具体的，本实例在形成所述第一三维模型时，已将所述第一三维模型导入到了实时图形引擎中，在第二三维模型导入时，将三维建模软件Creator创建的多个第二三维模型以FBX的格式导入到实时图形引擎UE4中，并调整所述第二三维模型的位置、高度和朝向，实现第二三维模型同第一三维模型相匹配。
S4、根据场景的实际需求创建动态实时的天空盒，所述天空盒用于模拟一天内24小时的光照变化、以及不同月相条件下场景的亮度；
具体的，根据场景的实际需求创建动态实时的天空盒，本实施例中的动态天空盒通过从虚幻引擎官方商城(https://www.unrealengine.com/marketplace/zh-CN/product/ultra-dynamic-sky)下载的超动态天空插件实现，通过所述超动态天空插件可模拟出一天24小时内的光照变化以及典型月相条件下场景的亮度。
具体实现时，天空盒中的太阳与月亮光照通过调用UE4中的两个直接光源进行模拟，调整该插件中相应的参数接口，模拟出一天24小时内整个天空环境的变化过程，调整夜晚天空背景的亮度、月亮的光照强度模拟出无月、半月和满月条件下的光照效果。
S5、针对所述第一三维模型，与所述第二三维模型建立微光夜视着色模型，并生成夜视绿与夜视噪声效果；
具体的，微光夜视着色模型是指在渲染过程中对从光源发出的光经过一定的衰减到达物体表面，与物体表面材质发生物理的交互过程之后按照一定的反射规律离开物体表面，并经微光夜视镜放大过程的数学建模；通过微光夜视着色模型的设计能够将物体表面的纹理贴图、材质参数同天空盒内的环境光照关联起来，并且可以表达出物体表面材质对光的反射特性。整个微光夜视着色模型的实现包括光照颜色、光照的衰减率、物体表面材质对光的反射特性、微光夜视镜响应增益、依据辐射度值量化成灰度五个模块。
其中，光照颜色是对光源发出光的颜色进行设定，本例中光照颜色的取值为默认值1；光照的衰减率是指光照从光源出发到达物体表面之间所遵循的光照衰减规律，光照的衰减率依据光均匀地向四周传播时遵循距离平方反比的衰减规律，为了避免在靠近光源处产生无穷大的光照，在衰减率的分母上进行加1处理；物体表面材质对光的反射特性是指物体表面材质同近红外波段光在进行物理交互过程时对光的反射情况和反射能量的模拟，通过反射特性的计算能够实现将光照数据同三维模型表面的纹理贴图和材质建立起联系，在进行夜视着色模型反射特性计算时，需确定材质表面的法线向量、底色、粗糙度、高光、近红外波段反射率等材质参数以及BRDF着色模型。
法线向量、底色、粗糙度、高光等材质参数通过GBufferA，GBufferB，GBufferC，GBufferD，GBufferE五个通道进行存储和调用，近红外波段反射率则需要自行定义一个材质接口对材质在850nm波段的反射率进行参数的输入和存储，夜视着色模型中的漫反射颜色则通过表征物体固有色的底色同材质在850nm波段的反射系数相乘进行表示，对于近红外波段的光同材质表面粗糙度、法向量之间的交互现象则分别通过Lambert漫反射叠加上由GGX法线分布函数、近似SmithJoint阴影遮挡函数和Schlick菲涅尔三项组成的镜面反射模型进行实现，在对镜面反射实现时先分别对GGX、近似SmithJoin、Schlick三项进行计算，随后将GGX、近似SmithJoin、Schlick三者进行叠加，计算出三者结合之后形成的高光效果；其中，GGX是一种基于微表面模型的反射模型，它可以用于实现镜面反射，其具体实现镜面反射的具体步骤属于现有技术，在此不再赘述；SmithJoint阴影遮挡函数是一种用于计算阴影遮挡的函数，它基于Smith遮挡函数和Joint遮挡函数的组合。Smith遮挡函数用于计算遮挡物对于光线的遮挡程度，而Joint遮挡函数则用于考虑多个遮挡物之间的相互作用，其属于现有技术；Schlick菲涅尔是一种用于计算反射光强度的公式，其用于计算光线从介质中射入另一个介质时的反射光强度，特别是在光线与表面垂直或接近垂直的情况下，其属于现有技术。
微光夜视镜响应增益是指综合显示器的亮度、引擎渲染之后整个场景夜间与白天像素点之间亮度的差异和亮度值进行分析确定的微光夜视镜响应增益的模拟取值，最终确定模拟取值为200；最后将反射特性计算的漫反射光照数据、镜面反射光照数据和以及与材质特性相关的法线向量、粗糙度等数据返回给平行光照函数，其中，平行光照函数是一种光照模型，它模拟了来自无限远处的光线照射物体的效果，属于现有技术，平行光照函数将依据景物的位置坐标、相机位置、Gbuffer数据、光照衰减率计算某点呈现在摄像机视口的光照，完成夜视渲染场景中的光照计算，如呈现在二维屏幕上的某个树叶表面的亮度即是平行光照函数依据该点的位置、该点呈现在摄像机视口的位置、该点所对应的材质数据以及光线的传播情况计算出该点在二维屏幕上的呈现情况；量化灰度是指场景中的光照进行去色处理，仅保留光照的强度值，实现时采用亮度提取公式对RGB色彩空间的颜色进行去色，仅保留亮度值，其中亮度提取公式通常使用加权平均值来计算，微光夜视镜的响应增益综合全方面的考虑，模拟取值为200；按照辐射度量化成灰度通过对RGB色彩空间作R1＝0.299R，G1＝0.587G，B1＝0.114B，Y＝R1+B1+C1的运算进行亮度值的提取，R、G、B分别指色彩空间三基色红、绿、蓝的值，Y是指提取之后的亮度值(公式来源于颜色空间转换)。
本实施例中的夜视绿和夜视噪点通过UE4的后处理获取渲染过程中的Gbuffer数据和延迟渲染过程中的缓存数据进行设计实现。夜视绿实现时，首先通过蓝图创建一个新的材质，选择材质的渲染模式为后期材质，采用SceneTexture:后期处理输入0节点获取场景渲染过程中R、G、B和Alpha四个通道的缓存值，并通过Mask节点将Alpha通道的值进行遮挡仅保留R、G、B三通道的值，将经过Mask节点处理过的值同绿色纹理相乘，连接到自发光颜色接口，使输出的场景颜色以材质表面的亮度值转换为单一绿色图像的显示效果，进而模拟出夜视绿的成像效果；
夜视噪点实现时，通过蓝图创建一个新的材质，选择材质的渲染模式为后期材质，采用ScreenAlignedUVs节点进行X，Y的缩放，使输出的纹理UV能够适配屏幕，以实现噪声的模拟效果仅在整个窗口界面进行显示；Scalar parameter节点可以访问、改变材质实例和动态代码，调用该节点并定义节点的属性为Grain_tiling，Grain_tiling节点与ScreenAligenedUVs节点相乘之后，通过调整Grain_tiling的值可以控制整个屏幕上噪声纹理的数量；微光夜视镜下的噪声表现为三维特性，即在原有噪声基础上增加了时间维，因此在设计过程中，调用Scalar parameter节点并定义节点的属性为Refresh_Rate，将该节点同时间time结点相乘以达到控制屏幕上噪声的响应频率；使用Append节点将上述四个结点共同作用下的两个通道整合成一个通道，并将通道的值传递给Vector Noise噪声节点，随后使用SceneTexture:后期处理输入0节点和Mask节点获取场景渲染的效果图，将Mask节点、Desaturation节点输出的值和噪点增益节点进行线性插值计算，以实现对噪声数量的控制。最后将处理好的噪声效果传递给自发光颜色接口，完成夜视噪声的模拟；
S6、将所述第一三维模型、所述第二三维模型以及所述天空盒整合到一起，调整所述第一三维模型和多个所述第二三维模型的着色方式为微光夜视着色模型，并叠加所述夜视绿和所述夜视噪声效果，完成夜视效果仿真场景的搭建；
具体的，将第一三维模型、第二三维模型和天空盒放置在同一关卡中，在空间位置上从下到上依次为第一三维模型、第二三维模型和天空盒，同时修改场景中第一三维模型与第二三维模型的着色方式为微光夜视着色模型，同时对物体表面材质在近红外波段的反射系数进行添加设置，反射系数来源于材质数据库中材质对850nm波段的反射率，并将所设计的夜视绿和夜视噪声材质添加到后期材质中，设置应用范围为无边界，同时调整天空盒中的光照强度和时间参数模拟仿真出场景在不同月相和时间节点下的夜视效果，实现完整夜视效果的仿真。
进一步的，在所述对所述场景中的地形进行三维建模，形成第一三维模型步骤之前还包括：
按照实际需求从网上获取所建地形的基础地理数据并进行格式转换，所述基础地理数据包括卫星影像数据与高程数据，所述卫星影像数据与所述高程数据均采用GlobalMapper软件进行格式转换。
具体的，在本实施例中，本实施例中的基础地理数据所选取的是乐东机场区域，所述基础地理数据包括高程数据与卫星影像数据，高程数据为150m-377m，卫星影像的分辨率为0.5m，所述卫星影像数据与所述高程数据均采用Global Mapper软件进行格式转换。
进一步的，所述第二三维模型包括通用模型与场地模型，所述通用模型指在创建的过程中不依赖地形上的植物所建立的模型，其采用SpeedTree建模软件进行构建；所述场地模型指依据所述高程数据与所述卫星影像数据创建的可适配地形高度的三维建筑模型，所述三维建筑模型至少包括房屋，其采用三维建模软件Creator进行创建。
具体的，按照所述第二三维模型功能的不同，分为通用模型与场地模型，其中通用模型是指创建过程中不依赖地形的模型，通常包含单个物体，可以在场景中大量放置，如树木、草、特效水等，其中通用模型采用SpeedTree建模软件进行构建；场地模型是指依据高程和卫星影像创建的可适配地形高度的模型，通常用一个模型组表示，其布局同卫星影像一致，物体之间的高度差也符合地形的走势，如房屋、机场、港口等，其中场地模型采用三维建模软件Creator进行创建。
进一步的，在所述对所需场景中的地形进行三维建模，形成第一三维模型，在所述第一三维模型的表面添加纹理贴图与材质参数，其中，所述纹理贴图用以表征所述第一三维模型表面基本属性的底色、凹凸贴图、高光贴图；所述材质参数是指材质表面的粗糙度步骤中还包括：
采用纹理映射技术将贴图添加到所述第一三维模型与所述第二三维模型的表面。
具体的，采用纹理映射技术将贴图添加到所述第一三维模型与所述第二三维模型的表面，其中，纹理映射技术是指结合当地文化风格在三维几何模型表面添加表征三维模型外观材质的贴图和RGB参数值。
进一步的，所述天空盒中的太阳和月亮通过调用所述实时图形引擎中的两个直接光源进行模拟。
具体的，根据场景的实际需求创建动态实时的天空盒，本实施例中的动态天空盒通过对网上下载的超动态天空插件实现，所述动态实时的天空盒用于模拟24小时的光照变化、以及不同月相条件下场景的亮度，其中，天空盒中的太阳与月亮光照通过调用UE4中的两个直接光源进行模拟，调整该插件中相应的参数接口，可模拟出一天24小时内整个天气环境的变化过程，调整夜晚天空背景的亮度、月亮的光照强度可模拟出无月、半月和满月条件下的光照环境。
进一步的，所述将所述第一三维模型与多个所述第二三维模型导入至实时图形引擎中，实现不同高度的所述第二三维模型与所述第一三维模型的匹配的步骤中包括：
根据卫星影像数据，对所述第二三维模型的空间进行布局，确保每一个所述第二三维模型的朝向、相对分布和相对高度差同卫星影像数据上的建筑相同。
还包括进行节点设计、几何外形设计、纹理设计。
具体的，根据地形表面的卫星影像进行三维模型的空间布局设计，确保所建模型的朝向、相对分布和相对高度差同卫星影像上的建筑相同、然后对整个模型进行节点设计，节点设计是指在建模过程中以树的结构表示模型实体之间的关系，模型中的根节点、组节点、体节点和面节点的关系以树的结构进行表示，方便后续进行管理，根节点是整组模型创建的起点，组节点是场景内模型按照一定的规律进行分类的开始，体节点是组节点下的单个物体，面节点是组成单个三维模型的所有基本几何图元，随后基于基本图元点、线、面对三维模型的几何外观进行设计，几何外形设计是指根据卫星影像相应位置的建筑外形进行的三维模型几何外观设计，确保设计的模型几何外形与真实的世界中的建筑外形相近，最后根据当地的文化特征对模型表面的底色贴图、高光贴图、凹凸贴图、透明度贴图和材质参数进行设计，并采用纹理映射技术将贴图附加到三维模型表面；纹理映射技术是指结合当地文化风格在三维几何模型表面添加表征三维模型外观材质的贴图和RGB参数值。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。以上所述仅是本申请的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其他场合的，均应视为本申请的保护范围。
Claims (7)
1.一种基于实时图形引擎的夜视图像生成方法，其特征在于，包括如下步骤：
对所需场景中的地形进行三维建模，形成第一三维模型，在所述第一三维模型的表面添加纹理贴图与材质参数，其中，所述纹理贴图用以表征所述第一三维模型表面的基本属性，所述纹理贴图至少包括底色、凹凸贴图、高光贴图；所述材质参数是指材质表面的粗糙度；
对所述地形中不同高度的建筑分别进行三维建模，形成不同高度的第二三维模型，在所述第二三维模型的表面添加所述纹理贴图与所述材质参数；
将所述第一三维模型与多个所述第二三维模型导入至实时图形引擎中，实现不同高度的所述第二三维模型与所述第一三维模型的匹配；
根据场景的实际需求创建动态实时的天空盒，所述天空盒用于模拟一天内24小时的光照变化、以及不同月相条件下场景的亮度；
针对所述第一三维模型，与所述第二三维模型建立微光夜视着色模型，并生成夜视绿与夜视噪声效果，针对所述微光夜视着色模型定义850nm的材质接口，所述材质接口用于输入850nm的材质反射率；
将所述第一三维模型、所述第二三维模型以及所述天空盒整合到一起，调整所述第一三维模型和多个所述第二三维模型的着色方式为所述微光夜视着色模型，并叠加所述夜视绿和所述夜视噪声效果，完成夜视效果仿真场景的搭建。
2.根据权利要求1所述的基于实时图形引擎的夜视图像生成方法，其特征在于，在所述对所述场景中的地形进行三维建模，形成第一三维模型步骤之前还包括：
按照实际需求从网上获取所建地形的基础地理数据并进行格式转换，所述基础地理数据包括卫星影像数据与高程数据，所述卫星影像数据与所述高程数据均采用GlobalMapper软件进行格式转换。
3.根据权利要求2所述的基于实时图形引擎的夜视图像生成方法，其特征在于，所述第二三维模型包括通用模型与场地模型，所述通用模型指在创建的过程中不依赖地形上的植物所建立的模型，其采用SpeedTree建模软件进行构建；所述场地模型指依据所述高程数据与所述卫星影像数据创建的可适配地形高度的三维建筑模型，所述三维建筑模型至少包括房屋，其采用三维建模软件Creator进行创建。
4.根据权利要求1所述的基于实时图形引擎的夜视图像生成方法，其特征在于，在所述对所需场景中的地形进行三维建模，形成第一三维模型，在所述第一三维模型的表面添加纹理贴图与材质参数，其中，所述纹理贴图用以表征所述第一三维模型表面基本属性的底色、凹凸贴图、高光贴图；所述材质参数是指材质表面的粗糙度步骤中还包括：
采用纹理映射技术将所述纹理贴图添加到所述第一三维模型与所述第二三维模型的表面。
5.根据权利要求1所述的基于实时图形引擎的夜视图像生成方法，其特征在于，所述天空盒中的太阳和月亮通过调用所述实时图形引擎中的两个直接光源进行模拟。
6.根据权利要求1所述的基于实时图形引擎的夜视图像生成方法，其特征在于，所述将所述第一三维模型与多个所述第二三维模型导入至实时图形引擎中，实现不同高度的所述第二三维模型与所述第一三维模型的匹配的步骤中包括：
根据卫星影像数据，对所述第二三维模型的空间进行布局，确保每一个所述第二三维模型的朝向、相对分布和相对高度差同卫星影像数据上的建筑相同。
7.根据权利要求6所述的基于实时图形引擎的夜视图像生成方法，其特征在于，所述根据卫星影像数据，对所述第二三维模型的空间进行布局，确保每一个所述第二三维模型的朝向、相对分布和相对高度差同卫星影像数据上的建筑相同步骤之后还包括：
进行节点设计、几何外形设计、纹理设计。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310856833.7A CN116894922A (zh) | 2023-07-12 | 2023-07-12 | 一种基于实时图形引擎的夜视图像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310856833.7A CN116894922A (zh) | 2023-07-12 | 2023-07-12 | 一种基于实时图形引擎的夜视图像生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116894922A true CN116894922A (zh) | 2023-10-17 |
Family
ID=88314492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310856833.7A Pending CN116894922A (zh) | 2023-07-12 | 2023-07-12 | 一种基于实时图形引擎的夜视图像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116894922A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237258A (zh) * | 2023-11-14 | 2023-12-15 | 山东捷瑞数字科技股份有限公司 | 基于三维引擎的夜视图像处理方法、系统、设备、介质 |
| CN118470279A (zh) * | 2024-07-15 | 2024-08-09 | 安创启元(杭州)科技有限公司 | 可自由切换白天和夜景的楼宇制作方法、装置及计算机设备 |
-
2023
- 2023-07-12 CN CN202310856833.7A patent/CN116894922A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237258A (zh) * | 2023-11-14 | 2023-12-15 | 山东捷瑞数字科技股份有限公司 | 基于三维引擎的夜视图像处理方法、系统、设备、介质 |
| CN117237258B (zh) * | 2023-11-14 | 2024-02-09 | 山东捷瑞数字科技股份有限公司 | 基于三维引擎的夜视图像处理方法、系统、设备、介质 |
| CN118470279A (zh) * | 2024-07-15 | 2024-08-09 | 安创启元(杭州)科技有限公司 | 可自由切换白天和夜景的楼宇制作方法、装置及计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gardner | Visual simulation of clouds | |
| US7710418B2 (en) | Systems and methods for the real-time and realistic simulation of natural atmospheric lighting phenomenon | |
| WO2022206380A1 (zh) | 光照渲染方法、装置、计算机设备和存储介质 | |
| Hall et al. | A testbed for realistic image synthesis | |
| CN116894922A (zh) | 一种基于实时图形引擎的夜视图像生成方法 | |
| CN111783525A (zh) | 基于风格迁移的航空摄影图像目标样本生成方法 | |
| US20050013477A1 (en) | Three dimensional tangible interface for interacting with spatial-temporal data using infrared light sources and infrared detectors | |
| CN111784833A (zh) | 基于WebGL的洪水演进态势三维动态可视化展示方法 | |
| CN104077802A (zh) | 增强虚拟场景实时仿真图像显示的方法 | |
| CN111223191A (zh) | 面向机载增强合成视景系统的大规模场景红外成像实时仿真方法 | |
| CN114119818A (zh) | 场景模型的渲染方法、装置及设备 | |
| Fishman et al. | Computer display of height fields | |
| CN115526976A (zh) | 虚拟场景渲染方法、装置、存储介质和电子设备 | |
| CN117101127A (zh) | 虚拟场景中的图像渲染方法、装置、电子设备及存储介质 | |
| WO2024198719A1 (zh) | 数据处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品 | |
| Bergen et al. | Data-driven simulation, dimensional accuracy and realism in a landscape visualization tool | |
| US6753875B2 (en) | System and method for rendering a texture map utilizing an illumination modulation value | |
| CN113592999B (zh) | 一种虚拟发光体的渲染方法及相关设备 | |
| Kennie et al. | Modelling for digital terrain and landscape visualisation | |
| CN111292417A (zh) | 机场地景三维可视化仿真方法 | |
| Tadamura et al. | A display method of trees by using photo images | |
| Chen et al. | Terrain Visual Simulation Modeling Technology Base on Agricultural Machinery Simulation | |
| Petrasova et al. | Real-Time 3D Rendering and Immersion | |
| Zhou et al. | Gymnasium simulation design and implementation based on 3D virtual building | |
| Magalhães et al. | Reconstructing the Past: Providing an Enhanced Perceptual Experience |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |