CN117437340A - 一种工厂设备模型批量渲染方法和系统 - Google Patents

一种工厂设备模型批量渲染方法和系统 Download PDF

Info

Publication number
CN117437340A
CN117437340A CN202311506082.2A CN202311506082A CN117437340A CN 117437340 A CN117437340 A CN 117437340A CN 202311506082 A CN202311506082 A CN 202311506082A CN 117437340 A CN117437340 A CN 117437340A
Authority
CN
China
Prior art keywords
model
rendering
value
calculating
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311506082.2A
Other languages
English (en)
Other versions
CN117437340B (zh
Inventor
石磊
袁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shijing Technology Co ltd
Original Assignee
Beijing Shijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shijing Technology Co ltd filed Critical Beijing Shijing Technology Co ltd
Priority to CN202311506082.2A priority Critical patent/CN117437340B/zh
Priority claimed from CN202311506082.2A external-priority patent/CN117437340B/zh
Publication of CN117437340A publication Critical patent/CN117437340A/zh
Application granted granted Critical
Publication of CN117437340B publication Critical patent/CN117437340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Generation (AREA)

Abstract

本发明提供了一种工厂设备模型批量渲染方法和系统,方法包括根据现场工厂设备构建设备模型并保存至地理数据库;提取模型特征数据,构建距离场和LOD进行模型过滤,计算模型模糊度;通过视椎体FOV对模型进行计算,计算模型顶点与视椎体相对位置,视椎体之外的模型排除在渲染任务外;基于遮挡关系对模型进行剔除处理,将不可见的模型部分排除在渲染任务外;按设备材质类型对场景对象内模型进行分类;基于透明度材质的渲染计算方法,将受影响区域的每个模型像素计算其像素值。采用阴影贴图的方式对阴影模型进行处理完成渲染。本发明对于工厂产线等大批量模型场景,对视频和3D场景可以进行流畅的编解码和渲染,满足大多数工厂产线的应用场景要求。

Description

一种工厂设备模型批量渲染方法和系统
技术领域
本发明属于计算机渲染技术领域,具体涉及一种工厂设备模型批量渲染方法和系统。
背景技术
随着计算机图形处理技术的发展,数字孪生和元宇宙在传统工厂行业里开始普及和应用,但是对于大型工厂和产线而言,由于存在大量3D模型需要同时渲染,导致渲染性能成为计算瓶颈。常发生的性能瓶颈如逐对象渲染大量模型和材质、像素/顶点着色器计算、半透明材质的开销、动态阴影等。为达到每秒50-60帧的渲染帧率,目前解决办法为大幅增加硬件设备投资,或降低图形质量以达到正常运行的目的。
所以,针对工厂这种相似设备比较多、相互叠加比较多的特定的应用场景,应采用特殊的方法,在保证图形质量的前提下,尽可能的提高渲染性能。
但目前的处理方法存在多处不足:1、大幅增加硬件设备投资,导致项目成本太高,客户无法负担,或利润下降;2、降低图形质量以达到正常运行的目的,导致项目质量下降;3、在保证图形质量的前提下,无法保证高帧率;
发明内容
本发明提供了一种工厂设备模型批量渲染方法,其改进之处在于,所述方法包括
(1)根据现场工厂设备构建设备模型并保存至地理数据库;
(2)提取模型特征数据,构建距离场和LOD进行模型过滤,计算模型模糊度;
(3)通过视椎体FOV对模型进行计算,计算模型顶点与视椎体相对位置,视椎体之外的模型排除在渲染任务外;
(4)基于遮挡关系对模型进行剔除处理,将不可见的模型部分排除在渲染任务外;
(5)按设备材质类型对场景对象内模型进行分类;
(6)基于透明度材质的渲染计算方法,将受影响区域的每个模型像素计算其像素值。
(7)采用阴影贴图的方式对阴影模型进行处理完成渲染。
进一步地,所述步骤(2)包括通过地理数据库中提取工厂产线的模型特征数据,包括位置、大小、种类、倾角和旋转,构建距离场和LOD来进行模型过滤,以放大缩小进行图像模糊,利用已有的深度信息计算像素的模糊度,模糊效果只出现在远距离位置上。
进一步地,所述步骤(4)包括通过模型到观察者摄像机的深度关系,结合该模型像素影响区域,相互之间遮挡关系,判断模型部分或全部是否被遮挡;分层次计算所有模型的像素细节,分级计算远端和近端图形效果。
更进一步地,通过已知模型对象的位置及要渲染的模型对象,利用前期的深度Z通道进行深度测试,判断模型部分或全部像素是否被另外一个模型的像素所覆盖,当判断为遮挡部分,则渲染背景时放弃渲染遮挡部分像素。
进一步地,所述步骤(6)包括设模型图像的透明度为Alpha,取值为0-1,1为完全透明,0为完全不透明,并有A、B两层深度不同的模型,计算公式为:
ResultValue=PixelBDepth*(1–Alpha)*PixelBValue+PixelADepth*Alpha*PixelAValue;
其中,ResultValue为所述像素点的渲染计算值;
PixelBDepth为B模型的对应目标像素点的深度值;
PixelADepth为A模型的对应目标像素点的深度值;
Alpha为透明度值;
PixelBValue为B模型的对应目标像素点的渲染值;
PixelAValue为A模型的对应目标像素点的渲染值。
进一步地,所述步骤(7)包括根据摄像机到几何体的距离即深度通道、摄像机位置、光源位置、几何体到光源的距离,将光源当做摄像机,渲染出一张只有深度信息的360°立方体贴图,该贴图会标识出每一个几何体和光源之间的距离;利用得到的阴影贴图来模仿阴影模型进行处理并完成渲染。
根据本申请实施例的第二方面,本申请还提供了一种工厂设备模型批量渲染系统,其改进之处在于,包括处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器处理所述计算机程序时实现如所述权利要求1~6任一项所述一种工厂设备模型批量渲染方法。
有益效果:
本发明通过自主优化的渲染技术方案来解决大批量工厂产线模型的渲染性能问题。通过使用本发明技术方案对于工厂产线等大批量模型场景,对视频和3D场景可以进行流畅的编解码和渲染,可以满足大多数工厂产线的应用场景要求。
应了解的是,上述一般描述及以下具体实施方式仅为示例性及阐释性的,其并不能限制本申请所欲主张的范围。
附图说明
图1为根据本发明的一种工厂设备模型批量渲染方法流程图;
应当理解的是,附图不必按比例绘制,呈现了说明本公开的基本原理的各种特征稍微简化的表示。包括例如特定尺寸、定向、位置和形状的如本文中公开的本发明的特定设计特征将部分地由特别预定的应用和使用环境来确定。
在图中,贯穿附图的几个图,附图标记是指本发明的相同或等同的部分。
具体实施方式
现在将详细参考本发明的各种实施方式,其实施例在附图中说明并在下面描述。尽管将连同本发明的示例性实施方式来描述本发明,但应当理解的是,本说明书并不旨在将本发明限制于那些示例性实施方式。另一方面,本发明旨在不仅仅覆盖本发明的示例性实施方式,还旨在覆盖各种替代物、修饰物、等同物和其他实施方式,其可以包括在由所附权利要求限定的本发明的精神和范围内。
以下,将参照附图详细描述本发明的示例性实施方式。本发明的示例性实施方式中描述的特定结构和功能仅仅是出于说明性的目的。根据本发明的构思的实施方式可以以各种形式实施,并且应当理解的是,它们不应当被解释为受示例性实施方式中描述的示例性实施方式的限制,但包括本发明的精神和范围中包括的全部修饰物、等同物或替代物。
贯穿说明书,本文所使用的专业术语是仅是为了描述各种示例性实施方式,且并不旨在于限制。将进一步理解的是,术语“包括”、“包含”、“具有”等,当在示例性实施方式中使用时,特指所陈述的部件、步骤、操作或元件的存在,但不排除其一个或多个其他部件、步骤、操作或元件的存在或添加。
本发明通过自主优化的渲染技术方案来解决大批量工厂产线模型的渲染性能问题。通过使用本发明技术方案后,对于工厂产线等大批量模型场景,应用程序可以在采用适当硬件配置的前提下,对视频和3D场景进行流畅的编解码和渲染,可以满足大多数工厂产线的应用场景要求。
如图1所示,本发明提供了一种工厂设备模型批量渲染方法,所述方法包括
1、根据现场工厂设备构建设备模型并保存至地理数据库
工厂产线的空间广大,模型数量成千上万,距离一般比较长,并不是所有的模型都需要渲染,本发明根据现场工厂设备建立3D模型,将所有设备模型保存至地理数据库。
2、提取模型特征数据,构建距离场和LOD进行模型过滤,计算模型模糊度
从地理数据库中提取工厂产线的模型特征数据,如位置、大小、种类、倾角、旋转等,构建距离场和LOD(level of detai l)来过滤模型,以放大缩小或其他办法来模糊图像,利用已有的深度信息计算像素的模糊度,模糊效果只会出现在远距离位置上,使远距离位置的模型越模糊,甚至太远的模型直接让它消失,从而大大减低了渲染工作量和复杂度。
其中,LOD为在需要的层级显示需要的模型,可以采用LOD每个层级加载完全不一样的模型,即使每个模型的材质不一样。
3、通过视椎体FOV对模型进行计算,计算模型顶点与视椎体相对位置,视椎体之外的模型排除在渲染任务外。
通过视椎体FOV计算模型进行计算,计算模型顶点与视椎体相对位置关系,视椎体之外的模型排除在渲染任务之外,减少了绘制调用,节省了计算的开销。
4、基于遮挡关系对模型进行剔除处理,将不可见的模型部分排除在渲染任务外
基于遮挡关系对模型进行剔除处理,将不可见的模型部分完全排除在渲染任务之外,节省GPU和Shader的计算消耗;从观察者摄像机位置开始,通过模型到观察者摄像机的深度关系,结合该模型像素影响区域,相互之间运算遮挡关系,从而判断出来模型部分或全部是否被遮挡;分层次计算所有模型的像素细节,分级计算远端和近端图形效果。
本发明利用前期深度Z通道(Early Z pass),通过已知模型对象的位置及要渲染的模型对象,由于无法得知模型对象的渲染顺序,为避免重复绘制浪费性能,本发明依靠前期的深度Z通道进行一个深度测试,判断模型部分或全部像素是否会被另外一个模型的像素所覆盖,当判断为遮挡部分,渲染背景时放弃渲染遮挡部分像素。
模型相互之间运算遮挡关系,从而判断出来模型部分或全部是否被遮挡,当模型被渲染时GPU放弃渲染这些像素,避免了重复绘制浪费性能。
5、按设备材质类型对场景对象内模型进行分类
本发明按材质类型对场景对象进行分类,采用相同类型的材质,这样渲染更快,避免了材质切换的开销,否则GPU必须改变硬件的渲染状态,导致材质切换的代价。
6、基于透明度材质的渲染计算方法,将受影响区域的每个模型像素计算其像素值
基于透明度材质的渲染计算,将针对受影响区域的每个像素计算其最终的像素值,设模型图像的透明度为Alpha(取值为0-1,1为完全透明,0为完全不透明),并有A、B两层深度不同的模型,计算公式为:
ResultValue=PixelBDepth*(1–Alpha)*PixelBValue+PixelADepth*Alpha*PixelAValue;
其中,ResultValue为所述像素点的渲染计算值;
PixelBDepth为B模型的对应目标像素点的深度值;
PixelADepth为A模型的对应目标像素点的深度值;
Alpha为透明度值;
PixelBValue为B模型的对应目标像素点的渲染值;
PixelAValue为A模型的对应目标像素点的渲染值。
7、采用阴影贴图的方式对阴影模型进行处理完成渲染
本发明对阴影的处理进行了优化,收集了四个数据用于阴影的渲染:从摄像机到几何体的距离即深度通道、摄像机位置、光源位置、几何体到光源的距离,将光源当做摄像机,渲染出来一张只有深度信息的360°立方体贴图,该贴图会标识出每一个几何体和光源之间的距离;利用得到的阴影贴图来模仿阴影模型进行处理并完成渲染。本发明方法简单同时损耗很低,最终达到了提高帧率和图像质量的目的。
在示例性实施例中,基于本申请实施例提供的一种工厂设备模型批量渲染方法,本申请实施例还提供了一种工厂设备模型批量渲染系统,其包括以及耦接至该存储器的处理器,处理器被配置为基于存储在存储器中的指令,执行本申请中任一个实施例中的一种工厂设备模型批量渲染方法。
需要说明的是,上述实施例提供的一种工厂设备模型批量渲染方法、系统与一种工厂设备模型批量渲染方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述的本申请实施例可在各种硬件、软件编码或两者组合中进行实施。例如,本申请的实施例也可表示在数据信号处理器中执行上述方法的程序代码。本申请也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列执行的多种功能。可根据本申请配置上述处理器执行特定任务,其通过执行定义了本申请揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展表示不同的程序语言与不同的格式或形式。也可表示不同的目标平台编译软件代码。然而,根据本申请执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本申请的精神与范围。
已经出于说明和描述的目的而呈现了本发明特定示例性实施方式的前述描述。并不旨在将其排除或将本发明限制于所公开的精确形式,并且显然地,鉴于以上教导,许多修饰和改变是可行的。选择并描述示例性实施方式以解释本发明的某些原理和它们的实际应用,以便使得本领域的其他技术人员能够制作或利用本发明各种示例性实施方式,及其各种替代物和修饰物。其目的是本发明的范围将由本发明所附的权利要求书及其等同物来定义。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。

Claims (7)

1.一种工厂设备模型批量渲染方法,其特征在于,所述方法包括
(1)根据现场工厂设备构建设备模型并保存至地理数据库;
(2)提取模型特征数据,构建距离场和LOD进行模型过滤,计算模型模糊度;
(3)通过视椎体FOV对模型进行计算,计算模型顶点与视椎体相对位置,视椎体之外的模型排除在渲染任务外;
(4)基于遮挡关系对模型进行剔除处理,将不可见的模型部分排除在渲染任务外;
(5)按设备材质类型对场景对象内模型进行分类;
(6)基于透明度材质的渲染计算方法,将受影响区域的每个模型像素计算其像素值。
(7)采用阴影贴图的方式对阴影模型进行处理完成渲染。
2.根据权利要求1所述的一种工厂设备模型批量渲染方法,其特征在于,所述步骤(2)包括通过地理数据库中提取工厂产线的模型特征数据,包括位置、大小、种类、倾角和旋转,构建距离场和LOD来进行模型过滤,以放大缩小进行图像模糊,利用已有的深度信息计算像素的模糊度,模糊效果只出现在远距离位置上。
3.根据权利要求1所述的一种工厂设备模型批量渲染方法,其特征在于,所述步骤(4)包括通过模型到观察者摄像机的深度关系,结合该模型像素影响区域,相互之间遮挡关系,判断模型部分或全部是否被遮挡;分层次计算所有模型的像素细节,分级计算远端和近端图形效果。
4.根据权利要求3所述的一种工厂设备模型批量渲染方法,其特征在于,通过已知模型对象的位置及要渲染的模型对象,利用前期的深度Z通道进行深度测试,判断模型部分或全部像素是否被另外一个模型的像素所覆盖,当判断为遮挡部分,则渲染背景时放弃渲染遮挡部分像素。
5.根据权利要求1所述的一种工厂设备模型批量渲染方法,其特征在于,所述步骤(6)包括设模型图像的透明度为Alpha,取值为0-1,1为透明,0为不透明,并有A、B两层深度不同的模型,计算公式为:
ResultValue=PixelBDepth*(1–Alpha)*PixelBValue+PixelADepth*Alpha*PixelAValue;
其中,ResultValue为所述像素点的渲染计算值;
PixelBDepth为B模型的对应目标像素点的深度值;
PixelADepth为A模型的对应目标像素点的深度值;
Alpha为透明度值;
PixelBValue为B模型的对应目标像素点的渲染值;
PixelAValue为A模型的对应目标像素点的渲染值。
6.根据权利要求1所述的一种工厂设备模型批量渲染方法,其特征在于,所述步骤(7)包括根据摄像机到几何体的距离即深度通道、摄像机位置、光源位置、几何体到光源的距离,将光源当做摄像机,渲染出一张只有深度信息的360°立方体贴图,该贴图会标识出每一个几何体和光源之间的距离;利用得到的阴影贴图来模仿阴影模型进行处理并完成渲染。
7.一种工厂设备模型批量渲染系统,其特征在于,包括在所述处理器上运行的计算机程序,所述处理器处理所述计算机程序时实现如所述权利要求1~6任一项所述一种工厂设备模型批量渲染方法。
CN202311506082.2A 2023-11-13 一种工厂设备模型批量渲染方法和系统 Active CN117437340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311506082.2A CN117437340B (zh) 2023-11-13 一种工厂设备模型批量渲染方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311506082.2A CN117437340B (zh) 2023-11-13 一种工厂设备模型批量渲染方法和系统

Publications (2)

Publication Number Publication Date
CN117437340A true CN117437340A (zh) 2024-01-23
CN117437340B CN117437340B (zh) 2024-07-16

Family

ID=

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110279448A1 (en) * 2010-05-16 2011-11-17 Zebra Imaging, Inc. Rendering Transparent Geometry
KR101715266B1 (ko) * 2016-04-19 2017-03-14 배재대학교 산학협력단 그래픽 가속기에 기반한 3d 모델의 라인 드로잉 방법 및 이를 이용한 프로그램이 기록된 컴퓨터 판독가능 기록매체
CN113240787A (zh) * 2021-06-08 2021-08-10 北京字跳网络技术有限公司 阴影渲染方法、装置及电子设备
CN114926598A (zh) * 2022-05-26 2022-08-19 中车青岛四方机车车辆股份有限公司 一种模型生成方法、装置、系统及非易失性存储介质
WO2022252547A1 (zh) * 2021-05-29 2022-12-08 华为云计算技术有限公司 渲染方法、设备以及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110279448A1 (en) * 2010-05-16 2011-11-17 Zebra Imaging, Inc. Rendering Transparent Geometry
KR101715266B1 (ko) * 2016-04-19 2017-03-14 배재대학교 산학협력단 그래픽 가속기에 기반한 3d 모델의 라인 드로잉 방법 및 이를 이용한 프로그램이 기록된 컴퓨터 판독가능 기록매체
WO2022252547A1 (zh) * 2021-05-29 2022-12-08 华为云计算技术有限公司 渲染方法、设备以及系统
CN113240787A (zh) * 2021-06-08 2021-08-10 北京字跳网络技术有限公司 阴影渲染方法、装置及电子设备
CN114926598A (zh) * 2022-05-26 2022-08-19 中车青岛四方机车车辆股份有限公司 一种模型生成方法、装置、系统及非易失性存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
伊尧国 等: "构建城市建筑物变形信息自动化采集与管理系统的关键技术研究", 工程勘察, no. 01, 1 January 2011 (2011-01-01), pages 64 - 69 *

Similar Documents

Publication Publication Date Title
CN107154063B (zh) 图像展示区域的形状设置方法及装置
CN105741228A (zh) 图形处理方法及装置
CN111583381B (zh) 游戏资源图的渲染方法、装置及电子设备
US9607352B2 (en) Prediction based primitive sorting for tile based rendering
CN114820906A (zh) 图像渲染方法、装置、电子设备及存储介质
Holzmann et al. Semantically aware urban 3d reconstruction with plane-based regularization
KR20120101974A (ko) 장면의 3차원 뷰들을 렌더링 하기 위한 시스템 및 방법
US12020442B2 (en) Graphics processing systems
US7508390B1 (en) Method and system for implementing real time soft shadows using penumbra maps and occluder maps
CN115379185B (zh) 使用可变速率着色的运动自适应渲染
CN113112542A (zh) 一种视觉定位方法、装置、电子设备及存储介质
CN112541876A (zh) 卫星图像处理方法、网络训练方法、相关装置及电子设备
CN114943659A (zh) 地图区域分割方法以及相关设备
CN109448123B (zh) 模型的控制方法及装置、存储介质、电子设备
CN113132658B (zh) 基于仿生图像传感器的数据处理方法、装置、设备和介质
CN117437340B (zh) 一种工厂设备模型批量渲染方法和系统
CN115810112A (zh) 图像处理方法、装置及存储介质、电子设备
CN117437340A (zh) 一种工厂设备模型批量渲染方法和系统
CN110738719A (zh) 一种基于视距分层优化的Web3D模型渲染方法
Zach et al. Accurate Dense Stereo Reconstruction using Graphics Hardware.
CN113496506A (zh) 图像处理方法、装置、设备及存储介质
CN112465692A (zh) 图像处理方法、装置、设备及存储介质
CN115578495A (zh) 特效图像绘制方法、装置、设备及介质
CN115375847A (zh) 材质恢复方法、三维模型的生成方法和模型的训练方法
CN115880127A (zh) 一种渲染格式选择方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant