CN116109753B - 三维云渲染引擎装置及数据处理方法 - Google Patents

三维云渲染引擎装置及数据处理方法 Download PDF

Info

Publication number
CN116109753B
CN116109753B CN202310387612.XA CN202310387612A CN116109753B CN 116109753 B CN116109753 B CN 116109753B CN 202310387612 A CN202310387612 A CN 202310387612A CN 116109753 B CN116109753 B CN 116109753B
Authority
CN
China
Prior art keywords
feature map
rendered
fusion
channel
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310387612.XA
Other languages
English (en)
Other versions
CN116109753A (zh
Inventor
霍春望
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuanshijie Technology Co ltd
Original Assignee
Shenzhen Yuanshijie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuanshijie Technology Co ltd filed Critical Shenzhen Yuanshijie Technology Co ltd
Priority to CN202310387612.XA priority Critical patent/CN116109753B/zh
Publication of CN116109753A publication Critical patent/CN116109753A/zh
Application granted granted Critical
Publication of CN116109753B publication Critical patent/CN116109753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

本申请公开了一种三维云渲染引擎平台及数据处理方法，其以并行渲染的方式来优化渲染进度。具体的，其通过对待渲染图像进行语义分割，保证待渲染图像中各个对象的语义完整性和连续性，在并行渲染地过程中独立地对各个对象进行渲染并最终合并为完整的渲染模型，以此优化渲染进度且同时保证渲染效果。通过这样的方式，可以减少渲染的时间浪费，提升渲染的效率并提高渲染的质量。

Description

三维云渲染引擎装置及数据处理方法
技术领域
本申请涉及图像智能渲染技术领域，且更为具体地，涉及一种三维云渲染引擎装置及数据处理方法。
背景技术
随着虚拟现实技术的兴起与完善，很多企业逐渐使用虚拟现实技术进行推广及营销产品。其中，使用3D技术进行房屋户型设计的客户也越来越多。随着使用量的大量增长，产生大量的图像渲染需求，进而对渲染服务器产生很大的压力；但是在一定程度上，每台渲染服务器的渲染能力是一定的，在这种情况下，如果一张图纸的渲染只是通过一个渲染工作站来实现，那么渲染的效率低下，且每张效果图有不同的结构组成，如门窗、地板、家具及灯具，这些结构的渲染需要在前一部分结构渲染完成的基础上再进行下一个结构的渲染，如此渲染造成大量的时间浪费，无法达到高效渲染、高质渲染的目的。
因此，期待一种优化的三维云渲染引擎装置。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种三维云渲染引擎装置及数据处理方法，其以并行渲染的方式来优化渲染进度。具体的，其通过对待渲染图像进行语义分割，保证待渲染图像中各个对象的语义完整性和连续性，在并行渲染地过程中独立地对各个对象进行渲染并最终合并为完整的渲染模型，以此优化渲染进度且同时保证渲染效果。通过这样的方式，可以减少渲染的时间浪费，提升渲染的效率并提高渲染的质量。
根据本申请的一个方面，提供了一种三维云渲染引擎装置，其包括：
待渲染数据获取模块，用于获取待渲染图片；
图像优化模块，用于将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；
特征提取模块，用于将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；
深浅特征融合模块，用于融合所述浅层特征图和所述深层特征图以得到融合特征图；
通道显著性增强模块，用于将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；
特征聚合度增强模块，用于对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；
语义分割模块，用于基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；
图像分割模块，用于基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；
并行渲染模块，用于并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；以及整合模块，用于将所述多张渲染后子模型进行整合以得到完整渲染模型。
在上述的三维云渲染引擎装置中，所述图像优化模块，进一步用于将所述待渲染图片输入所述基于对抗生成器的图像分辨率增强器以由所述对抗生成器的生成器通过反卷积编码生成所述优化待渲染图片。
在上述的三维云渲染引擎装置中，所述深度卷积神经网络模型的浅层为4-6层，所述深度卷积神经网络模型的深层与所述深度卷积神经网络模型的浅层之间的比值大于等于5且小于等于10。
在上述的三维云渲染引擎装置中，所述深浅特征融合模块，进一步用于：以如下公式来融合所述浅层特征图和所述深层特征图以得到融合特征图；
其中，所述公式为：
Figure SMS_1
其中，
Figure SMS_2
表示所述浅层特征图和所述深层特征图，/>
Figure SMS_3
表示级联函数，/>
Figure SMS_4
表示所述融合特征图。
在上述的三维云渲染引擎装置中，所述通道显著性增强模块，进一步用于：
将所述融合特征图输入所述通道注意力模块的多层卷积层以得到融合卷积特征图；
计算所述融合卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到融合通道特征向量；
将所述融合通道特征向量输入所述Sigmoid激活函数以得到融合通道注意力权重向量；以及以所述融合通道注意力权重向量中各个位置的特征值作为权重分别对所述融合卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强融合特征图。
在上述的三维云渲染引擎装置中，所述特征聚合度增强模块，进一步用于：以如下公式计算所述通道增强融合特征图的沿通道维度的各个通道增强融合特征向量的节点间类概率匹配特征向量以得到所述优化后通道增强融合特征图；
其中，所述公式为：
Figure SMS_5
其中，
Figure SMS_7
是所述通道增强融合特征图的沿通道维度的第/>
Figure SMS_10
个通道增强融合特征向量，/>
Figure SMS_13
是所述通道增强融合特征图的沿通道维度的第/>
Figure SMS_8
个通道增强融合特征向量，
Figure SMS_11
是/>
Figure SMS_14
与/>
Figure SMS_16
之间的距离，/>
Figure SMS_6
是所述优化后通道增强融合特征图的沿通道维度的各个通道增强融合特征向量，/>
Figure SMS_9
为加权超参数，/>
Figure SMS_12
表示向量的指数运算，对向量进行指数运算表示以向量中各个位置的特征值为幂的自然指数函数值，/>
Figure SMS_15
表示向量的按位置减法。
根据本申请的另一个方面，提供了一种三维云渲染引擎装置的数据处理方法，其包括：
获取待渲染图片；
将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；
将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；
融合所述浅层特征图和所述深层特征图以得到融合特征图；
将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；
对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；
基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；
基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；
并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；以及将所述多张渲染后子模型进行整合以得到完整渲染模型。
在上述的三维云渲染引擎装置的数据处理方法中，所述将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片，进一步包括：将所述待渲染图片输入所述基于对抗生成器的图像分辨率增强器以由所述对抗生成器的生成器通过反卷积编码生成所述优化待渲染图片。
在上述的三维云渲染引擎装置的数据处理方法中，所述深度卷积神经网络模型的浅层为4-6层，所述深度卷积神经网络模型的深层与所述深度卷积神经网络模型的浅层之间的比值大于等于5且小于等于10。
在上述的三维云渲染引擎装置的数据处理方法中，所述融合所述浅层特征图和所述深层特征图以得到融合特征图，进一步包括：以如下公式来融合所述浅层特征图和所述深层特征图以得到融合特征图；
其中，所述公式为：
Figure SMS_17
其中，
Figure SMS_18
表示所述浅层特征图和所述深层特征图，/>
Figure SMS_19
表示级联函数，/>
Figure SMS_20
表示所述融合特征图。
与现有技术相比，本申请提供的一种三维云渲染引擎装置及数据处理方法，其以并行渲染的方式来优化渲染进度。具体的，其通过对待渲染图像进行语义分割，保证待渲染图像中各个对象的语义完整性和连续性，在并行渲染地过程中独立地对各个对象进行渲染并最终合并为完整的渲染模型，以此优化渲染进度且同时保证渲染效果。通过这样的方式，可以减少渲染的时间浪费，提升渲染的效率并提高渲染的质量。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的三维云渲染引擎装置的应用场景图。
图2为根据本申请实施例的三维云渲染引擎装置的框图示意图。
图3为根据本申请实施例的三维云渲染引擎装置的数据处理方法的流程图。
图4为根据本申请实施例的三维云渲染引擎装置的数据处理方法的系统架构的示意图。
实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
相应地，在本申请的技术方案中，以并行渲染的方式来优化渲染进度。但是，在并行渲染的技术方案构建中，难点在于如何对待渲染图像进行划分。传统的划分方式是在图像源域对图像进行均匀分块，但这种图像划分方式破坏了图像中对象之间的语义连续性和语义分割性，导致渲染的效果出现较大的视觉偏差。因此，期待一种用于待渲染图像的语义分割方案，应可以理解，通过对待渲染图像进行语义分割，可保证待渲染图像中各个对象的语义完整性和连续性，因此，在并行渲染地过程中可独立地对各个对象进行渲染并最终合并为完整的渲染模型，以此能优化渲染进度且同时保证渲染效果。
具体地，在本申请的技术方案中，首先待渲染图片。考虑到所述待渲染图像的图像质量不高，即清晰度不高，这会影响图像语义分割的精准度。因此，在对所述待渲染图像进行图像语义分割处理前，先将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片。所述对抗生成器包括生成器和鉴别器，所述生成器用于生成分辨率优化的生成图像，而所述鉴别器用于度量生成图像与真实分辨率优化图像之间的鉴别器损失函数值，并通过梯度下降的反向传播算法来更新所述生成器的网络参数，以使得训练完成的生成器所输出的生成图像与真实分辨率优化图像相接近。
在进行图像语义分割时，如果能够利用所述优化待渲染图片中各个对象的浅层特征，例如，纹理、线条、形状等，则显然可以提高图像语义分割的精准度。基于此，在本申请的技术方案中，将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图，并融合所述浅层特征图和所述深层特征图以得到融合特征图。也就是，以在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取所述优化待渲染图片中的图像浅层特征和图像深层语义特征，并融合所述浅层特征图和所述深层特征图以得到所述融合特征图，例如，在本申请一个具体的示例中，将所述浅层特征图和所述深层特征图进行级联以得到所述融合特征图。
考虑到所述融合特征图中各个通道维度的特征归属于不同对象，因此，如果能够提高各个通道间的特征分布的可鉴别性，则显然有利于提高图像语义分割的精准度。具体地，将所述融合特征图通过通道注意力模块以得到通道增强融合特征图。所述通道注意力模块的编码过程，包括首先对所述融合特征图的各个通道维度的特征矩阵进行全局均值池化处理以得到通道特征向量，然后将所述通道特征向量通过Softmax激活函数以得到通道激活特征向量；进而，以所述通道激活特征向量中各个位置的特征值作为权重对所述融合特征图的各个通道维度的特征矩阵进行加权以得到所述通道增强融合特征图。
进一步地，在本申请的技术方案中，基于所述通道增强融合特征图进行图像语义分割以得到图像语义分割结果时，可以通过比较所述通道增强融合特征图的每个通道维度的多个通道增强融合特征向量之间的语义相似性来进行图像语义分隔。因此，如果能够提升所述多个通道增强融合特征向量之间的特征聚合度，显然能够提高所述图像语义分隔的准确性。
在本申请的技术方案中，基于所述通道增强融合特征图进行图像语义分割以得到图像语义分割结果时，可以通过比较所述通道增强融合特征图的沿通道维度的多个通道增强融合特征向量之间的语义相似性来进行图像语义分隔。因此，如果能够提升所述多个通道增强融合特征向量之间的特征聚合度，显然能够提高所述图像语义分隔的准确性。
本申请的申请人将所述多个通道增强融合特征向量中的每个通道增强融合特征向量视为单个节点，通过节点之间的距离表示来基于节点整体的拓扑结构确定节点之间的类概率特征聚合度，具体地，计算每个通道增强融合特征向量的节点间类概率匹配特征向量，表示为：
Figure SMS_21
Figure SMS_23
是所述通道增强融合特征图的沿通道维度的第/>
Figure SMS_26
个通道增强融合特征向量，
Figure SMS_29
是所述通道增强融合特征图的沿通道维度的第/>
Figure SMS_24
个通道增强融合特征向量，
Figure SMS_27
是/>
Figure SMS_30
与/>
Figure SMS_31
之间的距离，即/>
Figure SMS_22
小于预定阈值，即/>
Figure SMS_25
的通道增强融合特征向量，/>
Figure SMS_28
为加权超参数。
也就是，如果将
Figure SMS_32
作为拓扑结构的节点，则/>
Figure SMS_33
可以被认为是在拓扑结构内部与所述节点/>
Figure SMS_34
相连的节点，即/>
Figure SMS_35
，表示节点/>
Figure SMS_36
与节点/>
Figure SMS_37
之间具有边。这样，通过计算节点间类概率匹配特征向量，可以确定拓扑结构内的节点与相邻节点之间在类概率下的交互度，通过以其代替所述通道增强融合特征向量，可以提升多节点组成的拓扑结构内部的各个节点间的类概率特征聚合度，相当于在基于内部特征交互的特征聚合维度上对于节点特征施加注意力机制，从而通过提升所述多个通道增强融合特征向量之间的特征聚合度来提高所述图像语义分隔的准确性。
接着，基于所述通道增强融合特征图进行图像语义分割以得到图像语义分割结果。本领域普通技术人员应知晓，图像语义分割是在像素级别上的分类，属于同一类的像素被归为一类，也就是说，图像语义分割是从像素级来理解图像的。进而，基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像，其中，各张所述待渲染子图像仅包含一个独立的对象。
进一步地，并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型。通过并行的方式可显著地提高渲染的进度，同时，因各个所述待渲染子图像仅包含一个独立的对象，因此，渲染的难度也不会增加。在将各个所述待渲染子图像进行渲染渲染为渲染后子模型后，将所述多张渲染后子模型进行整合以得到完整渲染模型。
综上，对待渲染图像进行语义分割，以保证待渲染图像中各个对象的语义完整性和连续性，从而在并行渲染地过程中可独立地对各个对象进行渲染并最终合并为完整的渲染模型，以此能优化渲染进度且同时保证渲染效果。
基于此，本申请提供了一种三维云渲染引擎装置，其包括：待渲染数据获取模块，用于获取待渲染图片；图像优化模块，用于将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；特征提取模块，用于将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；深浅特征融合模块，用于融合所述浅层特征图和所述深层特征图以得到融合特征图；通道显著性增强模块，用于将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；特征聚合度增强模块，用于对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；语义分割模块，用于基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；图像分割模块，用于基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；并行渲染模块，用于并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；以及，整合模块，用于将所述多张渲染后子模型进行整合以得到完整渲染模型。
图1为根据本申请实施例的三维云渲染引擎装置的应用场景图。如图1所示，在该应用场景中，获取待渲染图片（例如，如图1中所示意的D），然后，将所述待渲染图片输入至部署有三维云渲染引擎装置的数据处理算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用所述三维云渲染引擎装置的数据处理算法对所述待渲染图片进行处理以得到完整渲染模型。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性平台
图2为根据本申请实施例的三维云渲染引擎装置的框图示意图。如图2所示，根据本申请实施例的三维云渲染引擎装置100，包括：待渲染数据获取模块101，用于获取待渲染图片；图像优化模块102，用于将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；特征提取模块103，用于将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；深浅特征融合模块104，用于融合所述浅层特征图和所述深层特征图以得到融合特征图；通道显著性增强模块105，用于将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；特征聚合度增强模块106，用于对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；语义分割模块107，用于基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；图像分割模块108，用于基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；并行渲染模块109，用于并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；以及，整合模块110，用于将所述多张渲染后子模型进行整合以得到完整渲染模型。
更具体地，在本申请实施例中，所述待渲染数据获取模块101，用于获取待渲染图片。
考虑到所述待渲染图像的图像质量不高，即清晰度不高，这会影响图像语义分割的精准度。因此，在对所述待渲染图像进行图像语义分割处理前，先将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片。
更具体地，在本申请实施例中，所述图像优化模块102，用于将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片。所述对抗生成器包括生成器和鉴别器，所述生成器用于生成分辨率优化的生成图像，而所述鉴别器用于度量生成图像与真实分辨率优化图像之间的鉴别器损失函数值，并通过梯度下降的反向传播算法来更新所述生成器的网络参数，以使得训练完成的生成器所输出的生成图像与真实分辨率优化图像相接近。
相应地，在一个具体示例中，所述图像优化模块102，进一步用于将所述待渲染图片输入所述基于对抗生成器的图像分辨率增强器以由所述对抗生成器的生成器通过反卷积编码生成所述优化待渲染图片。
更具体地，在本申请实施例中，所述特征提取模块103，用于将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图。卷积神经网络模型在图像特征提取领域具有优异性能表现，以卷积神经网络模型作为特征提取器来提取所述优化待渲染图片中的图像浅层特征和图像深层语义特征。
相应地，在一个具体示例中，所述深度卷积神经网络模型的浅层为4-6层，所述深度卷积神经网络模型的深层与所述深度卷积神经网络模型的浅层之间的比值大于等于5且小于等于10。
在进行图像语义分割时，如果能够利用所述优化待渲染图片中各个对象的浅层特征，例如，纹理、线条、形状等，则显然可以提高图像语义分割的精准度。基于此，在本申请的技术方案中，将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图，并融合所述浅层特征图和所述深层特征图以得到融合特征图。也就是，以在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取所述优化待渲染图片中的图像浅层特征和图像深层语义特征，并融合所述浅层特征图和所述深层特征图以得到所述融合特征图，例如，在本申请一个具体的示例中，将所述浅层特征图和所述深层特征图进行级联以得到所述融合特征图。
更具体地，在本申请实施例中，所述深浅特征融合模块104，用于融合所述浅层特征图和所述深层特征图以得到融合特征图。
相应地，在一个具体示例中，所述深浅特征融合模块104，进一步用于：以如下公式来融合所述浅层特征图和所述深层特征图以得到融合特征图；其中，所述公式为：
Figure SMS_38
其中，
Figure SMS_39
表示所述浅层特征图和所述深层特征图，/>
Figure SMS_40
表示级联函数，/>
Figure SMS_41
表示所述融合特征图。
更具体地，在本申请实施例中，所述通道显著性增强模块105，用于将所述融合特征图通过通道注意力模块以得到通道增强融合特征图。考虑到所述融合特征图中各个通道维度的特征归属于不同对象，因此，如果能够提高各个通道间的特征分布的可鉴别性，则显然有利于提高图像语义分割的精准度。具体地，将所述融合特征图通过通道注意力模块以得到通道增强融合特征图。所述通道注意力模块的编码过程，包括首先对所述融合特征图的各个通道维度的特征矩阵进行全局均值池化处理以得到通道特征向量，然后将所述通道特征向量通过Softmax激活函数以得到通道激活特征向量；进而，以所述通道激活特征向量中各个位置的特征值作为权重对所述融合特征图的各个通道维度的特征矩阵进行加权以得到所述通道增强融合特征图。
相应地，在一个具体示例中，所述通道显著性增强模块105，进一步用于：将所述融合特征图输入所述通道注意力模块的多层卷积层以得到融合卷积特征图；计算所述融合卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到融合通道特征向量；将所述融合通道特征向量输入所述Sigmoid激活函数以得到融合通道注意力权重向量；以及，以所述融合通道注意力权重向量中各个位置的特征值作为权重分别对所述融合卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强融合特征图。
更具体地，在本申请实施例中，所述特征聚合度增强模块106，用于对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图。
基于所述通道增强融合特征图进行图像语义分割以得到图像语义分割结果时，可以通过比较所述通道增强融合特征图的每个通道维度的多个通道增强融合特征向量之间的语义相似性来进行图像语义分隔。因此，如果能够提升所述多个通道增强融合特征向量之间的特征聚合度，显然能够提高所述图像语义分隔的准确性。
在本申请的技术方案中，基于所述通道增强融合特征图进行图像语义分割以得到图像语义分割结果时，可以通过比较所述通道增强融合特征图的沿通道维度的多个通道增强融合特征向量之间的语义相似性来进行图像语义分隔。因此，如果能够提升所述多个通道增强融合特征向量之间的特征聚合度，显然能够提高所述图像语义分隔的准确性。
本申请的申请人将所述多个通道增强融合特征向量中的每个通道增强融合特征向量视为单个节点，通过节点之间的距离表示来基于节点整体的拓扑结构确定节点之间的类概率特征聚合度，具体地，计算每个通道增强融合特征向量的节点间类概率匹配特征向量。
相应地，在一个具体示例中，所述特征聚合度增强模块106，进一步用于：以如下公式计算所述通道增强融合特征图的沿通道维度的各个通道增强融合特征向量的节点间类概率匹配特征向量以得到所述优化后通道增强融合特征图；其中，所述公式为：
Figure SMS_42
其中，
Figure SMS_44
是所述通道增强融合特征图的沿通道维度的第/>
Figure SMS_47
个通道增强融合特征向量，/>
Figure SMS_51
是所述通道增强融合特征图的沿通道维度的第/>
Figure SMS_45
个通道增强融合特征向量，
Figure SMS_48
是/>
Figure SMS_50
与/>
Figure SMS_53
之间的距离，/>
Figure SMS_43
是所述优化后通道增强融合特征图的沿通道维度的各个通道增强融合特征向量，/>
Figure SMS_46
为加权超参数，/>
Figure SMS_49
表示向量的指数运算，对向量进行指数运算表示以向量中各个位置的特征值为幂的自然指数函数值，/>
Figure SMS_52
表示向量的按位置减法。
也就是，如果将
Figure SMS_54
作为拓扑结构的节点，则/>
Figure SMS_55
可以被认为是在拓扑结构内部与所述节点/>
Figure SMS_56
相连的节点，即/>
Figure SMS_57
，表示节点/>
Figure SMS_58
与节点/>
Figure SMS_59
之间具有边。这样，通过计算节点间类概率匹配特征向量，可以确定拓扑结构内的节点与相邻节点之间在类概率下的交互度，通过以其代替所述通道增强融合特征向量，可以提升多节点组成的拓扑结构内部的各个节点间的类概率特征聚合度，相当于在基于内部特征交互的特征聚合维度上对于节点特征施加注意力机制，从而通过提升所述多个通道增强融合特征向量之间的特征聚合度来提高所述图像语义分隔的准确性。
更具体地，在本申请实施例中，所述语义分割模块107，用于基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果。本领域普通技术人员应知晓，图像语义分割是在像素级别上的分类，属于同一类的像素被归为一类，也就是说，图像语义分割是从像素级来理解图像的。进而，基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像，其中，各张所述待渲染子图像仅包含一个独立的对象。
更具体地，在本申请实施例中，所述图像分割模块108，用于基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像。
更具体地，在本申请实施例中，所述并行渲染模块109，用于并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型。通过并行的方式可显著地提高渲染的进度，同时，因各个所述待渲染子图像仅包含一个独立的对象，因此，渲染的难度也不会增加。在将各个所述待渲染子图像进行渲染渲染为渲染后子模型后，将所述多张渲染后子模型进行整合以得到完整渲染模型。
更具体地，在本申请实施例中，所述整合模块110，用于将所述多张渲染后子模型进行整合以得到完整渲染模型。
综上，对待渲染图像进行语义分割，以保证待渲染图像中各个对象的语义完整性和连续性，从而在并行渲染地过程中可独立地对各个对象进行渲染并最终合并为完整的渲染模型，以此能优化渲染进度且同时保证渲染效果。
综上，基于本申请实施例的三维云渲染引擎装置100被阐明，其以并行渲染的方式来优化渲染进度。具体的，其通过对待渲染图像进行语义分割，保证待渲染图像中各个对象的语义完整性和连续性，在并行渲染地过程中独立地对各个对象进行渲染并最终合并为完整的渲染模型，以此优化渲染进度且同时保证渲染效果。通过这样的方式，可以减少渲染的时间浪费，提升渲染的效率并提高渲染的质量。
如上所述，根据本申请实施例的所述三维云渲染引擎装置100可以实现在各种终端设备中，例如具有三维云渲染引擎装置的数据处理算法的服务器等。在一个示例中，三维云渲染引擎装置100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该三维云渲染引擎装置100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该三维云渲染引擎装置100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该三维云渲染引擎装置100与该终端设备也可以是分立的设备，并且该三维云渲染引擎装置100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图3为根据本申请实施例的三维云渲染引擎装置的数据处理方法的流程图。如图3所示，根据本申请实施例的三维云渲染引擎装置的数据处理方法，其包括：S101，获取待渲染图片；S102，将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；S103，将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；S104，融合所述浅层特征图和所述深层特征图以得到融合特征图；S105，将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；S106，对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；S107，基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；S108，基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；S109，并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；S110，将所述多张渲染后子模型进行整合以得到完整渲染模型。
图4为根据本申请实施例的三维云渲染引擎装置的数据处理方法的系统架构的示意图。如图4所示，在所述三维云渲染引擎装置的数据处理方法的系统架构中，首先，获取待渲染图片；接着，将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；然后，将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；接着，融合所述浅层特征图和所述深层特征图以得到融合特征图；然后，将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；接着，对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；然后，基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；接着，基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；然后，并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；最后，将所述多张渲染后子模型进行整合以得到完整渲染模型。
在一个具体示例中，在上述三维云渲染引擎装置的数据处理方法中，所述将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片，进一步包括：将所述待渲染图片输入所述基于对抗生成器的图像分辨率增强器以由所述对抗生成器的生成器通过反卷积编码生成所述优化待渲染图片。
在一个具体示例中，在上述三维云渲染引擎装置的数据处理方法中，所述深度卷积神经网络模型的浅层为4-6层，所述深度卷积神经网络模型的深层与所述深度卷积神经网络模型的浅层之间的比值大于等于5且小于等于10。
在一个具体示例中，在上述三维云渲染引擎装置的数据处理方法中，所述融合所述浅层特征图和所述深层特征图以得到融合特征图，进一步包括：以如下公式来融合所述浅层特征图和所述深层特征图以得到融合特征图；其中，所述公式为：
Figure SMS_60
其中，
Figure SMS_61
表示所述浅层特征图和所述深层特征图，/>
Figure SMS_62
表示级联函数，/>
Figure SMS_63
表示所述融合特征图。
在一个具体示例中，在上述三维云渲染引擎装置的数据处理方法中，所述将所述融合特征图通过通道注意力模块以得到通道增强融合特征图，进一步包括：将所述融合特征图输入所述通道注意力模块的多层卷积层以得到融合卷积特征图；计算所述融合卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到融合通道特征向量；将所述融合通道特征向量输入所述Sigmoid激活函数以得到融合通道注意力权重向量；以及，以所述融合通道注意力权重向量中各个位置的特征值作为权重分别对所述融合卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强融合特征图。
在一个具体示例中，在上述三维云渲染引擎装置的数据处理方法中，所述对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图，进一步包括：以如下公式计算所述通道增强融合特征图的沿通道维度的各个通道增强融合特征向量的节点间类概率匹配特征向量以得到所述优化后通道增强融合特征图；其中，所述公式为：
Figure SMS_64
其中，
Figure SMS_67
是所述通道增强融合特征图的沿通道维度的第/>
Figure SMS_70
个通道增强融合特征向量，/>
Figure SMS_72
是所述通道增强融合特征图的沿通道维度的第/>
Figure SMS_66
个通道增强融合特征向量，
Figure SMS_69
是/>
Figure SMS_73
与/>
Figure SMS_75
之间的距离，/>
Figure SMS_65
是所述优化后通道增强融合特征图的沿通道维度的各个通道增强融合特征向量，/>
Figure SMS_68
为加权超参数，/>
Figure SMS_71
表示向量的指数运算，对向量进行指数运算表示以向量中各个位置的特征值为幂的自然指数函数值，/>
Figure SMS_74
表示向量的按位置减法。
这里，本领域技术人员可以理解，上述三维云渲染引擎装置的数据处理方法中的各个步骤的具体操作已经在上面参考图1到图2的三维云渲染引擎装置的描述中得到了详细介绍，并因此，将省略其重复描述。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种三维云渲染引擎装置，其特征在于，包括：
待渲染数据获取模块，用于获取待渲染图片；
图像优化模块，用于将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；
特征提取模块，用于将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；
深浅特征融合模块，用于融合所述浅层特征图和所述深层特征图以得到融合特征图；
通道显著性增强模块，用于将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；
特征聚合度增强模块，用于对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；
语义分割模块，用于基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；
图像分割模块，用于基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；
并行渲染模块，用于并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；以及整合模块，用于将所述多张渲染后子模型进行整合以得到完整渲染模型。
2.根据权利要求1所述的三维云渲染引擎装置，其特征在于，所述图像优化模块，进一步用于将所述待渲染图片输入所述基于对抗生成器的图像分辨率增强器以由所述对抗生成器的生成器通过反卷积编码生成所述优化待渲染图片。
3.根据权利要求2所述的三维云渲染引擎装置，其特征在于，所述深度卷积神经网络模型的浅层为4-6层，所述深度卷积神经网络模型的深层与所述深度卷积神经网络模型的浅层之间的比值大于等于5且小于等于10。
4.根据权利要求3所述的三维云渲染引擎装置，其特征在于，所述深浅特征融合模块，进一步用于：以如下公式来融合所述浅层特征图和所述深层特征图以得到融合特征图；
其中，所述公式为：
Figure QLYQS_1
其中，/>
Figure QLYQS_2
表示所述浅层特征图和所述深层特征图，/>
Figure QLYQS_3
表示级联函数，/>
Figure QLYQS_4
表示所述融合特征图。
5.根据权利要求4所述的三维云渲染引擎装置，其特征在于，所述通道显著性增强模块，进一步用于：
将所述融合特征图输入所述通道注意力模块的多层卷积层以得到融合卷积特征图；
计算所述融合卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到融合通道特征向量；
将所述融合通道特征向量输入Sigmoid激活函数以得到融合通道注意力权重向量；以及以所述融合通道注意力权重向量中各个位置的特征值作为权重分别对所述融合卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道增强融合特征图。
6.根据权利要求5所述的三维云渲染引擎装置，其特征在于，所述特征聚合度增强模块，进一步用于：以如下公式计算所述通道增强融合特征图的沿通道维度的各个通道增强融合特征向量的节点间类概率匹配特征向量以得到所述优化后通道增强融合特征图；
其中，所述公式为：
Figure QLYQS_6
其中，/>
Figure QLYQS_9
是所述通道增强融合特征图的沿通道维度的第/>
Figure QLYQS_13
个通道增强融合特征向量，/>
Figure QLYQS_8
是所述通道增强融合特征图的沿通道维度的第/>
Figure QLYQS_12
个通道增强融合特征向量，/>
Figure QLYQS_15
是/>
Figure QLYQS_17
与/>
Figure QLYQS_5
之间的距离，
Figure QLYQS_10
是所述优化后通道增强融合特征图的沿通道维度的各个通道增强融合特征向量，/>
Figure QLYQS_14
为加权超参数，/>
Figure QLYQS_16
表示向量的指数运算，对向量进行指数运算表示以向量中各个位置的特征值为幂的自然指数函数值，/>
Figure QLYQS_7
表示向量的按位置减法，/>
Figure QLYQS_11
为预定阈值。
7.一种三维云渲染引擎装置的数据处理方法，其特征在于，包括：
获取待渲染图片；
将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片；
将所述优化待渲染图片通过深度卷积神经网络模型以从所述深度卷积神经网络模型的浅层提取浅层特征图和从所述深度卷积神经网络模型的深层提取深层特征图；
融合所述浅层特征图和所述深层特征图以得到融合特征图；
将所述融合特征图通过通道注意力模块以得到通道增强融合特征图；
对所述通道增强融合特征图进行特征分布校正以提高所述通道增强融合特征图的特征聚合度以得到优化后通道增强融合特征图；
基于所述优化后通道增强融合特征图进行图像语义分割以得到图像语义分割结果；
基于所述图像语义分割结果，将所述待渲染图片分为多张待渲染子图像；
并行地对所述多张待渲染子图像进行渲染以得到多张渲染后子模型；以及将所述多张渲染后子模型进行整合以得到完整渲染模型。
8.根据权利要求7所述的三维云渲染引擎装置的数据处理方法，其特征在于，所述将所述待渲染图片通过基于对抗生成器的图像分辨率增强器以得到优化待渲染图片，进一步包括：将所述待渲染图片输入所述基于对抗生成器的图像分辨率增强器以由所述对抗生成器的生成器通过反卷积编码生成所述优化待渲染图片。
9.根据权利要求8所述的三维云渲染引擎装置的数据处理方法，其特征在于，所述深度卷积神经网络模型的浅层为4-6层，所述深度卷积神经网络模型的深层与所述深度卷积神经网络模型的浅层之间的比值大于等于5且小于等于10。
10.根据权利要求9所述的三维云渲染引擎装置的数据处理方法，其特征在于，所述融合所述浅层特征图和所述深层特征图以得到融合特征图，进一步包括：以如下公式来融合所述浅层特征图和所述深层特征图以得到融合特征图；
其中，所述公式为：
Figure QLYQS_18
其中，/>
Figure QLYQS_19
表示所述浅层特征图和所述深层特征图，/>
Figure QLYQS_20
表示级联函数，/>
Figure QLYQS_21
表示所述融合特征图。
CN202310387612.XA 2023-04-12 2023-04-12 三维云渲染引擎装置及数据处理方法 Active CN116109753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310387612.XA CN116109753B (zh) 2023-04-12 2023-04-12 三维云渲染引擎装置及数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310387612.XA CN116109753B (zh) 2023-04-12 2023-04-12 三维云渲染引擎装置及数据处理方法

Publications (2)

Publication Number Publication Date
CN116109753A CN116109753A (zh) 2023-05-12
CN116109753B true CN116109753B (zh) 2023-06-23

Family

ID=86256566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310387612.XA Active CN116109753B (zh) 2023-04-12 2023-04-12 三维云渲染引擎装置及数据处理方法

Country Status (1)

Country Link
CN (1) CN116109753B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635791B (zh) * 2023-11-16 2024-05-31 重庆市祥和大宇包装有限公司 3d模型的呈现方法及系统、存储介质、电子设备
CN117496066B (zh) * 2023-11-20 2024-05-31 上海源庐加佳信息科技有限公司 基于仓储实时数据的仓储货物3d渲染系统及其方法
CN117853678B (zh) * 2024-03-08 2024-05-17 陕西天润科技股份有限公司 基于多源遥感进行地理空间数据三维实体化改造的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110892424A (zh) * 2017-05-23 2020-03-17 英特尔公司 用于深度学习中的特征的区分性语义转移和物理启发优化的方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127857B (zh) * 2016-06-24 2018-11-16 南京林业大学 综合数据驱动与模型驱动的机载LiDAR数据建模方法
JP7203844B2 (ja) * 2017-07-25 2023-01-13 達闥機器人股▲分▼有限公司 トレーニングデータの生成方法、生成装置及びその画像のセマンティックセグメンテーション方法
CN110751712A (zh) * 2019-10-22 2020-02-04 中设数字技术股份有限公司 基于云平台的在线三维渲染技术及系统
CN113920023B (zh) * 2021-09-29 2024-10-15 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备
CN115272906A (zh) * 2022-06-20 2022-11-01 温州大学 一种基于点渲染的视频背景人像分割模型及算法
CN115439637A (zh) * 2022-08-12 2022-12-06 北京宾理信息科技有限公司 车载增强现实的渲染方法、系统、车辆及存储介质
CN115578499B (zh) * 2022-11-29 2023-04-07 北京天图万境科技有限公司 一种非对称色彩失调一致性的拟合重建的方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110892424A (zh) * 2017-05-23 2020-03-17 英特尔公司 用于深度学习中的特征的区分性语义转移和物理启发优化的方法和装置

Also Published As

Publication number Publication date
CN116109753A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN116109753B (zh) 三维云渲染引擎装置及数据处理方法
Xian et al. Monocular relative depth perception with web stereo data supervision
Engelmann et al. Know what your neighbors do: 3D semantic segmentation of point clouds
CN109005398B (zh) 一种基于卷积神经网络的立体图像视差匹配方法
CN112329801B (zh) 一种卷积神经网络非局部信息构建方法
CN115481682A (zh) 一种基于监督对比学习与结构推断的图分类训练方法
CN104732545A (zh) 结合稀疏近邻传播和快速谱聚类的纹理图像分割方法
CN111242181B (zh) 基于图像语义和细节的rgb-d显著性物体检测器
CN114743027B (zh) 弱监督学习引导的协同显著性检测方法
Chen et al. Real-time semantic scene completion via feature aggregation and conditioned prediction
Yao et al. Iterative color-depth MST cost aggregation for stereo matching
Abuowaida et al. Improved deep learning architecture for depth estimation from single image
CN116612288B (zh) 一种多尺度轻量级实时语义分割方法、系统
Ma et al. Cloud-egan: Rethinking cyclegan from a feature enhancement perspective for cloud removal by combining cnn and transformer
CN110060290B (zh) 一种基于3d卷积神经网络的双目视差计算方法
Li et al. LoS: Local Structure-Guided Stereo Matching
Yu et al. Dynamic parallel and distributed graph cuts
CN113538278B (zh) 基于可变形卷积的深度图补全方法
Luo et al. DFRD: data-free robustness distillation for heterogeneous federated learning
CN113627368B (zh) 基于深度学习的视频行为识别方法
CN111126310B (zh) 一种基于场景迁移的行人性别识别方法
Zhang et al. Adaptive coding unit size convolutional neural network for fast 3D-HEVC depth map intracoding
Zhang et al. A novel dilated convolutional neural network model for road scene segmentation
Luo et al. Balanced principal component for 3D shape recognition using convolutional neural networks
CN111597665B (zh) 一种基于网络分区的层次网络嵌入方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant