CN115619709B - 一种3d平面检测与重建方法、装置及存储介质 - Google Patents

一种3d平面检测与重建方法、装置及存储介质 Download PDF

Info

Publication number
CN115619709B
CN115619709B CN202211046210.5A CN202211046210A CN115619709B CN 115619709 B CN115619709 B CN 115619709B CN 202211046210 A CN202211046210 A CN 202211046210A CN 115619709 B CN115619709 B CN 115619709B
Authority
CN
China
Prior art keywords
mask
plane
network
edge
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211046210.5A
Other languages
English (en)
Other versions
CN115619709A (zh
Inventor
徐增林
欧阳文喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202211046210.5A priority Critical patent/CN115619709B/zh
Publication of CN115619709A publication Critical patent/CN115619709A/zh
Application granted granted Critical
Publication of CN115619709B publication Critical patent/CN115619709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种3D平面检测与重建方法、装置及存储介质，方法包括 将待检测图像输入Swin Transformer 骨干网络中，输出具有5个尺度的特征图；将特征图输入特征金字塔网络中将特征图线性插值为 S×S×C大小，并经过6个卷积层和一个3×3×D卷积层生成Kernel G；利用一个Center‑ness模块预测一个Center‑ness分值，将Center‑ness分值与预测的置信度分数相乘得到置信度取值；将Kernel G分别与掩码头网络生成的掩码F和边缘E相乘后得到对应的掩码和边缘，最终通过将得到的掩码、边缘以及平面法向量参数结合得到重建图像。本发明方法将非平面区域错误预测为平面的概率大大降低，有效提高了平面分割精度。

Description

一种3D平面检测与重建方法、装置及存储介质
技术领域
本发明涉及计算机视觉领域，特别是涉及一种3D平面检测与重建方法、装置及存储介质。
背景技术
平面检测是很多AR应用的基础，许多国际国内巨头的AR开发引擎中包含了平面检测功能，如苹果公司的ARKit、谷歌公司的ARCore，华为公司的HuaweiAREngine，以及商汤科技的SenseAR都提供了平面检测功能，但在这些SDK的底层算法中，都是根据摄像头图像输入检测特征点，并依据特征点三维信息构建空间环境，将符合特定规律的特征点划归为平面，这导致平面检测精度不高，无法满足高质量AR内容生产的需求。
现有的3D平面检测与重建方法有基于聚类的方法，此方法容易将非平面区域错误检测为平面或周围其他平面的一部分；同时，现阶段的平面检测工作通常存在分割掩码精度不高的问题，这影响追求视觉质量的一些AR应用；另外，现阶段的3D平面重建工作通常存在法向量预测精度不高的问题，这也进一步导致了重建平面不平整等问题。
发明内容
本发明针对上述问题，提供了一种3D平面检测与重建方法、装置及存储介质，具有将非平面区域错误预测为平面的概率大大降低，有效提高了平面分割精度的优点。
本发明的第一方面，提供了一种3D平面检测与重建方法，方法包括如下步骤：
将待检测图像输入SwinTransformer骨干网络和特征金字塔网络中，输出具有5个尺度的特征图；
将特征图输入Kernel头网络进行边缘预测，具体为：将特征图线性插值为S×S×C大小，并经过6个卷积层和一个3×3×D卷积层生成Kernel G，其中S为特征图的尺寸，C为特征图的通道数，Kernel G为一个可学习的物体表示，D为卷积层个数；
将特征图输入掩码头网络进行特征统一后生成掩码F和边缘E；
将特征图输入平面参数解码网络获取平面法向量参数；
将Kernel G分别与掩码头网络生成的掩码F和边缘E相乘后得到对应的掩码和边缘；
通过将得到的掩码、边缘以及平面法向量参数结合得到重建图像。
本发明的进一步技术方案：在平面参数解码网络中将特征图应用4倍双线性插值和单层卷积层来预测每个像素的平面法向量。
本发明的进一步技术方案：预测每个像素的平面法向量损失函数包括L1损失、余弦相似度损失和深度损失，具体表达式为:
Figure SMS_1
其中，ni为预测平面法向量值，
Figure SMS_2
为为平面法向量真值，nT为平面法向量的转置，q为一个与相机参数矩阵和场景设定有关联的矩阵，α、β、γ为调节损失函数比率的系，N为点的个数，Qi为属于平面的点的集合。
本发明的进一步技术方案：在获得像素的法向量后，将一个平面的所有像素的平面法向量求平均来计算得到实际平面法向量参数。
本发明的进一步技术方案：所述方法获取边缘E的边缘损失为：
Figure SMS_3
其中，Si为预测边缘掩码的真值面积，Save为预测所有掩码的平均真值面积，Gd为掩码真值宽度为d的边缘，Pd为预测掩码宽度为d的边缘。
本发明的进一步技术方案：所述方法还包括在Kernel头网络中利用一个Centerness分支网络预测一个Centerness分值，将Centerness分值与掩码头网络预测的置信度分数相乘得到置信度取值，置信度取值用于方法训练或选出预测结果。
本发明的第二方面，提供了一种3D平面检测与重建装置，装置包括：
特征图获取模块，用于将待检测图像输入Swin Transformer骨干网络和特征金字塔网络中，输出具有5个尺度的特征图；
Kernel G生成模块，用于将特征图输入Kernel头网络进行边缘预测，具体为：将特征图线性插值为S×S×C大小，并经过6个卷积层和一个3×3×D卷积层生成Kernel G，其中S为特征图的尺寸，C为特征图的通道数，Kernel G为一个可学习的物体表示，D为卷积层个数；
掩码模块，用于将特征图输入掩码头网络进行特征统一后生成掩码F和边缘E；
平面法向量获取模块，用于将特征图输入平面参数解码网络获取平面法向量参数；
掩码和边缘获取模块，用于将Kernel G分别与掩码头网络生成的掩码F和边缘E相乘后得到对应的掩码和边缘；
重建图像获取模块，用于通过将得到的掩码、边缘以及平面法向量参数结合得到重建图像。
本发明的进一步技术方案：所述装置还包括置信度取值获取模块，用于在Kernel头网络中利用一个Centerness分支网络预测一个Centerness分值，将Centerness分值与掩码头网络预测的置信度分数相乘得到置信度取值，置信度取值用于方法训练或选出预测结果。
本发明的第三方面，提供了一种3D平面检测与重建装置，包括：处理器；以及存储器，其中，所述存储器中存储有计算机可执行程序，当由所述处理器执行所述计算机可执行程序时，执行上述3D平面检测与重建方法。
本发明的第四方面，提供了一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行上述3D平面检测与重建方法。
本发明提供的3D平面检测与重建方法、装置及存储介质，通过采用基于定位的分割方法，有效解决了之前基于聚类模型容易将非平面区域错误检测为平面区域或周围平面一部分的问题；通过引入Center-ness分支网络，提升后处理过程中的分割掩码筛选质量，有效提高了分割质量；使用边缘分支来监督分割掩码，从而有效提高了掩码分割精度，较好地提升了3D平面重建的效果；预测3D法向量方面的精度相较之前的模型也更高，使得重建后的3D平面更平整和高精度。综上所述，本发明产生的有益效果有：
与现有的基于聚类的模型相比，本发明方法将非平面区域错误预测为平面的概率大大降低，有效提高了平面分割精度。
本发明方法加入了边缘注意约束，模型会典型的预测出更高的掩码分割精度，大大提升了3D平面重建的效果。
本本发明方法采用了Center-ness分支网络来有效抑制那些低质量的预测结果，进一步保证了分割精度和3D平面重建的精度。
附图说明
图1是本发明实施例中3D平面检测与重建方法流程示意图；
图2是本发明实施例中3D平面检测与重建装置结构示意图；
图3是本发明实施例中的计算机设备的架构。
具体实施方式
为进一步对本发明的技术方案作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的步骤。
本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或硬件获取模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
实施例中涉及的缩略语和关键术语定义有：
平面检测：是指依据单幅输入RGB图像生成各平面对应掩码的任务；
掩码(Mask)：一种二值图，分割模型中一般指相对应物体的像素覆盖区域。
3D平面重建：通常要求逐一检测分割出输入RGB图片中平面实例，以及相对应的平面法向量参数。
实例分割(Instance Segmentation)：是在目标检测基础上进一步将物体逐像素的前景和背景分离出来，并准确分类。
后处理(Post-Processing)：在实例分割任务中，对于一个实例，可能产生多个有重叠的预测，这时需要后处理技术来对其中置信度较低的预测过滤掉，从而确保预测结果质量。
Transformer模型：一种以自注意力为核心的建模算法及相应模型。
本发明实施例针对3D平面检测与重建方法、装置及存储介质，提供了如下实施例：
基于本发明的实施例1
本实施例用于说明3D平面检测与重建方法，其流程示意图如图1所示，方法包括如下步骤：
将待检测图像输入Swin Transformer骨干网络和特征金字塔网络中，输出具有5个尺度的特征图；
将特征图输入Kernel头网络进行边缘预测，具体为：将特征图线性插值为S×S×C大小，并经过6个卷积层和一个3×3×D卷积层生成Kernel G，其中S为特征图的尺寸，C为特征图的通道数，Kernel G为一个可学习的物体表示，优选实施例中长度为256维，D为卷积层个数；
将特征图输入掩码头网络进行特征统一后生成掩码F和边缘E；
将特征图输入平面参数解码网络获取平面法向量参数；
将Kernel G分别与掩码头网络生成的掩码F和边缘E相乘后得到对应的掩码和边缘；
通过将得到的掩码、边缘以及平面法向量参数结合得到重建图像。
具体实施过程中，如图1所示，首先由骨干(Backbone)网络和用于多尺度特征提取的特征金字塔网络(FPN)提取图像特征，接着由共享参数的Kernel头网络，用于预测边缘的边缘头网络和掩码的掩码头网络，以及用于平面法向量参数估计的卷积网络分支共同组成。优选实施例中，利用最新的Swin Transformer作为骨干网络，它以图像I∈RH×W×3作为输入，其中H、W分别为输入图像长和宽，输出具有5个尺度的特征图，用P2、P3、P4、P5、P6表示。在经过给定主干和FPN之后，输入特征P2-P6将被线性插值为S×S×C大小，S为P2特征图的尺寸，C为特征图的通道数，然后经过6个卷积层和一个3×3×D卷积层生成Kernel G，D为卷积层个数，优选实施例中可为256，Kernel G为一个可学习的物体表示，长度为256维。至于Mask feature F，首先应用可变形卷积网络Deformable Convolutional Networks生成统一的特征表示，然后使用卷积层对其unified。
优选实施例中，在平面参数解码网络中将特征图应用4倍双线性插值和单层卷积层来预测每个像素的平面法向量。
进一步地，当位置远离对应实例的质心时，基于位置的方法会产生大量低质量的预测结果，简单的非极大值抑制NMS不足以选出高质量的预测结果，基于FCOS添加了一个与掩码内核分支平行的单层分支，以预测一个Center-ness分值，和预测的置信度分数相乘后来作为进一步提高预测筛选质量，包括在Kernel头网络中利用一个Centerness分支网络预测一个Centerness分值，将Centerness分值与掩码头网络预测的置信度分数相乘得到置信度取值，置信度取值用于方法训练或选出预测结果。具体地，这个单层分支与掩码内核分支平行，结构上相似，是专门用来预测Center-ness的；预测的置信度由平行的掩码分支预测得到，相乘之后得到一个最终的置信度，用来做训练或预测。Center-ness的定义与FCOS略有不同，其Center-ness不再基于整张图片，而是基于单个掩码的质心和其到掩码四边的距离。
优选实施例中，预测每个像素的平面法向量损失函数包括L1损失、余弦相似度损失和深度损失，具体表达式为:
Figure SMS_4
其中，ni为预测平面法向量值，
Figure SMS_5
为为平面法向量真值，nT为平面法向量的转置，q为一个与相机参数矩阵和场景设定有关联的矩阵，α、β、γ为调节损失函数比率的系，N为点的个数，Qi为属于平面的点的集合。
具体地，对于3D平面重建任务，同时预测出每个平面实例的3D参数(法向量)也是非常重要的。将3D平面参数
Figure SMS_6
表面法线n和平面中心到相机中心的距离d定义/>
Figure SMS_7
为此，在特征金字塔特征P2上应用4倍双线性插值和单层卷积层来预测每个像素的平面法向量。对于位于该平面上的3D点Q，有这样的关系nTQ＝1。平面参数损失由三部分组成：L1损失、余弦相似度损失和深度损失。
优选实施例中，在获得像素的法向量后，将一个平面的所有法向量求平均来计算得到实际平面法向量参数。
优选实施例中，在获得逐像素的法向量后，通过对属于平面分割结果将一个平面的所有法向量求平均来计算平面实例法向量，这与之前基于聚类的方法是不同的，具体地，所述方法获取边缘E的边缘损失为：
Figure SMS_8
其中，Si为预测边缘掩码的真值面积，Save为预测所有掩码的平均真值面积，Gd为掩码真值宽度为d的边缘，Pd为预测掩码宽度为d的边缘。
进一步地，最终损失函数定义为：
L＝Lcls+Ldice+Lboundary+Lcenterness+Lparn
Figure SMS_9
上式中，Lcls为分类损失，Ldice为掩码的Dice loss，Lboundary为边缘损失，Lcenterness为centerness损失(采用和Lcls相似的Focal loss)，Lparm为平面参数损失。
基于本发明的实施例2
以下，参照图2来描述根据本公开实施例1的方法对应的装置，一种3D平面检测与重建装置，装置200包括：特征图获取模块201，用于将待检测图像输入SwinTransformer骨干网络和特征金字塔网络中，输出具有5个尺度的特征图；Kernel G生成模块202，用于将特征图输入Kernel头网络进行边缘预测，具体为：将特征图线性插值为S×S×C大小，并经过6个卷积层和一个3×3×D卷积层生成Kernel G，其中S为特征图的尺寸，C为特征图的通道数，Kernel G为一个可学习的物体表示，D为卷积层个数；掩码模块203，用于将特征图输入掩码头网络进行特征统一后生成掩码F和边缘E；平面法向量获取模块204，用于将特征图输入平面参数解码网络获取平面法向量参数；掩码和边缘获取模块205，用于将Kernel G分别与掩码头网络生成的掩码F和边缘E相乘后得到对应的掩码和边缘；重建图像获取模块206，用于通过将得到的掩码、边缘以及平面法向量参数结合得到重建图像。
进一步的，装置200还包括置信度取值获取模块(图示未显示)，用于在Kernel头网络中利用一个Centerness分支网络预测一个Centerness分值，将Centerness分值与掩码头网络预测的置信度分数相乘得到置信度取值，置信度取值用于方法训练或选出预测结果。
除了上述模块以外，装置200还可以包括其他部件，然而，由于这些部件与本公开实施例的内容无关，因此在这里省略其图示和描述。
一种3D平面检测与重建装置300的具体工作过程参照上述3D平面检测与重建方法实施例1的描述，不再赘述。
基于本发明的实施例3
根据本发明实施例的装置也可以借助于图3所示的计算设备的架构来实现。图3示出了该计算设备的架构。如图3所示，计算机系统301、系统总线303、一个或多个CPU 304、输入/输出302、存储器305等。存储器305可以存储计算机处理和/或通信使用的各种数据或文件以及CPU所执行包括实施例1方法的程序指令。图3所示的架构只是示例性的，在实现不同的设备时，根据实际需要调整图3中的一个或多个组件。
基于本发明的实施例4
本发明实施例也可以被实现为计算机可读存储介质。根据实施例4的计算机可读存储介质上存储有计算机可读指令。当所述计算机可读指令由处理器运行时，可以执行参照以上附图描述的根据本发明实施例1的3D平面检测与重建方法。
本发明实施例针对以上所述3D平面检测与重建方法、装置及存储介质，通过采用基于定位的分割方法，有效解决了之前基于聚类模型容易将非平面区域错误检测为平面区域或周围平面一部分的问题；通过引入Center-ness分支网络，提升后处理过程中的分割掩码筛选质量，有效提高了分割质量；使用边缘分支来监督分割掩码，从而有效提高了掩码分割精度，较好地提升了3D平面重建的效果；预测3D法向量方面的精度相较之前的模型也更高，使得重建后的3D平面更平整和高精度。综上所述，本发明产生的有益效果有：
与现有的基于聚类的模型相比，本发明方法将非平面区域错误预测为平面的概率大大降低，有效提高了平面分割精度。
本发明方法加入了边缘注意约束，模型会典型的预测出更高的掩码分割精度，大大提升了3D平面重建的效果。
本本发明方法采用了Center-ness分支网络来有效抑制那些低质量的预测结果，进一步保证了分割精度和3D平面重建的精度。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的步骤、方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种步骤、方法所固有的要素。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种3D平面检测与重建方法，其特征在于，所述方法包括以下步骤：
将待检测图像输入Swin Transformer骨干网络和特征金字塔网络中，输出具有5个尺度的特征图；
将特征图输入Kernel头网络进行边缘预测，具体为：将特征图线性插值为S×S×C大小，并经过6个卷积层和一个3×3×D卷积层生成Kernel G，其中S为特征图的尺寸，C为特征图的通道数，Kernel G为一个可学习的物体表示，D为卷积层个数；
将特征图输入掩码头网络进行特征统一后生成掩码F和边缘E；
将特征图输入平面参数解码网络获取平面法向量参数；
将Kernel G分别与掩码头网络生成的掩码F和边缘E相乘后得到对应的掩码和边缘；
通过将得到的掩码、边缘以及平面法向量参数结合得到重建图像；
其中，在Kernel头网络中利用一个Centerness分支网络预测一个Centerness分值，将Centerness分值与掩码头网络预测的置信度分数相乘得到置信度取值，置信度取值用于方法训练或选出预测结果。
2.根据权利要求1所述的一种3D平面检测与重建方法，其特征在于，在平面参数解码网络中将特征图应用4倍双线性插值和单层卷积层来预测每个像素的平面法向量。
3.根据权利要求2所述的一种3D平面检测与重建方法，其特征在于，预测每个像素的平面法向量损失函数包括L1损失、余弦相似度损失和深度损失，具体表达式为:
Figure QLYQS_1
其中，ni为预测平面法向量值，
Figure QLYQS_2
为平面法向量真值，nT为平面法向量的转置，q为一个与相机参数矩阵和场景设定有关联的矩阵，α、β、γ为调节损失函数比率的系数，N为点的个数，Qi为属于平面的点的集合。
4.根据权利要求3所述的一种3D平面检测与重建方法，其特征在于，在获得像素的平面法向量后，将一个平面所有像素的平面法向量求平均来计算得到实际平面法向量参数。
5.根据权利要求4所述的一种3D平面检测与重建方法，其特征在于，所述方法获取边缘E的边缘损失为：
Figure QLYQS_3
其中，Si为预测边缘掩码的真值面积，Save为预测所有掩码的平均真值面积，Gd为掩码真值宽度为d的边缘，Pd为预测掩码宽度为d的边缘。
6.一种3D平面检测与重建装置，其特征在于，装置包括：
特征图获取模块，用于将待检测图像输入SwinTransformer骨干网络和特征金字塔网络中，输出具有5个尺度的特征图；
KernelG生成模块，用于将特征图输入Kernel头网络进行边缘预测，具体为：将特征图线性插值为S×S×C大小，并经过6个卷积层和一个3×3×D卷积层生成KernelG，其中S为特征图的尺寸，C为特征图的通道数，KernelG为一个可学习的物体表示，D为卷积层个数；
掩码模块，用于将特征图输入掩码头网络进行特征统一后生成掩码F和边缘E；
平面法向量获取模块，用于将特征图输入平面参数解码网络获取平面法向量参数；
掩码和边缘获取模块，用于将KernelG分别与掩码头网络生成的掩码F和边缘E相乘后得到对应的掩码和边缘；
重建图像获取模块，用于通过将得到的掩码、边缘以及平面法向量参数结合得到重建图像；
置信度取值获取模块，用于在Kernel头网络中利用一个Centerness分支网络预测一个Centerness分值，将Centerness分值与掩码头网络预测的置信度分数相乘得到置信度取值，置信度取值用于方法训练或选出预测结果。
7.一种3D平面检测与重建装置，其特征在于，包括：处理器；以及存储器，其中，所述存储器中存储有计算机可执行程序，当由所述处理器执行所述计算机可执行程序时，执行权利要求1-5中任一项所述的3D平面检测与重建方法。
8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的3D平面检测与重建方法。
CN202211046210.5A 2022-08-30 2022-08-30 一种3d平面检测与重建方法、装置及存储介质 Active CN115619709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211046210.5A CN115619709B (zh) 2022-08-30 2022-08-30 一种3d平面检测与重建方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211046210.5A CN115619709B (zh) 2022-08-30 2022-08-30 一种3d平面检测与重建方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115619709A CN115619709A (zh) 2023-01-17
CN115619709B true CN115619709B (zh) 2023-07-04

Family

ID=84857539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211046210.5A Active CN115619709B (zh) 2022-08-30 2022-08-30 一种3d平面检测与重建方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115619709B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414923A (zh) * 2020-03-05 2020-07-14 南昌航空大学 基于单幅rgb图像的室内场景三维重建方法及系统
CN113837190A (zh) * 2021-08-30 2021-12-24 厦门大学 一种基于Transformer的端到端实例分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113766147B (zh) * 2020-09-22 2022-11-08 北京沃东天骏信息技术有限公司 视频中嵌入图像的方法、平面预测模型获取方法和装置
CN114419020B (zh) * 2022-01-26 2022-10-18 深圳大学 医学图像分割方法、装置、计算机设备及存储介质
CN114943988B (zh) * 2022-06-16 2024-04-02 浙大城市学院 一种基于实例分割和深度卷积神经网络的平面目标监测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414923A (zh) * 2020-03-05 2020-07-14 南昌航空大学 基于单幅rgb图像的室内场景三维重建方法及系统
CN113837190A (zh) * 2021-08-30 2021-12-24 厦门大学 一种基于Transformer的端到端实例分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双金字塔特征融合网络的RGB-D多类实例分割;张旭东 等;控制与决策(第07期);全文 *

Also Published As

Publication number Publication date
CN115619709A (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
KR102292559B1 (ko) 단안 이미지 깊이 추정 방법 및 장치, 기기, 프로그램 및 저장 매체
EP3621034B1 (en) Method and apparatus for calibrating relative parameters of collector, and storage medium
US9454851B2 (en) Efficient approach to estimate disparity map
CN107749987B (zh) 一种基于块运动估计的数字视频稳像方法
US20160239980A1 (en) Depth-Weighted Group-Wise Principal Component Analysis for Video Foreground/Background Separation
CN112435193B (zh) 一种点云数据去噪的方法、装置、存储介质和电子设备
CN112215773B (zh) 基于视觉显著性的局部运动去模糊方法、装置及存储介质
CN112750133A (zh) 计算机视觉训练系统和用于训练计算机视觉系统的方法
CN111340077A (zh) 基于注意力机制的视差图获取方法和装置
CN115409855B (zh) 图像处理方法、装置、电子设备和存储介质
CN112767478A (zh) 一种基于表观指导的六自由度位姿估计方法
Liu et al. Image inpainting algorithm based on tensor decomposition and weighted nuclear norm
Zha et al. Simultaneous nonlocal low-rank and deep priors for poisson denoising
CN115619709B (zh) 一种3d平面检测与重建方法、装置及存储介质
CN113793370A (zh) 三维点云配准方法、装置、电子设备及可读介质
CN116468632A (zh) 一种基于自适应特征保持的网格去噪方法及装置
US9679363B1 (en) System and method for reducing image noise
CN112241977A (zh) 一种特征点的深度估计方法和装置
CN111784733B (zh) 图像处理方法、装置、终端和计算机可读存储介质
CN113989332B (zh) 一种目标跟踪方法、装置、存储介质及电子设备
CN117058380B (zh) 基于自注意力的多尺度轻量化三维点云分割方法及装置
CN117152455A (zh) 一种特征图上采样方法及应用
Wang et al. Unsupervised SAR image segmentation based on a hierarchical TMF model in the discrete wavelet domain for sea area detection
CN117292133A (zh) 一种自然图像的超像素分割方法及装置
CN116797587A (zh) 平面检测方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant