CN114549768A - 一种三维重建效果检测方法、装置、设备及存储介质 - Google Patents

一种三维重建效果检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114549768A
CN114549768A CN202210441655.7A CN202210441655A CN114549768A CN 114549768 A CN114549768 A CN 114549768A CN 202210441655 A CN202210441655 A CN 202210441655A CN 114549768 A CN114549768 A CN 114549768A
Authority
CN
China
Prior art keywords
depth
information
depth map
dimensional reconstruction
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210441655.7A
Other languages
English (en)
Other versions
CN114549768B (zh
Inventor
魏辉
卢丽华
牛胜仁
李茹杨
赵雅倩
李仁刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202210441655.7A priority Critical patent/CN114549768B/zh
Publication of CN114549768A publication Critical patent/CN114549768A/zh
Priority to PCT/CN2022/101959 priority patent/WO2023206780A1/zh
Application granted granted Critical
Publication of CN114549768B publication Critical patent/CN114549768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及数据处理技术领域，公开了一种三维重建效果检测方法、装置、设备及存储介质，包括：利用包含重建目标的第一深度信息的输入数据构建与所述重建目标对应的三维重建模型；其中，所述第一深度信息为在真实环境中对所述重建目标进行信息采集得到；获取所述三维重建模型的第二深度信息；其中，所述第二深度信息为在与所述真实环境对应的模拟环境中对所述三维重建模型进行信息采集得到；确定所述第一深度信息与所述第二深度信息之间的差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。本申请整个检测过程无须依赖真值参考，从而降低检测误差以提高三维重建结果的精确度和完整度。

Description

一种三维重建效果检测方法、装置、设备及存储介质
技术领域
本发明涉及数据处理技术领域，特别涉及一种三维重建效果检测方法、装置、设备及存储介质。
背景技术
三维重建是利用各种传感器采集的数据建立起真实场景数字化模型的技术，涉及到传感、计算机视觉、计算机图形学等多技术的交叉，在机器人、自动驾驶、VR/AR等许多领域有着广泛的应用。三维重建过程需要从二维图像恢复出场景的三维模型，是一个病态问题。其中基于多视图的相机位姿估计、三维模型的逐帧融合都会造成误差的引入和累积。拍摄图像本身隐含场景中各物体之间的互相遮挡，也会造成重建结果的局部缺失和不完整。以上因素造成三维重建结果存在不精确和不完整等问题。
现有技术中的重建效果定量评价方法主要包括对相机位姿的评价和对重建模型的评价这两大类。对相机位姿的评价常用方法有绝对估计误差ATE和相对位姿误差RPE两种，但高质量的相机位姿并不意味着一定能得到高质量的重建模型，因此对重建的相机位姿进行评价并不能直接反映三维重建的最终结果精度。对重建模型进行评价是比较直接的评价方法，一般是把重建模型和模型的真值进行比较，借助一定辅助工具计算二者之间的平均距离误差作为重建精度的一种度量。另外，以上两种方法都需要有真值作为参考，而在实际的三维重建场景下这种方法需要一定的手工操作，无法在线实现，且无论是相机位姿真值还是模型，真值都是不存在的。可见，当前三维重建效果的定量评价方法均无法用于实际三维重建当中。
因此，如何在降低检测误差以提高三维重建结果的精确度和完整度的情况下对三维重建效果进行检测是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种三维重建效果检测方法、装置、设备及存储介质，整个检测过程无须依赖真值参考，从而降低检测误差以提高三维重建结果的精确度和完整度。其具体方案如下：
本申请的第一方面提供了一种三维重建效果检测方法，包括：
利用包含重建目标的第一深度信息的输入数据构建与所述重建目标对应的三维重建模型；其中，所述第一深度信息为在真实环境中对所述重建目标进行信息采集得到；
获取所述三维重建模型的第二深度信息；其中，所述第二深度信息为在与所述真实环境对应的模拟环境中对所述三维重建模型进行信息采集得到；
确定所述第一深度信息与所述第二深度信息之间的差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。
可选的，所述第一深度信息为所述重建目标的第一深度图序列，所述第二深度信息为所述三维重建模型的第二深度图序列；其中，所述第一深度图序列中包含多帧第一深度图，所述第二深度图序列中包含相同帧数且与所述第一深度图对应的第二深度图。
可选的，所述确定所述第一深度信息与所述第二深度信息之间的差异数据，包括：
分别对所述第一深度图序列和所述第二深度图序列中深度图的边缘信息进行逐帧提取，以得到每帧所述第一深度图的第一边缘信息和每帧所述第二深度图的第二边缘信息；
根据所述第一边缘信息确定出每帧所述第一深度图中的第一边缘像素数量并根据所述第二边缘信息确定出每帧所述第二深度图中的第二边缘像素数量；
确定具有对应关系的两帧深度图之间所述第一边缘像素数量和所述第二边缘像素数量的差值，并将全部差值的和确定为第一差异数据。
可选的，所述确定所述第一深度信息与所述第二深度信息之间的差异数据，包括：
分别对所述第一深度图序列和所述第二深度图序列中深度图进行逐帧转换，以得到每帧所述第一深度图的第一矩阵和每帧所述第二深度图的第二矩阵；
确定具有对应关系的两帧深度图之间所述第一矩阵和所述第二矩阵的差值，并将全部差值的和确定为第二差异数据。
可选的，所述的三维重建效果检测方法，还包括：
分别对每帧深度图进行分块处理以将每帧深度图划分为预设数量个子网格，并以一个子网格为单位对每帧深度图进行相应计算。
可选的，所述基于所述差异数据对所述三维重建模型的重建效果进行检测，包括：
根据目标需求为所述第一差异数据和所述第二差异数据分配权重因子，并利用权重因子对所述的第一差异数据和所述第二差异数据进行加权求和得到最终差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。
可选的，所述确定所述第一深度信息与所述第二深度信息之间的差异数据，包括：
确定所述第一深度图序列中每帧所述第一深度图具有的第一数据量，并确定所述第二深度图序列中每帧所述第二深度图具有的第二数据量；
将具有对应关系的两帧深度图之间所述第一数据量和所述第二数据量的比值确定为所述差异数据。
可选的，所述确定所述第一深度图序列中每帧所述第一深度图具有的第一数据量之后，还包括：
确定每帧所述第一深度图中的无效数据量并从所述第一数据量中对所述无效数据量进行剔除，以将具有对应关系的两帧深度图之间剔除后的所述第一数据量和所述第二数据量的比值确定为所述差异数据。
本申请的第二方面提供了一种三维重建效果检测装置，包括：
模型构建模块，用于利用包含重建目标的第一深度信息的输入数据构建与所述重建目标对应的三维重建模型；其中，所述第一深度信息为在真实环境中对所述重建目标进行信息采集得到；
信息获取模块，用于获取所述三维重建模型的第二深度信息；其中，所述第二深度信息为在与所述真实环境对应的模拟环境中对所述三维重建模型进行信息采集得到；
模型检测模块，用于确定所述第一深度信息与所述第二深度信息之间的差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。
本申请的第三方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述三维重建效果检测方法。
本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述三维重建效果检测方法。
本申请中，先利用包含重建目标的第一深度信息的输入数据构建与所述重建目标对应的三维重建模型；其中，所述第一深度信息为在真实环境中对所述重建目标进行信息采集得到；然后获取所述三维重建模型的第二深度信息；其中，所述第二深度信息为在与所述真实环境对应的模拟环境中对所述三维重建模型进行信息采集得到；最后确定所述第一深度信息与所述第二深度信息之间的差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。可见，本申请通过将用于构建三维重建模型的深度信息与重构后采集到的深度信息进行差异比对，以通过两者之间的差异数据对模型重建效果进行检测，检测过程无须依赖真值参考，从而降低检测误差以提高三维重建结果的精确度和完整度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种三维重建效果检测方法流程图；
图2为本申请提供的一种RGB图像示例图；
图3为本申请提供的一种第一深度图示例图；
图4为本申请提供的一种三维重建模型示例图；
图5为本申请提供的一种第二深度图示例图；
图6为本申请提供的一种具体的三维重建效果检测方法示意图；
图7为本申请提供的一种第一深度图的边缘提取结果示例图；
图8为本申请提供的一种第二深度图的边缘提取结果示例图；
图9为本申请提供的一种具体的三维重建效果检测方法流程图；
图10为本申请提供的一种三维重建效果检测装置结构示意图；
图11为本申请提供的一种三维重建效果检测电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，通过对重建的相机位姿进行评价不能直接反映三维重建的最终结果精度，对重建模型进行评价需要借助一定辅助工具，且均需要有真值作为参考，但无论是相机位姿真值还是模型，真值都是不存在的。因此，上述对三维重建效果的定量评价方法均无法用于实际三维重建当中。针对上述技术缺陷，本申请提供一种三维重建效果检测方案，整个检测过程无须依赖真值参考，从而降低检测误差以提高三维重建结果的精确度和完整度。
图1为本申请实施例提供的一种三维重建效果检测方法流程图。参见图1所示，该三维重建效果检测方法包括：
S11：利用包含重建目标的第一深度信息的输入数据构建与所述重建目标对应的三维重建模型；其中，所述第一深度信息为在真实环境中对所述重建目标进行信息采集得到。
本实施例中，先利用包含重建目标的第一深度信息的输入数据构建与所述重建目标对应的三维重建模型。所述第一深度信息为在真实环境中对所述重建目标进行信息采集得到，所述输入数据除了深度信息还可以包括RGB数据，此时，所述三维重建模型为通过RGBD三维重建技术对所述重建目标进行建模得到的三维模型。假如输入的深度信息采用深度图的形式，图2所示为示例场景中采集到的RGB数据，图3为对应的第一深度信息，图4即为基于图2和图3的重构模型。当然，三维重建过程存在不同的实现方法，本实施例可以基于任意可行的三维重建技术实现。
可以理解，所述深度数据一般是基于传感器采集得到的，例如深度相机、激光雷达等。深度相机可以采用Kinect深度相机、Structure Sensor深度相机、Stereolabs Zed深度相机、Intel RealSense深度相机等，本实施例对此不进行限定。所述三维重建模型的数据格式可以表示为点云、符号距离场等。所述真实环境为在现实场景中实际搭建的采集环境，包括所述重建目标、实际的采集设备等。
本实施例中，输入的深度信息采用深度图的形式，也即所述第一深度信息为第一深度图。一般来说，三维重建是增量重建的过程，也即每输入一帧数据就执行一次重建过程，并将该帧的重建结果融入到已经重建出的模型中，本实施例的执行也是基于多帧数据序列的计算过程，根据每一帧的结果综合计算出最后总结果。也即所述第一深度信息为所述重建目标的第一深度图序列，所述第一深度图序列中包含多帧所述第一深度图。特别的，当只有一帧数据时也即只有一帧所述第一深度图时，本实施例计算流程只执行一次即为总结果。
S12：获取所述三维重建模型的第二深度信息；其中，所述第二深度信息为在与所述真实环境对应的模拟环境中对所述三维重建模型进行信息采集得到。
本实施例中，当与所述重建目标对应的所述三维重建模型构建完成后，获取所述三维重建模型的第二深度信息。其中，所述第二深度信息为在与所述真实环境对应的模拟环境中对所述三维重建模型进行信息采集得到。对应上个步骤的所述真实环境，本步骤的所述模拟环境为利用数字化技术对所述真实环境进行数字化模拟，也即在同样的虚拟场景中模拟搭建的采集环境，包括所述三维重建模型、模拟的采集设备等。所述第二深度信息与所述第一深度信息需要在格式和采集设置上保持一致，例如，均为图像或均为点云等。
当输入深度数据为图像格式，相应的，所述第二深度信息为所述三维重建模型的第二深度图序列，所述第二深度图序列中包含相同帧数且与所述第一深度图对应的第二深度图，图5所述为基于图4的所述第二深度图。也即所述第二深度图序列中的所述第二深度图是与所述第一深度图序列中的所述第一深度图帧帧对应的。也即此处所述第二深度图的采集位置和朝向应设置为与对应帧输入所述第一深度图的参数设置一致。深度数据的计算可基于光线投射或其他类似方法实现，本实施例对次不进行限定。
S13：确定所述第一深度信息与所述第二深度信息之间的差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。
本实施例中，在采集到所述第一深度信息和所述第二深度信息之后，确定所述第一深度信息与所述第二深度信息之间的差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。根据检测结果实现三维重建结果的定量评价，解决了实际重建中没有真值参考的问题，实现不依赖重建模型真值的情况下对重建结果质量或效果进行定量评估。具体可以基于相机采集深度和重建结果生成深度之间差异的误差评价对重建结果的精确性和完整性进行评价。
可见，本申请实施例先利用包含重建目标的第一深度信息的输入数据构建与所述重建目标对应的三维重建模型；其中，所述第一深度信息为在真实环境中对所述重建目标进行信息采集得到；然后获取所述三维重建模型的第二深度信息；其中，所述第二深度信息为在与所述真实环境对应的模拟环境中对所述三维重建模型进行信息采集得到；最后确定所述第一深度信息与所述第二深度信息之间的差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。本申请实施例通过将用于构建三维重建模型的深度信息与重构后采集到的深度信息进行差异比对，以通过两者之间的差异数据对模型重建效果进行检测，检测过程无须依赖真值参考，从而降低检测误差以提高三维重建结果的精确度和完整度。
图6为本申请实施例提供的一种具体的三维重建效果检测方法流程图。参见图6所示，该三维重建效果检测方法包括：
S21：利用包含重建目标的第一深度图序列构建与所述重建目标对应的三维重建模型；其中，所述第一深度图序列为在真实环境中对所述重建目标进行信息采集得到，所述第一深度图序列中包含多帧第一深度图。
S22：获取所述三维重建模型的第一深度图序列；其中，所述第一深度图序列为在与所述真实环境对应的模拟环境中对所述三维重建模型进行信息采集得到，所述第二深度图序列中包含相同帧数且与所述第一深度图对应的第二深度图。
本实施例中，关于上述步骤S21和步骤S22的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
S23：分别对所述第一深度图序列和所述第二深度图序列中深度图的边缘信息进行逐帧提取，以得到每帧所述第一深度图的第一边缘信息和每帧所述第二深度图的第二边缘信息。
S24：根据所述第一边缘信息确定出每帧所述第一深度图中的第一边缘像素数量并根据所述第二边缘信息确定出每帧所述第二深度图中的第二边缘像素数量。
S25：确定具有对应关系的两帧深度图之间所述第一边缘像素数量和所述第二边缘像素数量的差值，并将全部差值的和确定为第一差异数据。
本实施例中，可以通过指标构建的方式对所述三维重建模型的重建效果进行检测，该指标为基于深度轮廓的结构因子或基于区域深度差值的深度因子，结构因子和深度因子用于衡量所述三维重建模型的重建精度。所述第一差异数据即为结构因子的值，所述第二差异数据即为深度因子的值。为了便于计算，本实施例采用分块的方式进行，也即分别对每帧深度图进行分块处理以将每帧深度图划分为预设数量个子网格，并以一个子网格为单位对每帧深度图进行相应计算。例如，将每帧深度图划分为
Figure 973969DEST_PATH_IMAGE001
个网格区域，对每个子网格，分别计算结构因子和深度因子，然后由所有网格的结构因子和深度因子统计得到当前帧的结构因子和深度因子。需要注意，为了保证计算精确度，计算过程需要排除无效数据的影响，例如，采集深度数据中没有值的位置不参与指标的计算，以免对检测结果的准确性造成干扰。
对于结构因子，具体先分别对所述第一深度图序列和所述第二深度图序列中深度图的边缘信息进行逐帧提取，以得到每帧所述第一深度图的第一边缘信息和每帧所述第二深度图的第二边缘信息。其中，所述第一深度图和所述第二深度图的边缘提取结果分别如图7和图8所示。然后根据所述第一边缘信息确定出每帧所述第一深度图中的第一边缘像素数量并根据所述第二边缘信息确定出每帧所述第二深度图中的第二边缘像素数量。最后确定具有对应关系的两帧深度图之间所述第一边缘像素数量和所述第二边缘像素数量的差值，并将全部差值的和确定为第一差异数据。
本实施例以
Figure 662439DEST_PATH_IMAGE002
表示结构因子，首先计算当前第
Figure 518400DEST_PATH_IMAGE003
帧深度图的边缘信息，该步骤计算可采用常见的图像边缘算子实现，如Canny算子等。对每一帧来说，需要对所述第一深度图和所述第二深度图同时计算边缘。基于计算出的当前帧边缘信息，针对每一个子网格
Figure 481677DEST_PATH_IMAGE004
，统计该网格内属于边缘的数据个数，对于图像格式数据来说，即统计每个子网格中边缘像素的个数
Figure 106693DEST_PATH_IMAGE005
。所述第一深度图对应的每个子网格中边缘像素的个数记为
Figure 372589DEST_PATH_IMAGE006
，所述第二深度图对应的每个子网格中边缘像素的个数记为
Figure 574901DEST_PATH_IMAGE007
，则
Figure 217235DEST_PATH_IMAGE008
的可按照如下公式进行计算：
Figure 585506DEST_PATH_IMAGE009
S26：分别对所述第一深度图序列和所述第二深度图序列中深度图进行逐帧转换，以得到每帧所述第一深度图的第一矩阵和每帧所述第二深度图的第二矩阵。
S27：确定具有对应关系的两帧深度图之间所述第一矩阵和所述第二矩阵的差值，并将全部差值的和确定为第二差异数据。
本实施例中，对于深度因子，具体先分别对所述第一深度图序列和所述第二深度图序列中深度图进行逐帧转换，以得到每帧所述第一深度图的第一矩阵和每帧所述第二深度图的第二矩阵。然后确定具有对应关系的两帧深度图之间所述第一矩阵和所述第二矩阵的差值，并将全部差值的和确定为第二差异数据。以
Figure 22303DEST_PATH_IMAGE010
表示深度因子，假设每个子网格的数据个数为
Figure 711911DEST_PATH_IMAGE011
，对图像格式数据来说即为该子网格的像素分辨率。以所述第一深度图为例，首先按照如下公式计算当前子网格的伴生矩阵
Figure 892356DEST_PATH_IMAGE012
：
Figure 351019DEST_PATH_IMAGE013
其中，
Figure 21035DEST_PATH_IMAGE014
，
Figure 433824DEST_PATH_IMAGE015
，
Figure 808174DEST_PATH_IMAGE016
为第一深度图中当前子网格对应的二维矩阵。所述第二深度图对应的半生矩阵
Figure 262289DEST_PATH_IMAGE017
也采用该公式计算。
当前帧
Figure 165523DEST_PATH_IMAGE003
的深度因子
Figure 705088DEST_PATH_IMAGE018
按照如下公式计算得到：
Figure 850506DEST_PATH_IMAGE019
其中，
Figure 424706DEST_PATH_IMAGE020
是归一化因子。
S28：根据目标需求为所述第一差异数据和所述第二差异数据分配权重因子，并利用权重因子对所述的第一差异数据和所述第二差异数据进行加权求和得到最终差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。
本实施例中，在得到所述三维重建模型的结构因子和深度因子后，进一步根据目标需求为所述第一差异数据和所述第二差异数据分配权重因子，并利用权重因子对所述的第一差异数据和所述第二差异数据进行加权求和得到最终差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。所述最终差异数据用于衡量所述三维重建模型的重建精度，可以将所述最终差异数据视为重建精度指标。不难理解，重建精度指标值也即最终差异数据越大，说明三维重建结果精度越差，反之说明精度越好，也即三维重建效果越好。
具体的，以
Figure 498842DEST_PATH_IMAGE021
表示重建精度指标，
Figure 260124DEST_PATH_IMAGE021
由结构因子
Figure 851643DEST_PATH_IMAGE022
和深度因子
Figure 139404DEST_PATH_IMAGE023
两部分组成，对于逐帧序列化数据的重建过程，每一帧均计算一个结构因子
Figure 525386DEST_PATH_IMAGE022
和深度因子
Figure 164178DEST_PATH_IMAGE023
，
Figure 28229DEST_PATH_IMAGE024
则可按照如下公式进行计算：
Figure 311443DEST_PATH_IMAGE025
其中，
Figure 494425DEST_PATH_IMAGE026
和
Figure 495879DEST_PATH_IMAGE027
表示权重因子，用于控制结构因子和深度因子在检测中所占的权重，
Figure 288254DEST_PATH_IMAGE028
表示总的帧数，也用作归一化因子对所有帧的累加结果进行归一化。
图9为本申请实施例提供的一种具体的三维重建效果检测方法流程图。参见图9所示，该三维重建效果检测方法包括：
S31：利用包含重建目标的第一深度图序列构建与所述重建目标对应的三维重建模型；其中，所述第一深度图序列为在真实环境中对所述重建目标进行信息采集得到，所述第一深度图序列中包含多帧第一深度图。
S32：获取所述三维重建模型的第一深度图序列；其中，所述第一深度图序列为在与所述真实环境对应的模拟环境中对所述三维重建模型进行信息采集得到，所述第二深度图序列中包含相同帧数且与所述第一深度图对应的第二深度图。
本实施例中，关于上述步骤S31和步骤S32的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
S33：确定所述第一深度图序列中每帧所述第一深度图具有的第一数据量，并确定所述第二深度图序列中每帧所述第二深度图具有的第二数据量。
S34：将具有对应关系的两帧深度图之间所述第一数据量和所述第二数据量的比值确定为所述差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。
本实施例中，除了重建精度指标，还可构建重建完整性指标，该指标也用于对所述三维重建模型的重建效果进行检测。相比于上述实施例中精度衡量指标，本实施例主要对重建完整性进行检测，精度指标和完整性指标相辅相成以实现三维重建效果的多维度检测。
具体的，首先确定所述第一深度图序列中每帧所述第一深度图具有的第一数据量，并确定所述第二深度图序列中每帧所述第二深度图具有的第二数据量。然后将具有对应关系的两帧深度图之间所述第一数据量和所述第二数据量的比值确定为所述差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。需要注意的是，在确定所述第一深度图序列中每帧所述第一深度图具有的第一数据量之后，还需确定每帧所述第一深度图中的无效数据量并从所述第一数据量中对所述无效数据量进行剔除，以将具有对应关系的两帧深度图之间剔除后的所述第一数据量和所述第二数据量的比值确定为所述差异数据。
以
Figure 425975DEST_PATH_IMAGE029
表示重建完整性指标，
Figure 153759DEST_PATH_IMAGE030
表示第
Figure 501564DEST_PATH_IMAGE003
帧所述第二深度图中缺失区域所占的比例，对于图像格式的深度数据，即为缺失深度的像素数占总像素数的比例大小，公式表示如下：
Figure 972996DEST_PATH_IMAGE031
其中，
Figure 230802DEST_PATH_IMAGE032
是所述第二深度图像中缺失深度的像素数，
Figure 254122DEST_PATH_IMAGE033
表示对应的第
Figure 964589DEST_PATH_IMAGE003
帧所述第一深度图中总的具有深度的像素数，
Figure 620740DEST_PATH_IMAGE034
是所述第一深度图中的无效像素数。在计算完整性指标时排除采集深度数据中的无效数据，同样是为了避免对检测结果的准确性造成干扰。
上述基于深度图一致性的检测过程，通过所述第一深度图和所述第二深度图之间有效数值位置的一致性，实现对所述三维重建模型的完整性检测。同样的，本实施例中的重建完整性指标值也即最终差异数据越大，说明三维重建结果完整性越差，反之说明三维重建结果完整性越好，也即三维重建效果越好。
参见图10所示，本申请实施例还相应公开了一种三维重建效果检测装置，包括：
模型构建模块11，用于利用包含重建目标的第一深度信息的输入数据构建与所述重建目标对应的三维重建模型；其中，所述第一深度信息为在真实环境中对所述重建目标进行信息采集得到；
信息获取模块12，用于获取所述三维重建模型的第二深度信息；其中，所述第二深度信息为在与所述真实环境对应的模拟环境中对所述三维重建模型进行信息采集得到；
模型检测模块13，用于确定所述第一深度信息与所述第二深度信息之间的差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。
可见，本申请实施例先利用包含重建目标的第一深度信息的输入数据构建与所述重建目标对应的三维重建模型；其中，所述第一深度信息为在真实环境中对所述重建目标进行信息采集得到；然后获取所述三维重建模型的第二深度信息；其中，所述第二深度信息为在与所述真实环境对应的模拟环境中对所述三维重建模型进行信息采集得到；最后确定所述第一深度信息与所述第二深度信息之间的差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。本申请实施例通过将用于构建三维重建模型的深度信息与重构后采集到的深度信息进行差异比对，以通过两者之间的差异数据对模型重建效果进行检测，检测过程无须依赖真值参考，从而降低检测误差以提高三维重建结果的精确度和完整度。
在一些具体实施例中，所述模型检测模块13包括第一检测子模块、第二检测子模块、第三检测子模块；
在一些具体实施例中，所述第一检测子模块具体包括：
边缘信息提取单元，用于分别对所述第一深度图序列和所述第二深度图序列中深度图的边缘信息进行逐帧提取，以得到每帧所述第一深度图的第一边缘信息和每帧所述第二深度图的第二边缘信息；
像素数量确定单元，用于根据所述第一边缘信息确定出每帧所述第一深度图中的第一边缘像素数量并根据所述第二边缘信息确定出每帧所述第二深度图中的第二边缘像素数量；
第一差值确定单元，用于确定具有对应关系的两帧深度图之间所述第一边缘像素数量和所述第二边缘像素数量的差值，并将全部差值的和确定为第一差异数据；
在一些具体实施例中，所述第二检测子模块具体包括：
转换单元，用于分别对所述第一深度图序列和所述第二深度图序列中深度图进行逐帧转换，以得到每帧所述第一深度图的第一矩阵和每帧所述第二深度图的第二矩阵；
第二差值确定单元，用于确定具有对应关系的两帧深度图之间所述第一矩阵和所述第二矩阵的差值，并将全部差值的和确定为第二差异数据；
在一些具体实施例中，所述第三检测子模块具体包括：
数据量确定单元，用于确定所述第一深度图序列中每帧所述第一深度图具有的第一数据量，并确定所述第二深度图序列中每帧所述第二深度图具有的第二数据量；
第三差值确定单元，用于将具有对应关系的两帧深度图之间所述第一数据量和所述第二数据量的比值确定为所述差异数据。
在一些具体实施例中，所述模型检测模块13，还用于根据目标需求为所述第一差异数据和所述第二差异数据分配权重因子，并利用权重因子对所述的第一差异数据和所述第二差异数据进行加权求和得到最终差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。
在一些具体实施例中，所述三维重建效果检测装置还包括：
分块处理模块，用于分别对每帧深度图进行分块处理以将每帧深度图划分为预设数量个子网格，并以一个子网格为单位对每帧深度图进行相应计算；
剔除模块，用于确定每帧所述第一深度图中的无效数据量并从所述第一数据量中对所述无效数据量进行剔除，以将具有对应关系的两帧深度图之间剔除后的所述第一数据量和所述第二数据量的比值确定为所述差异数据。
进一步的，本申请实施例还提供了一种电子设备。图11是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图11为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的三维重建效果检测方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的三维重建效果检测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的深度信息。
进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的三维重建效果检测方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的三维重建效果检测方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种三维重建效果检测方法，其特征在于，包括：
利用包含重建目标的第一深度信息的输入数据构建与所述重建目标对应的三维重建模型；其中，所述第一深度信息为在真实环境中对所述重建目标进行信息采集得到；
获取所述三维重建模型的第二深度信息；其中，所述第二深度信息为在与所述真实环境对应的模拟环境中对所述三维重建模型进行信息采集得到；
确定所述第一深度信息与所述第二深度信息之间的差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。
2.根据权利要求1所述的三维重建效果检测方法，其特征在于，所述第一深度信息为所述重建目标的第一深度图序列，所述第二深度信息为所述三维重建模型的第二深度图序列；其中，所述第一深度图序列中包含多帧第一深度图，所述第二深度图序列中包含相同帧数且与所述第一深度图对应的第二深度图。
3.根据权利要求2所述的三维重建效果检测方法，其特征在于，所述确定所述第一深度信息与所述第二深度信息之间的差异数据，包括：
分别对所述第一深度图序列和所述第二深度图序列中深度图的边缘信息进行逐帧提取，以得到每帧所述第一深度图的第一边缘信息和每帧所述第二深度图的第二边缘信息；
根据所述第一边缘信息确定出每帧所述第一深度图中的第一边缘像素数量并根据所述第二边缘信息确定出每帧所述第二深度图中的第二边缘像素数量；
确定具有对应关系的两帧深度图之间所述第一边缘像素数量和所述第二边缘像素数量的差值，并将全部差值的和确定为第一差异数据。
4.根据权利要求3所述的三维重建效果检测方法，其特征在于，所述确定所述第一深度信息与所述第二深度信息之间的差异数据，包括：
分别对所述第一深度图序列和所述第二深度图序列中深度图进行逐帧转换，以得到每帧所述第一深度图的第一矩阵和每帧所述第二深度图的第二矩阵；
确定具有对应关系的两帧深度图之间所述第一矩阵和所述第二矩阵的差值，并将全部差值的和确定为第二差异数据。
5.根据权利要求3或4所述的三维重建效果检测方法，其特征在于，还包括：
分别对每帧深度图进行分块处理以将每帧深度图划分为预设数量个子网格，并以一个子网格为单位对每帧深度图进行相应计算。
6.根据权利要求4所述的三维重建效果检测方法，其特征在于，所述基于所述差异数据对所述三维重建模型的重建效果进行检测，包括：
根据目标需求为所述第一差异数据和所述第二差异数据分配权重因子，并利用权重因子对所述的第一差异数据和所述第二差异数据进行加权求和得到最终差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。
7.根据权利要求2所述的三维重建效果检测方法，其特征在于，所述确定所述第一深度信息与所述第二深度信息之间的差异数据，包括：
确定所述第一深度图序列中每帧所述第一深度图具有的第一数据量，并确定所述第二深度图序列中每帧所述第二深度图具有的第二数据量；
将具有对应关系的两帧深度图之间所述第一数据量和所述第二数据量的比值确定为所述差异数据。
8.根据权利要求7所述的三维重建效果检测方法，其特征在于，所述确定所述第一深度图序列中每帧所述第一深度图具有的第一数据量之后，还包括：
确定每帧所述第一深度图中的无效数据量并从所述第一数据量中对所述无效数据量进行剔除，以将具有对应关系的两帧深度图之间剔除后的所述第一数据量和所述第二数据量的比值确定为所述差异数据。
9.一种三维重建效果检测装置，其特征在于，包括：
模型构建模块，用于利用包含重建目标的第一深度信息的输入数据构建与所述重建目标对应的三维重建模型；其中，所述第一深度信息为在真实环境中对所述重建目标进行信息采集得到；
信息获取模块，用于获取所述三维重建模型的第二深度信息；其中，所述第二深度信息为在与所述真实环境对应的模拟环境中对所述三维重建模型进行信息采集得到；
模型检测模块，用于确定所述第一深度信息与所述第二深度信息之间的差异数据，以基于所述差异数据对所述三维重建模型的重建效果进行检测。
10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至8任一项所述的三维重建效果检测方法。
11.一种计算机可读存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至8任一项所述的三维重建效果检测方法。
CN202210441655.7A 2022-04-26 2022-04-26 一种三维重建效果检测方法、装置、设备及存储介质 Active CN114549768B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210441655.7A CN114549768B (zh) 2022-04-26 2022-04-26 一种三维重建效果检测方法、装置、设备及存储介质
PCT/CN2022/101959 WO2023206780A1 (zh) 2022-04-26 2022-06-28 一种三维重建效果检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210441655.7A CN114549768B (zh) 2022-04-26 2022-04-26 一种三维重建效果检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114549768A true CN114549768A (zh) 2022-05-27
CN114549768B CN114549768B (zh) 2022-07-22

Family

ID=81666971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210441655.7A Active CN114549768B (zh) 2022-04-26 2022-04-26 一种三维重建效果检测方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN114549768B (zh)
WO (1) WO2023206780A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023206780A1 (zh) * 2022-04-26 2023-11-02 苏州元脑智能科技有限公司 一种三维重建效果检测方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840939A (zh) * 2019-01-08 2019-06-04 北京达佳互联信息技术有限公司 三维重建方法、装置、电子设备及存储介质
CN109993825A (zh) * 2019-03-11 2019-07-09 北京工业大学 一种基于深度学习的三维重建方法
CN113421292A (zh) * 2021-06-25 2021-09-21 北京华捷艾米科技有限公司 一种三维建模细节增强方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10362296B2 (en) * 2017-08-17 2019-07-23 Microsoft Technology Licensing, Llc Localized depth map generation
CN114022639A (zh) * 2021-10-27 2022-02-08 浪潮电子信息产业股份有限公司 三维重建模型的生成方法、系统、电子设备及存储介质
CN114549768B (zh) * 2022-04-26 2022-07-22 苏州浪潮智能科技有限公司 一种三维重建效果检测方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840939A (zh) * 2019-01-08 2019-06-04 北京达佳互联信息技术有限公司 三维重建方法、装置、电子设备及存储介质
CN109993825A (zh) * 2019-03-11 2019-07-09 北京工业大学 一种基于深度学习的三维重建方法
CN113421292A (zh) * 2021-06-25 2021-09-21 北京华捷艾米科技有限公司 一种三维建模细节增强方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023206780A1 (zh) * 2022-04-26 2023-11-02 苏州元脑智能科技有限公司 一种三维重建效果检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2023206780A1 (zh) 2023-11-02
CN114549768B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
US11954813B2 (en) Three-dimensional scene constructing method, apparatus and system, and storage medium
EP3842736A1 (en) Volume measurement method, system and device, and computer-readable storage medium
CN109211277B (zh) 视觉惯性里程计的状态确定方法、装置和电子设备
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
KR20170068462A (ko) 에지를 이용한 3차원 모델 생성
CN111160210A (zh) 一种基于视频的水流速检测方法及系统
CN110544294B (zh) 一种基于全景视频的稠密三维重构方法
EP3859676A1 (en) Method in constructing a model of a scenery and device therefor
CN112330709A (zh) 一种前景图像提取方法、装置、可读存储介质及终端设备
CN114549768B (zh) 一种三维重建效果检测方法、装置、设备及存储介质
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN116563384A (zh) 一种图像采集装置标定方法、设备及计算机设备
CN113066104B (zh) 角点检测方法和角点检测装置
Camplani et al. Accurate depth-color scene modeling for 3D contents generation with low cost depth cameras
CN112687000B (zh) 三维模型坐标的纠正方法、系统、计算机可读存储介质
CN117763700A (zh) 一种城市区域高斯投影遥感影像加载方法及系统
CN116051980B (zh) 基于倾斜摄影的建筑识别方法、系统、电子设备及介质
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
CN112146647B (zh) 一种地面纹理的双目视觉定位方法及芯片
CN115713548A (zh) 一种多期实景三维模型自动配准方法
CN109284707A (zh) 动目标检测方法及装置
CN113538558B (zh) 基于ir图的体积测量优化方法、系统、设备及存储介质
CN113421292A (zh) 一种三维建模细节增强方法及装置
CN109087338B (zh) 一种图像稀疏光流的提取方法和装置
CN114019532A (zh) 工程进度核查方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant