CN115880415A - 三维重建方法、装置、电子设备及存储介质 - Google Patents

三维重建方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115880415A
CN115880415A CN202111143351.4A CN202111143351A CN115880415A CN 115880415 A CN115880415 A CN 115880415A CN 202111143351 A CN202111143351 A CN 202111143351A CN 115880415 A CN115880415 A CN 115880415A
Authority
CN
China
Prior art keywords
mark
image
coordinate system
dimensional reconstruction
code element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111143351.4A
Other languages
English (en)
Inventor
魏一雄
张红旗
吴钱昊
郭磊
周红桥
谢伶俐
李广
刘文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 38 Research Institute
Original Assignee
CETC 38 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 38 Research Institute filed Critical CETC 38 Research Institute
Priority to CN202111143351.4A priority Critical patent/CN115880415A/zh
Priority to US17/513,834 priority patent/US12020398B2/en
Publication of CN115880415A publication Critical patent/CN115880415A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种三维重建方法、装置、电子设备及存储介质，属于图像采集技术领域，其中，三维重建方法包括：利用不同视角的多个相机对码元进行图像采集，得到码元图像，相机标定的参照物为码元，码元包括多个标记，每个标记均有对应的标识号；识别码元图像中标记的标识号，并利用标识号搜索标记对应的世界坐标；根据相机坐标系的标记坐标和世界坐标的标记坐标，计算相机的外参矩阵，并将点云统一到世界坐标系下，得到不同视角的多个点云；将多个点云进行拼接，得到三维重建图像。该方法收敛更快、精度更高，并且该方流程简单、易于操作实现。

Description

三维重建方法、装置、电子设备及存储介质
技术领域
本申请属于图像采集技术领域，具体涉及一种三维重建方法、装置、电子设备及存储介质。
背景技术
近年来，三维重建是计算机视觉与计算机图形学领域的热门方向，该技术被广泛应用于逆向工程、CT成像、文物展示、混合现实等。微软于2019年正式发布了新一代Azure-Kinect深度传感器，该设备基于飞行时间法(TOF，Time Of Flight)测算距离，较之前两代Kinect深度传感器，其精度、视场范围、分辨率有了进一步提升，便携、低成本的硬件，吸引了越来越多的学者投入到三维重建技术研究中。
目前，相机的外参标定大多基于标定物完成，该类方法理论成熟，操作简单且精度较高，然而，图像采集流程繁琐、标定物制作复杂、重叠视场限制等因素，极大地限制了该类方法的应用场景。
发明内容
本申请的目的是提供一种三维重建方法、装置、电子设备及存储介质以解决现有三维重建流程繁琐复杂的问题。
根据本申请实施例的第一方面，提供了一种三维重建方法，该方法可以包括：
利用不同视角的多个相机对码元进行图像采集，得到码元图像，相机标定的参照物为码元，码元包括多个标记，每个标记均有对应的标识号；
识别码元图像中标记的标识号，并利用标识号搜索标记对应的世界坐标；
根据相机坐标系的标记坐标和世界坐标的标记坐标，计算相机的外参矩阵，并将点云统一到世界坐标系下，得到不同视角的多个点云；
将多个点云进行拼接，得到三维重建图像。
在本申请的一些可选实施例中，识别码元图像中标记的标识号，包括：
对码元图像依次进行灰度化处理及二值化处理，得到码元二值图像；
对码元二值图像进行ROI区域提取及角点检测，得到标记；
根据标记的编码区内的黑白像素值识别标记的标识号。
在本申请的一些可选实施例中，对码元二值图像进行ROI区域提取及角点检测，得到标记，包括：
对码元二值图像进行轮廓查询，得到多条轮廓，每条轮廓均由一组连续点构成；
遍历每条轮廓并计算包围面积；
当包围面积在预设范围以外时，判断为非标记，并调用多边形拟合函数检测各条轮廓的角点数量，若轮廓检测到的角点数为5，且轮廓拟合的多边形为非凸，则轮廓所拟合的多边形判定为标记。
在本申请的一些可选实施例中，根据标记的编码区内的黑白像素值识别标记的标识号，包括：
计算标记的编码区内的像素总值；
利用像素总值解码得到标识号。
在本申请的一些可选实施例中，根据相机坐标系的标记坐标和世界坐标的标记坐标，计算相机的外参矩阵，并将点云统一到世界坐标系下，得到不同视角的多个点云，包括：
在每个视角k下，定义平移向量
Figure BDA0003284822680000021
Figure BDA0003284822680000022
定义旋转矩阵/>
Figure BDA0003284822680000023
Figure BDA0003284822680000024
相机坐标系和世界坐标的转换如下式所示：
Figure BDA0003284822680000025
式中，
Figure BDA0003284822680000031
分别为相机坐标系下标记点云模型和世界坐标系下标记点云模型；下标C表示相机坐标系，下标M表示世界坐标系；
平移向量
Figure BDA0003284822680000032
为根据三维角点/>
Figure BDA0003284822680000033
计算出的世界坐标的中心坐标值；
利用正交普鲁克分析求取旋转矩阵
Figure BDA0003284822680000034
检测标记，通过标识号获得相应的预先输入的位置先验，将点云统一到世界坐标系下，如下式：
Figure BDA0003284822680000035
其中，
Figure BDA0003284822680000036
为世界坐标系下点云模型，下标W表示相机坐标系；/>
Figure BDA0003284822680000037
分别为旋转参数和平移参数。
在本申请的一些可选实施例中，将多个点云进行拼接，得到三维重建图像，包括：
基于Colored-ICP算法，对不同视角下的点云进行拼接；Colored-ICP的表达式为：
ε(T)＝(1-δ)εC(T)+δεG(T)；
式中，T∈SE(3)，SE(3)为被估计的转换矩阵，εC为颜色项，εG为几何项，δ∈[0,1]为权重变量，对应点对(p,q)∈M的选取与ICP算法相同，是最小化点欧氏距离；对应点集M，分别构建目标函数几何项、颜色项，如下式所示：
εG(T)＝Σ(p,q)∈M((Tq-p)Tnp)2；
εC(T)＝Σ(p,q)∈M(Cp(f(Tq))-C(q))2；
式中，np为对应点p的法向量；εG等价为源点到目标点切平面距离；f()为将3D点反投影至目标点云切平面的函数；Cp()为参数化一个虚拟图像的函数，C()为对应坐标的颜色值。
在本申请的一些可选实施例中，在将多个点云进行拼接，得到三维重建图像之后，三维重建方法还包括：
利用高斯-牛顿法对三维重建图像进行迭代优化。
根据本申请实施例的第二方面，提供一种三维重建装置，该装置可以包括：
码元图像采集模块，用于利用不同视角的多个相机对码元进行图像采集，得到码元图像，相机标定的参照物为码元，码元包括多个标记，每个标记均有对应的标识号；
识别模块，用于识别码元图像中标记的标识号，并利用标识号搜索标记对应的世界坐标；
点云计算模块，用于根据相机坐标系的标记坐标和世界坐标的标记坐标，计算相机的外参矩阵，并将点云统一到世界坐标系下，得到不同视角的多个点云；
拼接模块，用于将多个点云进行拼接，得到三维重建图像。
根据本申请实施例的第三方面，提供一种电子设备，该电子设备可以包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现如第一方面的任一项实施例中所示的三维重建方法。
根据本申请实施例的第四方面，提供一种存储介质，当存储介质中的指令由信息处理装置或者服务器的处理器执行时，以使信息处理装置或者服务器实现以实现如第一方面的任一项实施例中所示的三维重建方法。
本申请的上述技术方案具有如下有益的技术效果：
本申请实施例方法通过利用不同视角的多个相机对码元进行图像采集，得到码元图像，相机标定的参照物为码元，码元包括多个标记，每个标记均有对应的标识号；识别码元图像中标记的标识号，并利用标识号搜索标记对应的世界坐标；根据相机坐标系的标记坐标和世界坐标的标记坐标，计算相机的外参矩阵，并将点云统一到世界坐标系下，得到不同视角的多个点云；将多个点云进行拼接，得到三维重建图像。该方法收敛更快、精度更高，并且该方流程简单、易于操作实现。
附图说明
图1是本申请一示例性实施例中三维重建方法流程图；
图2是本申请一具体示例性实施例中三维重建方法的流程图；
图3是本申请一示例性实施例中三维重建实验环境；
图4是本申请一示例性实施例中棋盘格标定示意图；
图5是本申请一示例性实施例中点云粗拼接效果示意图；
图6是本申请算法与两种传统算法之间的点云局部优化结果对比示意图；
图7是本申请一示例性实施例中Colored-ICP算法与两种传统的ICP算法之间的收敛速度对比示意图；
图8是本申请一示例性实施例中不同动作下HoloLens2显示效果；
图9是本申请一示例性实施例中三维重建装置结构示意图；
图10是本申请一示例性实施例中电子设备结构示意图；
图11是本申请一示例性实施例中电子设备的硬件结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本申请进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。
在附图中示出了根据本申请实施例的层结构示意图。这些图并非是按比例绘制的，其中为了清楚的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
点云是目标表面离散三维坐标点的集合，受相机视场的范围限制和遮挡影响，单台相机扫描仅能得到物体局部表面特征，为了得到完整的物体表面模型，需要呈360度摆放多台相机，并结合相机外参将不同视角下的点云数据统一至同一世界坐标系，相机外参的获取涉及到相机的外参标定，因此相机的外参标定是三维重建中重要的流程，发明人发现经典的迭代最近点(ICP)算法及其各类变体存在无法处理低重叠度的点云数据、过多依赖于法向量、曲率等特征、速度较慢等问题。为此，本申请提供一种维重建方法以提高重建速度。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的三维重建方法进行详细地说明。
如图1所示，在本申请实施例的第一方面，提供了一种三维重建方法，该方法可以包括：
步骤S110：利用不同视角的多个相机对码元进行图像采集，得到码元图像，相机标定的参照物为码元，码元包括多个标记，每个标记均有对应的标识号；
步骤S120：识别码元图像中标记的标识号，并利用标识号搜索标记对应的世界坐标；
步骤S130：根据相机坐标系的标记坐标和世界坐标的标记坐标，计算相机的外参矩阵，并将点云统一到世界坐标系下，得到不同视角的多个点云；
步骤S140：将多个点云进行拼接，得到三维重建图像。
上述实施例方法通过输入的标记ID(标识号)与对应的世界坐标系下的旋转角度和平移距离作为先验；并提取进行标记检测与ID识别；根据识别的ID检索对应的转换参数，结合分析逆运算出对应的外参矩阵，通过拼接实现了三维重建，该方法收敛更快、精度更高，并且该方流程简单、易于操作实现。
为了更加清楚的介绍，下面对于上述步骤分别进行说明：
首先是步骤S110：利用不同视角的多个相机对码元进行图像采集，得到码元图像，相机标定的参照物为码元，码元包括多个标记，每个标记均有对应的标识号。
本步骤是预先设置码元为外参标定的参照物，码元中包含有多个标记，每个标记均为黑色五边形标记，即每个标记均具有五个角点，标记内部为编码区，包括九个大小相同的正方形区域，九个正方形区域对应九位二进制数，每个正方形区域对应一位二进制数，该二进制数与正方形区域的颜色相对应，黑色代表1，白色代表0；其中，前四位对应为标记ID，接着四位以相反的颜色代表该标记ID，最后一位为奇偶校验位。
示例性的，若某标记ID的前四位为0101，则该标记ID的后四位应该为1010，若该标记ID的后四位不是1010，则表示该标记ID误检，最后一位为奇偶校验位统一采用1或0表示该标记ID误检。这种编码方式可以降低标记检测的假阳性率。
然后利用相机对码元进行图像采集，获取码元图像，此时码元图像为彩色图像，可以对码元彩色图像进行预处理，预处理可以包括：先对码元彩色图像进行灰度化处理，得到码元灰度图像；再利用阈值分割函数对码元灰度图像进行二值化处理，得到码元二值图像。在预处理后得到的码元二值图像，大大减少了背景噪声，便于后续的标记检测。
接下来是步骤S120：识别码元图像中标记的标识号，并利用标识号搜索标记对应的世界坐标。
本步骤对码元二值图像进行轮廓查询，查询到每条轮廓由一组连续点构成，示例性的，可以将轮廓存储在Contours[]向量列表中。接着遍历每条轮廓并计算包围面积，面积太小或太大均判断为非标记，随后调用多边形拟合函数检测各条轮廓的角点，若某条轮廓所检测到的角点数为5，且该条轮廓所拟合的多边形为非凸，则该条轮廓所拟合的多边形判定为标记，并将该条轮廓所检测到的5个角点坐标保存为角点向量
Figure BDA0003284822680000081
其中，k表示该相机所对应的视角，j表征第j个角点坐标，j＝1，2，3，4，5。
经标记检测后得到各个标记中依旧存在少数的“伪标记”，此时，根据检测标记ID进行进一步的验证，对所检测到的标记进行标记ID识别，标记ID识别依赖于该标记的编码区内的黑白像素值，由于遍历整个编码区的每个像素点的像素值较为耗时，因此，计算标记的编码区内的九个正方形区域的像素总值，利用标记的编码区内的九个正方形区域的像素总值即可解码标记所对应的九位二进制数，从而得到标记ID；
其中，利用积分图计算正方形区域的像素总值，具体如下所示：正方形区域的四个顶点的坐标分别为(x1，y1)、(x2，y1)、(x1，y2)、(x2，y2)，该四个顶点的像素值分别为I(x1，y1)、I(x2，y1)、I(x1，y2)、I(x2，y2)，则该正方形区域的像素总值即为I(x1，y1)+I(x2，y2)-I(x2，y1)-I(x1，y2)。
实际使用中，标记无法满足始终正对设备镜头，标记的编码区在像素平面存在扭曲，从而导致标记ID识别错误，因此，将预先定义的标记的标准角点坐标存储为标准角点向量
Figure BDA0003284822680000082
其中，k表示该相机所对应的视角，j表征第j个角点坐标，j＝1，2，3，4，5。
通过单应变换计算检测到的角点向量
Figure BDA0003284822680000083
与对应的标准角点向量/>
Figure BDA0003284822680000084
之间转换矩阵H，H∈R3x3，再利用转换矩阵H进行透视变换，从而将原图像即相机所采集的码元图像校正到标准角点坐标的平面上。
根据相机所捕获的彩色图像与深度图像，结合相机将检测到的角点向量
Figure BDA0003284822680000091
反投影至三维空间，得到三维角点向量/>
Figure BDA0003284822680000092
接下来是步骤S130：根据相机坐标系的标记坐标和世界坐标的标记坐标，计算相机的外参矩阵，并将点云统一到世界坐标系下，得到不同视角的多个点云
本步骤为了去除离群点并降低噪声，采用连续的n帧图像计算均值坐标，本实施例中，n＝20，在该相机所对应的视角k下，定义平移向量
Figure BDA0003284822680000093
Figure BDA0003284822680000094
以及定义旋转矩阵
Figure BDA0003284822680000095
Figure BDA0003284822680000096
相机坐标系到标记坐标系的转换如下式所示：
Figure BDA0003284822680000097
式中，
Figure BDA0003284822680000098
分别为相机坐标系下标记点云模型和标记坐标系下标记点云模型；下标C表示相机坐标系，下标M表示标记坐标系，k表示该相机所对应的视角；
平移向量
Figure BDA0003284822680000099
可简化为根据三维角点/>
Figure BDA00032848226800000910
计算出的标记中心坐标值；
旋转矩阵
Figure BDA00032848226800000911
的求取利用正交普鲁克分析，为了消除平移分量的影响，对检测到的三维角点/>
Figure BDA00032848226800000912
与预定义的标准角点向量/>
Figure BDA00032848226800000913
做归一化处理，即将每个坐标点减去其对应均值，利用角点排序算法建立5个点之间的对应关系/>
Figure BDA00032848226800000914
这样旋转矩阵的求取即可表达为：
Figure BDA00032848226800000915
根据普鲁可分析，上式又可等价于：
Figure BDA00032848226800000916
式中，
Figure BDA00032848226800000917
对M做SVD分解后得到M＝USVT，上述问题等价于最大化：
Figure BDA00032848226800000918
当且仅当
Figure BDA0003284822680000101
上式满足最大化条件，最终求得旋转矩阵/>
Figure BDA0003284822680000102
为：
Figure BDA0003284822680000103
由于标记的空间位置为手动输入得到的参数。示例性的，在大小为60×40×3c3m3纸箱四周贴上4个ID各不相同的标记，将正面标记设为原点，背面标记即可看作绕Y轴旋转180°，沿Z轴平移40cm，通过这种方式，一旦视角k下的相机检测到标记，通过标记ID识别即可获得相应的预先输入的位姿先验，最终将点云统一到世界坐标系下：
Figure BDA0003284822680000104
其中，
Figure BDA0003284822680000105
为世界坐标系下点云模型，/>
Figure BDA0003284822680000106
分别为手动输入的旋转参数、平移参数。
对各个不同视角的相机分别进行外参标定，并将各个视角下的点云均统一到世界坐标系下。同视角下即同一个相机下的点云位于对应的相机坐标系下，外参标定的目的是：转换不同相机坐标系下的点云至同一个世界坐标系下，用于完成点云拼接。
最后介绍一下步骤S140：将多个点云进行拼接，得到三维重建图像。
本步骤可以给定一组具有重叠区域的目标点集P＝{pipi∈R3,i＝1,2,....n}和源点集Q＝{qi|qi∈R3，i＝1，2，....n}，ICP算法通过最小化能量函数
Figure BDA0003284822680000107
寻找两片点云间的最优匹配，将ICP中关联点对之间的欧氏距离用点到切平面间的距离代替，该方法迭代次数少，且不易陷入局部最优解，然而上述ICP及其变体仅仅利用了物体表面的几何特征，一旦遇到类似于光滑表面等几何特征较少的场景时，会产生大量误匹配点，因此需要在经典ICP算法基础上扩展联合优化目标函数：
ε(T)＝(1-δ)εC(T)+δεG(T)；
式中，T∈SE(3)为被估计的转换矩阵，εC为颜色项，εG为几何项，δ∈[0,1]为权重变量，对应点对(p,q)∈M的选取与ICP算法相同，即最小化点欧氏距离；一旦对应点集M，分别构建目标函数几何项、颜色项，如下式所示：
εG(T)＝Σ(p,q)∈M((Tq-p)Tnp)2；
εC(T)＝Σ(p,q)∈M(Cp(f(Tq))-C(q))2；
式中，np为对应点p的法向量，因此，εG可等价为源点到目标点切平面距离；f()为将3D点反投影至目标点云切平面的函数，CP()为参数化一个虚拟图像的函数，可以表示为一个连续的颜色函数C()即为对应坐标的颜色值，最后利用高斯-牛顿法进行迭代优化。
如图2所示，在本申请一具体实施例中，提供一种三维重建方法，分为两个阶段，其中，第一阶段为标记检测与外参标定，该阶段首先提取多个视角对应的RGB图像进行角点检测，提取到的ROI区域透视变换后计算积分图，确定相应视角下的标记ID；接着利用ID检索对应的标记世界坐标，利用正交普鲁克分析解算出相机外参；第二阶段为基于Colored-ICP的局部配准优化，颜色项与几何项的联合优化，使得精配准阶段收敛更快、精度更高。最后，将三维重建模型实时传输至混合现实设备HoloLens2中，达到了较好的虚拟交互效果。
本实施例中硬件设备由三台Azure-Kinect构成深度采集系统，一台PC服务端用于处理点云数据，如图3所示，其中Azure-Kinect TOF深度摄像头分辨率为100万像素，RGB相机为1200万像素，工作范围0.25-5.46m，计算机系统配置为Intel(R)Core(TM)i5-9400FCPU@2.90GHz，8.0GB，RAM，算法采用C++语言实现，相机端配置API调用Azure-Kienct-SDK。
相机的外参标定实验中，标定物的选取应具备以下条件：形状规则，便于码元的检测；不易产生非刚性形变，从而影响标定精度。基于上述条件，选用大小为长方体纸箱作为标定物，并在每个侧面粘贴A4纸张大小的，ID互异的码元标记，三台设备间隔大约120°，构成半径为1.5m的扫描区域，如图3所示。
下表1列出了预先输入的标记的世界坐标，为了与经典的张氏标定算法作比较，采用角点数6×9，大小为105×105mm棋盘格，共采集13组图像，计算从设备1相对于主设备的旋转参数和平移参数，如图4所示，图4a为主设备所采的图像，图4b为从设备1所采集的图像。
表1
Figure BDA0003284822680000121
为了避免偶然误差的影响，在相同条件下进行6次实验，表2为经典的张氏标定算法与本文标定算法在相同条件下得出的结果，与人工测量真值对比后的误差。其中，从设备1相对于主设备平移真值分别为1.64m、0.60m、2.58m；旋转真值为32°、125°、12°。在6次实验中，经典的张氏标定算法的旋转平均误差为1.7222°，平移平均误差为0.2133m；而本实施例算法旋转平均误差和平移平均误差分别为1.6111°、0.0583m，比经典的张氏标定算法精度高。
表2
Figure BDA0003284822680000122
经实验分析，本申请算法优点在于：无需采集多组图像，简化标定流程；精度更高、用时更短；标记物制作简单，且可用于相机视场低重叠、无重叠场景。
图5给出了粗标定后的点云模型，由于人工先验会带来一定的误差，因此点云模型在某些视角下存在缝隙，需要继续优化。
点云拼接的精配准实验中，受人工先验误差影响，利用粗标定得到三维模型存在部分错位，因此，对比ICP变体算法进行局部优化，从图6可看出，同视角下的纸箱表面，粗拼接后留有较大缝隙，利用ICP进行迭代优化后，模型表面更为平整。此外，从图6右半部分的标记外观可看出，由于Colored-ICP算法更好地利用了RGB信息，颜色项的加入对配准起到一定的正则作用，一定程度减少了误匹配点，配准效果更优。
为了更好对比Colored-ICP算法在速度和精度方面的优势，在相同迭代停止条件下：最大迭代轮数30，均方根误差RMSE小于1e-6，绘制相似度曲线，从图7可看出，在对应点集(p,q)∈M约为30000情况下，Colored-ICP算法不仅收敛速度最快，仅需4轮迭代，并且相似度最高，Fieness≈0.4802，均优于传统的ICP算法。
本实施例中，还基于三维重建方法进行了混合现实实验，远程沉浸作为一种新兴技术，它允许用户通过实时生成的真实三维表示并将其放置在共享的虚拟空间中来进行远程协作，作为验证实验，本实施例采用TCP/IP通信协议将点云数据实时上传至Hololens2端，再借助Unity3D粒子系统进行三维模型网格化渲染。此外，将RGB图像分辨率下采样至Depth图像分辨率大小，并在HoloLens2端嵌入GZip解压程序，这进一步降低了传输带宽压力，提升了显示帧率。
图8展示了人体在场景中做不同动作时的眼镜端实时重建效果，从图8可以看出，在不同动作下Hololens2端虚拟人体模型与真实人体保持了较高的同步性，面部表情、手指关节、衣服纹理等细节特征也被清晰地重建；但是受传感器采样噪声、光照等因素影响，模型表面的孔洞、色差是下一步优化的方向；表3列出了不同动作下模型数据大小与帧率比较，在没有GPU加速的情况下，通过数据降采样和压缩算法的加入，达到了HoloLens2端平均25fps的显示刷新率，基本保证了系统的实时性。
表3
Figure BDA0003284822680000131
Figure BDA0003284822680000141
在本申请的一些可选实施例中，识别码元图像中标记的标识号，包括：
对码元图像依次进行灰度化处理及二值化处理，得到码元二值图像；
对码元二值图像进行ROI区域提取及角点检测，得到标记；
根据标记的编码区内的黑白像素值识别标记的标识号。
在本申请的一些可选实施例中，对码元二值图像进行ROI区域提取及角点检测，得到标记，包括：
对码元二值图像进行轮廓查询，得到多条轮廓，每条轮廓均由一组连续点构成；
遍历每条轮廓并计算包围面积；
当包围面积在预设范围以外时，判断为非标记，并调用多边形拟合函数检测各条轮廓的角点数量，若轮廓检测到的角点数为5，且轮廓拟合的多边形为非凸，则轮廓所拟合的多边形判定为标记。
在本申请的一些可选实施例中，根据标记的编码区内的黑白像素值识别标记的标识号，包括：
计算标记的编码区内的像素总值；
利用像素总值解码得到标识号。
在本申请的一些可选实施例中，根据相机坐标系的标记坐标和世界坐标的标记坐标，计算相机的外参矩阵，并将点云统一到世界坐标系下，得到不同视角的多个点云，包括：
在每个视角k下，定义平移向量
Figure BDA0003284822680000142
Figure BDA0003284822680000143
定义旋转矩阵/>
Figure BDA0003284822680000144
Figure BDA0003284822680000145
相机坐标系和世界坐标的转换如下式所示：
Figure BDA0003284822680000151
式中，
Figure BDA0003284822680000152
分别为相机坐标系下标记点云模型和世界坐标系下标记点云模型；下标C表示相机坐标系，下标M表示世界坐标系；
平移向量
Figure BDA0003284822680000153
为根据三维角点/>
Figure BDA0003284822680000154
计算出的世界坐标的中心坐标值；
利用正交普鲁克分析求取旋转矩阵
Figure BDA0003284822680000155
检测标记，通过标识号获得相应的预先输入的位置先验，将点云统一到世界坐标系下，如下式：
Figure BDA0003284822680000156
其中，
Figure BDA0003284822680000157
为世界坐标系下点云模型，下标W表示相机坐标系；/>
Figure BDA0003284822680000158
分别为旋转参数和平移参数。
在本申请的一些可选实施例中，将多个点云进行拼接，得到三维重建图像，包括：
基于Colored-ICP算法，对不同视角下的点云进行拼接；Colored-ICP的表达式为：
ε(T)＝(1-δ)εC(T)+δεG(T)；
式中，T∈SE(3)，SE(3)为被估计的转换矩阵，εC为颜色项，εG为几何项，δ∈[0,1]为权重变量，对应点对(p,q)∈M的选取与ICP算法相同，是最小化点欧氏距离；对应点集M，分别构建目标函数几何项、颜色项，如下式所示：
εG(T)＝∑(p,q)∈M((Tq-p)Tnp)2；
εC(T)＝∑(p,q)∈M(Cp(f(Tq))-C(q))2；
式中，np为对应点p的法向量；εG等价为源点到目标点切平面距离；f()为将3D点反投影至目标点云切平面的函数；Cp()为参数化一个虚拟图像的函数，C()为对应坐标的颜色值。
在本申请的一些可选实施例中，在将多个点云进行拼接，得到三维重建图像之后，三维重建方法还包括：
利用高斯-牛顿法对三维重建图像进行迭代优化。
需要说明的是，本申请实施例提供的三维重建方法，执行主体可以为三维重建装置，或者该三维重建装置中的用于执行三维重建的方法的控制模块。本申请实施例中以三维重建装置执行三维重建的方法为例，说明本申请实施例提供的三维重建的装置。
如图9所示，在本申请实施例的第二方面，提供一种三维重建装置，该装置可以包括：
码元图像采集模块210，用于利用不同视角的多个相机对码元进行图像采集，得到码元图像，所述相机标定的参照物为所述码元，所述码元包括多个标记，每个所述标记均有对应的标识号；
识别模块220，用于识别所述码元图像中标记的标识号，并利用所述标识号搜索所述标记对应的世界坐标；
点云计算模块230，用于根据相机坐标系的标记坐标和所述世界坐标的标记坐标，计算所述相机的外参矩阵，并将点云统一到所述世界坐标系下，得到不同视角的多个点云；
拼接模块240，用于将多个所述点云进行拼接，得到三维重建图像。
上述实施例装置通过输入的标记ID(标识号)与对应的世界坐标系下的旋转角度和平移距离作为先验；并提取进行标记检测与ID识别；根据识别的ID检索对应的转换参数，结合分析逆运算出对应的外参矩阵，通过拼接实现了三维重建，该方法收敛更快、精度更高，并且该方流程简单、易于操作实现。
本申请实施例中的三维重建装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的三维重建装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的三维重建装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图10所示，本申请实施例还提供一种电子设备1000，包括处理器1001，存储器1002，存储在存储器1002上并可在所述处理器1001上运行的程序或指令，该程序或指令被处理器1001执行时实现上述三维重建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图11为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109、以及处理器1110等部件。
本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
应理解的是，本申请实施例中，输入单元1104可以包括图形处理器(GraphicsProcessing Unit，GPU)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1106可包括显示面板11061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板11061。用户输入单元1107包括触控面板11071以及其他输入设备11072。触控面板11071，也称为触摸屏。触控面板11071可包括触摸检测装置和触摸控制器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1109可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器1110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1110中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述三维重建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述三维重建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种三维重建方法，其特征在于，包括：
利用不同视角的多个相机对码元进行图像采集，得到码元图像，所述相机标定的参照物为所述码元，所述码元包括多个标记，每个所述标记均有对应的标识号；
识别所述码元图像中标记的标识号，并利用所述标识号搜索所述标记对应的世界坐标；
根据相机坐标系的标记坐标和所述世界坐标的标记坐标，计算所述相机的外参矩阵，并将点云统一到所述世界坐标系下，得到不同视角的多个点云；
将多个所述点云进行拼接，得到三维重建图像。
2.根据权利要求1所述的三维重建方法，其特征在于，所述识别所述码元图像中标记的标识号，包括：
对所述码元图像依次进行灰度化处理及二值化处理，得到码元二值图像；
对所述码元二值图像进行ROI区域提取及角点检测，得到所述标记；
根据所述标记的编码区内的黑白像素值识别所述标记的标识号。
3.根据权利要求2所述的三维重建方法，其特征在于，所述对所述码元二值图像进行ROI区域提取及角点检测，得到所述标记，包括：
对码元二值图像进行轮廓查询，得到多条轮廓，每条所述轮廓均由一组连续点构成；
遍历每条所述轮廓并计算包围面积；
当所述包围面积在预设范围以外时，判断为非标记，并调用多边形拟合函数检测各条所述轮廓的角点数量，若所述轮廓检测到的角点数为5，且所述轮廓拟合的多边形为非凸，则所述轮廓所拟合的多边形判定为标记。
4.根据权利要求2所述的三维重建方法，其特征在于，所述根据所述标记的编码区内的黑白像素值识别所述标记的标识号，包括：
计算所述标记的编码区内的像素总值；
利用所述像素总值解码得到所述标识号。
5.根据权利要求1所述的三维重建方法，其特征在于，所述根据相机坐标系的标记坐标和所述世界坐标的标记坐标，计算所述相机的外参矩阵，并将点云统一到所述世界坐标系下，得到不同视角的多个点云，包括：
在每个视角k下，定义平移向量
Figure FDA0003284822670000021
Figure FDA0003284822670000022
定义旋转矩阵/>
Figure FDA0003284822670000023
Figure FDA0003284822670000024
所述相机坐标系和所述世界坐标的转换如下式所示：
Figure FDA0003284822670000025
式中，
Figure FDA0003284822670000026
分别为相机坐标系下标记点云模型和世界坐标系下标记点云模型；下标C表示相机坐标系，下标M表示世界坐标系；
平移向量
Figure FDA0003284822670000027
为根据三维角点/>
Figure FDA0003284822670000028
计算出的所述世界坐标的中心坐标值；
利用正交普鲁克分析求取旋转矩阵
Figure FDA0003284822670000029
检测所述标记，通过所述标识号获得相应的预先输入的位置先验，将点云统一到世界坐标系下，如下式：
Figure FDA00032848226700000210
其中，
Figure FDA00032848226700000211
为世界坐标系下点云模型，下标W表示相机坐标系；/>
Figure FDA00032848226700000212
分别为旋转参数和平移参数。
6.根据权利要求1所述的三维重建方法，其特征在于，所述将多个所述点云进行拼接，得到三维重建图像，包括：
基于Colored-ICP算法，对不同视角下的所述点云进行拼接；所述Colored-ICP的表达式为：
ε(T)＝(1-δ)εC(T)+δεG(T)；
式中，T∈SE(3)，SE(3)为被估计的转换矩阵，εC为颜色项，εG为几何项，δ∈[0,1]为权重变量，对应点对(p,q)∈M的选取与ICP算法相同，是最小化点欧氏距离；对应点集M，分别构建目标函数几何项、颜色项，如下式所示：
εG(T)＝∑(p,q)∈M((Tq-p)Tnp)2；
εC(T)＝Σ(p,q)∈M(Cp(f(Tq))-C(q))2；
式中，np为对应点p的法向量；εG等价为源点到目标点切平面距离；f()为将3D点反投影至目标点云切平面的函数；Cp()为参数化一个虚拟图像的函数，C()为对应坐标的颜色值。
7.根据权利要求1所述的三维重建方法，其特征在于，在所述将多个所述点云进行拼接，得到三维重建图像之后，所述三维重建方法还包括：
利用高斯-牛顿法对所述三维重建图像进行迭代优化。
8.一种三维重建装置，其特征在于，包括：
码元图像采集模块，用于利用不同视角的多个相机对码元进行图像采集，得到码元图像，所述相机标定的参照物为所述码元，所述码元包括多个标记，每个所述标记均有对应的标识号；
识别模块们，用于识别所述码元图像中标记的标识号，并利用所述标识号搜索所述标记对应的世界坐标；
点云计算模块，用于根据相机坐标系的标记坐标和所述世界坐标的标记坐标，计算所述相机的外参矩阵，并将点云统一到所述世界坐标系下，得到不同视角的多个点云；
拼接模块，用于将多个所述点云进行拼接，得到三维重建图像。
9.一种电子设备，其特征在于，包括：处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的三维重建方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7任一项所述的三维重建方法的步骤。
CN202111143351.4A 2021-09-28 2021-09-28 三维重建方法、装置、电子设备及存储介质 Pending CN115880415A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111143351.4A CN115880415A (zh) 2021-09-28 2021-09-28 三维重建方法、装置、电子设备及存储介质
US17/513,834 US12020398B2 (en) 2021-09-28 2021-10-28 3D reconstruction method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111143351.4A CN115880415A (zh) 2021-09-28 2021-09-28 三维重建方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115880415A true CN115880415A (zh) 2023-03-31

Family

ID=85763483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111143351.4A Pending CN115880415A (zh) 2021-09-28 2021-09-28 三维重建方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115880415A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893692A (zh) * 2024-03-12 2024-04-16 之江实验室 一种基于对称视图的三维重建方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893692A (zh) * 2024-03-12 2024-04-16 之江实验室 一种基于对称视图的三维重建方法、装置及存储介质
CN117893692B (zh) * 2024-03-12 2024-05-28 之江实验室 一种基于对称视图的三维重建方法、装置及存储介质

Also Published As

Publication number Publication date
US20230103385A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
CN106940704B (zh) 一种基于栅格地图的定位方法及装置
US20200058153A1 (en) Methods and Devices for Acquiring 3D Face, and Computer Readable Storage Media
US10297083B2 (en) Method and system for determining a model of at least part of a real object
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN109978984A (zh) 人脸三维重建方法及终端设备
WO2020134818A1 (zh) 图像处理方法及相关产品
CN111243093A (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN114648613B (zh) 基于可变形神经辐射场的三维头部模型重建方法及装置
CN103839277A (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN112489099B (zh) 点云配准方法、装置、存储介质及电子设备
US20220319055A1 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
Xu et al. Survey of 3D modeling using depth cameras
CN113313832B (zh) 三维模型的语义生成方法、装置、存储介质与电子设备
US20230245396A1 (en) System and method for three-dimensional scene reconstruction and understanding in extended reality (xr) applications
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
WO2022208440A1 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
CN115880415A (zh) 三维重建方法、装置、电子设备及存储介质
CN117011493B (zh) 基于符号距离函数表示的三维人脸重建方法、装置及设备
CN107274477B (zh) 一种基于三维空间表层的背景建模方法
US20220068024A1 (en) Determining a three-dimensional representation of a scene
US11769263B2 (en) Three-dimensional scan registration with deformable models
US12020398B2 (en) 3D reconstruction method and apparatus
CN116797713A (zh) 一种三维重建方法和终端设备
CN114862716A (zh) 人脸图像的图像增强方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination