CN116188688A - 三维重建方法、三维重建装置以及计算机可读存储介质 - Google Patents

三维重建方法、三维重建装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN116188688A
CN116188688A CN202310104613.9A CN202310104613A CN116188688A CN 116188688 A CN116188688 A CN 116188688A CN 202310104613 A CN202310104613 A CN 202310104613A CN 116188688 A CN116188688 A CN 116188688A
Authority
CN
China
Prior art keywords
image
dimensional reconstruction
acquiring
dimensional
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310104613.9A
Other languages
English (en)
Inventor
张钊
汪鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huacheng Software Technology Co Ltd
Original Assignee
Hangzhou Huacheng Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huacheng Software Technology Co Ltd filed Critical Hangzhou Huacheng Software Technology Co Ltd
Priority to CN202310104613.9A priority Critical patent/CN116188688A/zh
Publication of CN116188688A publication Critical patent/CN116188688A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供一种三维重建方法、三维重建装置以及计算机可读存储介质。该三维重建方法包括：获取调制条纹图像，基于所述调制条纹图像获取包裹相位；基于所述调制条纹图像获取红外图像；利用所述红外图像和可见光图像，获取第一三维点云；利用所述第一三维点云和所述包裹相位，获取第一绝对相位；按照所述调制条纹图像与所述第一绝对相位重建物体的第二三维点云。通过上述方式，三维重建装置使用红外投影仪与红外相机采集投影条纹图，可以实现无感三维重建；利用两个视觉子系统进行三维重建，充分利用二者获取的信息，融合其三维重建结果，可大幅提升三维重建的速度和精度。

Description

三维重建方法、三维重建装置以及计算机可读存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种三维重建方法、三维重建装置以及计算机可读存储介质。
背景技术
三维重建是计算机视觉中的基础技术，被广泛应用于机器人技术、自动驾驶、工业检测、AR和体感娱乐等领域。
目前主流的三维测量技术中，飞行时间技术测量速度快，但是设备昂贵、体积大，且精度不高；双目立体视觉技术测量速度快，但精度有限，且易受光照、纹理等影响；结构光测量技术精度高、点密度高，其中散斑结构光技术仅需一次投影，但无法获得稠密三维数据。条纹投影轮廓术获得的三维数据稠密，但为了实现高精度，往往需要投射多张编码图案，测量速度受到大幅限制。
消费级的深度相机如KinectV1，iPhone的faceid模组通常由红外投影仪、红外相机、可见光相机组成，红外投影仪向目标投射红外编码图像，红外相机拍摄被物体形状调制后的编码图像从而重建三维，可见光相机用以采集彩色图像，并不参与三维重建，从而造成了传感器和信息的浪费，精度受到一定限制。
发明内容
本申请提供了一种三维重建方法、三维重建装置以及计算机可读存储介质。
本申请提供了一种三维重建方法，所述三维重建方法包括：
获取调制条纹图像，基于所述调制条纹图像获取包裹相位；
基于所述调制条纹图像获取红外图像；
利用所述红外图像和可见光图像，获取第一三维点云；
利用所述第一三维点云和所述包裹相位，获取第一绝对相位；
按照所述调制条纹图像与所述第一绝对相位重建物体的第二三维点云。
其中，所述获取调制条纹图像，包括：
利用红外投影仪在物体表面投影N步相移条纹，其中，N为大于0的整数；
采集被所述物体表面调制后的相移条纹的调制条纹图像。
其中，所述利用所述红外图像和可见光图像，获取第一三维点云，包括：
获取所述红外图像的第一空间不变共性特征；
获取所述可见光图像的第二空间不变共性特征；
基于所述第一空间不变共性特征和所述第二空间不变共性特征，建立视差图；
利用红外相机标定参数和可见光标定参数将所述视差图转换为所述第一三维点云。
其中，所述基于所述第一空间不变共性特征和所述第二空间不变共性特征，建立视差图，包括：
将所述第一空间不变共性特征和所述第二空间不变共性特征输入立体匹配网络，通过所述立体匹配网络输出所述视差图；
其中，所述立体匹配网络利用平滑损失函数和L1损失函数进行加权训练得到。
其中，所述利用所述红外图像和可见光图像，获取第一三维点云之后，所述三维重建方法还包括：
基于所述调制条纹图像的条纹周期空间跨度确定红外相机的测量范围；
基于测量范围以及物体的实际深度，获取偏移值；
按照所述偏移值将所述第一三维点云沿预设方向偏移，以得到第三三维点云。
其中，所述利用所述第一三维点云和所述包裹相位，获取第一绝对相位，包括：
获取红外投影仪的第一标定参数；
利用所述第一三维点云以及所述第一标定参数，求解第二绝对相位；
利用所述第二绝对相位以及所述包裹相位，求解所述第一绝对相位。
其中，所述按照所述调制条纹图像与所述第一绝对相位重建物体的第二三维点云，包括：
获取红外相机的第二标定参数；
利用所述第二标定参数以及所述调制条纹图像的像素坐标构建第一方程式；
利用所述第一标定参数以及所述调制条纹图像的像素值构建第二方程式；
利用所述调制条纹图像的像素值以及所述第一绝对相位构建第三方程式；
对所述第一方程式、所述第二方程式以及所述第三方程式进行联合求解，获取所述物体的第二三维点云。
其中，所述利用所述调制条纹图像的像素值、所述第一绝对相位构建第三方程式，包括：
获取所述红外投影仪的第三标定参数，其中，所述第一标定参数包括投影矩阵，所述第三标定参数包括横向投影条纹频率、纵向投影条纹频率、投影仪横向分辨率和/或投影仪纵向分辨率；
利用所述调制条纹图像的像素值、所述第一绝对相位以及所述第三标定参数构建所述第三方程式。
本申请还提供了一种三维重建装置，所述三维重建装置包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如上述的三维重建方法。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的三维重建方法。
本申请的有益效果是：三维重建装置获取调制条纹图像，基于所述调制条纹图像获取包裹相位；基于所述调制条纹图像获取红外图像；利用所述红外图像和可见光图像，获取第一三维点云；利用所述第一三维点云和所述包裹相位，获取第一绝对相位；按照所述调制条纹图像与所述第一绝对相位重建物体的第二三维点云。通过上述方式，三维重建装置使用红外投影仪与红外相机采集投影条纹图，可以实现无感三维重建；利用两个视觉子系统进行三维重建，充分利用二者获取的信息，融合其三维重建结果，可大幅提升三维重建的速度和精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的三维重建方法一实施例的流程示意图；
图2是本申请提供的三维重建方法整体流程示意图；
图3是本申请提供的深度相机设备一实施例的框架示意图；
图4是图1所示三维重建方法步骤S13的具体流程示意图；
图5是本申请提供的跨模态双目立体匹配算法的示意图；
图6是本申请提供的三维重建装置一实施例的结构示意图；
图7是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的三维重建方法中，利用红外相机和红外投影器可以构成一个单目结构光子系统，而红外相机和RGB相机(可见光相机)又可以构成一对双目立体视觉子系统，两个子系统均可进行三维重建，充分利用二者获取的信息，融合其三维重建结果，可大幅提升三维重建的速度和精度。
具体地，三维重建装置首先通过红外投影仪向物体投射N步相移条纹(N>＝3)，同时同步模块发出触发信号，控制红外相机采集被物体表面调制后的条纹图像，进行相位计算得到包裹相位，计算无条纹的红外图像。同时，同步模块控制可见光相机采集物体的可见光图像，使用跨模态双目立体匹配算法进行红外和可见光图像匹配，得到粗糙的视差图并转换得到三维点云；将上一步获得的粗糙三维点云进行偏移，利用偏移后的三维点云进行反解相位得到粗糙的绝对相位；利用包裹相位和粗糙的绝对相位进行相位展开，得到精确的绝对相位；利用标定参数得到精确的三维点云。
具体请参阅图1和图2，图1是本申请提供的三维重建方法一实施例的流程示意图，图2是本申请提供的三维重建方法整体流程示意图。
其中，本申请的三维重建方法应用于一种三维重建装置，其中，本申请的三维重建装置可以为服务器，也可以为由服务器和终端设备相互配合的系统。相应地，三维重建装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本申请实施例的三维重建方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
具体而言，如图1所示，本申请实施例的三维重建方法具体包括以下步骤：
步骤S11：获取调制条纹图像，基于调制条纹图像获取包裹相位。
在本申请实施例中，下面先介绍实现三维重建方法的硬件设备，具体请参阅图3，图3是本申请提供的深度相机设备一实施例的框架示意图。
如图3所示，本申请提供的RGBD深度相机设备，包含红外相机、可见光相机、红外投影仪、同步组件、处理组件等。
其中，红外相机用于采集红外波段的红外图像；可见光相机，用于采集可见光波段的可见光图像。红外投影仪，用于投射红外编码结构光图案。红外相机、红外投影仪组成单目结构光子系统，红外相机和可见光相机组成双目立体视觉子系统。
同步组件，用于控制红外相机、可见光相机、红外投影仪同步工作。处理组件，用于控制、处理、存储装置工作过程中的数据。
为了提高三维重建精度，红外相机分别与红外投影仪、可见光相机保持较大的基线距离，而红外投影仪、可见光相机之间的距离没有要求。因此可见光相机、红外投影仪之间的距离较近，红外相机与二者距离较远。
三维重建装置以及RGBD深度相机设备开始工作时，首先，红外投影仪向物体投射N步相移条纹(N>＝3)，同步模块发出触发信号，控制红外相机采集，得到N张被物体表面调制后的调制条纹图像；同时，同步模块控制可见光相机采集一张物体的可见光图像。
进一步地，红外相机、红外投影仪组成的单目结构光子系统采集被物体表面调制后的N步相移条纹图像，并根据下面公式进行相位计算，得到包裹相位：
Figure SMS_1
其中，(x,y)表示图像像素坐标，In为每投影一组条纹时第n次投影相机采集到的图像，δn＝2π×(n-1)/N表示相移数，
Figure SMS_2
表示待求的包裹相位，取值范围在(-π,π]之间。
步骤S12：基于调制条纹图像获取红外图像。
在本申请实施例中，三维重建装置根据调整条纹图像计算无条纹的红外图像，其计算方式如下：
Figure SMS_3
其中，IIR为无条纹的红外图像。
步骤S13：利用红外图像和可见光图像，获取第一三维点云。
在本申请实施例中，三维重建装置利用可见光相机采集物体的一张可见光图像，与步骤S12中的红外图像组成一对异源双目图像；然后，使用跨模态双目立体匹配算法进行红外和可见光图像进行异源图像匹配，得到粗糙的视差图并转换得到三维数据。
具体过程请继续参阅图4，图4是图1所示三维重建方法步骤S13的具体流程示意图。
具体而言，如图4所示，本申请实施例的三维重建方法具体包括以下步骤：
步骤S131：获取红外图像的第一空间不变共性特征。
步骤S132：获取可见光图像的第二空间不变共性特征。
在本申请实施例中，三维重建装置利用跨模态双目立体匹配算法重建三维点云。具体地，跨模态双目立体匹配算法由两个共性特征提取模块和双目立体匹配模块构成，具体请参阅图5，图5是本申请提供的跨模态双目立体匹配算法的示意图。其中，跨模态双目立体匹配算法的各模块由若干卷积层、bn层、池化层、激活层组成。
其中，共性特征提取模块基于UNet网络，权值不共享，输入为红外图像或可见光图像，输出为红外图像的空间不变共性特征与可见光图像的空间不变共性特征。
空间不变共性特征是红外图像和可见光图像的特征交集，并且空间上分别与红外图像和可见光图像严格对齐。因此使用空间不变共性特征进行立体匹配可以解决异源图像对中，可见光图像具有丰富的纹理色彩特征，而红外图像模糊弱纹理，难以匹配的问题。
步骤S133：基于第一空间不变共性特征和第二空间不变共性特征，建立视差图。
在本申请实施例中，三维重建装置利用步骤S131提取的第一空间不变共性特征和步骤S132提取的第二空间不变共性特征输入双目立体匹配模块中的立体匹配网络，匹配输出红外图像和可见光图像的视差图。
其中，图5所示的立体匹配网络由整合全局上下文的SPP(空间金字塔池化，Spatial pyramid pooling)模块和用于成本量正则化的堆叠沙漏模块组成。单从像素强度来确定上下文关系是很困难的。SPP模块学习一个物体与其子区域(窗口、轮胎、发动机罩等)之间的关系，以合并层次上下文信息。SPP模块采用自适应average pooling将feature压缩到4个尺度，然后通过1×1卷积维，再通过双线性插值将低维feature map上采样到与原始feature map相同大小的尺寸。然后利用左右图像特征形成4D cost volume，将其送入3D CNN进行cost volume正则化和视差回归。
具体地，本申请所采用的双目立体匹配算法基于psmnet(Pyramid StereoMatching Network，端到端的立体匹配网络)改进，其Loss函数采用L1 Loss和Smooth Loss的加权组合，Smooth Loss可以减少视差图和粗糙三维点中的奇异点，这对后续步骤利用粗糙三维点反解绝对相位有益。Loss函数公式如下：
Loss＝A*lossl1+B*losssmooth
其中，A，B为权重。
Figure SMS_4
其中，
Figure SMS_5
是可见光图像的水平方向的二阶导数和垂直方向的二阶导数，d是视差，Iivs是可见光图像。
步骤S134：利用红外相机标定参数和可见光标定参数将视差图转换为第一三维点云。
在本申请实施例中，三维重建装置利用红外相机标定参数和可见光标定参数将视差图转换为粗糙三维点云(xw,yw,zw)。
在其他实施例中，三维重建装置也可以采用其他三维重建技术或者其他三维重建算法对红外图像、可见光图像进行处理，以获取重建三维点云。
步骤S14：利用第一三维点云和包裹相位，获取第一绝对相位。
在本申请实施例中，三维重建装置利用步骤S13重建的粗糙三维点云以及步骤S11确定的包裹相位，得到准确的绝对相位，即第一绝对相位，利用绝对相位得到准确的三维重建数据，即第二三维点云。
在此之前，由于噪声和标定精度限制，获得的粗糙三维点云可能并不位于实际物体前方，导致后续相位展开存在歧义，因此需将粗糙三维点云(xw,yw,zw)延z方向向相机偏移Δz。
其中，偏移值Δz需要满足以下条件：
ztrue-zrange<zw-Δz<ztrue
其中，ztrue实际物体的深度，zrange是单目结构光的测量范围。测量范围可以通过以下公式计算：
zrange≈Tp/tan(θ)
其中，Tp是一个条纹周期的空间跨度，θ是红外相机和红外投影仪的夹角。
进一步地，三维重建装置利用偏移后的三维点云和红外投影仪的标定参数反解得到粗糙的绝对相位，即第二绝对相位，其过程具体如下：
Figure SMS_6
Figure SMS_7
其中，Sp为尺度因子常量，MP为投影仪投影矩阵，是标定得到的参数，Φref为获得的粗糙绝对相位，(up,vp)为红外投影仪像素坐标，通过调制条纹图像的像素值确定。
由于单目结构光系统和双目系统共用红外相机，因此可将两者标定至同一世界坐标系下，无需再对双目系统获得的粗糙三维点云(xw,yw,zw)进行坐标转换。
三维重建装置利用粗糙绝对相位Φref计算精确绝对相位Φ：
Figure SMS_8
其中，ceil[]为向下取整函数。
步骤S15：按照调制条纹图像与第一绝对相位重建物体的第二三维点云。
在本申请实施例中，三维重建装置利用步骤S14确定的精确绝对相位Φ和红外相机、红外投影仪的标定参数得到准确的三维点云(X,Y,Z)。
Figure SMS_9
/>
Figure SMS_10
Figure SMS_11
Figure SMS_12
联立上述方程，即可解得准确的三维坐标。
其中，Sc、Sp为尺度因子常量，MC、MP分别为红外相机映射矩阵、投影仪投影矩阵，是标定得到的参数，(uc,vc)为相机像素坐标，(up,vp)为投影仪像素坐标；其中Fu为横向投影条纹频率，Fv为纵向投影条纹频率，Wu为投影仪横向分辨率，Wv为投影仪纵向分辨率。(uc,vc)、(up,vp)均使用预先标定出的系统畸变参数对其进行矫正，其中，相机畸变类型包括但不限于：枕形畸变、桶形畸变以及线性畸变等。
在本申请实施例中，三维重建装置获取调制条纹图像，基于所述调制条纹图像获取包裹相位；基于所述调制条纹图像获取红外图像；利用所述红外图像和可见光图像，获取第一三维点云；利用所述第一三维点云和所述包裹相位，获取第一绝对相位；按照所述调制条纹图像与所述第一绝对相位重建物体的第二三维点云。通过上述方式，三维重建装置使用红外投影仪与红外相机采集投影条纹图，可以实现无感三维重建；利用两个视觉子系统进行三维重建，充分利用二者获取的信息，融合其三维重建结果，可大幅提升三维重建的速度和精度。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为实现上述实施例的三维重建方法，本申请还提出了一种三维重建装置，具体请参阅图6，图6是本申请提供的三维重建装置一实施例的结构示意图。
本申请实施例的三维重建装置300包括存储器31和处理器32，其中，存储器31和处理器32耦接。
存储器31用于存储程序数据，处理器32用于执行程序数据以实现上述实施例所述的三维重建方法。
在本实施例中，处理器32还可以称为CPU(Central Processing Unit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，ApplicationSpecific Integrated Circuit)、现场可编程门阵列(FPGA，Field Programmable GateArray)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器32也可以是任何常规的处理器等。
为实现上述实施例的三维重建方法，本申请还提供了一种计算机可读存储介质，如图7所示，计算机可读存储介质400用于存储程序数据41，程序数据41在被处理器执行时，用以实现如上述实施例所述的三维重建方法。
本申请还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例所述的三维重建方法。该计算机程序产品可以为一个软件安装包。
本申请上述实施例所述的三维重建方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种三维重建方法，其特征在于，所述三维重建方法包括：
获取调制条纹图像，基于所述调制条纹图像获取包裹相位；
基于所述调制条纹图像获取红外图像；
利用所述红外图像和可见光图像，获取第一三维点云；
利用所述第一三维点云和所述包裹相位，获取第一绝对相位；
按照所述调制条纹图像与所述第一绝对相位重建物体的第二三维点云。
2.根据权利要求1所述的三维重建方法，其特征在于，
所述获取调制条纹图像，包括：
利用红外投影仪在物体表面投影N步相移条纹，其中，N为大于0的整数；
采集被所述物体表面调制后的相移条纹的调制条纹图像。
3.根据权利要求1所述的三维重建方法，其特征在于，
所述利用所述红外图像和可见光图像，获取第一三维点云，包括：
获取所述红外图像的第一空间不变共性特征；
获取所述可见光图像的第二空间不变共性特征；
基于所述第一空间不变共性特征和所述第二空间不变共性特征，建立视差图；
利用红外相机标定参数和可见光标定参数将所述视差图转换为所述第一三维点云。
4.根据权利要求3所述的三维重建方法，其特征在于，
所述基于所述第一空间不变共性特征和所述第二空间不变共性特征，建立视差图，包括：
将所述第一空间不变共性特征和所述第二空间不变共性特征输入立体匹配网络，通过所述立体匹配网络输出所述视差图；
其中，所述立体匹配网络利用平滑损失函数和L1损失函数进行加权训练得到。
5.根据权利要求1所述的三维重建方法，其特征在于，
所述利用所述红外图像和可见光图像，获取第一三维点云之后，所述三维重建方法还包括：
基于所述调制条纹图像的条纹周期空间跨度确定红外相机的测量范围；
基于测量范围以及物体的实际深度，获取偏移值；
按照所述偏移值将所述第一三维点云沿预设方向偏移，以得到第三三维点云。
6.根据权利要求1或5所述的三维重建方法，其特征在于，
所述利用所述第一三维点云和所述包裹相位，获取第一绝对相位，包括：
获取红外投影仪的第一标定参数；
利用所述第一三维点云以及所述第一标定参数，求解第二绝对相位；
利用所述第二绝对相位以及所述包裹相位，求解所述第一绝对相位。
7.根据权利要求6所述的三维重建方法，其特征在于，
所述按照所述调制条纹图像与所述第一绝对相位重建物体的第二三维点云，包括：
获取红外相机的第二标定参数；
利用所述第二标定参数以及所述调制条纹图像的像素坐标构建第一方程式；
利用所述第一标定参数以及所述调制条纹图像的像素值构建第二方程式；
利用所述调制条纹图像的像素值以及所述第一绝对相位构建第三方程式；
对所述第一方程式、所述第二方程式以及所述第三方程式进行联合求解，获取所述物体的第二三维点云。
8.根据权利要求7所述的三维重建方法，其特征在于，
所述利用所述调制条纹图像的像素值、所述第一绝对相位构建第三方程式，包括：
获取所述红外投影仪的第三标定参数，其中，所述第一标定参数包括投影矩阵，所述第三标定参数包括横向投影条纹频率、纵向投影条纹频率、投影仪横向分辨率和/或投影仪纵向分辨率；
利用所述调制条纹图像的像素值、所述第一绝对相位以及所述第三标定参数构建所述第三方程式。
9.一种三维重建装置，其特征在于，所述三维重建装置包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-8任一项所述的三维重建方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现权利要求1-8任一项所述的三维重建方法。
CN202310104613.9A 2023-01-18 2023-01-18 三维重建方法、三维重建装置以及计算机可读存储介质 Pending CN116188688A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310104613.9A CN116188688A (zh) 2023-01-18 2023-01-18 三维重建方法、三维重建装置以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310104613.9A CN116188688A (zh) 2023-01-18 2023-01-18 三维重建方法、三维重建装置以及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116188688A true CN116188688A (zh) 2023-05-30

Family

ID=86437860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310104613.9A Pending CN116188688A (zh) 2023-01-18 2023-01-18 三维重建方法、三维重建装置以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116188688A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635849A (zh) * 2024-01-26 2024-03-01 成都万联传感网络技术有限公司 一种动态实时高精度三维成像系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635849A (zh) * 2024-01-26 2024-03-01 成都万联传感网络技术有限公司 一种动态实时高精度三维成像系统
CN117635849B (zh) * 2024-01-26 2024-04-09 成都万联传感网络技术有限公司 一种动态实时高精度三维成像系统

Similar Documents

Publication Publication Date Title
CN109506589B (zh) 一种基于结构光场成像的三维轮廓测量方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
US11354840B2 (en) Three dimensional acquisition and rendering
Liu et al. Real-time 3D surface-shape measurement using background-modulated modified Fourier transform profilometry with geometry-constraint
US20170316602A1 (en) Method for alignment of low-quality noisy depth map to the high-resolution colour image
CN113012277B (zh) 一种基于dlp面结构光多相机重建方法
CN110702034A (zh) 高反光表面三维面形测量方法、服务器及系统
CN109945802B (zh) 一种结构光三维测量方法
CN104596439A (zh) 一种基于相位信息辅助的散斑匹配三维测量方法
CN109307483B (zh) 一种基于结构光系统几何约束的相位展开方法
CN111288925A (zh) 一种基于数字对焦结构照明光场的三维重建方法和装置
CN107967697B (zh) 基于彩色随机二元编码结构照明的三维测量方法和系统
CN106767533A (zh) 基于条纹投影轮廓术的高效相位‑三维映射方法及系统
CN113506348B (zh) 一种基于格雷码辅助的三维坐标计算方法
US20110128286A1 (en) Image restoration apparatus and method thereof
CN116188688A (zh) 三维重建方法、三维重建装置以及计算机可读存储介质
CN113763540A (zh) 一种基于散斑条纹混合调制的三维重建方法及设备
CN115100352A (zh) 光场三维重建方法、装置、电子设备及计算机存储介质
Arbutina et al. Review of 3D body scanning systems
GB2569609A (en) Method and device for digital 3D reconstruction
Zhou et al. 3D shape measurement based on structured light field imaging
CN112802184A (zh) 三维点云重构方法、系统、电子设备及存储介质
CN111462331A (zh) 扩展对极几何并实时计算三维点云的若干方法
CN113551617A (zh) 基于条纹投影的双目双频互补三维面型测量方法
CN112325799A (zh) 一种基于近红外光投影的高精度三维人脸测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination