CN110487216B - 一种基于卷积神经网络的条纹投影三维扫描方法 - Google Patents

一种基于卷积神经网络的条纹投影三维扫描方法 Download PDF

Info

Publication number
CN110487216B
CN110487216B CN201910891571.1A CN201910891571A CN110487216B CN 110487216 B CN110487216 B CN 110487216B CN 201910891571 A CN201910891571 A CN 201910891571A CN 110487216 B CN110487216 B CN 110487216B
Authority
CN
China
Prior art keywords
phase
image
fringe
parallax
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910891571.1A
Other languages
English (en)
Other versions
CN110487216A (zh
Inventor
李欢欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Chishine Optoelectronics Technology Co ltd
Original Assignee
Xi'an Chishine Optoelectronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Chishine Optoelectronics Technology Co ltd filed Critical Xi'an Chishine Optoelectronics Technology Co ltd
Priority to CN201910891571.1A priority Critical patent/CN110487216B/zh
Publication of CN110487216A publication Critical patent/CN110487216A/zh
Application granted granted Critical
Publication of CN110487216B publication Critical patent/CN110487216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于卷积神经网络的条纹投影三维扫描方法，该方法涉及计算机视觉，光学三维扫描和图像处理领域。该扫描方法用计算机生成一张正弦编码条纹图，利用投影装置将其投射在被扫描物体上，并用左右两个相机采集物体上的变形条纹图；对左右相机采集到的左右变形条纹图进行立体匹配，获得初始匹配视差；对左右变形条纹图中的编码相位信息进行相位恢复，利用恢复的相位信息对初始匹配视差进行优化，得到相位优化视差；最后根据标定参数进行视差重建，得到被测物体的三维轮廓。

Description

一种基于卷积神经网络的条纹投影三维扫描方法
技术领域
本发明涉及计算机视觉，光学三维扫描和图像处理领域，特别是一种基于卷积神经网络的条纹投影三维扫描方法。
背景技术
近年来，三维扫描技术在AR/VR、机器人、无人机、无人车等领域有着广泛应用，实现方案主要有结构光、立体视觉和TOF(飞行时间法)三种，其中结构光与立体视觉相结合的技术是当前主流的、应用最广泛的三维扫描方案。
结构光主要有线结构光、正弦条纹结构光、散斑结构光等方法，其中线结构光有较高的纵向分辨能力，但是横向分辨能力较差，并且扫描速度慢；散斑结构光仅需要投影一帧就可以实现三维扫描，但是精度较差；正弦条纹结构光的纵向分辨能力和横向分辨能力较为平均，扫描速度较线结构光快，是最常用的结构光编码方法。正弦条纹结构光的目的主要是为了解决立体视觉中的匹配问题，但是往往需要多帧投影来解决相位恢复和相位包裹，其过程中存在相位恢复难的问题。
发明内容
本发明的目的在于提供一种基于卷积神经网络的条纹投影三维扫描方法，解决使用多帧投影进行相位恢复难的问题。
本发明的实现过程如下：
一种基于卷积神经网络的条纹投影三维扫描方法，包括如下步骤：
(1)用计算机生成一张正弦编码条纹图；
(2)利用投影装置将其投射在被扫描物体上，并用左相机和右相机采集物体上的变形条纹图，得到左条纹图和右条纹图；
(3)对左相机和右相机采集到的左条纹图和右条纹图进行立体匹配，获得初始匹配视差；
(4)对左条纹图和右条纹图中的编码相位信息进行单帧条纹图的相位恢复，利用恢复的相位信息对初始匹配视差进行优化，得到相位优化视差；
(5)根据标定参数进行三维点云重建，得到被测物体的三维轮廓。
进一步，步骤(1)中计算机生成正弦编码条纹图的参数包括背景光强、调制度、条纹周期、初始相位。
进一步，步骤(2)所述左相机和右相机可以为两个相同的相机或两个不同的相机或一个相机和一个投影仪的组合。
进一步，所述步骤(2)具体包括如下步骤：
第一步，硬件搭建及标定参数，
条纹投影三维扫描技术的硬件部分由两个相机和一个投影装置构成；其中，左相机和右相机构成立体视觉系统，投影装置位于两个相机中间，调节三者的夹角至视场范围重合，然后对左相机和右相机组成的立体视觉系统进行标定，得到左相机和右相机的内参以及位置关系，即标定参数，所述参数包括相机有效焦距、光心、像元间距、两相机坐标系间平移矩阵和旋转矩阵；
第二步，图像数据获取，
利用投影装置向被测物体投射编码正弦条纹，左相机和右相机同时对被测物体进行拍摄，得到左条纹图和右条纹图；根据立体视觉系统的极线约束，利用标定参数将全局匹配转化为对应行的匹配，利用标定参数对左条纹图和右条纹图进行极线校正，得到行对准的左条纹图和右条纹图。
进一步，所述步骤(3)具体包括立体匹配模型的搭建、训练和使用；利用预先训练好的立体匹配模型，得到左条纹图和右条纹图之间的视差，将步骤(2)采集到的左条纹图和右条纹图同时输入到立体匹配模型中，利用视差范围约束提取出视差图中的有效区域，得到左右条纹图的匹配结果，即匹配视差图。
进一步，步骤(3)中所述立体匹配模型包括特征提取模块、匹配代价模块和视差估计模块；所述立体匹配模型是深度卷积神经网络，其以条纹图作为输入，以相位图作为输出。
进一步，所述步骤(4)具体包括如下步骤：
(a)单帧条纹图相位恢复，
利用预先训练好的相位恢复模型，从条纹图中恢复出相位信息，将步骤(2)采集到的左条纹图和右条纹图分别作为相位恢复模型的输入，用相位恢复模型的参数对输入图像进行卷积、激活操作，最终得到相位恢复模型恢复出来的相位图，其中，左相位图和右相位图中的相位值都是位于区间(-π，π]内的包裹相位；
(b)相位辅助视差优化，
根据步骤(a)中恢复出的左相位图和右相位图信息，对步骤(3)得到初始匹配视差进行优化，利用步骤(3)中的视差找出左相位图中点在右相位图中的匹配点位置，以该位置为中心在一定范围内进行对应点的相位值搜索，得到相位值相同的点的坐标，从而对视差进行优化。
进一步，所述相位恢复模型包括特征提取模块、正弦信息恢复模块、余弦信息恢复模块、相位计算模块；所述单帧条纹图相位恢复的方法具体是模型输入为条纹图，经过特征提取模块，进行特征图的提取；然后分别利用卷积模块对该特征进行正弦信息的恢复和余弦信息的恢复；最后四象限反正切操作将正余弦信息合并为一张相位图，作为网络的输出，该输出就是模型所要恢复的相位信息；
所述相位辅助视差优化相位辅助视差优化的方法，基于物理空间中某一点在左右相位图中具有相同的相位值这一理论基础，具体是在左相位图中每一点联合获得的立体匹配视差图就可以找到右相位图中对应点，但是立体匹配视差的值存在一定的误差，因此，需要在右相位图对应点的前后进行搜索，寻找与左相位图相位值相等或最接近的点，然后更新视差值，更新视差值的过程中用到了一维线性插值，应用上述方法，更新整张立体匹配视差图得到优化后的视差值。
进一步，所述步骤(5)的具体过程为：根据立体视觉系统的标定参数和重建原理，对优化后的视差图进行立体重建，得到对应的三维点云模型，完成三维扫描。
进一步，所述立体重建是通过重投影矩阵Q重建得到空间点的三维坐标，如下公式：
Figure BDA0002208908050000031
式中：x,y是左相机上观测点的像素坐标；d是优化后的视差；cx,cy校正后左图像的主点位置；cx′,cy′校正后右图像的主点位置，左右图像校正后cy＝cy′；Tx是校正后的基线距离，fx是x方向的焦距，三维坐标是(X/W,Y/W,Z/W)。
本发明的积极效果：
(1)对比传统立体视觉技术，本发明方法能获的更高的测量精度，和更高的鲁棒性。
(2)对比传统正弦(余弦)结构光技术，本发明方法只需要单帧结构光就可以完成三维重建，使得本方法可以进行实时三维测量。而传统的方法需要多帧结构光来提取相位，难以进行实时三维测量。
(3)对比传统正弦(余弦)结构光技术，本发明方法无需投影不同频率结构光进行解包裹，本发明方法只需要一帧结构光就可以完成三维信息的获取。
(4)对比傅立叶变换等单帧相位提取技术，需要根据实际情况选取最优参数，本发明方法利用学习的技术，可以自动化的提取相位。
(5)对比傅立叶变换等单帧相位提取技术，对低频结构光的适应性较差，本发明方法对各种不同频率均具有很好的适应性，并且精度更高。
附图说明
图1为本发明所述基于卷积神经网络的条纹投影三维扫描方法的流程图；
图2为本发明所述基于卷积神经网络的条纹投影三维扫描方法中硬件搭建的位置示意图，图中，1为左相机；2为投影装置；3为右相机；4为被测物体；
图3为本发明所述立体匹配模型的流程图；
图4为本发明所述相位恢复模型的流程图。
具体实施方式
下面结合实施例对本发明做进一步说明。
为了解决使用多帧投影进行相位恢复难的问题，本发明提供一种基于卷积神经网络的条纹投影三维扫描方法。随着深度学习在计算机视觉、语音识别等方面的广泛应用，结构光与深度学习相结合的方法随之产生。基于卷积神经网络的条纹投影三维扫描技术解决相位恢复难的问题，有着重要的应用价值。
下述实施例中，训练集和测试集所采用的数据是由相移轮廓术的中间过程得到的。训练集有2000组图像组成，每组包括校正过的左右条纹图，对应的相位图真值和对应的视差图真值。测试集由200组图像组成，每组包括校正过的左右条纹图，对应的相位图真值和对应的视差图真值。
本实施例所述基于卷积神经网络的条纹投影三维扫描方法，见图1，包括如下步骤：
(1)用计算机生成一张正弦编码条纹图；其中，计算机生成正弦编码条纹图的参数包括背景光强、调制度、条纹周期、初始相位。
(2)利用投影装置将其投射在被扫描物体上，并用左相机和右相机采集物体上的变形条纹图，得到左条纹图和右条纹图；所述左相机和右相机可以为两个相同的相机或两个不同的相机或一个相机和一个投影仪的组合。具体包括如下步骤：
第一步，硬件搭建及标定参数，
条纹投影三维扫描技术的硬件部分由两个相机和一个投影装置构成，如图2所示；其中，左相机和右相机构成立体视觉系统，投影装置位于两个相机中间，调节三者的夹角至视场范围重合，然后对左相机和右相机组成的立体视觉系统进行标定，得到左相机和右相机的内参以及位置关系，即标定参数，所述参数包括相机有效焦距、光心、像元间距、两相机坐标系间平移矩阵和旋转矩阵；
第二步，图像数据获取，
利用投影装置向被测物体投射编码正弦条纹，左相机和右相机同时对被测物体进行拍摄，得到左条纹图和右条纹图；根据立体视觉系统的极线约束，利用标定参数将全局匹配转化为对应行的匹配，利用标定参数对左条纹图和右条纹图进行极线校正，减小匹配范围，降低匹配难度，得到行对准的左条纹图和右条纹图。
(3)对左相机和右相机采集到的左条纹图和右条纹图进行立体匹配，获得初始匹配视差；其具体包括立体匹配模型的搭建、训练和使用；利用预先训练好的立体匹配模型，得到左条纹图和右条纹图之间的视差，将步骤(2)采集到的左条纹图和右条纹图同时输入到立体匹配模型中，利用视差范围约束提取出视差图中的有效区域，得到左右条纹图的匹配结果，即匹配视差图。所述立体匹配模型如图3所示，包括特征提取模块、匹配代价模块和视差估计模块；在立体匹配任务中，最重要的就是匹配特征的选取以及匹配代价的计算。立体匹配网络作为卷积神经网络的一种，有着自动进行特征的选择和提取的特点，并且针对立体匹配问题搭建了特征提取模块和匹配代价模块，据此来进行图像的立体匹配和视差的求取。所述立体匹配模型是深度卷积神经网络，其以条纹图作为输入，以相位图作为输出。训练时，以条纹图和真实相位作为输入，以L1等作为损失函数进行迭代训练，直到损失函数收敛，获得最优的神经网络。所述损失函数包含但不限于L1损失。
(4)对左条纹图和右条纹图中的编码相位信息进行单帧条纹图的相位恢复，利用恢复的相位信息对初始匹配视差进行优化，得到相位优化视差；其具体包括如下步骤：
(a)单帧条纹图相位恢复，
利用预先训练好的相位恢复模型，从条纹图中恢复出相位信息，将步骤(2)采集到的左条纹图和右条纹图分别作为相位恢复模型的输入，用相位恢复模型的参数对输入图像进行卷积、激活操作，最终得到相位恢复模型恢复出来的相位图，其中，左相位图和右相位图中的相位值都是位于区间(-π，π]内的包裹相位；所述相位恢复模型如图4所示，包括特征提取模块、正弦信息恢复模块、余弦信息恢复模块、相位计算模块；所述单帧条纹图相位恢复的方法具体是模型输入为条纹图，经过特征提取模块，进行特征图的提取；然后分别利用卷积模块对该特征进行正弦信息的恢复和余弦信息的恢复；最后四象限反正切操作将正余弦信息合并为一张相位图，作为网络的输出，该输出就是模型所要恢复的相位信息；
(b)相位辅助视差优化，
根据步骤(a)中恢复出的左相位图和右相位图信息，对步骤(3)得到初始匹配视差进行优化，利用步骤(3)中的视差找出左相位图中点在右相位图中的匹配点位置，以该位置为中心在一定范围内进行对应点的相位值搜索，得到相位值相同的点的坐标，从而对视差进行优化。所述相位辅助视差优化相位辅助视差优化的方法，基于物理空间中某一点在左右相位图中具有相同的相位值这一理论基础，具体是在左相位图中每一点联合获得的立体匹配视差图就可以找到右相位图中对应点，但是立体匹配视差的值存在一定的误差，因此，需要在右相位图对应点的前后进行搜索，寻找与左相位图相位值相等或最接近的点，然后更新视差值，更新视差值的过程中用到了一维线性插值，应用上述方法，更新整张立体匹配视差图得到优化后的视差值。
(5)根据标定参数进行三维点云重建，得到被测物体的三维轮廓。其具体过程为：根据立体视觉系统的标定参数和重建原理，对优化后的视差图进行立体重建，得到对应的三维点云模型，完成三维扫描。所述立体重建是通过重投影矩阵Q重建得到空间点的三维坐标，如下公式：
Figure BDA0002208908050000071
式中：x,y是左相机上观测点的像素坐标；d是优化后的视差；cx,cy校正后左图像的主点位置；cx′,cy′校正后右图像的主点位置，左右图像校正后cy＝cy′；Tx是校正后的基线距离，fx是x方向的焦距，三维坐标是(X/W,Y/W,Z/W)。
实施例2
本实施例所述基于卷积神经网络的条纹投影三维扫描方法，包括如下步骤：
(1)用计算机生成一张正弦编码条纹图；
(2)利用投影装置将其投射在被扫描物体上，并用左相机和右相机采集物体上的变形条纹图，得到左条纹图和右条纹图；
(3)对左相机和右相机采集到的左条纹图和右条纹图进行立体匹配，获得初始匹配视差；
(4)对左条纹图和右条纹图中的编码相位信息进行单帧条纹图的相位恢复，利用恢复的相位信息对初始匹配视差进行优化，得到相位优化视差；
(5)根据标定参数进行三维点云重建，得到被测物体的三维轮廓。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，仍属于本发明技术方案的范围内。

Claims (7)

1.一种基于卷积神经网络的条纹投影三维扫描方法，其特征在于，包括如下步骤：
(1)用计算机生成一张正弦编码条纹图；
(2)利用投影装置将其投射在被扫描物体上，并用左相机和右相机采集物体上的变形条纹图，得到左条纹图和右条纹图；
(3)对左相机和右相机采集到的左条纹图和右条纹图进行立体匹配，获得初始匹配视差；
(4)对左条纹图和右条纹图中的编码相位信息进行单帧条纹图的相位恢复，利用恢复的相位信息对初始匹配视差进行优化，得到相位优化视差；
(5)根据标定参数进行三维点云重建，得到被测物体的三维轮廓；
所述步骤(3)具体包括立体匹配模型的搭建、训练和使用；利用预先训练好的立体匹配模型，得到左条纹图和右条纹图之间的视差，将步骤(2)采集到的左条纹图和右条纹图同时输入到立体匹配模型中，利用视差范围约束提取出视差图中的有效区域，得到左右条纹图的匹配结果，即匹配视差图；所述立体匹配模型包括特征提取模块、匹配代价模块和视差估计模块；所述立体匹配模型是深度卷积神经网络，其以条纹图作为输入，以相位图作为输出；
所述步骤(4)具体包括如下步骤：(a)单帧条纹图相位恢复；利用预先训练好的相位恢复模型，从条纹图中恢复出相位信息，将步骤(2)采集到的左条纹图和右条纹图分别作为相位恢复模型的输入，用相位恢复模型的参数对输入图像进行卷积、激活操作，最终得到相位恢复模型恢复出来的相位图，其中，左相位图和右相位图中的相位值都是位于区间(-π，π]内的包裹相位；(b)相位辅助视差优化；根据步骤(a)中恢复出的左相位图和右相位图信息，对步骤(3)得到初始匹配视差进行优化，利用步骤(3)中的视差找出左相位图中点在右相位图中的匹配点位置，以该位置为中心在一定范围内进行对应点的相位值搜索，得到相位值相同的点的坐标，从而对视差进行优化。
2.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于：步骤(1)中计算机生成正弦编码条纹图的参数包括背景光强、调制度、条纹周期、初始相位。
3.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于：步骤(2)所述左相机和右相机为两个相同的相机或两个不同的相机或一个相机和一个投影仪的组合。
4.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于，所述步骤(2)具体包括如下步骤：
第一步，硬件搭建及标定参数，
条纹投影三维扫描技术的硬件部分由两个相机和一个投影装置构成；其中，左相机和右相机构成立体视觉系统，投影装置位于两个相机中间，调节三者的夹角至视场范围重合，然后对左相机和右相机组成的立体视觉系统进行标定，得到左相机和右相机的内参以及位置关系，即标定参数，所述参数包括相机有效焦距、光心、像元间距、两相机坐标系间平移矩阵和旋转矩阵；
第二步，图像数据获取，
利用投影装置向被测物体投射编码正弦条纹，左相机和右相机同时对被测物体进行拍摄，得到左条纹图和右条纹图；根据立体视觉系统的极线约束，利用标定参数将全局匹配转化为对应行的匹配，利用标定参数对左条纹图和右条纹图进行极线校正，得到行对准的左条纹图和右条纹图。
5.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于：所述相位恢复模型包括特征提取模块、正弦信息恢复模块、余弦信息恢复模块、相位计算模块；所述单帧条纹图相位恢复的方法具体是模型输入为条纹图，经过特征提取模块，进行特征图的提取；然后分别利用卷积模块对特征图进行正弦信息的恢复和余弦信息的恢复；最后四象限反正切操作将正余弦信息合并为一张相位图，作为网络的输出，该输出就是模型所要恢复的相位信息；
相位辅助视差优化的方法，基于物理空间中某一点在左右相位图中具有相同的相位值这一理论基础，具体是在左相位图中每一点联合获得的立体匹配视差图就可以找到右相位图中对应点，但是立体匹配视差的值存在一定的误差，因此，需要在右相位图对应点的前后进行搜索，寻找与左相位图相位值相等或最接近的点，然后更新视差值，更新视差值的过程中用到了一维线性插值，应用相位辅助视差优化的方法，更新整张立体匹配视差图得到优化后的视差值。
6.根据权利要求1所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于，所述步骤(5)的具体过程为：根据立体视觉系统的标定参数和重建原理，对优化后的视差图进行立体重建，得到对应的三维点云模型，完成三维扫描。
7.根据权利要求6所述基于卷积神经网络的条纹投影三维扫描方法，其特征在于：所述立体重建是通过重投影矩阵Q重建得到空间点的三维坐标，如下公式：
Figure FDA0002965186780000031
式中：x,y是左相机上观测点的像素坐标；d是优化后的视差；cx,cy校正后左图像的主点位置；cx’,cy’校正后右图像的主点位置，左右图像校正后cy＝cy’；Tx是校正后的基线距离，fx是x方向的焦距，三维坐标是(X/W,Y/W,Z/W)。
CN201910891571.1A 2019-09-20 2019-09-20 一种基于卷积神经网络的条纹投影三维扫描方法 Active CN110487216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910891571.1A CN110487216B (zh) 2019-09-20 2019-09-20 一种基于卷积神经网络的条纹投影三维扫描方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910891571.1A CN110487216B (zh) 2019-09-20 2019-09-20 一种基于卷积神经网络的条纹投影三维扫描方法

Publications (2)

Publication Number Publication Date
CN110487216A CN110487216A (zh) 2019-11-22
CN110487216B true CN110487216B (zh) 2021-05-25

Family

ID=68558874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910891571.1A Active CN110487216B (zh) 2019-09-20 2019-09-20 一种基于卷积神经网络的条纹投影三维扫描方法

Country Status (1)

Country Link
CN (1) CN110487216B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113310438B (zh) * 2020-02-26 2023-04-07 广东博智林机器人有限公司 平整度测量方法、装置、计算机设备和存储介质
CN111351450B (zh) * 2020-03-20 2021-09-28 南京理工大学 基于深度学习的单帧条纹图像三维测量方法
CN111461295B (zh) * 2020-03-20 2022-08-16 南京理工大学 基于多尺度生成对抗神经网络的单帧条纹分析方法
CN111563952B (zh) * 2020-03-30 2023-03-14 北京理工大学 基于相位信息与空间纹理特征实现立体匹配方法及系统
CN111651954B (zh) * 2020-06-10 2023-08-18 嘉兴市像景智能装备有限公司 基于深度学习对smt电子元件三维重建的方法
CN111947599B (zh) * 2020-07-24 2022-03-22 南京理工大学 基于学习的条纹相位恢复和散斑相关的三维测量方法
CN111947600B (zh) * 2020-07-24 2022-05-20 南京理工大学 基于相位级次代价滤波的鲁棒立体相位展开方法
CN111928794B (zh) * 2020-08-04 2022-03-11 北京理工大学 基于深度学习的闭合条纹兼容单幅干涉图解相方法及装置
CN112212806B (zh) * 2020-09-18 2022-09-13 南京理工大学 一种基于相位信息导向的立体相位展开方法
CN112419386B (zh) * 2020-09-18 2022-10-14 南京理工大学 一种基于深度学习的端到端散斑投影三维测量方法
CN111879258A (zh) * 2020-09-28 2020-11-03 南京理工大学 基于条纹图像转换网络FPTNet的动态高精度三维测量方法
CN112330814B (zh) * 2020-11-24 2023-11-07 革点科技(深圳)有限公司 一种基于机器学习的结构光三维重建方法
CN112504162B (zh) * 2020-12-04 2022-07-26 江苏鑫晨光热技术有限公司 一种定日镜面形快速解算系统及方法
CN112833818B (zh) * 2021-01-07 2022-11-15 南京理工大学智能计算成像研究院有限公司 一种单帧条纹投影三维面型测量方法
CN113916153B (zh) * 2021-10-12 2023-11-28 深圳市其域创新科技有限公司 一种主被动结合的结构光三维测量方法
CN113884027B (zh) * 2021-12-02 2022-03-18 南京理工大学 基于自监督深度学习的几何约束相位展开方法
CN115063468B (zh) * 2022-06-17 2023-06-27 梅卡曼德（北京）机器人科技有限公司 双目立体匹配方法、计算机存储介质以及电子设备
CN115379182B (zh) * 2022-08-19 2023-11-24 四川大学 一种双向结构光编解码方法、装置、电子设备及存储介质
CN115816471B (zh) * 2023-02-23 2023-05-26 无锡维度机器视觉产业技术研究院有限公司 多视角3d视觉引导机器人的无序抓取方法、设备及介质
CN118293799B (zh) * 2024-04-12 2024-09-20 苏州朗伯威智能科技有限公司 一种相移结构光三维成像方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956597A (zh) * 2016-05-04 2016-09-21 浙江大学 一种基于卷积神经网络的双目立体匹配方法
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法
CN107146248A (zh) * 2017-04-27 2017-09-08 杭州电子科技大学 一种基于双流卷积神经网络的立体匹配方法
CN108230338A (zh) * 2018-01-11 2018-06-29 温州大学 一种基于卷积神经网络的立体图像分割方法
CN108256504A (zh) * 2018-02-11 2018-07-06 苏州笛卡测试技术有限公司 一种基于深度学习的三维动态手势识别方法
KR101957089B1 (ko) * 2018-01-08 2019-03-11 인하대학교 산학협력단 스테레오 정합을 위한 심층 자기유도 비용집계 방법 및 시스템
CN110148181A (zh) * 2019-04-25 2019-08-20 青岛康特网络科技有限公司 一种通用双目立体匹配方法
CN110163817A (zh) * 2019-04-28 2019-08-23 浙江工业大学 一种基于全卷积神经网络的相位主值提取方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956597A (zh) * 2016-05-04 2016-09-21 浙江大学 一种基于卷积神经网络的双目立体匹配方法
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法
CN107146248A (zh) * 2017-04-27 2017-09-08 杭州电子科技大学 一种基于双流卷积神经网络的立体匹配方法
KR101957089B1 (ko) * 2018-01-08 2019-03-11 인하대학교 산학협력단 스테레오 정합을 위한 심층 자기유도 비용집계 방법 및 시스템
CN108230338A (zh) * 2018-01-11 2018-06-29 温州大学 一种基于卷积神经网络的立体图像分割方法
CN108256504A (zh) * 2018-02-11 2018-07-06 苏州笛卡测试技术有限公司 一种基于深度学习的三维动态手势识别方法
CN110148181A (zh) * 2019-04-25 2019-08-20 青岛康特网络科技有限公司 一种通用双目立体匹配方法
CN110163817A (zh) * 2019-04-28 2019-08-23 浙江工业大学 一种基于全卷积神经网络的相位主值提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fringe pattern analysis using deep learning;Shijie Feng,et al.;《Advanced photonics》;20180708;page:1-7 *
基于卷级神经网络的双目立体视觉研究;白鹏;《中国优秀硕士学位论文全文数据库（电子期刊）》;20170215(第2期);第1-2、6-7、13-17、23、30-40、52-55页 *

Also Published As

Publication number Publication date
CN110487216A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110487216B (zh) 一种基于卷积神经网络的条纹投影三维扫描方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
CN111563564B (zh) 基于深度学习的散斑图像逐像素匹配方法
CN111351450B (zh) 基于深度学习的单帧条纹图像三维测量方法
JP5285619B2 (ja) カメラシステムのキャリブレーション
US8836766B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
US9025862B2 (en) Range image pixel matching method
CN109919911A (zh) 基于多视角光度立体的移动三维重建方法
CN107990846B (zh) 基于单帧结构光的主被动结合深度信息获取方法
CN109215118B (zh) 一种基于图像序列的增量式运动结构恢复优化方法
CN104539928A (zh) 一种光栅立体印刷图像合成方法
CN111429571B (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN112833818B (zh) 一种单帧条纹投影三维面型测量方法
CN109520480A (zh) 基于双目立体视觉的测距方法及测距系统
CN110686652A (zh) 一种基于深度学习和结构光相结合的深度测量方法
CN111951310A (zh) 双目立体匹配方法、视差图获取装置和计算机存储介质
CN114581515B (zh) 一种基于最优路径转换的多相机标定参数优化方法
Furukawa et al. Multiview projectors/cameras system for 3d reconstruction of dynamic scenes
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
CN114877826B (zh) 一种双目立体匹配三维测量方法、系统及存储介质
CN110533733B (zh) 一种基于计算鬼成像的自动搜索目标深度的方法
CN113551617B (zh) 基于条纹投影的双目双频互补三维面型测量方法
CN113432550B (zh) 一种基于相位匹配的大尺寸零件三维测量拼接方法
CN116433760A (zh) 一种水下导航定位系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Huanhuan

Inventor before: Yang Tao

Inventor before: Zhang Guanliang

Inventor before: Li Huanhuan

GR01 Patent grant
GR01 Patent grant