CN112419386A - 一种基于深度学习的端到端散斑投影三维测量方法 - Google Patents

一种基于深度学习的端到端散斑投影三维测量方法 Download PDF

Info

Publication number
CN112419386A
CN112419386A CN202010982857.3A CN202010982857A CN112419386A CN 112419386 A CN112419386 A CN 112419386A CN 202010982857 A CN202010982857 A CN 202010982857A CN 112419386 A CN112419386 A CN 112419386A
Authority
CN
China
Prior art keywords
tensor
size
dimensional
obtaining
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010982857.3A
Other languages
English (en)
Other versions
CN112419386B (zh
Inventor
尹维
左超
陈钱
冯世杰
孙佳嵩
胡岩
陶天阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010982857.3A priority Critical patent/CN112419386B/zh
Publication of CN112419386A publication Critical patent/CN112419386A/zh
Priority to US18/025,815 priority patent/US20240020866A1/en
Priority to PCT/CN2021/113187 priority patent/WO2022057556A1/zh
Application granted granted Critical
Publication of CN112419386B publication Critical patent/CN112419386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的端到端散斑投影三维测量方法。首先使用投影仪投影、双目相机同步采集散斑图案。对散斑图案进行立体校正，输入到立体匹配网络中，基于共享权重的特征提取子网络对散斑图案进行处理得到一系列低分辨率的3维特征张量。特征张量输入到显着性物体检测子网络中用于检测散斑图中的前景信息以生成全分辨率的有效掩膜图。使用两个视角的特征张量根据候选视差范围生成4维匹配成本体，经过一系列三维卷积层滤波实现成本聚合，通过视差回归得到初始视差图。结合有效掩膜图和初始视差图得到最终视差图，实现单帧、鲁棒的绝对三维形貌测量。本发明仅需要投影一张散斑图案即可实现单帧、鲁棒的绝对三维形貌测量。

Description

一种基于深度学习的端到端散斑投影三维测量方法
技术领域
本发明属于光学测量技术领域，具体为一种基于深度学习的端到端散斑投影三维测量方法。
背景技术
近几十年，快速三维形貌测量技术被广泛的应用于各个领域，如智能监控，工业质量控制和三维人脸识别等。在众多三维形貌测量方法中，基于结构光和三角测量原理的散斑投影轮廓术是最实用的技术之一，由于它具有无接触，全场，快速和高效等优点。高度适合动态3D采集的散斑投影轮廓术(SPP)，可以通过投影单一散斑图案来建立一对散斑立体图像之间的全局对应关系。但是SPP存在传统立体匹配算法的低匹配精度的问题。
发明内容
本发明的目的在于提出了一种基于深度学习的端到端散斑投影三维测量方法。
实现本发明目的的技术解决方案为：一种基于深度学习的端到端散斑投影三维测量方法，包括如下步骤：
步骤一：投影仪投影、双目相机同步采集散斑图案，对散斑图案进行立体校正；
步骤二：基于共享权重的特征提取子网络对散斑图案进行处理得到设定尺寸的低分辨率的3维特征张量；
步骤三：将特征张量输入到显着性物体检测子网络中检测散斑图中的前景信息，生成全分辨率的有效掩膜图；
步骤四：根据两个视角的特征张量以及候选视差范围生成4维匹配成本体，将4维匹配成本体输入三维卷积层滤波实现成本聚合，通过视差回归得到初始视差图；
步骤五：根据有效掩膜图和初始视差图得到最终视差图。
优选地，步骤二基于共享权重的特征提取子网络对散斑图案进行处理得到设定尺寸的低分辨率的3维特征张量的具体过程为：尺寸大小为H×W，散斑图案经过3个具有相同输出通道数的卷积层得到尺寸为32×H×W的张量；
经过1个具有步长为2的卷积层得到尺寸为32×H/2×W/2的张量；连续经过3个残差块得到尺寸为32×H/2×W/2的张量；
经过16个残差块得到尺寸为64×H/2×W/2的张量；
经过6个残差块得到尺寸为128×H/2×W/2的张量；
尺寸为128×H/2×W/2的张量然后分别经过大小为(5，5)、(10，10)、(20，20)、(40，40)的平均池化层与卷积层进行不同尺度的降采样，并使用双线性插值得到原分辨率的张量；
并将原分辨率的张量与尺寸为64×H/2×W/2的张量、尺寸为128×H/2×W/2的张量在特征通道上进行拼接，得到尺寸为320×H/2×W/2的张量；
经过两个卷积层得到尺寸为32×H/2×W/2的张量。
优选地，步骤三将特征张量输入到显着性物体检测子网络中检测散斑图中的前景信息，生成全分辨率的有效掩膜图的具体过程为：尺寸为32×H/2×W/2的张量经过3个残差块得到尺寸为64×H/2×W/2的张量；经过一个反卷积层得到尺寸为32×H×W的张量；经过3个残差块得到尺寸为32×H×W的张量；通过一个不含激活操作的卷积层得到尺寸为1×H×W的张量；经过一个Sigmoid层得到最终全分辨率的有效掩膜图。
优选地，步骤四中使用两个视角的特征张量根据候选视差范围生成的4维匹配成本体具体为：
Cost(1：32，Di-Dmin+1，1：H，1：W-Di)＝Featureleft(1：32，1：H，1：W-Di)
Cost(33：64，Di-Dmin+1，1：H，1：W-Di)＝Featureright(1：32，1：H，Di：W)
其中，Featureleft和Featureright为两个视角的特征张量，32×H/2×W/2为两个视角的特征张量的尺寸，[Dmin，Dmax]为视差范围，Di为候选视差。
优选地，通过视差回归得到初始视差图的过程为：
匹配成本体经过Softmax层，通过视差回归得到初始视差图，如下式所示：
Figure BDA0002688178950000021
其中，[Dmin，Dmax]为视差范围，Softmax(·)代表Softmax操作，Disparity代表通过视差回归得到初始视差图，Cost为经过成本滤波后的4维匹配成本体；
使用双线性插值得到原分辨率的初始视差图。
优选地，步骤五根据有效掩膜图和初始视差图得到的最终视差图，如下式所示：
Disparityfinal(x，y)＝Disparity(x，y)*Mask(x，y)
式中，Disparity为初始视差图，Mask为有效掩膜图。
本发明与现有技术相比，其显著优点为：本发明仅需要投影一张散斑图案即可实现单帧、鲁棒的绝对三维形貌测量。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为一种基于深度学习的端到端散斑投影三维测量方法的流程示意图。
图2为本发明的基于深度学习的立体匹配算法的基本原理图。
图3为利用本发明获得的结果的示意图。
具体实施方式
一种基于深度学习的端到端散斑投影三维测量方法，首先使用投影仪投影、双目相机同步采集散斑图案。对散斑图案进行立体校正，输入到立体匹配网络中。其中，基于共享权重的特征提取子网络对散斑图案进行处理得到一系列低分辨率的3维特征张量。特征张量输入到显着性物体检测子网络中用于检测散斑图中的前景信息以生成全分辨率的有效掩膜图。使用两个视角的特征张量根据候选视差范围生成4维匹配成本体，经过一系列三维卷积层滤波实现成本聚合，通过视差回归得到初始视差图。结合有效掩膜图和初始视差图得到最终视差图，从而实现单帧、鲁棒的绝对三维形貌测量。本发明仅需要投影一张散斑图案即可实现单帧、鲁棒的绝对三维形貌测量。具体步骤为：
步骤一：首先使用投影仪投影、双目相机同步采集散斑图案。对散斑图案进行立体校正，输入到立体匹配网络中。
步骤二：基于共享权重的特征提取子网络对散斑图案进行处理得到一系列低分辨率的3维特征张量。
在立体匹配网络的基于共享权重的特征提取子网络中，散斑图案的尺寸大小为H×W。首先经过3个具有相同输出通道数的卷积层得到尺寸为32×H×W的张量，然后经过1个具有步长为2的卷积层得到尺寸为32×H/2×W/2的张量，然后连续经过3个残差块得到尺寸为32×H/2×W/2的张量，再经过16个残差块得到尺寸为64×H/2×W/2的张量，再经过6个残差块得到尺寸为128×H/2×W/2的张量。尺寸为128×H/2×W/2的张量然后分别经过大小为(5，5)、(10，10)、(20，20)、(40，40)的平均池化层与卷积层对张量进行不同尺度的降采样，然后使用双线性插值得到原分辨率的张量。并将这些原分辨率的张量与尺寸为64×H/2×W/2的张量、尺寸为128×H/2×W/2的张量在特征通道上进行拼接，得到尺寸为320×H/2×W/2的张量。最后经过两个卷积层得到尺寸为32×H/2×W/2的张量。
步骤三：特征张量输入到显着性物体检测子网络中用于检测散斑图中的前景信息以生成全分辨率的有效掩膜图。
具体地，尺寸为32×H/2×W/2的张量首先经过3个残差块得到尺寸为64×H/2×W/2的张量，然后经过一个反卷积层得到尺寸为32×H×W的张量，经过3个残差块得到尺寸为32×H×W的张量，通过一个不含激活操作的卷积层得到尺寸为1×H×W的张量，最后经过一个Sigmoid层得到最终全分辨率的有效掩膜图Mask，从而实现散斑图中的前景信息检测。
步骤四：使用两个视角的特征张量根据候选视差范围生成4维匹配成本体，经过多个三维卷积层滤波实现成本聚合，通过视差回归得到初始视差图。
进一步的实施例汇总，两个视角的特征张量的尺寸为32×H/2×W/2，视差范围为[Dmin，Dmax]，对于每一个候选视差Di，对应的匹配成本体Cost计算如下式所示：
Cost(1：32，Di-Dmin+1，1：H，1：W-Di)＝Featureleft(1：32，1：H，1：W-Di)
Cost(33：64，Di-Dmin+1，1：H，1：W-Di)＝Featureright(1：32，1：H，Di：W)
其中，Featureleft和Featureright为两个视角的特征张量。因此，根据候选视差范围生成4维匹配成本体的尺寸为64×(Dmax-Dmin+1)×H/2×W/2。
然后，4维匹配成本体经过多个三维卷积层滤波实现成本聚合，从而得到尺寸为1×(Dmax-Dmin+1)×H/2×W/2的匹配成本体。然后经过Softmax层，通过视差回归得到初始视差图，如下式所示：
Figure BDA0002688178950000041
最后使用双线性插值得到原分辨率的初始视差图。
步骤五：结合有效掩膜图Mask和初始视差图Disparity得到最终视差图，从而实现单帧、鲁棒的绝对三维形貌测量。结合有效掩膜图Mask和初始视差图Disparity得到最终视差图Disparityfinal，如下式所示：
Disparityfinal(x，y)＝Disparity(x，y)*Mask(x，y)
然后基于两个相机的标定参数，将视差数据转为三维信息，最终实现单帧、鲁棒的绝对三维形貌测量。
本发明提出的立体匹配网络包含以下几个部分：
1、基于共享权重的特征提取子网络；
2、显着性物体检测子网络；
3、生成初始的4维匹配成本体；
4、经过一系列三维卷积层滤波实现成本聚合得到成本聚合后的4维匹配成本；
5、成本聚合后的4维匹配成本通过视差回归得到初始视差图；
6、结合有效掩膜图和初始视差图得到最终视差图。
实施例：
为验证本发明的有效性，使用两台相机(型号acA640-750um，Basler)，一台DLP投影仪(型号LightCrafter 4500PRO，TI)以及一台计算机构建了一套基于深度学习的端到端散斑投影三维测量装置。该套装置在进行物体的三维测量时的拍摄速度为25帧每秒。利用步骤一所述，使用投影仪投影、双目相机同步采集散斑图案。对散斑图案进行立体校正，输入到立体匹配网络中。图2为本发明的基于深度学习的立体匹配算法的基本原理图。利用步骤二至步骤五所述，最终实现单帧、鲁棒的绝对三维形貌测量。整个实验中，投影并拍摄1200组数据，其中800组作为训练集，200组作为验证集，200组作为测试集。值得注意的是，训练集、验证集和测试集中的数据均不重复使用。设置网络的损失函数为均方误差(MSE)，优化器为Adam，设置网络的训练周期为500轮。图3为本发明的基于深度学习的端到端散斑投影三维测量方法的结果图。图3这个结果证明，本发明仅需要投影一张散斑图案即可实现单帧、鲁棒的绝对三维形貌测量。

Claims (6)

1.一种基于深度学习的端到端散斑投影三维测量方法，其特征在于，包括如下步骤：
步骤一：投影仪投影、双目相机同步采集散斑图案，对散斑图案进行立体校正；
步骤二：基于共享权重的特征提取子网络对散斑图案进行处理得到设定尺寸的低分辨率的3维特征张量；
步骤三：将特征张量输入到显着性物体检测子网络中检测散斑图中的前景信息，生成全分辨率的有效掩膜图；
步骤四：根据两个视角的特征张量以及候选视差范围生成4维匹配成本体，将4维匹配成本体输入三维卷积层滤波实现成本聚合，通过视差回归得到初始视差图；
步骤五：根据有效掩膜图和初始视差图得到最终视差图。
2.根据权利要求1所述的基于深度学习的端到端散斑投影三维测量方法，其特征在于，步骤二基于共享权重的特征提取子网络对散斑图案进行处理得到设定尺寸的低分辨率的3维特征张量的具体过程为：尺寸大小为H×W，散斑图案经过3个具有相同输出通道数的卷积层得到尺寸为32×H×W的张量；
经过1个具有步长为2的卷积层得到尺寸为32×H/2×W/2的张量；连续经过3个残差块得到尺寸为32×H/2×W/2的张量；
经过16个残差块得到尺寸为64×H/2×W/2的张量；
经过6个残差块得到尺寸为128×H/2×W/2的张量；
尺寸为128×H/2×W/2的张量然后分别经过大小为(5,5)、(10,10)、(20,20)、(40,40)的平均池化层与卷积层进行不同尺度的降采样，并使用双线性插值得到原分辨率的张量；
并将原分辨率的张量与尺寸为64×H/2×W/2的张量、尺寸为128×H/2×W/2的张量在特征通道上进行拼接，得到尺寸为320×H/2×W/2的张量；
经过两个卷积层得到尺寸为32×H/2×W/2的张量。
3.根据权利要求1所述的基于深度学习的端到端散斑投影三维测量方法，其特征在于，步骤三将特征张量输入到显着性物体检测子网络中检测散斑图中的前景信息，生成全分辨率的有效掩膜图的具体过程为：尺寸为32×H/2×W/2的张量经过3个残差块得到尺寸为64×H/2×W/2的张量；经过一个反卷积层得到尺寸为32×H×W的张量；经过3个残差块得到尺寸为32×H×W的张量；通过一个不含激活操作的卷积层得到尺寸为1×H×W的张量；经过一个Sigmoid层得到最终全分辨率的有效掩膜图。
4.根据权利要求1所述的基于深度学习的端到端散斑投影三维测量方法，其特征在于，步骤四中使用两个视角的特征张量根据候选视差范围生成的4维匹配成本体具体为：
Cost(1:32,Di-Dmin+1,1:H,1:W-Di)＝Featureleft(1:32,1:H,1:W-Di)
Cost(33:64,Di-Dmin+1,1:H,1:W-Di)＝Featureright(1:32,1:H,Di:W)
其中，Featureleft和Featureright为两个视角的特征张量，32×H/2×W/2为两个视角的特征张量的尺寸，[Dmin,Dmax]为视差范围，Di为候选视差。
5.根据权利要求1所述的基于深度学习的端到端散斑投影三维测量方法，其特征在于，通过视差回归得到初始视差图的过程为：
匹配成本体经过Softmax层，通过视差回归得到初始视差图，如下式所示：
Figure FDA0002688178940000021
其中，[Dmin,Dmax]为视差范围，Softmax(·)代表Softmax操作，Disparity代表通过视差回归得到初始视差图，Cost为经过成本滤波后的4维匹配成本体；
使用双线性插值得到原分辨率的初始视差图。
6.根据权利要求1所述的基于深度学习的端到端散斑投影三维测量方法，其特征在于，步骤五根据有效掩膜图和初始视差图得到的最终视差图，如下式所示：
Disparityfinal(x,y)＝Disparity(x,y)*Mask(x,y)
式中，Disparity为初始视差图，Mask为有效掩膜图。
CN202010982857.3A 2020-09-18 2020-09-18 一种基于深度学习的端到端散斑投影三维测量方法 Active CN112419386B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010982857.3A CN112419386B (zh) 2020-09-18 2020-09-18 一种基于深度学习的端到端散斑投影三维测量方法
US18/025,815 US20240020866A1 (en) 2020-09-18 2021-08-18 A three-dimensional measurement method based on end-to-end deep learning for speckle projection
PCT/CN2021/113187 WO2022057556A1 (zh) 2020-09-18 2021-08-18 一种基于深度学习的端到端散斑投影三维测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010982857.3A CN112419386B (zh) 2020-09-18 2020-09-18 一种基于深度学习的端到端散斑投影三维测量方法

Publications (2)

Publication Number Publication Date
CN112419386A true CN112419386A (zh) 2021-02-26
CN112419386B CN112419386B (zh) 2022-10-14

Family

ID=74855304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010982857.3A Active CN112419386B (zh) 2020-09-18 2020-09-18 一种基于深度学习的端到端散斑投影三维测量方法

Country Status (3)

Country Link
US (1) US20240020866A1 (zh)
CN (1) CN112419386B (zh)
WO (1) WO2022057556A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022057556A1 (zh) * 2020-09-18 2022-03-24 南京理工大学 一种基于深度学习的端到端散斑投影三维测量方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704000B (zh) * 2023-08-04 2023-10-03 东莞市爱培科技术有限公司 一种无监督学习遮挡区域的立体匹配方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101608908A (zh) * 2009-07-20 2009-12-23 杭州先临三维科技股份有限公司 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法
CN110487216A (zh) * 2019-09-20 2019-11-22 西安知象光电科技有限公司 一种基于卷积神经网络的条纹投影三维扫描方法
CN111145342A (zh) * 2019-12-27 2020-05-12 山东中科先进技术研究院有限公司 一种双目散斑结构光三维重建方法及系统
CN111563564A (zh) * 2020-07-20 2020-08-21 南京理工大学智能计算成像研究院有限公司 基于深度学习的散斑图像逐像素匹配方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740884B2 (en) * 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
CN110111271B (zh) * 2019-04-24 2021-06-22 北京理工大学 一种基于侧抑制网络的单像素成像方法
CN112419386B (zh) * 2020-09-18 2022-10-14 南京理工大学 一种基于深度学习的端到端散斑投影三维测量方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101608908A (zh) * 2009-07-20 2009-12-23 杭州先临三维科技股份有限公司 数字散斑投影和相位测量轮廓术相结合的三维数字成像方法
CN110487216A (zh) * 2019-09-20 2019-11-22 西安知象光电科技有限公司 一种基于卷积神经网络的条纹投影三维扫描方法
CN111145342A (zh) * 2019-12-27 2020-05-12 山东中科先进技术研究院有限公司 一种双目散斑结构光三维重建方法及系统
CN111563564A (zh) * 2020-07-20 2020-08-21 南京理工大学智能计算成像研究院有限公司 基于深度学习的散斑图像逐像素匹配方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022057556A1 (zh) * 2020-09-18 2022-03-24 南京理工大学 一种基于深度学习的端到端散斑投影三维测量方法

Also Published As

Publication number Publication date
CN112419386B (zh) 2022-10-14
WO2022057556A1 (zh) 2022-03-24
US20240020866A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
CN110220493B (zh) 一种双目测距方法及其装置
CN112419386B (zh) 一种基于深度学习的端到端散斑投影三维测量方法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN112700499A (zh) 一种辐照环境下基于深度学习的视觉定位仿真方法及系统
CN111351450A (zh) 基于深度学习的单帧条纹图像三维测量方法
Kim et al. Adaptive 3D sensing system based on variable magnification using stereo vision and structured light
CN106570899B (zh) 一种目标物体检测方法及装置
CN111947599B (zh) 基于学习的条纹相位恢复和散斑相关的三维测量方法
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN113762358A (zh) 一种基于相对深度训练的半监督学习三维重建方法
CN113838191A (zh) 一种基于注意力机制和单目多视角的三维重建方法
WO2024032233A1 (zh) 基于双目视觉的立体摄影测量方法
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN112001973B (zh) 基于数字散斑相关的快速三维人头测量方法
CN111105451B (zh) 一种克服遮挡效应的驾驶场景双目深度估计方法
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
CN115482268A (zh) 一种基于散斑匹配网络的高精度三维形貌测量方法与系统
CN116468769A (zh) 一种基于图像的深度信息估计方法
CN113313740B (zh) 一种基于平面连续性的视差图和表面法向量联合学习方法
CN112270701B (zh) 基于分组距离网络的视差预测方法、系统及存储介质
Furukawa et al. Multiview projectors/cameras system for 3d reconstruction of dynamic scenes
JP7230722B2 (ja) 画像処理装置及び画像処理方法
Dong et al. Point Cloud Segmentation Algorithm Based on Deep Learning and 3D Reconstruction
CN109389629B (zh) 立体匹配自适应视差等级的确定方法
CN113808070A (zh) 一种双目数字散斑图像相关的视差测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant