CN111563564A - 基于深度学习的散斑图像逐像素匹配方法 - Google Patents

基于深度学习的散斑图像逐像素匹配方法 Download PDF

Info

Publication number
CN111563564A
CN111563564A CN202010695710.6A CN202010695710A CN111563564A CN 111563564 A CN111563564 A CN 111563564A CN 202010695710 A CN202010695710 A CN 202010695710A CN 111563564 A CN111563564 A CN 111563564A
Authority
CN
China
Prior art keywords
speckle image
pixel
matching
target
speckle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010695710.6A
Other languages
English (en)
Other versions
CN111563564B (zh
Inventor
张晓磊
左超
沈德同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Original Assignee
Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd filed Critical Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority to CN202010695710.6A priority Critical patent/CN111563564B/zh
Publication of CN111563564A publication Critical patent/CN111563564A/zh
Application granted granted Critical
Publication of CN111563564B publication Critical patent/CN111563564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开为一种基于深度学习的散斑图像逐像素匹配方法，可进行单帧散斑图像分析，获得高精度的三维信息。步骤如下：构建基于孪生卷积神经网络的模型，经双目立体视觉系统采集的训练数据训练，散斑图像经过该训练完成的模型，可得到左右视角散斑图像的视差值，将视差值结合双目立体视觉系统的标定数据获得物体的三维信息。本发明与条纹投影计算视差的方法相比，本方法只需一幅散斑图像就可以实现视差数据的计算；与传统的散斑匹配算法相比，利用本方法获得的测量结果精度更高；与基础的卷积神经网络相比，利用本方法重构出来的三维数据在细节处有着更高精度的测量结果。

Description

基于深度学习的散斑图像逐像素匹配方法
技术领域
本发明涉及光学测量技术领域，具体涉及一种基于深度学习的散斑图像逐像素匹配方法。
背景技术
近年来，三维形状测量技术在医学成像、机器人导航、人脸识别、工业检测和人机交互等领域有着重要的地位。光学三维测量技术可以根据照明方式分为：被动式三维测量和主动式三维测量。被动式三维测量技术是通过摄像系统直接采集物体的二维图像，并确定其深度信息，最终形成物体的三维面型数据。因为这类方法一般测量精度较低，所以不便在人脸识别、工业检测等领域内使用。主动式三维测量技术通过结构光照明的方式向待测物体投影按照一定模式和规则编码的图像，并使用相对应的解码策略获得待测物体三维信息。结构光三维测量技术具有非接触性、高测量精度、高自动化、高灵敏度等优点而日益受到人们重视。
常见的两种结构光三维测量方法分别为：条纹投影方法和散斑投影方法。条纹投影方法通过向物体投影正弦条纹，并且采集投影到物体上的条纹图像。因为投影在物体上的条纹会根据物体的三维面型产生不同程度地形变，所以根据形变的条纹图像计算出待测物体在两个视角的相位信息，最终利用相位信息计算出物体的三维数据。虽然条纹投影的方法可以实现高精度的三维测量，但是由于正弦条纹本身的周期性特性，使其无法通过单幅条纹图像获得准确且连续的相位信息，这在一定程度上限制了条纹投影在动态测量中的应用（文献“Temporal phase unwrapping algorithms for fringe projectionprofilometry: A comparative review”，作者C Zuo等）。
散斑投影是通过投影随机散斑图像到物体表面，增加物体表面的特征信息。利用相似函数对散斑图像进行计算，获得散斑图像的匹配关系。虽然散斑投影的方法可以通过单幅散斑图像实现物体的三维测量，但是相似函数是直接利用散斑图像的光强进行计算，因此无法获得较为准确的匹配关系。为了解决散斑投影方法的测量精度较低的问题，人们使用更准确的匹配算法，例如利用不同散斑图像实现的去相关匹配算法、利用四幅不同密度的二值散斑图像实现的时空逻辑相关（STL）立体匹配算法等，提高散斑投影的测量精度。但是这些匹配算法均使用了多张散斑图像进行三维测量，并且计算量较大。因此，目前尚缺乏一种精度高、细节保真度高、鲁棒性强的单帧散斑图像匹配方法。
发明内容
本发明的目的在于提供一种精度高、细节保真度高、鲁棒性强的单帧散斑图像匹配方法，具体的是一种基于深度学习的散斑图像逐像素匹配方法。
本发明的技术方案如下：一种基于深度学习的散斑图像逐像素匹配方法，步骤如下：
步骤一．采集训练数据，并计算训练数据的视差值；
步骤1.1．利用双目立体视觉系统投影条纹和散斑图案，左右视角的相机对多个场景进行采集，对于每一个场景，左相机采集多个不同条纹频率的相移条纹图像及一幅目标散斑图像，右相机采集一副参考散斑图像；
步骤1.2．对相移条纹图像进行分析计算，获得场景在左右视角的绝对相位；
步骤1.3．寻找目标散斑图像有效像素点在参考散斑图像同一极线下绝对相位误差最小值的像素点作为目标像素点的匹配点，两者横坐标的差为该目标像素点的视差值；
步骤二．构建孪生卷积神经网络，并训练；
步骤2.1．以目标散斑图像中的一个有效目标像素点为中心做一个R×R大小的目标散斑图像块，以参考散斑图像中共D个参考像素点做一个R×(R+D-1)大小的参考散斑图像块；将目标散斑图像块与参考散斑图像块作为神经网络模型的输入数据，通过两个不同的通道输入到两个以共享权重的方式进行关联的孪生卷积神经网络中，分别经过多层卷积转化为[1,f]和[D,f]两组特征张量，将两组特征张量以点乘的形式结合为匹配系数，并以匹配曲线的形式输出；
步骤2.2．通过获得的视差值做出用于标记训练数据的标签匹配曲线，然后使用多组训练数据以监督学习的方式完成深度学习模型的训练；
步骤三．利用训练好的模型获得匹配相似度，经后处理算法计算后，寻找匹配相似度中数值最高的参考像素点作为目标像素点的匹配点，计算得到目标像素点的视差值，并转换为目标像素点的三维数据，通过计算散斑图像中所有有效像素点的三维数据获得物体完整的三维信息。
优选的：步骤1.2中，相移条纹投影的分析计算方法具体为N步相移法和多频时间相位展开算法。
优选的：步骤2.1中，孪生卷积神经网络的子网络为卷积神经网络，由若干个卷积层组成，卷积层采用的padding方式为VALID，在两个卷积子网络中除了最后一层卷积层不使用激活函数，其余的卷积层中使用的激活函数均为线性整流函数。
优选的：步骤三中，将后处理算法包括半全局匹配算法、亚像素运算及左右一致性检验。
本发明与传统方法相比，具有如下优点：与条纹投影计算视差的方法相比，本方法只需一幅散斑图像就可以实现视差数据的计算；与传统的散斑匹配算法相比，利用本方法获得的测量结果精度更高；与基础的卷积神经网络（CNN）相比，利用本方法重构出来的三维数据在细节处有着更高精度的测量结果。
附图说明
图1为本发明实施例的模型示意图。
图2为本发明实施例中用于标记训练数据的匹配系数曲线。
图3为本发明实施例的待测场景。
图4为本发明实施例中左相机采集的高频条纹图像。
图5为本发明实施例中左视角采集的散斑图像。
图6为本发明实施例中右视角采集的散斑图像。
图7为ZNCC算法、CNN网络及本发明实施例获取的视差值的对比示意图。
图8为ZNCC算法、CNN网络及本发明实施例获取的误差值的对比示意图。
图9为ZNCC算法、CNN网络及本发明实施例获取的三维数据的对比示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
如图1、2所示，本实施例是一种基于深度学习的散斑图像逐像素匹配方法，可进行单帧散斑图像分析，获得高精度的三维信息，此方法包括三个步骤。
步骤一．采集训练数据，并计算训练数据的视差值。
利用双目立体视觉系统投影条纹和散斑图案，左右视角的相机对s个不同场景进行采集。对于每一个场景，共拍摄多个不同条纹频率的N幅相移条纹图像以及一幅散斑图像。其中，图3为测试场景，图4为左相机采集的高频条纹图像，图5为左相机采集的散斑图像，图6为右相机采集的散斑图像。使用N步相移法和多频时间相位展开算法对采集到的条纹图像进行计算。以其中一个频率的条纹图像为例，相机采集到的条纹图像可以表示为：
Figure 173535DEST_PATH_IMAGE002
其中，(x,y)为相机坐标系中的像素坐标，A(x,y)为平均光强，B(x,y)为光强调制度，φ (x,y)为待测物体的相位。其中相位φ(x,y)可以表示为：
Figure DEST_PATH_IMAGE003
根据反正切函数的特性，计算出来的相位φ(x,y)的数值范围为-π到π，并且存在着2π的不连续跳变。为了消除包裹相位中的不连续跳变，从而获得连续分布的相位信息，需要通过相位展开算法将包裹相位φ(x,y)转换为绝对相位Φ(x,y)，绝对相位和包裹相位之间的关系可以表示为：
Figure DEST_PATH_IMAGE005
其中k(x,y)为光栅条纹级次。利用多频时间相位展开算法获得高频条纹的光栅条纹级次k n (x,y)，表示为：
Figure 762779DEST_PATH_IMAGE006
其中φ l (x,y)为低频包裹相位，φ h (x,y)为高频包裹相位，f h 和f l 分别为高频条纹和低频条纹的频率大小。
通过对条纹图像的分析，可以获得场景在左右视角的绝对相位。将左视角采集到的图像作为目标散斑图像，右视角采集到的图像作为参考散斑图像。寻找目标散斑图像中有效像素点在参考散斑图像同一极线下绝对相位误差最小值的像素点作为目标像素点的匹配点，两者横坐标的差为该目标像素点的视差值。
步骤二：构建基于孪生卷积神经网络的模型，并训练。
以目标散斑图像中的一个有效目标像素点为中心做一个R×R大小的散斑图像块，以参考散斑图像中共D个参考像素点做一个R×(R+D-1)大小的散斑图像块。将目标散斑图像块和参考散斑图像块作为输入数据，分别经过多层卷积。卷积层采用的padding方式为VALID，经若干个卷积层后可以将R×R大小的散斑图像块和R×(R+D-1)大小的散斑图像块转化为[1,f]和[D,f]两组特征张量，将两组特征张量以点乘的形式结合为匹配系数，并以匹配曲线的形式输出，网络结构如图1所示。在两个卷积子网络中除了最后一层卷积层不使用激活函数，其余的卷积层中使用的激活函数均为线性整流函数(ReLU)。
在已知目标散斑图像块像素点视差值的前提下（经步骤一计算获得），通过视差值做出用于标记训练数据的匹配曲线，即“标签”，该匹配曲线的取值可以表示为：
Figure 260625DEST_PATH_IMAGE008
其中y i 为曲线纵坐标，x i 为曲线横坐标。以一个目标点(a,b)为例，其在参考图像中的匹配点为(c,b)，x c 为匹配点(c,b)的横坐标值。根据双目立体视觉系统中两个视角相机的基线距离，参考散斑图像块中D个参考像素点横坐标的分布范围为：a-100→a+D-101。因此可以画出标签匹配曲线，匹配曲线如图2所示。使用多组训练数据以监督学习的方式完成深度学习模型的训练。
步骤三：利用训练好的模型和后处理算法计算待测物体的三维信息。
将待测物体左右视角的散斑图像放入训练完成的模型中，利用深度学习模型对目标散斑图像和参考散斑图像进行预测。经过模型后输出目标散斑图像和参考散斑图像的特征值，即匹配聚合代价C(x,y,d)。为了获得准确的视差信息，将从子网络中预测获得的视差匹配代价聚合通过半全局匹配算法来对其进行改善，进而获得更准确的视差匹配代价聚合C SGM (p,d)。目标像素点在指定方向r上进行半全局匹配后得到的匹配代价聚合L r (p,d)可以表示为：
Figure DEST_PATH_IMAGE009
其中p为目标像素点，其坐标为(x,y)，P 1 和P 2 为惩罚系数。因为与主像素点进行半全局匹配的参考点为与主像素点在水平和垂直方向相邻的四个参考像素点，所以最终半全局匹配算法计算得到的视差匹配代价聚合C SGM (p,d)可以表示为：
Figure 593518DEST_PATH_IMAGE010
利用获得的匹配代价聚合就可以得到视差数据D int (p)，视差数据可以表示为：
Figure 142311DEST_PATH_IMAGE012
为了可以进一步提高测量的精度，可以通过视差匹配代价聚合C SGM (p,d)拟合的曲线将整像素的视差数据转化为亚像素的视差数据：
Figure DEST_PATH_IMAGE013
其中D s (p)为亚像素的视差数据，d '为p点的整像素视差数据，即d '= D int (p)。同时可以使用左右一致性检验的方法来去除视差数据中部分错误数据，左右一致性检验可以表示为：
Figure DEST_PATH_IMAGE015
其中D LR (p)为经过左右一致性检验后的视差图像，D R (p)为右相机的视差图像，d为左相机视差图像p点处的视差值，d= D L (p)。
经过半全局匹配算法（SGM）、亚像素计算和左右一致性检验后，可以获得待测物体准确的视差数据。结合双目立体视觉系统的标定数据，利用视差数据对待测物体进行三维重构，最终获得物体的三维数据。
为验证本专利所述方法的有效性，利用两个相机（Basler acA640 750um）和一个投影仪（DLP 4500pro）搭建双目立体视觉系统。在本次实验中，多频时间相位展开算法使用的条纹频率分别为：1、8、64，与这三个频率的条纹相对应的条纹相移步数分别为：3、3、9。因此需要投影15幅条纹图像和1幅散斑图像，共采集750组不同的场景，其中350组用于生成训练数据，200组用于验证，200组用于测试。训练结束后，为验证本方法有效性，选用模型在训练时并未见过的场景作为测试。以其中一个场景为例，将左右视角的散斑图像输入模型中，运用SGM算法、亚像素算法和左右一致性检验对模型子网络输出的匹配代价聚合进行计算，获得该场景的视差数据，视差数据如图7中（c）所示。
为了体现本实施例方法的优点，将传统的ZNCC散斑匹配算法、CNN神经网络方法与本实施例方法进行了比较，并且选择条纹投影的方法获得的视差数据作为基准结果。图7中的（a）、（b）和（c）分别展示了ZNCC匹配算法、CNN神经网络方法获得的视差数据，图8中的（d）、（e）和（f）分别展示了三种方法与基准结果之间的误差值。通过对双目立体视觉系统进行标定，获得双目立体视觉系统的标定数据。以标定参考面作为三维坐标系的零平面，利用标定数据将视差数据转换为三维数据，三种方法获得的视差数据所对应的三维数据分别如图9的（g）、（h）和（i）所示。通过比较可以发现，在均使用一张散斑图像的情况下，本实施例的方法有着更高的测量精度和细节保真度，这说明本方法已准确地测量了待测物体的三维信息。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于深度学习的散斑图像逐像素匹配方法，其特征在于，步骤如下：
步骤一．采集训练数据，并计算训练数据的视差值；
步骤1.1．利用双目立体视觉系统投影条纹和散斑图案，左右视角的相机对多个场景进行采集，对于每一个场景，左相机采集多个不同条纹频率的相移条纹图像及一幅目标散斑图像，右相机采集一副参考散斑图像；
步骤1.2．对相移条纹图像进行分析计算，获得场景在左右视角的绝对相位；
步骤1.3．寻找目标散斑图像有效像素点在参考散斑图像同一极线下绝对相位误差最小值的像素点作为目标像素点的匹配点，两者横坐标的差为该目标像素点的视差值；
步骤二．构建孪生卷积神经网络，并训练；
步骤2.1．以目标散斑图像中的一个有效目标像素点为中心做一个R×R大小的目标散斑图像块，以参考散斑图像中共D个参考像素点做一个R×(R+D-1)大小的参考散斑图像块；将目标散斑图像块与参考散斑图像块作为神经网络模型的输入数据，通过两个不同的通道输入到两个以共享权重的方式进行关联的孪生卷积神经网络中，分别经过多层卷积转化为[1,f]和[D,f]两组特征张量，将两组特征张量以点乘的形式结合为匹配系数，并以匹配曲线的形式输出；
步骤2.2．通过获得的视差值做出用于标记训练数据的标签匹配曲线，然后使用多组训练数据以监督学习的方式完成深度学习模型的训练；
步骤三．利用训练好的模型获得匹配相似度，经后处理算法计算后，寻找匹配相似度中数值最高的参考像素点作为目标像素点的匹配点，计算得到目标像素点的视差值，并转换为目标像素点的三维数据，通过计算散斑图像中所有有效像素点的三维数据获得物体完整的三维信息。
2.根据权利要求1所述的基于深度学习的散斑图像逐像素匹配方法，其特征在于：步骤1.2中，相移条纹投影的分析计算方法具体为N步相移法和多频时间相位展开算法。
3.根据权利要求1所述的基于深度学习的散斑图像逐像素匹配方法，其特征在于：步骤2.1中，孪生卷积神经网络的子网络为卷积神经网络，由若干个卷积层组成，卷积层采用的padding方式为VALID，在两个卷积子网络中除了最后一层卷积层不使用激活函数，其余的卷积层中使用的激活函数均为线性整流函数。
4.根据权利要求1所述的基于深度学习的散斑图像逐像素匹配方法，其特征在于：步骤三中，将后处理算法包括半全局匹配算法、亚像素运算及左右一致性检验。
CN202010695710.6A 2020-07-20 2020-07-20 基于深度学习的散斑图像逐像素匹配方法 Active CN111563564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010695710.6A CN111563564B (zh) 2020-07-20 2020-07-20 基于深度学习的散斑图像逐像素匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010695710.6A CN111563564B (zh) 2020-07-20 2020-07-20 基于深度学习的散斑图像逐像素匹配方法

Publications (2)

Publication Number Publication Date
CN111563564A true CN111563564A (zh) 2020-08-21
CN111563564B CN111563564B (zh) 2020-10-09

Family

ID=72075475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010695710.6A Active CN111563564B (zh) 2020-07-20 2020-07-20 基于深度学习的散斑图像逐像素匹配方法

Country Status (1)

Country Link
CN (1) CN111563564B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116641A (zh) * 2020-09-11 2020-12-22 南京理工大学智能计算成像研究院有限公司 一种基于OpenCL的散斑图像匹配方法
CN112116640A (zh) * 2020-09-11 2020-12-22 南京理工大学智能计算成像研究院有限公司 一种基于OpenCL的双目立体匹配方法
CN112212806A (zh) * 2020-09-18 2021-01-12 南京理工大学 一种基于相位信息导向的立体相位展开方法
CN112330771A (zh) * 2020-10-29 2021-02-05 南京理工大学智能计算成像研究院有限公司 一种用于快速三维测量的pcps条纹图案设计方法
CN112419386A (zh) * 2020-09-18 2021-02-26 南京理工大学 一种基于深度学习的端到端散斑投影三维测量方法
CN112461158A (zh) * 2020-10-22 2021-03-09 天津大学 散斑投影相移高频率立体视觉三维测量方法及装置
CN112487893A (zh) * 2020-11-17 2021-03-12 北京的卢深视科技有限公司 一种三维目标识别方法及系统
CN113074634A (zh) * 2021-03-25 2021-07-06 苏州天准科技股份有限公司 一种快速相位匹配方法、存储介质和三维测量系统
CN113342997A (zh) * 2021-05-18 2021-09-03 成都快眼科技有限公司 一种基于文本行匹配的跨图文本阅读方法
CN113470099A (zh) * 2021-07-09 2021-10-01 北京的卢深视科技有限公司 深度成像的方法、电子设备及存储介质
CN114066950A (zh) * 2021-10-27 2022-02-18 北京的卢深视科技有限公司 单目散斑结构光图像匹配方法、电子设备及存储介质
CN114252020A (zh) * 2021-12-22 2022-03-29 西安交通大学 一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法
CN114777677A (zh) * 2022-03-09 2022-07-22 南京理工大学 基于深度学习的单帧双频复用条纹投影三维面型测量方法
CN116188701A (zh) * 2023-04-27 2023-05-30 四川大学 一种基于散斑结构光的三维人脸重建方法及装置
CN116935181A (zh) * 2023-09-19 2023-10-24 中国空气动力研究与发展中心低速空气动力研究所 一种完全二值散斑嵌入脉宽调制模式三维测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106840398A (zh) * 2017-01-12 2017-06-13 南京大学 一种多光谱光场成像方法
CN107146248A (zh) * 2017-04-27 2017-09-08 杭州电子科技大学 一种基于双流卷积神经网络的立体匹配方法
US20190102528A1 (en) * 2017-09-29 2019-04-04 General Electric Company Automatic authentification for MES system using facial recognition
CN110136175A (zh) * 2019-05-21 2019-08-16 杭州电子科技大学 一种基于神经网络的室内典型场景匹配定位方法
CN110309835A (zh) * 2019-06-27 2019-10-08 中国人民解放军战略支援部队信息工程大学 一种图像局部特征提取方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106840398A (zh) * 2017-01-12 2017-06-13 南京大学 一种多光谱光场成像方法
CN107146248A (zh) * 2017-04-27 2017-09-08 杭州电子科技大学 一种基于双流卷积神经网络的立体匹配方法
US20190102528A1 (en) * 2017-09-29 2019-04-04 General Electric Company Automatic authentification for MES system using facial recognition
CN110136175A (zh) * 2019-05-21 2019-08-16 杭州电子科技大学 一种基于神经网络的室内典型场景匹配定位方法
CN110309835A (zh) * 2019-06-27 2019-10-08 中国人民解放军战略支援部队信息工程大学 一种图像局部特征提取方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TIANJIAO ZENG等: "Computational image speckle suppression using block matching and machine learning", 《APPLIED OPTICS》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116640A (zh) * 2020-09-11 2020-12-22 南京理工大学智能计算成像研究院有限公司 一种基于OpenCL的双目立体匹配方法
CN112116641A (zh) * 2020-09-11 2020-12-22 南京理工大学智能计算成像研究院有限公司 一种基于OpenCL的散斑图像匹配方法
CN112116640B (zh) * 2020-09-11 2024-02-23 南京理工大学智能计算成像研究院有限公司 一种基于OpenCL的双目立体匹配方法
CN112116641B (zh) * 2020-09-11 2024-02-20 南京理工大学智能计算成像研究院有限公司 一种基于OpenCL的散斑图像匹配方法
WO2022057556A1 (zh) * 2020-09-18 2022-03-24 南京理工大学 一种基于深度学习的端到端散斑投影三维测量方法
CN112212806A (zh) * 2020-09-18 2021-01-12 南京理工大学 一种基于相位信息导向的立体相位展开方法
CN112419386A (zh) * 2020-09-18 2021-02-26 南京理工大学 一种基于深度学习的端到端散斑投影三维测量方法
CN112212806B (zh) * 2020-09-18 2022-09-13 南京理工大学 一种基于相位信息导向的立体相位展开方法
CN112461158A (zh) * 2020-10-22 2021-03-09 天津大学 散斑投影相移高频率立体视觉三维测量方法及装置
CN112461158B (zh) * 2020-10-22 2022-08-05 天津大学 散斑投影相移高频率立体视觉三维测量方法及装置
CN112330771A (zh) * 2020-10-29 2021-02-05 南京理工大学智能计算成像研究院有限公司 一种用于快速三维测量的pcps条纹图案设计方法
CN112330771B (zh) * 2020-10-29 2023-12-15 南京理工大学智能计算成像研究院有限公司 一种用于快速三维测量的pcps条纹图案设计方法
CN112487893A (zh) * 2020-11-17 2021-03-12 北京的卢深视科技有限公司 一种三维目标识别方法及系统
CN112487893B (zh) * 2020-11-17 2021-09-14 北京的卢深视科技有限公司 一种三维目标识别方法及系统
CN113074634A (zh) * 2021-03-25 2021-07-06 苏州天准科技股份有限公司 一种快速相位匹配方法、存储介质和三维测量系统
CN113342997B (zh) * 2021-05-18 2022-11-11 成都快眼科技有限公司 一种基于文本行匹配的跨图文本阅读方法
CN113342997A (zh) * 2021-05-18 2021-09-03 成都快眼科技有限公司 一种基于文本行匹配的跨图文本阅读方法
CN113470099A (zh) * 2021-07-09 2021-10-01 北京的卢深视科技有限公司 深度成像的方法、电子设备及存储介质
CN114066950B (zh) * 2021-10-27 2022-09-23 合肥的卢深视科技有限公司 单目散斑结构光图像匹配方法、电子设备及存储介质
CN114066950A (zh) * 2021-10-27 2022-02-18 北京的卢深视科技有限公司 单目散斑结构光图像匹配方法、电子设备及存储介质
CN114252020B (zh) * 2021-12-22 2022-10-25 西安交通大学 一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法
CN114252020A (zh) * 2021-12-22 2022-03-29 西安交通大学 一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法
CN114777677A (zh) * 2022-03-09 2022-07-22 南京理工大学 基于深度学习的单帧双频复用条纹投影三维面型测量方法
CN114777677B (zh) * 2022-03-09 2024-04-26 南京理工大学 基于深度学习的单帧双频复用条纹投影三维面型测量方法
CN116188701A (zh) * 2023-04-27 2023-05-30 四川大学 一种基于散斑结构光的三维人脸重建方法及装置
CN116935181A (zh) * 2023-09-19 2023-10-24 中国空气动力研究与发展中心低速空气动力研究所 一种完全二值散斑嵌入脉宽调制模式三维测量方法
CN116935181B (zh) * 2023-09-19 2023-11-28 中国空气动力研究与发展中心低速空气动力研究所 一种完全二值散斑嵌入脉宽调制模式三维测量方法

Also Published As

Publication number Publication date
CN111563564B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111563564B (zh) 基于深度学习的散斑图像逐像素匹配方法
CN109506589B (zh) 一种基于结构光场成像的三维轮廓测量方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
CN111351450B (zh) 基于深度学习的单帧条纹图像三维测量方法
CN110425986A (zh) 基于单像素传感器的三维计算成像方法及装置
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
CN103299343A (zh) 距离图像像素匹配方法
CN111563952B (zh) 基于相位信息与空间纹理特征实现立体匹配方法及系统
CN113205592B (zh) 一种基于相位相似性的光场三维重建方法及系统
CN108613637A (zh) 一种基于参考图像的结构光系统解相方法及系统
Furukawa et al. One-shot entire shape acquisition method using multiple projectors and cameras
Chen et al. Comparative study on 3D optical sensors for short range applications
JP5761750B2 (ja) 画像処理方法および装置
WO2024032233A1 (zh) 基于双目视觉的立体摄影测量方法
CN116295113A (zh) 一种融合条纹投影的偏振三维成像方法
Hu et al. High-speed and accurate 3D shape measurement using DIC-assisted phase matching and triple-scanning
Liu et al. A novel phase unwrapping method for binocular structured light 3D reconstruction based on deep learning
Furukawa et al. Multiview projectors/cameras system for 3d reconstruction of dynamic scenes
CN105844623A (zh) 基于De序列混合编码的目标物体深度信息获取方法
CN111815697B (zh) 一种热变形动态三维测量方法
Wang et al. Active stereo method for three-dimensional shape measurement
CN113450460A (zh) 一种基于人脸面形空间分布的无相位展开三维人脸重建方法及系统
CN113551617A (zh) 基于条纹投影的双目双频互补三维面型测量方法
Guo et al. Using facial landmarks to assist the stereo matching in fringe projection based 3D face profilometry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant