CN115546255A - 基于sift流单帧条纹投影高动态范围误差补偿方法 - Google Patents

基于sift流单帧条纹投影高动态范围误差补偿方法 Download PDF

Info

Publication number
CN115546255A
CN115546255A CN202211497364.6A CN202211497364A CN115546255A CN 115546255 A CN115546255 A CN 115546255A CN 202211497364 A CN202211497364 A CN 202211497364A CN 115546255 A CN115546255 A CN 115546255A
Authority
CN
China
Prior art keywords
image
fringe
stripe
images
sift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211497364.6A
Other languages
English (en)
Other versions
CN115546255B (zh
Inventor
郑东亮
黄若冰
于浩天
韩静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202211497364.6A priority Critical patent/CN115546255B/zh
Publication of CN115546255A publication Critical patent/CN115546255A/zh
Application granted granted Critical
Publication of CN115546255B publication Critical patent/CN115546255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于SIFT流单帧条纹投影高动态范围误差补偿方法，属于数字图像处理和三维测量技术领域。预训练好一通用深度学习网络，使用投影仪对待测运动物体进行连续投影，通过相机对投影仪的触发信号连续抓图，得到原始条纹图像。利用SIFT流算法，得到配准后条纹图像序列。进行筛选，选出最贴近5步相移条纹分布的一组条纹图像，组成最优化序列。输入至通用深度学习网络中，计算对应的相位，再得到对应的绝对相位，恢复出待测物体的三维信息。对于自由度较高的运动物体，得到测量物体的三维图像。将通用深度学习网络嵌套进当中，保证测量过程的稳定性、灵活性和测量精度，同时能够避免HDR问题的不良影响。

Description

基于SIFT流单帧条纹投影高动态范围误差补偿方法
技术领域
本发明涉及一种基于SIFT流单帧条纹投影高动态范围误差补偿方法，属于数字图像处理和三维测量技术领域。
背景技术
三维测量是机器视觉领域的研究热门之一，其中非接触式的三维测量因其更易在各种实际场景中使用而发展迅猛。主流的非接触式三维测量技术有飞行时间、立体视觉、激光雷达成像、相干成像、结构光法等等。条纹投影轮廓术(FPP)作为结构光法中的代表技术之一，因为其具备高精度、高测量速度以及简易的设备要求的优势而广泛应用于工业检测、安全防护和生物医学等领域。
传统的FPP系统仅需一个投影仪和一个相机即可构建，测量时投影仪需要投影多帧(至少3帧)条纹图像来计算所需的相位，然后结合预先标定好的设备参数来恢复物体的三维信息。这个过程中，被测物体通常要保持静止或者与相对静止状态，因为当测量运动的物体时，若相机的抓图速度不足以忽略物体的运动，相机捕获到的多帧条纹图像中会引入运动误差，这将极大的影响最终的三维成像质量。也就是说，使用多帧条纹图像的FPP技术(多帧FPP)并不适用于测量运动的物体，虽然研究者们已经尝试利用运动跟踪、二值条纹编码、彩色条纹编码等方式来尽可能消除运动误差的影响，但这些方法本身的限制因素也使得其不利于应用到实际场景。
不同于多帧FPP，使用单帧条纹图像的FPP技术(单帧FPP)不会受到运动误差的影响，因此其在运动物体的三维测量上应用广泛。尤其随着近年来深度学习技术的逐渐成熟，基于深度学习的单帧FPP在测量精度上也相较传统的基于变换的方法有了很大的提升，这使得这一技术在实际应用中变得更具优势。但是，在测量过程中的高动态范围(HDR)问题依然是单帧FPP技术所面临一个挑战。所谓的HDR问题，究其根源是因为FPP系统所用的数字相机的光照度响应是非线性的。对于一些表面反射率较高或者分布不均匀的物体，其接受投影仪的光照并反射到相机时，物体的表面会出现一些高光或者黑暗区域，一旦这些区域的光照度位于相机响应曲线的非线性阶段，那么在成像时这些高光或者黑暗区域就会产生无法反应物体表面真实信息的错误像素值。HDR问题所导致的错误像素值会显著的影响相机捕获的条纹图像的正弦性，相应地，通过条纹图像所恢复的相位以及由相位信息所求得的三维深度值也会受到明显的影响，这对于精确的三维测量是极为不利的。目前主流的HDR处理方法主要是多帧融合法，这类方法通常利用在不同的相机曝光或者不同的投影光强度下捕获的多帧条纹图像来融合出没有HDR问题影响的正常条纹图像，然后用融合后的条纹图像进行相位解算。这种方法虽然效果显著，但是会大大降低测量的灵活性，而且很显然无法作用于运动的物体。因此，探索一种既能有效解决单帧FPP的HDR误差补偿问题又能保持测量过程的灵活性的方法是很有必要的。
发明内容
发明目的：针对上述现有存在的问题和不足，本发明的目的是提供一种基于SIFT流单帧条纹投影高动态范围误差补偿方法，对于自由度较高的运动物体，仅使用一帧投影条纹图案，相机曝光不变，得到测量物体的三维图像。将通用深度学习网络嵌套进整个测量过程当中，保证测量过程的稳定性，以及灵活性和测量精度，同时能够避免HDR问题的不良影响。
技术方案：为实现上述发明目的，本发明采用以下技术方案：
一种基于SIFT流单帧条纹投影高动态范围误差补偿方法，包括如下步骤：
步骤1：预训练好一通用深度学习网络，使用投影仪对待测运动物体进行连续投 影，投影的每一帧均固定预设正弦条纹图像，再通过相机对投影仪的触发信号连续抓图，得 到一组由20张捕获的条纹图像构成的原始条纹图像序列
Figure 92899DEST_PATH_IMAGE001
；
步骤2：利用SIFT流算法，即以条纹图像
Figure 583924DEST_PATH_IMAGE002
作为配准的目标，序列中剩余的条纹图 像全部配准至
Figure 33489DEST_PATH_IMAGE002
对应的相机视角下，得到配准后条纹图像序列
Figure 141122DEST_PATH_IMAGE003
；
步骤3：对步骤2得到的配准后条纹图像序列
Figure 942856DEST_PATH_IMAGE003
进行筛 选，选出包括
Figure 537654DEST_PATH_IMAGE004
在内的最贴近5步相移条纹分布的一组条纹图像，组成最优化序列
Figure 32221DEST_PATH_IMAGE005
；
步骤4：将步骤3得到的最优化序列
Figure 673155DEST_PATH_IMAGE005
输入至步骤1中已预 训练好的通用深度学习网络中，输出用于求解条纹图像
Figure 934372DEST_PATH_IMAGE002
所对应的相位的中间量，即输出 正弦分量
Figure 619563DEST_PATH_IMAGE006
以及余弦分量
Figure 675243DEST_PATH_IMAGE007
，两式中B为条纹图像
Figure 600212DEST_PATH_IMAGE002
的条纹调制 度，
Figure 884694DEST_PATH_IMAGE008
为条纹图像
Figure 204817DEST_PATH_IMAGE002
所对应的相位；
步骤5：将步骤4输出的正弦分量M和余弦分量D代入如下公式：
Figure 952105DEST_PATH_IMAGE009
，
即可计算出条纹图像
Figure 724889DEST_PATH_IMAGE002
所对应的相位，再基于空域相位展开法或几何约束法对相 位进行相位展开得到条纹图像
Figure 937696DEST_PATH_IMAGE002
所对应的绝对相位，结合标定的设备参数从所述绝对相位 中恢复出待测物体的三维信息。
进一步的，所述步骤1中的通用深度学习网络为改进型U结构神经网络，保持网络隐藏层结构不变，改变U结构神经网络的输入层和输出层的通道数，则得到所述改进型U结构神经网络。
进一步的，所述步骤4中通用深度学习网络的网络输入通道数为5，输出通道数为2。
进一步的，所述步骤1的待测运动物体在相机的视场范围内，从左到右或从右到左单方向移动，在相机的景深范围内包括前后运动和-10°~10°的旋转运动。
进一步的，所述步骤2具体步骤如下：对原始条纹图像序列
Figure 627172DEST_PATH_IMAGE001
的任一帧
Figure 493497DEST_PATH_IMAGE010
作为配准目标进行逐帧配准，将
Figure 35467DEST_PATH_IMAGE001
中的条纹图像逐一输入步骤1中预训练好的通用深度学习网络。 去除图像中的条纹部分而只保留背景信息，网络逐一输出去除条纹的背景图像后组成背景 图像序列
Figure 284921DEST_PATH_IMAGE011
；2)以背景图像
Figure 845215DEST_PATH_IMAGE012
作为目标图像，通过双层信念传播 算法来优化如下能量函数:
Figure 367595DEST_PATH_IMAGE014
Figure 754451DEST_PATH_IMAGE016
Figure 168115DEST_PATH_IMAGE018
，
式中
Figure 927124DEST_PATH_IMAGE019
和
Figure 909818DEST_PATH_IMAGE020
分别为背景图像
Figure 144490DEST_PATH_IMAGE012
与
Figure 112577DEST_PATH_IMAGE021
所对应的128维SIFT描 述子图，
Figure 755786DEST_PATH_IMAGE022
为像素点，
Figure 134815DEST_PATH_IMAGE023
为背景图像
Figure 607515DEST_PATH_IMAGE012
与
Figure 2462DEST_PATH_IMAGE024
之间的SIFT流 向量图，
Figure 860697DEST_PATH_IMAGE025
为
Figure 958097DEST_PATH_IMAGE026
的4邻域集，
Figure 167362DEST_PATH_IMAGE027
为邻域
Figure 100420DEST_PATH_IMAGE025
中除
Figure 829473DEST_PATH_IMAGE026
外的像素点，
Figure 81463DEST_PATH_IMAGE028
为小位移项系数，
Figure 33150DEST_PATH_IMAGE029
为平滑项 系数，
Figure 271365DEST_PATH_IMAGE030
和
Figure 838612DEST_PATH_IMAGE031
均为用于调控流向量精度的阈值。最优化上式后即可得到背景图像
Figure 510771DEST_PATH_IMAGE012
与
Figure 569994DEST_PATH_IMAGE024
之间的SIFT流向量图
Figure 470954DEST_PATH_IMAGE032
；3)由于序列
Figure 673134DEST_PATH_IMAGE033
和序列
Figure 266926DEST_PATH_IMAGE034
之间一一对应，
Figure 688811DEST_PATH_IMAGE032
同样为条纹图像
Figure 767364DEST_PATH_IMAGE002
与
Figure 574783DEST_PATH_IMAGE035
之间的SIFT流向量 图，通过
Figure 90209DEST_PATH_IMAGE032
即可将
Figure 374558DEST_PATH_IMAGE035
配准至
Figure 617320DEST_PATH_IMAGE002
视角下，配准后的条纹图像
Figure 295557DEST_PATH_IMAGE036
与原图像
Figure 231152DEST_PATH_IMAGE035
之间的关系为：
Figure 126165DEST_PATH_IMAGE037
,
原始条纹图像序列中的全部图像完成配准后即可组成配准后的条纹图像序列
Figure 47985DEST_PATH_IMAGE038
。
进一步的，所述步骤3中具体步骤如下：用峰值检测的方法计算出条纹图像
Figure 829996DEST_PATH_IMAGE002
中正 弦条纹分布的实际像素周期T，再利用峰值检测的方法计算出条纹图像
Figure 185760DEST_PATH_IMAGE036
中的正弦条纹分 布相对条纹图像
Figure 53222DEST_PATH_IMAGE002
的实际像素位移量
Figure 513153DEST_PATH_IMAGE039
，再代入如下公式中：
Figure 398938DEST_PATH_IMAGE040
，
筛选出最贴近5步相移条纹分布的一组图像，即最优化序列
Figure 676336DEST_PATH_IMAGE041
。
有益效果：与现有技术相比，本发明具有以下优点：
(1)不像现有的HDR处理方法，需要被测物体保持静止，且需要不断调整设备采集参数，来获得多帧灰度分布不同的用于融合的图像。本发明基于物体运动所带来的相机相对视角变化来获取灰度分布不同的图像序列，设备参数仅需预先调整好一个合适值即可在测量过程中一直保持不变，可以测量运动的物体。提高了测量的稳定性和灵活性，简化了测量过程。
(2)本发明采用了SIFT流算法来配准采集到的运动物体图像序列，由于SIFT流算法对场景中物体的缩放、形变、旋转、视差变化具有较好的鲁棒性，所以本发明在能够测量运动物体的同时不对物体运动姿态有较大的限制，物体在平移运动的过程中带上一定的旋转、尺度和视差变化并不会影响最终的测量效果，更有利于实际应用。
(3)本发明在求解相位时实际使用了包含5帧图像的获取至单帧条纹投影的最优化条纹图像序列，且求解时结合了深度学习技术，故本发明求解的相位不仅可以避免局部HDR问题的影响，而且抗噪声能力更强，相位整体精度相较传统的单帧FPP更高，相应的三维测量精度也更高，在实际应用中的测量效果更佳。
附图说明
图1是本发明的步骤流程示意图；
图2是本发明的步骤2中基于SIFT流算法的配准流程示意图；
图3是本发明的步骤4中学习对应相位的计算中间量的流程示意图；
图4是本发明的实施例的改进型U结构神经网络结构示意图；
图5是本发明的实施例的配准效果示意图，
图中：(a)为筛选后的5帧原条纹图像序列，(b)为对应的配准后序列，(c)为(b)中框选区域的局部放大图；
图6是本发明的实施例的三维成像效果示意图，
图中：(a)为本发明的方法实验结果示意图，（b）为传统基于深度学习的单帧FPP所示的三维重建效果示意图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1流程所示，一种基于SIFT流单帧条纹投影高动态范围误差补偿方法。针对要在保持单帧FPP测量灵活性的前提下，能够解决其面临的局部HDR问题影响的需求，本发明提出了一种基于SIFT流的单帧条纹投影高动态范围误差补偿技术，且鉴于当前融合了深度学习技术的单帧FPP在测量精度上的明显提升，其中还融入了深度学习网络结构。步骤如下：
步骤1：原始图像数据获取：投影仪连续投影一帧固定的预设正弦条纹图像至一个 运动的被测物体，相机接受投影仪的触发信号连续抓图，最终得到一组由20张捕获的条纹 图像构成的原始条纹图像序列
Figure 640881DEST_PATH_IMAGE042
；
步骤2：利用SIFT流算法对
Figure 549843DEST_PATH_IMAGE042
进行配准：若以条纹图像
Figure 306446DEST_PATH_IMAGE002
作 为配准的目标，则序列中剩余的条纹图像全部配准至
Figure 505478DEST_PATH_IMAGE002
对应的相机视角下，最终得到配准 后的条纹图像序列
Figure 613111DEST_PATH_IMAGE043
；
步骤3：对配准后的条纹图像序列
Figure 913380DEST_PATH_IMAGE043
进行筛选，从其中选 出包括
Figure 9643DEST_PATH_IMAGE004
在内的最贴近5步相移条纹分布的一组条纹图像组成最优化序列
Figure 894422DEST_PATH_IMAGE044
；
步骤4：将得到的最优化序列
Figure 207461DEST_PATH_IMAGE044
输入至已经预训练好的 通用深度学习网络中，网络将输出用于求解条纹图像
Figure 203099DEST_PATH_IMAGE002
所对应的相位的中间量，即输出正 弦分量
Figure 544081DEST_PATH_IMAGE045
以及余弦分量
Figure 849030DEST_PATH_IMAGE046
，两式中B为条纹图像
Figure 134517DEST_PATH_IMAGE002
的条纹调制度，
Figure 950158DEST_PATH_IMAGE047
为条纹图像
Figure 535860DEST_PATH_IMAGE002
所对应的相位；
步骤5：将所设计的通用网络输出的正弦分量M和余弦分量D代入如下公式：
Figure 740271DEST_PATH_IMAGE009
即可计算出条纹图像
Figure 309793DEST_PATH_IMAGE002
所对应的相位，而后基于空域相位展开法或者几何约束法 对计算出的相位进行相位展开得到条纹图像
Figure 397965DEST_PATH_IMAGE002
所对应的绝对相位，最后只需结合预先标定 好的设备参数从绝对相位中恢复出待测物体的三维信息即可。
技术细节：
所述步骤1中设备固定不动，投影仪和相机的曝光时间调整至适宜值后在整个图像采集过程中保持不变，为了保证后续配准过程的准确性，待测物体的运动姿态需要受到一定限制，即要求待测物体在相机的视场范围内从左到右或从右到左单方向移动，物体单方向移动的过程中可以在相机的景深范围内包含一定的前后运动，也可以包含不超过-10°~10°范围的旋转运动。
所述步骤2中配准时可以将原始条纹图像序列
Figure 946496DEST_PATH_IMAGE048
中的任 意一帧作为配准目标，后续步骤都以配准目标作为输出对象，即若以
Figure 343979DEST_PATH_IMAGE049
作为配准 目标，则最终将得到
Figure 354792DEST_PATH_IMAGE050
对应的相位以及三维结果，也就是说，将序列中的条纹图像逐一作 为目标的话即可得到被测物体逐帧运动过程对应的三维结果。
所述步骤2中对原始条纹图像序列
Figure 495923DEST_PATH_IMAGE048
的具体配准流程如 下(以配准目标
Figure 164540DEST_PATH_IMAGE002
为例)：1)将
Figure 483657DEST_PATH_IMAGE048
中的条纹图像逐一输入预训练好 的通用深度学习网络，去除图像中的条纹部分而只保留背景信息，网络逐一输出去除条纹 的背景图像后组成背景图像序列
Figure 231033DEST_PATH_IMAGE051
；2)以背景图像
Figure 425123DEST_PATH_IMAGE052
作为目标图 像，通过双层信念传播算法来优化如下能量函数:
Figure 184131DEST_PATH_IMAGE054
Figure 392259DEST_PATH_IMAGE016
Figure 882058DEST_PATH_IMAGE056
，
式中
Figure 974779DEST_PATH_IMAGE057
和
Figure 712928DEST_PATH_IMAGE058
分别为背景图像
Figure 137962DEST_PATH_IMAGE059
与
Figure 735296DEST_PATH_IMAGE060
所对应的128维SIFT描 述子图，
Figure 756342DEST_PATH_IMAGE061
为像素点，
Figure 863844DEST_PATH_IMAGE062
为背景图像
Figure 210512DEST_PATH_IMAGE059
与
Figure 29563DEST_PATH_IMAGE063
之间的SIFT流 向量图，
Figure 103567DEST_PATH_IMAGE064
为
Figure 816308DEST_PATH_IMAGE065
的4邻域集，
Figure 943664DEST_PATH_IMAGE066
为邻域
Figure 234967DEST_PATH_IMAGE064
中除
Figure 614127DEST_PATH_IMAGE065
外的像素点，
Figure 446953DEST_PATH_IMAGE067
为小位移项系数，
Figure 119112DEST_PATH_IMAGE068
为平滑项 系数，
Figure 302969DEST_PATH_IMAGE069
和
Figure 220240DEST_PATH_IMAGE070
均为用于调控流向量精度的阈值。最优化上式后即可得到背景图像
Figure 547054DEST_PATH_IMAGE059
与
Figure 406426DEST_PATH_IMAGE063
之间的SIFT流向量图
Figure 297153DEST_PATH_IMAGE071
；3)由于序列
Figure 1803DEST_PATH_IMAGE072
和序列
Figure 917545DEST_PATH_IMAGE073
之间一一对应，
Figure 167391DEST_PATH_IMAGE071
同样为条纹图像
Figure 325840DEST_PATH_IMAGE002
与
Figure 948364DEST_PATH_IMAGE074
之间的SIFT流向 量图，通过
Figure 892180DEST_PATH_IMAGE071
即可将
Figure 93354DEST_PATH_IMAGE074
配准至
Figure 457208DEST_PATH_IMAGE002
视角下，配准后的条纹图像
Figure 769241DEST_PATH_IMAGE075
与原图像
Figure 426618DEST_PATH_IMAGE074
之间的关系为：
Figure 782382DEST_PATH_IMAGE076
,
原始条纹图像序列中的全部图像完成配准后即可组成配准后的条纹图像序列
Figure 384265DEST_PATH_IMAGE077
。
所述步骤3中对配准后的条纹图像序列
Figure 250721DEST_PATH_IMAGE077
进行筛选的步 骤如下：
1)用峰值检测的方法计算出条纹图像
Figure 887238DEST_PATH_IMAGE002
中正弦条纹分布的实际像素周期
Figure 272958DEST_PATH_IMAGE078
; 2)同 样利用峰值检测的方法计算出条纹图像
Figure 378449DEST_PATH_IMAGE079
中的正弦条纹分布相对条纹图像
Figure 32284DEST_PATH_IMAGE002
的实际像素 位移量
Figure 32295DEST_PATH_IMAGE080
； 3)根据以下原则从
Figure 746174DEST_PATH_IMAGE077
中筛选最贴近5步 相移条纹分布的一组图像：
Figure 198015DEST_PATH_IMAGE081
，
筛选出的条纹图像组成最优化序列
Figure 639229DEST_PATH_IMAGE082
。
所述步骤2和步骤4中使用的通用深度学习网络为本发明所设计的改进型U结构神 经网络
Figure 250339DEST_PATH_IMAGE083
，在保持网络隐藏层结构不变的情况下，只需改变输入层和输出层的通 道数即可将
Figure 479326DEST_PATH_IMAGE084
分别应用于步骤2和步骤4的相关处理过程中，本发明在步骤2中网络 输入通道数和输出通道数都为1(对应网络可写成
Figure DEST_PATH_IMAGE085
), 在步骤4中网络输入通 道数和输出通道数分别为5和2(对应网络可写成
Figure 589102DEST_PATH_IMAGE086
)。
如图1所示，在具体实施时，本发明提出的技术遵循以下过程：
1)采集运动物体的条纹图像序列。用搭建好的FPP设备捕获从被测运动物体反射回的变形条纹图像序列，期间投影仪和相机的曝光时间保持固定(仅需保证采集到的图像中被测物体的平均灰度值为180左右即可)，被测物体在相机视场范围内从左往右单方向运动，物体运动时可以附带一定的景深、旋转和视差变化，且不要求匀速运动，仅需保证捕获的序列中图像数目不少于20帧且被测物体完全位于相机视场范围内即可；
2)基于SIFT流算法得到配准后序列。按照图2所示的配准流程对采集到的原始条 纹图像序列进行配准得到配准后的条纹图像序列，配准过程中原始序列需要经过预训练好 的
Figure DEST_PATH_IMAGE087
进行去条纹处理，目的是排除计算SIFT流时条纹部分的干扰，提高配准精度。
3)对配准后序列做筛选得到最优化序列。前面步骤捕获20帧序列图像是为了得到足够的灰度分布不同的条纹图像用于处理HDR问题，但实际使用时20帧的数量是冗余的，本发明进行的大量验证实验总结出的结论为仅需取其中5帧最贴近5步相移分布的条纹图像即可达到最佳的测量效果。
4)输入
Figure 506112DEST_PATH_IMAGE086
后得到计算中间量。如图3所示，将前面的到的最优化序列输 入到预训练好的
Figure 237307DEST_PATH_IMAGE086
即可输出最终计算相位所需的正弦和余弦分量，步骤2和4中 所用网络均经过预训练测试，后续将简要说明本发明具体实施时的预训练方法；
5)计算相位，进行三维重建。将中间量代入公式即可得到所需的相位，但该相位为分布在[-π, π)之间的包裹相位，需进行相位展开得到绝对相位(本发明中采用几何约束法进行相位展开，实际应用时可灵活选用展开方式)，之后再结合圆点标定得到的设备内外参数即可计算最终的三维结果。
本发明所设计的通用网络
Figure 43720DEST_PATH_IMAGE088
的结构如图4所示。输入图像首先经过一个卷积 块扩展为图像尺寸不变的64维特征图，然后经过由4组核大小2×2的Maxpool最大池化层+ 卷积块组成的编码器结构进行进一步特征提取得到图像尺寸缩小16倍的1024维特征图，之 后再经过由4组上采样模块+卷积块组成的解码器结构对1024维特征图进行上采样得到64 维特征图，编码器结构与解码器结构在相同图像尺寸的处理层之间有对应的4次跳层特征 拼接用以保证边缘特征的完整性，最后再经过一个核大小1×1的Conv卷积层即可将64维上 采样特征图转化为输出图像。不同于传统Unet在编码-解码结构中仅使用单一的Conv卷积 层来提取特征，本发明采用添加了Batch Normalization层的卷积块结构来提取特征，卷积 块由2组核大小3×3的Conv卷积层+Batch Normalization层+ReLU激活层结构组成，Batch Normalization层的加入既可以进一步处理数据分布不均问题的又能防止梯度爆炸和梯度 消失，加入了Batch Normalization层的卷积块在提高网络整体稳定性的同时还可以扩展 特征图的维度提高最终的输出质量。此外，本发明的
Figure 860367DEST_PATH_IMAGE088
在最开始的输入层先对输入图 像采用卷积块进行了特征扩展，将原输入扩展为了尺寸不变的64维特征图后再进行编码- 解码处理，这大大丰富了网络结构中的特征量，同样有利于提高最终的输出品质。还有，本 发明在解码器结构中采用一个上采样模块而不是单一的核大小2×2的ConvTranspose转置 卷积层来对编码后的特征图进行上采样，上采样模块由缩放因子为2的Upsample上采样层+ 核大小3×3的Conv卷积层+ Batch Normalization层+ReLU激活层结构组成，设计该模块的 目的与前面提到的卷积块类似。在本发明具体实施步骤中，步骤2与步骤4都有用到该通用 网络，其中步骤2中为1输入通道和1输出通道的
Figure DEST_PATH_IMAGE089
(对应图4中
Figure 711560DEST_PATH_IMAGE090
)，步骤4中为5输入通道和2输出通道的
Figure 641470DEST_PATH_IMAGE086
(对应图4中
Figure 117319DEST_PATH_IMAGE090
)，两者在 实际使用前都要经过预训练。预训练数据采集时，要手动将被测物体按照前述原则在相机 视场内小间距移动20个位置，每个位置处捕获一组12步相移条纹，而后取每个位置相移条 纹的第1帧组成原始条纹图像序列，接着按照前述实施步骤处理后输入网络进行训练即可， 训练时相应的ground truth由12步相移算法求得，为了保证训练出的参数模型的泛化性， 本发明使用了150个包含不同材质、纹理和色彩的物体采集了150组数据用以网络训练。
为了说明本发明的有效性，图5中展示了一个受到HDR问题影响的运动物体实施例的配准效果，图6中展示了其最终的三维重建效果。对比图5(a)和图5(b)可以看出，筛选完的5帧条纹图像被准确的配准至第1帧目标图像的视角下，且由于物体运动的影响，5帧图像中条纹的分布各不相同，对应本发明的筛选原则，这5帧图像中的条纹分布大致符合5步相移分布，这一点在图5(c)的局部放大图中可以明显看出。而随着条纹分布的变化，在第1帧图像中因HDR问题影响而出现饱和像素的区域，在后几帧中会因为暗条纹位置的变化而逐块转化为正常的像素值，也就是说，第1帧图像中的出现饱和像素的无效灰度信息区域在后几帧中可以找到对应的有效灰度信息，因此，这样的5帧条纹是可以用来处理HDR问题的。
从图6（a）为本发明的方法实验图和图6（b）为传统基于深度学习的单帧FPP所示的三维重建效果，对比可以明显看出，采用本发明提出的基于SIFT流的单帧条纹投影高动态范围误差补偿技术，可以在重建运动物体的同时避免HDR问题的影响，而作为对比的传统的基于深度学习的单帧FPP的重建效果中HDR问题的影响十分显著，而且本发明技术所重建的三维结果在整体精细度上也要比传统的基于深度学习的单帧FPP技术更好。

Claims (6)

1.一种基于SIFT流单帧条纹投影高动态范围误差补偿方法，其特征在于：包括如下步骤：
步骤1：预训练好一通用深度学习网络，使用投影仪对待测运动物体进行连续投影，投 影的每一帧均固定预设正弦条纹图像，再通过相机对投影仪的触发信号连续抓图，得到一 组由20张捕获的条纹图像构成的原始条纹图像序列
Figure 87689DEST_PATH_IMAGE001
；
步骤2：利用SIFT流算法，即以条纹图像
Figure 378730DEST_PATH_IMAGE002
作为配准的目标，序列中剩余的条纹图像全 部配准至
Figure 564992DEST_PATH_IMAGE003
对应的相机视角下，得到配准后条纹图像序列
Figure 543225DEST_PATH_IMAGE004
；
步骤3：对步骤2得到的配准后条纹图像序列
Figure 623176DEST_PATH_IMAGE004
进行筛选，选出 包括
Figure 258688DEST_PATH_IMAGE003
在内的最贴近5步相移条纹分布的一组条纹图像，组成最优化序列
Figure 853617DEST_PATH_IMAGE005
；
步骤4：将步骤3得到的最优化序列
Figure 567364DEST_PATH_IMAGE005
输入至步骤1中已预训练 好的通用深度学习网络中，输出用于求解条纹图像
Figure 813407DEST_PATH_IMAGE003
所对应的相位的中间量，即输出正弦 分量
Figure 72350DEST_PATH_IMAGE006
以及余弦分量
Figure 639728DEST_PATH_IMAGE007
，两式中B为条纹图像
Figure 704636DEST_PATH_IMAGE008
的条纹调制度，
Figure 867502DEST_PATH_IMAGE009
为条纹图像
Figure 375975DEST_PATH_IMAGE008
所对应的相位；
步骤5：将步骤4输出的正弦分量M和余弦分量D代入如下公式：
Figure 679917DEST_PATH_IMAGE010
，
即可计算出条纹图像
Figure 464028DEST_PATH_IMAGE008
所对应的相位，再基于空域相位展开法或几何约束法对相位进 行相位展开得到条纹图像
Figure 169816DEST_PATH_IMAGE008
所对应的绝对相位，结合标定的设备参数从所述绝对相位中恢 复出待测物体的三维信息。
2.根据权利要求1所述的基于SIFT流单帧条纹投影高动态范围误差补偿方法，其特征在于：所述步骤1中的通用深度学习网络为改进型U结构神经网络，保持网络隐藏层结构不变，改变U结构神经网络的输入层和输出层的通道数，则得到所述改进型U结构神经网络。
3.根据权利要求2所述的基于SIFT流单帧条纹投影高动态范围误差补偿方法，其特征在于：所述步骤4中通用深度学习网络的网络输入通道数为5，输出通道数为2。
4.根据权利要求1所述的基于SIFT流单帧条纹投影高动态范围误差补偿方法，其特征在于：所述步骤1的待测运动物体在相机的视场范围内，从左到右或从右到左单方向移动，在相机的景深范围内包括前后运动和-10°~10°的旋转运动。
5.根据权利要求1所述的基于SIFT流单帧条纹投影高动态范围误差补偿方法，其特征 在于：所述步骤2具体步骤如下：对原始条纹图像序列
Figure 911507DEST_PATH_IMAGE011
的任一帧
Figure 217593DEST_PATH_IMAGE012
作为配准目标进行逐帧配准，将
Figure 358724DEST_PATH_IMAGE011
中的条纹图像逐一输 入步骤1中预训练好的通用深度学习网络；
去除图像中的条纹部分而只保留背景信息，网络逐一输出去除条纹的背景图像后组成 背景图像序列
Figure 873013DEST_PATH_IMAGE013
；2)以背景图像
Figure 706977DEST_PATH_IMAGE014
作为目标图像，通过双层信念 传播算法来优化如下能量函数：
Figure 562675DEST_PATH_IMAGE016
Figure 727071DEST_PATH_IMAGE018
Figure 407451DEST_PATH_IMAGE020
式中
Figure 255059DEST_PATH_IMAGE021
和
Figure 709306DEST_PATH_IMAGE022
分别为背景图像
Figure 306421DEST_PATH_IMAGE023
与
Figure 841308DEST_PATH_IMAGE024
所对应的128维SIFT描述子 图，
Figure 767806DEST_PATH_IMAGE025
为像素点，
Figure 224196DEST_PATH_IMAGE026
为背景图像
Figure 353563DEST_PATH_IMAGE023
与
Figure 228110DEST_PATH_IMAGE027
之间的SIFT流向量 图，
Figure 778040DEST_PATH_IMAGE028
为
Figure 767730DEST_PATH_IMAGE029
的4邻域集，
Figure 858046DEST_PATH_IMAGE030
为邻域
Figure 180574DEST_PATH_IMAGE028
中除
Figure 947410DEST_PATH_IMAGE029
外的像素点，
Figure 378392DEST_PATH_IMAGE031
为小位移项系数，
Figure 85448DEST_PATH_IMAGE032
为平滑项系数，
Figure 981858DEST_PATH_IMAGE033
和
Figure 404749DEST_PATH_IMAGE034
均为用于调控流向量精度的阈值；
最优化上式后即可得到背景图像
Figure 73759DEST_PATH_IMAGE023
与
Figure 505877DEST_PATH_IMAGE027
之间的SIFT流向量图
Figure 708057DEST_PATH_IMAGE035
；3)由于序列
Figure 646057DEST_PATH_IMAGE036
和序列
Figure 786052DEST_PATH_IMAGE013
之间一一对应，
Figure 271129DEST_PATH_IMAGE035
同样为条 纹图像
Figure 688335DEST_PATH_IMAGE037
与
Figure 187449DEST_PATH_IMAGE038
之间的SIFT流向量图，通过
Figure 860745DEST_PATH_IMAGE035
即可将
Figure 713294DEST_PATH_IMAGE038
配准至
Figure 640799DEST_PATH_IMAGE037
视角下，配准后的条纹 图像
Figure 362679DEST_PATH_IMAGE039
与原图像
Figure 211687DEST_PATH_IMAGE038
之间的关系为：
Figure 540031DEST_PATH_IMAGE040
，
原始条纹图像序列中的全部图像完成配准后即可组成配准后的条纹图像序列
Figure 164785DEST_PATH_IMAGE041
。
6.根据权利要求1所述的基于SIFT流单帧条纹投影高动态范围误差补偿方法，其特征 在于：所述步骤3中具体步骤如下：用峰值检测的方法计算出条纹图像
Figure 802440DEST_PATH_IMAGE037
中正弦条纹分布 的实际像素周期T，再利用峰值检测的方法计算出条纹图像
Figure 889476DEST_PATH_IMAGE039
中的正弦条纹分布相对条纹 图像
Figure 5199DEST_PATH_IMAGE037
的实际像素位移量
Figure 422143DEST_PATH_IMAGE042
，再代入如下公式中：
Figure 43748DEST_PATH_IMAGE043
，
筛选出最贴近5步相移条纹分布的一组图像，即最优化序列
Figure 664085DEST_PATH_IMAGE044
。
CN202211497364.6A 2022-11-28 2022-11-28 基于sift流单帧条纹投影高动态范围误差补偿方法 Active CN115546255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211497364.6A CN115546255B (zh) 2022-11-28 2022-11-28 基于sift流单帧条纹投影高动态范围误差补偿方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211497364.6A CN115546255B (zh) 2022-11-28 2022-11-28 基于sift流单帧条纹投影高动态范围误差补偿方法

Publications (2)

Publication Number Publication Date
CN115546255A true CN115546255A (zh) 2022-12-30
CN115546255B CN115546255B (zh) 2023-02-28

Family

ID=84722073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211497364.6A Active CN115546255B (zh) 2022-11-28 2022-11-28 基于sift流单帧条纹投影高动态范围误差补偿方法

Country Status (1)

Country Link
CN (1) CN115546255B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197366A (zh) * 2023-11-08 2023-12-08 东莞理工学院 用于三维重建的动态物体相位计算方法及系统
CN117333394A (zh) * 2023-10-18 2024-01-02 四川大学 一种针对退化条纹增强的神经网络映射方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880185A (zh) * 2019-11-08 2020-03-13 南京理工大学 基于条纹投影的高精度动态实时360度全方位点云获取方法
CN115272065A (zh) * 2022-06-16 2022-11-01 南京理工大学 基于条纹图超分辨率重建的动态条纹投影三维测量方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880185A (zh) * 2019-11-08 2020-03-13 南京理工大学 基于条纹投影的高精度动态实时360度全方位点云获取方法
CN115272065A (zh) * 2022-06-16 2022-11-01 南京理工大学 基于条纹图超分辨率重建的动态条纹投影三维测量方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333394A (zh) * 2023-10-18 2024-01-02 四川大学 一种针对退化条纹增强的神经网络映射方法
CN117197366A (zh) * 2023-11-08 2023-12-08 东莞理工学院 用于三维重建的动态物体相位计算方法及系统
CN117197366B (zh) * 2023-11-08 2024-03-01 东莞理工学院 用于三维重建的动态物体相位计算方法及系统

Also Published As

Publication number Publication date
CN115546255B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN115546255B (zh) 基于sift流单帧条纹投影高动态范围误差补偿方法
Chen et al. High-quality 3D shape measurement using saturated fringe patterns
CN111351450B (zh) 基于深度学习的单帧条纹图像三维测量方法
CN108195313B (zh) 一种基于光强响应函数的高动态范围三维测量方法
CN109945802B (zh) 一种结构光三维测量方法
CN113506348B (zh) 一种基于格雷码辅助的三维坐标计算方法
CN108596008B (zh) 针对三维人脸测量的面部抖动补偿方法
CN105180904A (zh) 基于编码结构光的高速运动目标位姿测量方法
CN110599578A (zh) 一种真实感三维彩色纹理重建方法
CN116958419A (zh) 一种基于波前编码的双目立体视觉三维重建系统和方法
Liu et al. A novel phase unwrapping method for binocular structured light 3D reconstruction based on deep learning
CN115546285B (zh) 基于点扩散函数解算的大景深条纹投影三维测量方法
KR102327304B1 (ko) 깊이영상 카메라로부터 획득된 3d 영상의 품질 향상 방법
CN109102551A (zh) 一种基于光线追迹的时间压缩感知重构方法
CN116824047A (zh) 一种基于条纹图像增强的结构光三维重建方法
CN116295114A (zh) 一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法
CN115086550A (zh) 元成像方法与系统
CN111023999B (zh) 一种基于空间编码结构光的稠密点云生成方法
Zhang et al. Accurate measurement of high-reflective surface based on adaptive fringe projection technique
CN112325799A (zh) 一种基于近红外光投影的高精度三维人脸测量方法
CN115775302B (zh) 一种基于Transformer的高反光物体三维重建方法
Sabater et al. Contrast invariant and affine sub-pixel optical flow
CN117804381B (zh) 一种基于相机阵列聚焦结构光对物体三维重建方法
Shi et al. 3D reconstruction of structured light against texture interference based on feedback modulation projection method
CN117197366B (zh) 用于三维重建的动态物体相位计算方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant