CN115187649B - 抗强环境光干扰的三维测量方法、系统、设备及存储介质 - Google Patents

抗强环境光干扰的三维测量方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN115187649B
CN115187649B CN202211123649.3A CN202211123649A CN115187649B CN 115187649 B CN115187649 B CN 115187649B CN 202211123649 A CN202211123649 A CN 202211123649A CN 115187649 B CN115187649 B CN 115187649B
Authority
CN
China
Prior art keywords
phase
frequency
scenes
ambient light
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211123649.3A
Other languages
English (en)
Other versions
CN115187649A (zh
Inventor
金�一
张睿虎
江俊男
段明辉
范鑫
吕盼稂
陈恩红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202211123649.3A priority Critical patent/CN115187649B/zh
Publication of CN115187649A publication Critical patent/CN115187649A/zh
Application granted granted Critical
Publication of CN115187649B publication Critical patent/CN115187649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种抗强环境光干扰的三维测量方法、系统、设备及存储介质，相关方案通过一个经过适当训练的深度学习网络，从受强环境光影响的单幅条纹图像中提取高精度的相位信息，只需三条不同频率的条纹即可获得高质量的三维成像结果；实验结果表明，基于深度学习的反环境光投影轮廓技术可以减少相位误差，实现高质量的三维形状重建。与传统方法相比，消除了高直流分量，而且明显增强了条纹调制，具有更好的三维成像能力，并且解决了环境光对于条纹投影轮廓术的限制，在光学领域具备很大的实用价值。

Description

抗强环境光干扰的三维测量方法、系统、设备及存储介质
技术领域
本发明涉及深度学习和光学三维成像技术领域，尤其涉及一种抗强环境光干扰的三维测量方法、系统、设备及存储介质。
背景技术
近二十年来，光学三维成像技术得到了蓬勃发展，并在逆向工程、无损检测和生物医学等领域得到了广泛的应用。光学三维成像技术通常分为被动和主动两种方法。结构光（SL）技术是一种典型的利用投影仪光源投射编码图案的主动光学方法。其中条纹投影轮廓术（FPP）具有精度高、分辨率高等优点，是目前应用最广泛的一种结构光投影方法。在FPP方法中，投影仪首先将一系列的条纹图案投射到目标物体上，然后摄像机捕捉这些经过物体表面高度调制后的变形图像，再通过特定算法提取捕获图像的相位信息，最后通过相位与深度的映射关系，实现对目标物体表面三维形貌的成像。条纹图像获取是FPP的关键步骤，即摄像机捕获目标物体表面反射的光和额外的环境光。在这一步骤中获取的原始条纹图的好坏将直接影响到后续的相位计算和三维重建。为了保证高质量的三维成像，FPP系统通常设置在低照度或暗室以抑制环境光的影响，但当需要在户外获得高精度的物体三维形状时，FPP系统的性能并不理想。投射的条纹会受到外界无法控制的强环境光的影响，从而使包含物体表面信息的调制信号被淹没在环境光中，导致捕获的条纹图的条纹对比度低。利用这样受影响的条纹图计算的相位会偏离理想值，从而导致三维重建误差。因此，为了实现高环境光场景下的高精度三维成像，解决环境光下条纹对比度降低的问题是至关重要的。
增加投影条纹数目可以减小相位误差，但测量效率大大降低；傅立叶变换（FT）方法可以滤除噪声的频谱，但这些方法会丢失三维细节。近年来，深度学习被成功地应用于传统的FPP。研究人员试图利用深度神经网络来取代FPP的部分或全部步骤，以提高测量效率或解决传统方法中固有的问题，如条纹分析、去噪、增强、相位展开、误差补偿和单次测量，这为解决环境光的影响提供了新的可能，但是，目前还没有较为有效的方案。
发明内容
本发明的目的是提供一种抗强环境光干扰的三维测量方法、系统、设备及存储介质，可以减少相位误差，实现高质量的三维形状重建。
本发明的目的是通过以下技术方案实现的：
一种抗强环境光干扰的三维测量方法，包括：
使用无环境光下的K步相移算法捕获每一物体多种不同频率的条纹图像，并对每一种频率的条纹图像分别进行相位分析，得到每一物体每一种频率对应的用以计算包裹相位的分子项和分母项，并作为数据集的真值；其中，K≥ 3；
定量地改变投影条纹的平均强度和调制强度，对同一物体拍摄多组场景，在每组场景下分别选取多种不同频率条纹图像序列的相同位置条纹图像作为数据集的输入项，生成用于网络训练的数据集；
基于卷积神经网络，构建基于深度学习的抗环境光网络，利用构建的数据集及相应的真值训练抗环境光网络；
将待成像的条纹图像输入至训练后的抗环境光网络，使用多频外差方法对利用训练后的抗环境光网络获得的包裹相位进行解缠，提取出绝对相位分布，再结合已知的系统标定参数实现三维成像。
一种抗强环境光干扰的三维测量系统，包括：
数据集真值计算单元，用于使用无环境光下的K步相移算法捕获每一物体多种不同频率的条纹图像，并对每一种频率的条纹图像分别进行相位分析，得到每一物体每一种频率对应的用以计算包裹相位的分子项和分母项，并作为数据集的真值；其中，K≥ 3；
训练数据集生成单元，用于定量地改变投影条纹的平均强度和调制强度，对同一物体拍摄多组场景，在每组场景下分别选取多种不同频率条纹图像序列的相同位置条纹图像作为数据集的输入项，生成用于网络训练的数据集；
网络构建与训练单元，用于基于卷积神经网络，构建基于深度学习的抗环境光网络，利用构建的数据集及相应的真值训练抗环境光网络；
三维成像单元，用于将待成像的条纹图像输入至训练后的抗环境光网络，使用多频外差方法对利用训练后的抗环境光网络获得的包裹相位进行解缠，提取出绝对相位分布，再结合已知的系统标定参数实现三维成像。
一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
由上述本发明提供的技术方案可以看出：（1）通过一个经过适当训练的深度学习网络，从受强环境光影响的单幅条纹图像中提取高精度的相位信息，只需三条不同频率的条纹即可获得高质量的三维成像结果；实验结果表明，基于深度学习的反环境光投影轮廓技术可以减少相位误差，实现高质量的三维形状重建。（2）与传统方法相比，增强了条纹对比度，而且明显增强了条纹调制强度，具有更好的三维成像能力。（3）解决了环境光对于条纹投影轮廓术的限制，在光学领域具备很大的实用价值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种抗强环境光干扰的三维测量方法的流程图；
图2为本发明实施例提供的对待成像的条纹图像的三维成像流程图；
图3为本发明实施例提供的第一个场景数据的示意图；
图4为本发明实施例提供的第二个场景数据的示意图；
图5为本发明实施例提供的第一个场景数据的预测结果示意图；
图6为本发明实施例提供的第二个场景数据的预测结果示意图；
图7为本发明实施例提供的抗环境光网络性格效果示意图图；
图8为本发明实施例提供的本发明的方法和传统方法（FTP、3-Step）的相位误差分布示意图；
图9为本发明实施例提供的本发明的方法和传统方法（FTP、3-Step）的三维重建结果示意图；
图10为本发明实施例提供的本发明的方法和传统方法（3-Step、12-Step）在真实强环境光场景中的三维重建结果示意图；
图11为本发明实施例提供的标准陶瓷球的精度分析示意图；
图12为本发明实施例提供的标准陶瓷板的精度分析示意图；
图13为本发明实施例提供的本发明的方法和传统方法（3-Step、12-Step）在有阳光的室外场景中的三维重建结果示意图；
图14为本发明实施例提供的一种抗强环境光干扰的三维测量系统的示意图；
图15为本发明实施例提供的一种处理设备的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
下面对本发明所提供的一种抗强环境光干扰的三维测量方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
实施例一
本发明实施例提供一种抗强环境光干扰的三维测量方法，它是一种用于环境光影响下绝对三维形面测量的基于深度学习的条纹投影轮廓技术，该方法基于传统FPP中环境光照的影响理论实现，为了便于理解，首先对传统FPP方案进行介绍，再对本发明提供的方法做详细的介绍。
在传统FPP中，投影仪投射的正弦条纹的典型强度分布
Figure 980064DEST_PATH_IMAGE001
可以表示为：
Figure DEST_PATH_IMAGE002
式中，
Figure DEST_PATH_IMAGE003
和
Figure DEST_PATH_IMAGE004
分别表示平均强度和调制强度，
Figure DEST_PATH_IMAGE005
是要测量的相位信息，
Figure DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE007
是相移量，k表示移相的次数，K表示移相总数，
Figure DEST_PATH_IMAGE008
为圆周率。
摄像头捕捉到的条纹图像为：
Figure DEST_PATH_IMAGE009
式中，G是相机增益和曝光时间的组合因子，r是表面反射，I a 是环境光，I n 表示强度噪声。
将
Figure DEST_PATH_IMAGE010
简写为：
Figure DEST_PATH_IMAGE011
式中：
Figure DEST_PATH_IMAGE012
，
Figure DEST_PATH_IMAGE013
表示平均强度，
Figure DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE015
表示调制强度。
则条纹对比度P为：
Figure DEST_PATH_IMAGE016
信噪比SNR为：
Figure DEST_PATH_IMAGE017
由于系数
Figure DEST_PATH_IMAGE018
是一个常数，因此很容易得到信噪比SNR与条纹对比度P之间正相 关。
然后，可以通过以下公式来检索包裹的相位
Figure 47597DEST_PATH_IMAGE005
Figure DEST_PATH_IMAGE019
由强度噪声引起的FPP相位误差可以表示为：
Figure DEST_PATH_IMAGE020
随着环境光的增加，被捕获条纹图像的亮度将逐渐上升到饱和。为了保证图像亮 度范围[0,I c ]在摄像机[0,I max ]的动态范围内的最大亮度范围，应减小组合因子G，以保持 图像的最大亮度I c 为
Figure DEST_PATH_IMAGE021
，且
Figure 754653DEST_PATH_IMAGE021
小于动态范围内的最大值I max （
Figure DEST_PATH_IMAGE022
）。显然，
Figure 321900DEST_PATH_IMAGE015
与G成 正比，因此
Figure 213633DEST_PATH_IMAGE015
随之减小。由于I c 可视为常数，因此
Figure 148222DEST_PATH_IMAGE013
随
Figure 49182DEST_PATH_IMAGE015
的减小而增大。捕获的条纹图像将 具有高平均强度
Figure 470936DEST_PATH_IMAGE013
和低调制强度
Figure 799149DEST_PATH_IMAGE015
，因此条纹对比度P将极低，不仅导致条纹图像的信噪比 严重下降而且传统FPP技术的噪声容忍度也会随之降低。
此外，强环境光也会带来更多的强度噪声。在环境光较强的场景（
Figure DEST_PATH_IMAGE023
）中，环 境光引起的光子噪声将成为摄像机噪声的主要来源。然后，摄像机噪声
Figure DEST_PATH_IMAGE024
近似为：
Figure DEST_PATH_IMAGE025
其中，
Figure DEST_PATH_IMAGE026
是一个常量。显然，相机噪声与环境光强度呈正相关。由于相机噪声是强度 噪声源之一，随着环境光强逐渐上升，强度噪声I n 也会增加，导致相位误差进一步增加。
通过前述的原理介绍可知，对于传统的一次照亮整个测量场景的FPP方法来说，由于环境光的影响，三维重建结果的质量严重恶化。为了对抗强环境光干扰，减少相位误差，实现高质量的三维形状重建，本发明实施例提供一种抗强环境光干扰的三维测量方法，它是一种用于环境光影响下绝对三维形面测量的基于深度学习的条纹投影轮廓技术方案，如图1所示，其主要包括如下步骤：
步骤1、使用无环境光下的K步相移算法捕获每一物体多种不同频率的条纹图像，并对每一种频率的条纹图像分别进行相位分析，得到每一物体每一种频率对应的用以计算包裹相位的分子项和分母项，并作为数据集的真值。
本发明实施例中，K≥ 3；示例性的，可以设置K=12。K幅投影条纹图案可以表示为：
Figure DEST_PATH_IMAGE027
，相位差可以为
Figure DEST_PATH_IMAGE028
。示例性的，可以拍摄三种不同频率的条纹图像。
本步骤的优选实施方式如下：
在无环境光照的条件下，利用K步相移算法，将K幅投影条纹图案依次投射到物体上，捕获三种不同频率的条纹图像；对于当前物体，三种频率的条纹图像的关系式表示为：
Figure DEST_PATH_IMAGE029
Figure DEST_PATH_IMAGE030
Figure DEST_PATH_IMAGE031
其中，
Figure DEST_PATH_IMAGE032
、
Figure DEST_PATH_IMAGE033
和
Figure DEST_PATH_IMAGE034
分别表示三种不同频率的条纹图像，角标1、2、3分别为三种不同频 率的标记符号，数字越高对应的频率值越高，兼顾绝对相位展开方法的需求和三维重建的 精度，示例性的，选取的频率组合为f={61,70,80}。k=1,…,N表示移相的次数；A 1、A 2和A 3表 示对应频率的平均强度，B 1、B 2和B 3示对应频率的条纹调制强度；
Figure DEST_PATH_IMAGE035
、
Figure DEST_PATH_IMAGE036
和
Figure DEST_PATH_IMAGE037
表示对应频率的 包裹相位；
Figure 762645DEST_PATH_IMAGE008
为圆周率。
根据捕获得到的三种不同频率的条纹图像，通过相位分析，获得：
Figure DEST_PATH_IMAGE038
Figure DEST_PATH_IMAGE039
Figure DEST_PATH_IMAGE040
其中，
Figure DEST_PATH_IMAGE041
，
Figure DEST_PATH_IMAGE042
，
Figure DEST_PATH_IMAGE043
，
Figure DEST_PATH_IMAGE044
，
Figure DEST_PATH_IMAGE045
，
Figure DEST_PATH_IMAGE046
；N 1，N 2与N 3为对应频率的包 裹相位的分子项，D 1，D 2与D 3为对应频率的包裹相位的分母项。
步骤2、定量地改变投影条纹的平均强度和调制强度，对同一物体拍摄多组场景，在每组场景下分别选取多种不同频率条纹图像序列的相同位置条纹图像作为数据集的输入项，生成用于网络训练的数据集。
本发明实施例中，设置场景数目为三组，定量地调整投影条纹图案的平均强度和 调制强度，以设定间隔s增强条纹的平均强度，并降低相应的调制强度，对同一物体拍摄三 组场景， 第一组场景的平均强度
Figure DEST_PATH_IMAGE047
和调制强度
Figure DEST_PATH_IMAGE048
表示为
Figure DEST_PATH_IMAGE049
，S为设定值；第 二组场景的平均强度
Figure DEST_PATH_IMAGE050
和调制强度
Figure DEST_PATH_IMAGE051
表示为
Figure DEST_PATH_IMAGE052
，第三组场景的平均 强度
Figure DEST_PATH_IMAGE053
和调制强度
Figure DEST_PATH_IMAGE054
表示为
Figure DEST_PATH_IMAGE055
；其中，第一组场景为正常场景，其 对应无环境光的场景（也即步骤1执行相移算法的场景），第二组场景与第三组场景为受到 环境光影响的场景，且第二组场景下的环境光影响小于第三组场景下的环境光影响；每一 组场景下均获得对应的三种不同频率条纹图像序列，从每一种频率条纹图像序列中选出相 同位置条纹图像作为数据集的输入项。
示例性的，可以设置S=0.5，s=0.2，则三组场景的平均强度和调制强度依次为：
Figure DEST_PATH_IMAGE056
，
Figure DEST_PATH_IMAGE057
和
Figure DEST_PATH_IMAGE058
，在定量地调整投影条纹 图案的平均强度和调制强度时还需要严格控制其他条件，例如暗室、投影机光、曝光时间 等。按照上述三组场景的平均强度和调制强度可以将三组场景依次代表正常、轻微受环境 光影响受环境光严重影响的场景。每一场景中获得的条纹序列的图像数目为K。一般情况 下，可以选择每一种频率下条纹序列中位于相同位置处的条纹图像作为输入项，从而保持 输入的三种频率的条纹图有相同的相移量，有利于网络的学习。为了方便选取，也可以直接 选择条纹序列的第一张图像，此时相移量都为0。
对于每一物体对应的三种不同频率条纹图像序列的相同位置的条纹图像，利用条纹调制强度B构造掩码函数Mask来消除条纹图像的无效点。
所述条纹调制强度B表示为：
Figure DEST_PATH_IMAGE059
其中，N 1、D 1分别为物体对应的第一种频率的分子项、分母项，通过前述步骤1得到。
掩码函数Mask表示为：
Figure DEST_PATH_IMAGE060
其中，Thr为设定的阈值；
汇总所有物体对应的消除无效点的三种不同频率的条纹图像，按照比例进行划分，获得用于网络训练的数据集。
所述条纹调制强度B表示为：
Figure 781810DEST_PATH_IMAGE059
其中，N 1、D 1分别为物体对应的第一种频率的分子项、分母项；
掩码函数Mask表示为：
Figure 323650DEST_PATH_IMAGE060
其中，Thr为设定的阈值，0，1均为掩码值，用来指示条纹图像对应的位置点是否被作为无效点消除。
汇总所有物体对应的消除无效点的三种不同频率的条纹图像，按照比例进行划分，获得用于网络训练的数据集。
示例性的，假设拍摄了M=100个物体，则拍摄场景为100*3个场景，设置：80%用于训练，10%用于测试，10%用于验证。
本发明实施例提供的上述数据生成方案既满足了环境光影响条纹图像的特点，又消除了室外环境中不可控因素的影响，增强了深度学习网络的学习能力。
步骤3、基于卷积神经网络，构建基于深度学习的抗环境光网络，利用构建的数据集及相应的真值训练抗环境光网络。
本发明实施例中，将卷积神经网络（CNNs）与多频条纹图像相结合，利用U-Net网络（它是一种卷积神经网络）在图像到图像任务中的良好性能和ResNet网络（它是一种残差网络）对深层神经网络特征提取能力的优化，构建了一种基于深度学习的抗环境光网络（DLANet），训练抗环境光网络从多种不同频率（例如，前文提到的三种不同频率）的受环境光影响的低信噪比图像中预测不受环境光影响的高信噪比相位信息。特别地，因为神经网络很难学习尖锐的不连续突变，因此，本发明不直接预测由于重复的2π相位截断而产生的包裹相位信息，而是选择预测反正切计算过程的中间项：在空间上连续变化的正切函数的分子和分母。通过这种设置，抗环境光网络可以获得更高的相位分析精度。
本发明实施例中，所述抗环境光网络包括：编码器、连接器与解码器；其中：所述编码器中包括多个依次连接的残差块，相邻残差块之间设有池化层，通过残差块与池化层对输入的条纹图像进行下采样，编码器的输出为特征图；连接器输入为所述编码器输出的特征图，连接器通过残差块实现，对编码器输出的特征图进行处理后，发送到解码器；解码器包括多个依次连接的残差块以及末尾的卷积层，通过残差块对连接器输出的特征图进行上采样，且不同的残差块之间设有跳跃连接，最后一个残差块的输出经过所述末尾的卷积层输出多种不同频率对应的计算包裹相位的分子项和分母项。具体的：
抗环境光网络的原型结构是U-Net网络，它由编码器、解码器和中间的连接器组成。与U-Net不同，编解码器中使用残差块而不是双层卷积块。残差块基于ResNet-v2（它是一种残差网络），对于每个残差块，它包含两个3×3卷积层和一个1×1卷积层，确保通过最短路径的张量与通过主路径的张量具有相同的特征通道数。使用残差块可以缓解网络深度增加带来的精度下降并且加快训练过程。BN层和线性整流函数（ReLU）设置在残差块中3×3卷积层的前面。在每次卷积后，使用零填充来保持特征图的尺寸不变。在编码器中，每个残差块的输出都通过最大池化层以2的步长进行下采样，将输出特征图的长宽减小为原来的1/2。然后，特征图被传递到下一级的残差块，在这一级的残差块中将特征图的特征通道数量翻倍。这个过程需要执行四次。连接器由残差块实现，对编码器输出的特征图进行处理后，发送到解码器；解码器的每一级是由一个双线性插值上采样层和一个双层卷积块构成，双线性插值上采样会让特征图的长宽翻倍，双层卷积块让特征图的特征通道数减半，输入特征图使用双线性插值进行步长为2的上采样，总共执行四次，使特征图的大小与刚输入网络时的大小一致；跳跃连接将高层信息和对应的低层信息合并，以保留更多缺失的特征信息；最后一层是具有多个（例如6个）输出通道的1×1卷积层，用于映射多对（例如，三对）分子和分母项。
本发明实施例中，利用所述抗环境光网络预测出的计算包裹相位的分子项和分母项，以及相应的真值构建损失函数，表示为：
Figure DEST_PATH_IMAGE061
其中，
Figure DEST_PATH_IMAGE062
表示抗环境光网络中包括权重、偏差和卷积核的参数空间；H与W分别表示 数据集中条纹图像的高度与宽度；t为频率的标记符号，数字越高对应的频率值越高；
Figure DEST_PATH_IMAGE063
与
Figure DEST_PATH_IMAGE064
表示参数空间为
Figure 166972DEST_PATH_IMAGE062
的抗环境光网络预测出的计算包裹相位的分子项和分母 项；N t 和D t 表示用以计算包裹相位的分子项和分母项的真值。
本发明实施例中，数据值的真值是在无环境光照条件下获得的，其对应的场景为前述第一组场景，即正常场景。对同一个物体拍摄的多种场景下的条纹图像，将其输入网络后，每一组场景都会预测出对应的分子项和分母项，此时都使用无环境光照条件下获得的真值，也就是说，对于同一个物体，不同组场景下使用的N t 和D t 是相同的。本发明实施例中是通过数据集模拟出环境光影响的场景，无环境光条件是为了拍摄数据集时控制实验环境变量。
步骤4、将待成像的条纹图像输入至训练后的抗环境光网络，使用多频外差方法对利用训练后的抗环境光网络获得的包裹相位进行解缠，提取出绝对相位分布，再结合已知的系统标定参数实现三维成像。
本步骤的优选实施方式如下：
设置频率数目为3，利用训练后的抗环境光网络预测的每一种频率对应的用以计算包裹相位的分子项和分母项，计算出相应频率的包裹相位，表示为：
Figure DEST_PATH_IMAGE065
Figure DEST_PATH_IMAGE066
Figure DEST_PATH_IMAGE067
其中，l、m、h分别为三种不同频率的标记符号，对应的频率值依次增高，N l ，N m 与N h 为对应频率的包裹相位的分子项，D l ，D m 与D h 为对应频率的包裹相位的分母项，
Figure DEST_PATH_IMAGE068
、
Figure DEST_PATH_IMAGE069
与
Figure DEST_PATH_IMAGE070
表示对应频率的包裹相位。
将三个频率的包裹相位逐层作差，使得
Figure DEST_PATH_IMAGE071
具有唯一的相位分布，再通过分层解 缠过程从
Figure DEST_PATH_IMAGE072
、
Figure DEST_PATH_IMAGE073
和
Figure DEST_PATH_IMAGE074
中提取绝对相位分部
Figure DEST_PATH_IMAGE075
，表示为：
Figure DEST_PATH_IMAGE076
Figure DEST_PATH_IMAGE077
Figure DEST_PATH_IMAGE078
Figure DEST_PATH_IMAGE079
Figure DEST_PATH_IMAGE080
其中，f h 、f m 分别表示频率的标记符号h、m对应的频率值，
Figure DEST_PATH_IMAGE081
为
Figure DEST_PATH_IMAGE082
与
Figure DEST_PATH_IMAGE083
的差值，
Figure DEST_PATH_IMAGE084
为
Figure DEST_PATH_IMAGE085
与
Figure DEST_PATH_IMAGE086
的差值，
Figure DEST_PATH_IMAGE087
为差值
Figure DEST_PATH_IMAGE088
与差值
Figure 923092DEST_PATH_IMAGE084
的差值，
Figure DEST_PATH_IMAGE089
为差值
Figure DEST_PATH_IMAGE090
的绝对相位分 布，
Figure 182166DEST_PATH_IMAGE075
为提取出的绝对相位分布，它是频率最高的条纹图像的绝对相位分布。
提取出绝对相位分布
Figure 578513DEST_PATH_IMAGE075
后利用系统的标定参数实现在高环境光场景下物体的高 质量三维成像，此处所涉及的流程可通过常规技术实现，本发明不做赘述。
如图2所示，展示了步骤4的主要流程，最左侧的测试输入（Test input）表示输入的待成像的条纹图像，其右侧的网络即为训练后的抗环境光网络，输出（Output）表示训练后的抗环境光网络预测的每一种频率对应的用以计算包裹相位的分子项和分母项，相位（Phase）提取表示提取绝对相位分布的过程，其下方即为三维成像结果（3D data）。
为了验证上述方法的性能，构建了一个FPP系统，该系统包括一台分辨率为1140×912像素的投影仪（DLP LightCrafter4500，Ti）和一台640×480像素的高速摄像机（PointGrey，Grasshop per3），并根据投影仪1140的分辨率，在整个测量范围内选择{80，70，61}的频率组合进行相位解缠。DLANet是在Intel Xeno Gold 6252 2.10 GHz处理器、400 GB内存和GeForce GTX Titan RTX（NVIDIA）的服务器上使用基于pytorch（它是一种开源的深度学习库）的深度学习平台构建的，选择ADAM作为网络更新的优化算法，设置最小批量为2，初始学习率为1e−4，当验证损失停滞10个周期时，初始学习率除以2，以均方误差为损失函数，250个周期后网络收敛，耗时约5小时。
通过三个示例分析验证本发明方法的有效性。示例一为测量随机选择的网络从未见过的场景；示例二为测量一个标准陶瓷球和一个标准陶瓷板；示例三为在室外场景测量花朵的石膏模型。
示例一
从测试集中随机选择抗环境光网络从未见过的场景，该场景包含具有孤立和复杂 表面形状的两个对象的组合。图3展示了在受正常环境光影响的场景
Figure DEST_PATH_IMAGE091
中 捕获的条纹图像
Figure DEST_PATH_IMAGE092
，称为第一个场景数据，图3从左至右三个条纹图像对应的频率为
Figure DEST_PATH_IMAGE093
、
Figure DEST_PATH_IMAGE094
、
Figure DEST_PATH_IMAGE095
。图4展示了在受强环境光影响的场景
Figure DEST_PATH_IMAGE096
中捕获 的条纹图像
Figure DEST_PATH_IMAGE097
，称为第二个场景数据，图4从左至右三个条纹图像对应的频率为
Figure DEST_PATH_IMAGE098
、
Figure DEST_PATH_IMAGE099
、
Figure DEST_PATH_IMAGE100
。
图5展示了第一个场景数据的相关结果，图6展示了第二个场景数据的相关结果。抗环境光网络的预测结果是每个输入条纹图像的分子和分母，如图5~图6的前两列所示；之后，送入正切函数以计算相应的包裹相位，如图5~图6的第三列所示；图5~图6的最后一列示出了计算的绝对相位分布。
图7展示了抗环境光网络的性能，将图6场景的第一列和第二列的结果整合，分别置于图7第一列的上部分和下部分，展示完整图片的是图六场景中最后一行中从左到右的第一、第二张图，具体的：图7第一列为第三组（频率最高的一组）分子项（第一列上方部分）与分母项（第一列下方部分）；图7第二列为输入图像的分子项（上半部分）与分母项（下半部分）第200列的取值范围（也可以称为分子分母的对比度），以第二列的上半部分为例，曲线包含了重叠在一起的三部分曲线，取值范围最小的曲线代表强环境光干扰下的条纹图像的分子项的第200列的取值范围；取值范围中等的曲线代表低环境光干扰下的条纹图像的分子项的第200列的取值范围；取值范围最大的曲线代表无环境光干扰下的条纹图像的分子项的第200列的取值范围；图7第三列为输出图像（网络的预测输出图）的分子项（上半部分）与分母项（下半部分）第200列的取值范围，曲线含义与第二列类似，可以看到输出的取值范围都接近真值，具体的，第三列是通过网络输出后对应的分子分母项的200列的取值范围，得益于网络的学习能力，两种有环境光场景下的输入值的分子分母都被增强并且接近无环境光场景的分子分母项的值，因此图7第三列上半部分和下半部分的曲线基本重合。也就是说，抗环境光网络通过增强分子分母的对比度来提高边缘对比度，接近地面真实的期望值，并在测试集中的其他场景中表现一致。
接下来，将本发明提供的方法与传统的FTP法和三步移相法（3-Step）进行了比较。将本发明中的K设为12，以12步移相法和三频外差法产生的绝对相位为基本真实值，本发明的方法（Our method）和传统方法（FTP、3-Step）的相位误差如图8所示，并计算了相应的平均绝对误差（MAE）。由于条纹对比度较低，用于提取相位信息的条纹图像会有更多的噪声，因此使用传统的方法提取相位信息时会有更多的相位误差，特别是FTP法（图8第一列）。与傅里叶变换法相比，三步相移法利用3幅图像来计算相位信息，消除了直流分量的影响，相位误差小于傅里叶变换，如图8第二列的上方部分所示。然而，在高环境光场景下，为了使图像不饱和，我们必须大大减少摄像机的曝光时间，从而减少条纹调制。低调制的条纹图像会带来更多的强度噪声，导致相位成像质量较差。因此，低质量的相位信息会造成严重的相位展开误差，如图8第二列的下方部分所示。通过对比，本发明的方法不仅消除了高直流分量，而且明显增强了条纹调制，如图8第三列所示，因此，通过本发明的方法提取的相位信息可以解缠包裹最高精度的绝对相位。
此外，对三种方法的三维重建结果进行了比较，如图9所示，第一列为基于FTP的三维重建结果，第二列为基于3-Step的三维重建结果，第三列为本发明的三维重建结果，第四列为三维重建结果的真值。与两种传统方法相比，本发明的方法在不同的环境光照水平下表现得很好，获得了最平滑的三维形状，这与作为真值（Ground Truth）的三维重建结果相似。
之后，引入两个可调光源到原有的FPP系统中，构建具有环境光照明的新的FPP系统，并捕获三个真实环境光场景的条纹图像（对应三个测试场景），如图10所示。图中显示了3步相移、12步相移（12-Step）与本发明之间的三维重建结果。图10的第一列显示了三个测试场景。图10的第二列显示了三步法的结果，与先前实验中模拟的强环境光场景一样，解决方案的绝对阶段存在许多跳跃误差，这导致了最终三维重建的质量较差；虽然使用多步长相移法可以在一定程度上缓解强环境光对三维重建的影响，如图10第三列所示的12步相移法，但三维表面质量仍然较差，并且，本发明使用K（例如，K=12）步相移算法是为了获取高精确度、无环境光干扰的数据集真值，用于网络模型的训练，在网络模型训练好之后，面对新的场景，本发明只需要三张不同频率条纹图便能实现最终的三维成像，而传统的12步相移算法需要3x12=36张条纹图才能实现三维成像，可见传统的12步相移算法需要的图像数量是本发明的12倍，这大大降低了测量效率。
示例二
在真实的强环境光场景中分别测量了一个直径为50.8000 mm的标准陶瓷球和一个标准陶瓷板。如图11所示，左侧部分显示了本发明的三维重建结果，并用球体拟合得到了重建结果的直径和相应的误差分布；右侧部分显示拟合球直径为50.8356 mm，测量结果的误差幅度为0.3 mm。图12显示了标准陶瓷板的测量结果，左侧部分为本发明的三维重建结果，中间部分显示了重建板的误差分布，误差幅度为0.2 mm，右侧部分显示三维重建结果的平均绝对误差（MAE）和均方误差（RMSE）分别为0.0322mm和0.0403mm。实验证明，本发明的方法可以在强环境光场景下实现高精度的三维成像。
示例三
将FPP系统放置在阳光下，得到受室外环境光影响的条纹图像。使用花朵的石膏模型来测试本发明在室外场景中的三维成像能力，实验结果如图13所示，从左只有四个部分依次为：输入花朵的石膏模型、3-Step的三维重建解结果、12-Step的三维重建解结果、本发明的三维重建解结果。由于室外环境光强，必须进一步缩短相机的曝光时间，这使得传统的方法很难获得高质量的三维重建结果，如中间两部分所示。通过对比，本发明仍然获得了石膏模型最平滑的三维表面，这说明了本发明即使在室外场景中也保持了良好的三维成像能力。
实施例二
本发明还提供一种抗强环境光干扰的三维测量系统，其主要基于前述实施例提供的方法实现，如图14所示，该系统主要包括：
数据集真值计算单元，用于使用无环境光下的K步相移算法捕获每一物体多种不同频率的条纹图像，并对每一种频率的条纹图像分别进行相位分析，得到每一物体每一种频率对应的用以计算包裹相位的分子项和分母项，并作为数据集的真值；其中，K≥ 3；
训练数据集生成单元，用于定量地改变投影条纹的平均强度和调制强度，对同一物体拍摄多组场景，在每组场景下分别选取多种不同频率条纹图像序列的相同位置条纹图像作为数据集的输入项，生成用于网络训练的数据集；
网络构建与训练单元，用于基于卷积神经网络，构建基于深度学习的抗环境光网络，利用构建的数据集及相应的真值训练抗环境光网络；
三维成像单元，用于将待成像的条纹图像输入至训练后的抗环境光网络，使用多频外差方法对利用训练后的抗环境光网络获得的包裹相位进行解缠，提取出绝对相位分布，再结合已知的系统标定参数实现三维成像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例三
本发明还提供一种处理设备，如图15所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
输出设备可以为显示终端；
存储器可以为随机存取存储器（Random Access Memory，RAM），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。
实施例四
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种抗强环境光干扰的三维测量方法，其特征在于，包括：
使用无环境光下的K步相移算法捕获每一物体多种不同频率的条纹图像，并对每一种频率的条纹图像分别进行相位分析，得到每一物体每一种频率对应的用以计算包裹相位的分子项和分母项，并作为数据集的真值；其中，K≥ 3；
定量地改变投影条纹的平均强度和调制强度，对同一物体拍摄多组场景，在每组场景下分别选取多种不同频率条纹图像序列的相同位置条纹图像作为数据集的输入项，生成用于网络训练的数据集；
基于卷积神经网络，构建基于深度学习的抗环境光网络，利用构建的数据集及相应的真值训练抗环境光网络；
将待成像的条纹图像输入至训练后的抗环境光网络，使用多频外差方法对利用训练后的抗环境光网络获得的包裹相位进行解缠，提取出绝对相位分布，再结合已知的系统标定参数实现三维成像；
其中，定量地改变投影条纹的平均强度和调制强度，对同一物体拍摄多组场景，在每组场景下分别选取多种不同频率条纹图像序列的相同位置条纹图像作为数据集的输入项包括：设置场景数目为三组，定量地调整投影条纹图案的平均强度和调制强度，以设定间隔s增强条纹的平均强度，并降低相应的调制强度，对同一物体拍摄三组场景，第一组场景的平均强度
Figure 518113DEST_PATH_IMAGE001
和调制强度
Figure 615382DEST_PATH_IMAGE002
表示为
Figure 448209DEST_PATH_IMAGE003
，S为设定值；第二组场景的平均强度
Figure 605520DEST_PATH_IMAGE004
和调制强度
Figure 8951DEST_PATH_IMAGE005
表示为
Figure 113173DEST_PATH_IMAGE006
，第三组场景的平均强度
Figure 800507DEST_PATH_IMAGE007
和调制强度
Figure 128720DEST_PATH_IMAGE008
表示为
Figure 534293DEST_PATH_IMAGE009
；其中，第一组场景为正常场景，其对应无环境光的场景，第二组场景与第三组场景为受到环境光影响的场景，且第二组场景下的环境光影响小于第三组场景下的环境光影响；每一组场景下均获得对应的三种不同频率条纹图像序列，从每一种频率条纹图像序列中选出相同位置条纹图像作为数据集的输入项；
所述利用构建的数据集及相应的真值训练抗环境光网络包括：
利用所述抗环境光网络预测出的计算包裹相位的分子项和分母项，以及相应的真值构建损失函数，表示为：
Figure 724097DEST_PATH_IMAGE010
其中，
Figure 265937DEST_PATH_IMAGE011
表示抗环境光网络中包括权重、偏差和卷积核的参数空间；H与W分别表示数据集中条纹图像的高度与宽度；t为频率的标记符号，数字越高对应的频率值越高；
Figure 968314DEST_PATH_IMAGE012
与
Figure 861183DEST_PATH_IMAGE013
表示参数空间为
Figure 103946DEST_PATH_IMAGE011
的抗环境光网络预测出的计算包裹相位的分子项和分母项；N t 和D t 表示用以计算包裹相位的分子项和分母项的真值；
所述抗环境光网络包括：编码器、连接器与解码器；其中：所述编码器中包括多个依次连接的残差块，相邻残差块之间设有池化层，通过残差块与池化层对输入的条纹图像进行下采样，编码器的输出为特征图；连接器输入为所述编码器输出的特征图，连接器通过残差块实现，对编码器输出的特征图进行处理后，发送到解码器；解码器包括多个依次连接的残差块以及末尾的卷积层，通过残差块对连接器输出的特征图进行上采样，且不同的残差块之间设有跳跃连接，最后一个残差块的输出经过所述末尾的卷积层输出多种不同频率对应的计算包裹相位的分子项和分母项；
所述使用多频外差方法对利用训练后的抗环境光网络获得的包裹相位进行解缠，提取出绝对相位分布包括：
设置频率数目为3，利用训练后的抗环境光网络预测的每一种频率对应的用以计算包裹相位的分子项和分母项，计算出相应频率的包裹相位，表示为：
Figure 268603DEST_PATH_IMAGE014
Figure 938619DEST_PATH_IMAGE015
Figure 256467DEST_PATH_IMAGE016
其中，l、m、h分别为三种不同频率的标记符号，对应的频率值依次增高，N l ，N m 与N h 为对应频率的包裹相位的分子项，D l ，D m 与D h 为对应频率的包裹相位的分母项，
Figure 302921DEST_PATH_IMAGE017
、
Figure 819353DEST_PATH_IMAGE018
与
Figure 411002DEST_PATH_IMAGE019
表示对应频率的包裹相位；
将三个频率的包裹相位逐层作差，使得
Figure 216147DEST_PATH_IMAGE020
具有唯一的相位分布，再通过分层解缠过程从
Figure 800712DEST_PATH_IMAGE021
、
Figure 171651DEST_PATH_IMAGE022
和
Figure 449048DEST_PATH_IMAGE023
中提取绝对相位分部
Figure 288960DEST_PATH_IMAGE024
，表示为：
Figure 614899DEST_PATH_IMAGE025
Figure 840344DEST_PATH_IMAGE026
Figure 554222DEST_PATH_IMAGE027
Figure 865117DEST_PATH_IMAGE028
Figure 542217DEST_PATH_IMAGE029
其中，f h 、f m 分别表示频率的标记符号h、m对应的频率值，
Figure 91011DEST_PATH_IMAGE030
为
Figure 444631DEST_PATH_IMAGE031
与
Figure 508402DEST_PATH_IMAGE032
的差值，
Figure 238461DEST_PATH_IMAGE033
为
Figure 641761DEST_PATH_IMAGE034
与
Figure 917015DEST_PATH_IMAGE035
的差值，
Figure 468082DEST_PATH_IMAGE036
为差值
Figure 736253DEST_PATH_IMAGE037
与差值
Figure 790796DEST_PATH_IMAGE033
的差值，
Figure 955061DEST_PATH_IMAGE038
为差值
Figure 478578DEST_PATH_IMAGE039
的绝对相位分布，
Figure 550439DEST_PATH_IMAGE040
为圆周率。
2.根据权利要求1所述的一种抗强环境光干扰的三维测量方法，其特征在于，所述使用无环境光下的K步相移算法捕获每一物体多种不同频率的条纹图像，并对每一种频率的条纹图像分别进行相位分析，得到每一物体每一种频率对应的用以计算包裹相位的分子项和分母项包括：
在无环境光照的条件下，利用K步相移算法，将K幅条纹图案依次投射到物体上，捕获三种不同频率的条纹图像；对于当前物体，三种频率的条纹图像的关系式表示为：
Figure 725068DEST_PATH_IMAGE041
Figure 591393DEST_PATH_IMAGE042
Figure 54735DEST_PATH_IMAGE043
其中，
Figure 415441DEST_PATH_IMAGE044
、
Figure 710156DEST_PATH_IMAGE045
和
Figure 12961DEST_PATH_IMAGE046
分别表示三种不同频率的条纹图像，角标1、2、3分别为三种不同频率的标记符号，数字越高对应的频率值越高，k=1,…,K 表示移相的次数；A 1、A 2和A 3表示对应频率的平均强度，B 1、B 2和B 3表示对应频率的条纹调制强度；
Figure 494758DEST_PATH_IMAGE047
、
Figure 111684DEST_PATH_IMAGE048
和
Figure 746059DEST_PATH_IMAGE049
表示对应频率的包裹相位；
Figure 219766DEST_PATH_IMAGE040
为圆周率；
根据捕获得到的三种不同频率的条纹图像，通过相位分析，获得：
Figure 454438DEST_PATH_IMAGE050
Figure 406214DEST_PATH_IMAGE051
Figure 613204DEST_PATH_IMAGE052
其中，
Figure 2685DEST_PATH_IMAGE053
，
Figure 724653DEST_PATH_IMAGE054
，
Figure 480120DEST_PATH_IMAGE055
，
Figure 276037DEST_PATH_IMAGE056
，
Figure 91547DEST_PATH_IMAGE057
，
Figure 785964DEST_PATH_IMAGE058
；N 1，N 2与N 3为对应频率的包裹相位的分子项，D 1，D 2与D 3为对应频率的包裹相位的分母项。
3.根据权利要求1所述的一种抗强环境光干扰的三维测量方法，其特征在于，所述生成用于网络训练的数据集包括：
对于每一物体对应的三种不同频率条纹图像序列的相同位置的条纹图像，利用条纹调制强度B构造掩码函数Mask来消除条纹图像的无效点；
所述条纹调制强度B表示为：
Figure 610701DEST_PATH_IMAGE059
其中，N 1、D 1分别为物体对应的第一种频率的分子项、分母项；
掩码函数Mask表示为：
Figure 323442DEST_PATH_IMAGE060
其中，Thr为设定的阈值；
汇总所有物体对应的消除无效点的三种不同频率的条纹图像，按照比例进行划分，获得用于网络训练的数据集。
4.一种抗强环境光干扰的三维测量系统，其特征在于，基于权利要求1~3任一项所述的方法实现，该系统包括：
数据集真值计算单元，用于使用无环境光下的K步相移算法捕获每一物体多种不同频率的条纹图像，并对每一种频率的条纹图像分别进行相位分析，得到每一物体每一种频率对应的用以计算包裹相位的分子项和分母项，并作为数据集的真值；其中，K≥ 3；
训练数据集生成单元，用于定量地改变投影条纹的平均强度和调制强度，对同一物体拍摄多组场景，在每组场景下分别选取多种不同频率条纹图像序列的相同位置条纹图像作为数据集的输入项，生成用于网络训练的数据集；
网络构建与训练单元，用于基于卷积神经网络，构建基于深度学习的抗环境光网络，利用构建的数据集及相应的真值训练抗环境光网络；
三维成像单元，用于将待成像的条纹图像输入至训练后的抗环境光网络，使用多频外差方法对利用训练后的抗环境光网络获得的包裹相位进行解缠，提取出绝对相位分布，再结合已知的系统标定参数实现三维成像。
5.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1~3任一项所述的方法。
6.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~3任一项所述的方法。
CN202211123649.3A 2022-09-15 2022-09-15 抗强环境光干扰的三维测量方法、系统、设备及存储介质 Active CN115187649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211123649.3A CN115187649B (zh) 2022-09-15 2022-09-15 抗强环境光干扰的三维测量方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211123649.3A CN115187649B (zh) 2022-09-15 2022-09-15 抗强环境光干扰的三维测量方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115187649A CN115187649A (zh) 2022-10-14
CN115187649B true CN115187649B (zh) 2022-12-30

Family

ID=83524257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211123649.3A Active CN115187649B (zh) 2022-09-15 2022-09-15 抗强环境光干扰的三维测量方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115187649B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2910123B1 (fr) * 2006-12-19 2009-01-23 Phosylab Sarl Procede optico-informatique de mesure 3d de la surface exterieure d'un objet en relief par projection de franges et utilisation d'une methode a decalage de phase, systeme correspondant
CN109253708B (zh) * 2018-09-29 2020-09-11 南京理工大学 一种基于深度学习的条纹投影时间相位展开方法
CN111402240A (zh) * 2020-03-19 2020-07-10 南京理工大学 基于深度学习的单帧彩色条纹投影的三维面型测量方法
CN111723306B (zh) * 2020-05-29 2023-07-25 长三角信息智能创新研究院 一种基于地理感知的序列位置推荐方法
CN113048914B (zh) * 2021-04-19 2022-04-19 中国科学技术大学 相位解包裹方法及装置
CN215338216U (zh) * 2021-07-14 2021-12-28 苏州大学 一种基于衍射光学元件的条纹投影三维形貌测量装置
CN114777677B (zh) * 2022-03-09 2024-04-26 南京理工大学 基于深度学习的单帧双频复用条纹投影三维面型测量方法

Also Published As

Publication number Publication date
CN115187649A (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN110163817B (zh) 一种基于全卷积神经网络的相位主值提取方法
Song et al. A high dynamic range structured light means for the 3D measurement of specular surface
CN109945802B (zh) 一种结构光三维测量方法
CN108195313B (zh) 一种基于光强响应函数的高动态范围三维测量方法
CN107894215B (zh) 基于全自动曝光的高动态范围光栅投影三维测量方法
CN107917679B (zh) 一种高亮、过暗区域动态检测、补偿的方法
JP2021507440A (ja) 対象物の３次元画像を生成するための方法およびシステム
CN113358063B (zh) 一种基于相位加权融合的面结构光三维测量方法及系统
WO2012032341A1 (en) Method and apparatus of measuring the shape of an object
CN111461295B (zh) 基于多尺度生成对抗神经网络的单帧条纹分析方法
CN111174730B (zh) 一种基于相位编码的快速相位解包裹方法
CN110766767B (zh) 获取格雷码结构光图像的方法、系统、装置
CN115546255B (zh) 基于sift流单帧条纹投影高动态范围误差补偿方法
CN112529794A (zh) 高动态范围结构光三维测量方法、系统及介质
Van Der Jeught et al. Optimized loss function in deep learning profilometry for improved prediction performance
Gu et al. Holoimages
CN117011478B (zh) 一种基于深度学习与条纹投影轮廓术的单张图像重建方法
CN112802084B (zh) 基于深度学习的三维形貌测量方法、系统和存储介质
Wu et al. A general phase ambiguity suppression algorithm combining geometric constraints and temporal phase unwrapping
Song et al. Super-resolution phase retrieval network for single-pattern structured light 3D imaging
CN115187649B (zh) 抗强环境光干扰的三维测量方法、系统、设备及存储介质
Wan et al. Single-shot 3D measurement of highly reflective objects with deep learning
Fu et al. High Dynamic Range Structured Light 3-D Measurement Based on Region Adaptive Fringe Brightness
Zhang et al. Accurate measurement of high-reflective surface based on adaptive fringe projection technique
Chen et al. Error model and two-phase correction method for indirect illumination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant