CN111189414B - 一种实时单帧相位提取方法 - Google Patents
一种实时单帧相位提取方法 Download PDFInfo
- Publication number
- CN111189414B CN111189414B CN202010022267.6A CN202010022267A CN111189414B CN 111189414 B CN111189414 B CN 111189414B CN 202010022267 A CN202010022267 A CN 202010022267A CN 111189414 B CN111189414 B CN 111189414B
- Authority
- CN
- China
- Prior art keywords
- network
- phase
- real
- phase extraction
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明属于光学测量个人工智能领域,具体涉及一种实时单帧相位提取方法,具体包括如下步骤:1)搭建深度卷积对抗生成网络,确定训练的损失函数;2)搭建条纹投影测量系统;3)采集训练数据集合;4)计算所采集变形条纹图的相位真值;5)利用前述步骤中的损失函数和数据集对网络进行训练;6)实时单帧相位提取。本发明方法主要利用对抗生成网络,以变形条纹图作为输入,生成相应的相位图,解决现有单帧相位提取方法针对低频条纹和突变曲面相位提取精度差的问题。
Description
技术领域
本发明属于光学测量个人工智能领域,具体涉及一种实时单帧相位提取方法。
背景技术
相位提取在光学测量具有十分重要的应用,如干涉测量、摩尔测量、条纹投影结构光测量等。广泛使用的相位提取方法为相移法,优点是相位提取精度高;缺点是需要多帧图像,因而不能测量动态物体。单帧相位提取技术只需要一帧变形条纹图就可以计算得到相位,所以通常用来进行实时测量。
在条纹投影轮廓术中,最广泛使用单帧相位提取技术是傅立叶变换轮廓术。傅立叶变换轮廓术的好处是计算快,鲁棒性相对较好。缺点是其最低频相位提取的误差较大,对于复杂表面特别是有高度突变的曲面测量效果较差。其他的单帧相位提取方法有窗口傅立叶、希尔伯特变换、经验模式分解等方法。这些方法的优点是相位提取精度高,缺点是对噪声敏感,并且计算耗时,无法进行实时测量。因此在实际应用中,傅立叶变换轮廓术仍然是主流。
深度学习,特别是卷积神经网络在图像处理领域取得了巨大的成功。对抗生成网络,利用博弈论的思想,同时训练一个生成网络和一个鉴别网络,使得两个网络在对抗中达到平衡,以得到最优的生成效果。对抗生成网络为图像的生成提供了新的思路。
发明内容
本发明的目的在于提供一种实时单帧相位提取方法,解决现有单帧相位提取方法针对低频条纹和突变曲面相位提取精度差的问题。本发明方法主要利用对抗生成网络,以变形条纹图作为输入,生成相应的相位图。
本发明的实现过程如下:
一种实时单帧相位提取方法,包括如下步骤:
1)搭建深度卷积对抗生成网络,确定训练的损失函数;
2)搭建条纹投影测量系统;
3)采集变形条纹图的数据集;
4)计算步骤3)所采集变形条纹图的相位真值;
5)利用步骤1)中的损失函数、步骤3)所采集的数据集和步骤4)计算的相位真值对网络进行训练,最终得到训练好的网络;
6)利用步骤5)训练好的网络,进行实时单帧相位提取。
进一步,所述步骤1)中,首先确定整个网络的功能和拟模拟的函数;其次确定损失函数;最后搭建所述深度卷积对抗生成网络。
进一步,所述步骤1)包括如下步骤:
第一步:首先确定整个网络的功能和拟模拟的函数;
在条纹投影轮廓术中,一个物体为高为h的表面的条纹,在经过相机捕捉到后,变形条纹图的傅立叶级数形式为:
相似的在参考平面上:
由欧拉公式,进一步得
g(x,y)=f(z)
即,g(x,y)是复数z的函数,并且z是一个有界可导函数,所以可以用神经网络很好的模拟上述函数关系;
所以搭建神经网络的输出为z的是实部和虚部;
第二步:确定损失函数;
其生成网络损失函数由L1损失,Lp毕达哥拉斯损失和LGAN对抗损失组成:
LossG=λ1L1+λ2LGAN+λ3Lp
其中λ1,λ2,λ3为各项系数,并且有:
L1=||T(x,y)gen-T(x,y)gt||1,
其鉴别器损失为L1损失;
第三步:搭建所述深度卷积对抗生成网络;
进一步,所述步骤2)中,通过数码成像器件和结构光投射器件搭建条纹投影测量系统,两种器件需要工作在同一波段,两者之间具有夹角α,基线距离d;所述结构光投射器件能够投射不同频率的初始相位的结构光图像。
进一步,所述同一波段为可见光波段或者近红外波段;所述夹角α的范围为0°~30°;所述夹角α、基线距离d根据系统需求确定。
进一步,所述步骤3)中,数码成像器件所采集的每一次数据采集,包含多种不同频率变形条纹图,其频率取值范围为[1,fmax]中选取,其中fmax的取值为结构光投射器沿基线方向分辨率的十分之一,每一种频率需要采集多组相位不同的图像,相位间隔为2π/s,其中s为每一种频率采集图像的张数,s大于等于3;然后更换不同类型的对象进行多次采集;所述不同类型为不同形状、不同角度、不同反射率、不同距离中任意一种。
进一步,所述步骤4)数码成像器件每一次采集中的每一组视为一个样本,利用相移法计算每一个样本的相位真值。
进一步,所述相移法计算每一个样本的相位真值的具体过程为:
数码成像器件采集到的第i张相移图像,可以表述为:
进一步,所述步骤5)具体包括如下步骤:
第二步:以变形的条纹图作为输入,以对应的上述真值作为网络训练的输出,以损失函数最小作为优化目标,优化器选用自适应矩估计优化器,开始训练网络;训练过程中,编码网络和生成网络同时训练,统称相位提取网络;相位提取网络和鉴别网络交替训练;
第三步:当生成网络损失函数趋于收敛,不在下降时,停止优化,得到最优相位提取网络。
进一步,所述步骤6)具体包括如下步骤:
第一步:加载相位提取网络预训练的参数;
所述的数码成像器件可以是电荷耦合器件(CCD)也可以是互补金属氧化物导体(CMOS)器件,所述结构光投射器件包含但不限于基于数字光器件(DLP)、硅基液晶(LCOS)等数字光学器件,衍射光学元件(DOE)等方案形成的模拟光栅技术,微机电系统(MEMS)技术形成的扫描光栅技术方案。
本发明方法中,通过数码成像器件和结构光投射器件搭建条纹投影测量系统,两种器件需要工作在同一波段,两者之间具有夹角α,当夹角α为0°时,条纹投影测量系统为平行光轴系统。
本发明的积极效果:
(1)相比广泛使用的傅立叶变换轮廓术,本发明对低频变形条纹图、复杂曲面、复杂纹理变化有更好的适应性。
(2)相比窗口傅立叶、经验模式分解等单帧方法,本发明具有更高的计算速度,可以实时完成相位求取。
(3)相比希尔伯特变换和经验模式分解,本发明具有更好的鲁棒性,对噪声具有很好的适应性。
(4)相比直接从变形条纹图预测相位的方法,本方法通过构造等效函数的方法进行间接求取相位,使得神经网络等效模拟一个有界可导函数,求得相位精度更高。
(5)相比全卷积神经网络,本发明增加了毕达哥拉斯损失和对抗损失,细节更丰富,精度更高。
附图说明
图1为条纹投影测量系统,图中,1是成像系统,2是结构光投射系统,3是被测物,z是深度;
图2为示例网络结构。
具体实施方式
下面结合实施例对本发明做进一步说明。
为了解决现有单帧相位提取方法针对低频条纹和突变曲面相位提取精度差的问题,本发明提供一种实时单帧相位提取方法。本发明方法利用对抗生成网络,实现单帧条纹图相位的高精度提取。
为了更为详细的说明本发明方法,本方法给出如下实施例:
1)步骤1,确定神经网络模拟的数,搭建深度卷积对抗生成网络,确定训练的损失函数
在条纹投影轮廓术中,一个物体为高为h的表面的条纹,在经过相机捕捉到后,变形条纹图的傅立叶级数形式为:
相似的在参考平面上:
由欧拉公式,进一步得
g(x,y)=f(z).
即,g(x,y)是复数z的函数,并且z是一个有界可导函数,所以可以用神经网络很好的模拟上述函数关系;
如图2所示,示例网络结构为西蒙塔结构,每部分都包含了一个编码网络和一个解码网络。编码网络经过数层(根据图像的分辨率决定,建议3-6层)的卷积特征提取和降采样,解码网络结构上是编码网络的镜像。两部分的编码网络共享权值,解码网络拥有各自的权重值。在编码网络和解码网络之间,有跳跃快捷连接,即将编码网络中的特征直接复制、叠加到解码网络相应的层中。鉴别网络是全卷积网络,其输出为所鉴别内容的质量的系数。两个生成网络各自拥有一个鉴别网络。
其生成网络损失函数由L1损失,Lp毕达哥拉斯损失和LGAN对抗损失组成:
LossG=λ1L1+λ2LGAN+λ3Lp
其中λ1,λ2,λ3为各项系数,并且有:
L1=||T(x,y)gen-T(x,y)gt||1,
生成器的损失为L1损失。
2)步骤2:搭建条纹投影测量系统,见图1
示例方案选用了红外波段作为工作波段。CMOS成像器件,光学镜头,投射器件均工作在红外波段。选用和投影系统的接近视场角的镜头;确定工作距离,调整镜头使得其在设计工作范围内对焦清晰;同步调整α和d,根据系统需求确定,通常α取在[10°,30°]内取值,使得两者拥有较大的清晰、重合视场。
3)步骤3:采集训练数据集
为了使得采集的数据具有多样性,需要采集不同反射率、不同频率、不同相位、不同α角的样本。
可以使用一下步骤完成:
第一步:固定α角,确定采集场景(被测物),固定投射频率。变换投影相位采集一组相移结构图案。相位间隔为2π/s,其中s为每一种频率采集图像的张数。
第二步:固定α角,确定采集场景(被测物),变换投射频率,采集一组相移图案。改变投射频率,重复上述步骤,直到选定的频率全部采集结束。本示例方案中选取的f分别为64Hz,16Hz,4Hz,1Hz。
第三步:固定α角,改变采集场景(被测物),重复上述采集过程。
第四步:改变α角,重复上述采集过程。
4)步骤4:计算所采集变形条纹图的相位真值
相机采集到的第i张相移图像,可以表述为:
5)步骤5:利用前述步骤中的损失函数和数据集对网络进行训练。
按以下步骤实现:
第二步:以变形的条纹图作为输入,以对应的上述真值作为网络训练的输出,以损失函数最小作为优化目标,优化器选用自适应矩估计(Adam)优化器,开始训练网络。训练过程中,编码网络和生成网络同时训练,统称相位提取网络。相位提取网络和鉴别网络交替训练。
第三步:当生成网络损失函数趋于收敛,不在下降时,停止优化,得到最优相位提取网络。
6)步骤6:实时单帧相位提取
第一步:加载相位提取网络预训练的参数。此时,不在需要鉴别网络的参数,也不在需要计算损失。
以上内容是结合具体的优选实施方式对本发明所作出的进一步详细说明,不能认定本发明的具体实施仅限于这些说明。对于本发明所属领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以作出若干简单推演或替换,都应该视为属于本发明的保护范围。
Claims (8)
1.一种实时单帧相位提取方法,其特征在于,包括如下步骤:
1)搭建深度卷积对抗生成网络,确定训练的损失函数;
2)搭建条纹投影测量系统;
3)采集变形条纹图的数据集;
4)计算步骤3)所采集变形条纹图的相位真值;
5)利用步骤1)中的损失函数、步骤3)所采集的数据集和步骤4)计算的相位真值对网络进行训练,最终得到训练好的网络;
6)利用步骤5)训练好的网络,进行实时单帧相位提取;
其中,所述步骤1)中,首先确定整个网络的功能和拟模拟的函数;其次确定损失函数;最后搭建所述深度卷积对抗生成网络;
所述步骤1)包括如下步骤:
第一步:首先确定整个网络的功能和拟模拟的函数;
在条纹投影轮廓术中,一个物体为高为h的表面的条纹,在经过相机捕捉到后,变形条纹图的傅立叶级数形式为:
相似的在参考平面上:
由欧拉公式,进一步得
g(x,y)=f(z)
即,g(x,y)是复数z的函数,并且z是一个有界可导函数,所以可以用神经网络很好的模拟上述函数关系;
所以搭建神经网络的输出为z的是实部和虚部;
第二步:确定损失函数;
其生成网络损失函数由L1损失,Lp毕达哥拉斯损失和LGAN对抗损失组成:
LossG=λ1L1+λ2LGAN+λ3Lp
其中λ1,λ2,λ3为各项系数,并且有:
L1=||T(x,y)gen-T(x,y)gt||1,
其鉴别器损失为L1损失;
第三步:搭建所述深度卷积对抗生成网络;
2.根据权利要求1所述实时单帧相位提取方法,其特征在于:所述步骤2)中,通过数码成像器件和结构光投射器件搭建条纹投影测量系统,两种器件需要工作在同一波段,两者之间具有夹角α,基线距离d;所述结构光投射器件能够投射不同频率的初始相位的结构光图像。
3.根据权利要求2所述实时单帧相位提取方法,其特征在于:所述同一波段为可见光波段或者近红外波段;所述夹角α的范围为0°~30°;所述夹角α、基线距离d根据系统需求确定。
4.根据权利要求1所述实时单帧相位提取方法,其特征在于:所述步骤3)中,数码成像器件所采集的每一次数据采集,包含多种不同频率变形条纹图,其频率取值范围为[1,fmax]中选取,其中fmax的取值为结构光投射器沿基线方向分辨率的十分之一,每一种频率需要采集多组相位不同的图像,相位间隔为2π/s,其中s为每一种频率采集图像的张数,s大于等于3;然后更换不同类型的对象进行多次采集;所述不同类型为不同形状、不同角度、不同反射率、不同距离中任意一种。
5.根据权利要求1所述实时单帧相位提取方法,其特征在于:所述步骤4)数码成像器件每一次采集中的每一组视为一个样本,利用相移法计算每一个样本的相位真值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010022267.6A CN111189414B (zh) | 2020-01-09 | 2020-01-09 | 一种实时单帧相位提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010022267.6A CN111189414B (zh) | 2020-01-09 | 2020-01-09 | 一种实时单帧相位提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111189414A CN111189414A (zh) | 2020-05-22 |
CN111189414B true CN111189414B (zh) | 2021-09-03 |
Family
ID=70708767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010022267.6A Active CN111189414B (zh) | 2020-01-09 | 2020-01-09 | 一种实时单帧相位提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111189414B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112116616B (zh) * | 2020-08-05 | 2022-06-07 | 西安交通大学 | 基于卷积神经网络的相位信息提取方法、存储介质及设备 |
CN112562059B (zh) * | 2020-11-24 | 2023-12-08 | 革点科技(深圳)有限公司 | 一种自动化结构光图案设计方法 |
CN113409377B (zh) * | 2021-06-23 | 2022-09-27 | 四川大学 | 一种基于跳跃连接式生成对抗网络的相位展开方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106595519A (zh) * | 2016-12-07 | 2017-04-26 | 西安知象光电科技有限公司 | 一种基于激光mems投影的柔性三维轮廓测量方法及装置 |
CN107358626A (zh) * | 2017-07-17 | 2017-11-17 | 清华大学深圳研究生院 | 一种利用条件生成对抗网络计算视差的方法 |
CN109253708A (zh) * | 2018-09-29 | 2019-01-22 | 南京理工大学 | 一种基于深度学习的条纹投影时间相位展开方法 |
WO2019117453A1 (ko) * | 2017-12-15 | 2019-06-20 | 주식회사 내일해 | 측정 대상 물체의 3차원 형상 정보를 생성하는 방법, 결함 검출 방법 및 결함 검출 장치 |
CN110163817A (zh) * | 2019-04-28 | 2019-08-23 | 浙江工业大学 | 一种基于全卷积神经网络的相位主值提取方法 |
CN110210119A (zh) * | 2019-05-30 | 2019-09-06 | 东南大学 | 一种基于深层卷积神经网络的高效率相位展开方法 |
CN110378367A (zh) * | 2019-06-05 | 2019-10-25 | 深圳大学 | 用于相位展开的生成式对抗网络的获取方法、装置及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6608690B2 (en) * | 2001-12-04 | 2003-08-19 | Timbre Technologies, Inc. | Optical profilometry of additional-material deviations in a periodic grating |
US11157807B2 (en) * | 2018-04-14 | 2021-10-26 | International Business Machines Corporation | Optical neuron |
-
2020
- 2020-01-09 CN CN202010022267.6A patent/CN111189414B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106595519A (zh) * | 2016-12-07 | 2017-04-26 | 西安知象光电科技有限公司 | 一种基于激光mems投影的柔性三维轮廓测量方法及装置 |
CN107358626A (zh) * | 2017-07-17 | 2017-11-17 | 清华大学深圳研究生院 | 一种利用条件生成对抗网络计算视差的方法 |
WO2019117453A1 (ko) * | 2017-12-15 | 2019-06-20 | 주식회사 내일해 | 측정 대상 물체의 3차원 형상 정보를 생성하는 방법, 결함 검출 방법 및 결함 검출 장치 |
CN109253708A (zh) * | 2018-09-29 | 2019-01-22 | 南京理工大学 | 一种基于深度学习的条纹投影时间相位展开方法 |
CN110163817A (zh) * | 2019-04-28 | 2019-08-23 | 浙江工业大学 | 一种基于全卷积神经网络的相位主值提取方法 |
CN110210119A (zh) * | 2019-05-30 | 2019-09-06 | 东南大学 | 一种基于深层卷积神经网络的高效率相位展开方法 |
CN110378367A (zh) * | 2019-06-05 | 2019-10-25 | 深圳大学 | 用于相位展开的生成式对抗网络的获取方法、装置及系统 |
Non-Patent Citations (3)
Title |
---|
A Method for Single Image Phase Unwrapping based on Generative Adversarial Networks;Li, Cong; Tian, Yong; Tian, Jiandong;《ELEVENTH INTERNATIONAL CONFERENCE ON DIGITAL IMAGE PROCESSING (ICDIP 2019)》;20191231;全文 * |
Single-shot 3D shape measurement with spatial frequency multiplexing using deep learning;Yang, Chen; Yin, Wei; Xu, Hao; 等.;《OPTICAL METROLOGY AND INSPECTION FOR INDUSTRIAL APPLICATIONS VI》;20191231;全文 * |
基于单目视觉的深度测量与三维形貌重建;钱时锦;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190215(第2期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111189414A (zh) | 2020-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111189414B (zh) | 一种实时单帧相位提取方法 | |
CN109253708B (zh) | 一种基于深度学习的条纹投影时间相位展开方法 | |
CN109945802B (zh) | 一种结构光三维测量方法 | |
CN111047681B (zh) | 基于深度学习的单像素三维端到端重建方法及装置 | |
CN110163817B (zh) | 一种基于全卷积神经网络的相位主值提取方法 | |
CN112116616B (zh) | 基于卷积神经网络的相位信息提取方法、存储介质及设备 | |
CN114777677B (zh) | 基于深度学习的单帧双频复用条纹投影三维面型测量方法 | |
CN111461295B (zh) | 基于多尺度生成对抗神经网络的单帧条纹分析方法 | |
CN112097670B (zh) | 高反光物体三维面型测量方法和测量设备 | |
Yu et al. | PDNet: A lightweight deep convolutional neural network for InSAR phase denoising | |
Feng et al. | Motion-oriented high speed 3-D measurements by binocular fringe projection using binary aperiodic patterns | |
CN112033280B (zh) | 傅里叶变换模型与深度学习结合的散斑干涉相位计算方法 | |
Guo et al. | Unifying temporal phase unwrapping framework using deep learning | |
CN116105628A (zh) | 一种基于投影成像式的高精度三维形貌与变形测量方法 | |
Zhang et al. | Deep learning-enabled anti-ambient light approach for fringe projection profilometry | |
CN110411376B (zh) | 一种用于相位偏折测量的透明元件前后表面相位分离方法 | |
Ganotra et al. | Profilometry for the measurement of three-dimensional object shape using radial basis function, and multi-layer perceptron neural networks | |
Ravi et al. | LiteF2DNet: A lightweight learning framework for 3D reconstruction using fringe projection profilometry | |
CN111141230A (zh) | 一种基于频率优化抖动算法的三维深度数据获取方法 | |
Song et al. | Dual-stage hybrid network for single-shot fringe projection profilometry based on a phase-height model | |
Wang et al. | A fast and precise three-dimensional measurement system based on multiple parallel line lasers | |
Xu et al. | Single-shot 3D shape reconstruction for complex surface objects with colour texture based on deep learning | |
Ganotra et al. | Object reconstruction in multilayer neural network based profilometry using grating structure comprising two regions with different spatial periods | |
CN112556601B (zh) | 基于深度学习的单幅闭合条纹干涉图解相方法及装置 | |
CN114858094B (zh) | 一种针对动态物体的学习型单帧莫尔轮廓测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |