CN111461295A - 基于多尺度生成对抗神经网络的单帧条纹分析方法 - Google Patents

基于多尺度生成对抗神经网络的单帧条纹分析方法 Download PDF

Info

Publication number
CN111461295A
CN111461295A CN202010199717.9A CN202010199717A CN111461295A CN 111461295 A CN111461295 A CN 111461295A CN 202010199717 A CN202010199717 A CN 202010199717A CN 111461295 A CN111461295 A CN 111461295A
Authority
CN
China
Prior art keywords
image
neural network
scale
sine
cosine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010199717.9A
Other languages
English (en)
Other versions
CN111461295B (zh
Inventor
冯世杰
陈钱
左超
张玉珍
孙佳嵩
胡岩
尹维
钱佳铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010199717.9A priority Critical patent/CN111461295B/zh
Publication of CN111461295A publication Critical patent/CN111461295A/zh
Priority to US17/909,780 priority patent/US20230122985A1/en
Priority to PCT/CN2020/111544 priority patent/WO2021184686A1/zh
Application granted granted Critical
Publication of CN111461295B publication Critical patent/CN111461295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度生成对抗神经网络的单帧条纹分析方法，其包括构建多尺度生成对抗神经网络模型；构建多尺度生成对抗神经网络模型的综合损失函数L；采集多尺度生成对抗神经网络的训练数据，并利用训练数据对多尺度生成对抗神经网络进行训练；将待测条纹图像输入至训练好的多尺度图像生成器，获得对应的正弦项、余弦项和调制度图，利用反正切函数计算相位。本发明中的神经网络经训练好后，计算过程不需要人为地设置复杂的计算参数，操作更为简便。由于神经网络的输入为单幅条纹图像，本发明为运动物体的条纹分析提供了高效、高精度的相位计算方法。

Description

基于多尺度生成对抗神经网络的单帧条纹分析方法
技术领域
本发明属于光学测量技术领域，具体为一种基于多尺度生成对抗神经网络的单帧条纹分析方法。
背景技术
随着计算机技术、信息技术和光电子技术的进步，光学三维测量技术得到了迅速发展。光学三维测量技术是以现代光学为基础，融光电子学、信号处理、图像处理、计算机图形学、模式识别等科学技术为一体的技术。它把光学图像当作检测和传递信息的手段和载体加以利用，其目的是从图像中提取有用的信号，完成三维实体模型的重构。光学三维测量技术按照成像照明方式的不同通常分为两大类：被动三维测量和主动三维测量。被动三维测量技术通过一个或多个摄像系统获取的二维图像中确定距离信息，形成被测物体的三维面形数据。这类方法一般测量精度较低，不便于工业使用。主动三维测量技术是采用结构照明技术，利用光源向被测物体投影按照一定规则和模式编码的图像，形成主动式三维形态测量。编码图案受到物体表面形状的调制而产生形变，而带有形变的结构光被另外位置的相机拍摄到，通过相机投影光源之间的位置关系和结构光形变的程度可以确定出物体的三维形貌。结构光三维测量技术具有非接触性、高灵敏度、高测量精度、高自动化等优点而日益受到人们重视。
条纹图像分析是结构照明技术实施过程中一项不可缺少的重要步骤。它的主要目的在于利用特定的解算方法，分析得到隐藏在条纹图像中与目标三维轮廓有关的相位信息。根据使用图像的数量，条纹图像分析方法常被分为多帧法与单帧法。N步相移法是一种广泛使用的多帧条纹图像分析方法。该方法通过对投影光栅相位场进行相移来增加若干常量相位，从而获得一系列的条纹图像，并从中求解相位场(文献“Temporal phaseunwrapping algorithms for fringe projection profilometry:A comparativereview”，作者C Zuo等)。该方法的优点在于测量精度高，并且对物体的相位细节保真度高。但不足之处在于，由于需要采集一系列的条纹图像进行分析，因此测量效率较低，并且难以满足运动目标的轮廓测量。
相比于多帧法，单帧法在测量效率上具有绝对的优势。这类方法将相位的编码集中于单幅条纹图像，因此仅利用一幅图像即可完成相位信息的获取。傅里叶条纹图像分析方法是最具代表性的一种单帧条纹图像分析法(文献“Fourier-transform method offringe-pattern analysis for computer-based topography and interferometry”，作者M Takeda等)。该方法是一种基于空间滤波的单帧光栅投影法，其原理为利用光的相位信息来编码物体的空间高度。通过投影正弦光栅，在频域中选取合适滤波窗提取物体相位，根据相位与高度的映射关系实现三维重建。由于整个过程只需一幅变形条纹图即可求得主值相位分布，该方法具有较高的灵敏度，受投影、测量装置抖动的影响小，可重复性高，测量速度快，适合于动态、高速运动物体的三维测量等优点。然而该方法的缺点在于，测量精度较低，对轮廓细节的保真度较差。在传统傅里叶条纹图像分析方法基础上，加窗傅里叶条纹图像分析法通过引入加窗傅里叶变换，可保留更多物体细节的相位信息(文献“Two-dimensional windowed Fourier transform for fringe pattern analysis:principles,applications and implementations”，作者Q Kemao等)。但该方法的缺点在于实施过程较为复杂，其中参数调节的过程较为繁琐，并且相位分析的时间成本十分高昂。
发明内容
本发明的目的在于提供了一种基于多尺度生成对抗神经网络的单帧条纹分析方法。
实现本发明目的的技术解决方案为：一种基于多尺度生成对抗神经网络的单帧条纹分析方法，具体步骤为：
步骤1：构建多尺度生成对抗神经网络模型，所述多尺度生成对抗神经网络模型包含多尺度图像生成器和图像鉴别器；
步骤2：构建多尺度生成对抗神经网络模型的综合损失函数L；
步骤3：采集多尺度生成对抗神经网络的训练数据，并利用训练数据对多尺度生成对抗神经网络进行训练；
步骤4：将待测条纹图像输入至训练好的多尺度图像生成器，获得对应的正弦项、余弦项和调制度图，利用反正切函数计算相位。
优选地，所述多尺度图像生成器包含四条结构相同的数据处理路径(1)～(4)，均包括依次连接的1个卷积层、4个残差块和1个线性输出卷积层。
优选地，所述数据处理路径(4)的输入为：
Figure BDA0002418944840000031
的图像I4(x，y)；
数据处理路径(3)的输入为：对数据处理路径(4)的输出结果做上采样处理后，生成的大小为
Figure BDA0002418944840000032
的正弦项、余弦项和调制度图以及图像I3(x,y)。
数据处理路径(2)的输入为：对数据处理路径(3)的输出结果做上采样处理后生成的大小为
Figure BDA0002418944840000033
的正弦项、余弦项和调制度图以及图像I2(x,y)；
数据处理路径(1)的输入为：对数据处理路径(2)的输出结果做上采样处理后生成的大小为H×W的正弦项、余弦项和调制度图以及图像I1(x,y)。
优选地，所述图像鉴别器包括依次连接的过6个残差块和一个全连接层，全连接层输出数据经过sigmoid激活函数。
优选地，所述综合损失函数L的表达式为：
L＝αLimage+βLGAN
其中，α和β表示不同损失函数的权重系数，Limage为图像内容损失函数，LGAN为对抗损失函数。
本发明与现有技术相比，其显著优点为：(1)与多帧条纹图像分析法相比，本发明只需一幅条纹图像作为输入，可快速、高效地获取相位信息；(2)与代表性的单帧傅里叶条纹图像分析方法相比，利用本发明获取的相位精度更高；(3)本发明中的神经网络经训练好后，计算过程不需要人为地设置复杂的计算参数，操作更为简便。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明的流程图。
图2为多尺度图像生成器的结构与原理图。
图3为图像鉴别器的结构与原理图。
图4为残差块的结构与原理图。
图5为实施例的结果示意图。
图6为本发明与现有技术的绝对相位误差对比图
具体实施方式
一种基于多尺度生成对抗神经网络的单帧条纹分析方法，可进行单帧的条纹图像分析，获得高精度的相位信息。原理如下：根据条纹图像分析，条纹图像I(x,y)可以被表示为
I(x,y)＝A(x,y)+B(x,y)cos[φ(x，y)]
其中，(x,y)为像素坐标，A(x,y)为背景图像，B(x,y)为调制度图像，φ(x,y)为待计算的相位，该相位的计算原理为：
Figure BDA0002418944840000041
通常将φ(x,y)称为包裹相位，因为它的分布是截断的，且取值范围为[-π,π]。
根据上式的计算原理，本发明将条纹图像I(x,y)输入至构建的多尺度生成对抗神经网络，首先利用神经网络计算正弦项
Figure BDA0002418944840000042
余弦项
Figure BDA0002418944840000043
和调制度图B(x,y)。随后将正弦项和余弦项代入反正切公式计算相位φ(x,y)。调制度图B(x,y)尽管不直接参与相位计算，但是将其作为神经网络的一项输出，这有利于约束神经网络的训练过程，进而有利于提升正弦项和余弦项的结果准确性。
如图1所示，本发明的具体步骤为：
步骤1：构建多尺度生成对抗神经网络模型，所述多尺度生成对抗神经网络模型包含多尺度图像生成器和图像鉴别器；
进一步地，所述多尺度图像生成器用于生成具有原始大小H×W的正弦项、余弦项和调制度图；
进一步地，所述多尺度图像生成器的输入为原始条纹图像和不同程度降采样后的图像；
如图2所示，进一步的实施例中，所述多尺度图像生成器包含四条数据处理路径(1)-(4)，分别用于处理原始条纹图像和不同程度降采样后的图像；为了方便叙述，将条纹图像I(x,y)记为I1(x,y)，像素大小为H×W。对条纹图像I1(x,y)进行不同程度的降采样，分别生成大小为
Figure BDA0002418944840000051
的图像I2(x，y)、
Figure BDA0002418944840000052
的图像I3(x,y)和
Figure BDA0002418944840000053
的图像I4(x，y)，在某些实施例中，利用图像金字塔法生成上述图像。
如图4所示，进一步的实施例中，每条数据处理路径的结构相同，包括1个卷积层、4个残差块和1个线性输出卷积层。
所述数据处理路径(4)的输入为：
Figure BDA0002418944840000054
的图像I4(x，y)，输入的图像I4(x,y)分别经过1个卷积层、4个残差块和1个线性输出卷积层的处理得到尺寸为
Figure BDA0002418944840000055
的正弦项、余弦项和调制度图。
数据处理路径(3)的输入为：对数据处理路径(4)的输出结果做上采样处理后，生成的大小为
Figure BDA0002418944840000056
的正弦项、余弦项和调制度图以及图像I3(x,y)。
数据处理路径(2)的输入为：对数据处理路径(3)的输出结果做上采样处理后生成的大小为
Figure BDA0002418944840000057
的正弦项、余弦项和调制度图以及图像I2(x,y)；
数据处理路径(1)的输入为：对数据处理路径(2)的输出结果做上采样处理后生成的大小为H×W的正弦项、余弦项和调制度图以及图像I1(x,y)，输出具有原始大小H×W的正弦项、余弦项和调制度图。
如图3所示，进一步的实施例中，所述图像鉴别器包括依次连接的6个残差块和一个全连接层，全连接层输出数据经过sigmoid激活函数。
图像鉴别器的输入数据包含两类，图像分辨率均为H×W。一类数据是真值(groundtruth)的正弦项、余弦项和调制度图，它们是通过高精度的标准方法计算得到，如利用7步相移算法获得，这些数据的标签值设为1。另一类数据是步骤二中的多尺度图像生成器输出的大小为H×W正弦项、余弦项和调制度图，这些数据的标签值设为0。
步骤2：构建多尺度生成对抗神经网络模型的综合损失函数L。
进一步的实施例中，所述综合损失函数L包括两个子函数：图像内容损失函数Limage和对抗损失函数LGAN，综合损失函数L的表达式为
L＝αLimage+βLGAN
其中，α和β表示不同损失函数的权重系数。
图像内容损失函数Limage的表达式为：
Limage＝γLf+ηLm
其中γ和η为权重系数，Lf为正弦项与余弦项对应的损失函数，Lm为调制度图对应的损失函数。Lf的表达式为：
Figure BDA0002418944840000061
Figure BDA0002418944840000062
其中，S表示多尺度图像生成器处理图像时的不同尺度，Lf综合计算了输出正弦项与余弦项在4个不同尺度下的误差之和。Hs为尺度S下图像高度，Ws为尺度S下图像宽度。G为真值数据(ground truth)，P为多尺度图像生成器生成数据(predicted results)，下标sin表示正弦项，下标cos表示余弦项。Lm的表达式为：
Figure BDA0002418944840000063
Figure BDA0002418944840000064
其中，Lm综合计算了输出调制度图在4个不同尺度下的误差之和，下标mod表示调制度图。
对抗损失函数LGAN的表达式为
Figure BDA0002418944840000065
其中，E表示期望；I为输入的条纹图像；T为真值数据，它等于输入条纹图像对应的理想{正弦项，余弦项，调制度图}；p表示概率分布；g表示多尺度图像生成器，g(I)表示条纹图像经过处理后输出的{正弦项，余弦项，调制度图}；d表示图像鉴别器。
步骤3：采集多尺度生成对抗神经网络的训练数据，并利用训练数据对多尺度生成对抗神经网络进行训练；
测量v个不同场景的的条纹图像，对于每一个场景，拍摄7幅相移条纹图像。采集的条纹图像被表示为It(x,y)(t＝1,2...K，K＝7v为采集的条纹图像总数)。
利用7步相移算法(文献“Digital wavefront measuring interferometer fortesting optical surfaces and lenses”，作者J Bruning等)，计算条纹图像It(x,y)对应的真值数据{正弦项Mt(x,y)，余弦项Dt(x,y)，调制度图Bt(x,y)}；
同时，将采集的条纹图像It(x,y)输入多尺度图像生成器，输出大小为H×W正弦项、余弦项和调制度图；
图像鉴别器交替从真值数据和多尺度图像生成器生成的数据中抽取一组{正弦项、余弦项和调制度图}作为输入，依次经过6个残差块和一个全连接层的处理，输出数据最后经过sigmoid激活函数，输出0至1之间的一个概率值。图像鉴别器的意义在于通过训练其学习如何分辨真值的正弦项、余弦项和调制度图(标签为1)和图像生成器输出的相应数据(标签为0)。经过不断的训练，使得多尺度图像生成器能够生成逼真度更高的正弦项、余弦项和调制度图，，直至对抗损失函数为设定阈值，能“骗过”图像鉴别器。
在某些实施例中，将采集的训练数据80％用于训练，剩余的20％数据用于验证，具体的训练实施参考文献《Image-to-Image Translation with Conditional AdversarialNetworks》(作者Phillip Isola等人)，《Generative adversarial nets》(作者IanGoodfellow等)。
步骤4：当神经网络训练完成后，将一幅待测条纹图像输入至图像生成器，输出该条纹图像对应的正弦项M(x,y)、余弦项D(x,y)和调制度图B(x,y)。将正弦项M(x,y)和余弦项D(x,y)代入反正切函数，计算相位φ(x,y)：
Figure BDA0002418944840000071
由于本发明中神经网络的输入为单幅条纹图像，本发明为运动物体的条纹分析提供了高效、高精度的相位计算方法。
实施例：
为验证本发明的有效性，利用一台相机(型号acA640-750，Basler)，一台投影仪(型号LightCrafter 4500,TI)以及一台计算机构建了一套数字光栅投影装置用以采集条纹图像。首先，利用步骤1、2构建多尺度生成对抗神经网络。其次，利用步骤3采集训练数据对多尺度生成对抗神经网络进行训练。本实施例中设计v＝150个不同的测量场景，利用7步相移法，共拍摄1050幅训练条纹图像It(x,y)(t＝1,2,...,1050)。利用7步相移法生成每一幅It(x,y)对应的真值数据{正弦项Mt(x,y)，余弦项Dt(x,y)，调制度图Bt(x,y)}。
神经网络训练完成后，拍摄一个测量场景(该场景中的物体均未在训练数据集中出现过)，该场景的条纹图像如图5(a)所示。将该条纹图像输入至多尺度生成对抗神经网络的图像生成器，获得输出的正弦项(图5(b))、余弦项(图5(c))和调制度图(图5(d))。将正弦项和余弦项代入反正切函数，计算相位φ(x,y)，结果如图5(e)所示。
为了说明本发明的相位测量精度，采用了经典的傅里叶轮廓术处理了条纹图像(图5(a))。将7步相移法计算得到的相位作为标准值，图6(a)显示了傅里叶轮廓术的绝对相位误差分布，图6(b)显示了本发明的绝对相位误差分布。。灰度值的亮度高低对应相位误差的大小。根据误差分布的结果，可以看出本发明对于复杂的表面，比如左头像的头发部分，它能够更为准确地计算相位信息。最后，计算了整个场景的平均绝对相位误差，得到傅里叶轮廓术的误差为0.24rad，而本方法的误差为0.091rad。本实施例说明了作为一种单帧条纹分析法，本发明的相位精度高于传统的傅里叶轮廓术。

Claims (10)

1.一种基于多尺度生成对抗神经网络的单帧条纹分析方法，其特征在于，具体步骤为：
步骤1：构建多尺度生成对抗神经网络模型，所述多尺度生成对抗神经网络模型包含多尺度图像生成器和图像鉴别器；
步骤2：构建多尺度生成对抗神经网络模型的综合损失函数L；
步骤3：采集多尺度生成对抗神经网络的训练数据，并利用训练数据对多尺度生成对抗神经网络进行训练；
步骤4：将待测条纹图像输入至训练好的多尺度图像生成器，获得对应的正弦项、余弦项和调制度图，利用反正切函数计算相位。
2.根据权利要求1所述的基于多尺度生成对抗神经网络的单帧条纹分析方法，其特征在于，所述多尺度图像生成器包含四条结构相同的数据处理路径(1)～(4)，均包括依次连接的1个卷积层、4个残差块和1个线性输出卷积层。
3.根据权利要求1或2所述的基于多尺度生成对抗神经网络的单帧条纹分析方法，其特征在于，所述数据处理路径(4)的输入为：
Figure FDA0002418944830000011
的图像I4(x,y)；
数据处理路径(3)的输入为：对数据处理路径(4)的输出结果做上采样处理后，生成的大小为
Figure FDA0002418944830000012
的正弦项、余弦项和调制度图以及图像I3(x,y)。
数据处理路径(2)的输入为：对数据处理路径(3)的输出结果做上采样处理后生成的大小为
Figure FDA0002418944830000013
的正弦项、余弦项和调制度图以及图像I2(x,y)；
数据处理路径(1)的输入为：对数据处理路径(2)的输出结果做上采样处理后生成的大小为H×W的正弦项、余弦项和调制度图以及图像I1(x,y)。
4.根据权利要求1所述的基于多尺度生成对抗神经网络的单帧条纹分析方法，其特征在于，所述图像鉴别器包括依次连接的过6个残差块和一个全连接层，全连接层输出数据经过sigmoid激活函数。
5.根据权利要求1～4任一所述的基于多尺度生成对抗神经网络的单帧条纹分析方法，其特征在于，所述综合损失函数L的表达式为：
L＝αLimage+βLGAN
其中，α和β表示不同损失函数的权重系数，Limage为图像内容损失函数，LGAN为对抗损失函数。
6.根据权利要求5所述的基于多尺度生成对抗神经网络的单帧条纹分析方法，其特征在于，所述图像内容损失函数Limage具体为：
Limage＝γLf+ηLm
其中γ和η为权重系数，Lf为正弦项与余弦项对应的损失函数，Lm为调制度图对应的损失函数。
7.根据权利要求6所述的基于多尺度生成对抗神经网络的单帧条纹分析方法，其特征在于，正弦项与余弦项对应的损失函数Lf具体为：
Figure FDA0002418944830000021
Figure FDA0002418944830000022
其中，S表示多尺度图像生成器处理图像时的不同尺度，Hs为尺度S下图像高度，Ws为尺度S下图像宽度，G为真值数据，P为多尺度图像生成器生成数据，下标sin表示正弦项，下标cos表示余弦项；
调制度图对应的损失函数Lm具体为：
Figure FDA0002418944830000023
Figure FDA0002418944830000024
其中，下标mod表示调制度图。
8.根据权利要求5所述的基于多尺度生成对抗神经网络的单帧条纹分析方法，其特征在于，所述对抗损失函数LGAN具体为：
Figure FDA0002418944830000025
其中，E表示期望；I为输入的条纹图像；T为真值数据，即输入条纹图像对应的理想{正弦项，余弦项，调制度图}；p表示概率分布；g表示多尺度图像生成器，g(I)表示条纹图像经过处理后输出的{正弦项，余弦项，调制度图}；d表示图像鉴别器。
9.根据权利要求1所述的基于多尺度生成对抗神经网络的单帧条纹分析方法，其特征在于，采集多尺度生成对抗神经网络的训练数据，并利用训练数据对多尺度生成对抗神经网络进行训练的具体方法为：
测量v个不同场景的相移条纹图像，且每个场景采集7幅；
计算条纹图像It(x,y)对应的真值数据{正弦项Mt(x,y)，余弦项Dt(x,y)，调制度图Bt(x,y)}；
同时将采集的条纹图像It(x,y)输入多尺度图像生成器，获得对应的正弦项、余弦项和调制度图；
图像鉴别器交替从真值数据和多尺度图像生成器的输出数据中抽取一组{正弦项、余弦项和调制度图}作为输入，输出0至1之间的一个概率值，直至对抗损失函数为设定阈值。
10.根据权利要求1所述的基于多尺度生成对抗神经网络的单帧条纹分析方法，其特征在于，利用反正切函数计算相位的具体方法为：
将正弦项M(x,y)和余弦项D(x,y)代入反正切函数，计算相位φ(x,y)，计算公式为：
Figure FDA0002418944830000031
CN202010199717.9A 2020-03-20 2020-03-20 基于多尺度生成对抗神经网络的单帧条纹分析方法 Active CN111461295B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010199717.9A CN111461295B (zh) 2020-03-20 2020-03-20 基于多尺度生成对抗神经网络的单帧条纹分析方法
US17/909,780 US20230122985A1 (en) 2020-03-20 2020-08-27 Single-frame fringe pattern analysis method based on multi-scale generative adversarial network
PCT/CN2020/111544 WO2021184686A1 (zh) 2020-03-20 2020-08-27 基于多尺度生成对抗神经网络的单帧条纹分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010199717.9A CN111461295B (zh) 2020-03-20 2020-03-20 基于多尺度生成对抗神经网络的单帧条纹分析方法

Publications (2)

Publication Number Publication Date
CN111461295A true CN111461295A (zh) 2020-07-28
CN111461295B CN111461295B (zh) 2022-08-16

Family

ID=71679161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010199717.9A Active CN111461295B (zh) 2020-03-20 2020-03-20 基于多尺度生成对抗神经网络的单帧条纹分析方法

Country Status (3)

Country Link
US (1) US20230122985A1 (zh)
CN (1) CN111461295B (zh)
WO (1) WO2021184686A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308156A (zh) * 2020-11-05 2021-02-02 电子科技大学 一种基于对抗学习的两阶段图像变化检测方法
WO2021184686A1 (zh) * 2020-03-20 2021-09-23 南京理工大学 基于多尺度生成对抗神经网络的单帧条纹分析方法
CN113907743A (zh) * 2021-11-11 2022-01-11 四川大学 Cgan和多尺度卷积神经网络实现呼吸检测的方法及系统
CN117333394A (zh) * 2023-10-18 2024-01-02 四川大学 一种针对退化条纹增强的神经网络映射方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011478B (zh) * 2023-10-07 2023-12-22 青岛科技大学 一种基于深度学习与条纹投影轮廓术的单张图像重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171701A (zh) * 2018-01-15 2018-06-15 复旦大学 基于u网络和对抗学习的显著性检测方法
CN110163817A (zh) * 2019-04-28 2019-08-23 浙江工业大学 一种基于全卷积神经网络的相位主值提取方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100451535C (zh) * 2006-12-19 2009-01-14 中国科学院上海光学精密机械研究所 移相干涉图像的信息处理方法
US10896535B2 (en) * 2018-08-13 2021-01-19 Pinscreen, Inc. Real-time avatars using dynamic textures
CN110135366B (zh) * 2019-05-20 2021-04-13 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110487216B (zh) * 2019-09-20 2021-05-25 西安知象光电科技有限公司 一种基于卷积神经网络的条纹投影三维扫描方法
CN111461295B (zh) * 2020-03-20 2022-08-16 南京理工大学 基于多尺度生成对抗神经网络的单帧条纹分析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171701A (zh) * 2018-01-15 2018-06-15 复旦大学 基于u网络和对抗学习的显著性检测方法
CN110163817A (zh) * 2019-04-28 2019-08-23 浙江工业大学 一种基于全卷积神经网络的相位主值提取方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184686A1 (zh) * 2020-03-20 2021-09-23 南京理工大学 基于多尺度生成对抗神经网络的单帧条纹分析方法
CN112308156A (zh) * 2020-11-05 2021-02-02 电子科技大学 一种基于对抗学习的两阶段图像变化检测方法
CN112308156B (zh) * 2020-11-05 2022-05-03 电子科技大学 一种基于对抗学习的两阶段图像变化检测方法
CN113907743A (zh) * 2021-11-11 2022-01-11 四川大学 Cgan和多尺度卷积神经网络实现呼吸检测的方法及系统
CN113907743B (zh) * 2021-11-11 2022-06-17 四川大学 Cgan和多尺度卷积神经网络实现呼吸检测的方法及系统
CN117333394A (zh) * 2023-10-18 2024-01-02 四川大学 一种针对退化条纹增强的神经网络映射方法

Also Published As

Publication number Publication date
CN111461295B (zh) 2022-08-16
WO2021184686A1 (zh) 2021-09-23
US20230122985A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
CN111461295B (zh) 基于多尺度生成对抗神经网络的单帧条纹分析方法
Qian et al. Deep-learning-enabled geometric constraints and phase unwrapping for single-shot absolute 3D shape measurement
US11906286B2 (en) Deep learning-based temporal phase unwrapping method for fringe projection profilometry
Li et al. Deep-learning-enabled dual-frequency composite fringe projection profilometry for single-shot absolute 3D shape measurement
Xu et al. Status, challenges, and future perspectives of fringe projection profilometry
CN111563564B (zh) 基于深度学习的散斑图像逐像素匹配方法
CN111351450B (zh) 基于深度学习的单帧条纹图像三维测量方法
Triconnet et al. Parameter choice for optimized digital image correlation
CN109945802B (zh) 一种结构光三维测量方法
CN114777677B (zh) 基于深度学习的单帧双频复用条纹投影三维面型测量方法
Song et al. DOE-based structured-light method for accurate 3D sensing
Budianto et al. Marker encoded fringe projection profilometry for efficient 3D model acquisition
Li et al. Absolute phase retrieval for a single-shot fringe projection profilometry based on deep learning
CN110500957A (zh) 一种主动三维成像方法、装置、设备以及存储介质
Tang et al. An improved spatiotemporal correlation method for high-accuracy random speckle 3D reconstruction
Lyu et al. Structured light-based underwater 3-D reconstruction techniques: A comparative study
Song et al. Super-resolution phase retrieval network for single-pattern structured light 3D imaging
Guo et al. Unifying temporal phase unwrapping framework using deep learning
Nguyen et al. Learning-based 3D imaging from single structured-light image
Yu et al. Untrained deep learning-based phase retrieval for fringe projection profilometry
Law et al. Deep learning based period order detection in structured light three-dimensional scanning
Liu et al. A novel phase unwrapping method for binocular structured light 3D reconstruction based on deep learning
Zhu et al. Wavelet based deep learning for depth estimation from single fringe pattern of fringe projection profilometry
RU2573767C1 (ru) Устройство трехмерного сканирования сцены с неламбертовыми эффектами освещения
Xu et al. Single-shot 3D shape reconstruction for complex surface objects with colour texture based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant