CN114792298A - 图像视角转换/故障判断方法、装置、设备及介质 - Google Patents

图像视角转换/故障判断方法、装置、设备及介质 Download PDF

Info

Publication number
CN114792298A
CN114792298A CN202110098842.5A CN202110098842A CN114792298A CN 114792298 A CN114792298 A CN 114792298A CN 202110098842 A CN202110098842 A CN 202110098842A CN 114792298 A CN114792298 A CN 114792298A
Authority
CN
China
Prior art keywords
image
network model
target object
visual angle
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110098842.5A
Other languages
English (en)
Inventor
赵蕊蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changxin Memory Technologies Inc
Original Assignee
Changxin Memory Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changxin Memory Technologies Inc filed Critical Changxin Memory Technologies Inc
Priority to CN202110098842.5A priority Critical patent/CN114792298A/zh
Priority to PCT/CN2021/103576 priority patent/WO2022156151A1/zh
Priority to US17/447,426 priority patent/US11956407B2/en
Publication of CN114792298A publication Critical patent/CN114792298A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请涉及一种图像视角转换/故障判断方法、装置、设备及介质，所述方法包括：获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；根据所述模型训练数据对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的预期视角平面图像。本申请提供的技术方案能够根据目标对象的单一视角平面图像获取预期视角平面图像，以智能获取目标对象的不可见视角下的图像特征。

Description

图像视角转换/故障判断方法、装置、设备及介质
技术领域
本申请涉及图像识别技术领域，具体涉及一种图像视角转换/故障判断方法、装置、设备及介质。
背景技术
随着图像合成技术的不断发展及对图像合成的能力不断提升，机器合成图像的质量不断提高。基于物体单视图合成多视图技术，被广泛应用于计算机视觉、计算机图形学、机器人视觉技术以及虚拟现实技术等诸多技术领域中。
图像合成方法主要包括基于图像像素和基于特征表达两种。基于图像像素的方法需要统计未知像素点周围的前景和背景信息，然后根据统计信息计算出未知像素点的值。当前景与背景在颜色、纹理以及风格等方面相近时，这种方法较为适用；反之，则图像合成效果较差。基于特征表达方法的主要思想在于根据特征向量生成图像，其中最具有代表性的算法为主成分分析(Principal Component Analysis,PCA)算法。
然而，传统的针对单视图的图像合成方法受观察角度的影响，容易导致合成的观察对象的三维图像丢失大量的空间信息，降低合成图像的质量及效率，且不能对单一视角下观察对象的三维特征进行有效地识别。
发明内容
基于此，有必要针对上述背景技术中的问题，提供一种能够根据目标对象的单一视角平面图像获取预期视角平面图像的图像视角转换/故障判断方法、装置、设备及介质。
本申请的第一方面提供一种图像视角转换方法，包括：
获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；
根据所述模型训练数据对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；
将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的预期视角平面图像。
于上述实施例中的图像视角转换方法中，通过预先设计生成对抗网络模型，将获取的包括训练对象的多个不同视角的平面图像及各所述视角对应的标签的模型训练数据，输入所述生成对抗网络模型，对其进行训练，使其深度学习训练对象不同视角下的多视图转换关系，以获取视角转换网络模型；然后将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的预期视角平面图像，根据目标对象的单一视角平面图像获取目标对象的至少一个预期视角平面图像，根据获取的多个不同预期视角平面图像对目标对象进行三维重建，获取目标对象的三维图像，以有效地识别目标对象的三维特征。
在其中一个实施例中，所述获取模型训练数据包括：
获取训练对象的三维模型，并对所述三维模型进行投影，以获取所述训练对象的多个不同视角的平面图像；
生成与所述平面图像数量相同的标签，并将所述多个不同视角的平面图像分别标注对应的标签。
于上述实施例中的图像视角转换方法中，通过获取训练对象的三维模型，并对所述三维模型进行投影，以获取所述训练对象的多个不同视角的平面图像；然后根据各所述不同视角的平面图像的数量，生成与所述平面图像数量相同的标签，并将所述多个不同视角的平面图像分别标注对应的标签，以获取模型训练数据，从而能够经由所述模型训练数据训练预先设计的生成对抗网络模型，得到视角转换网络模型，实现根据目标对象的单一视角平面图像，获取目标对象的至少一个预期视角平面图像，以获取目标对象的不可见视角的图像特征。
在其中一个实施例中，所述多个不同视角的平面图像包括前视图平面图像、左斜侧视图平面图像、右斜侧视图平面图像、侧视图平面图像及俯视图平面图像中的至少两个，便于利用网络共享参数，获取不同类型训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同，有效地减少训练生成对抗网络模型的复杂性，并降低视角转换网络模型过拟合的风险。
在其中一个实施例中，所述标签包括编码向量，所述生成对抗网络模型包括生成器G及判别器D；所述获取视角转换网络模型包括：
获取所述训练对象的预设输入图像x和预设输入编码向量c；
根据所述预设输入图像x和所述预设输入编码向量c，获取所述生成器G输出的预生成图像G(x,c)；
根据所述预生成图像G(x,c)及所述判别器D的概率分布D(x)确定对抗损失Ladv，其中，所述对抗损失Ladv定义如下：
Ladv＝Εx[log D(x)]+Εx,c[log(1-D(G(x,c)))]；
计算所述对抗损失Ladv的目标值，使得所述预生成图像G(x,c)取得最小值的同时，所述判别器D的概率分布D(x)取得最大值。
于上述实施例中的图像视角转换方法中，通过将生成器和判别器以对抗方式进行训练，训练生成器输出高质量的目标图像，以提供给判别器；训练判别器高概率地判定目标图像为生成器合成的图像；通过联合生成对抗网络，利用对抗损失约束模型，以有效提升输出图像的感知质量。
在其中一个实施例中，所述根据所述预设输入图像x和所述预设输入编码向量c，获取所述生成器G输出的预生成图像G(x,c)，包括：
根据所述预设输入编码向量c获取预设维度的高维特征；
根据所述预设维度的高维特征生成特征向量；
将所述预设输入图像x及所述特征向量输入所述生成器G，以使得所述生成器G生成所述预生成图像G(x,c)。
在其中一个实施例中，所述获取视角转换网络模型还包括：
获取所述判别器D的原始编码向量c'的概率分布D(c'|x)；
根据所述原始编码向量c'的概率分布D(c'|x)确定真实图像的域分类损失
Figure BDA0002914961890000045
及根据所述预生成图像G(x,c)确定预生成图像域分类的损失
Figure BDA0002914961890000046
其中，所述真实图像的域分类损失
Figure BDA0002914961890000047
及所述预生成图像域分类的损失
Figure BDA0002914961890000048
分别定义如下：
Figure BDA0002914961890000041
Figure BDA0002914961890000042
计算所述真实图像的域分类损失
Figure BDA0002914961890000043
的最小值及所述预生成图像域分类的损失
Figure BDA0002914961890000044
的最小值，以获取所述视角转换网络模型。
于上述实施例中的图像视角转换方法中，通过联合生成对抗网络，利用对抗损失约束模型优化视角转换网络模型，以有效提升输出图像的感知质量。
在其中一个实施例中，所述生成器包括顺序排布的：
第一卷积层，包括一个尺寸为7×7的卷积核；
第二卷积层，包括两个尺寸为3×3且步长为2的卷积核；
残差模块，数量为9个；
反卷积层，包括两个尺寸为4×4且步长为2的卷积核。
于上述实施例中的图像视角转换方法中，通过按照上述参数依次设置生成器的第一卷积层、第二卷积层、残差模块及反卷积层，使得生成器生成高质量的目标图像，以提供给判别器。
在其中一个实施例中，所述目标对象为晶圆。通过根据晶圆的单一视角平面图像获取其多个不同预期视角平面图像，根据获取的多个不同预期视角平面图像对晶圆进行三维重建，获取晶圆的三维图像，以有效地识别晶圆的三维特征。
本申请的第二方面提供一种故障判断方法，包括：
获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；
根据所述模型训练数据对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；
将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的多个不同预期视角平面图像；
根据各所述预期视角平面图像生成所述目标对象的立体图像；
根据所述立体图像判断所述目标对象是否存在故障。
于上述实施例中的故障判断方法中，通过预先设计生成对抗网络模型，将获取的包括训练对象的多个不同视角的平面图像及各所述视角对应的标签的模型训练数据，输入所述生成对抗网络模型，对该模型进行训练，使其深度学习训练对象不同视角下的多视图转换关系，以获取视角转换网络模型；然后将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的多个不同预期视角平面图像；根据获取的多个不同预期视角平面图像对目标对象进行三维重建，获取目标对象的三维图像，从而获取目标对象不可见部分的图像特征，并根据所述目标对象的三维图像特征判断所述目标对象是否存在故障，以有效地提高故障判断的效率及智能性。
在其中一个实施例中，所述目标对象为晶圆；所述根据所述立体图像判断所述目标对象是否存在故障包括：
根据所述立体图像判断所述晶圆是否存在缺损。
于上述实施例中的故障判断方法中，通过训练预先设计的生成对抗网络模型，深度学习晶圆不同视角下的多视图转换关系，以获取晶圆视角转换网络模型；然后将晶圆的平面图像及预期视角对应的标签输入所述晶圆视角转换网络模型，使得所述晶圆视角转换网络模型生成晶圆的多个不同预期视角平面图像；根据获取的多个不同预期视角平面图像对晶圆进行三维重建，获取晶圆的三维图像，从而获取晶圆不可见部分的图像特征，并根据晶圆的三维图像特征判断晶圆是否存在缺损，以有效地提高对缺损晶圆识别的效率及智能性。
本申请的第三方面提供一种图像视角转换装置，包括：
模型训练数据获取模块，用于获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；
视角转换网络模型获取模块，用于根据所述模型训练数据对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；
预期视角平面图像生成模块，用于将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的预期视角平面图像。
于上述实施例中的图像视角转换装置中，通过模型训练数据获取模块获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；利用视角转换网络模型获取模块根据所述模型训练数据，对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；从而在预期视角平面图像生成模块将目标对象的平面图像及预期视角对应的标签，输入所述视角转换网络模型之后，使得视角转换网络模型生成所述目标对象的预期视角平面图像。从而能够根据获取的多个不同预期视角平面图像对目标对象进行三维重建，获取目标对象的三维图像，以有效地识别目标对象的三维特征。
在其中一个实施例中，所述模型训练数据获取模块包括：
平面图像获取模块，用于获取训练对象的三维模型，并对所述三维模型进行投影，以获取所述训练对象的多个不同视角的平面图像；
标签图像生成模块，用于生成与所述平面图像数量相同的编码向量，并将所述多个不同视角的平面图像分别标注对应的标签。
于上述实施例中的图像视角转换装置中，通过平面图像获取模块获取训练对象的三维模型，并对所述三维模型进行投影，以获取所述训练对象的多个不同视角的平面图像；然后利用标签图像生成模块根据各所述不同视角的平面图像的数量，生成与所述平面图像数量相同的标签，并将所述多个不同视角的平面图像分别标注对应的标签，以获取模型训练数据。从而能够经由所述模型训练数据训练预先设计的生成对抗网络模型，得到视角转换网络模型，实现根据目标对象的单一视角平面图像获取目标对象的至少一个预期视角平面图像，以获取目标对象的不可见视角的图像特征。
在其中一个实施例中，所述目标对象为晶圆。通过根据晶圆的单一视角平面图像获取其多个不同预期视角平面图像，根据获取的多个不同预期视角平面图像对晶圆进行三维重建，获取晶圆的三维图像，以有效地识别晶圆的三维特征。
本申请的第四方面提供一种故障判断装置，包括：
模型训练数据获取模块，用于获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；
视角转换网络模型获取模块，用于根据所述模型训练数据对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；
预期视角平面图像生成模块，用于将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的多个不同预期视角平面图像；
立体图像生成模块，用于根据各所述预期视角平面图像生成所述目标对象的立体图像；
故障判断模块，用于根据所述立体图像判断所述目标对象是否存在故障。
于上述实施例中的故障判断装置中，通过模型训练数据获取模块获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；利用视角转换网络模型获取模块根据所述模型训练数据，对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；从而在预期视角平面图像生成模块将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型之后，使得视角转换网络模型生成所述目标对象的多个不同预期视角平面图像；然后利用立体图像生成模块根据各所述预期视角平面图像生成所述目标对象的立体图像，使得故障判断模块能够根据所述立体图像判断所述目标对象是否存在故障，以有效地提高故障判断的效率及智能性。
在其中一个实施例中，所述目标对象为晶圆；所述故障判断模块包括缺损判断模块，所述缺损判断模块用于根据所述立体图像判断所述晶圆是否存在缺损。通过训练预先设计的生成对抗网络模型，深度学习晶圆不同视角下的多视图转换关系，以获取晶圆视角转换网络模型；然后将晶圆的平面图像及预期视角对应的标签输入所述晶圆视角转换网络模型，使得所述晶圆视角转换网络模型生成晶圆的多个不同预期视角平面图像；根据获取的多个不同预期视角平面图像对晶圆进行三维重建，获取晶圆的三维图像，从而获取晶圆不可见部分的图像特征，并根据晶圆的三维图像特征判断晶圆是否存在缺损，以有效地提高对缺损晶圆识别的效率及智能性。
本申请的第五方面提供一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请中任一个实施例中所述的方法的步骤。
本申请的第六方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请中任一个实施例中所述的方法的步骤。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。
图1为本申请一实施例中提供的一种图像视角转换方法的流程示意图；
图2为本申请另一实施例中提供的一种图像视角转换方法的流程示意图；
图3为本申请又一实施例中提供的一种图像视角转换方法的流程示意图；
图4为本申请一实施例中提供的一种故障判断方法的流程示意图；
图5为本申请另一实施例中提供的一种故障判断方法的流程示意图；
图6为本申请一实施例中提供的一种图像视角转换装置的结构框图；
图7为本申请另一实施例中提供的一种图像视角转换装置的结构框图；
图8为本申请一实施例中提供的一种故障判断装置的结构框图；
图9为本申请另一实施例中提供的一种故障判断装置的结构框图；
图10为本申请一实施例中提供的一种计算机设备的结构示意图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
在使用本文中描述的“包括”、“具有”、和“包含”的情况下，除非使用了明确的限定用语，例如“仅”、“由……组成”等，否则还可以添加另一部件。除非相反地提及，否则单数形式的术语可以包括复数形式，并不能理解为其数量为一个。
应当理解，尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于将一个元件和另一个元件区分开。例如，在不脱离本申请的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
在本申请的描述中，需要说明的是，除非另有明确规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接连接，亦可以是通过中间媒介间接连接，可以是两个部件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
得益于卷积神经网络(Convolutional Neural Network,CNN)的优秀表达能力，基于神经网络的图像合成技术快速发展，其中代表性的图像合成技术包括变分自编码器(Variational Auto-Encoder，VAE)和生成对抗网络(Generative Adversarial Network，GAN)。变分自编码器包括编码器和解码器，利用编码器将输入图像映射至隐空间，再通过解码器将隐空间中的变量映射成真实图像。生成对抗网络包括生成器和判别器，生成器和判别器以对抗方式进行训练，生成器的训练目标在于输出高质量的目标图像，而判别器的训练目标在于高概率地判定目标图像为生成器合成的图像。为了获取单一视角下目标对象的不同视角的图像特征，以识别出目标对象的不可见视角的图像特征，本申请提供了一种图像视角转换/故障判断方法、装置、设备及介质。
请参考图1，在本申请的一个实施例中，提供了一种图像视角转换方法，包括如下步骤：
步骤22，获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；
步骤24，根据所述模型训练数据对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；
步骤26，将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的预期视角平面图像。
具体地，请继续参考图1，通过预先设计生成对抗网络模型，将获取的包括训练对象的多个不同视角的平面图像及各所述视角对应的标签的模型训练数据，输入所述生成对抗网络模型，对其进行训练，使其深度学习训练对象不同视角下的多视图转换关系，以获取视角转换网络模型；然后将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的预期视角平面图像。从而能够根据目标对象的单一视角平面图像获取目标对象的至少一个预期视角平面图像，根据获取的多个不同预期视角平面图像对目标对象进行三维重建，获取目标对象的三维图像，以有效地识别目标对象的三维特征。
进一步地，请参考图2，在本申请的一个实施例中，所述获取模型训练数据包括：
步骤222，获取训练对象的三维模型，并对所述三维模型进行投影，以获取所述训练对象的多个不同视角的平面图像；
步骤224，生成与所述平面图像数量相同的标签，并将所述多个不同视角的平面图像分别标注对应的标签。
具体地，请继续参考图1，通过获取训练对象的三维模型，并对所述三维模型进行投影，以获取所述训练对象的多个不同视角的平面图像。由于现实场景中存在各种类别的物体，采用数据驱动的方式，对选定类别物体的3D CAD模型进行投影，得到该物体不同视角下的平面图像。为了在不同视图中建立物体视角的对齐，可以使用开源工具包ShapeNet-Viewer对特定物体类别批量生成多个不同视角的平面渲染图像，然后根据各所述不同视角的平面图像的数量，生成与所述平面图像数量相同的标签，并将所述多个不同视角的平面图像分别标注对应的标签，以获取模型训练数据。从而能够经由所述模型训练数据训练预先设计的生成对抗网络模型，得到视角转换网络模型，实现根据目标对象的单一视角平面图像获取目标对象的至少一个预期视角平面图像，以获取目标对象的不可见视角的图像特征。
作为示例，请参考图3，在本申请的一个实施例中，所述获取模型训练数据包括：
步骤2221，获取训练对象的三维模型，并对所述三维模型进行投影，以获取所述训练对象的多个不同视角的平面图像，所述多个不同视角的平面图像包括前视图平面图像、左斜侧视图平面图像、右斜侧视图平面图像、侧视图平面图像及俯视图平面图像中的至少两个；
步骤224，生成与所述平面图像数量相同的标签，并将所述多个不同视角的平面图像分别标注对应的标签。
具体地，请继续参考图3，可以设置多个不同视角的平面图像包括前视图平面图像、左斜侧视图平面图像、右斜侧视图平面图像、侧视图平面图像及俯视图平面图像。例如，可以使用开源工具包ShapeNet-Viewer对特定物体类别批量生成前述5个视角的平面渲染图像。然后生成5个标签，并将前述5个不同视角的平面图像分别标注对应的标签，以获取模型训练数据。可以将标签设置为编码向量，例如，可以将前视图平面图像标注00010，将左斜侧视图平面图像标注10000、将右斜侧视图平面图像标注00100、将侧视图平面图像标注01000，将俯视图平面图像标注00001，以获取5个标注对应的编码向量的不同视角的平面图像，得到模型训练数据，从而能够经由所述模型训练数据训练预先设计的生成对抗网络模型，得到视角转换网络模型，有效地减少训练生成对抗网络模型的复杂性，并降低视角转换网络模型过拟合的风险。
作为示例，在本申请的一个实施例中，所述标签包括编码向量，所述生成对抗网络模型包括生成器G及判别器D；所述获取视角转换网络模型包括如下步骤：
步骤241，获取所述训练对象的预设输入图像x和预设输入编码向量c；
步骤242，根据所述预设输入图像x和所述预设输入编码向量c，获取所述生成器G输出的预生成图像G(x,c)；
步骤243，根据所述预生成图像G(x,c)及所述判别器D的概率分布D(x)确定对抗损失Ladv，其中，所述对抗损失Ladv定义如下：
Ladv＝Εx[log D(x)]+Εx,c[log(1-D(G(x,c)))]；
步骤244，计算所述对抗损失Ladv的目标值，使得所述预生成图像G(x,c)取得最小值的同时，所述判别器D的概率分布D(x)取得最大值。
通过将生成器G和判别器D以对抗方式进行训练，训练生成器G输出高质量的目标图像提供给判别器D；训练判别器D高概率地判定目标图像为生成器合成的图像；通过联合生成对抗网络，利用对抗损失约束模型，计算对抗损失Ladv的目标值，使得所述预生成图像G(x,c)取得最小值的同时，所述判别器D的概率分布D(x)取得最大值，以有效提升输出图像的感知质量。
作为示例，在本申请的一个实施例中，所述根据所述预设输入图像x和所述预设输入编码向量c，获取所述生成器G输出的预生成图像G(x,c)，包括如下步骤：
步骤2421，根据所述预设输入编码向量c获取预设维度的高维特征；
步骤2422，根据所述预设维度的高维特征生成特征向量；
步骤2423，将所述预设输入图像x及所述特征向量输入所述生成器G，以使得所述生成器G生成所述预生成图像G(x,c)。
作为示例，在本申请的一个实施例中，可以设置生成器G包括顺序排布的第一卷积层、第二卷积层、残差模块及反卷积层，并设置第一卷积层包括一个尺寸为7×7的卷积核；设置第二卷积层包括两个尺寸为3×3且步长为2的卷积核；设置残差模块的数量为9个；设置反卷积层包括两个尺寸为4×4且步长为2的卷积核。以该生成器G为例，示例性说明本申请实现的技术原理。可以向该生成器G输入一幅分辨率为128×128的RGB图像和一个5维的编码向量，该编码向量通过两层全连接层得到维度为1024的高维特征，然后根据该高维特征生成32×32的低维特征，再将该低维特征与输入图像经过三个卷积层后的特征，经由CONCAT函数输出，从而获取能够生成高质量的目标图像的生成器。
作为示例，在本申请的一个实施例中，所述获取视角转换网络模型还包括如下步骤：
步骤2424，获取所述判别器D的原始编码向量c'的概率分布D(c'|x)；
步骤2425，根据所述原始编码向量c'的概率分布D(c'|x)确定真实图像的域分类损失
Figure BDA0002914961890000151
及根据所述预生成图像G(x,c)确定预生成图像域分类的损失
Figure BDA0002914961890000152
其中，所述真实图像的域分类损失
Figure BDA0002914961890000153
及所述预生成图像域分类的损失
Figure BDA0002914961890000154
分别定义如下：
Figure BDA0002914961890000155
Figure BDA0002914961890000161
步骤2426，计算所述真实图像的域分类损失
Figure BDA0002914961890000162
的最小值，及所述预生成图像域分类的损失
Figure BDA0002914961890000163
的最小值，以获取所述视角转换网络模型。
通过联合生成对抗网络，通过计算所述真实图像的域分类损失
Figure BDA0002914961890000164
的最小值及所述预生成图像域分类的损失
Figure BDA0002914961890000165
的最小值，以获取视角转换网络模型；利用对抗损失约束模型优化视角转换网络模型，以有效提升输出图像的感知质量。
作为示例，在本申请的一个实施例中，所述目标对象为晶圆。通过训练预先设计的生成对抗网络模型，深度学习晶圆不同视角下的多视图转换关系，以获取晶圆视角转换网络模型；然后将晶圆的平面图像及预期视角对应的标签输入所述晶圆视角转换网络模型，使得所述晶圆视角转换网络模型生成晶圆的多个不同预期视角平面图像。从而能够根据多个不同预期视角平面图像对晶圆进行三维重建，获取晶圆的三维图像，以有效地识别晶圆的三维特征。
进一步地，请参考图4，在本申请的一个实施例中，提供了提供一种故障判断方法，包括如下步骤：
步骤32，获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；
步骤34，根据所述模型训练数据对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；
步骤36，将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的多个不同预期视角平面图像；
步骤38，根据各所述预期视角平面图像生成所述目标对象的立体图像；
步骤310，根据所述立体图像判断所述目标对象是否存在故障。
具体地，请继续参考图4，通过预先设计生成对抗网络模型，将获取的包括训练对象的多个不同视角的平面图像及各所述视角对应的标签的模型训练数据，输入所述生成对抗网络模型，对该模型进行训练，使其深度学习训练对象不同视角下的多视图转换关系，以获取视角转换网络模型；然后将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的多个不同预期视角平面图像。根据获取的多个不同预期视角平面图像对目标对象进行三维重建，获取目标对象的三维图像，从而获取目标对象不可见部分的图像特征，并根据所述目标对象的三维图像特征判断所述目标对象是否存在故障，以有效地提高故障判断的效率及智能性。
进一步地，请参考图5，在本申请的一个实施例中，所述目标对象为晶圆；所述根据所述立体图像判断所述目标对象是否存在故障，包括如下步骤：
步骤311，根据所述立体图像判断晶圆是否存在缺损。
具体地，请继续参考图5，通过训练预先设计的生成对抗网络模型，深度学习晶圆不同视角下的多视图转换关系，以获取晶圆视角转换网络模型；然后将晶圆的平面图像及预期视角对应的标签输入所述晶圆视角转换网络模型，使得所述晶圆视角转换网络模型生成晶圆的多个不同预期视角平面图像；根据获取的多个不同预期视角平面图像对晶圆进行三维重建，获取晶圆的三维图像，从而能够获取晶圆不可见部分的图像特征，并根据晶圆的三维图像特征判断晶圆是否存在缺损，以有效地提高对缺损晶圆识别的效率及智能性。
应该理解的是，虽然图1-图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的依次限制，这些步骤可以以其它的依次执行。而且，虽然图1-图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行依次也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步地，请参考图6，在本申请的一个实施例中，提供了一种图像视角转换装置10，包括模型训练数据获取模块12、视角转换网络模型获取模块14及预期视角平面图像生成模块16，模型训练数据获取模块12用于获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；视角转换网络模型获取模块14用于根据所述模型训练数据对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；预期视角平面图像生成模块16用于将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的预期视角平面图像。
具体地，请继续参考图6，通过模型训练数据获取模块12获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；利用视角转换网络模型获取模块14根据所述模型训练数据，对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；从而在预期视角平面图像生成模块16将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型之后，使得视角转换网络模型生成所述目标对象的预期视角平面图像，根据获取的多个不同预期视角平面图像对目标对象进行三维重建，获取目标对象的三维图像，以有效地识别目标对象的三维特征。
进一步地，请参考图7，在本申请的一个实施例中，模型训练数据获取模块12包括平面图像获取模块122及标签图像生成模块124，平面图像获取模块122用于获取训练对象的三维模型，并对所述三维模型进行投影，以获取所述训练对象的多个不同视角的平面图像；标签图像生成模块124用于生成与所述平面图像数量相同的编码向量，并将所述多个不同视角的平面图像分别标注对应的标签。
具体地，请继续参考图7，通过平面图像获取模块122获取训练对象的三维模型，并对所述三维模型进行投影，以获取所述训练对象的多个不同视角的平面图像；然后利用标签图像生成模块124根据各所述不同视角的平面图像的数量，生成与所述平面图像数量相同的标签，并将所述多个不同视角的平面图像分别标注对应的标签，以获取模型训练数据，从而能够经由所述模型训练数据训练预先设计的生成对抗网络模型，得到视角转换网络模型，实现根据目标对象的单一视角平面图像获取目标对象的至少一个预期视角平面图像，以获取目标对象的不可见视角的图像特征。
作为示例，在本申请的一个实施例中，可以设置多个不同视角的平面图像包括前视图平面图像、左斜侧视图平面图像、右斜侧视图平面图像、侧视图平面图像及俯视图平面图像。例如，可以使用开源工具包ShapeNet-Viewer对特定物体类别批量生成前述5个视角的平面渲染图像。然后生成5个标签，并将前述5个不同视角的平面图像分别标注对应的标签，以获取模型训练数据。可以将标签设置为编码向量，例如，可以将前视图平面图像标注00010，将左斜侧视图平面图像标注10000、将右斜侧视图平面图像标注00100、将侧视图平面图像标注01000，将俯视图平面图像标注00001，以获取5个标注对应的编码向量的不同视角的平面图像，得到模型训练数据，从而能够经由所述模型训练数据训练预先设计的生成对抗网络模型，得到视角转换网络模型，有效地减少训练生成对抗网络模型的复杂性，并降低视角转换网络模型过拟合的风险。
作为示例，在本申请的一个实施例中，所述目标对象为晶圆。通过根据晶圆的单一视角平面图像获取其多个不同预期视角平面图像，根据获取的多个不同预期视角平面图像对晶圆进行三维重建，获取晶圆的三维图像，以有效地识别晶圆的三维特征。
关于图像视角转换装置的具体限定可以参见上文中对于图像视角转换方法的限定，在此不再赘述。
进一步地，请参考图8，在本申请的一个实施例中，提供了一种故障判断装置30，包括模型训练数据获取模块12、视角转换网络模型获取模块14、预期视角平面图像生成模块16、立体图像生成模块308及故障判断模块309，模型训练数据获取模块12用于获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；视角转换网络模型获取模块14用于根据所述模型训练数据对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；预期视角平面图像生成模块16用于将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的多个不同预期视角平面图像；立体图像生成模块308用于根据各所述预期视角平面图像生成所述目标对象的立体图像；故障判断模块309，用于根据所述立体图像判断所述目标对象是否存在故障。
具体地，请继续参考图8，通过模型训练数据获取模块12获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；利用视角转换网络模型获取模块14根据所述模型训练数据，对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；从而在预期视角平面图像生成模块16将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型之后，使得视角转换网络模型生成所述目标对象的多个不同预期视角平面图像；然后利用立体图像生成模块308根据各所述预期视角平面图像生成所述目标对象的立体图像，使得故障判断模块309能够根据所述立体图像判断所述目标对象是否存在故障，以有效地提高故障判断的效率及智能性。
进一步地，请参考图9，在本申请的一个实施例中，所述目标对象为晶圆；故障判断模块309包括缺损判断模块3091，缺损判断模块3091用于根据所述立体图像判断所述晶圆是否存在缺损。本实施例中通过训练预先设计的生成对抗网络模型，深度学习晶圆不同视角下的多视图转换关系，以获取晶圆视角转换网络模型；然后将晶圆的平面图像及预期视角对应的标签输入所述晶圆视角转换网络模型，使得所述晶圆视角转换网络模型生成晶圆的多个不同预期视角平面图像；根据获取的多个不同预期视角平面图像对晶圆进行三维重建，获取晶圆的三维图像，从而获取晶圆不可见部分的图像特征，并根据晶圆的三维图像特征判断晶圆是否存在缺损，以有效地提高对缺损晶圆识别的效率及智能性。
关于故障判断装置的具体限定可以参见上文中对于故障判断方法的限定，在此不再赘述。
进一步地，请参考图10，在本申请的一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请中任一个实施例中所述的方法的步骤。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
进一步地，在本申请的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请中任一个实施例中所述的方法的步骤。
具体地，于上述实施例中的计算机设备或计算机可读存储介质中，通过预先设计生成对抗网络模型，将获取的包括训练对象的多个不同视角的平面图像及各所述视角对应的标签的模型训练数据，输入所述生成对抗网络模型，对其进行训练，使其深度学习训练对象不同视角下的多视图转换关系，以获取视角转换网络模型；然后将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的预期视角平面图像，根据目标对象的单一视角平面图像获取目标对象的至少一个预期视角平面图像，根据获取的多个不同预期视角平面图像对目标对象进行三维重建，获取目标对象的三维图像，以有效地识别目标对象的三维特征。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (17)

1.一种图像视角转换方法，其特征在于，包括：
获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；
根据所述模型训练数据对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；
将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的预期视角平面图像。
2.根据权利要求1所述的方法，其特征在于，所述获取模型训练数据包括：
获取训练对象的三维模型，并对所述三维模型进行投影，以获取所述训练对象的多个不同视角的平面图像；
生成与所述平面图像数量相同的标签，并将所述多个不同视角的平面图像分别标注对应的标签。
3.根据权利要求2所述的方法，其特征在于，所述多个不同视角的平面图像包括前视图平面图像、左斜侧视图平面图像、右斜侧视图平面图像、侧视图平面图像及俯视图平面图像中的至少两个。
4.根据权利要求2或3所述的方法，其特征在于，所述标签包括编码向量，所述生成对抗网络模型包括生成器G及判别器D；
所述获取视角转换网络模型包括：
获取所述训练对象的预设输入图像x和预设输入编码向量c；
根据所述预设输入图像x和所述预设输入编码向量c，获取所述生成器G输出的预生成图像G(x,c)；
根据所述预生成图像G(x,c)及所述判别器D的概率分布D(x)确定对抗损失Ladv，其中，所述对抗损失Ladv定义如下：
Ladv＝Εx[log D(x)]+Εx,c[log(1-D(G(x,c)))]；
计算所述对抗损失Ladv的目标值，使得所述预生成图像G(x,c)取得最小值的同时，所述判别器D的概率分布D(x)取得最大值。
5.根据权利要求4所述的方法，其特征在于，所述根据所述预设输入图像x和所述预设输入编码向量c，获取所述生成器G输出的预生成图像G(x,c)，包括：
根据所述预设输入编码向量c获取预设维度的高维特征；
根据所述预设维度的高维特征生成特征向量；
将所述预设输入图像x及所述特征向量输入所述生成器G，以使得所述生成器G生成所述预生成图像G(x,c)。
6.根据权利要求4所述的方法，其特征在于，所述获取视角转换网络模型还包括：
获取所述判别器D的原始编码向量c'的概率分布D(c'|x)；
根据所述原始编码向量c'的概率分布D(c'|x)确定真实图像的域分类损失
Figure FDA0002914961880000021
及根据所述预生成图像G(x,c)确定预生成图像域分类的损失
Figure FDA0002914961880000022
其中，所述真实图像的域分类损失
Figure FDA0002914961880000023
及所述预生成图像域分类的损失
Figure FDA0002914961880000024
分别定义如下：
Figure FDA0002914961880000025
Figure FDA0002914961880000026
计算所述真实图像的域分类损失
Figure FDA0002914961880000027
的最小值，及所述预生成图像域分类的损失
Figure FDA0002914961880000028
的最小值，以获取所述视角转换网络模型。
7.根据权利要求4所述的方法，其特征在于，所述生成器包括顺序排布的：
第一卷积层，包括一个尺寸为7×7的卷积核；
第二卷积层，包括两个尺寸为3×3且步长为2的卷积核；
残差模块，数量为9个；
反卷积层，包括两个尺寸为4×4且步长为2的卷积核。
8.根据权利要求1-3任一项所述的方法，其特征在于，所述目标对象为晶圆。
9.一种故障判断方法，其特征在于，所述方法包括：
获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；
根据所述模型训练数据对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；
将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的多个不同预期视角平面图像；
根据各所述预期视角平面图像生成所述目标对象的立体图像；
根据所述立体图像判断所述目标对象是否存在故障。
10.根据权利要求9所述的方法，其特征在于，所述目标对象为晶圆；
所述根据所述立体图像判断所述目标对象是否存在故障包括：
根据所述立体图像判断所述晶圆是否存在缺损。
11.一种图像视角转换装置，其特征在于，包括：
模型训练数据获取模块，用于获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；
视角转换网络模型获取模块，用于根据所述模型训练数据对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；
预期视角平面图像生成模块，用于将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的预期视角平面图像。
12.根据权利要求11所述的装置，其特征在于，所述模型训练数据获取模块包括：
平面图像获取模块，用于获取训练对象的三维模型，并对所述三维模型进行投影，以获取所述训练对象的多个不同视角的平面图像；
标签图像生成模块，用于生成与所述平面图像数量相同的编码向量，并将所述多个不同视角的平面图像分别标注对应的标签。
13.根据权利要求12所述的装置，其特征在于，所述目标对象为晶圆。
14.一种故障判断装置，其特征在于，包括：
模型训练数据获取模块，用于获取模型训练数据，所述模型训练数据包括训练对象的多个不同视角的平面图像及各所述视角对应的标签，其中，不同视角对应的标签不同；
视角转换网络模型获取模块，用于根据所述模型训练数据对预先设计的生成对抗网络模型进行训练，以获取视角转换网络模型；
预期视角平面图像生成模块，用于将目标对象的平面图像及预期视角对应的标签输入所述视角转换网络模型，使得所述视角转换网络模型生成所述目标对象的多个不同预期视角平面图像；
立体图像生成模块，用于根据各所述预期视角平面图像生成所述目标对象的立体图像；
故障判断模块，用于根据所述立体图像判断所述目标对象是否存在故障。
15.根据权利要求14所述的装置，其特征在于，所述目标对象为晶圆；
所述故障判断模块包括缺损判断模块，用于根据所述立体图像判断所述晶圆是否存在缺损。
16.一种计算机设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-10任意一项所述方法的步骤。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-10任意一项所述方法的步骤。
CN202110098842.5A 2021-01-25 2021-01-25 图像视角转换/故障判断方法、装置、设备及介质 Pending CN114792298A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110098842.5A CN114792298A (zh) 2021-01-25 2021-01-25 图像视角转换/故障判断方法、装置、设备及介质
PCT/CN2021/103576 WO2022156151A1 (zh) 2021-01-25 2021-06-30 图像视角转换/故障判断方法、装置、设备及介质
US17/447,426 US11956407B2 (en) 2021-01-25 2021-09-12 Image view angle conversion/fault determination method and device, apparatus and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110098842.5A CN114792298A (zh) 2021-01-25 2021-01-25 图像视角转换/故障判断方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114792298A true CN114792298A (zh) 2022-07-26

Family

ID=82460264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110098842.5A Pending CN114792298A (zh) 2021-01-25 2021-01-25 图像视角转换/故障判断方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN114792298A (zh)
WO (1) WO2022156151A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629823B (zh) * 2018-04-10 2022-09-06 北京京东尚科信息技术有限公司 多视角图像的生成方法和装置
CN110163230A (zh) * 2018-06-15 2019-08-23 腾讯科技（深圳）有限公司 一种图像标注方法和装置
CN110189278B (zh) * 2019-06-06 2020-03-03 上海大学 一种基于生成对抗网络的双目场景图像修复方法
CN110363163B (zh) * 2019-07-18 2021-07-13 电子科技大学 一种方位角可控的sar目标图像生成方法

Also Published As

Publication number Publication date
WO2022156151A1 (zh) 2022-07-28

Similar Documents

Publication Publication Date Title
Tran et al. Nonlinear 3d face morphable model
US11908233B2 (en) Normalization of facial images using deep neural networks
Huang et al. Underwater image enhancement via adaptive group attention-based multiscale cascade transformer
CN112823375A (zh) 使用前向扭曲、间隙鉴别器和基于坐标的修复的图像再合成
US11182644B2 (en) Method and apparatus for pose planar constraining on the basis of planar feature extraction
CN110728219A (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN112215050A (zh) 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备
JP2023545200A (ja) パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体
CN113066171B (zh) 一种基于三维人脸形变模型的人脸图像生成方法
CN112967373B (zh) 一种基于非线性3dmm的人脸图像特征编码方法
Wen et al. Self-supervised 3d face reconstruction via conditional estimation
CN115239861A (zh) 人脸数据增强方法、装置、计算机设备和存储介质
Lore et al. Generative adversarial networks for spectral super-resolution and bidirectional RGB-to-multispectral mapping
CN113962858A (zh) 一种多视角深度获取方法
Huang et al. Refsr-nerf: Towards high fidelity and super resolution view synthesis
CN112906813A (zh) 一种基于密度聚类和胶囊神经网络的浮选工况识别方法
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
CN114757904A (zh) 一种基于ai深度学习算法的表面缺陷检测方法
Kaushik et al. ADAADepth: Adapting data augmentation and attention for self-supervised monocular depth estimation
CN115272437A (zh) 一种基于全局与局部特征的图像深度估计方法及装置
Wang et al. Learning to hallucinate face in the dark
Huang et al. Underwater image enhancement via LBP‐based attention residual network
CN114792298A (zh) 图像视角转换/故障判断方法、装置、设备及介质
Yu et al. Pvnn: A neural network library for photometric vision
CN116091987A (zh) 一种面向工业场景的多策略图像异常样本生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination