CN110647997A - 中间过程状态估计方法 - Google Patents

中间过程状态估计方法 Download PDF

Info

Publication number
CN110647997A
CN110647997A CN201910522672.1A CN201910522672A CN110647997A CN 110647997 A CN110647997 A CN 110647997A CN 201910522672 A CN201910522672 A CN 201910522672A CN 110647997 A CN110647997 A CN 110647997A
Authority
CN
China
Prior art keywords
input
data
label
state
generators
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910522672.1A
Other languages
English (en)
Other versions
CN110647997B (zh
Inventor
梶本哲也
佐佐木裕
三轮诚
林田勇太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota School Foundation
Toyota Motor Corp
Original Assignee
Toyota School Foundation
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota School Foundation, Toyota Motor Corp filed Critical Toyota School Foundation
Publication of CN110647997A publication Critical patent/CN110647997A/zh
Application granted granted Critical
Publication of CN110647997B publication Critical patent/CN110647997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Injection Moulding Of Plastics Or The Like (AREA)

Abstract

在中间过程状态估计方法中，使用两个生成器，并且输入共同的输入噪声到各生成器，将与特定步骤对应的标签输入到一个生成器，并将不同于特定步骤的步骤对应的标签输入到另一个生成器。然后，将各个生成器生成的生成数据和训练数据之一随机输入到鉴别器，并且所述生成器和所述鉴别器以对抗方式从鉴别器中的鉴别结果中学习。然后，将与期望最终状态对应的输入噪声和与期望估计中间过程状态的步骤对应的标签输入到已学习的生成器，以基于由生成器生成的生成数据来估计中间过程状态。

Description

中间过程状态估计方法
技术领域
本发明涉及一种中间过程状态估计方法，该中间过程状态估计方法用于对从初始状态经过多个中间成型物到达最终状态的成型过程，以时间序列估计从最初状态到最终状态的变形过程中最适于成型的中间过程状态。
背景技术
近年来，已经提出了使用深度学习的机器学习方法，例如生成性对抗网络(GAN：Generative Adversarial Networks)。GAN有两种神经网络，这两种神经网络是生成器(generator)和鉴别器(discriminator)，GAN是一种其中生成器和鉴别器以对抗的方式进行学习的机器学习方法。即，在GAN中，生成器和鉴别器通过相互竞争来学习。例如，生成器试图通过欺骗鉴别器来学习，而鉴别器试图通过更准确地执行鉴别来学习。
例如，当GAN用于生成面部图像时，生成器通过接收在[-1,1]的范围内随机选择的潜在噪声作为输入来生成生成图像，并随机地给出生成图像或者面部训练图像到鉴别器。鉴别器鉴别所给出的图像是生成图像还是训练图像。生成器和鉴别器通过执行鉴别器中鉴别的准确性的误差反向传播以对抗的方式进行学习，以使生成器输出捕捉面部训练图像的特征的生成图像。
此外，Grigory Antipov,Moez Baccouche,Jean-Luc Dugelay,arXiv:1702.01983v2,2017年5月30日，公开了Age-cGAN(Age-conditional GAN，年龄状况GAN)技术，该技术基于上述GAN技术改变面部输入图像以与由标签向量表示的年龄群体对应。在Age-cGAN中，除了由编码器基于面部输入图像而估计的潜在噪声外，代表特定年龄群体的人(例如，那些60多岁的人)的标签向量也被输入到已经被GAN学习的生成器。然后，生成器输出生成图像，该生成图像中，面部输入图像被改变以与标签向量的年龄群体对应。
发明内容
在从初始状态(即材料的形状)经过到多个中间成型物到达最终状态(即最终成型物的形状)的成型过程(如锻造过程)中，有必要从事先已知的初始状态和最终状态以时间序列估计最适于成型的中间过程状态。从初始状态到最终状态的变形过程中有必要考虑成型性(moldability)。例如，在锻造过程中，需要预先制造模具以获得多个中间成型物和最终成型物。如果从初始状态到最终状态的变形过程不考虑成型性，则会出现最终状态中的意外缺陷或模具寿命缩短等问题。
因此，在从初始状态经过多个中间成型物达到最终状态的成型过程中，需要从作为初始状态的材料形状和作为最终状态的最终成型物的形状来估计适于成型的变形过程。对于上述成型过程，技术人员基于他/她过去的经验和直觉已经进行了以时间序列估计适于成型的变形过程中的中间过程状态的工作。此外，通过利用CAE等模拟工具进行分析，在确认了由熟练技术人员估计的中间过程的有效性之后，确定了中间过程状态的设计。
如上所述，对于从初始状态经过多个中间成型物到达最终状态的成型过程，需要技巧来以时间序列估计最适于成型的变形过程中的中间过程状态。因此，对于上述成型过程，需要一种技术，该技术通过使用深度学习的生成模型以时间序列估计最适于成型的、变形过程中的中间过程状态。
然而，利用“Grigory Antipov，Moez Baccouche，Jean-Luc Dugelay，arXiv：1702.01983v2，2017年5月30日”中公开的Age-cGAN技术，很难学习时间序列关系。例如，在Age-cGAN中，当除了由编码器基于面部输入图像估计的潜在噪声之外还将表示60多岁年龄群体的标签向量输入到生成器时，生成器改变输入图像，以与60多岁的人对应。然而，在“Grigory Antipov,Moez Baccouche,Jean-Luc Dugelay,arXiv:1702.01983v2,2017年5月30日”中公开的Age-cGAN中，例如，当将代表45岁左右、50岁左右、55岁左右和60岁左右的人的标签向量分别输入到生成器时，分别由生成器生成输出的生成图像有时并不是按时间序列的。
因此，利用在“Grigory Antipov,Moez Baccouche,Jean-Luc Dugelay,arXiv:1702.01983v2,2017年5月30日”中公开的Age-cGAN的技术，对于从初始状态经过多个中间成型物体到达最终状态的成型过程，不可能以时间序列精确地估计最适于成型的变形过程中的中间过程状态。即，通过使用“Grigory Antipov,Moez Baccouche,Jean-Luc Dugelay,arXiv:1702.01983v2,2017年5月30日”中公开的Age-cGAN技术估计的一系列中间过程状态，有时不能在实际成型过程中实现。例如，加工量在时间序列之前和之后反转(例如，在随后的中间过程状态中，形成相对于先前的中间过程状态的突出部分)。
本发明是鉴于上述情况做出的，本发明的目的是提供一种中间过程状态估计方法，该中间过程状态估计方法能够对于从初始状态经过多个中间成型物到达最终状态的成型过程，以时间序列估计最适于成型的变形过程中的中间过程状态。
第一示例性方面是一种中间过程状态估计方法，该中间过程状态估计方法用于对从初始状态经过多个中间成型物到达最终状态的成型过程，以时间序列估计从最初状态到最终状态的最适于成型的变形过程中的中间过程状态，其中：
使用两个生成器，该两个生成器配置为，通过接收输入噪声和与成型过程的多个步骤中所包括的步骤对应的标签作为输入来生成与标签对应的生成数据，并且，输入共同的输入噪声到各生成器，将与多个步骤中的特定步骤对应的标签输入到一个生成器，并将与多个步骤中不同于特定步骤的步骤对应的标签输入到另一个生成器，使得在各生成器中生成与输入标签对应的生成数据，
随机地输入生成数据对和训练数据对中的一个：所述生成数据对由链接了与一个生成器生成的生成数据对应的标签的数据和链接了与另一个生成器生成的生成数据对应的标签的数据构成，所述训练数据对由链接了与输入到一个生成器的标签对应的训练数据的对应标签的数据和链接了与输入到另一个生成器的标签对应的训练数据的对应标签的数据构成；使用配置为鉴别输入数据对是生成数据对还是训练数据对的鉴别器，各生成器和鉴别器以对抗方式从鉴别器中的鉴别结果的准确性中学习，以及
将与从初始状态经过多个中间成型物到达最终状态的成型过程中成型的期望最终状态对应的输入噪声、以及与多个步骤中所包括的期望估计中间过程状态的步骤对应的标签输入到各已学习的生成器之一，以基于该生成器生成的生成数据，估计期望估计中间过程状态的步骤中的中间过程状态。
对于从初始状态经过多个中间成型物到达最终状态的成型过程，能够以时间序列可靠地估计最适于成型的变形过程中的中间过程状态。
此外，成型过程被分成多个子过程，并且与各子过程中的各步骤对应的标签向量元素的值为通过将与子过程对应的向量元素的值归一化得到的值，通过假设子过程中的步骤的时间序列顺序的起始的值为0、子过程中的步骤的时间序列顺序的结束的值为1的方式进行所述归一化。
通过如上设置PairGAN(成对GAN)的方法中的与各步骤对应的标签，可以通过表示各步骤的标签来表达时间序列关系。
此外，通过将期望最终状态的数据和与多个步骤中的最终状态对应的标签输入到已学习的编码器，生成与在成型过程中成型的期望最终状态对应的输入噪声，以及如下进行所述编码器的学习：随机改变输入噪声以及与多个步骤中包括的各步骤对应的标签，并将改变后的输入噪声和标签输入到已学习的生成器，以使得已学习的生成器生成编码器训练数据，随后将编码器训练数据以及用于生成编码器训练数据的标签输入到编码器，以使得编码器生成输入噪声，然后将输入噪声和用于生成编码器训练数据的标签输入到生成器，以使得生成器生成生成数据，然后使编码器反向传播生成数据和编码器训练数据之间的误差。通过使用编码器，能够可靠地估计从初始状态经过多个中间成型物到达最终状态的成型过程中的预定步骤中的中间过程状态。
根据本发明，对于从初始状态经过多个中间成型物到达最终状态的成型过程，能够以时间序列可靠地估计最适于成型的变形过程中的中间过程状态。
从以下给出的详细描述和附图中将更全面地理解本发明的上述和其他目的、特征和优点，附图仅以说明的方式给出，因此不应被视为限制本发明。
附图说明
图1是用于说明对于应用了根据实施方式的中间过程状态估计方法的锻造过程将形状作为图像处理的实施例的示意图；
图2是用于说明根据本实施方式的中间过程状态估计方法所使用的PairGAN的方法的学习方法的示意图；
图3是用于说明通过参照图2说明的学习方法利用已学习的生成器估计中间过程状态的方法的示意图；
图4是用于说明在PairGAN的方法中设定与各步骤对应的标签的方法的示意图；
图5是示出第一部分过程中的步骤的标签示例的示意图；
图6是示出第二部分过程中的步骤的标签示例的示意图；
图7是示出第三部分过程中的步骤的标签示例的示意图；
图8是用于说明编码器的学习方法的示意图；
图9是用于说明编码器的学习方法的示意图；
图10是用于说明生成与在从初始状态经过多个中间成型物到达最终状态的成型过程中成型的期望最终状态对应的输入噪声的方法的示意图；
图11是用于说明比较例中的用于估计中间过程状态的方法所使用的Age-cGAN中的学习方法的示意图；
图12是用于说明在比较例中通过参照图11说明的学习方法利用已学习的生成器估计中间过程状态的方法的示意图；以及
图13示出了估计实施例中从初始状态到最终状态的变形过程的结果以及估计比较例中从初始状态到最终状态的变形过程的结果。
具体实施方式
在下文中，尽管将参考发明的实施方式描述本发明，但是根据权利要求的本明发不限于以下实施方式。此外，以下实施方式中描述的所有成分对于解决问题的手段不一定是必不可少的。为了使说明清楚，适当地简化以下描述和附图。在所有附图中，将相同的符号分配给相同的成分，并且根据需要省略重复的说明。
根据该实施方式的中间过程状态估计方法通过使用作为Age-cGAN方法的变形的方法(下文中称为PairGAN的方法)，在从初始状态经过多个中间成型物到达最终状态的成型过程中，以时间序列估计从初始状态到最终状态的最适于成型的变形过程中的中间过程状态。该实施方式将以从初始状态经过多个中间成型物到达最终状态的成型过程是锻造过程的方式进行说明。
图1是用于说明对于应用了根据本实施方式的中间过程状态估计方法的锻造过程，将形状作为图像进行处理的示例的示意图。如图1的左上侧所示，在锻造过程中，成型物的状态(形状)为轴对称。因此，在PairGAN的方法中，如图1的右上侧所示，初始状态、最终状态和中间过程状态的成型物的横截面由黑白图像表示。此外，如图1的下部所示，在成型物的初始状态和最终状态之间的一系列变形过程被分成多个步骤。例如，锻造过程分为三个子过程(第一部分过程、第二部分过程和第三部分过程)，第一部分过程分为约30个步骤，第二部分过程分为约20个步骤，第三个部分过程分为约30个步骤。即，锻造过程分为约80个步骤。
图2是用于说明根据本实施方式的中间过程状态估计方法所使用的PairGAN的方法的学习方法的示意图。如图2所示，根据本实施方式的中间过程状态估计方法所使用的PairGAN的方法使用两个生成器1和2以及鉴别器3。
生成器1和2通过接收输入噪声和与成型过程的多个步骤中所包括的步骤对应的标签作为输入，生成作为与标签对应的生成数据的生成图像。将输入噪声和与多个步骤中的特定步骤i对应的标签输入到一个生成器1。注意，输入噪声是例如在[-1,1]的范围内随机选择的向量(潜在噪声)。将与输入到生成器1的输入噪声相同的输入噪声和与多个步骤中不同于特定步骤i的步骤j对应的标签输入到另一个生成器2。然后，在各生成器1和2中生成与输入标签对应的生成图像。
将生成数据对和训练数据对中的一个输入到鉴别器3。注意，生成数据对由链接了与一个生成器1生成的生成数据对应的标签的数据和链接了与另一个生成器2生成的生成数据对应的标签的数据构成。训练数据对由链接了作为与输入到一个生成器1的标签i对应的训练数据的训练图像的对应标签的数据、和链接了作为与输入到另一个生成器2的标签j对应的训练数据的训练图像的对应标签的数据构成。鉴别器3鉴别输入数据对是生成数据对还是训练数据对。
然后，各个生成器1和2以及鉴别器3以对抗的方式从关于在鉴别器3中输入数据对是生成数据对还是训练数据对的鉴别结果的准确性中学习。
图3是用于说明通过参照图2说明的学习方法利用已学习的生成器1或2估计中间过程状态的方法的示意图。如图3所示，将与在从初始状态经过多个中间成型物到达最终状态的成型过程中成型的期望最终状态对应的输入噪声(估计噪声)、和与期望估计中间过程状态的步骤对应的标签输入到已学习的生成器1，所述步骤处在成型过程中所包括的多个步骤中。注意，将在之后描述用于生成估计噪声的方法。然后，基于由生成器1生成的生成图像来估计期望估计中间过程状态的步骤中的中间过程状态。即，估计由生成器1生成的生成图像是在从初始状态到最终状态最适于成型的变形过程中期望估计中间过程状态的步骤中的中间过程状态。注意，生成器1和2共享内部参数，并且可以使用其中任何一个。
接下来描述在PairGAN的方法中设定与各步骤对应的标签的方法。图4是用于说明在PairGAN的方法中设定与各步骤对应的标签的方法的示意图。
如图4所示，标签是由四个向量元素(第一元素到第四元素)构成的向量。如上所述，从初始状态经过多个中间成型物到达最终状态的成型过程被分为多个子过程，并且多个子过程被分为多个步骤。在此假设一个过程分为三个子过程(第一部分过程、第二部分过程和第三部分过程)，第一部分过程分为约30个步骤，第二部分过程分为约20个步骤，第三个部分过程分为约30个步骤。
当一个步骤被包括在第一部分过程中时，在标签中使用第一元素v1和第二元素v2。当一个步骤被包括在第二部分过程中时，在标签中使用第二元素v2和第三元素v3。当一个步骤被包括在第三部分过程中时，在标签中使用第三元素v3和第四元素v4。对未使用的元素输入0。
子过程中的各步骤的标签的值为通过将与子过程对应的向量元素的值归一化得到的值，通过假设子过程中的步骤的时间序列顺序的起始的值为0、子过程中的步骤的时间序列顺序的结束的值为1的方式进行所述归一化。在第一部分过程中所包括的每个步骤中，将上述归一化后的值输入到第二元素v2，将通过从1减去第二元素v2的值而获得的值输入到第一元素v1，并且将0输入到第三元素v3和第四元素v4。在第二部分过程中所包括的每个步骤中，将上述归一化后的值输入到第三元素v3，将通过从1减去第三元素v3的值而获得的值输入到第二元素v2，并且将0输入到第一元素v1和第四元素v4。在第三部分过程中所包括的每个步骤中，将上述归一化后的值输入到第四元素v4，将通过从1减去第四元素v4的值而获得的值输入到第三元素v3，并且将0输入到第一元素v1和第二元素v2。
图5是示出第一部分过程中的步骤的标签示例的示意图。如图5的上部所示，由于第一部分过程的步骤6中的上述归一化后的值是0.2(6/30＝0.2)，所以将0.2输入到第二元素v2，并将通过从1减去0.2(其为第二元素v2的值)而获得的值0.8(1-0.2＝0.8)输入到第一元素v1。此外，如图5的下部所示，由于第一部分过程的步骤24中的上述归一化后的值是0.8(24/30＝0.8)，所以将0.8输入到第二元素v2，并将通过从1减去0.8(其为第二元素v2的值)而获得的值0.2(1-0.8＝0.2)输入到第一元素v1。
上述情况也适用于第二部分过程。图6是示出第二部分过程中的步骤的标签示例的示意图。如图6的上部所示，由于第二部分过程的步骤4中的上述归一化后的值是0.2(4/20＝0.2)，所以将0.2输入到第三元素v3，并将通过从1减去0.2(其为第三元素v3的值)而获得的值0.8(1-0.2＝0.8)输入到第二元素v2。此外，如图6的下部所示，由于第二部分过程的步骤16中的上述归一化后的值是0.8(16/20＝0.8)，所以将0.8输入到第三元素v3，并将通过从1减去0.8(其为第三元素v3的值)而获得的值0.2(1-0.8＝0.2)输入到第二元素v2。
上述情况也适用于第三部分过程。图7是示出第三部分过程中的步骤的标签示例的示意图。如图7的上部所示，由于第三部分过程的步骤6中的上述归一化后的值是0.2(6/30＝0.2)，所以将0.2输入到第四元素v4，并将通过从1减去0.2(其为第四元素v4的值)而获得的值0.8(1-0.2＝0.8)输入到第三元素v3。此外，如图7的下部所示，由于第三部分过程的步骤24中的上述归一化后的值是0.8(24/30＝0.8)，所以将0.8输入到第四元素v4，并将通过从1减去0.8(其为第四元素v4的值)而获得的值0.2(1-0.8＝0.2)输入到第三元素v3。
通过如上设置PairGAN的方法中的与各步骤对应的标签，可以通过表示各步骤的标签来表达时间序列关系。
接下来，描述用于生成估计噪声的方法，该估计噪声与在从初始状态经过多个中间成型物到达最终状态的成型过程中成型的期望最终状态对应。使用编码器(自动编码器)生成估计噪声。对于该编码器，必须使用已学习的编码器。
图8和图9是用于说明编码器4的学习方法的示意图。如图8所示，在编码器4的学习中，首先，随机改变作为输入噪声的潜在噪声和与多个步骤中所包括的每个步骤对应的标签，并且将改变后的潜在噪声和标签输入到已学习的生成器1，从而生成作为编码器训练数据的编码器训练图像。
接下来，如图9所示，将编码器训练图像和用于生成编码器训练图像的标签输入到编码器4，使得编码器4生成输入噪声。随后，将输入噪声和用于生成编码器训练图像的标签输入到生成器1，使得生成器1生成生成图像。然后，编码器4通过反向传播生成图像和编码器训练图像之间的误差来学习。
图10是用于说明生成与在从初始状态经过多个中间成型物到达最终状态的成型过程中成型的期望最终状态对应的输入噪声的方法的示意图。如图10所示，通过将期望最终状态的数据和与多个步骤中的最终状态对应的标签输入到已学习的编码器4，从而生成与在从初始状态经过多个中间成型物到达最终状态的成型过程中成型的期望最终状态对应的输入噪声。通过使用如上所述的编码器4，能够可靠地估计从初始状态经过多个中间成型物到达最终状态的成型过程中的预定步骤的中间过程状态。
接下来，描述根据该实施方式的中间过程状态估计方法的有效性的验证。
在该验证中，对通过使用作为根据本实施方式的中间过程状态估计方法的PairGAN的方法估计中间过程状态的结果(实施例)和通过使用Age-cGAN方法估计中间过程状态的结果(比较例)进行比较。
首先，描述比较例中用于估计中间过程状态的方法。图11是用于说明比较例中用于估计中间过程状态的方法所使用的Age-cGAN中的学习方法的示意图。如图11所示，在比较例中用于估计中间过程状态的方法所使用的Age-cGAN的方法中使用生成器901和鉴别器903。
生成器901通过接收输入噪声和与多个步骤中所包括的步骤对应的标签作为输入，生成作为与标签对应的生成数据的生成图像。将输入噪声和与多个步骤中的特定步骤i对应的标签输入到生成器901。注意，输入噪声是例如在[-1,1]的范围内随机选择的向量(潜在噪声)。在生成器901中生成与输入标签对应的生成图像。
将链接了与生成数据相对应的标签的数据和链接了与训练数据对应的标签的数据中的一个随机输入到鉴别器903。鉴别器903鉴别输入数据是生成数据还是训练数据。然后，生成器901以及鉴别器903以对抗的方式从关于在鉴别器903中输入数据是生成数据还是训练数据的鉴别结果的准确性中学习。
图12是用于说明在比较例中通过参照图11说明的学习方法利用已学习的生成器901估计中间过程状态的方法的示意图。如图12所示，将与在从初始状态经过多个中间成型物到达最终状态的成型过程中成型的期望最终状态对应的输入噪声(估计噪声)、以及与期望估计中间过程状态的步骤对应的标签输入到已学习的生成器901，所述步骤处在从初始状态经过多个中间成型物到达最终状态的成型过程中。然后，估计由生成器901生成的生成图像是在最适于成型的变形过程中期望估计中间过程状态的步骤的中间过程状态。
接下来，描述该验证的验证结果。图13示出了估计实施例中从初始状态到最终状态的变形过程的结果以及估计比较例中从初始状态到最终状态的变形过程的结果。在图13中，在上部示出了训练图像中从初始状态到最终状态的变形过程，在中部示出了在实施例中估计的从初始状态到最终状态的变形过程，在下部示出了在比较例中估计的从初始状态到最终状态的变形过程。如图13所示，在实施例中估计的变形过程与在比较例中估计的变形过程相比更类似于训练图像中的变形。
在锻造过程中，体积在从初始状态到最终状态的变形过程中始终是恒定的。即，在从初始状态到最终状态的变形过程中，用于测量从初始状态到最终状态的变形过程的估计的有效性的确定标准之一是每个所估计的中间过程状态的体积与初始状态的体积之间的偏差(体积误差)较小。在该估计中，在实施例中估计的从初始状态到最终状态的变形过程中的体积误差为4.1％，在比较例估计的从初始状态到最终状态的变形过程中的体积误差为5.8％，而在训练图像中从初始状态到最终状态的变形过程中的体积误差为2.7％。因此，可以确定在实施例中估计的从初始状态到最终状态的变形过程的有效性高于在比较例中估计的从初始状态到最终状态的变形过程的有效性。以时间序列估计在初始状态到最终状态最适于成型的变形过程中的中间过程状态。
如上所述，在根据本实施方式的中间过程状态估计方法中，通过使用PairGAN的方法，对于从初始状态经过多个中间成型物到达最终状态的成型过程，能够以时间序列可靠地估计最适于成型的变形过程中的中间过程状态。
注意，本发明不限于上述实施方式，在不脱离本发明的范围和精神的情况下可根据需要进行修改。虽然在上述实施方式中说明了训练数据、生成数据以及输入数据是图像数据，但是本发明不限于这样的配置。除了图像数据之外，训练数据、生成数据、输入数据可以包括图像数据以外的数据，例如，关于应力和温度的数据。
由在此描述的发明，显而易见的是，本发明的实施方式可以以多种方式变化。不应将这些变化视为脱离本发明的精神和范围，并且所有这些修改包括在所附权利要求的范围内对于本领域技术人员而言时显而易见的。

Claims (3)

1.一种中间过程状态估计方法，其用于对从初始状态经过多个中间成型物到达最终状态的成型过程，以时间序列估计从最初状态到最终状态的变形过程中最适于成型的中间过程状态，其特征在于，
使用两个生成器，该两个生成器配置为，通过接收输入噪声和与所述成型过程的多个步骤中所包括的步骤对应的标签作为输入来生成与所述标签对应的生成数据，并且，输入共同的输入噪声到各所述生成器，将与所述多个步骤中的特定步骤对应的标签输入到一个所述生成器，并将与所述多个步骤中不同于特定步骤的步骤对应的标签输入到另一个所述生成器，使得在各所述生成器中生成与输入标签对应的生成数据，
随机输入生成数据对和训练数据对中的一个：所述生成数据对由链接了与一个所述生成器生成的生成数据对应的标签的数据和链接了与另一个所述生成器生成的生成数据对应的标签的数据构成，所述训练数据对由链接了与输入到一个所述生成器的标签对应的训练数据的对应标签的数据和链接了与输入到另一个所述生成器的标签对应的训练数据的对应标签的数据构成；使用配置为鉴别输入数据对是所述生成数据对还是所述训练数据对的鉴别器，所述各生成器和所述鉴别器以对抗方式从所述鉴别器中的鉴别结果的准确性中学习，以及
将与在从所述初始状态经过多个中间成型物到所述最终状态的成型过程中成型的期望最终状态对应的输入噪声、以及与所述多个步骤中所包括的期望估计中间过程状态的步骤对应的标签输入到各已学习的生成器之一，以基于该生成器生成的所述生成数据，估计在期望估计所述中间过程状态的步骤中的所述中间过程状态。
2.根据权利要求1所述的中间过程状态估计方法，其特征在于，所述成型过程被分成多个子过程，并且与各所述子过程中的各步骤对应的标签向量元素的值为通过将与所述子过程对应的向量元素的值归一化得到的值，通过假设所述子过程中的步骤的时间序列顺序的起始的值为0、所述子过程中的步骤的时间序列顺序的结束的值为1而进行所述归一化。
3.根据权利要求1或2所述的中间过程状态估计方法，其特征在于，
通过将所述期望最终状态的数据和与所述多个步骤中的最终状态对应的标签输入到已学习的编码器，生成与在所述成型过程中成型的所述期望最终状态对应的输入噪声，以及
如下进行所述编码器的学习：随机改变输入噪声以及与所述多个步骤中所包括的各步骤对应的标签，并将改变后的所述输入噪声和所述标签输入到已学习的生成器，以使得已学习的生成器生成编码器训练数据，将所述编码器训练数据以及用于生成所述编码器训练数据的标签输入到所述编码器，使得所述编码器生成输入噪声，然后将所述输入噪声和用于生成所述编码器训练数据的标签输入到所述生成器，使得所述生成器生成生成数据，然后使所述编码器反向传播所述生成数据和所述编码器训练数据之间的误差。
CN201910522672.1A 2018-06-26 2019-06-17 中间过程状态估计方法 Active CN110647997B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-120646 2018-06-26
JP2018120646A JP7010774B2 (ja) 2018-06-26 2018-06-26 中間工程状態推定方法

Publications (2)

Publication Number Publication Date
CN110647997A true CN110647997A (zh) 2020-01-03
CN110647997B CN110647997B (zh) 2023-06-27

Family

ID=68981984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910522672.1A Active CN110647997B (zh) 2018-06-26 2019-06-17 中间过程状态估计方法

Country Status (3)

Country Link
US (1) US10970601B2 (zh)
JP (1) JP7010774B2 (zh)
CN (1) CN110647997B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260545A (zh) * 2020-01-20 2020-06-09 北京百度网讯科技有限公司 生成图像的方法和装置
CN111275784A (zh) * 2020-01-20 2020-06-12 北京百度网讯科技有限公司 生成图像的方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762337B2 (en) * 2018-04-27 2020-09-01 Apple Inc. Face synthesis using generative adversarial networks
US12050640B2 (en) 2021-11-16 2024-07-30 Samsung Electronics Co., Ltd. Probabilistic procedure planning for instructional videos
US20230230198A1 (en) * 2022-01-14 2023-07-20 Adobe Inc. Utilizing a generative neural network to interactively create and modify digital images based on natural language feedback

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590478A (zh) * 2017-09-26 2018-01-16 四川长虹电器股份有限公司 一种基于深度学习的年龄估计方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999066430A1 (fr) * 1998-06-18 1999-12-23 Mitsubishi Rayon Co., Ltd. Procede et appareil pour determiner le motif d'une resine
US9409312B2 (en) * 2013-01-14 2016-08-09 Geoffrey Gretton Durable earthenware engraving process
US10548690B2 (en) * 2015-10-07 2020-02-04 uLab Systems, Inc. Orthodontic planning systems
US20180095450A1 (en) * 2016-09-30 2018-04-05 Velo3D, Inc. Three-dimensional objects and their formation
GB2555431A (en) * 2016-10-27 2018-05-02 Nokia Technologies Oy A method for analysing media content
US10783629B2 (en) * 2017-09-29 2020-09-22 Align Technology, Inc. Aligner image based quality control system
EP3698702B1 (en) * 2017-10-17 2023-06-07 FUJIFILM Corporation Medical image processing device and endoscope device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590478A (zh) * 2017-09-26 2018-01-16 四川长虹电器股份有限公司 一种基于深度学习的年龄估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ARNAB GHOSH等: "Multi-Agent Diverse Generative Adversarial Networks", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION *
GRIGORY ANTIPOV等: "Face Aging With Conditional Generative Adversarial Networks", HTTPS://ARXIV.ORG/ABS/1702.01983 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260545A (zh) * 2020-01-20 2020-06-09 北京百度网讯科技有限公司 生成图像的方法和装置
CN111275784A (zh) * 2020-01-20 2020-06-12 北京百度网讯科技有限公司 生成图像的方法和装置

Also Published As

Publication number Publication date
CN110647997B (zh) 2023-06-27
JP2020003906A (ja) 2020-01-09
US10970601B2 (en) 2021-04-06
JP7010774B2 (ja) 2022-01-26
US20190392259A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
CN110647997B (zh) 中间过程状态估计方法
US11117328B2 (en) Systems, methods, and media for manufacturing processes
Gaffney et al. Joint probabilistic curve clustering and alignment
CN107506350B (zh) 一种识别信息的方法和设备
CN105320945A (zh) 图像分类的方法及装置
US20200327368A1 (en) Feature point estimation device, feature point position estimation system, feature point position estimation method, and feature point position estimation program
KR102102685B1 (ko) 로봇의 인간 얼굴 표정 학습 및 표정 구현 방법
EP3965020A1 (en) A model for a rapid continual anomaly detector
CN112613617A (zh) 基于回归模型的不确定性估计方法和装置
CN115019135A (zh) 模型训练、目标检测方法、装置、电子设备及存储介质
Bjelica et al. Reliability of self-driving cars: When can we remove the safety driver?
CN111026087B (zh) 基于数据的含权重非线性工业系统故障检测方法及装置
Gagula-Palalic et al. Human chromosome classification using competitive neural network teams (CNNT) and nearest neighbor
CN110766086A (zh) 基于强化学习模型对多个分类模型进行融合的方法和装置
US20200387792A1 (en) Learning device and learning method
CN113177599B (zh) 一种基于gan的强化样本生成方法
CN112529093B (zh) 基于预检测权值的样本维度加权的模具清洗效果检验方法
CN114386449A (zh) 用于借助于机器学习系统来确定输出信号的方法
Jang et al. Ensemble learning using observational learning theory
CN106096639B (zh) 一种基于密度热度的电离层雷达数据的聚类方法
Martin-Gonzalez et al. Improved neural classifier for microscrew shape recognition
Kasmin et al. Control Chart Pattern Recognition Using Small Window Size for Identifying Bivariate Process Mean Shifts
WO2021111831A1 (ja) 情報処理方法、情報処理システム及び情報処理装置
WO2021050508A1 (en) Systems, methods, and media for manufacturing processes
Baydyk et al. New Application of LIRA neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant