CN111310912A - 机器学习系统、域变换装置、及机器学习方法 - Google Patents

机器学习系统、域变换装置、及机器学习方法 Download PDF

Info

Publication number
CN111310912A
CN111310912A CN201911256368.3A CN201911256368A CN111310912A CN 111310912 A CN111310912 A CN 111310912A CN 201911256368 A CN201911256368 A CN 201911256368A CN 111310912 A CN111310912 A CN 111310912A
Authority
CN
China
Prior art keywords
image
determination
domain
information
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911256368.3A
Other languages
English (en)
Inventor
坂井亮
木村宣隆
三木崇弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN111310912A publication Critical patent/CN111310912A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种机器学习系统、域变换装置、及机器学习方法，机器学习系统具备：第一判定模型，判定输入图像是否是第二域图像；第二判定模型，判定从输入图像提取了存在对象物的区域后的提取图像是否是从第二域图像提取了存在对象物的区域后的提取图像，选择伪第二域图像及第二域图像的其中一个并输入至第一判定模型，选择伪第二域图像的第一提取图像和第二域图像的第二提取图像的其中一个并输入至图像提取部，基于第一判定模型的第一判定结果进行第一判定模型的学习，基于第二判定模型的第二判定结果进行第二判定模型的学习，基于第一判定结果和第二判定结果进行将对对象物进行拍摄而得到的第一域图像变换为伪第二域图像的伪图像生成模型的学习。

Description

机器学习系统、域变换装置、及机器学习方法
技术领域
本发明涉及机器学习系统、域变换装置、及机器学习方法。
背景技术
在专利文献1中，关于生成模型学习方法，关于抑制对用户来说不好的数据的生成的技术进行了记载。生成模型学习方法包含：第一学习工序，基于预先准备的学习数据，通过无监督学习对第一生成模型进行学习；生成工序，生成基于第一生成模型的生成数据；以及第二学习工序，基于学习数据和由用户判定为不好的生成数据，通过监督学习对第二生成模型进行学习。
在非专利文献1中，关于通过对使用敌对的生成网络(生成对抗网络(GAN：Generative Adversarial network))，保持来自模拟装置的注释(annotation)信息，且对使用实际数据来改善模拟装置的输出的现实感(reality)的模型进行学习，从而使合成图像和实际的图像的差距(gap)减少的技术进行了记载。
现有技术文献
专利文献
专利文献1：(日本)特开2018-63504号公报
非专利文献1："Learning from Simulated and Unsupervised Images throughAdversarial Training"，"Ashish Shrivastava，Tomas Pfister，Oncel Tuzel，JoshSusskind，Wenda Wang，Russ Webb"，"Apple Inc"，因特网，2018年11月29日检索
发明内容
发明要解决的课题
在进行图像辨识的机器学习系统中的模型的学习中需要庞大的数目的学习数据。作为高效地进行模型的学习的方法，有使用对应用机器学习系统的现场的环境进行模拟的模拟环境中的学习数据对模型进行学习的方法。
但是在基于该方法的情况下，模拟环境和现场环境的状态的不同(差距(gap))成为课题。作为消除上述的不同的方法，有将现场环境中的图像通过敌对的生成网络(生成对抗网络(GAN：Generative Adversarial network))的生成模型(生成器，Generator)而变换(域变换)为与模拟环境的图像相似的图像的方法，但在该情况下生成模型的变换精度的提高成为课题。
专利文献1中记载的技术基于生成模型，以抑制对用户来说不好的数据的生成为目的，并非以生成模型的学习数据的准备等所涉及的用户的负荷减轻为目的。
本发明是鉴于以上的课题而完成的，目的在于，提供能够高效地进行执行图像的域变换的模型的学习的机器学习系统、域变换装置、及机器学习方法。
用于解决课题的手段
用于达成上述目的的本发明的一个是一种信息处理系统(机器学习系统)，是进行将对作为辨识对象的物体的对象物进行拍摄而得到的第一域中的图像即第一域图像变换为与第二域中的图像即第二域图像相似的图像即伪第二域图像的机器学习模型即伪图像生成模型的学习的信息处理系统(机器学习系统)，具备：第一判定模型，判定所输入的图像是否是所述第二域图像；第二判定模型，判定从所述输入的图像基于确定在该图像中存在对象物的区域的信息即区域信息而提取的图像即提取图像，是否是从所述第二域图像基于确定在该图像中存在对象物的区域的信息即区域信息而提取的图像；图像提取部，生成所述提取图像并输入至所述第二判定模型；选择输入部，选择所述伪第二域图像及所述第二域图像的其中一个并输入至所述第一判定模型，并且选择所述伪第二域图像和针对该伪第二域图像的所述区域信息即第一区域信息的第一组合、及所述第二域图像和针对该第二域图像的所述区域信息即第二区域信息的第二组合的其中一个并输入至所述图像提取部；以及学习处理部，基于包含所述第一判定模型的判定的结果和针对该判定的正确解信息的第一判定结果进行所述第一判定模型的学习，基于包含所述第二判定模型的判定的结果和针对该判定的正确解信息的第二判定结果进行所述第二判定模型的学习，基于所述第一判定结果和所述第二判定结果进行所述伪图像生成模型的学习。
此外，本申请所公开的课题、及其解决方法通过具体实施方式的栏、及附图而变得明确。
发明效果
根据本发明，能够高效地进行执行图像的域变换的模型的学习。
附图说明
图1是说明域变换系统的图。
图2是说明伪图像生成模型的学习的图。
图3是说明防止伪图像生成模型的学习向不好的方向进展的方法的例的图。
图4是机器学习系统的框图。
图5是说明机器学习系统的动作的图。
图6是说明机器学习系统的动作的图。
图7是说明机器学习系统的动作的图。
图8是说明机器学习系统的动作的图。
图9是机器学习系统的框图。
图10是在机器学习系统的构成时使用的信息处理装置的一例。
标号说明
1 机器学习系统
5 域变换系统
G 伪图像生成模型
I 选择输入部
S 图像提取部
D1 第一判定模型
D2 第二判定模型
D3 第三判定模型
111 第一域图像群
11 第一域图像
11g 伪第二域图像
11c 第一提取图像
121 第一区域信息群
12 第一区域信息
211 第二域图像群
21 第二域图像
21c 第二提取图像
221 第二区域信息群
22 第二区域信息
A1 第一判定结果
A2 第二判定结果
A3 第三判定结果
具体实施方式
以下，针对实施方式，参照附图进行说明。另外，在以下的说明中，有时针对同一或者类似的结构赋予公共的标号而省略重复的说明。
一般来说在进行图像辨识的机器学习系统中的机器学习模型(以下，也称为“模型”。)的学习中需要庞大的数目的学习数据，为了学习数据的准备而用户需要极大的劳力和时间。例如，在通过图像辨识对物体进行辨识且对机器人臂进行控制的模型(以下，也称为“控制模型”。)的学习中，用户需要在应用机器学习系统的现场中准备与物体所取的各种状态对应的庞大的数目的拍摄图像作为学习数据，并且对各拍摄图像进行标识赋予(正确解信息的设定)。
作为高效地进行模型的学习的方法，有利用对现场环境进行模拟的模拟环境的方法。但是在该方法中，有时由于模拟环境和现场环境的状态的不同(域的不同)，即使将现场环境中的图像(以下，也称为“现场图像”。)原样输入至模型，模型也没有准确地发挥作用。
作为使在模拟环境中学习的模型在现场环境中也准确地发挥作用的方法，考虑将在现场环境中取得的数据通过使用了机器学习模型(以下，称为“伪图像生成模型”。)的域变换装置而变换为与模拟环境中的数据相似的数据的方法。
具体而言，例如，在前述的控制模型的情况下，将现场图像(以下，称为“第一域”图像。)通过由机器学习模型(以下，称为“伪图像生成模型”。)构成的域变换装置而变换(以下，称为“域变换”。)为与模拟环境的图像(以下，称为“第二域图像”。)相似的图像(以下，称为“伪第二域图像”。)，将伪第二域图像输入至控制模型。
但是在该方法中，为了伪图像生成模型的学习，必须准备多个学习数据(第一域图像和标识的组)是课题。
有使用敌对的生成网络(生成对抗网络(GAN：Generative Adversarialnetwork))的生成模型(生成器(Generatior))作为伪图像生成模型的方法。
图1是说明实现上述的方法的系统(以下，称为“域变换系统5”。)的图。如同图所示，域变换系统5通过作为GAN的生成模型而生成的伪图像生成模型G，将第一域图像11变换为伪第二域图像11g。
图2是说明伪图像生成模型G的学习的图。与一般的GAN的生成模型的学习同样，在GAN的生成模型即伪图像生成模型G的学习时，除了伪图像生成模型G外，还使用判定模型D(鉴别器(Discriminator))(以下，称为“第一判定模型D1”。)。
如同图所示，向伪图像生成模型G输入一个从第一域图像群111选择的第一域图像11。此外向第一判定模型D1，随机选择输入伪图像生成模型G生成的伪第二域图像11g的一个、或从第二域图像群211选择的(真的)第二域图像21的一个的其中一个。
第一判定模型D1对所输入的图像是否是第二域图像21(真的第二域图像)进行判定，对其判定结果(以下，称为“第一判定结果A1”。)进行输出。第一判定结果A1包含作为第一判定模型D1的判定结果的所输入的图像是否与第二域图像相似的信息(或表示相似的程度的信息)、和标识的信息(表示所输入的图像是伪第二域图像还是第二域图像21的正确解信息)。
上述的第一判定结果A1被用于伪图像生成模型G的学习和第一判定模型D1的学习，伪图像生成模型G基于第一判定结果A1，进行学习以使第一判定模型D1弄错是否是第二域图像21的判定，另一方面，第一判定模型D1基于第一判定结果A1，进行学习以使不将伪图像生成模型G所生成的伪第二域图像11g弄错为第二域图像。这样，以伪图像生成模型G和第一判定模型D1相互竞争的方式进行学习，从而伪图像生成模型G的伪第二域图像11g的生成精度和第一判定模型D1的判定精度这双方被提升。另外，伪图像生成模型G、第一判定模型D1的学习由机器学习系统所具备的功能之一即未图示的学习处理部进行。
以上那样，根据该方法，不对第一域图像11进行标识赋予，仅通过准备第一域图像群111和第二域图像群211，就能够进行伪图像生成模型G的学习。
然而，在基于以上的方法的伪图像生成模型G的学习时，从第一域图像群111任意地选择的第一域图像11，此外从第二域图像群211任意地选择的第二域图像21分别作为学习数据而被给定。因此，伪图像生成模型G例如有可能生成将包含在第一域图像中未包含的物体的图像包含于伪第二域图像11g等本来不期待的(例如，在前述的控制模型对物体进行辨识时成为噪声那样的)伪第二域图像11g。
在此作为防止像这样伪图像生成模型G的学习向不好的方向发展的方法，有进行伪图像生成模型G的学习以使基于伪图像生成模型G的变换前后的图像的差分变小的方法。
图3是说明该方法的图。如同图所示，在该方法中，设置对输入至伪图像生成模型G的第一域图像11和伪图像生成模型G生成的伪第二域图像11g的差分进行检测的差分导出部DF，使伪图像生成模型G进行学习以使由差分导出部DF检测的上述的差分df变小。但是在该方法中，有以下课题：从伪图像生成模型G的变换前后的图像取出对差分df的算出有益的信息、从图像取出抽象的信息的差分df未必容易。
因此立足于以上，在本实施方式中，通过以下所示的方法实现上述的课题的解决。
图4是说明为了解决上述的课题而构成的机器学习系统1的主要的结构的框图。机器学习系统1例如是对进行作为辨识对象的物体的对象物的识别且控制机器人臂的控制模型进行学习的信息处理系统。
如同图所示，机器学习系统1存储有第一域图像群111、第一区域信息群121、第二域图像群211、及第二区域信息群221。
在第一区域信息群121中，包含关于第一域图像11而确定存在对象物的区域(存在对象物的区域的轮廓信息)的信息(以下，称为“第一区域信息12”。)。另外，例如能够关于由能够取得与距离被摄体的距离(深度)相关的信息的拍摄装置(例如，深度相机、TOF距离图像相机、立体相机等)取得的第一域图像11，进行与针对上述距离而设定的阈值的比较从而取得(生成)第一区域信息12。另外，例如还能够针对第一域图像11利用公知的图像处理技术从而取得(生成)第一区域信息12。
同图所示的伪图像生成模型G将从第一域图像群111选择的第一域图像11的一个变换为伪第二域图像11g。
向选择输入部I输入伪第二域图像11g、和从第一区域信息群121选择的针对该伪第二域图像11g的变换源的第一域图像11的第一区域信息12的组合(以下，称为“第一组合”。)。
此外向选择输入部I输入从第二域图像群211选择的第二域图像21、和从第二区域信息群221选择的针对该第二域图像21的第二区域信息22的组合(以下，称为“第二组合”。)。
选择输入部I随机地选择第一组合和第二组合的其中一个，将所选择的组合中的伪第二域图像11g或者第二域图像21输入至第一判定模型D1，此外将所选择的第一组合或者第二组合输入至图像提取部S。
在选择了第一组合的情况下，选择输入部I分别将该组合的伪第二域图像11g输入至第一判定模型D1，此外将该组合的伪第二域商像11g及第一区域信息12输入至图像提取部S。在该情况下，图像提取部S将从所输入的伪第二域图像11g提取了由所输入的第一区域信息12确定的区域(存在对象物的区域)后的图像(以下，称为“第一提取图像11c”。)输入至第二判定模型D2。
此外在选择了第二组合的情况下，选择输入部I分别将该组合中的第二域图像21输入至第一判定模型D1，此外将该组合中的第二域图像21及第二区域信息22输入至图像提取部S。在该情况下，图像提取部S将从所输入的第二域图像21提取了由所输入的第二区域信息22确定的区域(存在对象物的区域)后的图像(以下，称为“第二提取图像21c”。)输入至第二判定模型D2。
第一判定模型D1对所输入的图像是否是第二域图像21(真的第二域图像)进行判定而输出第一判定结果A1。第一判定模型D1基于第一判定结果A1，进行学习以使不将伪图像生成模型G所生成的伪第二域图像11g弄错为第二域图像。另一方面，伪图像生成模型G基于第一判定结果A1，进行学习以使第一判定模型D1弄错判定(以使将伪第二域图像11g误判定为第二域图像)。另外，伪图像生成模型G、第一～第二判定模型D1～D2的学习由机器学习系统所具备的功能之一即未图示的学习处理部进行。
第二判定模型D2对所输入的图像是第一提取图像11c还是第二提取图像21c进行判定而输出第二判定结果A2。第二判定模型D2基于第二判定结果A2，进行学习以使准确地判定所输入的图像是第一提取图像11c还是第二提取图像21c。另一方面，伪图像生成模型G基于第二判定结果A2，进行学习以使第二判定模型D2弄错判定(以使第二判定模型D2将第一提取图像11c误判定为第二提取图像21c)。
在此像这样，第二判定模型D2进行学习以使准确地判定所输入的图像是第一提取图像11c还是第二提取图像21c等同于第二判定模型D2向第二提取图像21c中包含的对象物的辨识精度升高的方向进行学习。因此，随着第二判定模型D2的学习进展而对象物的辨识精度升高，其结果，第一提取图像11c中是否包含有噪声的判定精度被提升。这样，第二判定模型D2以较高的精度判定的第二判定结果A2被反馈至伪图像生成模型G的学习，其结果，伪图像生成模型G向生成在物体的辨识时成为噪声的本来不期待的伪第二域图像11g的可能性变低的方向进行学习。
图5是说明图4所示的机器学习系统1的动作的图，是说明伪图像生成模型G的学习未进展的阶段中的伪图像生成模型G和第二判定模型D2的动作的图。
如同图所示，学习未进展的伪图像生成模型G生成误消去了处于原来的第一域图像11的对象物的伪第二域图像11g。第二判定模型D2能够准确地判定第一提取图像11c、第二提取图像21c是伪第二域图像11g还是第二域图像21。
图6是说明图4所示的机器学习系统1的动作的图，是说明伪图像生成模型G的学习进展的阶段中的伪图像生成模型G和第二判定模型D2的动作的图。
如同图所示，学习正在进展的伪图像生成模型G维持着原来的第一域图像中的对象物的信息而生成伪第二域图像11g。第二判定模型D2不能准确地判定第一提取图像11c、第二提取图像21c是伪第二域图像11g还是第二域图像21。
另外，图5及图6所示的例是图像提取部S从原来的图像(伪第二域图像11g或者第二域图像21)提取“存在对象物的区域”的情况，但也可以是图像提取部S从原来的图像提取“不存在对象物的区域”。若这样，能够还应对于伪图像生成模型G将原来的第一域图像11中不包含的对象物误描绘为原来的图像的“不存在对象物的区域”的情况。以下，针对在该情况下的机器学习系统1的结构，参照附图进行说明。
图7是说明图像提取部S从原来的图像(伪第二域图像11g或者第二域图像21)提取“不存在对象物的区域”的情况下的图4所示的机器学习系统1的动作的图，是说明伪图像生成模型G的学习未进展的阶段中的伪图像生成模型G和第二判定模型D2的动作的图。
如同图所示，学习未进展的伪图像生成模型G生成误追加了不存在于原来的第一域图像11的对象物的伪第二域图像11g。第二判定模型D2能够准确地判定第一提取图像11c、第二提取图像21c是伪第二域图像11g还是第二域图像21。
图8是说明图像提取部S从原来的图像(伪第二域图像11g或者第二域图像21)提取“不存在对象物的区域”的情况下的图4所示的机器学习系统1的动作的图，是说明伪图像生成模型G的学习进展的阶段中的伪图像生成模型G和第二判定模型D2的动作的图。
如同图所示，学习正在进展的伪图像生成模型G维持着原来的第一域图像11中的对象物的信息(不追加对象物等)而生成伪第二域图像11g。第二判定模型D2不能准确地判定伪第二域图像11g是伪第二域图像。
另外，以上，说明了仅进行图像提取部S从原来的图像(伪第二域图像或者第二域图像21)提取“存在对象物的区域”的情况、和图像提取部S提取“不存在对象物的区域”的情况的其中一方的情况，但图像提取部S也可以并行进行这双方。
图9是设为这样的结构的机器学习系统1的框图。如同图所示，该机器学习系统1成为对图4所示的机器学习系统1的结构追加了针对图像提取部S提取的“不存在对象物的区域”的提取图像进行判定的第三判定模型D3的结构。通过将机器学习系统1设为这样的结构，从而伪图像生成模型G能够以更高的精度生成伪第二域图像11g。另外，伪图像生成模型G、第一～第三判定模型D1～D3的学习由机器学习系统1所具备的功能之一即未图示的学习处理部进行。
所追加的第三判定模型D3对是提取了由第一区域信息12确定的区域(不存在对象物的区域)后的图像(以下，称为“第一提取图像11c’”。)还是提取了由第二区域信息22确定的区域(不存在对象物的区域)后的图像(以下，称为“第二提取图像21c’”。)进行判定而输出第三判定结果A3。第三判定模型D3基于第三判定结果A3，进行学习以使准确地判定是第一提取图像11c’还是第二提取图像21c’。另一方面，伪图像生成模型G基于第三判定结果，进行学习以使第三判定模型D3弄错判定，即以使第三判定模型D3将第一提取图像11c误判定为第二提取图像21c’。
这样，伪图像生成模型除了第一判定结果A1外，还基于第二判定结果A2和第三判定结果A3进行学习，因此能够切实地防止伪图像生成模型G生成在物体的辨识时成为噪声的本来不期待的伪第二域图像11g，且使伪图像生成模型G高效地学习以使生成精度高的伪第二域图像11g。
图10是用于具备图1、图4、图9所示的结构的机器学习系统1的实现的信息处理装置(计算机)的硬件的一例。
如同图所示，例示的信息处理装置100具备处理器110、主存储装置120、辅助存储装置130、输入装置140、输出装置150、及通信装置160。它们经由未图示的总线等通信部件而以可相互通信的方式连接。
另外，信息处理装置100例如也可以是如机器人臂(机械手)中安装的微型计算机那样，构成应用该机器学习系统的其他系统的一部分。此外信息处理装置100例如也可以使用由云系统提供的云服务器那样的虚拟的信息处理资源来实现。
处理器110例如使用CPU(中央处理单元(Central Processing Unit))、MPU(微处理单元(Micro Processing Unit))、FPGA(现场可编程门阵列(Field-Programmable GateArray)、GPU(图形处理单元(Graphics Processing Unit))、AI芯片等而构成。
主存储装置120是存储程序、数据的装置，例如是ROM(只读存储器(Read OnlyMemory))、RAM(随机存取存储器(Random Access Memory))、非易失性存储器(NVRAM(NonVolatile RAM))等。
辅助存储装置130例如是硬盘驱动、SSD(固态驱动器(Solid State Drive))、光学式存储装置(CD(压缩光盘(Compact Disc))、DVD(数字多功能盘(Digital VersatileDisc))等)、储存器系统、1C卡、SD卡、光学式记录介质等记录介质的读取/写入装置、云服务器的存储区域等。能够经由记录介质的读取装置、通信装置160向辅助存储装置130读入程序、数据。辅助存储装置130中存储的程序、数据随时被读入至主存储装置120。
输入装置140是受理来自外部的输入的接口，例如是键盘、鼠标、触摸面板、读卡器、声音输入装置等。
输出装置150是输出处理经过、处理结果等各种信息的接口。输出装置150例如是将上述的各种信息可视化的显示装置(液晶监视器、LCD(液晶显示器(Liquid CrystalDisplay))、图形卡等)、将上述的各种信息声音化的装置(声音输出装置(扬声器等))、将上述的各种信息字符化的装置(印刷装置等)。另外，例如，也可以设为信息处理装置100经由通信装置160在与其他装置之间进行信息的输入、输出的结构。
通信装置160是实现与其他装置之间的通信的装置。通信装置160是实现与经由LAN(局域网(Local Area Network))、WAN(广域网(Wide Area Network))、互联网等通信部件的其他装置之间的通信的有线方式或者无线方式的通信接口，例如是NIC(网络接口卡(Network Interface Card))、无线通信模块、USB(通用串行接口(Universal SerialInterface))模块、串行通信模块等。
前述的伪图像生成模型G、选择输入部I、图像提取部S、第一～第三判定模型D1～D3、及未图示的学习处理部的功能例如通过信息处理装置100的处理器110读出主存储装置120中储存的程序而执行从而实现。
此外主存储装置120、辅助存储装置130存储对伪图像生成模型G、第一～第三判定模型D1～D3进行定义的各种参数、第一域图像11、伪第二域图像11g、第一区域信息12、第二区域信息22、第一提取图像11c、第二提取图像21c、及第一～第三判定结果A1～A3。
如以上详细说明的那样，根据本实施方式的机器学习系统1，伪图像生成模型除了第一判定结果A1外，还基于第二判定结果A2、第三判定结果A3进行学习，因此能够防止伪图像生成模型G生成在物体的辨识时成为噪声的本来不期待的伪第二域图像11g，且使伪图像生成模型G高效地学习以使生成精度高的伪第二域图像11g。
此外根据本实施方式的机器学习系统1，不需要在学习数据的准备时用户进行标识赋予、第一域图像11和第二域图像21的相对应等烦杂的作业，能够高效地进行伪图像生成模型的学习。
然而，本发明并非限定于前述的实施方式，包含所添付的权利要求书的宗旨内的各种变形例及等同的结构。例如，前述的实施方式是为了易于理解地说明本发明而详细说明的，本发明不限定于必须具备所说明的全部结构。此外，也可以将某实施方式的结构的一部分置换为其他实施方式的结构。此外，也可以对某实施方式的结构添加其他实施方式的结构。此外，针对各实施方式的结构的一部分，也可以进行其他结构的追加、删除、或者置换。
就前述的各结构、功能、处理部、处理部件等而言，将它们的一部分或者全部，例如也可以通过用集成电路进行设计等而以硬件来实现，也可以通过处理器分析并执行实现各自的功能的程序而以软件来实现。
实现各功能的程序、表、文件等信息能够储存至存储器、硬盘、SSD(固态驱动器(Solid State Drive))等存储装置、或者IC(集成电路(Integrated Circuit))卡、SD卡、DVD(数字多功能盘(Digital Versatile Disc))的记录介质。
控制线、信息线示出了认为说明上所需的，不限于示出了安装上所需的全部控制线、信息线。实际上，也可以认为基本上全部结构被相互连接。

Claims (14)

1.一种机器学习系统，是进行伪图像生成模型的学习的信息处理系统，该伪图像生成模型是将对作为辨识对象的物体的对象物进行拍摄而得到的第一域中的图像即第一域图像变换为与第二域中的图像即第二域图像相似的图像即伪第二域图像的机器学习模型，
所述机器学习系统具备：
第一判定模型，判定所输入的图像是否是所述第二域图像；
第二判定模型，判定从所述输入的图像基于确定在该图像中存在对象物的区域的信息即区域信息而提取的图像即提取图像，是否是从所述第二域图像基于确定在该图像中存在对象物的区域的信息即区域信息而提取的图像；
图像提取部，生成所述提取图像并输入至所述第二判定模型；
选择输入部，选择所述伪第二域图像及所述第二域图像的其中一个并输入至所述第一判定模型，并且选择所述伪第二域图像和针对该伪第二域图像的所述区域信息即第一区域信息的第一组合、及所述第二域图像和针对该第二域图像的所述区域信息即第二区域信息的第二组合的其中一个并输入至所述图像提取部；以及
学习处理部，基于包含所述第一判定模型的判定的结果和针对该判定的正确解信息的第一判定结果进行所述第一判定模型的学习，基于包含所述第二判定模型的判定的结果和针对该判定的正确解信息的第二判定结果进行所述第二判定模型的学习，基于所述第一判定结果和所述第二判定结果进行所述伪图像生成模型的学习。
2.如权利要求1所述的机器学习系统，
所述图像提取部生成从所述输入的图像提取了存在所述对象物的区域后的图像作为所述提取图像。
3.如权利要求1所述的机器学习系统，
所述图像提取部生成从所述输入的图像提取了不存在所述对象物的区域后的图像作为所述提取图像。
4.如权利要求1所述的机器学习系统，
所述第一域图像是由能够取得表示距离被摄体的距离的信息的拍摄装置拍摄的图像，所述区域信息是基于与所述距离相关的信息而取得的信息。
5.如权利要求1所述的机器学习系统，
所述区域信息是通过对所述第一域图像进行图像处理从而取得的信息。
6.一种机器学习系统，是进行伪图像生成模型的学习的信息处理系统，该伪图像生成模型是将对作为辨识对象的物体的对象物进行拍摄而得到的第一域中的图像即第一域图像变换为与第二域中的图像即第二域图像相似的图像即伪第二域图像的机器学习模型，
所述机器学习系统具备：
第一判定模型，判定所输入的图像是否是所述第二域图像；
第二判定模型，判定从所述输入的图像基于确定在该图像中存在对象物的区域的信息即区域信息而提取的图像即第一提取图像，是否是从所述第二域图像基于确定在该图像中存在对象物的区域的信息即区域信息而提取的图像；
第三判定模型，判断从所述输入的图像基于所述区域信息而提取了不存在所述对象物的区域后的图像即第二提取图像，是否是从所述第二域图像基于所述区域信息而提取了不存在所述对象物的区域后的图像；
图像提取部，生成所述第一提取图像而输入至所述第二判定模型，生成所述第二提取图像而输入至所述第三判定模型；
选择输入部，选择所述伪第二域图像及所述第二域图像的其中一个而输入至所述第一判定模型，并且选择所述伪第二域图像和针对该伪第二域图像的所述区域信息即第一区域信息的第一组合、及所述第二域图像和针对该第二域图像的所述区域信息即第二区域信息的第二组合的其中一个组合而输入至所述图像提取部；以及
学习处理部，基于包含所述第一判定模型的判定的结果和针对该判定的正确解信息的第一判定结果进行所述第一判定模型的学习，基于包含所述第二判定模型的判定的结果和针对该判定的正确解信息的第二判定结果进行所述第二判定模型的学习，基于包含所述第三判定模型的判定的结果和针对该判定的正确解信息的第三判定结果进行所述第三判定模型的学习，基于所述第一判定结果、所述第二判定结果、及所述第三判定结果进行所述伪图像生成模型的学习。
7.如权利要求6所述的机器学习系统，
所述第一域图像是由能够取得与距离被摄体的距离相关的信息的拍摄装置拍摄的图像，所述区域信息是基于与所述距离相关的信息而取得的信息。
8.如权利要求6所述的机器学习系统，
所述区域信息是通过对所述第一域图像进行图像处理从而取得的信息。
9.一种域变换装置，
具备由权利要求1所述的所述机器学习系统中的所述学习处理部学习的所述伪图像生成模型，并且通过所述伪图像生成模型将所述第一域图像变换为所述伪第二域图像。
10.一种域变换装置，
具备由权利要求6所述的所述机器学习系统中的所述学习处理部学习的所述伪图像生成模型，并且通过所述伪图像生成模型将所述第一域图像变换为所述伪第二域图像。
11.一种机器学习方法，是进行伪图像生成模型的学习的方法，该伪图像生成模型是将对作为辨识对象的物体的对象物进行拍摄而得到的第一域中的图像即第一域图像变换为与第二域中的图像即第二域图像相似的图像即伪第二域图像的机器学习模型，
信息处理装置具备：
第一判定模型，判定所输入的图像是否是所述第二域图像；
第二判定模型，判定从所述输入的图像基于确定在该图像中存在对象物的区域的信息即区域信息而提取的图像即提取图像，是否是从所述第二域图像基于确定在该图像中存在对象物的区域的信息即区域信息而提取的图像；以及
图像提取部，生成所述提取图像并输入至所述第二判定模型，
所述信息处理装置执行：
选择所述伪第二域图像及所述第二域图像的其中一个并输入至所述第一判定模型，并且选择所述伪第二域图像和针对该伪第二域图像的所述区域信息即第一区域信息的第一组合、及所述第二域图像和针对该第二域图像的所述区域信息即第二区域信息的第二组合的其中一个并输入至所述图像提取部的步骤；以及
基于包含所述第一判定模型的判定的结果和针对该判定的正确解信息的第一判定结果进行所述第一判定模型的学习，基于包含所述第二判定模型的判定的结果和针对该判定的正确解信息的第二判定结果进行所述第二判定模型的学习，基于所述第一判定结果和所述第二判定结果进行所述伪图像生成模型的学习的步骤。
12.如权利要求11所述的机器学习方法，
所述信息处理装置还执行：
生成从所述输入的图像提取了存在所述对象物的区域后的图像作为所述提取图像的步骤。
13.如权利要求11所述的机器学习方法，
所述信息处理装置还执行：
生成从所述输入的图像提取了不存在所述对象物的区域后的图像作为所述提取图像的步骤。
14.一种机器学习方法，是进行伪图像生成模型的学习的方法，该伪图像生成模型是将对作为辨识对象的物体的对象物进行拍摄而得到的第一域中的图像即第一域图像变换为与第二域中的图像即第二域图像相似的图像即伪第二域图像的机器学习模型，
信息处理装置具备：
第一判定模型，判定所输入的图像是否是所述第二域图像；
第二判定模型，判定从所述输入的图像基于确定在该图像中存在对象物的区域的信息即区域信息而提取的图像即第一提取图像，是否是从所述第二域图像基于确定在该图像中存在对象物的区域的信息即区域信息而提取的图像；
第三判定模型，判断从所述输入的图像基于所述区域信息而提取了不存在所述对象物的区域后的图像即第二提取图像，是否是从所述第二域图像基于所述区域信息而提取了不存在所述对象物的区域后的图像；以及
图像提取部，生成所述第一提取图像而输入至所述第二判定模型，生成所述第二提取图像而输入至所述第三判定模型，
所述信息处理装置执行：
选择所述伪第二域图像及所述第二域图像的其中一个而输入至所述第一判定模型，并且选择所述伪第二域图像和针对该伪第二域图像的所述区域信息即第一区域信息的第一组合、及所述第二域图像和针对该第二域图像的所述区域信息即第二区域信息的第二组合的其中一个组合而输入至所述图像提取部的步骤；以及
基于包含所述第一判定模型的判定的结果和针对该判定的正确解信息的第一判定结果进行所述第一判定模型的学习，基于包含所述第二判定模型的判定的结果和针对该判定的正确解信息的第二判定结果进行所述第二判定模型的学习，基于包含所述第三判定模型的判定的结果和针对该判定的正确解信息的第三判定结果进行所述第三判定模型的学习，基于所述第一判定结果、所述第二判定结果、及所述第三判定结果进行所述伪图像生成模型的学习的步骤。
CN201911256368.3A 2018-12-11 2019-12-10 机器学习系统、域变换装置、及机器学习方法 Pending CN111310912A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018231333A JP7046786B2 (ja) 2018-12-11 2018-12-11 機械学習システム、ドメイン変換装置、及び機械学習方法
JP2018-231333 2018-12-11

Publications (1)

Publication Number Publication Date
CN111310912A true CN111310912A (zh) 2020-06-19

Family

ID=68848150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911256368.3A Pending CN111310912A (zh) 2018-12-11 2019-12-10 机器学习系统、域变换装置、及机器学习方法

Country Status (4)

Country Link
US (1) US11281942B2 (zh)
EP (1) EP3667566A1 (zh)
JP (1) JP7046786B2 (zh)
CN (1) CN111310912A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128411A (zh) * 2021-04-22 2021-07-16 深圳市格灵精睿视觉有限公司 跨域抓取识别方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021005075T5 (de) * 2020-09-28 2023-08-17 Fujifilm Corporation Lernvorrichtung, -verfahren und -programm, bilderzeugungsvorrichtung, -verfahren und -programm, trainiertes modell, virtuelles bild und aufzeichnungsmedium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087906A (ja) * 2009-09-28 2011-05-06 Fujifilm Corp 画像表示方法および装置
US20130235081A1 (en) * 2012-03-06 2013-09-12 Casio Computer Co., Ltd. Image processing apparatus, image processing method and recording medium
JP2018005500A (ja) * 2016-06-30 2018-01-11 オムロン株式会社 画像処理システム、画像処理方法、および画像処理プログラム
CN108073154A (zh) * 2016-11-11 2018-05-25 横河电机株式会社 信息处理装置、信息处理方法及记录介质
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
US20180314716A1 (en) * 2017-04-27 2018-11-01 Sk Telecom Co., Ltd. Method for learning cross-domain relations based on generative adversarial networks
CN108881707A (zh) * 2017-11-28 2018-11-23 北京旷视科技有限公司 图像生成方法、装置、系统和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9390203B2 (en) * 2004-06-15 2016-07-12 Abb Ab Method and system for off-line programming of multiple interacting robots
US7653221B2 (en) * 2006-01-31 2010-01-26 Fujifilm Corporation Method and apparatus for automatic eyeglasses detection and removal
US20170092000A1 (en) * 2015-09-25 2017-03-30 Moshe Schwimmer Method and system for positioning a virtual object in a virtual simulation environment
JP2017199278A (ja) * 2016-04-28 2017-11-02 ソニーセミコンダクタソリューションズ株式会社 検出装置、検出方法、およびプログラム
JP2018063504A (ja) 2016-10-12 2018-04-19 株式会社リコー 生成モデル学習方法、装置及びプログラム
US10346974B2 (en) * 2017-05-18 2019-07-09 Toshiba Medical Systems Corporation Apparatus and method for medical image processing
US20190258953A1 (en) * 2018-01-23 2019-08-22 Ulrich Lang Method and system for determining policies, rules, and agent characteristics, for automating agents, and protection
DE102018206806A1 (de) * 2018-04-23 2019-10-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Umsetzung eines Eingangsbildes einer ersten Domäne in ein Ausgangsbild einer zweiten Domäne
JP7296138B2 (ja) * 2018-05-03 2023-06-22 ザ ガバニング カウンシル オブ ザ ユニバーシティ オブ トロント 深度イメージングを最適化するための方法およびシステム
US20200380085A1 (en) * 2019-06-03 2020-12-03 Robert Bosch Gmbh Simulations with Realistic Sensor-Fusion Detection Estimates of Objects
US11126891B2 (en) * 2019-09-11 2021-09-21 Toyota Research Institute, Inc. Systems and methods for simulating sensor data using a generative model

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087906A (ja) * 2009-09-28 2011-05-06 Fujifilm Corp 画像表示方法および装置
US20130235081A1 (en) * 2012-03-06 2013-09-12 Casio Computer Co., Ltd. Image processing apparatus, image processing method and recording medium
JP2018005500A (ja) * 2016-06-30 2018-01-11 オムロン株式会社 画像処理システム、画像処理方法、および画像処理プログラム
CN108073154A (zh) * 2016-11-11 2018-05-25 横河电机株式会社 信息处理装置、信息处理方法及记录介质
US20180307947A1 (en) * 2017-04-25 2018-10-25 Nec Laboratories America, Inc. Cyclic generative adversarial network for unsupervised cross-domain image generation
US20180314716A1 (en) * 2017-04-27 2018-11-01 Sk Telecom Co., Ltd. Method for learning cross-domain relations based on generative adversarial networks
KR20180120478A (ko) * 2017-04-27 2018-11-06 에스케이텔레콤 주식회사 생성적 대립 네트워크에 기반한 도메인 간 관계를 학습하는 방법
CN108881707A (zh) * 2017-11-28 2018-11-23 北京旷视科技有限公司 图像生成方法、装置、系统和存储介质

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
NOGUES F C等: "Object detection using domain randomization and generative adversarial refinement of synthetic images", ARXIV PREPRINT ARXIV:1805.11778 *
NOGUES F C等: "Object detection using domain randomization and generative adversarial refinement of synthetic images", ARXIV PREPRINT ARXIV:1805.11778, 11 June 2018 (2018-06-11) *
SHRIVASTAVA A等: "Learning from simulated and unsupervised images through adversarial training", PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION *
SHRIVASTAVA A等: "Learning from simulated and unsupervised images through adversarial training", PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 31 December 2017 (2017-12-31) *
TAIGMAN Y等: "Unsupervised Cross-Domain Image Generation", ARXIV PREPRINT ARXIV:1611.02200 *
TAIGMAN Y等: "Unsupervised cross-domain image generation", ARXIV PREPRINT ARXIV:1611.02200, 31 December 2016 (2016-12-31) *
何剑华等: "基于改进的CycleGAN模型非配对的图像到图像转换", 玉林师范学院学报, vol. 39, no. 02 *
何剑华等: "基于改进的CycleGAN模型非配对的图像到图像转换", 玉林师范学院学报, vol. 39, no. 02, 1 April 2018 (2018-04-01) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128411A (zh) * 2021-04-22 2021-07-16 深圳市格灵精睿视觉有限公司 跨域抓取识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3667566A1 (en) 2020-06-17
JP2020095364A (ja) 2020-06-18
US20200184269A1 (en) 2020-06-11
US11281942B2 (en) 2022-03-22
JP7046786B2 (ja) 2022-04-04

Similar Documents

Publication Publication Date Title
JP6868119B2 (ja) ホログラフィック偽造防止コードの検査方法及び装置
WO2020029466A1 (zh) 图像处理方法和装置
US11620530B2 (en) Learning method, and learning apparatus, and recording medium
US20170323149A1 (en) Rotation invariant object detection
EP3620977A1 (en) Method and device for generating image data set to be used for learning cnn capable of detecting obstruction in autonomous driving circumstance
CN111310912A (zh) 机器学习系统、域变换装置、及机器学习方法
JP2022185143A (ja) テキスト検出方法、テキスト認識方法及び装置
JP6828333B2 (ja) 画像処理装置及び画像処理プログラム
JP7161979B2 (ja) 説明支援装置、および、説明支援方法
CN110880023A (zh) 一种检测证件图片的方法及装置
CN113762455A (zh) 检测模型训练方法、单字检测方法、装置、设备及介质
JP6303671B2 (ja) 画像処理装置及び画像処理プログラム
US20220392107A1 (en) Image processing apparatus, image processing method, image capturing apparatus, and non-transitory computer-readable storage medium
CN115858049A (zh) Rpa流程组件化编排方法、装置、设备和介质
US11599743B2 (en) Method and apparatus for obtaining product training images, and non-transitory computer-readable storage medium
JP7328797B2 (ja) 端末装置、文字認識システム及び文字認識方法
JP6201838B2 (ja) 情報処理装置及び情報処理プログラム
CN111476090A (zh) 水印识别方法和装置
JP6611963B2 (ja) プログラム解析装置、プログラム解析システム、プログラム解析方法および解析プログラム
JP2015032239A (ja) 情報処理装置及び情報処理プログラム
JP7266075B2 (ja) データ選別支援装置、データ選別支援方法及びデータ選別支援プログラム
US20220406083A1 (en) Image processing apparatus, control method thereof, and storage medium
JP5928714B2 (ja) 情報処理装置及び情報処理プログラム
JP6003375B2 (ja) 画像処理装置及び画像処理プログラム
JP2016212473A (ja) 情報処理装置および情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination