CN115699100A - 提供合成标记的训练数据集的方法和系统及其应用 - Google Patents

提供合成标记的训练数据集的方法和系统及其应用 Download PDF

Info

Publication number
CN115699100A
CN115699100A CN202180038127.0A CN202180038127A CN115699100A CN 115699100 A CN115699100 A CN 115699100A CN 202180038127 A CN202180038127 A CN 202180038127A CN 115699100 A CN115699100 A CN 115699100A
Authority
CN
China
Prior art keywords
sub
cad model
providing
rendered images
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180038127.0A
Other languages
English (en)
Inventor
西蒙·赫根罗德
马克西米利安·梅茨纳
泽伦·魏瑟尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN115699100A publication Critical patent/CN115699100A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于提供标记的训练数据集的计算机实现方法，其中‑在包括多个子对象的对象(2)的CAD模型(1)中选定至少一个子对象(21，22，23，24，25，26)，‑生成多个不同的渲染图像(45，46，47，48)，其中，不同的渲染图像(45，46，47，48)包括至少一个选定的子对象(21，22，23，24，25，26)，‑不同的渲染图像基于CAD模型进行标记，以便提供基于标记的渲染图像的训练数据集(49)。

Description

提供合成标记的训练数据集的方法和系统及其应用
技术领域
本发明涉及一种用于提供标记的训练数据集的计算机实现的方法。
本发明还涉及一种用于提供这种训练数据集的系统。
此外，本发明涉及一种用于提供在上述训练数据集上训练的训练功能的计算机实现的方法，以及一种使用这种经训练的功能的计算机实现的图像识别方法。
此外，本发明涉及一种用于图像识别的系统，其包括图像记录设备和数据处理系统，该数据处理系统被设计和配置用于执行上述图像识别方法。
此外，本发明涉及一种计算机程序，其包括引起上述系统执行用于提供标记的训练数据集的方法的第一指令，和/或当通过计算机执行该程序时促使执行用于提供经训练的功能的前述计算机实现的方法的第二指令，和/或引起前述用于图像识别的系统执行前述图像识别方法的第三指令。
背景技术
创建标记的数据集是一个已知问题。为了训练功能或AI算法，例如用于图像或对象识别应用的神经网络，通常需要大量标记的数据集。
尤其是在工业环境中，很难生成平衡的数据库(好坏数据比例相同)。故意制造错误需要更多时间花费。此外，无法预见的环境影响只能在有限的范围内映射到数据集中。
生成标记的数据集的一种可能方法是手动执行标记。手动标记(例如使用Google)非常耗时且昂贵。此外，由于注意力不集中和单调，人工标记会出现错误。在标记的技术领域中需要关于构件和过程的专业知识并且相应的成本更高。
发明内容
因此，本发明的目的能够被视为，提供能够以少的时间和成本来创建任何大小的标记的数据集的方法和系统。
根据本发明，该目的通过开头提到的用于提供标记的训练数据集的计算机实现的方法来实现，其中
-在包括大量子对象的对象的CAD模型中选择至少一个子对象，其中，该CAD模型包括至少一个子对象的描述和该至少一个子对象的坐标(在对象的图像中)，
-生成大量不同的渲染图像，其中，(合成的)不同的渲染图像，优选地每个渲染图像包括至少一个选定的子对象，
-基于包含在CAD模型中的至少一个子对象的描述和包含在CAD模型中的至少一个子对象的坐标来标记不同的渲染图像，以便提供基于标记的渲染图像的训练数据集。
通过使用根据本发明的方法，消除了人工标记所涉及的耗费并且能够快速且无错误地创建大的标记的数据集。
基于CAD模型的标记优选地自动执行。
(整体)对象的CAD模型因此包含关于各个子对象的坐标的信息，并且优选地还包含它们(子对象)彼此之间的关系。通过各个子对象的坐标能够确定它们在整体对象中的位置。
使用如上所述标记的训练数据集，例如能够训练用于图像识别方法的功能，利用该功能能够检查真实(整体)对象的正确真实子对象是否处于正确位置。
结合本发明的上下文，术语“渲染图像”被理解为例如借助于计算机上的预先计算产生的对象的虚拟(接近现实的)三维示图。
上述CAD模型能够是二维的或三维(2D或3D)的。在此，(与应用相关的)场景或环境能够用作包括大量子对象的对象。应用相关的环境/场景在这里被理解为是指包含与选定的应用情况相关的子对象的场景/环境。例如，在工业设施构造的情况下(应用情况的实例)，对象能够是整个工业设施，其中，而子对象能够是工业设施的区域。例如，在汽车生产中，对象能够是车体，其中，子对象是车体部位。在自动驾驶领域中，例如火车，对象例如能够是环境，其通常能够从火车司机的驾驶舱看到或处于司机的视野中，其中，子对象是仪表/仪表板，位于前部的信号系统，例如H/V信号系统等。
根据CAD模型的详细程度，子对象能够包括更多的子子对象。
例如，还能够考虑选择两个，三个，四个，五个，六个或所有子对象，使得选定的子对象形成通过该对象表示的整个场景。由此，能够产生(标记的)训练数据集，利用该训练数据集能够如接下来所述的那样训练用于将图像作为一个整体进行分类的功能。在此，分类能够是对完整的图像的好/坏评估。
渲染图像的标记能够例如基于可从CAD模型获得的数据(例如材料编号，材料，相关的过程步骤等)来执行。
在一个设计方案中能够提出，将渲染图像存储在例如数据库(例如云数据库或在云数据湖)中。
能够有利地提出，渲染图像上的至少一个(选定的)子对象的标签具有至少一个子对象的描述和至少一个子对象的坐标(在图像中的子对象的位置X，Y)。标签例如能够以列表的形式产生：在位置(X1，Y1)处的对象1，在位置(X2，Y2)处的对象2，...，在位置(XN，YN)处的对象N。
例如，子对象的描述能够包括关于子对象的类型，其性质，功能等的信息。
此外，标签能够例如以矩形边界的形式、优选以能预设的颜色被可视化。例如，可视化能够实现安装人员对结果的快速检查。
如果训练数据记录包括对象的多个真实图像，则能够获得其他优点，其中，真实图像的数量与渲染图像的数量相比更小，并且例如是渲染图像的数量的大约0.1％至大约5％，特别是大约1％。
此外能够提出，子对象在构造上彼此分开。
此外，能够提出，(所有或者仅一部分)子对象彼此不同地构造。
在一个实施方式中能够提出，对象被设计为电子组件，特别是印刷电路板组件，其中，子对象优选地被设计为结构元件，特别是集成的或分立的结构元件。
在此，能够使用电子组件的物料清单基于CAD模型标记不同的渲染图像。这样的物料清单(BOM表示“物料清单”)能够存储在CAD模型中。
有利地，能够提出，至少一个子对象的渲染图像在至少一个标准中彼此不同，其中，至少一个标准选自以下组：至少一个子对象的大小(在图像中)，至少一个子对象的曝光，在渲染图像中能够看到至少一个子对象的透视，至少一个子对象的背景，至少一个子对象的位置，表面，纹理，颜色。
此外，能够提出，在CAD模型中选定多个子对象，其中，所选定的子对象能够与一个过程序列相关联。
例如，能够根据来自PLM系统的生产信息或其他信息来执行对实际流程的分配。
根据本发明，开头提到的目的也通过开头提到的用于提供标记的训练数据记录的系统来实现，该系统包括：
-具有包含多个子对象的对象的CAD模型的计算机可读存储器，
-第一界面，其被设计和配置用于能够在CAD模型中选择至少一个子对象，
-计算单元，其被配置用于生成多个不同的渲染图像，其中，不同的渲染图像包括至少一个选定的子对象，并基于CAD模型标记不同的渲染图像，
-第二界面，其被设计和配置用于，提供基于不同地标记的渲染图像的训练数据集。
此外，上述目的是通过一种计算机实现的方法来实现的，该方法用于提供经训练的功能，其中
-提供至少一个如上所述地获得的标记的训练数据集，
-基于至少一个标记的训练数据集训练一个功能，以便产生一个经训练的功能，
-提供经训练的功能。
如果该功能是分类功能和/或用于定位对象的功能，特别是基于卷积神经网络，则能够是有效的。
此外，还公开了一种训练系统，其中，该训练系统具有：第一训练界面装置，其被配置用于获取至少一个能够通过上述方法获得的标记的训练数据集；训练计算单元，其被配置用于基于标记的训练数据集来训练功能；以及第二训练界面装置，其被配置用于提供经训练的功能。
在图像识别领域的简化方面，开头所述目的通过一种计算机实现的图像识别方法来实现，其中，
-提供输入数据，输入数据是真实对象的图像记录，其中，真实对象包括大量真实子对象，
-将经训练的功能应用于输入数据，以便产生输出数据，其中，根据前述方法提供经训练的功能，其中，输出数据包括至少一个真实子对象在输入数据中的分类和/或定位，
-提供输出数据。
换言之，输出数据包括将真实对象分割成子对象。
有利地，能够提出，针对多个不同的图像记录重复该方法的步骤。
如果将描述分配给至少一个真实子对象，则能够是有效的。
能够提出，以经处理的图像记录的形式提供输出数据，其中，经处理的图像记录是具有至少一个真实子对象的至少一个标记的图像记录。
在此，能够提出，标记具有至少一个真实子对象的说明和/或至少一个子对象的坐标。
例如，真实子对象的说明能够包括关于真实子对象的类型、其性质、功能等的信息。标记也能够以矩形边界的形式、例如优选地以能预设的颜色被可视化。例如，可视化能够实现安装人员对结果的快速检查。
如果说明相应地包括材料清单和用于识别子对象的置信水平，这能够是有效的。
在一个实施方式中能够提出，真实对象被设计为电子固件，特别是印刷电路板组件，并且子对象被设计为电子结构元件，例如集成的或分立的结构元件。
在一个实施方式中，用于图像识别的系统被设计为用于检查印刷电路板的系统，特别是印刷电路板检查系统。
这种电路板检查系统能够非常有效地用于印刷电路板的制造。在此，产品开发中可用知识(产品结构，物料清单(零件清单))的可用性能够自动生成有意义的训练数据，因为该训练数据能够在单个部件级别生成，并且经训练的功能/经训练的算法能够被训练以识别单个部件/各个结构元件。
此外，使用CAD模型能够将物料清单(BOM)分配给过程序列(BOP)。通过该链接能够实现自动生成特定流程的测试程序(基于特制的训练数据)。同样，这里使用了关于层级结构的知识。
附图说明
下面参照附图中所示的实施例更详细地描述和解释本发明。图中示出：
图1示出了用于提供标记的训练数据集的计算机实现的方法的流程图，
图2示出了印刷电路板组件的CAD模型，
图3至图6示出了用于生成标签的中间图像，
图7至图10示出了生成的渲染图像，
图11示出了用于提供合成标记的训练数据集的系统，
图12示出了标记的渲染图像，
图13示出了训练系统，
图14示出了计算机实现的图像识别方法的流程图，
图15示出了根据图14的图像识别方法处理的图像记录，
图16示出了用于执行图像识别方法的数据处理系统，以及
图17示出了自动化系统。
在实施例和附图中，相同或具有相同效果的元件能够各自具有相同的附图标记。所示元件及其彼此之间的尺寸比不应被视为真实比例；相反，能够以更大的比例显示单个元件，以便更好地显示和/或更好地理解。
具体实施方式
首先参考图1至图2。图1示出了用于提供标记的训练数据集的计算机实现方法的实施例的流程图。
根据对象的CAD模型，其中，该对象包括多个子对象，选择至少一个子对象—步骤S1。图2示例性地示出了背景3上的印刷电路板组件2的CAD模型1。印刷电路板组件2具有多个电子元件。选定印刷电路板组件2的六个结构元件21，22，23，24，25，26。
如图所示，这些结构元件能够在结构上彼此分离并且彼此不同地设计。图2表明也能够有相同的结构元件。能够从相同设计的结构元件中选择相应的一个用于生成渲染图像(见下文)的结构元件。
CAD模型1中结构元件21，22，23，24，25，26的选定能够经由计算机的手动操作界面手动完成或自动完成，例如根据BOM(英语“物料清单(Bill of Materials)”)和/或BOP(过程序列(Prozessfolge))来实现。
为选定的结构元件21，22，23，24，25，26生成多个不同的渲染图像45，46，47，48—步骤S2。渲染图像例如是通过计算机上的预先计算生成的虚拟的、优选地真实的三维示图，在其上能够看到所选定的结构元件21，22，23，24，25，26中的至少一个。优选地，能够在每个渲染图像上看到所选定的结构元件21，22，23，24，25，26中的至少一个。
在子步骤(图1中未示出)中，能够生成中间图像41，42，43，44(图3至图6)。例如，能够使用这些中间图像41，42，43，44来生成标签(具有坐标x，y的矩形)。
在每个中间图像41，42，43，44上，能够分别在不同位置和从不同视角看到元件23。在此，中间图像41至44上的元件23的位置能够是随机的，例如用随机发生器生成。然而，结构元件23在中间图像41至44上的位置也能够对应于其他容纳在印刷电路板组件2上的相同设计的结构元件之一的位置(参见图2和图3至6)。中间图像41至44具有白色背景30。
图7至图10示出了不同的渲染图像45至48的实例。在每个渲染图像上示出所选定的结构元件21，22，23，24，25，26。
能够在图7至10的每个渲染图像45至48上分别在不同背景31至34上看到印刷电路板组件2的印刷电路板20。电路板的颜色也能够变化(此处未示出)。此外，每个渲染图像45到48示出了所有选定的结构元件21到26，它们能够随机分布在印刷电路板20的可见表面上。结构元件21至26在表面上的位置也能够对应于在印刷电路板组件2中具有相同类型的元件(相同设计的结构元件)的位置(参见图2)。在CAD模型1中可见的其他元件(参见图2)在渲染图像45到48上看不到。在生成渲染图像时，能够但不必须将它们排除在外。为了实现上述随机分布，能够在电路板20的表面上为选定的结构元件21至26生成随机位置。
此外，在图10中还能够看出，在生成渲染图像时印刷电路板20的尺寸和/或位置和/或方向也能够改变。
基于CAD模型对不同的渲染图像45到48进行标记—步骤S3。例如，能够基于CAD模型中的相应条目执行标记。例如，渲染图像45到48能够根据物料清单进行标记。能够基于标签生成图像/中间图像41，42，43，44来标记渲染图像45到48。例如，结构元件23的标签能够与中间图像43或44一起生成，并用于渲染图像47或渲染图像45和46。标记因此能够自动实现。
渲染图像45到48能够在标记之前或之后进行保存。
在渲染图像45到48被标记之后，基于此来提供标记的训练数据集—步骤S4。
上述过程能够以计算机程序指令的形式存在。例如，能够在计算单元101上处理该计算机程序(图11)。例如，计算机程序能够存在于/存储在处理单元的易失性或非易失性存储器中。
图11示出了系统100，例如，当在系统100包括的计算单元101上处理上述计算机程序时，该系统100能够提供上述(合成)标记的训练数据集。
系统100还能够包括CAD模型1和第一界面102，第一界面102被设计和配置用于能够选择CAD模型1中的结构元件21至26。
计算单元101被配置用于生成不同的渲染图像45至48并且基于CAD模型，例如基于能够存在于CAD模型中的物料清单对它们进行标记。
此外，系统100具有第二界面103，其被设计和配置用于基于不同的渲染图像45至48提供标记的训练数据集。
图12示出了标记的渲染图像49的实例，对象(印刷电路板组件)的总共十个子对象(结构元件)在该渲染图像49分别已标记有标签5。在这种情况下，每个标签5能够包括元件的描述和/或其在标记的渲染图像49上的坐标。此外，每个标签5能够设计为矩形边框的形式，例如以包围标记的组件的能预设的颜色。这种可视化允许设置人员快速检查结果。
总之，图7至图10和图12示出了标记的渲染图像45至49在至少一个标准上彼此不同，其中，至少一个标准选自以下因素构成的组：在渲染图形中的结构元件的大小，曝光，能够从中看到结构元件的透视图，结构元件的背景(电路板20能够包括在结构元件的背景中)，结构元件在各个渲染图像45到49中的位置，表面图案，纹理，颜色。
此外，能够将结构元件21至26的选择与过程序列，例如印刷电路板组件生产工艺相关联。
例如，CAD程序允许将物料清单(BOM)分配给过程序列(BOP)。通过这样的链接，能够实现为基于特制的训练数据集的特定过程/过程步骤自动生成测试程序，其中，能够如上所述地提供训练数据集。在此，能够使用层级结构的知识。对于印刷电路板组件，层级结构能够是将印刷电路板组件划分为子组件(其又能够划分为单独构件)和单个构件。在此，产品开发中可用的知识(产品结构，物料清单(零件清单))可用于自动生成与特定过程序列相对应的训练数据集。
这样的测试程序能够包括例如在如上所述生成的训练数据集上训练的经训练的功能，并且将该经训练的功能应用于真实印刷电路板组件的图像记录，例如在特定制造阶段，以便识别这些印刷电路板组件的各个结构元件。
该功能能够是分类功能和/或定位功能，尤其基于卷积神经网络。例如，分类能够是对完整图像记录的好/坏评估。
图13示出了训练系统的实施方式。所示的训练系统200包括第一训练界面装置202，其被配置用于接收例如通过上述系统100提供的训练数据集。此外，训练系统200包括训练计算单元201，其被配置用于基于训练数据集训练功能。为此，训练计算单元201能够具有带有相应命令的训练计算机程序。此外，训练系统200包括第二训练界面装置203，其被配置用于提供经训练的功能。
如果该功能还在真实的标记图像上进行额外训练，则能够在对象识别中获得特别好的结果。与合成图像或渲染图像的数量相比，训练数据集中的真实图像的数量可能很少。例如，训练数据集中真实图像的比例能够是0.1％至5％，特别是1％。
图14示出了计算机实现的图像识别方法的实施例。本实施方式涉及一种物体检测方法，以检测印刷电路板组件的各个结构元件为例进行说明。能够理解，根据本发明的图像识别方法不限于识别印刷电路板组件中的结构元件。
首先，提供输入数据—步骤B1。这能够例如借助于第一界面装置302(也参见图16)来实现。输入数据是真实对象的图像记录301，在这种情况下是包括多个结构元件的印刷电路板组件。
为了识别印刷电路板组件的各个结构元件，例如如上所述的经训练的功能能够应用于输入数据—步骤B2。在此，产生输出数据，输出数据是输入数据的分段并且包括输入(例如整个图像记录)本身或至少一个结构元件的分类。例如，这能够由计算装置303来执行。
然后，例如经由第二界面装置303提供输出数据—步骤B3。
输出数据能够作为经处理的图像记录304提供，其中，经处理的图像记录304能够是其中包含有结构元件的标记的图像记录301。
图15示出了经处理的图像记录304的实例。图15能够得出在图像记录301上识别出五种不同类型的结构元件。因此，能够在经处理的图像记录304上识别五种不同类型的标记3040，3041，3042，3043，3044，3045。
图15还能识别出每个识别的真实结构元件都被标记。每个标记3040，3041，3042，3043，3044，3045能够包含图像304上的真实结构元件的坐标/位置，并且优选地包括识别出的结构元件的说明。例如，说明能够是结构元件的标志E0，E1，E2，E3，E4，E5，其能够对应来自CAD模型1的物料清单(BOM)，和/或包括相应的结构元件的识别的置信水平(以％给出)。
此外，例如，标记3040，3041，3042，3043，3044，3045能够以矩形边框的形式可视化。这种可视化能够让安装人员快速查看结果。
此外，每个标记3040，3041，3042，3043，3044，3045能够具有能预设的颜色。不同类型的标记3040，3041，3042，3043，3044，3045能够具有不同的颜色。
不言而喻，上述方法的步骤能够针对真实对象(例如印刷电路板组件)的多个不同图像记录重复。
图16示出了数据处理系统的实施方式，该数据处理系统例如适用于执行具有步骤B1至B3的上述图像识别方法。所示的数据处理系统300包括计算装置303，该计算装置被设计和配置用于经由第一界面装置302获得图像记录(例如图像记录301)，例如，如上所述地处理这些图像记录并且以经处理的图像记录的形式，例如以经处理的图像记录301的形式经由第二界面装置304提供或输出。
数据处理系统300能够具有图像识别软件，其包括指令，该指令(当图像识别软件被执行时)例如使得数据处理系统300执行前述方法步骤B1至B3。例如，图像识别软件能够存储在计算装置303上。
图17示出了工业系统的实施方式。上述方法和系统能够在工业系统的所示的实例中找到其应用。该工业系统设计为自动化设施1000。
自动化设施能够包括多个软件和硬件部件。图17所示的自动化设施1000包括两个层级：车间层级1100(例如车间，厂房，生产场所等)，和设计为云层级1200的数据处理层级。完全能够考虑，数据处理层级被布置在车间层(未示出)并且例如包括一个或多个计算单元。
车间层级1100例如能够被设置用于制造印刷电路板组件。
例如，车间层级1100能够包括具有相应计算机程序的前述系统100，该计算机程序被配置和/或设置用于将生成的标记的数据集传输至例如布置在云层级1200中的数据库1201。
云层级1200能够包括前述的训练系统200，其例如被配置用于从数据库1201中检索标记的数据集，基于此，对功能进行训练并提供该经训练的功能。完全能够考虑，数据处理层级被布置在车间层级并且包括训练系统200(未示出)。
例如，能够提供经训练的功能用于从数据处理层级(例如从云)检索，或能够将经训练的功能传输至测试系统1101以测试印刷电路板组件。
测试系统1101能够布置在车间层级1100中。
测试系统1101包括图像记录设备1102和前述的数据处理系统300。数据处理系统300能够如上所述地从云或从本地(高性能的)训练计算器(例如从训练系统200)检索或传输经训练的功能。
图像记录设备1102被设计用于，在特定过程步骤之后拍摄印刷电路板组件的图像记录并将它们传送至数据处理系统300，然后，数据处理系统检查相应的印刷电路板组件的状况并提供例如OK/NOK评估(Ok-or-Not-Ok)形式的检查结果。
物料清单(BOM)能够设置在系统100中用于导入和命名构件/结构元件。然而，系统100不一定包含关于特定印刷电路板组件变型的构件的正确数量和位置的信息。
尽管通过关于印刷电路板组件及其制造过程的实施例更详细地说明和描述了本发明，但是本发明不受所公开的实例的限制。本领域的技术人员能够在不脱离由所附权利要求限定的本发明范围的情况下变型。本发明能够在图像，特别是物体识别起重要作用的其他领域中进行必要的修改后得到应用。本发明的应用领域的非详尽的列表包括：汽车生产，飞机制造，医疗技术，包装过程，拣选过程，库存检查，机器人技术，工业厂房建设。因此，本发明能够用于能够使用CAD数据并进行测试的所有生产区域。因此本发明不限于个别应用。例如，如果相应环境及其组成部分的CAD模型可用，则在汽车和火车的自动驾驶中的应用是完全能够考虑的。

Claims (15)

1.一种用于提供标记的训练数据集的计算机实现的方法，其中，
-在包括多个子对象的对象(2)的CAD模型(1)中选定至少一个子对象(21，22，23，24，25，26)，其中，所述CAD模型(1)包含至少一个子对象(21，22，23，24，25，26)的描述和至少一个子对象的坐标，
-生成多个不同的渲染图像(45，46，47，48)，其中，所述不同的渲染图像(45，46，47，48)包括至少一个选定的子对象(21，22，23，24，25，26)，
-基于所述至少一个子对象(21，22，23，24，25，26)的包含在所述CAD模型(1)中的描述以及所述至少一个子对象的包含在所述CAD模型(1)中的坐标，对所述不同的渲染图像进行标记，以便提供基于标记的渲染图像(49)的训练数据集。
2.根据权利要求1所述的方法，其中，所述至少一个子对象(21，22，23，24，25，26)的标签(5)具有所述至少一个子对象的描述和所述至少一个子对象的坐标，其中，将所述标签(5)优选以例如矩形边界的形式可视化。
3.根据权利要求1或2所述的方法，其中，所述对象被设计为电子组件，尤其设计为印刷电路板组件(2)，其中，所述子对象优选地设计为电子结构元件(21，22，23，24，25，26)，特别是集成的或分立的结构元件。
4.根据权利要求1至3中任一项所述的方法，其中，所述至少一个选定的子对象(21，22，23，24，25，26)的渲染图像(45，46，47，48)在至少一个标准中是彼此不同的，其中，所述至少一个标准选自组：所述至少一个子对象的大小，所述至少一个子对象的曝光，所述至少一个子对象的透视，所述至少一个子对象的背景(3，31，32，33，34)，所述至少一个子对象的位置，表面，纹理，颜色。
5.根据权利要求1至4中任一项所述的方法，其中，在所述CAD模型(1)中，选定多个子对象(21，22，23，24，25，26)，其中，所述选定的子对象(21，22，23，24，25，26)能够与过程序列相关联。
6.一种用于提供标记的训练数据集的系统(100)，所述系统包括：
-具有包含多个子对象的对象(2)的CAD模型(1)的计算机可读存储器，其中，所述CAD模型(1)包括至少一个子对象(21，22，23，24，25，26)的描述和所述至少一个子对象的坐标，
-第一界面(102)，所述第一界面被设计和配置用于能够在所述CAD模型(1)中选定所述至少一个子对象(21，22，23，24，25，26)，
-计算单元(101)，所述计算单元被配置用于生成多个不同的渲染图像(45，46，47，48)，其中，所述不同的渲染图像(45，46，47，48)包含至少一个选定的子对象(21，22，23，24，25，26)，并且基于所述至少一个子对象(21，22，23，24，25，26)的在所述CAD模型(1)中包含的描述和所述至少一个子对象的在所述CAD模型(1)中包含的坐标，对所述不同的渲染图像(45，46，47，48)进行标记，
-第二界面(103)，所述第二界面被设计和配置用于基于不同的标记的渲染图像(49)提供训练数据集。
7.一种用于提供经训练的功能的计算机实现的方法，其中，
-根据权利要求1至5中任一项所述的方法提供至少一个标记的训练数据集，
-基于所述至少一个标记的训练数据集训练功能，以便产生经训练的功能，
-提供所述经训练的功能。
8.根据权利要求7所述的方法，其中，所述功能特别是基于卷积神经网络的分类功能和/或定位功能。
9.一种计算机实现的图像识别方法，其中，
-提供输入数据，其中，所述输入数据是真实对象的图像记录(301)，其中，所述真实对象包括多个真实子对象，
-将经训练的功能应用于所述输入数据，以产生输出数据(304)，其中，根据权利要求7或8所述的方法提供所述经训练的功能，其中，所述输出数据(304)包括所述至少一个真实子对象在所述输入数据中的分类和/或定位(3040，3041，3042，3043，3044，3045)，
-提供所述输出数据(304)。
10.根据权利要求9所述的方法，其中，针对多个不同的图像记录(301)重复所述方法的步骤。
11.根据权利要求9或10所述的方法，其中，将所述输出数据以经处理的图像记录(304)的形式提供，其中，所述经处理的图像记录(304)是具有至少一个真实子对象的至少一个标记(3040，3041，3042，3043，3044，3045)的图像记录(301)。
12.根据权利要求11所述的方法，其中，所述标记(3040，3041，3042，3043，3044，3045)具有所述至少一个子对象的坐标和/或所述至少一个真实子对象的说明(E0，E1，E2，E3，E4，E5)，并且优选地将所述标记以例如矩形边界的形式，特别是以能预设的颜色可视化。
13.根据权利要求9至12中任一项所述的方法，其中，所述真实对象被设计为电子组件，尤其是印刷电路板组件，并且所述子对象被设计为电子结构元件，例如集成的或分立的结构元件。
14.一种包括图像记录设备(1102)和数据处理系统(300)的系统，其中，所述数据处理系统(300)被设计和配置用于执行根据权利要求9至13中任一项所述的方法。
15.一种计算机程序，所述计算机程序包括：第一指令，所述第一指令引起使根据权利要求6的系统执行根据权利要求1至5中任一项所述的方法；
和/或第二指令，当通过计算机执行程序时，所述第二指令使所述计算机执行根据权利要求7或8所述的方法；
和/或第三指令，所述第三指令引起使根据权利要求14的系统执行根据权利要求9至13中任一项的方法。
CN202180038127.0A 2020-05-27 2021-05-14 提供合成标记的训练数据集的方法和系统及其应用 Pending CN115699100A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20176860.3A EP3916636A1 (de) 2020-05-27 2020-05-27 Verfahren und systeme zum bereitstellen von synthetischen gelabelten trainingsdatensätzen und ihre anwendungen
EP20176860.3 2020-05-27
PCT/EP2021/062809 WO2021239476A1 (de) 2020-05-27 2021-05-14 Verfahren und systeme zum bereitstellen von synthetischen gelabelten trainingsdatensätzen und ihre anwendungen

Publications (1)

Publication Number Publication Date
CN115699100A true CN115699100A (zh) 2023-02-03

Family

ID=70968720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180038127.0A Pending CN115699100A (zh) 2020-05-27 2021-05-14 提供合成标记的训练数据集的方法和系统及其应用

Country Status (5)

Country Link
US (1) US11756189B2 (zh)
EP (2) EP3916636A1 (zh)
KR (1) KR20230017271A (zh)
CN (1) CN115699100A (zh)
WO (1) WO2021239476A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118132143B (zh) * 2024-05-08 2024-08-02 杭州城市大脑有限公司 低代码组件识别模型的训练方法、映射方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858658B2 (en) * 2012-04-19 2018-01-02 Applied Materials Israel Ltd Defect classification using CAD-based context attributes
CN106663229A (zh) * 2014-07-07 2017-05-10 西门子公司 用于确定用于制造产品的最优制造替代方案的方法和设备
DE102017213060A1 (de) 2017-07-28 2019-01-31 Siemens Aktiengesellschaft Computerimplementiertes Verfahren und Vorrichtung zum automatischen Generieren von gekennzeichneten Bilddaten und Analysevorrichtung zum Überprüfen eines Bauteils
JP6870527B2 (ja) * 2017-08-04 2021-05-12 富士通株式会社 部品見積もりプログラム、部品見積もりシステム及び部品見積もり方法
EP3495771A1 (en) * 2017-12-11 2019-06-12 Hexagon Technology Center GmbH Automated surveying of real world objects

Also Published As

Publication number Publication date
EP4121897A1 (de) 2023-01-25
KR20230017271A (ko) 2023-02-03
EP4121897B1 (de) 2024-02-28
US20230196734A1 (en) 2023-06-22
EP3916636A1 (de) 2021-12-01
US11756189B2 (en) 2023-09-12
WO2021239476A1 (de) 2021-12-02

Similar Documents

Publication Publication Date Title
Lima et al. Markerless tracking system for augmented reality in the automotive industry
Lee Intelligent robotics
WO2021181647A1 (ja) 画像処理装置、画像処理方法、およびコンピュータ可読媒体
CN107680125A (zh) 在视觉系统中自动选择三维对准算法的系统和方法
US20220237908A1 (en) Flight mission learning using synthetic three-dimensional (3d) modeling and simulation
KR20220104020A (ko) 분석 장치 및 분석 방법
CN115699100A (zh) 提供合成标记的训练数据集的方法和系统及其应用
Rio-Torto et al. Automatic quality inspection in the automotive industry: a hierarchical approach using simulated data
Thiel et al. C. dot-convolutional deep object tracker for augmented reality based purely on synthetic data
Edwards et al. Digital twin development through auto-linking to manage legacy assets in nuclear power plants
CN110705199A (zh) 一种基于可穿戴设备的智能电装系统及方法
Krump et al. Deep learning based vehicle detection on real and synthetic aerial images: Training data composition and statistical influence analysis
Costa et al. Modeling of video projectors in OpenGL for implementing a spatial augmented reality teaching system for assembly operations
Dörr et al. Lean training data generation for planar object detection models in unsteady logistics contexts
CN112434582A (zh) 一种车道线颜色识别方法、系统、电子设备及存储介质
EP3671410A1 (en) Method and device to control a virtual reality display unit
Bauer et al. Intelligent predetection of projected reference markers for robot-based inspection systems
Pohudina et al. Possibilities of position determination
Meyer et al. Evaluation of an AOI mapping and analysis tool for the identification of visual scan pattern
US11971953B2 (en) Machine annotation of photographic images
Singla et al. Surface Orientation Detection
US20230169324A1 (en) Use synthetic dataset to train robotic depalletizing
Elatroush Automated visual inspection system based on stereo vision
Mondéjar-Guerra et al. Classification of fiducial markers in challenging conditions with SVM
Jütte et al. Marker-based registration error estimation in see-through AR applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination