CN116783625A - 用于在制造电路板期间进行光学质量控制的方法和设备 - Google Patents

Abstract

本发明涉及用于在制造(1)电路板(L)期间进行光学质量控制(Q)的方法，该方法包括：捕获(S3)电路板(L)的图像(P1)，借助于光学图像处理基于捕获的图像确定(S4)第一缺陷指示符(F1)，借助于经训练的适应性算法(ML)基于捕获的图像(P1)确定(S5)第二缺陷指示符(F2)，其中，如果借助于光学图像处理(OR)确定的第一缺陷指示符(F1)指示(S41)电路板(L)有缺陷，借助于经训练的适应性算法(ML)确定(S5)第二缺陷指示符(F2)，作为质量控制(Q)的结果输出(S6)第二缺陷指示符(F2)代替第一缺陷指示符(F1)。

Description

用于在制造电路板期间进行光学质量控制的方法和设备

背景技术

从申请号为EP20185488.2的欧洲专利申请中已经已知一种用于测试电路板或电路板组件的方法。

在功率电子装置中，电气构件BT1、BT2、BT3以通孔技术(英文Through-Hole-Technology，THT)与电路板L电和机械连接，如图1中所示。在大多数情况下，电气器件在装配站、即例如在手动装配站处或者借助于装配机器人插入电路板L上的容纳钻孔中。电路板L与插入的电气构件BT1、BT2、BT3一起行进到波峰焊机W中，在那里它们被拉动经由焊接波，其中锡成型在电路板L和电气构件BT1、BT2、BT3之间的导电连接。在焊接工艺之后，借助于用于质量控制的检验系统光学检验接触点(以下称为焊接点)及其成型。为此，主要使用自动光学检验(缩写：AOI)，如图1中所示。在此，检验系统包括用于光学图像处理的硬件部件、如相机、计算机和曝光装置。AOI应探测到的可能的缺陷是缺少构件、弯曲的期间、润湿不足的焊接点(冷或开路的焊接点)或锡桥，即应具有电势的焊接点的电触点。

在此，借助于光学检验，捕获经由图像捕获装置捕获图像PI。所述图像在AOI软件中，即借助于光学图像处理装置OR在软件方面评估。为此，为每个例如包括电路板L和构件BT1、BT2、BT3的产品存储测试程序。如果光学图像处理装置OR在电路板L处确定一个或多个缺陷，因此，将所述缺陷经由返回路线输送和呈现给操作员O、例如在诊断位置T处，以进行手动诊断。现场的操作员O现在执行手动的目视检查，例如经由诊断仪表板处的显示单元A来执行。借助于例如同样在诊断仪表板处的诊断键盘T1，操作员O现在能够输入真实的诊断。诊断的结果能够存储在数据库DB中。但是，诊断的结果根据图1中的事实方式部传回AOI软件，特别是其光学图像处理装置OR。因此，测试工程师必须手动维护和监督AOI软件或光学图像处理装置OR的测试程序。特别在照明条件变化或电路板制造商对电路板进行改变或其他涉及电路板制造的影响的情况下，必须执行对以所使用的测试程序中的一个或多个的对应的改变。然而，测试工程师不自动地被告知上述改变和影响。

专利公开文献CN112102242A公开了一种用于基于轻量级网络识别PCB部件的方法。该方法包括以下步骤：拍摄高分辨率的PCB部件图案，对PCB部件图案执行数据扩展，在PCB部件图案中标记各种类型的部件，并且得到PCB部件数据库；将PCB部件训练模式发送给深度神经网络以进行训练，直至深度学习网络收敛。

公开文献WOZNIAK MICHAL等人：“A survey of multiple classifier systemsas hybrid systems”，INFORMATION FUSION，ELSEVIER，美国，第16卷，2013年4月29日(2013-04-29)，第3-17页，XP028757975，ISSN：1566-2535，DOI：10.1016/J.INFFUS.2013.04.006公开了所谓的多分级器系统，其也已知为集成方法或集成学习。WOZNIAK MICHAL等人在图4中公开并行和串行的拓扑，根据所述拓扑设置分级器并且进行使用。

发明内容

因此，本发明的目的是：实现针对制造中的可能发生的变化或对一个或多个电路板的制造的影响的适配，并且说明在制造一个或多个电路板时的改进的缺陷识别。

根据第一方面，该目的通过根据权利要求1的用于在制造电路板期间进行光学质量控制的方法来实现。

根据第二方面，该目的通过用于执行根据第一方面的方法的设备，尤其用于对电路板进行质量控制的检验系统来实现。

根据第三方面，该目的通过一种具有程序代码介质的计算机程序产品来实现，当执行该程序代码介质时，该程序代码介质用于执行根据第一方面的方法。

附图说明

根据下面的附图更详细地描述本发明：

图1示出借助第一实施方式的用于制造控制的检验系统的电路板制造的示意图。

图2示出借助第二实施方式的用于制造控制的检验系统的电路板制造的示意图。

图3示出用于电路板制造期间进行质量控制的图像处理和缺陷指示符确定的流程的示意图。

图4示出用于基于具有诊断信息的数据集(后)训练适应性算法的流程的示意图。

图5示出用于训练适应性算法和在使用经训练的适应性算法期间的图像数据处理的第一流程的示意图。

图6示出用于训练适应性算法和在使用经训练的适应性算法期间的图像数据处理的第二流程的示意图。

图7示出用于分析图像的哪些部分影响适应性算法的分级决策的多个级别激活图。

图8示出根据第一实施方式的用于质量控制的方法的示意图。

图9示出根据第二实施方式的用于质量控制的方法的示意图。

图10示出根据第三实施方式的用于训练适应性算法的方法的示意图。

图11示出根据第四实施方式的方法的示意图。

图12示出根据第五实施方式的方法的示意图。

图13示出根据第六实施方式的方法的示意图。

具体实施方式

图1示出用于电路板制造的设施1或系统。设施1具有带有用于对制造的(多个)电路板L进行质量控制的检验系统Q的制造线。然而，也能够考虑在制造其他产品时将检验系统Q用于质量控制。例如，代替一个或多个电路板的质量控制，针对表面测试、焊缝测试、变形识别和/或运送跟踪，直至机器人/机器视觉的使用也是可行的。

设施1具有用于对(多个)电路板装配电气或电子构件BT1、BT2、BT3的装配空间B。设施1还具有用于在电路板与电气构件BT1、BT2、BT3之间建立导电连接的波峰焊机W。在焊接处理之后，对接触点(从现在开始为焊接点)和它们的形状进行光学检查。为此通常使用自动光学检验，AOI。

然而，如开头所描述的那样，检验系统Q无法对制造中的变化的条件或影响作出反应或动态调整。因此，检验系统Q能够将过多检查的电路板L指示为有缺陷的，尽管这些电路板L实际上没有缺陷，即所谓的“误报”。这反过来又增加了后续检查或诊断的次数。改进对“误报”的识别能够降低工作量。

在图1中，例如借助于光学图像处理OR确定的第一缺陷指示符F1经由显示单元、即例如光信号系统输出。例如，光信号系统能够被提供用于，如果借助于检验系统Q，尤其借助于光学图像处理OR确定了缺陷，即第一缺陷指示符F1指示了缺陷，则输出第一光信号，即例如红色，或者如果没有识别到缺陷，即第一缺陷指示符F1没有指示缺陷，则显示第二光信号。

光学图像处理OR(即例如分割或图案识别或对象识别)用于对从电路板捕获的图像或一个或多个图像区域进行分级。

图2示出具有用于质量控制的改进的检验系统Q的设施1。检验系统Q具有适应性算法ML，该算法实现将质量控制适配于制造期间变化的(环境)条件或影响。

检验系统Q借助于适应性算法ML使用(多次)诊断的结果，并且能够减少在(重新)编程用于光学图像处理OR的软件(模块)中所需的工作量。通过例如(自动地)(后)训练适应性算法ML，检验系统Q进一步实现了质量控制的(自动)改进。此外，通过借助于检验系统Q的适应性算法ML检查焊接点，能够提高首次合格率。适应性算法ML的结果能够交付给软件模块，参见下文的软件模块SWM1，以用于进行光学图像处理OR。例如，焊接点的原始评估能够通过用于光学图像处理OR的软件模块覆写。因此，适应性算法ML的结果能够代替光学图像处理OR的结果用作质量控制的(总体)结果。因此，由光学图像处理OR指示为有缺陷的一个或多个电路板L的由检验系统Q进行的后续检查，即例如手动诊断由自适应算法ML提前进行。于是，不需要通过操作员O例如经由返回路段对电路板L进行手动诊断。此外，取消对在用于光学图像处理OR的软件模块、参见下文的软件模块SWM1中的检查和测试程序进行维护的工作量，例如由于光条件的变化或通过电路板制造商对电路板的组成的改变，所述维护工作量是必要的。

对适应性算法ML的适配、也称作训练发生在训练阶段(还参见图4和图5和图6)，在该训练阶段中适应性算法ML获得电路板L的图像P1作为输入并改变内部参数。因此，适应性算法ML例如在如下状态下开始，在该状态下该算法未能充分地解决问题、在此指(多个)电路板的质量控制。通过训练，将适应性算法ML专门用于任务。只有在训练之后，适应性算法才掌握所设定的任务，例如在此将图像或相关联的图像数据分级为一个或多个(缺陷)等级，这被数据科学家称之为“预测”。

缺陷指示符F1、F2、F3能够用于根据电路板捕获的图像或相关联的图像数据对电路板L进行质量控制，该图像数据例如以文件的形式存在。缺陷指示符F1、F2、F3能够指示电路板L的有缺陷的或无缺陷的状态。例如，能够借助于光学图像处理OR来确定第一缺陷指示符F1，并且能够借助于适应性算法来确定第二缺陷指示符F2。此外，能够通过电路板L的诊断(例如通过操作员O)来确定第三缺陷指示符。

为此能够提供缺陷类别和对应的缺陷级别。例如，缺陷指示符F1、F2、F3能够指示电路板L的多种不同的缺陷状态，即缺陷。在电路板L的制造中的可行的缺陷例如是：

焊膏缺失或未完全压紧、焊膏被弄脏、粘合剂缺失或未完全压紧、粘合剂弄脏、构件缺失、构件偏移或扭转、墓碑效应、构件移位、MELF构件的色环识别、IC/μC类型的阳性材料测试、电阻值的阳性材料测试、构件反极性(IC、二极管)、短路和焊桥(IC、μC)、焊接点缺失、开路的THT焊接点、没有过孔的THT焊接点。因此，缺陷指示符F1、F2、F3的值能够指示识别到的缺陷、也称为缺陷类别。缺陷指示符的值能够由字母数字串构成或者能够包括字母数字串。此外，缺陷指示符能够以纯文本描述缺陷，见上文，或以编码形式包含该缺陷。

如所描述的那样，适应性算法ML获得图像或一个或多个图像区域作为输入，并关联图像或一个或多个图像区域以形成缺陷类别之一或形成对应于缺陷类别之一的等级。因此，缺陷类别能够代表上述缺陷中的一个或多个缺陷。如已经提到的那样，缺陷指示符也能够假设指示电路板L的无缺陷状态的值。

由光学图像处理OR识别的一个或多个缺陷能够传输给适应性算法ML。为此，适应性算法ML预期图像，例如以图像数据的形式，优选以(图像)文件的形式，并且优选关于根据光学图像处理OR的一个或多个缺陷位于哪个图像区域中的空间信息。适应性算法ML然后按顺序重新评估每个图像或每个图像区域。如果所有图像或图像区域都已被评估，则适应性算法ML为每个图像区域、例如在光学图像处理OR的转移点处提供结果。适应性算法ML的结果现在能够用于覆写光学图像处理的评估。在此，有利的是：减少了光学图像处理OR的编程工作量并增加了直通率，因为例如同样处于检验系统Q上的适应性算法ML通过光学图像处理OR校正焊接点的评估。

如图2所示，代替由光学图像处理确定的第一缺陷指示符F1，能够输出由适应性算法ML确定的第二缺陷指示符F2。为此，如上所述，能够提供诸如光信号系统的显示单元，如果借助于检验系统Q、尤其借助于适应性算法ML(也)确定了缺陷，则该显示单元显示第一光信号，即例如红色，或者如果没有识别到缺陷，即如果第二缺陷指示符F2没有指示缺陷，则显示第二光信号。

通过操作员O能够将诊断的结果存储在数据库DB中。在此，能够使用第三缺陷指示符F3，该第三缺陷指示符同样如所描述的那样能够代表一个或多个缺陷类别(并且当然还有电路板L的无缺陷状态)。第三缺陷指示符F3然后能够用于(后)训练适应性算法ML。

图3示出用于在电路板制造期间进行质量控制的图像处理和缺陷指示符确定的流程的示意图。在此，光学图像处理OR和适应性算法ML在第一软件模块或第二软件模块SWM1、SWM2中实施。然而，也能够存在如下情况，即光学图像处理OR和适应性算法ML在(单个)软件模块中实施。在此，一个或多个软件模块能够存储在检验系统Q中和/或能够由检验系统Q执行。

当前，首先借助于第一软件模块SWM1确定第一缺陷指示符F1。然后，将缺陷指示符Fl和捕获的图像存储在存储器FS中，即例如分布式文件系统中。除了捕获的图像P1之外，说明一个或多个缺陷处于哪个图像区域中的空间信息能够存储在存储器FS中。在此，存储器FS同样能够位于检验系统Q上。

由光学图像处理OR探测到的所有缺陷都交付给适应性算法ML，例如以一个或多个第一缺陷指示符F1的形式交付。例如，第二软件模块SWM2能够从存储器FS中检索捕获的图像P1和根据光学图像处理OR的一个或多个缺陷处于哪个图像区域的空间信息。适应性算法ML然后评估转移的图像或每个转移的图像区域。例如，存储器FS能够通过看门狗监控，使得一旦存在新图像或新图像文件，就能够开始由第二软件模块SWM2或适应性算法ML进行处理。

此外，能够需要：在适应性算法ML处理图像P1或图像区域之前，必须对图像区域的图像进行预处理。该预处理、即例如图像或图像区域的缩放和填充同样能够借助于第二软件模块SWM2进行。替代地，能够提供单独的软件模块，该单独的软件模块执行该预处理，也称为“数据准备”。

如果图像或一个或多个图像区域已经借助于适应性算法ML进行评估，则第二软件模块SWM2在第一软件模块SWM1的转移点处例如以第二缺陷指示符F2的形式为图像或每个图像区域提供结果。替代地或附加地，能够借助于第二软件模块SWM2输出由适应性算法ML确定的第二缺陷指示符F2。替代地，能够提供单独的软件模块，该单独的软件模块执行结果处理。例如。第二缺陷指示符同样能够存储在存储器FS中，即例如上述的分布式文件系统中。

第一软件模块SWM1现在能够使用以适应性算法ML的一个或多个第二缺陷指示符F2的形式的结果，以覆写光学图像处理OR的评估或输出适应性算法ML的结果，即代替以光学图像处理OR的一个或多个第一缺陷指示符F1的形式的结果。

图4示出用于基于数据集(后)训练适应性算法ML的流程的示意图，该数据集例如具有图像数据、空间信息和诊断信息。

对于适应性算法ML的训练或后训练，截取借助于图像处理OR通过第一缺陷指示符F1指示为有缺陷的电路板的图像和优选地借助于图像处理OR探测到的有关缺陷的空间信息，并且例如如图4所示的那样存储在云中，例如存储在图4中所示的存储器M中。

为此目的，检验系统Q能够与网关GW连接，所述网关在云与检验系统Q之间建立连接。此外，来自质量数据库DB的操作员的手动诊断的信息能够存储在存储器M中。为此目的，数据库DB也能够与网关GW连接。例如存储在数据库DB中的诊断信息代表操作员O的知识，该操作员参与了由图像识别OR指示为有缺陷的(多个)电路板的诊断。该诊断信息用于标记(多个)电路板的图像。换句话说，将电路板的捕获的图像和有关由图像捕获确定的缺陷的空间信息与诊断信息链接，并且必要时存储在云中的存储器M中。适应性算法ML然后能够基于用诊断信息标记的数据在云中进行训练。用诊断信息标记的图像然后形成用于适应性算法的所谓的“基础真值”。必要时，在云中首先对接收到的或存储的图像进行预处理“数据准备”。该预处理能够例如包括填充和增强图像或图像数据，如其在下文进一步解释。

在训练结束后，适应性算法能够例如根据“基础真值”——即基于用诊断信息标记的图像或图像数据来评估电路板的图像。在此，诊断信息能够以第三缺陷指示符F3的形式存在。

在训练后，能够导出经训练的适应性算法ML，参见图4中的“导出”。经训练的适应性算法ML然后能够传输给检验系统Q。检验系统Q中已经存在的适应性算法ML因此能够由新经训练的适应性算法ML更新。由此，能够适配适应性算法ML。例如，在存在特定数量的捕获的图像的情况下和/或在存在特定数量的诊断信息的情况下，能够在检验系统Q上更新适应性算法。在此，诊断信息例如对应于第三缺陷指示符，该第三缺陷指示符的值在诊断时由操作员创建。

图5示出用于训练(阶段1)适应性算法和在使用适应性算法ML(阶段2)期间的图像处理的第一流程的示意图。

为了从适应性算法ML获得结果，执行不同阶段和步骤，该阶段和步骤在下文解释。由待检查的电路板L捕获的图像P1用作其的基础。该图像P1能够分为不同所谓的图像区域，参见图7中的图像区域C1、...、C8。这在图5和图6中被称为“划分成构件”。

在阶段1(训练阶段)中需要将图像或图像区域分配到现有的和限定的缺陷类别。存在缺陷指示符的各种值，该值指示电路板L的无缺陷或有缺陷的状态。该分配，即也称为“标记”手动地且借助于人类专业知识，例如借助于存储在数据库DB中的图像和相关联的缺陷指示符来进行，该图像和该缺陷指示符作为诊断的结果由操作员生成。如果图像例如包含某个缺陷A(例如，引脚短路)，则该图像设有标签A。因此，得到各种图像组。这些图像(图像组)被称为基础真值数据，并作为进一步的训练步骤的基础。

标记过程能够包括两个阶段：操作员O预先标记数据并将该信息存储在数据库DB中。此外，能够进行对所执行的标记的审核，并且必要时覆写预标记。图5中示出由“标记操作员(数据库)”进行的“标记审核”。

由于各个图像或图像区域的尺寸不同，在下一步骤中需要将图像或图像区域置于统一的尺寸。物理地调节图像或图像区域的不同尺寸，因为图像区域包含具有一个或多个焊接点的不同的电子构件或测试区域。例如，能够为处理限定统一的图像尺寸。例如，能够限定正方形尺寸(例如能够选择512乘512像素)。统一的图像尺寸能够是可配置的，使得该图像可适配于例如电路板上的不同的测试区域，进而适配于不同的电路板类型。为了实现缩放到统一的图像尺寸，例如进行“上下采样”，并且能够生成人工像素和填充人工像素值。这也称为填充(padding)。如果例如图像区域的原始尺寸为200乘600像素，则生成人工像素值并且附加到图像，以例如获得正方形尺寸。所生成的人工像素值能够随机从生成的颜色分布、例如允许的RGB值中生成。从中生成人工像素的像素值的颜色分布例如能够通过RGB颜色空间中的区间给定。在此，颜色分布是可适配的，并且应该位于与电路板的基本颜色相似的颜色分布中。例如，人工像素值例如能够随机地从红色通道的区间，例如[37，42]、绿色通道的区间，例如[63，73]和蓝色通道的区间，例如[36，41]中选择。相应的区间或颜色分布的边界值一般能够根据不同电路板的捕获的图像的最小值和/或最大值来确定，例如上述的基础真值数据集。生成的颜色分布或从中选择用于填充的人工像素值的颜色范围能够对应于来自电路板的图像的数据集的电路板的颜色值，例如来自设施中的电路板制造。

在填充之后，能够进行图像或图像区域的增强。替代地，也能够首先进行增强。增强是一种用于丰富原始的图像数据集的方法，以生成最高的方差并最小化噪声和新的真实图像的微小变化的影响。为此，图像或图像区域随机旋转、翻转、镜像和/或改变各个RGB颜色通道和/或改变图像或图像区域的亮度。因此，产生多个新的、合成的图像或图像区域。该步骤有利于训练适应性算法并导致适应性算法ML的分级的改进。

在下一步骤中，优选根据图像或图像区域的增强的数据集来训练适应性算法ML。适应性算法能够例如包括两部分：即第一部分由具有非常多参数的非常多的所谓的卷积(Convolution)层构成，并且第二部分由具有少量参数的全连接神经网络构成。训练能够分为两部分。首先，发生转移学习。这意味着：适应性算法的第一部分(卷积层)已经在已知的且大型的数据集上进行了预训练。优选仅训练第二部分(完全连接的网络)(即网络的参数用特定的和已知的优化方法来优化)。然后能够进行“微调”。在此，训练整个适应性算法，但优选以较低的学习速率(即不太强烈的参数适配或变化)和较短的时间(较少的时期)。一旦已经训练了适应性算法，其能够对新图像进行分级，进而能够在“制造阶段”中使用。

适应性算法ML的一个可行的实施方式包括不同模型ML1、ML2、ML3的互连，目的是改进整体结果(已知为集成学习)。模型ML1、ML2、ML3又能够涉及适应性算法。模型ML1、ML2或ML3能够如上所描述的那样两件式地构成，或者模型ML1、ML2、ML3中的一个或多个模型能够一件式地构成。在集成学习中，不同的模型ML1、ML2、ML3借助相同的数据进行训练。模型ML1、ML2、ML3在其结构和操作原则上略有不同，但目标相同：根据缺陷类别或缺陷等级对电路板进行分级。例如，模型ML1、ML2、ML3具有不同的模型架构和/或不同的超参数或超参数的值。各个模型ML1、ML2、ML3的输出相互链接，以改进整体结果。例如，在三个模型的情况下，仅当三个模型中的两个模型匹配时才使用最终结果。由此实现了更大的信任，因为不仅信任单个模型ML1、ML2、ML3的结果。

附加于和/或替代于模型ML1、ML2、ML3，能够训练自动编码器ML-AE(简称AE)，该自动编码器用于重建作为输入获得的图像或图像区域。自动编码器AE稍后在制造运行中在“阶段2”中能够用于对电路板的一个或多个新捕获的图像或图像区域进行测试，以观察它们是否类似于如下图像，基于该图像训练适应性算法或者尤其适应性算法的模型ML1、ML2、ML3。例如，如果自动编码器AE的重建误差超过特定的阈值，则这能够用作为适应性算法的可能有缺陷的分级的指示符。如阶段2中作为“ML-AE Check”示出的那样，然后能够通过电子邮件来告知，即“通知”。

阶段2(“制造阶段”)：

例如，适应性算法ML能够包括自动编码器ML-AE(简称为AE)。如前所述，自动编码器AE能够在阶段1中借助基础真值数据进行训练，以执行一个或多个新图像、一个或多个电路板的验证，并且如果它们无效，将它们例如存储在以此为目的的目录中，例如存储在检验系统上的存储器或数据库中，并且尤其不用于通过适应性算法预测缺陷指示符。此外，自动编码器AE能够用于：监控新数据(数据分布)以识别(图像)数据中的漂移。漂移意味着：图像中发生了某些变化，并且必要时需要校正或其他干预。这需要借助于自动编码器AE监控新图像的时间。能够将自动编码器AE的重建误差用作新图像的漂移的特征值。

适应性算法ML的结果能够经由对模型ML1、M12、ML3的结果进行加权来实现。适应性算法ML的结果能够以(第二)缺陷指示符F2的形式输出。在此，输出意味着例如存储在存储器中，例如存储在文件中，或者例如在显示单元上再现。

附加地，如图7中所示，能够输出或显示自动编码器AE的等级预测的热图或Grad-CAM(梯度类激活图)。

图6示出针对训练适应性算法和在使用适应性算法ML期间的图像处理的第二流程的示意图。图6中所示的流程与图5中所示的流程绝大部分相同并且不同之处仅在于以下特征。

适应性算法ML的分级结果的附加评估能够通过以下方式进行，即对每个缺陷类别或对应的缺陷等级(基于真值数据)训练自动编码器ML-AE模型1、模型2、...、模型n。在通过适应性算法ML分级后，由所有可用的自动编码器模型ML-AE模型1、模型2、...、模型n预测对应的图像，并且具有最小缺陷(重建误差)的模型对应于缺陷等级(该步骤是可选的)。由此，能够验证适应性算法ML的结果，并且必要时能够将适应性算法的结果校正成“最终结果”，该最终结果例如对应于具有最小缺陷的自动编码器ML-AE模型1、模型2、...、模型n的结果。

图7示出用于分析图像的哪些部分影响适应性算法ML的分级决策的多个类激活图C1、...、C8。适应性算法的其他元件能够是所谓的Grad-CAM(梯度类激活图)。由此能够示出：图像或图像区域中的哪些像素对适应性算法的分级结果具有决定性作用。例如，特征化图像中的对于适应性算法的决策具有决定性作用的区域，并且能够将这些区域显示给操作员，以便该操作员一方面有关于适应性算法的操作原则的反馈，并且另一方面能够非常快速地验证适应性算法的结果。

图8示出根据第一实施方式的用于质量控制的方法的示意图。

为此，在步骤S1中，电路板配备有电气构件。在随后的步骤S2中，构件例如通过焊接连接到电路板。

焊接是一种用于阳性物质拼接材料的热学方法，其中，通过熔化焊料(熔化焊接)或通过在边界面处扩散(扩散焊接)产生液相。

润湿是成功焊接的重要标准。在焊接点处只应使用一定量的焊料，使得构件连接的轮廓保持在焊料中可见。液态焊料的液滴与基材之间的角度称为润湿角。0°与30°之间的润湿角被归类为“完全至充分润湿”，30°与90°之间为“部分润湿”，并且大于90°为“未润湿”。原则上，润湿角因此应小于30°。

另一质量特征是焊接点的清洁度，因此例如在焊接点外不应有焊料残留。焊接点应干净且一致，这也适用于过孔。

为了必要时建立有缺陷的焊接点，电路板接受质量控制。由于在电路板制造期间制造了大量的电路板，所以必要时需要对所有焊接的电路板或焊接的电路板的至少一部分进行质量控制。为了质量控制的目的，能够在步骤S3中捕获电路板的图像。能够使用光学图像处理基于捕获的图像来确定第一缺陷指示符。

图像记录例如借助于扫描单元来进行，该扫描单元优选包括：相机，例如具有红-绿-蓝(RGB)滤色器的电荷耦合器件(CCD)线阵相机；和尤其优选照明单元，即例如发光二极管(LED)。为此，例如通过扫描单元和电路板的相对移动来捕获电路板表面。在此，相机例如生成颜色深度为3×8位的电路板的图像。例如，捕获的图像是具有8101×5157像素的高分辨率。借助远心镜头执行图像记录。这意味着：LED照明单元的由电路板反射的射束平行地落入CCD相机的镜头中。这引起：电路板的结构垂直于镜头被获取而没有任何透视失真。由此，相同尺寸地映射电路板而与其距镜头的间距无关。扫描单元还具有用于缩短焦距的镜系统，其中，在图像记录过程期间电路板和扫描单元彼此以小间距设置。通过缩短焦距，系统非常紧凑。由此能够将检验系统连同图像记录装置更容易地集成到制造线中。此外，通过选择性地照明小区域，照明单元能够具有更小的尺寸。这节省能源成本并确保减少热量积聚。此外，在相机领域中，能够使用便宜的量产产品，其与仅少量制造的昂贵的工业相机相比多半提供更好的分辨率。

基于捕获的图像，能够在步骤S4中借助于光学图像处理来确定第一缺陷指示符。一旦捕获到电路板的图像，该图像在图像处理软件中、例如第一软件模块SWM1中进行评估。在此，能够使用图像处理软件将捕获的实际状态与存储的设定点状态进行比较并计算百分比偏差。为此，能够在电路板上确定测试区域。该测试区域对应于待测试的焊接点所位于的图像区域。该测试区域在构件层面上确定。在一个测试区域内能够有多个焊接点。然后，在测试区域内限定各个焊接点坐标。由此能够在焊接点层面上执行测试。于是，为了借助于第一缺陷指示符评估焊接点是否有故障或无故障，例如读取测试区域内的RGB值。现在，能够借助于各种滤波器计算焊接点上的图像点的RGB值的平均值。该滤波器应用于焊接点上的所有图像点。在该运算之后，将每个像素分配给RGB值。随后，确定RGB阈值。根据该阈值能够对其上方和下方的像素进行分类。现在，能够对高于或低于限定的阈值的像素进行计数。在该步骤之后，分别产生总和，该总和描述了超过和低于阈值的像素数量。在借助于光学图像处理进行测试的最后的步骤中，限定像素总和的第二阈值。如果先前形成的像素总和超过或低于第二阈值，则焊接点失效。

测试区域和焊接点坐标的定义能够由用户创建并保存在一个或多个测试计划中。例如。能够为每个产品变体方案创建测试计划，并且然后能够在检验系统和光学图像处理中以可缩放的方式使用。能够使用电路板上的匹配标记作为电路板的正确定位的参考，该匹配标记由图像处理识别并且创建坐标系。由此，焊接点坐标系也实际上处于待预期的焊接点的位置处。坐标系的原点能够例如在图像的左上角中确定。

因此，第一缺陷指示符作为步骤S4的结果，该第一缺陷指示符指示使用光学图像处理是否识别到有缺陷或无缺陷的电路板。

该缺陷指示符能够连同捕获的图像和必要时其他的信息、即例如关于识别为有缺陷的电路板上的焊接点上的空间信息一起被存储。例如，如已经描述的那样，能够为此使用存储器，例如分布式文件系统。

在步骤S5中，基于捕获的图像或图像区域，能够借助经训练的适应性算法来确定第二缺陷指示符。为此，捕获的图像或图像区域能够用作为用于经训练的适应性算法的输入。经训练的适应性算法对图像或图像区域根据缺陷指示符的缺陷等级进行分级，并将该分级作为第二缺陷指示符输出。

在此，第一缺陷指示符能够具有与第二缺陷指示符相同或等同的缺陷等级或缺陷类别。附加可行的是：第一缺陷指示符的缺陷等级是第二缺陷指示符的缺陷等级的子集，即第二缺陷指示符因此附加地具有由第一缺陷指示符无法获取的缺陷等级。另外，存在如下可行性：即第一缺陷指示符具有由第二缺陷指示符无法获取的一个或多个缺陷等级，因此第二缺陷指示符不具有该缺陷等级。这同样适用于第三缺陷指示符。

在步骤S6中，优选代替第一缺陷指示符能够输出第二缺陷指示符作为质量控制的结果。一旦存在第一缺陷指示符和第二缺陷指示符，检验系统能够输出第一缺陷指示符和/或第二缺陷指示符。优选仅输出第二缺陷指示符。例如能够存在如下情况，即检验系统的光学图像处理将电路板错误地指示为是有缺陷的，并且(经训练的)适应性算法指示电路板为无缺陷的。于是在这种情况下，适应性算法的结果应该被用作质量控制的结果，以避免电路板的(否则必要的)后续检查。对于适应性算法也识别到有故障的电路板的情况，则需要对电路板进行后续检查。

如果光学图像处理确定电路板为无缺陷的，优选不执行适应性算法。然后能够继续制造电路板，或将其用于交付或并入设备中。通过操作员的诊断因此也不是必需的。

在图9中示出根据第二实施方式的用于质量控制的方法的示意图。在此，例如，在步骤S3中电路板的捕获的图像由第一软件模块来处理。第一缺陷指示符借助于第一软件模块确定。在此，光学图像处理也借助于第一软件模块来执行。此外，第一软件模块还能够执行在此没有描述的功能。

在随后的步骤S9中，需要由第二软件模块(重新)处理捕获的图像。由此，第二缺陷指示符能够在步骤S10中由第二软件模块确定。在此，第二软件模块能够执行经训练的适应性算法。

第一软件模块和第二软件模块也能够组合成单个软件模块。例如，第一软件模块和第二软件模块能够存储在存储器中，存储在检验系统中和/或例如由检验系统的一个或多个处理器执行。

然后，在步骤S11中，优选能够借助于第一软件模块例如以字符串的形式，优选以到文件中的形式输出作为质量控制的结果的第二缺陷指示符，该文件包含第一缺陷指示符和/或第二缺陷指示符。附加地或替代地，例如能够显示第二缺陷指示符。在图1和图2中例如设有显示单元F1或F2，经由该显示单元能够例如以操作员可见的方式显示质量控制的结果。

图10示出根据第三实施方式的用于训练适应性算法的方法的示意图。

在此，在第一步骤S11a中，基于质量控制的结果能够(手动地)诊断指示为有缺陷的电路板。该诊断对应于电路板的后续检查，例如在由检验系统将该电路板已经识别为有缺陷的情况下。在此，如上所述，诊断能够由操作员执行。操作员能够经由诊断键盘输入其诊断结果，如图1和图2所示。由此，在步骤S12中能够确定第三缺陷指示符并且将其例如存储在质量数据库中，即图1、图2和/或图4中的数据库DB中。因此，存储首先借助于光学图像处理指示为有缺陷的电路板的另外的第三缺陷指示符。此外，能够在步骤S12中存储电路板的图像。第三缺陷指示符在此能够被分配给图像或者可分配给图像。例如，步骤11a中的诊断结果能够是：电路板实际上没有缺陷，但是光学图像处理将其错误地识别为有缺陷的。

能够多次重复步骤S11a和S12，例如直至存在特定数量的图像，其中，诊断产生无缺陷的电路板。

在可选的步骤S13中，优选为了(后)训练适应性算法，能够增强图像或一个或多个图像区域。在此，增强用于生成合成图像，以增加用于训练适应性算法的图像数量。

然后，在步骤S14中，适应性算法的(后)训练能够基于第三缺陷指示符和电路板的图像或增强的图像来进行。

然后，根据步骤S15能够再次执行步骤S11a，以获得用于适应性算法的重新(后)经训练的图像，并且例如提高在电路板制造期间的首次合格率。

图11示出根据第四实施方式的方法的示意图。在步骤S4中，如上所述，能够基于捕获的图像借助于光学图像处理来确定第一缺陷指示符。然后，根据第一缺陷指示符指示电路板是有缺陷的还是无缺陷的来继续质量控制。

如果第一缺陷指示符根据步骤S41将电路板指示为有缺陷的，在步骤S5中，基于捕获的图像借助于经训练的适应性算法来确定第二缺陷指示符。随后，如所描述的那样，在步骤S6中优选代替第一缺陷指示符输出第二缺陷指示符作为质量控制的结果。在此，输出能够在文件中或以可视化显示的形式进行。

如果第一缺陷指示符根据步骤S42将电路板指示为无缺陷的，在必要时紧随其后的步骤S43中，输出第一缺陷指示符作为质量控制的结果。

图12示出根据第五实施例的方法的示意图。在步骤S16中，能够基于捕获的图像借助于光学图像处理来确定第一缺陷指示符，其中，对图像的多个图像区域针对缺陷进行检查，例如在焊接期间的缺陷，并且将每个图像区域分配给缺陷指示符。从(整个)电路板捕获的图像能够分为多个图像区域。在此，图像区域能够包括一个或多个焊接点。此外，图像区域能够对应于待测试的焊接点所在的一个或多个测试区域。

在步骤S17中，能够基于捕获的图像借助经训练的适应性算法来确定第二缺陷指示符，其中，适应性算法顺序地评估多个图像区域并且将每个图像区域分配给缺陷指示符。

在步骤S18中，优选代替第一缺陷指示符能够输出第二缺陷指示符或第二缺陷指示符中的一个作为质量控制的结果。

图13示出根据第六实施方式的方法的示意图。如上所述，能够在步骤S3中捕获电路板的图像。在步骤S19中，能够基于电路板的(捕获的图像的)颜色或平均颜色分布来确定待用于填充的像素的颜色。

在步骤S20中，优选针对适应性算法的(后)训练或在借助于适应性算法确定第二缺陷指示符之前，能够借助于填充来缩放图像或一个或多个图像区域，以获得特定的图像尺寸或图像区域尺寸。

所提出的计算机程序产品能够具有程序代码介质，当该程序代码介质被执行时，该程序代码介质用于执行根据步骤S1至S29中的一个或多个步骤的方法。在此，计算机程序产品例如能够存储在检验系统上和/或能够由检验系统执行。例如，计算机程序产品能够包括第一软件模块和/或(仅)第二软件模块SWM1或SWM2。

下面说明其他的实施方式：

1.实施方式：用于在制造(1)电路板(L)期间进行光学质量控制(Q)的方法，包括：捕获(S3)电路板(L)的图像(P1)，并且借助于光学图像处理基于捕获的图像确定(S4)第一缺陷指示符(F1)，借助于经训练的适应性算法(ML)基于捕获的图像(P1)确定(S5)第二缺陷指示符(F2)，

优选代替第一缺陷指示符(F1)输出(S6)第二缺陷指示符(F2)作为质量控制(Q)的结果。

2.实施方式：根据前一实施方式的方法，还包括：

处理(S7)捕获的图像(P1)并且由执行光学图像处理(OR)的第一软件模块(SWM1)确定(S8)第一缺陷指示符，并且

处理(S9)捕获的图像(P1)并且由执行经训练的适应性算法(ML)的第二软件模块(SWM2)确定(S10)第二缺陷指示符(F2)，其中，例如捕获的图像(P1)优选地以图像数据的形式、特别优选地以图像文件的形式存储在分布式文件系统中。

3.实施方式：根据前述实施方式之一的方法，还包括：

借助于第一软件模块(SWM1)例如以字符串的形式、优选在文件中输出(S11)第二缺陷指示符(F2)作为质量控制(Q)的结果，其中，文件包含第一缺陷指示符和/或第二缺陷指示符(F1，F2)。

4.实施方式：根据前述实施方式之一的方法，还包括：

基于质量控制(Q)的结果诊断(S11)指示为有缺陷的电路板(L)，并且

捕获(S12)指示为有缺陷的电路板(L)的第三缺陷指示符(F3)并且存储第三缺陷指示符和电路板(L)的图像(P1)，

基于第三缺陷指示符(F3)和电路板(L)的图像(P1)(后)训练适应性算法(ML)。

5.实施方式：根据前述实施方式之一的方法，还包括：

重复地、优选周期性地执行(S15)前述权利要求中的至少一项的步骤，例如直至达到特定的直通率报价，以便例如捕获在制造(多个)电路板(L)时的改变的条件。

6.实施方式：根据前述实施方式之一的方法，还包括：

其中，在借助于光学图像处理(OR)确定的第一缺陷指示符(F1)指示(S42)电路板(L)为有缺陷的情况下，借助于经训练的适应性算法(ML)确定第二缺陷指示符(F2)。

7.实施方式：根据前述实施方式之一的方法，还包括：

其中，在借助于光学图像处理(OR)确定的第一缺陷指示符(F1)指示(S42)电路板(L)为无缺陷的情况下，不执行(S43)借助于经训练的适应性算法(ML)对第二缺陷指示符(F2)的确定。

8.实施方式：根据前述实施方式之一的方法，还包括：

例如在装配站(B)处对电路板(L)装配(S1)电气的和/或电子的构件(BT1，BT2，BT3)，

将构件(BT1，BT2，BT3)例如借助于波峰焊机(W)焊接(S2)到电路板(L)处。

9.实施方式：根据前述实施方式之一的方法，还包括：

基于捕获的图像(P1)借助于光学图像处理(OR)确定(S16)第一缺陷指示符(F1)，其中，对图像的多个图像区域(C1，...，C8)针对缺陷进行检查、优选针对在焊接时的缺陷，并且将每个图像区域(C1，...，C8)分配给缺陷指示符。

10.实施方式：根据前述实施方式之一的方法，还包括：

基于捕获的图像(P1)借助于经训练的适应性算法(ML)确定(S17)第二缺陷指示符(F2)，其中，适应性算法(ML)顺序地评估多个图像区域(C1，...，C8)并且将每个图像区域(C1，...，C8)分配给缺陷指示符。

11.实施方式：根据前述实施方式之一的方法，还包括：

优选针对适应性算法(ML)的(后)训练或在借助于适应性算法(ML)确定第二缺陷指示符(F2)之前，借助于填充来缩放(S20)图像或一个或多个图像区域，以获得特定的图像尺寸或图像区域尺寸，

其中，优选基于电路板(L)的颜色或平均颜色分布来确定(S19)用于填充的像素的颜色。

12.实施方式：根据前述实施方式之一的方法，还包括：

增强(S13)图像(PI)或图像区域(C1，...，C8)，优选用于(后)训练适应性算法(ML)。

13.实施方式：根据前述实施方式之一的方法，

适应性算法(ML)包括可经训练的第一部分和第二部分，并且其中，根据第三缺陷指示符(F3)(后)训练第二部分，

其中，优选地，适应性算法(ML)用于借助集成学习适应性算法来确定第二缺陷指示符。

14.实施方式：根据前述实施方式之一的方法，

其中，借助于至少一个自动编码器(AE)、优选每个缺陷类别一个自动编码器重建捕获的图像(P1)或图像区域(C1，...，C8)，并且如果自动编码器的重建误差超过阈值，则图像(P1)或图像区域(C1，...，C8)不用于借助于适应性算法确定第二缺陷指示符(F2)，并且优选地执行电路板的诊断，以便例如确定第三缺陷指示符(F3)。

15.一种用于执行根据前述实施方式之一的方法的设备，尤其是用于对电路板进行质量控制(Q)的检验系统。

16.一种计算机程序产品，具有程序代码介质，当执行该程序代码介质时，该程序代码介质用于执行根据前述实施方式1至14中任一项的方法。

Claims (15)

1.一种用于在制造(1)电路板(L)期间进行光学质量控制(Q)的方法，所述方法包括：

捕获(S3)所述电路板(L)的图像(P1)，并且

借助于光学图像处理基于捕获的所述图像确定(S4)第一缺陷指示符(F1)，

借助于经训练的适应性算法(ML)基于捕获的所述图像(P1)确定(S5)第二缺陷指示符(F2)，并且

其中，如果借助于所述光学图像处理(OR)确定的所述第一缺陷指示符(F1)指示(S41)所述电路板(L)有缺陷，借助于所述经训练的适应性算法(ML)确定(S5)所述第二缺陷指示符(F2)，

作为质量控制(Q)的结果输出(S6)所述第二缺陷指示符(F2)代替所述第一缺陷指示符(F1)。

2.根据前一项权利要求所述的方法，还包括：

处理(S7)捕获的所述图像(P1)并且由执行所述光学图像处理(OR)的第一软件模块(SWM1)确定(S8)所述第一缺陷指示符，并且

处理(S9)捕获的所述图像(P1)并且由执行所述经训练的适应性算法(ML)的第二软件模块(SWM2)确定(S10)所述第二缺陷指示符(F2)，其中，例如捕获的所述图像(P1)优选地以图像数据的形式、特别优选地以图像文件的形式存储在分布式文件系统中。

3.根据前述权利要求中任一项所述的方法，还包括：

优选借助于所述第一软件模块(SWM1)例如以字符串的形式，优选以到文件中的形式，输出(S11)作为所述质量控制(Q)的结果的所述第二缺陷指示符(F2)，所述文件包含所述第一缺陷指示符和/或所述第二缺陷指示符(F1，F2)。

4.根据前述权利要求中任一项所述的方法，还包括：

根据质量控制(Q)的结果，诊断(S11)被指示为有缺陷的所述电路板(L)，并且

捕获(S12)被指示为有缺陷的所述电路板(L)的第三缺陷指示符(F3)并且存储所述第三缺陷指示符和所述电路板(L)的所述图像(P1)，

基于所述第三缺陷指示符(F3)和所述电路板(L)的所述图像(P1)(后)训练(S14)所述适应性算法(ML)。

5.根据前述权利要求中任一项所述的方法，还包括：例如为了捕获在制造(多个)所述电路板(L)时的改变的条件，重复地、优选周期性地执行(S15)前述权利要求中至少一项的步骤，例如直到实现特定的直通率报价。

6.根据前述权利要求中任一项所述的方法，还包括：其中，如果借助于所述光学图像处理(OR)确定的所述第一缺陷指示符(F1)指示(S42)所述电路板(L)为无缺陷的，不执行(S43)借助于所述经训练的适应性算法(ML)对所述第二缺陷指示符(F2)的确定。

7.根据前述权利要求中任一项所述的方法，还包括：

对所述电路板(L)装配(S1)电气的和/或电子的构件(BT1，BT2，BT3)，例如在装配站(B)进行装配，

将所述构件(BT1，BT2，BT3)例如借助于波峰焊机(W)焊接(S2)到所述电路板(L)处。

8.根据前述权利要求中任一项所述的方法，还包括：

借助于所述光学图像处理(OR)基于捕获的所述图像(P1)确定(S16)第一缺陷指示符(F1)，其中，对所述图像的多个图像区域(C1，...，C8)针对缺陷进行检查、优选针对焊接时的缺陷，并且将每个图像区域(C1，...，C8)分配给缺陷指示符。

9.根据前述权利要求中任一项所述的方法，还包括：

借助于所述经训练的适应性算法(ML)基于捕获的所述图像(P1)确定(S17)第二缺陷指示符(F2)，其中，所述适应性算法(ML)顺序地评估多个图像区域(C1，...，C8)并且将每个图像区域(C1，...，

C8)分配给缺陷指示符。

10.根据前述权利要求中任一项所述的方法，还包括：

为了获得特定的图像尺寸或图像区域尺寸，优选针对所述适应性算法(ML)的(后)训练或在借助于所述适应性算法(ML)确定所述第二缺陷指示符(F2)之前，借助于填充缩放(S20)所述图像或一个或多个图像区域，

其中优选地，基于所述电路板(L)的颜色或平均颜色分布来确定(S19)用于填充的像素的颜色。

11.根据前述权利要求中任一项所述的方法，还包括：

优选针对所述适应性算法(ML)的(后)训练，增强(S13)所述图像(PI)或图像区域(C1，...，C8)。

12.根据前述权利要求中任一项所述的方法，其中，所述适应性算法(ML)包括可经训练的第一部分和可经训练的第二部分，并且其中，使用所述第三缺陷指示符(F3)(后)训练所述第二部分，

其中优选地，所述适应性算法(ML)用于借助集成学习适应性算法来确定所述第二缺陷指示符。

13.根据前述权利要求中任一项所述的方法，其中，借助于至少一个自动编码器(AE)、优选每个缺陷类别一个自动编码器重建捕获的所述图像(P1)或图像区域(C1，...，C8)，并且如果所述自动编码器的重建误差超过阈值，则所述图像(PI)或所述图像区域(C1，...，C8)不用于借助于所述适应性算法确定所述第二缺陷指示符(F2)，并且为了例如确定第三缺陷指示符(F3)，优选执行电路板的诊断。

14.一种用于执行根据前述权利要求中任一项所述的方法的设备，特别是用于对电路板进行质量控制(Q)的检验系统。

15.一种计算机程序产品，具有程序代码介质，当执行所述程序代码介质时，所述程序代码介质用于执行根据前述权利要求1至13中任一项所述的方法。