CN107038443B - 一种在电路板上定位感兴趣区域的方法和装置 - Google Patents

Abstract

本发明实施例提供一种在电路板上定位感兴趣区域的方法和装置，涉及PCB检测技术领域。其中，该方法包括：获取待检测PCB的图像，并在待检测PCB的图像上确定初始感兴趣区域，根据预存的主动形状模型在初始感兴趣区域中提取目标特征点，并根据目标特征点更新形变参数，以得到更新后的主动形状模型，若更新后的主动形状模型与更新前的主动形状模型的偏差收敛，则将更新后的主动形状模型在待检测PCB的图像中所处的区域确定为感兴趣区域。上述在PCB上定位ROI的方法和装置通过利用更新后的形变参数来调整主动形状模型的位置，从而定位ROI，进一步完成对PCB的检测。

Description

一种在电路板上定位感兴趣区域的方法和装置

技术领域

本发明属于电路板检测技术领域，尤其涉及一种在PCB上定位ROI的方法和装置。

背景技术

电子电路表面组装技术(Surface Mount Technology，SMT)是一种将无引脚或短引线表面组装元器件安装在印制电路板(Printed Circuit Board，PCB)的表面或其它基板的表面上，并通过回流焊或浸焊等方法加以焊接组装的电路装连技术。目前，采用自动光学检测(Automatic Optic Inspection，AOI)对组装后的PCB进行缺陷检测。在利用AOI技术对PCB进行检测时，为了增加检测程序的有效性，需要对PCB中大量的元器件进行人工交互，并通过人工来选择检测程序中每个算法的感兴趣区域(Region of Interest，ROI)，即，元器件所在的区域。并通过将ROI与数据库中的具有合格参数的区域进行比较，查找出缺陷。

但是，一个PCB往往包含了成百上千个元器件，由人工进行选择ROI会需要花费很长的时间，导致PCB的检测效率降低。为了提高PCB的检测效率，当前的做法是在AOI技术中增加基于图像灰度信息相似度的模板匹配算法，人工选择搜索的初始位置坐标，AOI技术就可以在一定范围内对PCB的图像进行搜索，定位ROI。

由于灰度信息相似度的模板匹配算法不具备旋转和尺度不变形，当成像单元，如相机或镜头的配置发生变化时，元器件的图像将发生射影变换，此时会发生匹配错误，导致AOI技术定位不到ROI，进而不能对PCB进行检测。

发明内容

本发明提供一种在PCB上定位ROI的方法和装置，旨在解决现有的灰度信息相似度的模板匹配算法会发生匹配错误，导致AOI技术定位不到ROI，不能对PCB进行检测的问题。

本发明提供的一种在PCB上定位ROI的方法，所述方法包括：

获取待检测电路板的图像，并在所述待检测电路板的图像上确定初始感兴趣区域；

根据预存的主动形状模型在所述初始感兴趣区域中提取目标特征点，并根据所述目标特征点更新形变参数，以得到更新后的主动形状模型；

若所述更新后的主动形状模型与更新前的主动形状模型的偏差收敛，则将所述更新后的主动形状模型在所述待检测电路板的图像中所处的区域确定为感兴趣区域。

本发明提供的一种在PCB上定位ROI的装置，所述装置包括：

获取模块，用于获取待检测电路板的图像；

确定模块，用于在所述待检测电路板的图像上确定初始感兴趣区域；

提取模块，用于根据预存的主动形状模型在所述初始感兴趣区域中提取目标特征点；

更新模块，用于并根据所述目标特征点更新形变参数，以得到更新后的主动形状模型；

所述确定模块，还用于若所述更新后的主动形状模型与更新前的主动形状模型的偏差收敛，则将所述更新后的主动形状模型在所述待检测电路板的图像中所处的区域确定为感兴趣区域。

本发明提供的一种在PCB上定位ROI的方法和装置，通过从待检测PCB 的图像中提取的目标特征点来更新主动形状模型的形变参数，无论PCB的元器件的位置发生何种变化，都可以通过更新后的形变参数来调整主动形状模型的位置，从而定位ROI，进一步完成对PCB的检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1是本发明第一实施例提供的一种在PCB上定位ROI的方法的实现流程示意图；

图2是本发明第二实施例提供的一种在PCB上定位ROI的方法的实现流程示意图；

图3是本发明第三实施例提供的一种在PCB上定位ROI的装置的结构示意图；

图4是本发明第四实施例提供的一种在PCB上定位ROI的装置的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明第一实施例提供的在PCB上定位ROI的方法的实现流程示意图，图1所示的在PCB上定位ROI的方法主要包括以下步骤：

S101、获取待检测PCB的图像，并在该待检测PCB的图像上确定初始ROI；

待检测PCB的图像为利用AOI技术检测焊接缺陷的PCB的图像。

获取待检测PCB的图像的方法不作限制，可以通过扫描待检测PCB或获取，也可以接收终端发送的PCB的图像来获取。

初始ROI为利用AOI技术最先定位的区域。

S102、根据预存的主动形状模型在该初始ROI中提取目标特征点，并根据该目标特征点更新形变参数，以得到更新后的主动形状模型；

目标特征点为初始ROI中的特征点，且目标特征点与利用主动形状模型模拟的图像中的特征点的纹理相似度最高。形变参数为主动形状模型中用于表示平移变换、旋转变换和尺度变换的参数。

S103、若该更新后的主动形状模型与更新前的主动形状模型的偏差收敛，则将该更新后的主动形状模型在该待检测PCB的图像中所处的区域确定为感 ROI。

需要说明的是，更新前的主动形状模型可以是预存的主动形状模型也可以是一次或多次更新后的主动形状模型，其更新次数不受限定。偏差收敛表示更新后的主动形状模型与更新前的主动形状模型的差值的极限收敛。

本发明实施例提供的一种在PCB上定位ROI的方法，通过从待检测PCB 的图像中提取的目标特征点来更新主动形状模型的形变参数，无论PCB的元器件的位置发生何种变化，都可以通过更新后的形变参数来调整主动形状模型的位置，从而定位ROI，进一步完成对PCB的检测。

请参阅图2，图2为本发明第二实施例提供的在PCB上定位ROI的方法的实现流程示意图，图2所示的在PCB上定位ROI的方法主要包括以下步骤：

S201、获取待检测PCB的图像，并在该待检测PCB的图像上确定初始ROI；

进一步地，利用AOI技术扫描待检测PCB来获取待检测PCB的图像。在该待检测PCB的图像上确定初始ROI，具体包括：

从计算机辅助设计(Computer Assistant Design,CAD)信息中提取该待检测PCB中目标元器件的位置信息，并根据该位置信息在该待检测PCB的图像中确定初始位置；

目标元器件为PCB中的主元器件，通常，目标元器件所在的区域为ROI。位置信息为用于在待检测PCB板中进行定位的信息，包括：目标元器件的编号、在PCB中的位置、旋转角度等。初始位置为确定ROI时通过位置信息在待检测PCB中最先确定的位置。通过从CAD信息中提取目标元器件的位置信息，并在待检测PCB的图像中确定初始位置，可以省略人工勾选初始位置的过程，节省了ROI的定位的时间，提高了ROI的定位效率。

将以该初始位置为中心的预置区域确定为初始ROI。

在实际应用中，预置区域可按照目标元器件所在区域的形状进行设置，通常预置区域大于目标元器件所在的区域。

S202、获取标准元器件的图像；

具体的，可以通过拍摄或扫描标准元器件，也可以通过在预存的PCB的图像中截取标准元器件所在的区域来获取标准元器件的图像。其中，标准元器件是指与目标元器件外观一致的元器件。

S203、利用该目标元器件的图像上的预置特征点构建主动形状模型，并将该主动形状模型进行存储；

预置特征点为在目标元器件的图像中人工采集的特征点，预置的特征点为具有显著性的点，例如，图像中目标元器件的边缘、夹角、突起或凹陷处的点。

进一步地，利用该目标元器件的图像上的预置特征点构建主动形状模型，具体包括：

调取目标元器件的图像中的多个预置特征点，并求目标元器件的平均形状；

假设，多个预置特征点为x_i，i＝1，2，3...N，则目标元器件的平均形状为：

利用样本和样本的平均值计算协方差矩阵；

协方差矩阵

其中，

计算协方差矩阵的特征值b_i和特征向量P_i，并根据信息量的比例，取得指定数量t的特征值b以及对应的特征向量P，得到该目标元器件的主动形状模型X；

其中，

为预存的主动形状模型形变参数，X_t，Y_t为平移变换参数，s 为尺度变换参数，θ为旋转变换参数。

S204、利用该预存的主动形状模型模拟该标准元器件的图像，并将得到的图像与初始ROI对应的图像进行比对；

具体的，将模拟得到的标准元器件的图像按照预存的形变参数放置后，与初始ROI对应的图像进行比对。

S205、在该初始ROI中选取多个特征点，并计算选取的特征点与该预置特征点的纹理相似度；

在实际应用中，利用局部灰度模型来分别计算预置特征点的局部纹理特征和选取的特征点的局部纹理特征。其中，纹理特征可以用局部特征的一阶导数来表示。设选取的特征点的纹理特征为g，预置特征点的纹理特征的均值为

则，选取的特征点与预置特征点的纹理相似度f为：

其中，

表示第i个预置特征点的局部纹理均值

g_ij表示第i 个预置特征点的第j个局部纹理特征，

表示第i个预置特征点的局部纹理方差，

需要说明的是，本发明实施例中，利用计算的马氏距离来表示纹理相似度f。

S206、将所述选取的特征点中该纹理相似度最高的特征点作为该目标特征点；

在实际应用中，可以用马氏距离来表示预置特征点与多个相似特征点之间的纹理特征相似度，马氏距离越小，相似度越高。具体的，将马氏距离最小的特征点作为目标特征点。

S207、获取该目标特征点的位置坐标；

假设获取到的目标特征点的位置坐标为(x，y)。

S208、利用预存的几何变换公式和该位置坐标行计算形变参数，以得到更新后的主动形状模型；

其中，几何变换公式为

将位置坐标(x，y)代入到几何变换公式中，计算出更新后形变参数

得到更新后的主动形状模型

S209、若更新后的主动形状模型与更新前的主动形状模型的偏差收敛，则将该更新后的主动形状模型在该待检测PCB的图像中所处的区域确定为ROI。

实际应用中，将该更新后的主动形状模型在该待检测PCB的图像中所处的区域确定为ROI之前，计算更新后的主动形状模型与更新前的主动形状模型的偏差，d＝X′-X，判断偏差d是否收敛，即lim_n→∞(X′-X)ⁿ是否收敛，若收敛，则将该更新后的主动形状模型在该待检测PCB的图像中所处的区域确定为 ROI，若不收敛，则继续步骤S204-S208，与步骤S204和S205不同的是，将利用第一次更新后主动形状模型得到的图像与第一次定位的ROI进行比对，在第一次定位的ROI中选取多个与目标特征点的纹理特征相似的特征点，随着更新次数的不同，对比的主动形状模型和定位的ROI的次数，以此类推。

需要说明的是，对于更新前的主动模型，若更新一次偏差可以收敛，则更新前的主动形状模型为预存的主动形状模型，若更新多次偏差可以收敛，则更新前的主动形状模型为经过多次更新的主动形状模型。

本发明实施例提供的一种在PCB上定位ROI的方法，通过从待检测PCB 的图像中提取的目标特征点来更新主动形状模型的形变参数，无论PCB的元器件的位置发生何种变化，都可以通过更新后的形变参数来调整主动形状模型的位置，从而定位ROI，进一步完成对PCB的检测。

请参阅图3，图3是本发明第三实施例提供的在PCB上定位ROI的装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图3 示例的在PCB上定位ROI的装置可以是前述图1和图2所示实施例提供的在PCB 上定位ROI的方法的执行主体，可以是在PCB上定位ROI的装置或在PCB上定位ROI的装置中的一个控制模块。图3示例的在PCB上定位ROI的装置，主要包括：获取模块301、确定模块302、提取模块303和更新模块304，以上各功能模块详细说明如下：

获取模块301，用于获取待检测PCB的图像。

确定模块302，用于在该待检测PCB的图像上确定初始ROI。

提取模块303，用于根据预存的主动形状模型在该初始ROI中提取目标特征点。

更新模块304，用于并根据该目标特征点更新形变参数，以得到更新后的主动形状模型。

确定模块302，还用于若该更新后的主动形状模型与更新前的主动形状模型的偏差收敛，则将该更新后的主动形状模型在该待检测PCB的图像中所处的区域确定为感兴趣区域。

上述各模块实现各自功能的方法，具体可参考前述图1所示第一实施例提供的接领人识别方法中的相关内容，此处不再赘述。

本发明实施例提供的一种在PCB上定位ROI的装置，通过从待检测PCB 的图像中提取的目标特征点来更新主动形状模型的形变参数，无论PCB的元器件的位置发生何种变化，都可以通过更新后的形变参数来调整主动形状模型的位置，从而定位ROI，进一步完成对PCB的检测。

请参阅图4，图4是本发明第四实施例提供的在PCB上定位ROI的装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图4示例的在PCB上定位ROI的装置可以是前述图1和图2所示实施例提供的在PCB 上定位ROI的方法的执行主体，可以是在PCB上定位ROI的装置或在PCB上定位ROI的装置中的一个控制模块。图4示例的在PCB上定位ROI的装置，主要包括：获取模块401、确定模块402、提取模块403、更新模块404和构建模块405，其中，确定模块402包括：信息提取模块412和位置确定模块422，提取模块403包括：对比模块413、特征计算模块423和特征确定模块433，更新模块404包括：坐标获取模块414和参数计算模块424，以上各功能模块详细说明如下：

获取模块401，用于获取待检测PCB的图像。

确定模块402，用于在该待检测PCB的图像上确定初始ROI。

提取模块403，用于根据预存的主动形状模型在该初始ROI中提取目标特征点。

更新模块404，用于并根据该目标特征点更新形变参数，以得到更新后的主动形状模型。

确定模块402，还用于若该更新后的主动形状模型与更新前的主动形状模型的偏差收敛，则将该更新后的主动形状模型在该待检测PCB的图像中所处的区域确定为感兴趣区域。

进一步地，确定模块402包括：

信息提取模块412，用于从计算机辅助设计信息中提取该待检测PCB中目标元器件的位置信息。

位置确定模块422，用于根据该位置信息在该待检测PCB的图像中确定初始位置，以及，将以该初始位置为中心的预置区域确定为该初始感兴趣区域。

进一步地，该装置还包括：

获取模块401，还用于获取标准元器件的图像。

该标准元器件与该目标元器件的外观一致。

构建模块405，用于利用该标准元器件的图像上的预置特征点构建该主动形状模型，并将该主动形状模型进行存储。

进一步地，提取模块403包括：

对比模块413，用于利用该预存的主动形状模型模拟该标准元器件的图像，并将得到的图像与初始感兴趣区域进行比对。

特征计算模块423，用于在该初始感兴趣区域中选取多个特征点，并计算选取的特征点与该预置特征点的纹理相似度。

特征确定模块433，用于将该选取的特征点中该纹理相似度最高的特征点作为该目标特征点。

进一步地，更新模块404包括：

坐标获取模块414，用于获取该目标特征点的位置坐标。

参数计算模块424，用于利用预存的几何变换公式和该位置坐标计算形变参数，以得到该更新后的主动形状模型。

上述各模块实现各自功能的方法，具体可参考前述图1和图2所示第一实施例和第二实施例提供的接领人识别方法中的相关内容，此处不再赘述。

本发明实施例提供的一种在PCB上定位ROI的装置，通过从待检测PCB 的图像中提取的目标特征点来更新主动形状模型的形变参数，无论PCB的元器件的位置发生何种变化，都可以通过更新后的形变参数来调整主动形状模型的位置，从而定位ROI，进一步完成对PCB的检测。

在本申请所提供的多个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信链接可以是通过一些接口，装置或模块的间接耦合或通信链接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的在PCB上定位ROI的方法和装置的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种在电路板上定位感兴趣区域的方法，其特征在于，所述方法包括：

获取待检测电路板的图像，并在所述待检测电路板的图像上确定初始感兴趣区域；

根据预存的主动形状模型在所述初始感兴趣区域中提取目标特征点，并根据所述目标特征点更新形变参数，以得到更新后的主动形状模型；

若所述更新后的主动形状模型与更新前的主动形状模型的偏差收敛，则将所述更新后的主动形状模型在所述待检测电路板的图像中所处的区域确定为感兴趣区域；

所述在所述待检测电路板的图像上确定初始的感兴趣区域，具体包括：

从计算机辅助设计信息中提取所述待检测电路板中目标元器件的位置信息，并根据所述位置信息在所述待检测电路板的图像中确定初始位置；

将以所述初始位置为中心的预置区域确定为所述初始感兴趣区域；

所述根据预存的主动形状模型在所述初始感兴趣区域中提取目标特征点之前，还包括：

获取标准元器件的图像，所述标准元器件与所述目标元器件的外观一致；

利用所述标准元器件的图像上的预置特征点构建所述主动形状模型，并将所述主动形状模型进行存储；

所述利用所述标准元器件的图像上的预置特征点构建所述主动形状模型，具体包括：调取目标元器件的图像中的多个预置特征点，并求目标元器件的平均形状；假设，多个预置特征点为x_i，i＝1，2，3...N，则目标元器件的平均形状为：

利用样本和样本的平均值计算协方差矩阵；协方差矩阵

其中，

计算协方差矩阵的特征值b_i和特征向量P_i，并根据信息量的比例，取得指定数量t的特征值b以及对应的特征向量P，得到该目标元器件的主动形状模型X；

其中，

为预存的主动形状模型形变参数，X_t，Y_t为平移变换参数，s为尺度变换参数，θ为旋转变换参数”。

2.根据权利要求1所述的方法，其特征在于，所述根据预存的主动形状模型在所述初始感兴趣区域中提取目标特征点，具体包括：

利用所述预存的主动形状模型模拟所述标准元器件的图像，并将得到的图像与初始感兴趣区域对应的图像进行比对；

在所述初始感兴趣区域中选取多个特征点，并计算选取的特征点与所述预置特征点的纹理相似度；

将所述选取的特征点中纹理相似度最高的特征点作为所述目标特征点。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标特征点更新形变参数，以得到更新后的主动形状模型，具体包括：

获取所述目标特征点的位置坐标；

利用预存的几何变换公式和所述位置坐标计算形变参数，以得到所述更新后的主动形状模型。

4.一种在电路板上定位感兴趣区域的装置，其特征在于，所述装置包括：

获取模块，用于获取待检测电路板的图像；

确定模块，用于在所述待检测电路板的图像上确定初始感兴趣区域；

提取模块，用于根据预存的主动形状模型在所述初始感兴趣区域中提取目标特征点；

更新模块，用于并根据所述目标特征点更新形变参数，以得到更新后的主动形状模型；

所述确定模块，还用于若所述更新后的主动形状模型与更新前的主动形状模型的偏差收敛，则将所述更新后的主动形状模型在所述待检测电路板的图像中所处的区域确定为感兴趣区域；

所述确定模块包括：

信息提取模块，用于从计算机辅助设计信息中提取所述待检测电路板中目标元器件的位置信息；

位置确定模块，用于根据所述位置信息在所述待检测电路板的图像中确定初始位置；以及，将以所述初始位置为中心的预置区域确定为所述初始感兴趣区域；

所述获取模块，还用于获取标准元器件的图像，所述标准元器件与所述目标元器件的外观一致；

构建模块，用于利用所述标准元器件的图像上的预置特征点构建所述主动形状模型，并将所述主动形状模型进行存储；

所述利用所述标准元器件的图像上的预置特征点构建所述主动形状模型，具体包括：调取目标元器件的图像中的多个预置特征点，并求目标元器件的平均形状；假设，多个预置特征点为x_i，i＝1，2，3...N，则目标元器件的平均形状为：

利用样本和样本的平均值计算协方差矩阵；协方差矩阵

其中，

计算协方差矩阵的特征值b_i和特征向量P_i，并根据信息量的比例，取得指定数量t的特征值b以及对应的特征向量P，得到该目标元器件的主动形状模型X；

其中，

为预存的主动形状模型形变参数，X_t，Y_t为平移变换参数，s为尺度变换参数，θ为旋转变换参数”。

5.根据权利要求4所述的装置，其特征在于，所述提取模块包括：

对比模块，用于利用所述预存的主动形状模型模拟所述标准元器件的图像，并将得到的图像与初始感兴趣区域对应的图像进行比对；

特征计算模块，用于在所述初始感兴趣区域中选取多个特征点，并计算选取的特征点与所述预置特征点的纹理相似度；

特征确定模块，用于将所述选取的特征点中所述纹理相似度最高的特征点作为所述目标特征点。

6.根据权利要求4所述的装置，其特征在于，所述更新模块包括：

坐标获取模块，用于获取所述目标特征点的位置坐标；

参数计算模块，用于利用预存的几何变换公式和所述位置坐标计算形变参数，以得到所述更新后的主动形状模型。

Images