CN114581506A - 一种结合二维与三维信息精确计算高度的并行算法 - Google Patents

Abstract

在泛电子领域高速高精度的3D测量系统中关于电路板元素（如丝印，锡膏，孔洞，异物，元件等）识别一直是复杂的问题，由于不同类型的电路板颜色各异，甚至同一类型的电路板都可能出现很大的色差，且电路板表面可能受光照不均匀、材质吸光或反光等因素影响，传统单独基于2D图像信息或3D点云数据的方法都因为各自算法的局限性，无法准确地识别出各元素，且3D点云数据计算量极大，计算效率慢，不能满足实时检测的需求。本发明提出一种结合二维与三维信息精确计算高度的并行算法，通过异构并行运算单元根据2D和3D信息对各元素进行快速准确的识别并精确计算各元素的相对高度，满足设备在线实时检测的需求。

Description

一种结合二维与三维信息精确计算高度的并行算法

技术领域

本发明涉及泛电子领域3D检测技术，尤其涉及条纹投影轮廓术、三角光切线扫轮廓术等3D检测设备中结合检测对象2D和3D信息的元素识别方法并计算相对高度的异构并行架构（如GPU、APU、FPGA等）的实现。

背景技术

在泛电子领域3D检测技术中关于电路板(PCB，Printed Circuit Board)元素（如丝印，锡膏，孔洞，异物，元件等）识别一直是复杂的问题，由于不同类型的PCB颜色各异，甚至同一类型的PCB都可能出现很大的色差，且PCB表面可能受光照不均匀、材质吸光或反光等因素影响，仅仅只是单独基于2D图像信息或3D点云数据的方法都因为各自算法的局限性，无法准确地识别出各元素，尤其是3D置信度低的元素，识别时会出现大量的误报，且3D点云数据计算量极大，计算效率慢，不能满足实时检测的需求。本发明旨在结合2D和3D信息，准确识别出元素类型并计算出各元素的相对高度，通过异构并行运算单元加速来满足在线检测的实时性要求。

发明内容

本发明要解决的技术问题是识别PCB各元素信息（如丝印，锡膏，孔洞，异物，元件等）精度低，效率慢的问题，提供一种具有更快检测速度、并能准确识别PCB上各元素从而精确计算相对高度的异构并行算法。

本发明通过下述技术方案解决上述技术问题：一种结合二维与三维信息精确计算高度的并行算法，该方法采用检测设备中的视觉及数据处理装置，包含R（红光），G（绿光），B（蓝光），T（顶部光）2D光源、工业面阵相机、3D投影装置以及含有支持异构并行运算单元的上位机（如工控机、Jetson平台，FPGA嵌入式平台等）组成。该方法包括以下。

S1、按照预设的曝光时序依次点亮各2D光源，工业面阵相机拍摄对应的2D灰度图像，传输到上位机等待后续计算。

S2、投影装置生成一系列带有相位移的正弦条纹光图像，工业面阵相机拍摄对应的条纹光图像，传输到上位机等待后续计算。

S₃、根据投影装置的条纹光图像求出每个投影装置的置信度，置信度根据公式求出：图像坐标i点的置信度M _i 按如下公式计算：

M _i =max(P _i,j )-min(P _i,j )

其中i=1,…,n，n为像素数；j=1,…,m，m为相移步数，该部分置信度计算方法通过异构并行运算单元加速以提高算法效率。

S₄、根据投影装置标定的相位-高度映射关系，计算出图像每一个像素点的绝对高度H _i ，其中i=1,…,n，n为像素数，该部分绝对高度并行算法通过异构并行运算单元加速以提高算法效率。

S₅、根据先验经验预先设定的每个2D光源的元素灰度阈值范围定义PCB各元素，通过算法基于实际图像自适应调整PCB各元素灰度阈值范围，提升元素识别的准确率，其中不同2D光源图像之间的“与或”逻辑可以自由设置，获取不同2D光源图像识别各元素的交集为2D识别的最终结果，该部分基于2D图像识别元素的并行算法通过异构并行运算单元加速以提高算法效率。

S₆、根据先验经验预先设定PCB元素的置信度和绝对高度的阈值范围定义PCB各元素，通过算法基于计算结果自适应调整PCB各元素置信度和绝对高度的阈值范围，提升元素识别的准确率，其中3D信息与2D信息之间元素识别是“与”的关系，获取不同3D投影装置识别各元素与2D光源图像识别各元素的交集为元素识别的最终结果，该部分基于置信度与绝对高度识别元素的并行算法通过异构并行运算单元加速以提高算法效率。

S₇、根据S₅和S₆最终得到PCB上元素图像的Mask（掩膜，用来标记PCB板不同元素的标志位），Mask的元素标识需要同时满足2D光源的灰度阈值、3D投影装置的置信度阈值及绝对高度阈值，基于2D与3D信息，使用正态分布方法对该Mask进行最终修正，修正后的Mask用于后续的计算。

S₈、根据S₃和S₇可计算出PCB板上所有元素基于PCB底板的相对高度，该部分计算相对高度的并行算法通过异构并行运算单元加速以提高算法效率。

其中，步骤S₁包括：S₉、每种2D光源的使能选项以及曝光时间可设定；每种元素在对应2D光源下的阈值范围都可设定；针对不同2D光源下取像元素分析的“与或”逻辑可设定。

其中，步骤S₂包括：S₁₀、每个3D投影装置的使能选项以及曝光时间，相位移动的步数可设定；每种元素对应的置信度和绝对高度阈值范围可设定。

其中，步骤S₄包括：S₁₁、每个像素点得到的绝对高度H _i 取决于投影装置预先标定的相位-高度映射参数。

其中，步骤S_5、S₆包括：S₁₂、生成Mask，一次性载入2D图像到异构并行运算单元的内存中，每个像素点单独分配一个计算单元（如GPU中的核，FPGA中的逻辑门和触发器），通过判断灰度值是否在阈值范围内设置每个像素元素的属性，每个计算单元完全并行计算，当所有计算单元计算结束后，异构并行运算单元再同步所有计算单元的结果，在异构并行运算单元的内存中生成一个2D灰度图像的Mask数据阵列，其中Mask _i = E，P _i > E _min& P _i <E _max ，i=1,…,n，n为像素数；P _i 代表2D图像第i个像素的灰度值，E _min和E _max 代表元素E的阈值范围上下限。S₁₃、修正Mask，后续2D光源图像依次载入异构并行运算单元的内存，当2D光源之间是“与”的关系时，只要灰度不在阈值范围内，对Mask进行去元素属性操作，通过位操作“与非”逻辑实现去属性的功能，其中Mask _i = Mask _i & ^~ E，P _i <= E _min& P _i > E _max 。S₁₄、修正Mask，后续2D光源图像依次载入异构并行运算单元的内存，当2D光源之间是“或”的关系时，只要灰度在阈值范围内，对Mask进行添加元素属性操作，通过位操作“或”逻辑实现增加属性的功能，其中Mask _i = Mask _i | E，P _i > E _min& P _i < E _max 。S₁₅、修正Mask，后续3D图像一次性载入到异构并行运算单元的内存中，每个像素单独分配一个计算单元，计算出所有像素的置信度，通过判断置信调制度及绝对高度是否在阈值范围内设置每个像素元素的属性，3D图像与2D图像之间是“与”的关系，只要置信度或绝对高度不在阈值范围内，对Mask进行去元素属性操作，通过位操作“与非”逻辑实现去属性的功能，Mask _i = Mask _i & ^~ M _i ，M _i <= M _min&M _i > M _max ，Mask _i = Mask _i & ^~ H _i， H _i <= H _min& H _i > H _max ，其中i=1,…,n，n为像素数；M _i 代表3D图像第i个像素的置信度，M _max和M _min 代表元素置信度的阈值上下限；H _i 代表3D图像第i个像素的绝对高度，H _max 和H _min代表元素绝对高度的阈值上下限。S₁₆、异构并行运算单元分配计算单元的数量会根据当前异构并行运算单元型号以及图像大小自适应确定。

附图说明

图1为本发明采用的视觉系统的示意图。

图2为本发明元素识别方法的完整流程示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明，以详细说明本发明的技术方案。

如图1所示，本发明的视觉系统及数据处理装置由R，G，B，T的2D光源、工业面阵相机、3D投影装置以及含有支持异构并行运算单元的上位机组成。上位机负责光源的使能控制，曝光时序控制，图像获取以及后续数据处理，其中本发明的元素识别方法及高度计算部分通过异构并行架构实现。下面对本发明中结合二维与三维信息精确计算高度的并行算法实现进行详细说明。

S₁、按照预设的曝光时序依次点亮各2D光源，工业面阵相机拍摄对应的2D灰度图像，传输到上位机等待后续计算。

S₂、投影装置生成一系列带有相位移的正弦条纹光图像，工业面阵相机拍摄对应的条纹光图像，传输到上位机等待后续计算。

S₃、根据投影装置的条纹光图像求出每个投影装置的置信度，置信度根据公式求出：图像坐标i点的置信度M _i 按如下公式计算：

M _i =max(P _i,j )-min(P _i,j )

其中i=1,…,n，n为像素数；j=1,…,m，m为相移步数，该部分置信度计算方法通过异构并行运算单元加速以提高算法效率。

S₄、根据投影装置标定的相位-高度映射关系，计算出图像每一个像素点的绝对高度H _i ，其中i=1,…,n，n为像素数，该部分绝对高度并行算法通过异构并行运算单元加速以提高算法效率。

S₅、根据先验经验预先设定的每个2D光源的元素灰度阈值范围定义PCB各元素，通过算法基于实际图像自适应调整PCB各元素灰度阈值范围，提升元素识别的准确率，其中不同2D光源图像之间的“与或”逻辑可以自由设置，获取不同2D光源图像识别各元素的交集为2D识别的最终结果，该部分基于2D图像识别元素的并行算法通过异构并行运算单元加速以提高算法效率。

S₆、根据先验经验预先设定PCB元素的置信度和绝对高度的阈值范围定义PCB各元素，通过算法基于计算结果自适应调整PCB各元素置信度和绝对高度的阈值范围，提升元素识别的准确率，其中3D信息与2D信息之间元素识别是“与”的关系，获取不同3D投影装置识别元素与2D光源图像识别元素的交集为元素识别的最终结果，该部分基于置信度与绝对高度识别元素的并行算法通过异构并行运算单元加速以提高算法效率。

S₇、根据S₅和S₆最终得到PCB上元素图像的Mask，Mask的元素标识需要同时满足2D光源的灰度阈值、3D投影装置的置信度阈值及绝对高度阈值，基于2D与3D信息，使用正态分布法对该Mask进行最终修正，修正后的Mask用于后续的计算。

S₈、根据S₃和S₇可计算出PCB板上所有元素基于PCB底板的相对高度，该部分计算相对高度的并行算法通过异构并行运算单元加速以提高算法效率。

综上所述，本发明基于先验经验对PCB上各元素的2D灰度信息及3D置信度与绝对高度信息进行预筛选，再结合正态分布算法对各元素进行再次过滤，提升元素识别的准确率，有效地减少因PCB颜色差异、光照不均匀、表面材质吸光或反光等因素造成的元素识别错误，从而精确的计算出各元素的相对高度。通过异构并行运算单元对算法进行并行加速，满足设备在线检测的实时性要求。另外，本发明可灵活配置光源之间的使能和逻辑关系，极大的提高了算法的适用性，可以应对实际检测中各种复杂的情况。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (5)

1.泛电子领域3D检测技术（如条纹投影轮廓术、三角光切线扫轮廓术等）中结合检测对象二维与三维信息精确计算高度的并行算的实现，该方法采用检测设备中的视觉及数据处理装置，包含R，G，B，T的2D光源、工业面阵相机、3D投影装置以及含有支持异构并行运算单元（如GPU、APU、FPGA等）的上位机（如工控机、Jetson平台，FPGA嵌入式平台等）组成，该方法包括：

S₁、按照预设的曝光时序依次点亮各2D光源，工业面阵相机拍摄对应的2D灰度图像，传输到上位机等待后续计算；

S₂、投影装置生成一系列带有相位移的正弦条纹光图像，工业面阵相机拍摄对应的条纹光图像，传输到上位机等待后续计算；

S₃、根据投影装置的条纹光图像求出每个投影装置的置信度，置信度根据公式求出：图像坐标i点的置信度M _i 按如下公式计算：

M _i =max(P _i,j )-min(P _i,j )

其中i=1,…,n，n为像素数；j=1,…,m，m为相移步数，该部分置信度计算方法通过异构并行运算单元加速以提高算法效率；

S₄、根据投影装置标定的相位-高度映射关系，计算出图像每一个像素点的绝对高度H _i ，其中i=1,…,n，n为像素数，该部分绝对高度并行算法通过异构并行运算单元加速以提高算法效率；

S₅、根据先验经验预先设定的每个2D光源的元素灰度阈值范围定义PCB各元素，通过算法基于实际图像自适应调整PCB各元素灰度阈值范围，提升元素识别的准确率，其中不同2D光源图像之间的“与或”逻辑可以自由设置，获取不同2D光源图像识别各元素的交集为2D识别的最终结果，该部分基于2D图像识别元素的并行算法通过异构并行运算单元加速以提高算法效率；

S₆、根据先验经验预先设定PCB元素的置信度和绝对高度的阈值范围定义PCB各元素，通过算法基于计算结果自适应调整PCB各元素置信度和绝对高度的阈值范围，提升元素识别的准确率，其中3D信息与2D信息之间元素识别是“与”的关系，获取不同3D投影装置识别各元素与2D光源图像识别各元素的交集为元素识别的最终结果，该部分基于置信度与绝对高度识别元素的并行算法通过异构并行运算单元加速以提高算法效率；

S₇、根据S₅和S₆最终得到PCB上元素图像的Mask，Mask的元素标识需要同时满足2D光源的灰度阈值、3D投影装置的置信度阈值及绝对高度阈值，基于2D与3D信息，使用正态分布方法对该Mask进行最终修正，修正后的Mask用于后续的计算；

S₈、根据S₃和S₇可计算出PCB板上所有元素基于PCB底板的相对高度，该部分计算相对高度的并行算法通过异构并行运算单元加速以提高算法效率。

2.如权利要求1所述的方法，其特征在于，步骤S₁包括：

S₉、每种2D光源的使能选项以及曝光时间可设定；每种元素在对应2D光源下的阈值范围都可设定；针对不同2D光源下取像元素分析的“与或”逻辑可设定。

3.如权利要求1所述的方法，其特征在于，步骤S₂包括：

S₁₀、每个3D投影装置的使能选项以及曝光时间，相位移动的步数可设定；每种元素对应的置信度和绝对高度阈值范围可设定。

4.如权利要求1所述的方法，其特征在于，步骤S₄包括：

S₁₁、每个像素点得到的绝对高度H _i 取决于投影装置预先标定的相位-高度映射参数。

5.如权利要求1所述的方法，其特征在于，步骤S₅，S₆包括：

S₁₂、生成Mask，一次性载入2D图像到异构并行运算单元的内存中，每个像素点单独分配一个计算单元（如GPU中的核，FPGA中的逻辑门和触发器），通过判断灰度值是否在阈值范围内设置每个像素元素的属性，每个计算单元完全并行计算，当所有计算单元计算结束后，异构并行运算单元再同步所有计算单元的结果，在异构并行运算单元的内存中生成一个2D灰度图像的Mask数据阵列，其中：

Mask _i = E，P _i > E _min& P _i < E _max ，i=1,…,n

n为像素数；P _i 代表2D图像第i个像素的灰度值，E _min和E _max 代表元素E的阈值范围上下限；

S₁₃、修正Mask，后续2D光源图像依次载入异构并行运算单元的内存，当2D光源之间是“与”的关系时，只要灰度不在阈值范围内，对Mask进行去元素属性操作，通过位操作“与非”逻辑实现去属性的功能，其中：

Mask _i = Mask _i & ^~ E，P _i <= E _min& P _i > E _max

S₁₄、修正Mask，后续2D光源图像依次载入异构并行运算单元的内存，当2D光源之间是“或”的关系时，只要灰度在阈值范围内，对Mask进行添加元素属性操作，通过位操作“或”逻辑实现增加属性的功能，其中：

Mask _i = Mask _i | E，P _i > E _min& P _i < E _max

S₁₅、修正Mask，后续3D图像一次性载入到异构并行运算单元的内存中，每个像素单独分配一个计算单元，计算出所有像素的置信度，通过判断置信调制度及绝对高度是否在阈值范围内设置每个像素元素的属性，3D图像与2D图像之间是“与”的关系，只要置信度或绝对高度不在阈值范围内，对Mask进行去元素属性操作，通过位操作“与非”逻辑实现去属性的功能，操作如下：

Mask _i = Mask _i & ^~ M _i ，M _i <= M _min& M _i > M _max

Mask _i = Mask _i & ^~ H _i ，H _i <= H _min& H _i > H _max

其中i=1,…,n，n为像素数；M _i 代表3D图像第i个像素的置信度，M _max和M _min 代表元素置信度的阈值上下限；H _i 代表3D图像第i个像素的绝对高度，H _max 和H _min代表元素绝对高度的阈值上下限；

S₁₆、异构并行运算单元分配计算单元的数量会根据当前异构并行运算单元型号以及图像大小自适应确定。

Images