CN117190866B - 多个堆叠电子元器件的极性判别检测方法、装置和设备 - Google Patents
多个堆叠电子元器件的极性判别检测方法、装置和设备 Download PDFInfo
- Publication number
- CN117190866B CN117190866B CN202311475284.5A CN202311475284A CN117190866B CN 117190866 B CN117190866 B CN 117190866B CN 202311475284 A CN202311475284 A CN 202311475284A CN 117190866 B CN117190866 B CN 117190866B
- Authority
- CN
- China
- Prior art keywords
- image
- electronic component
- detected
- matching
- polar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 99
- 238000012545 processing Methods 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000003709 image segmentation Methods 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 16
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000007599 discharging Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100379081 Emericella variicolor andC gene Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请涉及一种多个堆叠电子元器件的极性判别检测方法、装置和设备，该方法包括获取待测电子元器件的采集图像，对采集图像进行匹配、定位处理，得到定位图像；获取摄像设备的参数数据，根据参数数据对定位图像进行立体匹配、图像分割处理，得到三维坐标；根据三维坐标通过机械手将待测电子元器件移动至极性检测区，获取检测图像；对检测图像进行分析处理，得到极性圆坐标；根据极性圆坐标与极性检测区上设置的极性圆标准坐标比较，得到极性判别结果。该方法通过计算得到待测电子元器件的三维坐标；根据三维坐标通过机械手将待测电子元器件移动至极性检测区进行检测得到极性圆坐标，根据极性圆坐标与极性圆标准坐标对比完成对器件的极性识别。
Description
技术领域
本申请涉及器件检测技术领域，尤其涉及一种多个堆叠电子元器件的极性判别检测方法、装置和设备。
背景技术
半导体产业属于国民经济的基础性支撑产业，测试分选设备作为IC元器件功能的检测设备，是半导体制造流程中的核心关键设备。
近些年来，基于机器视觉的零件自动化上下料技术在生产过程中得到越来越广泛的应用。常规的视觉定位实现上下料过程大多从二维方面展开，可以采用机械臂设置固定的下放深度距离实现上下料过程。但对IC元器件在分选测试过程中，IC元器件会随机摆放在物料框内，存在多个IC元器件混叠堆放的情况，常规的二维视觉无法检测出IC元器件在深度方向的位置，固定的下降深度可能会造成IC元器件的损坏变形或损坏机械手末端执行器。其次，IC元器件在封装类型上具有多样性、外形差异性的特点，传统的二维视觉上下料只能针对某种单一元器件的实现定位识别，不同元器件需人工设置不同的下放深度，系统柔性较差，可扩展性受限，无法满足生产过程中实际需求。同时，对于一些复杂的芯片，芯片的引脚数量可能非常多，如果一个引脚与其他引脚连接错误，就会导致整个电路板的功能失效。为了防止贴片芯片被贴反，厂家生产芯片时都会在芯片的一个直角旁边打一个小圆孔作为极性的标志。因此，在IC元器件的生产过程中，芯片极性圆位检测是非常重要的一环，它可以有效地保证产品的质量和可靠性，避免不必要的损失和风险。
发明内容
本申请实施例提供了一种多个堆叠电子元器件的极性判别检测方法、装置和设备，用于解决现有对IC元器件的极性检测存在器件堆叠，机械手固定下降深度抓取会造成元器件损坏的技术问题。
为了实现上述目的，本申请实施例提供如下技术方案：
一方面，提供了一种多个堆叠电子元器件的极性判别检测方法，包括以下步骤：
获取待测电子元器件的采集图像，对所述采集图像进行匹配、定位处理，得到定位到待测电子元器件的定位图像；
获取与所述采集图像对应摄像设备的参数数据，根据所述参数数据对所述定位图像进行立体匹配、图像分割处理，得到待测电子元器件的三维坐标；
根据所述三维坐标通过机械手将待测电子元器件移动至极性检测区，获取待测电子元器件的检测图像；
对所述检测图像进行分析处理，得到待测电子元器件的极性圆坐标；根据所述极性圆坐标与所述极性检测区上设置的极性圆标准坐标比较，得到待测电子元器件的极性判别结果。
优选地，对所述采集图像进行匹配、定位处理，得到定位到待测电子元器件的定位图像包括：
获取电子元器件的模板图像，对所述模板图像进行预处理、旋转后，得到旋转模板图像；
对所述采集图像进行二值化、滤波处理，得到处理采集图像；根据所述处理采集图像构建图像金字塔，得到待搜索图像；
采用NCC匹配算法对所述待搜索图像和所述转模板图像进行NCC匹配，得到M个匹配值；
将M个所述匹配值按从大到小排序，选取与前N个排序后的所述匹配值对应的像素点位置作为搜索定位的N个目标待测电子元器件，将N个所述目标待测电子元器件构成二维的定位图像。
优选地，根据所述参数数据对所述定位图像进行立体匹配、图像分割处理，得到待测电子元器件的三维坐标包括：
对所述定位图像采用Gamma校正、滤波处理，得到预处理后图像；
采用改进Census匹配算法对所述预处理后图像进行立体匹配处理，得到视差图像；
采用基于视差的区域生长分割算法对所述视差图像进行图像分割，得到分割图像；
获取分割图像中待测电子元器件在摄像设备坐标系下的坐标数据，根据所述参数数据和所述坐标数据计算，得到待测电子元器件的三维坐标。
优选地，所述摄像设备为双目相机，则对应的所述预处理后图像包含两张，采用改进Census匹配算法对所述预处理后图像进行立体匹配处理，得到视差图像包括：
采用Census变换窗口将每张所述预处理后图像分为四个子区域，获取每个所述子区域的像素均匀度；
根据所有所述像素均匀度计算，得到与每张所述预处理后图像对应的中心像素灰度值；
采用多路径代价聚合算法根据所述中心像素灰度值对每张所述预处理后图像进行一维聚合，得到对应两张视差细化图像：
根据两张所述视差细化图像对应像素点之间的像素距离差值，并将像素距离差值满足差值阈值对应的其中一个像素点形成视差图像。
优选地，根据所述参数数据和所述坐标数据计算，得到待测电子元器件的三维坐标包括：
根据所述坐标数据和所述参数数据采用视差计算公式计算，得到待测电子元器件的视差值；
根据所述参数数据、所述视差值和所述坐标数据采用坐标计算公式计算，得到待测电子元器件的三维坐标；
所述视差计算公式为：
；
所述坐标计算公式为：
；
式中，d为待测电子元器件的视差值，f为参数数据的焦距，B为参数数据的基线距离，X、Y、Z为待测电子元器件在摄像设备坐标系下X轴、Y轴、Z轴的坐标数据，x、y、z为待测电子元器件在X轴、Y轴、Z轴在的三维坐标。
优选地，对所述检测图像进行分析处理，得到待测电子元器件的极性圆坐标；根据所述极性圆坐标与所述极性检测区上设置的极性圆标准坐标比较，得到待测电子元器件的极性判别结果包括：
采用轮廓检测算法的轮廓查找函数在所述检测图像进行极性圆定位，得到极性圆；
通过所述极性圆的数个圆形边界点确定对应所述极性圆的圆心；
获取圆心的坐标并将所述圆心的坐标作为极性圆坐标；
若所述极性圆坐标与所述极性圆标准坐标之间的差值满足差值设置值，则待测电子元器件的极性判别结果为正确的；若所述极性圆坐标与所述极性圆标准坐标之间的差值不满足差值设置值，则待测电子元器件的极性判别结果为错误的。
再一方面，提供了一种多个堆叠电子元器件的极性判别检测装置，包括匹配定位模块、匹配分割模块、移动获取模块和极性判别模块；
所述匹配定位模块，用于获取待测电子元器件的采集图像，对所述采集图像进行匹配、定位处理，得到定位到待测电子元器件的定位图像；
所述匹配分割模块，用于获取与所述采集图像对应摄像设备的参数数据，根据所述参数数据对所述定位图像进行立体匹配、图像分割处理，得到待测电子元器件的三维坐标；
所述移动获取模块，用于根据所述三维坐标通过机械手将待测电子元器件移动至极性检测区，获取待测电子元器件的检测图像；
所述极性判别模块，用于对所述检测图像进行分析处理，得到待测电子元器件的极性圆坐标；根据所述极性圆坐标与所述极性检测区上设置的极性圆标准坐标比较，得到待测电子元器件的极性判别结果。
优选地，所述匹配定位模块包括第一处理子模块、第二处理子模块、匹配子模块和定位子模块；
所述第一处理子模块，用于获取电子元器件的模板图像，对所述模板图像进行预处理、旋转后，得到旋转模板图像；
所述第二处理子模块，用于对所述采集图像进行二值化、滤波处理，得到处理采集图像；根据所述处理采集图像构建图像金字塔，得到待搜索图像；
所述匹配子模块，用于采用NCC匹配算法对所述待搜索图像和所述转模板图像进行NCC匹配，得到M个匹配值；
所述定位子模块，用于将M个所述匹配值按从大到小排序，选取与前N个排序后的所述匹配值对应的像素点位置作为搜索定位的N个目标待测电子元器件，将N个所述目标待测电子元器件构成二维的定位图像。
优选地，所述匹配分割模块包括第三处理子模块、立体匹配子模块、图像分割子模块和坐标计算子模块；
所述第三处理子模块，用于对所述定位图像采用Gamma校正、滤波处理，得到预处理后图像；
所述立体匹配子模块，用于采用改进Census匹配算法对所述预处理后图像进行立体匹配处理，得到视差图像；
所述图像分割子模块，用于采用基于视差的区域生长分割算法对所述视差图像进行图像分割，得到分割图像；
所述坐标计算子模块，用于获取分割图像中待测电子元器件在摄像设备坐标系下的坐标数据，根据所述参数数据和所述坐标数据计算，得到待测电子元器件的三维坐标。
再一方面，提供了一种终端设备，包括处理器以及存储器；
所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器，用于根据所述程序代码中的指令执行上述所述的多个堆叠电子元器件的极性判别检测方法。
该多个堆叠电子元器件的极性判别检测方法、装置和设备，该方法包括获取待测电子元器件的采集图像，对采集图像进行匹配、定位处理，得到定位到待测电子元器件的定位图像；获取与采集图像对应摄像设备的参数数据，根据参数数据对定位图像进行立体匹配、图像分割处理，得到待测电子元器件的三维坐标；根据三维坐标通过机械手将待测电子元器件移动至极性检测区，获取待测电子元器件的检测图像；对检测图像进行分析处理，得到待测电子元器件的极性圆坐标；根据极性圆坐标与极性检测区上设置的极性圆标准坐标比较，得到待测电子元器件的极性判别结果。从以上技术方案可以看出，本申请实施例具有以下优点：该多个堆叠电子元器件的极性判别检测方法通过三维立体机器视觉技术感知环境，对散落、堆叠及不同的待测电子元器件图像进行分析得到待测电子元器件的三维坐标；之后根据三维坐标通过机械手将待测电子元器件移动至极性检测区采集检测图像，通过分析检测图像得到极性圆坐标，将极性圆坐标与极性圆标准坐标对比完成对器件的极性识别，解决了现有对IC元器件的极性检测存在器件堆叠，机械手固定下降深度抓取会造成元器件损坏的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法的步骤流程图；
图2为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法的框架流程图；
图3为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法中通过摄像设备采集图像的结构示意图；
图4为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法中获取定位图像的框架流程图；
图5为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法中计算三维坐标的框架流程图；
图6为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法中视差图像的示意图；
图7为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法中区域生长图像分割的示意图；
图8为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法中极性检测的框架示意图；
图9为本申请实施例所述的多个堆叠电子元器件的极性判别检测装置的框架流程图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请实施例中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请实施例中的具体含义。
本申请实施例提供了一种多个堆叠电子元器件的极性判别检测方法、装置和设备，解决了现有对IC元器件的极性检测存在器件堆叠，机械手固定下降深度抓取会造成元器件损坏的技术问题。在本实施例中，该多个堆叠电子元器件的极性判别检测方法、装置和设备可以适用于电子元器件的极性检测，在本实施例中，以IC器件作为电子元器件进行案例说明。
实施例一：
图1为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法的步骤流程图，图2为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法的框架流程图，图3为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法中通过摄像设备采集图像的结构示意图。
如图1和图2所示，本申请实施例提供了一种多个堆叠电子元器件的极性判别检测方法，包括以下步骤：
S1.获取待测电子元器件的采集图像，对采集图像进行匹配、定位处理，得到定位到待测电子元器件的定位图像。
需要说明的是，在步骤S1中是通过摄像设备获取待测电子元器件的采集图像，之后对获取的采集图像进行处理，得到对应的定位图像，避免电子元器件之间重叠遮挡识别定位。在本实施例中，摄像设备可以选为双目相机，则得到两张采集图像。
如图3所示，在本申请实施例中，该多个堆叠电子元器件的极性判别检测方法在通过摄像设备采集待测电子元器件的图像过程中，将待测电子元器件放置在测试站4，摄像设备1通过支架3设置在测试站4的上方。为了便于采集待测电子元器件的图像，摄像设备1与支架3之间通过距离调节滑块2连接。
S2.获取与采集图像对应摄像设备的参数数据，根据参数数据对定位图像进行立体匹配、图像分割处理，得到待测电子元器件的三维坐标。
需要说明的是，在步骤S2中是获取摄像设备的参数数据，参数数据包括摄像设备采集图像的焦距和基线距离；之后对定位图像进行立体匹配、图像分割处理过程中根据参数数据计算得到待测电子元器件的三维坐标，是为了解决电子元器件深度信息未知的问题。
S3.根据三维坐标通过机械手将待测电子元器件移动至极性检测区，获取待测电子元器件的检测图像。
需要说明的是，在步骤S3中是基于步骤S2得到待测电子元器件位置的三维坐标，通过机械手根据三维坐标从测试站上抓取待测电子元器件并将待测电子元器件移动至极性检测区，再通过单相机的摄像设备获取待测电子元器件的检测图像。
S4.对检测图像进行分析处理，得到待测电子元器件的极性圆坐标；根据极性圆坐标与极性检测区上设置的极性圆标准坐标比较，得到待测电子元器件的极性判别结果。
需要说明的是，在步骤S4中是基于步骤S3采集的检测图像，对检测图像进行出席处理，得到待测电子元器件的极性圆坐标，之后将极性圆坐标与极性检测区本身设置的极性圆标准坐标对比，确定待测电子元器件的极性是正确的还是错误的。该多个堆叠电子元器件的极性判别检测方法可以解决电子元器件人工极性检测错误造成元器件损坏的问题。
在本申请实施例中，该多个堆叠电子元器件的极性判别检测方法可实现从多目标堆叠的电子元器件中快速搜索识别定位到待测电子元器件，并获取到待测电子元器件在三维空间下的三维坐标，为后续机械手的上下料过程提供有效信息；待上下料工作完成后，开展待测电子元器件极性识别检测，防止了极性方向判别错误造成元器件损坏从而导致批量损坏等问题。
本申请提供的一种多个堆叠电子元器件的极性判别检测方法，该方法包括获取待测电子元器件的采集图像，对采集图像进行匹配、定位处理，得到定位到待测电子元器件的定位图像；获取与采集图像对应摄像设备的参数数据，根据参数数据对定位图像进行立体匹配、图像分割处理，得到待测电子元器件的三维坐标；根据三维坐标通过机械手将待测电子元器件移动至极性检测区，获取待测电子元器件的检测图像；对检测图像进行分析处理，得到待测电子元器件的极性圆坐标；根据极性圆坐标与极性检测区上设置的极性圆标准坐标比较，得到待测电子元器件的极性判别结果。该多个堆叠电子元器件的极性判别检测方法通过三维立体机器视觉技术感知环境，对散落、堆叠及不同的待测电子元器件图像进行分析得到待测电子元器件的三维坐标；之后根据三维坐标通过机械手将待测电子元器件移动至极性检测区采集检测图像，通过分析检测图像得到极性圆坐标，将极性圆坐标与极性圆标准坐标对比完成对器件的极性识别，解决了现有对IC元器件的极性检测存在器件堆叠，机械手固定下降深度抓取会造成元器件损坏的技术问题。
图4为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法中获取定位图像的框架流程图。
如图4所示，在本申请的一个实施例中，对采集图像进行匹配、定位处理，得到定位到待测电子元器件的定位图像包括：
获取电子元器件的模板图像，对模板图像进行预处理、旋转后，得到旋转模板图像；
对采集图像进行二值化、滤波处理，得到处理采集图像；根据处理采集图像构建图像金字塔，得到待搜索图像；
采用NCC匹配算法对待搜索图像和转模板图像进行NCC匹配，得到M个匹配值；
将M个匹配值按从大到小排序，选取与前N个排序后的匹配值对应的像素点位置作为搜索定位的N个目标待测电子元器件，将N个目标待测电子元器件构成二维的定位图像；其中，N为大于0的自然数，N小于M。
需要说明的是，在对生产的电子元器件进行极性检测过程中，电子元器件大多随机堆放在物料框内，相互之间存在遮挡重叠的情况，同时电子元器件具有结构复杂、尺寸小等特点。因此需要快速的搜索定位方法去找寻到需要抓取的待测电子元器件。该多个堆叠电子元器件的极性判别检测方法采用基于改进的NCC匹配算法，如图4所示。首先用摄像设备得到采集图像，对采集图像进行二值化、滤波处理、开闭运算等图像预处理工作并将处理的图像构建图像金字塔，得到待搜索图像。然后获取模板图像，对模板图像可以采用二值化、滤波处理后，旋转模板图像，用旋转后的旋转模板图像在待搜索图像中实现多角度的搜索定位。采用图像金字塔对待搜索图像进行下采样提高计算速度进行全图匹配后得到M个匹配值，对M个匹配值按从大到小进行排序，选取前N个最大值的匹配值作为候选点实现搜索定位到多个目标待测电子元器件，由N个目标待测电子元器件所在的图像构成二维的定位图像。NCC匹配算法可实现多目标多角度的模板匹配定位识别，可满足电子元件器在物料框内随机摆放的搜索定位，并使用了图像金字塔提高了搜索速度，满足实际生产需求。在本实施例中，NCC是现有一种基于统计学计算两组样本数据相关性的算法 ，就是用于比较模板图像和待搜索图像的相似性，进行NCC匹配可得到相似程度，这个相似程度用数字大小类化，就是匹配值；匹配值是匹配过程中算法通过卷积计算得出的。匹配值是通过度量模板图像和待搜索图像的相似程度得到的，选取了前N个最大值作为候选点，就说明在这个待搜索图像上找到了N个和模板图像相似的地方，也就是说在待搜索图像上找到多个了和模板图像一样的电子元器件，这些电子元器件形心的像素点位置就是它们所在位置，为后续计算电子元器件的三维坐标提供基础。
图5为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法中计算三维坐标的框架流程图，图6为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法中视差图像的示意图。
如图5所示，在本申请的一个实施例中，根据参数数据对定位图像进行立体匹配、图像分割处理，得到待测电子元器件的三维坐标包括：
对定位图像采用Gamma校正、滤波处理，得到预处理后图像；
采用改进Census匹配算法对预处理后图像进行立体匹配处理，得到视差图像；
采用基于视差的区域生长分割算法对视差图像进行图像分割，得到分割图像；
获取分割图像中待测电子元器件在摄像设备坐标系下的坐标数据，根据参数数据和坐标数据计算，得到待测电子元器件的三维坐标。
需要说明的是，该多个堆叠电子元器件的极性判别检测方法通过步骤S2得到定位图像后，对于电子元器件堆叠的场景，并不清楚电子元器件在深度方向的位置。此外，电子元器件种类繁多，固定机械手下放深度拾取电子元器件可能造成电子元器件的损坏或损坏机械手末端执行器。因此该多个堆叠电子元器件的极性判别检测方法采用改进Census匹配算法和基于视差的区域生长分割算法，可获取待测电子元器件在真实世界下的深度信息，可根据不同情况实时设置机械手不同的下放深度，可扩展性高。在本实施例中，该多个堆叠电子元器件的极性判别检测方法首先对双目相机这个摄像设备进行标定可获取摄像设备内外的参数数据，可为后续的立体工作提供必要的信息。如图5所示，对定位图像进行预处理得到预处理后图像，通过图像矫正使左右平面实现共面；其次采用改进Census匹配算法对预处理后图像进行立体匹配，需去除和修正其中的错误视差得到正确的视差图像；最后是先对视差图像进行分割、计算，得到待测电子元器件的三维坐标，确定待测电子元器件的深度信息。
在本申请实施例中，若双目相机采集的图像分别记为左图像和右图像，使左、右图像平面实现共面，左图像和右图像上对应点处在相同水平线上，加快立体匹配速度。滤波处理的内容：对图像进行平滑处理，去除图像多余噪点，使图像更加清晰和平滑，从而加快匹配速度。
在本申请实施例中，摄像设备为双目相机，则对应的预处理后图像包含两张，采用改进Census匹配算法对预处理后图像进行立体匹配处理，得到视差图像包括：
采用Census变换窗口将每张预处理后图像分为四个子区域，获取每个子区域的像素均匀度；
根据所有像素均匀度计算，得到与每张预处理后图像对应的中心像素灰度值；
采用多路径代价聚合算法根据中心像素灰度值对每张预处理后图像进行一维聚合，得到对应两张视差细化图像：
根据两张视差细化图像对应像素点之间的像素距离差值，并将像素距离差值满足差值阈值对应的其中一个像素点形成视差图像。其中，差值阈值可以根据需求设置，不作具体限定。
需要说明的是，先通过Census变换窗口将左、右预处理后图像均分为四个子区域，采用均匀度计算公式计算每个子区域的像素均匀度，均匀度计算公式为：
；
式中，Q j 为第j个子区域的像素均匀度，G i 为第j子区域的第i个像素的灰度值，G j 为第j子区域所有像素的灰度平均值。通过比较不同子区域的均匀性，该多个堆叠电子元器件的极性判别检测方法选择具有最大均匀度和最小均匀度的两个子区域计算每张预处理后图像中心像素灰度值，计算每张预处理后图像中心像素灰度值的内容包括：
从所有像素均匀度中选取最大像素均匀度和最小像素均匀度对应的两个子区域；
若两个子区域的灰度平均值之差小于或等于灰度阈值，则采用这两个子区域的灰度均值作为中心像素灰度值；
若两个子区域的灰度平均值之差大于灰度阈值，则选取与最大像素均匀度对应子区域的灰度中位数和与最小像素均匀度对应子区域的灰度平均值进行加权平均，得到加权平均数作为中心像素灰度值。在本实施例中，若灰度阈值/>为15，则计算中心像素灰度值的公式可以表示为：
；
式中，G new 为中心像素灰度值，G max 、G min 分别为最大像素均匀度和最小像素均匀度对应子区域的像素灰度平均值；G 3、G 4为像素均匀度最大子区域按照灰度值大小排序后灰度值。
在本申请实施例中，采用多路径代价聚合算法对视差范围内的像素匹配代价值进行一维聚合，计算该像素下每条路径的代价值，并累加所有路径的代价值，得到视差细化的左、右视差细化图像。若沿着某一路径t遍历视差为d的所有像素p的代价函数为：
；
式中，为路径中前一个像素为d的代价值，为路径中前一个像素为d-1的代价值，/>为路径中前一个像素为d+1的代价值，/>为路径中前一个像素所有代价的最小值，P1、P2均为惩罚项，一般自行设置，P2要远大于P1。视差d指的是立体匹配的过程，即通过比较左、右图像获得同一空间点在左右影像上对应像素之间的距离差，即为视差。
需要说明的是，在左、右视差细化图像上计算视差时，如果发现左视差细化图像中某点的视差值与其在右视差细化图像对应点的视差值相差大于差值阈值，则剔除该点。为了填补空洞，被剔除的空洞点将被赋予左右相邻非空洞点视差值中较小的一个，最后使用中值滤波对视差筛选后的图像进行平滑处理以获得更清晰、更精确的视差图像，如图6所示。该多个堆叠电子元器件的极性判别检测方法能够准确地重建视差图像，并在内部区域匹配表现良好，能清晰地观察到器件内部结构；在弱纹理和反光区域能够表现良好，并且具有一定的鲁棒性，能够与背景区分开来，仅存在少量的视差空洞。
图7为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法中区域生长图像分割的示意图。
在本申请实施例中，采用基于视差的区域生长分割算法对视差图像进行图像分割得到分割图像包括：
从视差图像中确定待测电子元器件并将待测电子元器件作为初始种子点；
根据初始种子点以及设置的区域生长规则从视差图像的最大的视差处向四周搜索，若视差图像的某点像素灰度值小于设定阈值，并且视差变动在设定范围内，则该点满足条件且将该点作为区域生长新的初始种子点，重新进行搜索直至没有相邻像素满足像素灰度值小于设定阈值为止，得到需要抓取待测电子元器件的分割图像；
采用Canny边缘检测算子判断分割图像是不是完整待测电子元器件的工件形状。
需要说明的是，从机械手拾取物料的规则出发，机械手的拾取按照从最上层工件开始的规则进行，因为这样可以获取最完整的信息。利用基于视差的区域生长分割算法确定初始种子点后，感兴趣区域（待测电子元器件所在的区域）就可以被分割。通过深度信息来判别要分割的目标，深度信息由视差决定，因此视差越大说明器件和摄像设备的距离越小越靠近上层。基于上述原理对视差图像进行分割处理，待抓取工件被分割出来，达到了图像分割的目的。再通过前面获得的双目相机内外参数，即可获取待测电子元器件在摄像设备坐标系下的位置（如三维坐标）。为了解决视差图中出现的邻域像素空洞问题，对视差图像进行了图像膨胀处理。从最大的视差处向四周进行搜索，当该点满足条件（条件为视差图像的某点像素灰度值小于设定阈值）时便可将其作为区域生长新的初始种子点。分割完成后，对图像分割区域进行完整性判断，最终达到待测电子元器件被分割出，得到分割图像，达到了图像分割的目的。如图7所示，通过对图像的处理将搜索初始种子点的阈值为60，视差允许变动范围小于4，区域生长过程中将灰度值之差允许的设定阈值设置为3。在本实施例中，分割图像的内容：先在视差图像中确定需要抓取的待测电子元器件，选择一个种子点作为起始点；然后根据预设的区域生长规则在初始种子点的相邻区域内判断周围的像素是否满足条件。如果满足条件，将这些像素合并到种子点所在的区域中，并将其作为新的初始种子点。接着再次判断新的初始种子点周围的像素是否满足条件，并不断重复此过程，直到没有相邻像素满足条件为止，这样能够完成图像的分割，并成功提取出需要抓取待测电子元器件的分割图像。 完整性判断的内容包含通过Canny边缘检测算子判断分割出的分割图像是不是完整待测电子元器件的工件形状。
在本申请的实施例中，根据参数数据和坐标数据计算，得到待测电子元器件的三维坐标包括：
根据坐标数据和参数数据采用视差计算公式计算，得到待测电子元器件的视差值；
根据参数数据、视差值和坐标数据采用坐标计算公式计算，得到待测电子元器件的三维坐标；
视差计算公式为：
；
坐标计算公式为：
；
式中，d为待测电子元器件的视差值，f为参数数据的焦距，B为参数数据的基线距离，X、Y、Z为待测电子元器件在摄像设备坐标系下X轴、Y轴、Z轴的坐标数据，x、y、z为待测电子元器件在X轴、Y轴、Z轴在的三维坐标。
需要说明的是，根据双目视觉原理求解双目相机这个摄像设备的重投影矩阵为：
；
式中，C x 和C y 分别为左相机主点在分割图像中的横纵坐标。由重影矩阵可得到摄像设备坐标系与图像坐标系之间的转换关系为：
；
式中，W为齐次坐标系中的权重，通常等于1。通过两台摄像机拍摄同一待测电子元器件的两幅图像，得到待测电子元器件在两个视点下的二维投影图像。使用视差法（即两个视点看到的同一个物体之间的距离差）或视差计算公式计算出待测电子元器件在两个视点下的视差值。计算得到待测电子元器件的三维坐标便于后续得到该待测电子元器件的圆心坐标和法向量。该多个堆叠电子元器件的极性判别检测方法根据待测电子元器件的三维坐标通过手眼关系转换便可得到可定位抓取待测电子元器件的三维位姿。其中，齐次坐标系是一种用于表示点和向量的扩展坐标系统，它允许将平移和投影操作统一表示为矩阵乘法。在大多数情况下，这个权重 "W" 的值都等于1。
图8为本申请实施例所述的多个堆叠电子元器件的极性判别检测方法中极性检测的框架示意图。
在本申请的一个实施例中，对检测图像进行分析处理，得到待测电子元器件的极性圆坐标；根据极性圆坐标与极性检测区上设置的极性圆标准坐标比较，得到待测电子元器件的极性判别结果包括：
采用轮廓检测算法的轮廓查找函数在检测图像进行极性圆定位，得到极性圆；
通过极性圆的数个圆形边界点确定对应极性圆的圆心；
获取圆心的坐标并将圆心的坐标作为极性圆坐标；
若极性圆坐标与极性圆标准坐标之间的差值满足差值设置值，则待测电子元器件的极性判别结果为正确的；若极性圆坐标与极性圆标准坐标之间的差值不满足差值设置值，则待测电子元器件的极性判别结果为错误的。
需要说明的是，对待测电子元器件进行极性检测。检测流程如图8所示，该多个堆叠电子元器件的极性判别检测方法还对检测图像进行灰度化、图像增强和去噪处理，之后再进行极性圆定位和极性圆圆心对比检测。图像预处理通过灰度化和ROI截取等方式减少图像数据量、保证特征不缺失、提高处理速度和检测精度。在预处理后的检测图像中使用轮廓检测算法来实现待测电子元器件的极性圆检测，利用轮廓查找函数来进行极性圆定位。极性圆定位的内容具体为通过寻找极性圆的外接矩形来定位极性圆，当外接矩形的长宽比接近1，即近似为一个正方形，可以判定其为极性圆。定位到极性圆后，需计算出圆心坐标。圆心坐标计算过程如下：检测出的极性圆形边界上有很多个点，每个点同时对应一个圆形，所有点对应的圆形都会相交于一个点，这个交点就是圆心。通过轮廓检测函数便可获得对应的圆形的圆心坐标，即极性圆坐标。之后根据极性圆坐标与极性圆标准坐标之间的差值满足差值设置值可以有效检测电子元器件的极性，防止误判造成电子元器件损坏等问题，从而保障生产质量和批量生产的顺利进行。在本实施例中，差值设置值可以根据需求设置，此处不作具体限定。
实施例二：
图9为本申请实施例所述的多个堆叠电子元器件的极性判别检测装置的框架流程图。
如图9所示，本申请实施例提供了一种多个堆叠电子元器件的极性判别检测装置，包括匹配定位模块10、匹配分割模块20、移动获取模块30和极性判别模块40；
匹配定位模块10，用于获取待测电子元器件的采集图像，对采集图像进行匹配、定位处理，得到定位到待测电子元器件的定位图像；
匹配分割模块20，用于获取与采集图像对应摄像设备的参数数据，根据参数数据对定位图像进行立体匹配、图像分割处理，得到待测电子元器件的三维坐标；
移动获取模块30，用于根据三维坐标通过机械手将待测电子元器件移动至极性检测区，获取待测电子元器件的检测图像；
极性判别模块40，用于对检测图像进行分析处理，得到待测电子元器件的极性圆坐标；根据极性圆坐标与极性检测区上设置的极性圆标准坐标比较，得到待测电子元器件的极性判别结果。
在本申请实施例中，匹配定位模块10包括第一处理子模块、第二处理子模块、匹配子模块和定位子模块；
第一处理子模块，用于获取电子元器件的模板图像，对模板图像进行预处理、旋转后，得到旋转模板图像；
第二处理子模块，用于对采集图像进行二值化、滤波处理，得到处理采集图像；根据处理采集图像构建图像金字塔，得到待搜索图像；
匹配子模块，用于采用NCC匹配算法对待搜索图像和转模板图像进行NCC匹配，得到M个匹配值；
定位子模块，用于将M个匹配值按从大到小排序，选取与前N个排序后的匹配值对应的像素点位置作为搜索定位的N个目标待测电子元器件，将N个目标待测电子元器件构成二维的定位图像。
在本申请实施例中，匹配分割模块20包括第三处理子模块、立体匹配子模块、图像分割子模块和坐标计算子模块；
第三处理子模块，用于对定位图像采用Gamma校正、滤波处理，得到预处理后图像；
立体匹配子模块，用于采用改进Census匹配算法对预处理后图像进行立体匹配处理，得到视差图像；
图像分割子模块，用于采用基于视差的区域生长分割算法对视差图像进行图像分割，得到分割图像；
坐标计算子模块，用于获取分割图像中待测电子元器件在摄像设备坐标系下的坐标数据，根据参数数据和坐标数据计算，得到待测电子元器件的三维坐标。
需要说明的是，实施例二装置中模块对应于实施例一方法中的步骤，该多个堆叠电子元器件的极性判别检测方法的内容已在实施例一中详细阐述了，在此实施例二中不再对装置中模块的内容进行详细阐述。
实施例三：
本申请实施例提供了一种终端设备，包括处理器以及存储器；
存储器，用于存储程序代码，并将程序代码传输给处理器；
处理器，用于根据程序代码中的指令执行上述的多个堆叠电子元器件的极性判别检测方法。
需要说明的是，处理器用于根据所述程序代码中的指令执行上述的一种多个堆叠电子元器件的极性判别检测方法实施例中的步骤。或者，处理器执行计算机程序时实现上述各系统/装置实施例中各模块/单元的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Centrdl Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digitdl Signdl Processor，DSP)、专用集成电路(dpplicdtion Specific Integrdted Circuit，dSIC)、现成可编程门阵列 (Field-Progrdmmdble Gdte drrdy，FPGd) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是终端设备的内部存储单元，例如终端设备的硬盘或内存。存储器也可以是终端设备的外部存储设备，例如终端设备上配备的插接式硬盘，智能存储卡（SmdrtMedid Cdrd，SMC），安全数字（Secure Digitdl，SD）卡，闪存卡（Fldsh Cdrd）等。进一步地，存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及终端设备所需的其他程序和数据。存储器还可以用于暂时的存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Redd-OnlyMemory）、随机存取存储器（RdM，Rdndom dccess Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (7)
1.一种多个堆叠电子元器件的极性判别检测方法，其特征在于，包括以下步骤：
获取待测电子元器件的采集图像，对所述采集图像进行匹配、定位处理，得到定位到待测电子元器件的定位图像；
获取与所述采集图像对应摄像设备的参数数据，根据所述参数数据对所述定位图像进行立体匹配、图像分割处理，得到待测电子元器件的三维坐标；
根据所述三维坐标通过机械手将待测电子元器件移动至极性检测区，获取待测电子元器件的检测图像；
对所述检测图像进行分析处理，得到待测电子元器件的极性圆坐标；根据所述极性圆坐标与所述极性检测区上设置的极性圆标准坐标比较，得到待测电子元器件的极性判别结果；
根据所述参数数据对所述定位图像进行立体匹配、图像分割处理，得到待测电子元器件的三维坐标包括：
对所述定位图像采用Gamma校正、滤波处理，得到预处理后图像；
采用改进Census匹配算法对所述预处理后图像进行立体匹配处理，得到视差图像；
采用基于视差的区域生长分割算法对所述视差图像进行图像分割，得到分割图像；
获取分割图像中待测电子元器件在摄像设备坐标系下的坐标数据，根据所述参数数据和所述坐标数据计算，得到待测电子元器件的三维坐标；
所述摄像设备为双目相机，则对应的所述预处理后图像包含两张，采用改进Census匹配算法对所述预处理后图像进行立体匹配处理，得到视差图像包括：
采用Census变换窗口将每张所述预处理后图像分为四个子区域，获取每个所述子区域的像素均匀度；
根据所有所述像素均匀度计算，得到与每张所述预处理后图像对应的中心像素灰度值；
采用多路径代价聚合算法根据所述中心像素灰度值对每张所述预处理后图像进行一维聚合，得到对应两张视差细化图像：
根据两张所述视差细化图像对应像素点之间的像素距离差值，并将像素距离差值满足差值阈值对应的其中一个像素点形成视差图像；
计算每张预处理后图像中心像素灰度值的内容包括：从所有像素均匀度中选取最大像素均匀度和最小像素均匀度对应的两个子区域；若两个子区域的灰度平均值之差小于或等于灰度阈值，则采用这两个子区域的灰度均值作为中心像素灰度值；若两个子区域的灰度平均值之差大于灰度阈值，则选取与最大像素均匀度对应子区域的灰度中位数和与最小像素均匀度对应子区域的灰度平均值进行加权平均，得到加权平均数作为中心像素灰度值。
2.根据权利要求1所述的多个堆叠电子元器件的极性判别检测方法，其特征在于，对所述采集图像进行匹配、定位处理，得到定位到待测电子元器件的定位图像包括：
获取电子元器件的模板图像，对所述模板图像进行预处理、旋转后，得到旋转模板图像；
对所述采集图像进行二值化、滤波处理，得到处理采集图像；根据所述处理采集图像构建图像金字塔，得到待搜索图像；
采用NCC匹配算法对所述待搜索图像和所述转模板图像进行NCC匹配，得到M个匹配值；
将M个所述匹配值按从大到小排序，选取与前N个排序后的所述匹配值对应的像素点位置作为搜索定位的N个目标待测电子元器件，将N个所述目标待测电子元器件构成二维的定位图像。
3.根据权利要求1所述的多个堆叠电子元器件的极性判别检测方法，其特征在于，根据所述参数数据和所述坐标数据计算，得到待测电子元器件的三维坐标包括：
根据所述坐标数据和所述参数数据采用视差计算公式计算，得到待测电子元器件的视差值；
根据所述参数数据、所述视差值和所述坐标数据采用坐标计算公式计算，得到待测电子元器件的三维坐标；
所述视差计算公式为：
；
所述坐标计算公式为：
；
式中，d为待测电子元器件的视差值，f为参数数据的焦距，B为参数数据的基线距离，X、Y、Z为待测电子元器件在摄像设备坐标系下X轴、Y轴、Z轴的坐标数据，x、y、z为待测电子元器件在X轴、Y轴、Z轴在的三维坐标。
4.根据权利要求1所述的多个堆叠电子元器件的极性判别检测方法，其特征在于，对所述检测图像进行分析处理，得到待测电子元器件的极性圆坐标；根据所述极性圆坐标与所述极性检测区上设置的极性圆标准坐标比较，得到待测电子元器件的极性判别结果包括：
采用轮廓检测算法的轮廓查找函数在所述检测图像进行极性圆定位，得到极性圆；
通过所述极性圆的数个圆形边界点确定对应所述极性圆的圆心；
获取圆心的坐标并将所述圆心的坐标作为极性圆坐标；
若所述极性圆坐标与所述极性圆标准坐标之间的差值满足差值设置值，则待测电子元器件的极性判别结果为正确的；若所述极性圆坐标与所述极性圆标准坐标之间的差值不满足差值设置值，则待测电子元器件的极性判别结果为错误的。
5.一种多个堆叠电子元器件的极性判别检测装置，其特征在于，包括匹配定位模块、匹配分割模块、移动获取模块和极性判别模块；
所述匹配定位模块，用于获取待测电子元器件的采集图像，对所述采集图像进行匹配、定位处理，得到定位到待测电子元器件的定位图像；
所述匹配分割模块，用于获取与所述采集图像对应摄像设备的参数数据，根据所述参数数据对所述定位图像进行立体匹配、图像分割处理，得到待测电子元器件的三维坐标；
所述移动获取模块，用于根据所述三维坐标通过机械手将待测电子元器件移动至极性检测区，获取待测电子元器件的检测图像；
所述极性判别模块，用于对所述检测图像进行分析处理，得到待测电子元器件的极性圆坐标；根据所述极性圆坐标与所述极性检测区上设置的极性圆标准坐标比较，得到待测电子元器件的极性判别结果；
所述匹配分割模块包括第三处理子模块、立体匹配子模块、图像分割子模块和坐标计算子模块；
所述第三处理子模块，用于对所述定位图像采用Gamma校正、滤波处理，得到预处理后图像；
所述立体匹配子模块，用于采用改进Census匹配算法对所述预处理后图像进行立体匹配处理，得到视差图像；
所述图像分割子模块，用于采用基于视差的区域生长分割算法对所述视差图像进行图像分割，得到分割图像；
所述坐标计算子模块，用于获取分割图像中待测电子元器件在摄像设备坐标系下的坐标数据，根据所述参数数据和所述坐标数据计算，得到待测电子元器件的三维坐标；
所述摄像设备为双目相机，则对应的所述预处理后图像包含两张，采用改进Census匹配算法对所述预处理后图像进行立体匹配处理，得到视差图像包括：
采用Census变换窗口将每张所述预处理后图像分为四个子区域，获取每个所述子区域的像素均匀度；
根据所有所述像素均匀度计算，得到与每张所述预处理后图像对应的中心像素灰度值；
采用多路径代价聚合算法根据所述中心像素灰度值对每张所述预处理后图像进行一维聚合，得到对应两张视差细化图像：
根据两张所述视差细化图像对应像素点之间的像素距离差值，并将像素距离差值满足差值阈值对应的其中一个像素点形成视差图像；
计算每张预处理后图像中心像素灰度值的内容包括：从所有像素均匀度中选取最大像素均匀度和最小像素均匀度对应的两个子区域；若两个子区域的灰度平均值之差小于或等于灰度阈值，则采用这两个子区域的灰度均值作为中心像素灰度值；若两个子区域的灰度平均值之差大于灰度阈值，则选取与最大像素均匀度对应子区域的灰度中位数和与最小像素均匀度对应子区域的灰度平均值进行加权平均，得到加权平均数作为中心像素灰度值。
6.根据权利要求5所述的多个堆叠电子元器件的极性判别检测装置，其特征在于，所述匹配定位模块包括第一处理子模块、第二处理子模块、匹配子模块和定位子模块；
所述第一处理子模块，用于获取电子元器件的模板图像，对所述模板图像进行预处理、旋转后，得到旋转模板图像；
所述第二处理子模块，用于对所述采集图像进行二值化、滤波处理，得到处理采集图像；根据所述处理采集图像构建图像金字塔，得到待搜索图像；
所述匹配子模块，用于采用NCC匹配算法对所述待搜索图像和所述转模板图像进行NCC匹配，得到M个匹配值；
所述定位子模块，用于将M个所述匹配值按从大到小排序，选取与前N个排序后的所述匹配值对应的像素点位置作为搜索定位的N个目标待测电子元器件，将N个所述目标待测电子元器件构成二维的定位图像。
7.一种终端设备，其特征在于，包括处理器以及存储器；
所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器，用于根据所述程序代码中的指令执行如权利要求1-4任意一项所述的多个堆叠电子元器件的极性判别检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311475284.5A CN117190866B (zh) | 2023-11-08 | 2023-11-08 | 多个堆叠电子元器件的极性判别检测方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311475284.5A CN117190866B (zh) | 2023-11-08 | 2023-11-08 | 多个堆叠电子元器件的极性判别检测方法、装置和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117190866A CN117190866A (zh) | 2023-12-08 |
| CN117190866B true CN117190866B (zh) | 2024-01-26 |
Family
ID=88985456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311475284.5A Active CN117190866B (zh) | 2023-11-08 | 2023-11-08 | 多个堆叠电子元器件的极性判别检测方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117190866B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105225482A (zh) * | 2015-09-02 | 2016-01-06 | 上海大学 | 基于双目立体视觉的车辆检测系统和方法 |
| CN106370671A (zh) * | 2016-10-12 | 2017-02-01 | 浙江理工大学 | 基于机器视觉的pcb上元器件检测系统及方法 |
| CN111488837A (zh) * | 2020-04-14 | 2020-08-04 | 广东工业大学 | 一种基于视觉识别的网球拾取方法以及系统 |
| CN114255286A (zh) * | 2022-02-28 | 2022-03-29 | 常州罗博斯特机器人有限公司 | 一种多视角双目视觉感知的目标尺寸测量方法 |
| CN114494203A (zh) * | 2022-01-27 | 2022-05-13 | 重庆邮电大学 | 一种基于旋转框定位改进的Faster-RCNN极性元器件检测方法 |
| CN115082559A (zh) * | 2022-07-20 | 2022-09-20 | 广东工业大学 | 一种柔性件的多目标智能分拣方法、系统及存储介质 |
| CN115439411A (zh) * | 2022-08-03 | 2022-12-06 | 深圳市国电科技通信有限公司 | 电路板元器件极性的检测方法、装置、介质和电子设备 |
| CN115526881A (zh) * | 2022-10-18 | 2022-12-27 | 深圳市安仕新能源科技有限公司 | 一种基于图像建模的电芯极性检测方法及装置 |
| CN115561247A (zh) * | 2022-10-18 | 2023-01-03 | 深圳华太芯创有限公司 | 一种电子元器件外观自动视觉检测系统 |
| CN115760721A (zh) * | 2022-11-03 | 2023-03-07 | 贵州航天计量测试技术研究所 | 一种基于计算机视觉的片式元器件自动识别定位方法 |
| CN116612071A (zh) * | 2023-04-18 | 2023-08-18 | 广东工业大学 | 一种具有重复元件的大幅面pcb面板精确定位方法 |
| CN116958092A (zh) * | 2023-07-25 | 2023-10-27 | 国网湖南省电力有限公司 | 一种基于改进立体匹配算法的输电线路弧垂快速测量方法 |
-
2023
- 2023-11-08 CN CN202311475284.5A patent/CN117190866B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105225482A (zh) * | 2015-09-02 | 2016-01-06 | 上海大学 | 基于双目立体视觉的车辆检测系统和方法 |
| CN106370671A (zh) * | 2016-10-12 | 2017-02-01 | 浙江理工大学 | 基于机器视觉的pcb上元器件检测系统及方法 |
| CN111488837A (zh) * | 2020-04-14 | 2020-08-04 | 广东工业大学 | 一种基于视觉识别的网球拾取方法以及系统 |
| CN114494203A (zh) * | 2022-01-27 | 2022-05-13 | 重庆邮电大学 | 一种基于旋转框定位改进的Faster-RCNN极性元器件检测方法 |
| CN114255286A (zh) * | 2022-02-28 | 2022-03-29 | 常州罗博斯特机器人有限公司 | 一种多视角双目视觉感知的目标尺寸测量方法 |
| CN115082559A (zh) * | 2022-07-20 | 2022-09-20 | 广东工业大学 | 一种柔性件的多目标智能分拣方法、系统及存储介质 |
| CN115439411A (zh) * | 2022-08-03 | 2022-12-06 | 深圳市国电科技通信有限公司 | 电路板元器件极性的检测方法、装置、介质和电子设备 |
| CN115526881A (zh) * | 2022-10-18 | 2022-12-27 | 深圳市安仕新能源科技有限公司 | 一种基于图像建模的电芯极性检测方法及装置 |
| CN115561247A (zh) * | 2022-10-18 | 2023-01-03 | 深圳华太芯创有限公司 | 一种电子元器件外观自动视觉检测系统 |
| CN115760721A (zh) * | 2022-11-03 | 2023-03-07 | 贵州航天计量测试技术研究所 | 一种基于计算机视觉的片式元器件自动识别定位方法 |
| CN116612071A (zh) * | 2023-04-18 | 2023-08-18 | 广东工业大学 | 一种具有重复元件的大幅面pcb面板精确定位方法 |
| CN116958092A (zh) * | 2023-07-25 | 2023-10-27 | 国网湖南省电力有限公司 | 一种基于改进立体匹配算法的输电线路弧垂快速测量方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于HALCON的双目立体视觉工件尺寸测量;张如如等;计算机测量与控制;第26卷(第01期);第59-63页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117190866A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111815630B (zh) | 一种用于lcd屏幕的缺陷检测方法、装置 | |
| CN111652085B (zh) | 基于2d与3d特征结合的物体识别方法 | |
| US20200134857A1 (en) | Determining positions and orientations of objects | |
| WO2022170844A1 (zh) | 一种视频标注方法、装置、设备及计算机可读存储介质 | |
| CN111242240B (zh) | 物料检测方法、装置及终端设备 | |
| CN110672007A (zh) | 一种基于机器视觉的工件表面质量检测方法及系统 | |
| US11676301B2 (en) | System and method for efficiently scoring probes in an image with a vision system | |
| Nourani-Vatani et al. | A study of feature extraction algorithms for optical flow tracking | |
| CN110533654A (zh) | 零部件的异常检测方法及装置 | |
| Said et al. | Robust automatic void detection in solder balls | |
| CN111738320B (zh) | 基于模板匹配的遮挡工件识别方法 | |
| CN110517265A (zh) | 一种产品表面缺陷的检测方法、装置及存储介质 | |
| CN114029946A (zh) | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 | |
| CN112348890B (zh) | 一种空间定位方法、装置及计算机可读存储介质 | |
| TWI765442B (zh) | 瑕疵等級判定的方法及存儲介質 | |
| CN109102507A (zh) | 螺钉螺纹检测方法以及装置 | |
| CN110807354B (zh) | 一种工业流水线产品计数方法 | |
| CN104268550B (zh) | 特征提取方法及装置 | |
| CN113781419A (zh) | 一种柔性pcb板缺陷检测方法、视觉系统、装置及介质 | |
| CN117190866B (zh) | 多个堆叠电子元器件的极性判别检测方法、装置和设备 | |
| CN111145254B (zh) | 一种基于双目视觉的门阀毛坯定位方法 | |
| CN109741370B (zh) | 一种目标跟踪方法和装置 | |
| CN112184723A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN115187769A (zh) | 一种定位方法及装置 | |
| Mery et al. | Automated multiple view inspection based on uncalibrated image sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |