CN117173125A - 一种基于全景图的缺陷点位显示方法、装置及存储介质 - Google Patents
一种基于全景图的缺陷点位显示方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117173125A CN117173125A CN202311133489.5A CN202311133489A CN117173125A CN 117173125 A CN117173125 A CN 117173125A CN 202311133489 A CN202311133489 A CN 202311133489A CN 117173125 A CN117173125 A CN 117173125A
- Authority
- CN
- China
- Prior art keywords
- defect
- grid
- panorama
- board
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 300
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000015654 memory Effects 0.000 claims description 23
- 238000007689 inspection Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000003709 image segmentation Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000013102 re-test Methods 0.000 abstract description 8
- 230000002159 abnormal effect Effects 0.000 abstract description 5
- 238000009826 distribution Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请提供一种基于全景图的缺陷点位显示方法、装置及存储介质，所述方法包括：获取待检板全景图的栅格分割规则、待检板的缺陷小图集合；其中，缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于所述栅格图的坐标信息；基于所述栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，得到目标坐标集合；其中，栅格图的标识信息与所述栅格分割规则相适应；基于所述目标坐标集合，在待检板的全景图像上生成缺陷标记并显示。本申请的方案，可以根据目标坐标集合在待检板的全景图中标记出所有缺陷的位置，便于复检员了解被检板上的缺陷分布情况，进而便于复检员快速识别异常的被检板，提高了对于代检板上缺陷的检测效率。
Description
技术领域
本申请涉及缺陷检测技术领域，具体涉及一种基于全景图的缺陷点位显示方法、装置及存储介质。
背景技术
印刷电路板(PrintedCircuitBoard，PCB)的工业生产中由于生产工艺及材料的原因，可能会产生缺陷，比如气泡、划伤、阻焊等缺陷，影响产品的良率。最早的缺陷检测的方法依赖于人工目测，该方法是由操作人员借助放大镜或校准的显微镜通过肉眼检测被检板是否存在缺陷。可知，上述方法完全依赖于肉眼的检测结果，费时费力，且自动化程度较差。为了解决上述技术问题，相关技术提供了基于自动光学检测手段进行缺陷检测的方法，该方法通过各种图像处理方法(如灰度化、二值处理、特征提取、特征检测等)对获取被检板(PNL)的图像进行处理，并根据处理后的图像与模板之间的匹配结果来自动检测被检板是否存在缺陷。
现有的自动光学检测系统，其主要包括首检系统和复检系统；其中首检系统通过获取被检板的全景图片，基于自动光学检测手段进行缺陷检测，输出缺陷小图集合；其中复检系统获取首检系统输出的缺陷小图集合，通过人工方式对缺陷小图进行复判，从而确定被检板上报废的最小独立单元(PCS)。
发明人发现，复检员若想了解被检PNL的缺陷点位分布情况以快速识别被检PNL是否异常，则需要复检系统显示被检PNL的全景图并在全景图中标注显示所有的缺陷点位。然而现有的复检系统未在被检PNL的全景图中标注显示所有缺陷点位。
发明内容
有鉴于此，本申请提供了一种基于全景图的缺陷点位显示方法、装置及存储介质，以解决现有技术中未在全景图中标注显示所有缺陷点位的技术问题。
第一方面，本申请提供了一种基于全景图的缺陷点位显示方法，应用于复检系统，所述方法包括：
获取待检板全景图的栅格分割规则、待检板的缺陷小图集合；其中，缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于所述栅格图的坐标信息；
基于所述栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，得到目标坐标集合；其中，栅格图的标识信息与所述栅格分割规则相适应；
基于所述目标坐标集合，在待检板的全景图像上生成缺陷标记并显示。
在一个实施方式中，所述基于所述栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，包括：
基于所述栅格分割规则、缺陷对应所在栅格图的标识信息，确定缺陷的坐标偏移量；
根据缺陷相对于栅格图的坐标信息、缺陷的坐标偏移量，计算得到缺陷相对于全景图的坐标信息。
第二方面，本申请提供了一种缺陷小图生成方法，应用于首检系统，所述方法包括：
获取待检板全景图，基于待检板全景图的栅格分割规则对所述待检板全景图进行图像分割，得到栅格图集合；其中，所述栅格图的标识信息与所述栅格分割规则相适应；
基于预设的缺陷识别模型，识别栅格图上的缺陷并根据识别出的缺陷生成缺陷小图，得到待检板的缺陷小图集合；其中，所述缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于所述栅格图的坐标信息。
第三方面，本申请提供了一种基于全景图的缺陷点位显示方法，应用于自动光学检测系统，所述自动光学检测系统包括首检系统和复检系统，所述方法包括：
所述首检系统获取待检板全景图，基于待检板全景图的栅格分割规则对所述待检板全景图进行图像分割，得到栅格图集合；其中，所述栅格图的标识信息与所述栅格分割规则相适应；基于预设的缺陷识别模型，识别栅格图上的缺陷并根据识别出的缺陷生成缺陷小图，得到待检板的缺陷小图集合；其中，所述缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于所述栅格图的坐标信息；
所述复检系统获取所述复检系统生成的所述缺陷小图集合、所述栅格分割规则；基于所述栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，得到目标坐标集合；基于所述目标坐标集合，在待检板的全景图像上生成缺陷标记并显示。
在一个实施方式中，所述基于所述栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，包括：
基于所述栅格分割规则、缺陷对应所在栅格图的标识信息，确定缺陷的坐标偏移量；
根据缺陷相对于栅格图的坐标信息、缺陷的坐标偏移量，计算得到缺陷相对于全景图的坐标信息。
第四方面，本申请提供了一种基于全景图的缺陷点位显示装置，应用复检系统，所述装置包括：
获取模块，用于获取待检板全景图的栅格分割规则、待检板的缺陷小图集合；其中，缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于所述栅格图的坐标信息；
坐标转换模块，用于基于所述栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，得到目标坐标集合；其中，栅格图的标识信息与所述栅格分割规则相适应；
缺陷标记模块，用于基于所述目标坐标集合，在待检板的全景图像上生成缺陷标记并显示。
第五方面，本申请提供了一种缺陷小图生成装置，应用于首检系统，所述装置包括：
分割栅格模块，用于获取待检板全景图，基于待检板全景图的栅格分割规则对所述待检板全景图进行图像分割，得到栅格图集合；其中，所述栅格图的标识信息与所述栅格分割规则相适应；
缺陷小图模块，用于基于预设的缺陷识别模型，识别栅格图上的缺陷并根据识别出的缺陷生成缺陷小图，得到待检板的缺陷小图集合；其中，所述缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于所述栅格图的坐标信息。
第六方面，本申请提供了一种自动光学检测系统，包括：第四方面所述的基于全景图的缺陷点位显示装置和第五方面所述的缺陷小图生成装置。
第七方面，本申请提供了一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而实现第一方面所述的基于全景图的缺陷点位显示方法，或实现第二方面所述的缺陷小图生成方法，或实现第三方面所述的基于全景图的缺陷点位显示方法。
第八方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时，从而实现第一方面所述的基于全景图的缺陷点位显示方法，或实现第二方面所述的缺陷小图生成方法，或实现第三方面所述的基于全景图的缺陷点位显示方法。
本申请提供的基于全景图的缺陷点位显示方法、装置及存储介质，至少具有如下有益效果：
本申请提供的技术方案，可以通过获取缺陷小图集合、栅格分割规则，并计算出目标坐标集合，从而可以根据目标坐标集合在待检板的全景图中标记出所有缺陷的位置，便于复检员了解被检板上的缺陷分布情况，进而便于复检员快速识别异常的被检板，提高了对于代检板上缺陷的检测效率。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。需要说明的是，下面描述中的附图是示意性的而不应理解为对本申请进行任何限制，在附图中：
图1示出了本申请一个实施方式中的缺陷小图生成方法的示意图；
图2示出了本申请一个实施方式中的待检板全景图；
图3示出了图2的栅格分割示意图；
图4示出了图3中的第一个栅格图；
图5示出了图3中的第二列第七行的栅格图；
图6示出了图4中母版图；
图7示出了图5中检出缺陷的缺陷小图；
图8示出了图5中缺陷的中心点坐标的示意图；
图9示出了本申请一个实施方式中的基于全景图的缺陷点位显示方法的示意图；
图10示出了图2的缺陷小图集合示意图；
图11示出了本申请一个实施方式中的基于全景图的缺陷点位显示的显示界面的示意图；
图12示出了本申请一个实施方式中的自动光学检测系统的结构示意图；
图13示出了本申请一个实施方式中的计算机设备的示意图。
具体实施方式
为了使本申请实施方式的目的、技术方案和优点更加清楚，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请所要保护的范围。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
虽然下文描述的过程包括以特定的顺序出现的多个操作，但是应该清楚地了解到，这些过程也可以包括更多或者更少的操作，这些操作可以顺序执行或者并行执行。
实施例1
请参阅图1，本申请一个实施方式提供的缺陷小图生成方法，应用于首检系统，可以包括以下多个步骤。
步骤S101、获取待检板全景图，基于待检板全景图的栅格分割规则对待检板全景图进行图像分割，得到栅格图集合；其中，栅格图的标识信息与栅格分割规则相适应。
具体地，首检系统上集成有工业相机，将待检板放置于工业相机的采集视野内，以采集到待检板的图像。一般而言，在实际应用中工业相机采集到的待检板的图像并非直接的全景图，而是待检板的部分区域图像，再通过图像拼接技术，将多趟的采集图像进行图像拼接，从而得到待检板全景图。获取待检板全景图如图2所示。
基于待检板全景图的栅格分割规则对待检板全景图进行图像分割，得到栅格图集合。具体地，栅格分割规则与切分后得到的栅格图的目标尺寸相对应，例如欲得到的栅格图的目标尺寸为1000*500(长*宽)像素，那么则能够依据栅格分割规则对应将全景图切分为一个个的尺寸为1000*500像素的栅格图。例如，将图2中的待检板全景图，分割成如图3所示的10*6(行*列)的栅格矩阵，图2像素为6000*5000，分割得到的每个栅格图的像素为1000*500，栅格图集合中的第一个栅格图参见图4。即栅格分割规则为：将像素为6000*5000的全景图分割为10行6列的栅格图矩阵，每个栅格图的像素为1000*500。
栅格图的标识信息与栅格分割规则相适应。具体地，例如继续参照图3所示60个栅格图，第一列第一行的栅格图的标识为“1”、第一列第二行的栅格图的标识为“2”、……、第一列第十行的栅格图的标识为“10”第二列第一行的栅格图的标识为“11”、第二列第二行的栅格图的标识为“12”、……、第六列第十行的栅格图的标识为“60”。
步骤S102、基于预设的缺陷识别模型，识别栅格图上的缺陷并根据识别出的缺陷生成缺陷小图，得到待检板的缺陷小图集合；其中，缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于栅格图的坐标信息。
具体地，预设的缺陷识别模型为通过训练完成的神经网络模型，其用于对栅格图中存在的缺陷进行缺陷识别，即就是将栅格图集合中的所有栅格图逐个输入缺陷识别模型，从而得到各个栅格图对应检出缺陷的缺陷小图。例如，第二列第七行的栅格图的标识为“17”，图5为待检板的栅格图集合中标识信息为“17”的实际栅格图，图6为与图5所示栅格图相对应的母版栅格图(无缺陷的对比图)。需要说明的是，为便于理解在图5中对存在的“断线”缺陷进行框选并以文字“断线”进行了标注，而在实际输入给缺陷识别模型的图片中并不存在框选以及文字标注。
缺陷小图，即就是在检出栅格图中的缺陷后，根据检出的缺陷确定缺陷小图的中心点，并根据缺陷小图的预设像素尺寸进行取图。例如，在检出图5中的“断线”缺陷后，确定“断线”缺陷的中心点为缺陷小图的中心点，缺陷小图的预设像素尺寸为300*300，那么生成的缺陷小图如图7所示。同样地，为便于理解在图7中用圆形圆形框选出了“断线”缺陷，且圆形框的圆点是“断线”缺陷的中心点，亦是缺陷小图的中心点。
缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于栅格图的坐标信息。具体地，例如生成的缺陷小图如图7所示，携带有如图5所示的栅格图的标识信息“17”。缺陷小图的中心点即为检出缺陷的中心点，在检出缺陷后，在栅格图中确定缺陷的中心点的像素坐标，即为缺陷小图携带的缺陷相对于栅格图的坐标信息。具体地，例如在图5所示的栅格图中检出的“断线”缺陷后，确定“断线”缺陷的中心点的像素坐标(215,252)参见图8，则如图7所示缺陷小图携带(215,252)的坐标信息。
在本实施方式中，通过生成缺陷小图集合，可以便于后续根据缺陷小图集合，实现在全景图中显示所有的缺陷地位。进而便于复检员了解被检板上的缺陷分布情况，进而便于复检员快速识别异常的被检板，提高了对于代检板上缺陷的检测效率。
请参阅图9，本申请一个实施方式提供的基于全景图的缺陷点位显示方法，应用于复检系统，可以包括以下多个步骤。
步骤S901、获取待检板全景图的栅格分割规则、待检板的缺陷小图集合；其中，缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于栅格图的坐标信息。
具体地，例如获取到的栅格分割规则为：将像素为6000*5000的全景图分割为10行6列的栅格图矩阵，每个栅格图的像素为1000*500。参见图10所示，获取到的缺陷小图集合共有如图10所示的五个缺陷小图，分别为图10-1、图10-2、图10-3、图10-4、图10-5。参见上文可知，图10-2所示的缺陷小图与图7所示缺陷小图相同，图10-2携带有栅格图的标识信息“17”、缺陷相对于栅格图的坐标信息(215,252)。图10-1携带有栅格图的标识信息“16”、缺陷相对于栅格图的坐标信息(42,135)；图10-3携带有栅格图的标识信息“18”、缺陷相对于栅格图的坐标信息(657,334)；图10-4携带有栅格图的标识信息“32”、缺陷相对于栅格图的坐标信息(300,268)；图10-1携带有栅格图的标识信息“42”、缺陷相对于栅格图的坐标信息(511,185)。
步骤S902、基于栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，得到目标坐标集合；其中，栅格图的标识信息与栅格分割规则相适应。
具体地，栅格图的标识信息可以如【x,y】数组方式进行标识，x标识列、y标识行。栅格图的标识信息也可以以纯数字进行标识，即以正整数以此标识完成第一列的所有栅格图后再标识第二列的栅格图，即如上述第一列第一行的栅格图的标识为“1”、第一列第二行的栅格图的标识为“2”……
具体地，基于栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，包括：基于栅格分割规则、缺陷对应所在栅格图的标识信息，确定缺陷的坐标偏移量；根据缺陷相对于栅格图的坐标信息、缺陷的坐标偏移量，计算得到缺陷相对于全景图的坐标信息。
具体地，即就是确定对应栅格图相对于全景图的位置关系，从而确定出栅格图中的缺陷相对与全景图的位置关系，及就是确定缺陷的坐标偏移量。也就是说，若对应的栅格图是在第一列第一行，那么则可以直接确定缺陷相对于全景图的坐标信息就是缺陷相对于栅格图的坐标信息。若对应的栅格图是在第一列第二行，那么则需要将缺陷相对于栅格图的坐标信息中的行坐标信息，添加一个整个栅格图的行高，得到新的行坐标信息，从而得到缺陷相对于全景图的坐标信息。例如每个栅格图的像素为1000*500，缺陷小图对应的栅格图在第一列第二行，缺陷相对于栅格图的坐标为(100，100)，那么缺陷相对于全景图的坐标则为(100，600)。若对应的栅格图是在第二列第一行，那么则需要将缺陷相对于栅格图的坐标信息中的列坐标信息，添加一个整个栅格图的列宽，得到新的列坐标信息，从而得到缺陷相对于全景图的坐标信息。例如每个栅格图的像素为1000*500，缺陷小图对应的栅格图在第二列第一行，缺陷相对于栅格图的坐标为(100，100)，那么缺陷相对于全景图的坐标则为(1100，100)。同理，对每个缺陷小图携带的目标信息进行转换，得到每个缺陷小图相对于的全景图的目标坐标信息，到目标坐标集合。例如计算得到图10-1、图10-2、图10-3、图10-4、图10-5的目标坐标信息依次为：(1042,3135)、(1215,3752)、(1657,4334)、(3300,1268)、(4511,1185)。
步骤S903、基于目标坐标集合，在待检板的全景图像上生成缺陷标记并显示。
具体地，参见图11所述，在待检板的全景图像上生成缺陷标记并显示，图11中依据图10-1、图10-2、图10-3、图10-4、图10-5的目标坐标信息分别在全景图像对应的目标位置处生成5个缺陷标记1、2、3、4、5。需要说明的是，在实际应用中，为便于操作员观察缺陷标记，在显示缺陷标记时全景图缩小显示，并非以实际像素大小进行展示。缺陷标记可以如图11中的圆圈(红色)，也可以是其它标记mark。
在本实施方式中，通过获取缺陷小图集合、栅格分割规则，并计算出目标坐标集合，从而可以根据目标坐标集合在待检板的全景图中标记出所有缺陷的位置，便于复检员了解被检板上的缺陷分布情况，进而便于复检员快速识别异常的被检板，提高了对于代检板上缺陷的检测效率。
需要说明的是，本文中栅格图的像素为1000*500仅是为便于理解所举的例子，在实际应用中栅格图的像素可以如2040*1024，本申请对此不作限制。
本申请一个实施方式提供的基于全景图的缺陷点位显示方法，应用于自动光学检测系统，自动光学检测系统包括首检系统和复检系统，可以包括以下多个步骤。
首检系统获取待检板全景图，基于待检板全景图的栅格分割规则对待检板全景图进行图像分割，得到栅格图集合；其中，栅格图的标识信息与栅格分割规则相适应；基于预设的缺陷识别模型，识别栅格图上的缺陷并根据识别出的缺陷生成缺陷小图，得到待检板的缺陷小图集合；其中，缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于栅格图的坐标信息；
复检系统获取复检系统生成的缺陷小图集合、栅格分割规则；基于栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，得到目标坐标集合；基于目标坐标集合，在待检板的全景图像上生成缺陷标记并显示。
实施例2
参见图12，本实施例提供了缺陷小图生成装置，应用于首检系统，包括：
分割栅格模块，用于获取待检板全景图，基于待检板全景图的栅格分割规则对所述待检板全景图进行图像分割，得到栅格图集合；其中，所述栅格图的标识信息与所述栅格分割规则相适应；
缺陷小图模块，用于基于预设的缺陷识别模型，识别栅格图上的缺陷并根据识别出的缺陷生成缺陷小图，得到待检板的缺陷小图集合；其中，所述缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于所述栅格图的坐标信息。
继续参见图12，本实施例提供了一种基于全景图的缺陷点位显示装置，应用复检系统，包括：
获取模块，用于获取待检板全景图的栅格分割规则、待检板的缺陷小图集合；其中，缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于所述栅格图的坐标信息；
坐标转换模块，用于基于所述栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，得到目标坐标集合；其中，栅格图的标识信息与所述栅格分割规则相适应；
缺陷标记模块，用于基于所述目标坐标集合，在待检板的全景图像上生成缺陷标记并显示。
继续参见图12所示，本实施例提供了一种自动光学检测系统，包括：上述的缺陷小图生成装置和基于全景图的缺陷点位显示装置。
本申请实施例提供的缺陷小图生成装置和基于全景图的缺陷点位显示装置，可以应用于如上述实施例1中提供的方法，相关细节参考上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
需要说明的是：本申请实施例中提供的装置，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述方法实施例1提供的方法的实施方式与本实施例2提供的装置的实施方式属于同一构思，本实施例2提供的装置的具体实现过程详见上述方法实施例1，这里不再赘述。
实施例3
请参阅图13所示，本申请一个实施方式还提供了一种计算机设备，该计算机设备可以是桌上型计算机、笔记本电脑、掌上电脑以及云端服务器等计算机设备。该计算机设备可以包括，但不限于，处理器和存储器。其中，处理器和存储器可以通过总线或者其他方式连接。
其中，处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、图形处理器(GraphicsProcessing Unit，GPU)、嵌入式神经网络处理器(Neural-network Processing Unit，NPU)或者其他专用的深度学习协处理器、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请上述实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请一个实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述方法实施方式中的方法。
本领域技术人员可以理解，实现本申请上述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施方式的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
以上实施方式的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施方式中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
虽然结合附图描述了本申请的实施方式，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本申请创造的保护范围之中。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于全景图的缺陷点位显示方法，其特征在于，应用于复检系统，所述方法包括：
获取待检板全景图的栅格分割规则、待检板的缺陷小图集合；其中，缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于所述栅格图的坐标信息；
基于所述栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，得到目标坐标集合；其中，栅格图的标识信息与所述栅格分割规则相适应；
基于所述目标坐标集合，在待检板的全景图像上生成缺陷标记并显示。
2.根据权利要求1所述的基于全景图的缺陷点位显示方法，其特征在于，所述基于所述栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，包括：
基于所述栅格分割规则、缺陷对应所在栅格图的标识信息，确定缺陷的坐标偏移量；
根据缺陷相对于栅格图的坐标信息、缺陷的坐标偏移量，计算得到缺陷相对于全景图的坐标信息。
3.一种缺陷小图生成方法，其特征在于，应用于首检系统，所述方法包括：
获取待检板全景图，基于待检板全景图的栅格分割规则对所述待检板全景图进行图像分割，得到栅格图集合；其中，所述栅格图的标识信息与所述栅格分割规则相适应；
基于预设的缺陷识别模型，识别栅格图上的缺陷并根据识别出的缺陷生成缺陷小图，得到待检板的缺陷小图集合；其中，所述缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于所述栅格图的坐标信息。
4.一种基于全景图的缺陷点位显示方法，其特征在于，应用于自动光学检测系统，所述自动光学检测系统包括首检系统和复检系统，所述方法包括：
所述首检系统获取待检板全景图，基于待检板全景图的栅格分割规则对所述待检板全景图进行图像分割，得到栅格图集合；其中，所述栅格图的标识信息与所述栅格分割规则相适应；基于预设的缺陷识别模型，识别栅格图上的缺陷并根据识别出的缺陷生成缺陷小图，得到待检板的缺陷小图集合；其中，所述缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于所述栅格图的坐标信息；
所述复检系统获取所述复检系统生成的所述缺陷小图集合、所述栅格分割规则；基于所述栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，得到目标坐标集合；基于所述目标坐标集合，在待检板的全景图像上生成缺陷标记并显示。
5.根据权利要求4所述的基于全景图的缺陷点位显示方法，其特征在于，所述基于所述栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，包括：
基于所述栅格分割规则、缺陷对应所在栅格图的标识信息，确定缺陷的坐标偏移量；
根据缺陷相对于栅格图的坐标信息、缺陷的坐标偏移量，计算得到缺陷相对于全景图的坐标信息。
6.一种基于全景图的缺陷点位显示装置，其特征在于，应用于复检系统，所述装置包括：
获取模块，用于获取待检板全景图的栅格分割规则、待检板的缺陷小图集合；其中，缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于所述栅格图的坐标信息；
坐标转换模块，用于基于所述栅格分割规则，将缺陷相对于栅格图的坐标信息转换成缺陷相对于全景图的坐标信息，得到目标坐标集合；其中，栅格图的标识信息与所述栅格分割规则相适应；
缺陷标记模块，用于基于所述目标坐标集合，在待检板的全景图像上生成缺陷标记并显示。
7.一种缺陷小图生成装置，其特征在于，应用于首检系统，所述装置包括：
分割栅格模块，用于获取待检板全景图，基于待检板全景图的栅格分割规则对所述待检板全景图进行图像分割，得到栅格图集合；其中，所述栅格图的标识信息与所述栅格分割规则相适应；
缺陷小图模块，用于基于预设的缺陷识别模型，识别栅格图上的缺陷并根据识别出的缺陷生成缺陷小图，得到待检板的缺陷小图集合；其中，所述缺陷小图携带有对应所在栅格图的标识信息及缺陷相对于所述栅格图的坐标信息。
8.一种自动光学检测系统，其特征在于，包括：如权利要求6所述的基于全景图的缺陷点位显示装置和如权利要求7所述的缺陷小图生成装置。
9.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而实现如权利要求1或2所述的基于全景图的缺陷点位显示方法，或实现如权利要求4或5所述的基于全景图的缺陷点位显示方法，或实现如权利要求3所述的缺陷小图生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时，从而实现如权利要求1或2所述的基于全景图的缺陷点位显示方法，或实现如权利要求4或5所述的基于全景图的缺陷点位显示方法，或实现如权利要求3所述的缺陷小图生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311133489.5A CN117173125A (zh) | 2023-09-04 | 2023-09-04 | 一种基于全景图的缺陷点位显示方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311133489.5A CN117173125A (zh) | 2023-09-04 | 2023-09-04 | 一种基于全景图的缺陷点位显示方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117173125A true CN117173125A (zh) | 2023-12-05 |
Family
ID=88929345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311133489.5A Pending CN117173125A (zh) | 2023-09-04 | 2023-09-04 | 一种基于全景图的缺陷点位显示方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173125A (zh) |
-
2023
- 2023-09-04 CN CN202311133489.5A patent/CN117173125A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110751682B (zh) | 一种提取和标识图像的方法、装置、终端设备及存储介质 | |
| CN112132907B (zh) | 一种相机标定方法、装置、电子设备及存储介质 | |
| CN116051551B (zh) | 基于图像处理的显示屏缺陷检测方法及相关装置 | |
| CN113012096B (zh) | 显示屏子像素定位及亮度提取方法、设备以及存储介质 | |
| CN114549390A (zh) | 电路板检测方法、电子装置及存储介质 | |
| CN113920117A (zh) | 一种面板缺陷区域检测方法、装置、电子设备及存储介质 | |
| CN107578001B (zh) | 测试指纹采集设备的分辨率的方法及装置 | |
| CN113592839A (zh) | 基于改进Faster RCNN的配网线路典型缺陷诊断方法及系统 | |
| CN115546219B (zh) | 检测板式生成方法、板卡缺陷检测方法、装置及产品 | |
| CN108564571B (zh) | 图像区域选取方法及终端设备 | |
| CN111079752A (zh) | 识别红外图像中的断路器的方法、装置及可读存储介质 | |
| CN117173125A (zh) | 一种基于全景图的缺陷点位显示方法、装置及存储介质 | |
| CN113361371B (zh) | 道路提取方法、装置、设备以及存储介质 | |
| CN112288672A (zh) | 肿瘤检测方法及肿瘤检测装置 | |
| CN111401365B (zh) | Ocr图像自动生成方法及装置 | |
| CN115641326A (zh) | 用于陶瓷天线pin针图像的亚像素尺寸检测方法及系统 | |
| CN108303640B (zh) | 一种线路检测的方法和装置 | |
| CN112988096A (zh) | 显示单元定位方法、装置、设备、存储介质和显示装置 | |
| CN112446895A (zh) | 棋盘格角点自动提取方法、系统、设备及介质 | |
| CN113034420A (zh) | 一种频率空间域特征的工业产品表面缺陷分割方法及系统 | |
| CN116958104B (zh) | 物料表面图像处理方法、装置及存储介质 | |
| CN116758040B (zh) | 镀铜板表面褶皱缺陷检测方法、装置、设备及存储介质 | |
| CN105654489B (zh) | 一种用于包含多个柱状目标的工业ct图像的分割方法 | |
| CN114140391B (zh) | 基于机器视觉实现板载显示屏模块快速检测的方法 | |
| CN117808758A (zh) | 图像瑕疵检测方法、装置、计算机设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |