CN114782286A - 缺陷修复方法、光学修复设备、电子设备及存储介质 - Google Patents
缺陷修复方法、光学修复设备、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114782286A CN114782286A CN202210705298.0A CN202210705298A CN114782286A CN 114782286 A CN114782286 A CN 114782286A CN 202210705298 A CN202210705298 A CN 202210705298A CN 114782286 A CN114782286 A CN 114782286A
- Authority
- CN
- China
- Prior art keywords
- defect
- circuit board
- information
- segmentation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 484
- 230000003287 optical effect Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 title claims abstract description 34
- 230000008439 repair process Effects 0.000 claims abstract description 117
- 238000001514 detection method Methods 0.000 claims abstract description 76
- 238000007689 inspection Methods 0.000 claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims description 84
- 238000013528 artificial neural network Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 24
- 238000010586 diagram Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 15
- 230000002950 deficient Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000009432 framing Methods 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请公开了一种缺陷修复方法、光学修复设备、电子设备及存储介质。该缺陷修复方法应用于光学修复设备，该方法包括：获取电路板的检测图像；其中，检测图像包括电路板区域；提取电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息；基于缺陷位置信息和缺陷轮廓信息规划对应于至少一种缺陷实例的缺陷修复路径，并基于缺陷修复路径对电路板进行修复。通过上述方式，利用电路板的检测图像提取出电路板区域中的缺陷位置信息和缺陷轮廓信息，然后再通过缺陷位置信息和缺陷轮廓信息，规划缺陷实例的修复路径并对电路板进行修复，以达到修复缺陷的目的，从而能够提高电路板的生产质量和优化电路板的修复流程、减少人力资源的消耗。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种缺陷修复方法、光学修复设备、电子设备及存储介质。
背景技术
印刷电路板(Printed Circuit Board, PCB)行业的自动光学检测(AutomatedOptical Inspection, AOI)设备具有非常重要的实际意义。AOI是指针对PCB生产线上的PCB，通过光学相机采集图像，使用图像处理、机器学习等方法，检测和定位出PCB上的缺陷。
PCB在生产过程中无法避免地存在大量的缺陷，PCB上存在缺陷的数量、类型和分布等直接影响着PCB的生产质量。在实际生产中，用户需要对生产出来的PCB中的各种缺陷进行修复，以满足PCB的质量要求。通常地修复方法是由开发人员首先人工标注缺陷，再对通过人为的控制修复装置来点对点的对缺陷进行修复，该方法纯粹凭借开发人员自身的素质，没有任何规范性，大量的缺陷难以保证都被有效标注，且修复装置点对点的对缺陷进行修复的方式难以评价其修复质量；同时，通过人工修复缺陷，导致其修复效率低，修复时间较长，导致整个PCB生产和投入应用的时间成本较高。
发明内容
为了解决现有技术存在的上述问题，本申请提供了一种缺陷修复方法、光学修复设备、电子设备及存储介质，能够提高电路板的生产质量和优化电路板的修复流程、减少人力资源的消耗。
本申请采用的一个技术方案是：提供一种缺陷修复方法，该缺陷修复方法应用于光学修复设备，该方法包括：获取电路板的检测图像；其中，检测图像包括电路板区域；提取电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息；基于缺陷位置信息和缺陷轮廓信息规划对应于至少一种缺陷实例的缺陷修复路径，并基于缺陷修复路径对电路板进行修复。
可选地提取电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息，包括：对检测图像进行分割定位，得到若干个分割图像及其对应的分割坐标；基于若干个分割图像和分割坐标，提取若干个分割图像在电路板区域中对应的缺陷位置信息和缺陷轮廓信息；基于缺陷位置信息和缺陷轮廓信息对应生成至少一种缺陷实例。
可选地，对检测图像进行分割定位，得到若干个分割图像及其对应的分割坐标，包括：对检测图像进行语义分割，以得到若干个分割图像；其中，每一分割图像在检测图像中占用预设个像素点位置；基于每一分割图像所占用的预设个像素点位置，提取若干个分割图像对应的分割坐标。
可选地，基于若干个分割图像和分割坐标，提取若干个分割图像在电路板区域中对应的缺陷位置信息和缺陷轮廓信息，包括：将若干个分割图像和分割坐标输入预先训练的神经网络中进行目标检测，以提取出缺陷位置信息和缺陷轮廓信息；其中，神经网络基于若干待训练图像和预设的缺陷模板训练得到。
可选地，将若干个分割图像和分割坐标输入预先训练的神经网络中进行目标检测，以提取出缺陷位置信息和缺陷轮廓信息，包括：将若干个分割图像输入神经网络中进行特征提取，以获取对应的若干个图像特征；利用神经网络对若干个图像特征进行缺陷识别，以识别出属于对应缺陷模板的缺陷特征；利用神经网络对缺陷特征与其分割图像对应的分割坐标，提取出缺陷位置信息和缺陷轮廓信息。
可选地，基于缺陷位置信息和缺陷轮廓信息对应生成至少一种缺陷实例，包括：将缺陷位置信息和缺陷轮廓信息标记在检测图像中对应缺陷所占用的像素点位置，以生成至少一种缺陷实例。
可选地，提取电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息，包括：提取电路板区域中存在的至少一种缺陷的位置信息和缺陷轮廓信息；基于至少一种缺陷的位置信息和缺陷轮廓信息，将检测图像中对应的缺陷区域进行分割定位，得到若干个分割图像及其对应的分割坐标；基于若干个分割图像和分割坐标生成至少一种缺陷实例及其对应的缺陷坐标。
为解决上述问题，本申请实施例提供了一种光学修复设备，包括：图像获取模块，用于获取电路板的检测图像；其中检测图像包括电路板区域；信息提取模块，用于提取电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息；缺陷修复模块，基于缺陷位置信息和缺陷轮廓信息规划对应于至少一种缺陷实例的缺陷修复路径，并基于缺陷修复路径对电路板进行修复。
为解决上述问题，本申请实施例提供了一种电子设备，包括：处理器以及与处理器连接的存储器，其中，存储器中存储有程序数据，处理器调取存储器存储的程序数据，以执行如上所述的缺陷修复方法。
为解决上述问题，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有程序数据，程序数据在被处理器执行时，用以实现如上所述的缺陷修复方法。
与现有技术相比，本申请中的缺陷修复方法应用于光学修复设备，该方法包括：获取电路板的检测图像；其中，检测图像包括电路板区域；提取电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息；基于缺陷位置信息和缺陷轮廓信息规划对应于至少一种缺陷实例的缺陷修复路径，并基于缺陷修复路径对电路板进行修复。通过上述方式，利用电路板的检测图像提取出电路板区域中的缺陷位置信息和缺陷轮廓信息，然后再通过缺陷位置信息和缺陷轮廓信息，规划对应于缺陷实例的缺陷修复路径，并通过缺陷修复路径对电路板进行修复，以达到修复缺陷的目的，从而能够提高电路板的生产质量和优化电路板的修复流程、减少人力资源的消耗。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的光学修复设备一实施例的结构示意图；
图2是本申请提供的缺陷修复方法一实施例的流程示意图；
图3是本申请中获取缺陷实例一实施例的流程示意图；
图4是本申请对检测图像进行分割定位一实施例的流程示意图；
图5是本申请中提取电路板区域中缺陷的信息另一实施例的流程示意图；
图6是本申请中获取缺陷实例另一实施例的流程示意图；
图7是本申请提供的一种电子设备的结构示意图；
图8是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例中的步骤并不一定是按照所描述的步骤顺序进行处理，可以按照需求有选择的将步骤打乱重排，或者删除实施例中的步骤，或者增加实施例中的步骤，本申请实施例中的步骤描述只是可选的顺序组合，并不代表本申请实施例的所有步骤顺序组合，实施例中的步骤顺序不能认为是对本申请的限制。
本申请实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是：当用在本说明书中时，“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。
本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外，本申请中尽管多次采用术语“第一”、“第二”等来描述各种操作(或各种元件或各种应用或各种指令或各种数据)等，不过这些操作(或元件或应用或指令或数据)不应受这些术语的限制。这些术语只是用于区分一个操作(或元件或应用或指令或数据)和另一个操作(或元件或应用或指令或数据)。例如，第一缺陷区域可以被称为第二缺陷区域，第二缺陷区域也可以被称为第一缺陷区域，仅仅是其两者所包括的范围不同，而不脱离本申请的范围，第一缺陷区域和第二缺陷区域都是各种缺陷区域的集合，只是二者并不是相同的缺陷区域的集合而已。
参阅图1，图1是本申请提供的光学修复设备一实施例的结构示意图，该光学修复设备10包括：图像获取模块11、信息提取模块12以及缺陷修复模块13。
在一实施例中，光学修复设备10能够实现自动光学检测(Automated OpticalInspection，AOI)，其中，AOI是基于光学原理来对焊接生产中遇到的常见缺陷进行检测的设备。当进行AOI时，光学修复设备10通过摄像头自动扫描PCB，采集图像，测试的焊点与数据库中的合格的参数进行比较，经过图像处理，检查出PCB上缺陷，并通过显示器或自动标志把缺陷显示/标示出来，供维修人员修整。
在一实施例中，光学修复设备10能够运行在用户模式以完成某项或多项特定工作（例如，获取电路板的检测图像中的缺陷信息、调整光学修复设备的生产参数或者对电路板中检测出来的缺陷进行修复等等）的计算机程序，其还可以与用户进行交互，且具有可视的用户界面（UI界面）。光学修复设备10也可以包括两部分：图形用户接口(GUI)和引擎(engine)，利用这两者能够以用户界面的形式向用户提供多种应用服务的数字化客户系统。可选地，光学修复设备10可基于Liunx（GNU/Linux）系统、Mac（Macintosh，麦克机）系统或微软系统等用于程序操作，光学修复设备10也可基于iOS®平台、Android®平台、Windows®平台或者iPhone®平台等用于程序应用。
在一实施例中，用户可以通过输入装置向光学修复设备10输入相应的代码数据或者控制参数，以执行光学修复设备10在用户模式下的特色服务，以及显示用户界面中的应用服务。如用户需要采集电路板的检测图像，或者用户需要在检测图像中对缺陷进行标记等，则用户通过输入装置进行操作以及通过显示装置进行显示。
具体地，图像获取模块11用于获取电路板的检测图像；其中，在检测图像中包括非电路板区域和电路板区域。
其中，在电路板区域中包括有电路板的各种电路元件区域的检测图像，在电路元件区域中由于生产条件等影响具有多种需要检测和修复的缺陷；而在非电路板区域中不包括电路元件区域的检测图像。
在一实施例中，光学修复设备10上可搭载有深度相机、3D相机、单目相机或者双目相机等中的一个的图像采集装置，其可根据用户的输入，而产生对应的控制信息，以通过图像获取模块11获取电路板的采集图像，即电路板的检测图像。
在另一实施例中，光学修复设备10在自身存储介质中存储有电路板的检测图像，图像获取模块11根据用户输入的控制参数而提取出电路板的检测图像；或者图像获取模块11通过与连接于第三方机构（如，数字处理平台、云端服务器、外部终端等）以从从第三方机构中获取电路板的检测图像。
可选地，图像获取模块11也可以获取电路板的生产参数。生产参数为光学修复设备10的存储介质中存储的用于生产电路板的各项指标参数，包括电路板的生产类型，电路元件的生产区域、生产精度和生产数量中的至少一种。
可选地，电路板的检测图像为PCB（Printed circuit boards，印制电路板）图像。其中，PCB又称印刷电路板，其板面分为电路板区域和非电路板区域。PCB可应用于诸多的电子元器件，包括诸如摄影机和录像机、移动电话、智能电话、笔记本电脑、个人数字助理(PDA，Personal Digital Assistant)、平板电脑(PAD)等的移动终端，也可以是数字广播发送器、数字TV、台式计算机、服务器等的固定终端。
具体地，信息提取模块12用于提取电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息。
在一实施例中，由于药剂张力的原因，PCB在生产过程中无法避免地存在大量的缺陷，以及由于制造工艺的原因，在电路板的生产过程中，难免会出现例如：缺孔、鼠式侵蚀、开路、短路、毛刺、铜渣等缺陷。
在一实施例中，信息提取模块12对检测图像的电路板区域依次进行图像分割，得到若干个分割图像，再基于若干个分割图像识别出至少部分包含缺陷的分割图像，最后，信息提取模块12基于该至少部分包含缺陷的分割图像生成缺陷实例，和缺陷对应的缺陷位置信息和缺陷轮廓信息。其中，缺陷位置信息为缺陷对应的像素点位置或者坐标位置，缺陷轮廓信息为缺陷在电路板区域中对应的形状轮廓和尺寸大小。
在另一实施例中，信息提取模块12可以将电路板的检测图像与电路板的设计图进行比较，进而得到电路板的检测图像中的至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息。其中，电路板的设计图可以是将电路板的电路图导入软件中，通过软件基于电路图自动生成电路板的设计图。
示例性地，信息提取模块12通过连接自动光学修复设备以实时扫描电路板，并通过发送运动控制指令以控制机械台面以及电机的运动，将电路板传输至图像采集区域，通过图像采集模块对电路板进行图像采集，最终得到电路板的检测图像，信息提取模块12再将检测图像与设计图进行比较，以输出电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息。其中，在检测图像采集过程中，可以对图像采集区域进行补光，如通过光源控制模块控制光源的开关及亮度进行补光。
具体地，缺陷修复模块13基于获取的缺陷位置信息和缺陷轮廓信息规划对应于至少一种缺陷实例的缺陷修复路径，并基于缺陷修复路径对电路板区域进行修复。
在一实施例中，光学修复设备10将获取的至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息输入缺陷修复模块13中，缺陷修复模块13基于缺陷实例识别出待修复缺陷的类型，再基于待修复缺陷的类型和缺陷轮廓信息匹配对应的自动缺陷修复策略，最后，缺陷修复模块13根据缺陷的缺陷位置信息确定在电路板上需要修复区域的像素点坐标，并在该电路板对应的像素点坐标上根据匹配的缺陷修复策略来规划对应于该至少一种缺陷实例的缺陷修复路径，并基于该缺陷修复路径对电路板中的缺陷区域进行修复。
可以理解的是，在缺陷修复模块13可以包括有一台、两台或者多台缺陷修复装置，其中，两台或者多台缺陷修复装置之间相互串联和/或并联，各缺陷修复装置可以具有不同的修复功能，即各种缺陷修复装置可以修复相同类型的缺陷也可以修复不相同类型的缺陷，进而缺陷修复模块13通过该多台缺陷修复装置可以在一个运转周期内实现待修电路板上的多种和多个缺陷的修复工作。
在另一实施例中，缺陷修复模块13也可通过工程师基于获取的至少一种缺陷实例及其对应缺陷的缺陷位置信息和缺陷轮廓信息，来操作和控制光学修复设备10以对电路板上的缺陷进行人工修复，以增强电路板缺陷修复的有效性。
区别于现有技术，本实施方式提供的光学修复设备包括：图像获取模块，用于获取电路板的检测图像；其中，检测图像包括电路板区域；信息提取模块，用于提取电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息；缺陷修复模块，基于缺陷位置信息和缺陷轮廓信息规划对应于至少一种缺陷实例的缺陷修复路径，并基于缺陷修复路径对电路板进行修复。通过上述实施方式，光学修复设备利用电路板的检测图像提取出电路板区域中的缺陷位置信息和缺陷轮廓信息，然后再通过缺陷位置信息和缺陷轮廓信息，规划对应于缺陷实例的缺陷修复路径，并通过缺陷修复路径对电路板进行修复，以达到修复缺陷的目的，从而能够提高电路板的生产质量和优化电路板的修复流程、减少人力资源的消耗。
可选地，将上述可选实施方式进行结合，并基于上述技术方案进一步优化与扩展，可得到本申请提供的缺陷修复方法的一种实施方式。
参阅图2，图2是本申请提供的缺陷修复方法一实施例的流程示意图。其中，该方法应用于上述实施例中的光学修复设备，以被该光学修复设备执行，该方法包括：
步骤S11：获取电路板的检测图像；其中，检测图像包括电路板区域。
可选地，光学修复设备基于AOI装置实时采集到电路板的检测图像，或通过其他途径（如，第三方机构）的传输得到电路板的检测图像。
在一实施例中，光学修复设备可通过搭载的深度相机、3D相机、单目相机或者双目相机等中的一个的图像采集装置，并根据用户的输入，而产生对应的控制信息，以获取电路板的采集图像，即电路板的检测图像。
在另一实施例中，光学修复设备在自身存储介质中存储有电路板的检测图像，通过用户输入相应的控制参数而提取出电路板的检测图像；或者光学修复设备通过连接于第三方机构（如，数字处理平台、云端服务器、外部终端等）以从从第三方机构中获取电路板的检测图像。
其中，在检测图像中包括非电路板区域和电路板区域。在电路板区域中包括有电路板的各种电路元件区域的检测图像，在电路元件区域中由于生产条件等影响具有多种需要检测和修复的缺陷；而在非电路板区域中不包括电路元件区域的检测图像。
步骤S12：提取电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息。
参阅图3，图3是本申请中获取缺陷实例一实施例的流程示意图。具体而言，步骤S12可以包括如下步骤：
步骤S121：对检测图像进行分割定位，得到若干个分割图像及其对应的分割坐标。
参阅图4，图4是本申请对检测图像进行分割定位一实施例的流程示意图。具体而言，步骤S121可以包括如下步骤：
步骤S1211：对检测图像进行语义分割，以得到若干个分割图像。
可选地，光学修复设备通过一已训练的语义分割模型对检测图像进行语义分割，以得到若干个语义分割图像。
其中，每一分割图像在检测图像中占用预设个像素点位置。例如，检测图像是一张1080乘以1080分辨率的PCB图像，则在PCB图像对应的原始电路板中包含有1080乘以1080个像素点，通过语义分割模型得到的语义分割图像对应的在原始电路板中的所在区域占用预设个像素点位置，如占用4乘以4个像素点位置、16乘以16个像素点位置等等。
在一实施例中，语义分割模型可以通过UNet卷积神经网络训练得到。其中，UNet卷积神经网络的整个网络是一个“U”的形状，Unet网络可以分成两部分，一是特征提取部分，其和其他卷积神经网络一样，其可以通过将检测图像经过堆叠卷积来提取图像特征，并通过池化来压缩特征图，以得到检测图像的若干个特征图像。另一部分为图像还原部分，其通过上采样和卷积来来将压缩的若干个特征图像进行还原，以得到最终的若干个语义分割图像。
其中，UNet卷积神经网络的特征提取部分可以使用优秀网络，例如：Resnet50，VGG等。其中，若将检测图像中的电路元件区域作为mask（掩膜），则其范围较小，UNet卷积神经网络可以使用focal loss作为神经网络的损失函数来平衡正负例，最终得到能够输出语义分割图像的损失函数不再降低的稳定语义分割模型。
步骤S1212：基于每一分割图像所占用的预设个像素点位置，提取若干个分割图像对应的分割坐标。
可选地，光学修复设备通过每一分割图像在原始电路板区域中所占用的预设个像素点位置，来提取出每一分割图像对应在原始电路板中的坐标位置，即分割位置。
作为示例，原始电路板对应的检测图像为一个1080乘以1080分辨率的PCB图像，通过UNet卷积神经网络得到分割图像A0对应在原始电路板区域中的区域A1，其中，区域A1对应在原始电路板区域中的像素点位置A2包括16乘以16个像素点区域。则光学修复设备基于区域A1所占用的的像素点位置A2得到分割图像A0对应在原始电路板区域中的坐标位置，即分割位置。
步骤S122：基于若干个分割图像和分割坐标，提取若干个分割图像在电路板区域中对应的缺陷位置信息和缺陷轮廓信息。
可选地，光学修复设备将获取的若干个分割图像及其对应的分割坐标输入预先训练的神经网络中进行目标检测，以提取出该若干个分割图像在电路板区域中对应的缺陷位置信息和缺陷轮廓信息；其中，该神经网络基于若干待训练图像和预设的缺陷模板训练得到。每一种缺陷模板包括各种缺陷类型、缺陷尺寸、缺陷像素点位置等缺陷信息。缺陷位置信息包括缺陷对应的像素点位置或者坐标位置，缺陷轮廓信息包括缺陷在电路板区域中对应的形状轮廓和尺寸大小。
在一种实施例中，预先训练的神经网络可以为强化学习模型。其通过学习若干待训练图像及其对应的坐标向量在预设的多种缺陷模板下经过缺陷检测得到的累积反馈值，以得到不同的行动策略（即执行目标检测）在每个初始状态值（即无缺陷情况）下最优的目标检测结果范围。其中，在目标检测结果范围内的每一个目标检测结果都表示一个分割图像中对应缺陷的信息。
作为示例，强化学习模型设置每一行动策略在无缺陷情况下的初始量为sp＝（x1n，x2n，....，xnn），其中，sp为行动策略，xnn为一无缺陷情况下的初始量，xi∈[li，hi]是第i个行动策略的初始量，总共需要学习的初始量有n∈N个。强化学习模型采取不同行动策略和待训练图像的累积反馈值为rt＝score（st+1）-score（st），其中，累积反馈值设定每次调参的步长为1，即a＝（±1，±1，.......，±1，），score为当前反馈值设置下根据工程师认定的综合最优的目标检测结果范围，在该范围内的任意可行反馈值都可以作为一个目标检测的结果。
参阅图5，图5是本申请中提取电路板区域中缺陷的信息另一实施例的流程示意图。具体而言，步骤S122的另一实施例可以包括如下步骤：
步骤S1221：将若干个分割图像输入神经网络中进行特征提取，以获取对应的若干个图像特征。
可选地，光学修复设备将获取的若干个分割图像输入神经网络中进行特征提取，以提取出该若干个分割图像对应的若干个图像特征。
在一实施例中，神经网络基于每一分割图像识别到其对应方向、像素点位置和角度上需要提取的特征介质，再利用特征提取网络(如CNN、VGG、ResNet等)对特征介质进行特征分割，以分割出每一分割图像对应的图像特征。
步骤S1222：利用神经网络对若干个图像特征进行缺陷识别，以识别出属于对应缺陷模板的缺陷特征。
可选地，光学修复设备利用该神经网络将该若干个分割图像对应的图像特征与预设的缺陷模板进行缺陷匹配和缺陷识别，以在该若干个分割图像中识别出属于对应缺陷模板的缺陷特征。
作为示例，预设的缺陷模板为A类型缺陷的标准图像特征，光学修复设备利用神经网络将该若干个分割图像对应的图像特征与预设的缺陷模板进行特征匹配，以识别出若干个分割图像中的分割图像B和分割图像C的图像特征与标准图像特征的相似度满足预设阈值要求，则神经网络识别出分割图像B和分割图像C对应的缺陷特征为A类型缺陷的图像特征。
步骤S1223：利用神经网络对缺陷特征与其分割图像对应的分割坐标，提取出缺陷位置信息和缺陷轮廓信息。
可选地，光学修复设备利用该神经网络基于至少一个分割图像对应的分割坐标及其缺陷特征，提取出对应至少一种缺陷位置信息和缺陷轮廓信息。其中，缺陷位置信息包括缺陷对应的像素点位置或者坐标位置，缺陷轮廓信息包括缺陷在电路板区域中对应的形状轮廓和尺寸大小。
步骤S123：基于缺陷位置信息和缺陷轮廓信息对应生成至少一种缺陷实例。
可选地，光学修复设备将至少一种缺陷的缺陷位置信息和缺陷轮廓信息标记在检测图像中对应缺陷所占用的像素点位置，以生成缺陷实例。其中，光学修复设备标记缺陷的信息的方式可以通过多方式框选（如不同框选颜色、框选形状等）对应的区域并在该区域附近标注缺陷的缺陷位置信息和缺陷轮廓信息。
作为示例，光学修复设备根据检测图像的分割图像检测出在检测图像中对应有缺陷A，以及缺陷A对应缺陷类型、缺陷尺寸、缺陷坐标和缺陷像素点位置A1的缺陷位置信息和缺陷轮廓信息。光学修复设备根据缺陷A的缺陷像素点位置A1，在检测图像中确定对应于缺陷像素点位置A1的区域A2，光学修复设备再通过添加设置尺寸的红色矩形框将区域A2进行框选，以及在框选区域的附近添加一个包括缺陷A所有的缺陷位置信息和缺陷轮廓信息的对话气泡，以将缺陷A进行标记，进而在电路板的检测图像上生成缺陷A缺陷实例。
参阅图6，图6是本申请中获取缺陷实例另一实施例的流程示意图。具体而言，步骤S12也可以包括如下步骤：
步骤S124：提取电路板区域中存在的至少一种缺陷的缺陷位置信息和缺陷轮廓信息。
可选地，光学修复设备将检测图像输入预先训练的神经网络中进行目标检测，以提取出检测图像的电路板区域中存在的至少一种缺陷的缺陷位置信息和缺陷轮廓信息。
可选地，神经网络对检测图像进行目标检测包括对整张检测图像进行特征提取，以得到检测图像对应的若干个图像特征，再对若干个图像特征进行缺陷识别和缺陷定位，以识别出属于对应缺陷模板的缺陷特征，以及对应缺陷特征在检测图像中的缺陷坐标，最后，神经网络根据若干个缺陷特征与其缺陷坐标，提取出检测图像中的至少一种缺陷的缺陷位置信息和缺陷轮廓信息。其中，缺陷位置信息包括缺陷对应的像素点位置或者坐标位置，缺陷轮廓信息包括缺陷在电路板区域中对应的形状轮廓和尺寸大小。
步骤S125：基于至少一种缺陷的缺陷位置信息和缺陷轮廓信息，将检测图像中对应的缺陷区域进行分割定位，得到若干个分割图像及其对应的分割坐标。
可选地，光学修复设备将检测图像中对应该至少一种缺陷的缺陷位置信息和缺陷轮廓信息输入神经网络中，以对缺陷的缺陷位置信息和缺陷轮廓信息对应在检测图像中的缺陷区域进行分割定位，以得到若干个分割图像及其对应的分割坐标。
其中，神经网络对缺陷区域进行分割定位与上述实施例中的神经网络对检测图像进行语义分割，以得到若干个分割图像，以及基于每一分割图像所占用的预设个像素点位置，提取若干个分割图像对应的分割坐标相似，这里不再赘述。
步骤S126：基于若干个分割图像和分割坐标生成至少一种缺陷实例。
可选地，光学修复设备根据该若干个分割图像和分割坐标解析到其对应缺陷的缺陷位置信息和缺陷轮廓信息。光学修复设备再将对应缺陷的缺陷位置信息和缺陷轮廓信息输入神经网络中，以生成对应所有缺陷信息的至少一种缺陷实例。其中，神经网络根据所有缺陷信息生成对应的至少一种缺陷实例的方法与上述实施例中的神经网络将至少一种缺陷的信息标记在检测图像中对应缺陷所占用的像素点位置，以生成缺陷实例，这里不再赘述。
步骤S13：基于缺陷位置信息和缺陷轮廓信息规划对应于至少一种缺陷实例的缺陷修复路径，并基于缺陷修复路径对电路板进行修复。
在一实施例中，光学修复设备将获取的至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息输入缺陷修复装置中，缺陷修复装置基于缺陷实例识别出待修复缺陷的类型，再基于待修复缺陷的类型和缺陷轮廓信息匹配对应的自动缺陷修复策略，最后，缺陷修复装置根据缺陷的缺陷位置信息确定在电路板上需要修复区域的像素点坐标，并在该电路板对应的像素点坐标上根据匹配的缺陷修复策略来规划对应于该至少一种缺陷实例的缺陷修复路径，并基于该缺陷修复路径对电路板中的缺陷区域进行修复。
可以理解的是，在缺陷修复装置可以包括有一台、两台或者多台缺陷修复装置，其中，两台或者多台缺陷修复装置之间相互串联和/或并联，各缺陷修复装置可以具有不同的修复功能，即各种缺陷修复装置可以修复相同类型的缺陷也可以修复不相同类型的缺陷，进而缺陷修复装置通过该多台缺陷修复装置可以在一个运转周期内实现待修电路板上的多种和多个缺陷的修复工作。
在另一实施例中，缺陷修复装置也可通过工程师基于获取的至少一种缺陷实例及其对应缺陷的缺陷位置信息和缺陷轮廓信息，来操作和控制光学修复设备以对电路板上的缺陷进行人工修复，以增强电路板缺陷修复的有效性。
区别于现有技术，本实施方式提供的缺陷修复方法应用于光学修复设备，该方法包括：获取电路板的检测图像；其中，检测图像包括电路板区域；提取电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息；基于缺陷位置信息和缺陷轮廓信息规划对应于至少一种缺陷实例的缺陷修复路径，并基于缺陷修复路径对电路板进行修复。通过上述方式，利用电路板的检测图像提取出电路板区域中的缺陷位置信息和缺陷轮廓信息，然后再通过缺陷位置信息和缺陷轮廓信息，规划对应于缺陷实例的缺陷修复路径，并通过缺陷修复路径对电路板进行修复，以达到修复缺陷的目的，从而能够提高电路板的生产质量和优化电路板的修复流程、减少人力资源的消耗。
参阅图7，图7是本申请提供的一种电子设备的结构示意图，该电子设备100包括处理器101以及与处理器101连接的存储器102，其中，存储器102中存储有程序数据，处理器101调取存储器102存储的程序数据，以执行上述的缺陷修复方法。
可选地，在一实施例中，处理器101应用于光学修复设备；处理器101用于执行存储器102中存储的程序数据以实现如下方法：获取电路板的检测图像；其中，检测图像包括电路板区域；提取电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息；基于缺陷位置信息和缺陷轮廓信息规划对应于至少一种缺陷实例的缺陷修复路径，并基于缺陷修复路径对电路板进行修复。
通过上述的方法，处理器101利用电路板的检测图像提取出电路板区域中的缺陷位置信息和缺陷轮廓信息，然后再通过缺陷位置信息和缺陷轮廓信息，规划对应于缺陷实例的缺陷修复路径，并通过缺陷修复路径对电路板进行修复，以达到修复缺陷的目的，从而能够提高电路板的生产质量和优化电路板的修复流程、减少人力资源的消耗。
其中，处理器101还可以称为CPU（Central Processing Unit，中央处理单元）。处理器101可能是一种电子芯片，具有信号的处理能力。处理器101还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器102可以为内存条、TF卡等，可以存储电子设备100中的全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器102中。它根据处理器101指定的位置存入和取出信息。有了存储器102，电子设备100才有记忆功能，才能保证正常工作。电子设备100的存储器102按用途可分为主存储器(内存)和辅助存储器(外存)，也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的电子设备100的实施方式仅仅是示意性的，例如，基于至少一种缺陷的信息对应生成至少一种缺陷实例及其对应的缺陷坐标；将至少一种缺陷的信息标记在检测图像中对应缺陷所占用的像素点位置，以生成缺陷实例和缺陷坐标等等，其仅仅为一种集合的方式，实际实现时可以有另外的划分方式，例如检测图像中对应缺陷所占用的像素点位置与检测图像对应的缺陷坐标和分割坐标可以结合或者可以集合到另一个系统中，或一些特征可以忽略，或不执行。
另外，在本申请各个实施例中的各功能单元（如信息提取模块和缺陷修复模块等）可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
参阅图8，图8是本申请提供的计算机可读存储介质一实施例的结构示意图，该计算机可读存储介质110中存储有能够实现上述所有方法的程序指令111。
在本申请各个实施例中的各功能单元集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读存储介质110中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机可读存储介质110在一个程序指令111中，包括若干指令用以使得一台计算机设备（可以是个人计算机，系统服务器，或者网络设备等）、电子设备（例如MP3、MP4等，也可以是手机、平板电脑、可穿戴设备等移动终端，也可以是台式电脑等）或者处理器（processor）以执行本申请各个实施方式方法的全部或部分步骤。
可选地，在一实施例中，程序指令111应用于光学修复设备；程序指令111在被处理器执行时，用以实现如下方法：获取电路板的检测图像；其中，检测图像包括电路板区域；提取电路板区域中至少一种缺陷实例及其对应缺陷的缺陷位置信息与缺陷轮廓信息；基于缺陷的位置信息与缺陷轮廓信息，规划对应于至少一种缺陷实例的缺陷修复路径，并基于此路径在电路板中将对应于缺陷坐标的区域进行修复。
通过上述的方法，程序指令111利用电路板的检测图像提取出电路板区域中的缺陷位置信息和缺陷轮廓信息，然后再通过缺陷位置信息和缺陷轮廓信息，规划对应于缺陷实例的缺陷修复路径，并通过缺陷修复路径对电路板进行修复，以达到修复缺陷的目的，从而能够提高电路板的生产质量和优化电路板的修复流程、减少人力资源的消耗。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质110(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机可读存储介质110实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机可读存储介质110到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的程序指令111产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机可读存储介质110也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储介质110中的程序指令111产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机可读存储介质110也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的程序指令111提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一实施例中，这些可编程数据处理设备上包括处理器和存储器。处理器还可以称为CPU（Central Processing Unit，中央处理单元）。处理器可能是一种电子芯片，具有信号的处理能力。处理器还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以为内存条、TF卡等，它根据处理器指定的位置存入和取出信息。存储器按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种缺陷修复方法，应用于光学修复设备，其特征在于，所述方法包括：
获取电路板的检测图像；其中，所述检测图像包括电路板区域；
提取所述电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息；
基于所述缺陷位置信息和所述缺陷轮廓信息规划对应于所述至少一种缺陷实例的缺陷修复路径，并基于所述缺陷修复路径对所述电路板进行修复。
2.根据权利要求1所述的缺陷修复方法，其特征在于，所述提取所述电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息，包括：
对所述检测图像进行分割定位，得到若干个分割图像及其对应的分割坐标；
基于所述若干个分割图像和所述分割坐标，提取所述若干个分割图像在所述电路板区域中对应的缺陷位置信息和缺陷轮廓信息；
基于所述缺陷位置信息和所述缺陷轮廓信息对应生成所述至少一种缺陷实例。
3.根据权利要求2所述的缺陷修复方法，其特征在于，所述对所述检测图像进行分割定位，得到若干个分割图像及其对应的分割坐标，包括：
对所述检测图像进行语义分割，以得到所述若干个分割图像；其中，每一分割图像在所述检测图像中占用预设个像素点位置；
基于每一所述分割图像所占用的预设个像素点位置，提取所述若干个分割图像对应的分割坐标。
4.根据权利要求2所述的缺陷修复方法，其特征在于，
所述基于所述若干个分割图像和所述分割坐标，提取所述若干个分割图像在所述电路板区域中对应的缺陷位置信息和缺陷轮廓信息，包括：
将所述若干个分割图像和所述分割坐标输入预先训练的神经网络中进行目标检测，以提取出所述缺陷位置信息和所述缺陷轮廓信息；
其中，所述神经网络基于若干待训练图像和预设的缺陷模板训练得到。
5.根据权利要求4所述的缺陷修复方法，其特征在于，
所述将所述若干个分割图像和所述分割坐标输入预先训练的神经网络中进行目标检测，以提取出所述缺陷位置信息和所述缺陷轮廓信息，包括：
将所述若干个分割图像输入所述神经网络中进行特征提取，以获取对应的若干个图像特征；
利用所述神经网络对所述若干个图像特征进行缺陷识别，以识别出属于对应缺陷模板的缺陷特征；
利用所述神经网络对所述缺陷特征与其分割图像对应的所述分割坐标，提取出所述缺陷位置信息和所述缺陷轮廓信息。
6.根据权利要求2所述的缺陷修复方法，其特征在于，
所述基于所述缺陷位置信息和所述缺陷轮廓信息对应生成所述至少一种缺陷实例，包括：
将所述缺陷位置信息和所述缺陷轮廓信息标记在所述检测图像中对应缺陷所占用的像素点位置，以生成所述至少一种缺陷实例。
7.根据权利要求1所述的缺陷修复方法，其特征在于，所述提取所述电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息，包括：
提取所述电路板区域中存在的至少一种缺陷的缺陷位置信息和缺陷轮廓信息；
基于所述至少一种缺陷的缺陷位置信息和缺陷轮廓信息，将所述检测图像中对应的缺陷区域进行分割定位，得到若干个分割图像及其对应的分割坐标；
基于所述若干个分割图像和所述分割坐标生成所述至少一种缺陷实例。
8.一种光学修复设备，其特征在于，所述光学修复设备包括：
图像获取模块，用于获取电路板的检测图像；其中，所述检测图像包括电路板区域；
信息提取模块，用于提取所述电路板区域中至少一种缺陷实例及其对应的缺陷位置信息和缺陷轮廓信息；
缺陷修复模块，基于所述缺陷位置信息和所述缺陷轮廓信息规划对应于所述至少一种缺陷实例的缺陷修复路径，并基于所述缺陷修复路径对所述电路板进行修复。
9.一种电子设备，其特征在于，所述电子设备包括处理器以及与所述处理器连接的存储器，其中，所述存储器中存储有程序数据，所述处理器调取所述存储器存储的所述程序数据，以执行如权利要求1-7任意一项所述的缺陷修复方法。
10.一种计算机可读存储介质，内部存储有程序指令，其特征在于，所述程序指令被执行以实现如以执行如权利要求1-7任意一项所述的缺陷修复方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210705298.0A CN114782286A (zh) | 2022-06-21 | 2022-06-21 | 缺陷修复方法、光学修复设备、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210705298.0A CN114782286A (zh) | 2022-06-21 | 2022-06-21 | 缺陷修复方法、光学修复设备、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114782286A true CN114782286A (zh) | 2022-07-22 |
Family
ID=82420714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210705298.0A Pending CN114782286A (zh) | 2022-06-21 | 2022-06-21 | 缺陷修复方法、光学修复设备、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114782286A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115754670A (zh) * | 2022-11-15 | 2023-03-07 | 广东炬森智能装备有限公司 | 一种pcb线路板短路缺陷的修补复检方法及设备 |
| CN116571410A (zh) * | 2023-07-14 | 2023-08-11 | 杭州百子尖科技股份有限公司 | 基于机器视觉的缺陷区域修复方法、装置、设备以及介质 |
| CN116703914A (zh) * | 2023-08-07 | 2023-09-05 | 浪潮云洲工业互联网有限公司 | 基于生成式人工智能的焊接缺陷检测方法、设备及介质 |
| CN117237347A (zh) * | 2023-11-14 | 2023-12-15 | 深圳思谋信息科技有限公司 | Pcb板缺陷检测方法、装置、存储介质及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741310A (zh) * | 2018-12-27 | 2019-05-10 | 深圳市鹰眼在线电子科技有限公司 | Pcb板的图像处理方法、系统及存储介质 |
| US20190213725A1 (en) * | 2018-01-05 | 2019-07-11 | Industrial Technology Research Institute | Board defect filtering method and device thereof and computer-readable recording medium |
| CN110111331A (zh) * | 2019-05-20 | 2019-08-09 | 中南大学 | 基于机器视觉的蜂窝纸芯缺陷检测方法 |
| CN112001317A (zh) * | 2020-08-25 | 2020-11-27 | 广东电网有限责任公司 | 基于语义信息的导线缺陷识别方法、系统及终端设备 |
| CN112862811A (zh) * | 2021-03-10 | 2021-05-28 | 华中科技大学 | 基于深度学习的材料显微图像缺陷识别方法、设备及装置 |
| CN114119554A (zh) * | 2021-11-29 | 2022-03-01 | 哈尔滨工业大学 | 一种基于卷积神经网络的表面微缺陷检测方法及装置 |
| CN114119557A (zh) * | 2021-11-29 | 2022-03-01 | 哈尔滨工业大学 | 一种基于卷积神经网络的光学元件快速暗场检测方法 |
-
2022
- 2022-06-21 CN CN202210705298.0A patent/CN114782286A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190213725A1 (en) * | 2018-01-05 | 2019-07-11 | Industrial Technology Research Institute | Board defect filtering method and device thereof and computer-readable recording medium |
| CN109741310A (zh) * | 2018-12-27 | 2019-05-10 | 深圳市鹰眼在线电子科技有限公司 | Pcb板的图像处理方法、系统及存储介质 |
| CN110111331A (zh) * | 2019-05-20 | 2019-08-09 | 中南大学 | 基于机器视觉的蜂窝纸芯缺陷检测方法 |
| CN112001317A (zh) * | 2020-08-25 | 2020-11-27 | 广东电网有限责任公司 | 基于语义信息的导线缺陷识别方法、系统及终端设备 |
| CN112862811A (zh) * | 2021-03-10 | 2021-05-28 | 华中科技大学 | 基于深度学习的材料显微图像缺陷识别方法、设备及装置 |
| CN114119554A (zh) * | 2021-11-29 | 2022-03-01 | 哈尔滨工业大学 | 一种基于卷积神经网络的表面微缺陷检测方法及装置 |
| CN114119557A (zh) * | 2021-11-29 | 2022-03-01 | 哈尔滨工业大学 | 一种基于卷积神经网络的光学元件快速暗场检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 罗月童等: "基于卷积去噪自编码器的芯片表面弱缺陷检测方法", 《计算机科学》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115754670A (zh) * | 2022-11-15 | 2023-03-07 | 广东炬森智能装备有限公司 | 一种pcb线路板短路缺陷的修补复检方法及设备 |
| CN115754670B (zh) * | 2022-11-15 | 2023-07-18 | 广东炬森智能装备有限公司 | 一种pcb线路板短路缺陷的修补复检方法及设备 |
| CN116571410A (zh) * | 2023-07-14 | 2023-08-11 | 杭州百子尖科技股份有限公司 | 基于机器视觉的缺陷区域修复方法、装置、设备以及介质 |
| CN116571410B (zh) * | 2023-07-14 | 2023-09-26 | 杭州百子尖科技股份有限公司 | 基于机器视觉的缺陷区域修复方法、装置、设备以及介质 |
| CN116703914A (zh) * | 2023-08-07 | 2023-09-05 | 浪潮云洲工业互联网有限公司 | 基于生成式人工智能的焊接缺陷检测方法、设备及介质 |
| CN116703914B (zh) * | 2023-08-07 | 2023-12-22 | 浪潮云洲工业互联网有限公司 | 基于生成式人工智能的焊接缺陷检测方法、设备及介质 |
| CN117237347A (zh) * | 2023-11-14 | 2023-12-15 | 深圳思谋信息科技有限公司 | Pcb板缺陷检测方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114782286A (zh) | 缺陷修复方法、光学修复设备、电子设备及存储介质 | |
| KR102229594B1 (ko) | 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체 | |
| CN112132113A (zh) | 车辆再识别的方法、装置、训练方法以及电子设备 | |
| CN111833303A (zh) | 产品的检测方法、装置、电子设备及存储介质 | |
| CN105469400A (zh) | 电子元件极性方向的快速识别、标注的方法和系统 | |
| CN107369176B (zh) | 一种柔性ic基板氧化面积检测系统及方法 | |
| CN104239909A (zh) | 一种图像的识别方法和装置 | |
| CN115249237A (zh) | 缺陷检测方法、缺陷检测装置及计算机可读存储介质 | |
| CN112712513A (zh) | 产品缺陷检测方法、装置、设备及计算机可读存储介质 | |
| CN115239626A (zh) | 缺陷检测方法、光学检测设备、电子设备以及存储介质 | |
| CN112070762A (zh) | 液晶面板的mura缺陷检测方法、装置、存储介质及终端 | |
| CN114298985B (zh) | 缺陷检测方法、装置、设备及存储介质 | |
| CN117078677B (zh) | 一种用于始极片的缺陷检测方法及系统 | |
| CN114693963A (zh) | 基于电力数据特征提取的识别模型训练、识别方法及装置 | |
| CN112699754B (zh) | 信号灯识别方法、装置、设备以及存储介质 | |
| CN114227717A (zh) | 基于巡检机器人的智能巡检方法、装置、设备及存储介质 | |
| CN116596903A (zh) | 缺陷识别方法、装置、电子设备及可读存储介质 | |
| CN115239628A (zh) | 缺陷检测方法、光学检测设备、电子设备以及存储介质 | |
| CN111486790A (zh) | 一种电池全尺寸检测方法与装置 | |
| CN114882469B (zh) | 一种基于dl-ssd模型的交通标志检测方法及系统 | |
| CN115375965A (zh) | 一种目标场景识别的预处理方法、目标场景识别方法 | |
| CN115601345A (zh) | 基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置 | |
| CN112053280B (zh) | 全景地图显示的方法、装置、设备和存储介质 | |
| CN115115793A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN117275030B (zh) | 审核地图的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220722 |
|
| RJ01 | Rejection of invention patent application after publication |