CN116385331A - 瑕疵检测方法、系统、电子设备及介质 - Google Patents

瑕疵检测方法、系统、电子设备及介质 Download PDF

Info

Publication number
CN116385331A
CN116385331A CN202111545294.2A CN202111545294A CN116385331A CN 116385331 A CN116385331 A CN 116385331A CN 202111545294 A CN202111545294 A CN 202111545294A CN 116385331 A CN116385331 A CN 116385331A
Authority
CN
China
Prior art keywords
image
detection
training
flaw
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111545294.2A
Other languages
English (en)
Inventor
谭富元
程靖涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fulian Precision Electronics Tianjin Co Ltd
Original Assignee
Fulian Precision Electronics Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fulian Precision Electronics Tianjin Co Ltd filed Critical Fulian Precision Electronics Tianjin Co Ltd
Priority to CN202111545294.2A priority Critical patent/CN116385331A/zh
Priority to US17/752,033 priority patent/US20230196756A1/en
Publication of CN116385331A publication Critical patent/CN116385331A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

本申请的实施例提供一种瑕疵检测方法、系统、电子设备及介质，瑕疵检测方法应用于服务器，包括：获取待检物上第一区域所对应的第一图像，其中所述第一区域为所述待检物经过第一检测判定为瑕疵的区域；根据所述第一图像的尺寸选择对应的检测模型；根据所述检测模型对所述第一图像进行瑕疵检测；输出检测结果。服务器用以自动对光学检测结果进行复检，降低制作过程中所耗费的大量人力。

Description

瑕疵检测方法、系统、电子设备及介质
技术领域
本申请涉及检测领域，尤其涉及一种瑕疵检测方法、系统、电子设备及介质。
背景技术
随着科技进步，电子零件的精密度要求日益趋高。为确保电子零件的良率提升，在电路板的制作过程会经过光学检测与复检两个阶段。光学检测阶段用以取得待检物图像，并判断待检物是否存在瑕疵。复检阶段是通过人工的方式对光学检测阶段所判定的瑕疵进一步检测标记。然而，在光学检测阶段误判概率高，此高误判率将造成人工复检的负担。降低制作过程中所耗费的大量人力为工业制程中的趋势。
发明内容
有鉴于此，有必要提供一种瑕疵检测方法、系统、电子设备及介质，用以自动对光学检测结果进行复检，降低制作过程中所耗费的大量人力。
第一方面提供一种瑕疵检测方法，应用于服务器，包括：获取待检物上第一区域所对应的第一图像，其中所述第一区域为所述待检物经过第一检测判定为瑕疵的区域；根据所述第一图像的尺寸选择对应的检测模型；根据所述检测模型对所述第一图像进行瑕疵检测；输出检测结果。
在一些实施例中，所述根据所述第一图像的尺寸选择对应的检测模型包括：根据所述第一图像的尺寸比例选择对应的检测模型。
在一些实施例中，所述根据所述第一图像的尺寸比例选择对应的检测模型包括：当所述第一图像的长度大于宽度时，选择第一检测模型；当所述第一图像的长度小于宽度时，选择第二检测模型；当所述第一图像的长度等于宽度时，选择第三检测模型。
在一些实施例中，所述方法还包括：获取第一网络和第二网络；将所述第一网络和所述第二网络进行融合，构建双模型训练网络。
在一些实施例中，所述第一网络为变分自动编码器VAE网络，所述第二网络为深度残差网络ResNet。
在一些实施例中，所述方法还包括：获取训练图像集；将所述训练图像集中的第一训练图像输入所述双模型训练网络进行训练，以获得第一检测模型，其中所述第一训练图像的长度大于宽度；将所述训练图像集中的第二训练图像输入所述双模型训练网络进行训练，以获得第二检测模型，其中所述第一训练图像的长度小于宽度；将所述训练图像集中的第三训练图像输入所述双模型训练网络进行训练，以获得第三检测模型，其中所述第一训练图像的长度等于宽度。
第二方面本申请实施例提供一种瑕疵检测系统，所述瑕疵检测系统，连接于第一检测装置，所述瑕疵检测系统包括：复检站，连接于所述第一检测装置，所述复检站接收来自所述第一检测装置输出的第一图像；服务器，连接至所述复检站，存储检测模型；所述服务器用于获取待检物上第一区域所对应的第一图像，其中所述第一区域为所述待检物经过光学检测判定为瑕疵的区域，根据所述第一图像的尺寸选择对应的检测模型，根据所述检测模型对所述第一图像进行瑕疵检测，输出检测结果；所述复检站还用于显示所述检测结果。
在一些实施例中，所述的瑕疵检测系统，还包括：数据库，所述数据库连接于所述复检站和所述服务器之间，所述数据库用于存储所述第一检测装置输出的检测结果和所述服务器输出的检测结果。
第三方面本申请实施例提供一种电子设备，所述电子设备包括：内存及一个或多个处理器；内存，用于存储第一图像；当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一所述的瑕疵检测方法。
第四方面本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如商任一项所述的瑕疵检测方法。
本申请相比于现有技术，至少具有如下有益效果：通过获取第一图像，并根据所述第一图像的尺寸选择对应的检测模型，然后使用所述检测模型对所述第一图像进行瑕疵检测，可以提高模型适用性，达到模型效用最大化。
附图说明
图1为本申请实施例提供的一种瑕疵检测系统的结构示意图。
图2为本申请实施例提供的瑕疵检测系统的工作过程示意图。
图3为本申请实施例提供的一种瑕疵检测方法流程示意图。
图4为本申请实施例提供的模型训练方法示意图。
图5为本申请实施例提供的一种电子设备的结构示意图。
主要元件符号说明
瑕疵检测系统 100
第一检测装置 10
复检站 110
服务器 120
数据库 130
电子设备 140
处理器 141
通信总线 142
存储器 143
通信接口 144
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互之间组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。
图1为本申请实施例提供的一种瑕疵检测系统的结构示意图。以下将通过图1说明本申请瑕疵检测系统100中的系统结构与相关组件。
瑕疵检测系统100连接至第一检测装置10。第一检测装置10具有光学元件，用以摄像待检物，获取待检物图像。第一检测装置10通过待检物图像对待检物进行初步的瑕疵检测，即第一检测。若第一检测装置10对待检测物进行第一检测后，判断待检物上某一区域(即第一区域)具备瑕疵，则截取出该区域的图像(即第一图像)，将第一图像传送至瑕疵检测系统100。
在一些实施例中，第一检测装置10例如为自动光学检测装置(AutomaticOpticalInspection equipment，AOI)或者是自动外观检测装置(Automatic VisualInspectionequipment，AVI)。待检物例如为各种类型的电路板。常见的瑕疵例如为，内外层偏位、手指异色、手指异物、手指露铜、文字不清、油墨脱落、金面异色、金面异物、金面露铜、电测、手指压折伤、防焊脱落、金面压折伤或软板脏污等。第一图像为待检物上的第一区域上具有或疑似具有瑕疵特征，并被判定为存在瑕疵的图像。本申请并不以前述自动光学检测装置、待检物与瑕疵的案例为限。
本申请的瑕疵检测系统100具有复检站110、服务器120以及数据库130。
复检站110连接第一检测装置10，并用以接收来自第一检测装置10输出的第一图像和第一图像的数据，其中，第一图像的数据可以为第一图像的尺寸(例如长度、宽度)、以及产线数据(例如产线中的工位、物料、时间、批次、检测结果、包装)等数据。
在一些实施例中，复检站110还会将所接收到的第一图像存储在复检站110。
在一些实施例中，复检站110与瑕疵检测系统100中的其他设备相互连接，并作为整合设备与数据传输的中继站。例如，第一图像存储于复检站110的硬盘中之特定目录，将该特定目录设为共享文件夹，并将该共享文件夹挂载于服务器120，则服务器120可以从共享文件夹中获得第一图像。
在一些实施例中，复检站110例如为验证修复伺服器，本申请对此不作具体限定。
服务器120连接于复检站110和数据库130之间。服务器120存储检测模型。服务器120用于获取第一图像，并根据第一图像的尺寸选择对应的检测模型，根据检测模型对第一图像进行瑕疵检测，输出检测结果至复检站110，复检站110还用于显示服务器120所输出的检测结果。
在一些实施例中，服务器120例如为一个服务器或者包括多个服务器的服务器集群，本申请对此不作具体限定。
数据库130用于存储第一检测装置10输出的检测结果和服务器120输出的检测结果。
在一些实施例中，数据库130用于存储复检站110输出的第一图像的数据。
在一些实施例中，数据库130可以为本地数据库130。数据库130例如为MySQL或者ES(ElasticSearch)等，本申请实施例对此不作具体限定。
在一些实施例中，瑕疵检测系统100还包括第一软件(图未示)，第一软件可以运行于复检站110。第一软件用于监听第一图像的数据进入复检站110，将一图像的数据存至数据库130，并将第一图像的数据存入队列(Queue)当中。第一软件还用于接收服务器120所判定之检测结果，并将检测结果显示于复检站110的显示屏。
在一些实施例中，瑕疵检测系统100还包括第二软件(图未示)，第二软件可以运行于服务器120。第二软件用于从队列当中取出第一图像的数据，并传输给服务器120。第二软件还用于接收服务器120输出的检测结果，并将服务器120输出的检测结果传输给第一软件。
在本申请实施例中，复检站110与服务器120、数据库130连接时，是通过实体线路以及各类输入端口，例如通用串行总线(Universal Serial Bus，USB)、串行端口(SerialPort)、火线(FireWire，采用IEEE 1394标准)、VME总线等进行数据的交换。又或者是，复检站110也可以通过各类的通信芯片，例如蓝牙芯片、WiFi芯片等进行实作，以进行数据的交换。本申请实施例对此不作具体限定。
以下说明在瑕疵检测系统100中各个元件互动以执行瑕疵检测方法的过程。请一并参阅图2，图2为本申请实施例提供的瑕疵检测系统的工作过程示意图。
用户将待检物放入第一检测装置10，第一检测装置10对待检物进行拍摄以及进行第一检测。若判断该待检物无瑕疵，则无需对该待检测物进一步检测；反之，若判断该待检物有瑕疵，第一检测装置10将获取待检物上第一区域的第一图像，并将第一图像传送至复检站110。复检站110将第一检测装置10对该待检物进行第一检测的检测结果以及该待检物的第一图像存储至复检站110硬盘中的特定目录。该特定目录设为共享文件夹并挂载于服务器120。此时，装载于复检站110的第一软件监听到新数据(即新的第一图像的数据)进入，并将新数据存入数据库130当中，排队等候服务器120自动复判。第二软件从数据库130排队等候处理的第一图像的数据取出，并将该第一图像的数据传输给服务器120。服务器120还从共享文件夹当中取出对应的第一图像，服务器120基于第一图像的数据以及第一图像进行瑕疵检测。服务器120将检测结果回传至第二软件，第二软件将服务器120的检测结果传输给第一软件。第一软件将服务器120的检测结果回传至复检站110当中的显示软件，以在复检站110中显示服务器120的检测结果。
请参阅图3，图3为本申请实施例提供的一种瑕疵检测方法流程示意图。该瑕疵检测方法应用于服务器120。应理解，图3示出了瑕疵检测方法的步骤或操作，但这些步骤或操作仅是示例，本申请实施例还可以执行其他操作或者图3中的各个操作的变形。瑕疵检测方法包括如下步骤：
步骤31，服务器获取待检物上第一区域所对应的第一图像，其中第一区域为待检物经过第一检测判定为瑕疵的区域。
可以理解，在待检物的上被第一检测装置判定为瑕疵的区域包括多个，则第一区域的数量可以包括多个，相应地，第一图像的数量可以包括多个，本申请对此不作具体。
步骤32，服务器根据第一图像的尺寸选择对应的检测模型。
在一些实施例中，根据第一图像的尺寸选择对应的检测模型包括：根据第一图像的尺寸比例选择对应的检测模型。具体地，根据第一图像的尺寸比例选择对应的检测模型包括：当第一图像的长度大于宽度时，选择第一检测模型；当第一图像的长度小于宽度时，选择第二检测模型；当第一图像的长度等于宽度时，选择第三检测模型。第一检测模型、第二检测模型以及第三检测模型不同。
在本申请实施例中，生产线上所生产的产品型号多样，也即待检物形状、结构多样，则第一检测装置10对待检物中判定为瑕疵的第一区域所裁切下来的第一图像的大小相异。若根据不同产品型号训练出多个模型，其适用性太低且模型过多难以进行管理，因此最后选择根据第一图像的尺寸比例训练出三种检测模型。
可以理解，对于不同型号的产品，其一般是产品上的部件大小不同，以及产品上的部件的位置设置不同，但是待检物上所设置的部件可以确定，由此第一检测装置根据待检物上各个部件的尺寸裁剪出第一图像后，可以根据第一图像的长宽尺寸比例进行区分，并根据不同的长宽尺寸比例训练三种不同的检测模型，以达到模型效用最大化。
在一些实施例中，第一检测装置拍摄待检物的角度和方向相同，第一图像的长度方向与待检物图像的长度方向平行，第一图像的宽度方向与待检物图像的宽度方向平行。
请一并参阅图4，图4为本申请实施例提供的模型训练方法示意图。应理解，图4示出了模型训练方法的步骤或操作，但这些步骤或操作仅是示例，本申请实施例还可以执行其他操作或者图4中的各个操作的变形。模型训练方法包括如下步骤：
步骤41，获取第一网络和第二网络，其中第一网络为变分自动编码器VAE网络，第二网络为深度残差网络ResNet。
在本申请实施例中，变分自动编码器VAE网络包括：输入层、编码网络、中间隐含变量层和解码网络。深度残差网络ResNet包括：卷积层、池化层、隐含层和全连接层。
其中，深度残差网络ResNet可以为ResNet34网络。
步骤42，将第一网络和第二网络进行融合，构建双模型训练网络。
在本申请实施例中，将变分编码器VAE和深度残差网络ResNet中含有特征向量的隐含层进行并行融合，得到双模型训练网络，还可以使用softmax分类器作为该网络的输出层。
在本申请实施例中，采用ResNet34网络，改善模型训练时因层数过多碰到的梯度消失问题。搭配变分自动编码器VAE网络的新应用，可以改善漏检率，该双模型训练网络透过强化学习重新被判为无瑕疵图像的特征，最终经由计算传入图像及重新建构完图像之间之特征差异得更精确地区分出被判断为瑕疵的图像。
步骤43，获取训练图像集。
在本申请实施例中，训练图像集包括多个已标注的训练图像，训练图像为人工标注好的训练样本图像，用于训练检测模型。
在本申请实施例中，服务器挂载复检站，由此可以取得由第一检测装置所拍摄的图像、以及第一检测装置生成的关于所拍摄图像的数据文档，解析文档内容。根据第一区域的尺寸裁切图像并标注为瑕疵或无瑕疵，将标注好的图像(即训练图像)存到指定路径。将所裁切出的图像依据尺寸比例分成三组:训练图像的长度大于宽度、训练图像的长度小于宽度、训练图像的长度等于宽度，将这三组训练图像分别用于训练三种模型，以达到模型效用最大化。
步骤44，将训练图像集中的第一训练图像输入双模型训练网络进行训练，以获得第一检测模型，其中第一训练图像的长度大于宽度。
步骤45，将训练图像集中的第二训练图像输入双模型训练网络进行训练，以获得第二检测模型，其中第一训练图像的长度小于宽度。
步骤46，将训练图像集中的第三训练图像输入双模型训练网络进行训练，以获得第三检测模型，其中第一训练图像的长度等于宽度。
在本申请实施例中，使用变分自动编码器VAE网络和深度残差网络ResNet进行双模型训练。产线数据每日汇入本地数据库，上线后的检测模型能透过数据库中之数据计算模型准确度，用户或服务器以依据模型准确度决定是否更新检测模型。
步骤33，服务器根据检测模型对第一图像进行瑕疵检测。
在本申请实施例中，服务器根据检测模型对第一图像进行瑕疵检测，若第一图像检测为瑕疵，则输出该待检物为瑕疵的检测结果。若第一图像检测为无瑕疵，则输出该待检物为无瑕疵的检测结果。
步骤34，服务器输出检测结果。
在本申请实施例中，服务器输出检测结果，并显示该检测结果，若检测结果为瑕疵，则输出待检物为瑕疵。若检测结果为无瑕疵，则输出待检物为无瑕疵。
图5为本申请实施例提供的一种电子设备的结构示意图。该电子设备140包括处理器141，通信总线142，存储器143以及至少一个通信接口144。
处理器141可以是一个通用中央处理器(Central Processing Unit，CPU)，特定应用集成电路(application-specific integrated circuit，ASIC)，图形处理器(graphicsprocessing unit，GPU)或其任意组合。处理器141可以包括一个或多个芯片，如昇腾芯片，处理器141可以包括AI加速器，例如：神经网络处理器(neural processing unit，NPU)。
通信总线142可包括在电子设备140各个部件(例如，处理器141、存储器143、通信接口144)之间传送信息的通路。
存储器143可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其它类型的静态存储设备，随机存取存储器(random access memory，RAM))或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储器143可以是独立存在，通过通信总线142与处理器141相连接。存储器143也可以和处理器141集成在一起。存储器143可以存储计算机指令，当存储器143中存储的计算机指令被处理器141执行时，可以实现本申请的瑕疵检测方法。另外，存储器143中还可以存储有处理器在执行上述方法的过程中所需的数据以及所产生的中间数据和/或结果数据。
通信接口144，使用任何收发器一类的装置，用于与其它设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。
在具体实现中，作为一种实施例，处理器141可以包括一个或多个CPU。
在具体实现中，作为一种实施例，计算机设备可以包括多个处理器。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述各方法实施例中的瑕疵检测。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述各方法实施例中的应用程序瑕疵检测。
另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的应用程序瑕疵检测。
其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种瑕疵检测方法，其特征在于，应用于服务器，包括：
获取待检物上第一区域所对应的第一图像，其中所述第一区域为所述待检物经过第一检测确定为瑕疵的区域；
根据所述第一图像的尺寸选择对应的检测模型；
根据所述检测模型对所述第一图像进行瑕疵检测，并输出检测结果。
2.如权利要求1所述的瑕疵检测方法，其特征在于，所述根据所述第一图像的尺寸选择对应的检测模型包括：
根据所述第一图像的尺寸比例选择对应的检测模型。
3.如权利要求2所述的瑕疵检测方法，其特征在于，所述根据所述第一图像的尺寸比例选择对应的检测模型包括：
当所述第一图像的长度大于宽度时，选择第一检测模型；
当所述第一图像的长度小于宽度时，选择第二检测模型；
当所述第一图像的长度等于宽度时，选择第三检测模型。
4.如权利要求3所述的瑕疵检测方法，其特征在于，还包括：
获取第一网络和第二网络；
将所述第一网络和所述第二网络进行融合，构建双模型训练网络。
5.如权利要求4所述的瑕疵检测方法，其特征在于，所述第一网络为变分自动编码器VAE网络，所述第二网络为深度残差网络ResNet。
6.如权利要求4所述的瑕疵检测方法，其特征在于，还包括：
获取训练图像集；
将所述训练图像集中的第一训练图像输入所述双模型训练网络进行训练，以获得第一检测模型，其中所述第一训练图像的长度大于宽度；
将所述训练图像集中的第二训练图像输入所述双模型训练网络进行训练，以获得第二检测模型，其中所述第一训练图像的长度小于宽度；
将所述训练图像集中的第三训练图像输入所述双模型训练网络进行训练，以获得第三检测模型，其中所述第一训练图像的长度等于宽度。
7.一种瑕疵检测系统，其特征在于，所述瑕疵检测系统，连接于第一检测装置，所述瑕疵检测系统包括：
复检站，连接于所述第一检测装置，所述复检站接收来自所述第一检测装置输出的第一图像；
服务器，连接至所述复检站，存储检测模型；所述服务器用于获取待检物上第一区域所对应的第一图像，其中所述第一区域为所述待检物经过光学检测判定为瑕疵的区域，根据所述第一图像的尺寸选择对应的检测模型，根据所述检测模型对所述第一图像进行瑕疵检测，输出检测结果；
所述复检站还用于显示所述检测结果。
8.如权利要求7所述的瑕疵检测系统，其特征在于，还包括：
数据库，所述数据库连接于所述复检站和所述服务器之间，所述数据库用于存储所述第一检测装置输出的检测结果和所述服务器输出的检测结果。
9.一种电子设备，其特征在于，所述电子设备包括：内存及一个或多个处理器；
内存，用于存储第一图像；
当一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至6中任一所述的瑕疵检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的瑕疵检测方法。
CN202111545294.2A 2021-12-16 2021-12-16 瑕疵检测方法、系统、电子设备及介质 Pending CN116385331A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111545294.2A CN116385331A (zh) 2021-12-16 2021-12-16 瑕疵检测方法、系统、电子设备及介质
US17/752,033 US20230196756A1 (en) 2021-12-16 2022-05-24 Method for detecting defects and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111545294.2A CN116385331A (zh) 2021-12-16 2021-12-16 瑕疵检测方法、系统、电子设备及介质

Publications (1)

Publication Number Publication Date
CN116385331A true CN116385331A (zh) 2023-07-04

Family

ID=86768662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111545294.2A Pending CN116385331A (zh) 2021-12-16 2021-12-16 瑕疵检测方法、系统、电子设备及介质

Country Status (2)

Country Link
US (1) US20230196756A1 (zh)
CN (1) CN116385331A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237347B (zh) * 2023-11-14 2024-03-29 深圳思谋信息科技有限公司 Pcb板缺陷检测方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US20230196756A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
EP2492767B1 (en) Inspection system, management server, inspection apparatus and method for managing inspection data
CN112348765A (zh) 数据增强方法、装置、计算机可读存储介质及终端设备
CN111915549A (zh) 瑕疵检测方法、电子装置及计算机可读存储介质
JP5718781B2 (ja) 画像分類装置および画像分類方法
CN111144493B (zh) 一种自动识别算法指标测试的方法、存储介质及电子终端
CN111667476B (zh) 布料瑕疵检测方法、装置、电子设备及可读存储介质
CN115631178B (zh) 自动晶圆缺陷检测方法、系统、设备及存储介质
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN116385331A (zh) 瑕疵检测方法、系统、电子设备及介质
JP2021119341A (ja) 生産ラインスマート監視システム及び監視方法
CN109992511B (zh) 获取代码测试覆盖率的装置及方法
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN112966466B (zh) 电路板基板选择方法、装置、终端设备及存储介质
CN112184679A (zh) 一种基于YOLOv3的酒瓶瑕疵自动检测方法
JP2011232303A (ja) 画像検査方法及び画像検査装置
CN112001891A (zh) 一种金手指缺陷检测方法、系统、终端及存储介质
TWI748184B (zh) 瑕疵檢測方法、電子裝置及電腦可讀存儲介質
CN115546108A (zh) 基于边云协同和ar的汽车轮胎外观质量智能检测方法
TW202326598A (zh) 瑕疵檢測方法、系統、電子設備及介質
CN114596302A (zh) 一种pcb板缺陷检测方法、系统、介质、设备及终端
CN112184701A (zh) 检测结果的确定方法、装置及系统
CN114757869A (zh) 产品瑕疵检测方法及计算机装置
CN116630306B (zh) 一种飞机半圆头铆钉的缺陷检测方法和装置
CN116205542B (zh) 一种基于数据对比的质量管理系统、方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination