CN117437496A - 基于机器视觉的电脑一体机良率检测方法及系统 - Google Patents
基于机器视觉的电脑一体机良率检测方法及系统 Download PDFInfo
- Publication number
- CN117437496A CN117437496A CN202311768676.0A CN202311768676A CN117437496A CN 117437496 A CN117437496 A CN 117437496A CN 202311768676 A CN202311768676 A CN 202311768676A CN 117437496 A CN117437496 A CN 117437496A
- Authority
- CN
- China
- Prior art keywords
- image
- image block
- segmented
- target
- segmented image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000007547 defect Effects 0.000 claims abstract description 67
- 238000003709 image segmentation Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 230000002950 deficient Effects 0.000 claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims description 145
- 238000004422 calculation algorithm Methods 0.000 claims description 98
- 239000011159 matrix material Substances 0.000 claims description 74
- 239000003550 marker Substances 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 239000000969 carrier Substances 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 33
- 238000004590 computer program Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种基于机器视觉的电脑一体机良率检测方法及系统,在获取待识别目标一体机表面图像后,进行图像分割处理,获得多个分割图像块,预估分割图像块在图像中的生成支持系数,通过生成支持系数确定该待识别目标一体机表面图像的缺陷变量,再获取目标图像特征,通过目标图像特征与合格一体机表面图像分类的参照图像特征,确定合格图像相似度,最后通过缺陷变量和合格图像相似度,确定待识别图像为合格一体机表面图像或缺陷一体机表面图像。基于此,通过一体机表面图像的缺陷变量和合格图像相似度确定待识别图像的图像内容关联系数,通过图像内容关联系数可以识别缺陷不易分辨的缺陷一体机表面图像,增加产品良率检测的准确度。
Description
技术领域
本申请涉及人工智能领域,具体涉及一种基于机器视觉的电脑一体机良率检测方法及系统。
背景技术
电脑一体机是一种集成了显示屏、主机和输入设备(如键盘、鼠标)的计算机产品。其采用一体化设计,整合了所有硬件组件在一个结构中,外形简洁,占用空间较小,适合家庭和办公环境使用。电脑一体机因为整合了显示器和主机,外形简洁大方,减少了杂乱的线缆,提升了整体美观度,因此,简洁美观是其相较于分体式计算机的一大优势,目前的大多数电脑一体机厂商也在其外观设计上进行大量开发。电脑一体机的良率检测中也将大量注意力投放在外观缺陷检测上,例如划痕、破损、噪点、色差、光泽过渡等缺陷。目前,出现了基于机器视觉结合AI的方式进行缺陷识别的方式,能大大提高检测效率,而对于缺陷检测精度高,例如细微缺陷、颜色过渡等缺陷,传统的检测方式效果精度有待提高。
发明内容
本申请提供了一种基于机器视觉的电脑一体机良率检测方法及系统。
根据本申请的一方面,提供了一种基于机器视觉的电脑一体机良率检测方法,应用于计算机设备,所述方法包括:
获取待识别目标一体机表面图像,对所述待识别目标一体机表面图像进行图像分割处理,获得图像分割处理后的多个分割图像块;
对所述多个分割图像块进行缺陷预估处理,获得所述多个分割图像块在所述待识别目标一体机表面图像中的生成支持系数,通过所述多个分割图像块对应的生成支持系数确定用于判断所述待识别目标一体机表面图像的内容平顺度的缺陷变量;
对所述待识别目标一体机表面图像进行语义表征载体抽取,获得所述待识别目标一体机表面图像的目标图像特征;
通过所述目标图像特征与合格一体机表面图像分类的参照图像特征,确定用于判断所述待识别目标一体机表面图像的合格语义内容的合格图像相似度;
通过所述缺陷变量和所述合格图像相似度,确定所述待识别目标一体机表面图像为合格一体机表面图像或缺陷一体机表面图像。
作为一种实施方式,所述对所述多个分割图像块进行缺陷预估处理,获得所述多个分割图像块在所述待识别目标一体机表面图像中的生成支持系数,通过所述多个分割图像块对应的生成支持系数确定用于判断所述待识别目标一体机表面图像的内容平顺度的缺陷变量,包括:
获取首端标记分割图像块和末端标记分割图像块,将所述首端标记分割图像块、所述末端标记分割图像块和所述多个分割图像块共同作为待执行分割图像块,通过所述待执行分割图像块构建待执行分割图像块矩阵;
在分割图像块对照库中确定每一待执行分割图像块各自对应的分割图像块标记;
确定每个待执行分割图像块在所述待执行分割图像块矩阵中的分布坐标,获取细节语义算法,在所述细节语义算法中依照所述分布坐标对每个待执行分割图像块各自对应的分割图像块标记进行预估,获得每个分割图像块各自对应的分割图像块预估分布信息;所述分割图像块预估分布信息用以描述所述分割图像块对照库中的分割图像块在所述待识别目标一体机表面图像中的生成支持系数;
通过所述每个分割图像块各自对应的分割图像块预估分布信息,确定所述每个分割图像块在所述待识别目标一体机表面图像中的生成支持系数;
通过所述每个分割图像块在所述待识别目标一体机表面图像中的生成支持系数,确定用于判断所述待识别目标一体机表面图像的内容平顺度的缺陷变量。
作为一种实施方式,所述每个分割图像块各自对应的分割图像块预估分布信息包括正序预估分布和逆序预估分布;所述细节语义算法包括第一编码算子、中间状态表示算子和分类算子;所述确定每个待执行分割图像块在所述待执行分割图像块矩阵中的分布坐标,获取细节语义算法,在所述细节语义算法中依照所述分布坐标对每个待执行分割图像块各自对应的分割图像块标记进行预估,获得每个分割图像块各自对应的分割图像块预估分布信息,包括:
获取所述第一编码算子对所述每个待执行分割图像块各自对应的分割图像块标记进行编码,获得每个待执行分割图像块各自对应的分割图像块编码特征;
确定每个待执行分割图像块在所述待执行分割图像块矩阵中的分布坐标,获取所述中间状态表示算子依照所述分布坐标对所述每个待执行分割图像块各自对应的分割图像块编码特征进行中间状态特征表示,获得每个分割图像块各自对应的正序中间状态特征和逆序中间状态特征;
获取所述分类算子对每个分割图像块各自对应的正序中间状态特征和逆序中间状态特征进行分类预测,获得每个分割图像块各自对应的正序预估分布和逆序预估分布;
其中,所述分布坐标包括正序分布坐标和逆序分布坐标;所述确定每个待执行分割图像块在所述待执行分割图像块矩阵中的分布坐标,获取所述中间状态表示算子依照所述分布坐标对所述每个待执行分割图像块各自对应的分割图像块编码特征进行中间状态特征表示,获得每个分割图像块各自对应的正序中间状态特征和逆序中间状态特征,包括:
确定每个待执行分割图像块在所述待执行分割图像块矩阵中的正序分布坐标,获取所述中间状态表示算子依照所述正序分布坐标对所述每个待执行分割图像块各自对应的分割图像块编码特征进行中间状态特征表示,获得每个分割图像块各自对应的正序中间状态特征;
确定每个待执行分割图像块在所述待执行分割图像块矩阵中的逆序分布坐标,获取中间状态表示算子依照所述逆序分布坐标对所述每个待执行分割图像块各自对应的分割图像块编码特征进行中间状态特征表示,获得每个分割图像块各自对应的逆序中间状态特征;
所述通过所述每个分割图像块各自对应的分割图像块预估分布信息,确定所述每个分割图像块在所述待识别目标一体机表面图像中的生成支持系数,包括:
通过所述每个分割图像块各自对应的正序预估分布和逆序预估分布,构建每个分割图像块各自对应的统计预估分布;所述多个分割图像块包括分割图像块B;
在所述分割图像块B对应的统计预估分布中获取与所述分割图像块B对应的分割图像块标记对应的分割图像块,将其确定为目标分割图像块,将所述分割图像块B对应的统计预估分布中与所述目标分割图像块对应的生成支持系数,确定为所述分割图像块B在所述待识别目标一体机表面图像中的生成支持系数。
作为一种实施方式,所述对所述待识别目标一体机表面图像进行语义表征载体抽取,获得所述待识别目标一体机表面图像的目标图像特征,包括:
获取开始标记分割图像块和末尾标记分割图像块,将所述开始标记分割图像块、所述末尾标记分割图像块和所述多个分割图像块共同作为待检测分割图像块,通过所述待检测分割图像块构建一体机表面图像分割图像块矩阵;
在分割图像块对照库中确定每一待检测分割图像块各自对应的分割图像块标记,构建待检测分割图像块标记集;
获取所述每一待检测分割图像块分别在所述一体机表面图像分割图像块矩阵中的分割图像块坐标,构建分割图像块坐标集;
获取所述每一待检测分割图像块分别在所述一体机表面图像分割图像块矩阵中的区域分布信息,构建区域分布信息集;
获取图像语义算法,在所述图像语义算法中对所述待检测分割图像块标记集、所述分割图像块坐标集和所述区域分布信息集进行语义表征载体抽取,获得所述待识别目标一体机表面图像的目标图像特征。
作为一种实施方式,所述图像语义算法包括第二编码算子和内部注意力算子;所述获取图像语义算法,在所述图像语义算法中对所述待检测分割图像块标记集、所述分割图像块坐标集和所述区域分布信息集进行语义表征载体抽取,获得所述待识别目标一体机表面图像的目标图像特征,包括:
获取所述第二编码算子对所述待检测分割图像块标记集、所述分割图像块坐标集和所述区域分布信息集进行编码,获得每一待检测分割图像块各自对应的待检测分割图像块标记编码特征、分割图像块坐标编码特征和区域分布信息编码特征;
通过所述每一待检测分割图像块各自对应的待检测分割图像块标记编码特征、分割图像块坐标编码特征和区域分布信息编码特征,构建所述每一待检测分割图像块各自对应的融合编码特征;其中,一个待检测分割图像块对应的融合编码特征是通过所述待检测分割图像块对应的待检测分割图像块标记编码特征、分割图像块坐标编码特征和区域分布信息编码特征构建得到的;
获取所述内部注意力算子对所述每一待检测分割图像块各自对应的融合编码特征进行注意力处理,获得所述每一待检测分割图像块各自对应的中间状态特征;
在所述每一待检测分割图像块各自对应的中间状态特征中,将所述开始标记分割图像块对应的中间状态特征,确定为所述待识别目标一体机表面图像的目标图像特征。
作为一种实施方式,所述合格一体机表面图像分类的数量为多个;所述通过所述目标图像特征与合格一体机表面图像分类的参照图像特征,确定所述待识别目标一体机表面图像的合格图像相似度,包括:
分别确定每一合格一体机表面图像分类的参照图像特征与所述目标图像特征之间的特征相似度,作为比较相似度;
通过所述比较相似度在多个参照图像特征中逐一获取x个参照图像特征;所述x大于或等于1,且所述x不大于所述合格一体机表面图像分类的数量;
构建所述目标图像特征与所述x个参照图像特征之间的特征相似度平均值,将所述特征相似度平均值作为所述待识别目标一体机表面图像的合格图像相似度;
所述通过所述缺陷变量和所述合格图像相似度,确定所述待识别目标一体机表面图像为合格一体机表面图像或缺陷一体机表面图像,包括:通过所述缺陷变量和所述合格图像相似度各自对应的调节变量,对所述缺陷变量和所述合格图像相似度进行调节,获得所述待识别目标一体机表面图像的图像内容关联系数;
如果所述图像内容关联系数大于预设系数,则确定所述待识别目标一体机表面图像属于缺陷一体机表面图像;
如果所述图像内容关联系数小于或等于所述预设系数,则确定所述待识别目标一体机表面图像为合格一体机表面图像。
作为一种实施方式,所述方法还包括:
获取多个参考合格一体机表面图像;
基于所述图像语义算法获取所述多个参考合格一体机表面图像各自对应的图像特征;
对所述多个参考合格一体机表面图像各自对应的图像特征进行划簇,获得y个特征集合,每个特征集合各自代表不同的合格一体机表面图像分类;
将每个特征集合中质心对应的图像特征分别作为合格一体机表面图像分类的参照图像特征。
作为一种实施方式,所述方法还包括:
获取第一合格表面图像样例,对所述第一合格表面图像样例进行图像分割处理,获得图像分割处理后的多个第一分割图像块样例;
将所述首端标记分割图像块、所述末端标记分割图像块和所述多个第一分割图像块样例共同作为待执行分割图像块样例,通过所述待执行分割图像块样例构建待执行分割图像块样例矩阵;
在所述分割图像块对照库中确定所述每个待执行分割图像块样例各自对应的分割图像块标记;
确定每个待执行分割图像块样例在所述待执行分割图像块样例矩阵中的分布坐标样例,获取基础细节语义算法,在所述基础细节语义算法中依照所述分布坐标样例对每个待执行分割图像块样例各自对应的分割图像块标记进行预估,获得每个第一分割图像块样例各自对应的分割图像块样例预估分布信息;
依据各第一分割图像块样例各自对应的分割图像块注释分布和所述分割图像块样例预估分布信息对所述基础细节语义算法进行优化,获得所述细节语义算法。
作为一种实施方式,所述方法还包括:
获取第二合格表面图像样例,对所述第二合格表面图像样例进行图像分割处理,获得图像分割处理后的多个第二分割图像块样例;
将所述开始标记分割图像块、所述末尾标记分割图像块和所述多个第二分割图像块样例共同作为第一分割图像块样例,通过所述第一分割图像块样例构建图像分割图像块矩阵样例;
获取y个任意的标记分割图像块,采取所述y个任意的标记分割图像块分别代替所述图像分割图像块矩阵样例中的y个第一分割图像块样例,获得代替后的图像分割图像块矩阵样例;所述y的数量小于所述图像分割图像块矩阵样例中所述第二分割图像块样例的数量;
获取所述y个任意的标记分割图像块在所述代替后的图像分割图像块矩阵样例中的标记分布坐标,通过所述标记分布坐标构建标记分布坐标集;
通过所述代替后的图像分割图像块矩阵样例、所述标记分布坐标集和所述任意的标记分割图像块对基础图像语义算法进行优化,构建所述图像语义算法。
根据本申请的另一方面,提供了一种检测系统,包括互相通信的摄像设备和计算机设备,所述摄像设备用于获取目标电脑一体机的表面图像,并发送至所述计算机设备,所述计算机设备包括至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行以上所述的方法。
本申请至少包括如下有益效果:
本申请实施例提供的基于机器视觉的电脑一体机良率检测方法及系统,在获取待识别目标一体机表面图像后,对待识别目标一体机表面图像进行图像分割处理,获得多个分割图像块,预估分割图像块在待识别目标一体机表面图像中的生成支持系数,通过分割图像块对应的生成支持系数确定该待识别目标一体机表面图像的缺陷变量,再获取待识别目标一体机表面图像的目标图像特征,通过目标图像特征与合格一体机表面图像分类的参照图像特征,确定待识别目标一体机表面图像的合格图像相似度,最后通过目标一体机表面图像的缺陷变量和合格图像相似度,确定待识别目标一体机表面图像为合格一体机表面图像或缺陷一体机表面图像。其中,预估分割图像块在待识别目标一体机表面图像中的生成支持系数可以采用细节语义算法完成,获取待识别目标一体机表面图像的目标图像特征可以采用图像语义算法完成。其中,细节语义算法和图像语义算法均采用合格表面图像样例优化获得。基于此,通过待识别目标一体机表面图像的缺陷变量和合格图像相似度确定待识别目标一体机表面图像的图像内容关联系数,通过图像内容关联系数可以识别缺陷不易分辨的缺陷一体机表面图像,增加产品良率检测的准确度。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分,与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的,并不限制权利要求的范围。在所有附图中,相同的附图标记指代类似但不一定相同的要素。
图1示出了根据本申请的实施例的检测系统的系统架构示意图。
图2示出了根据本申请的实施例的一种基于机器视觉的电脑一体机良率检测方法的流程图。
图3示出了根据本申请的实施例的检测装置的功能模块架构示意图。
图4示出了根据本申请的实施例的一种计算机设备的组成示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在本申请中,除非另有说明,否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系,这种术语只是用于将一个要素与另一要素区分开。在一些示例中,第一要素和第二要素可以指向该要素的同一实例,而在某些情况下,基于上下文的描述,它们也可以指代不同实例。
在本申请中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的,而并非旨在进行限制。除非上下文另外明确地表明,如果不特意限定要素的数量,则该要素可以是一个也可以是多个。此外,本申请中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
图1示出了根据本申请的实施例提供的检测系统100的系统架构示意图。该检测系统100包括一个或多个摄像设备101、计算机设备120以及将一个或多个摄像设备101耦接到计算机设备120的一个或多个通信网络110。摄像设备101可以被配置为执行一个或多个应用程序。在本申请的实施例中,计算机设备120可以运行使得能够执行基于机器视觉的电脑一体机良率检测方法的一个或多个服务或软件应用。在某些实施例中,计算机设备120还可以提供其他服务或软件应用,这些服务或软件应用可以包括非虚拟环境和虚拟环境。在某些实施例中,这些服务可以作为基于web的服务或云服务提供,例如在软件即服务(SaaS)模型下提供给摄像设备101的用户。
在图1所示的配置中,计算机设备120可以包括实现由计算机设备120执行的功能的一个或多个组件。这些组件可以包括可由一个或多个处理器执行的软件组件、硬件组件或其组合。操作摄像设备101的用户可以依次利用一个或多个应用程序来与计算机设备120进行交互以利用这些组件提供的服务。应当理解,各种不同的系统配置是可能的,其可以与检测系统100不同。因此,图1是用于实施本文所描述的各种方法的系统的一个示例,并且不旨在进行限制。
使用摄像设备101可以拍摄电脑一体机的表面图像,并通过网络110发送至计算机设备120。
网络110可以是本领域技术人员熟知的任何类型的网络,其可以使用多种可用协议中的任何一种(包括但不限于TCP/IP、SNA、IPX等)来支持数据通信。仅作为示例,一个或多个网络110可以是局域网(LAN)、基于以太网的网络、令牌环、广域网(WAN)、因特网、虚拟网络、虚拟专用网络(VPN)、内部网、外部网、区块链网络、公共交换电话网(PSTN)、红外网络、无线网络(例如蓝牙、WIFI)和/或这些和/或其他网络的任意组合。
计算机设备120可以包括一个或多个通用计算机、专用服务器计算机(例如PC(个人计算机)服务器、UNIX服务器、中端服务器)、刀片式服务器、大型计算机、服务器群集或任何其他适当的布置和/或组合。计算机设备120可以包括运行虚拟操作系统的一个或多个虚拟机,或者涉及虚拟化的其他计算架构(例如可以被虚拟化以维护服务器的虚拟存储设备的逻辑存储设备的一个或多个灵活池)。在各种实施例中,计算机设备120可以运行提供下文所描述的功能的一个或多个服务或软件应用。
计算机设备120中的计算单元可以运行包括上述任何操作系统以及任何商业上可用的服务器操作系统的一个或多个操作系统。计算机设备120还可以运行各种附加服务器应用程序和/或中间层应用程序中的任何一个,包括HTTP服务器、FTP服务器、CGI服务器、JAVA服务器、数据库服务器等。
在一些实施方式中,计算机设备120可以包括一个或多个应用程序,以分析和合并从摄像设备101的用户接收的数据馈送和/或事件更新。计算机设备120还可以包括一个或多个应用程序,以经由摄像设备101的一个或多个显示设备来显示数据馈送和/或实时事件。
在一些实施方式中,计算机设备120可以为分布式系统的服务器,或者是结合了区块链的服务器。计算机设备120也可以是云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。云服务器是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS,Virtual Private Server)服务中存在的管理难度大、业务扩展性弱的缺陷。
检测系统100还可以包括一个或多个数据库130。在某些实施例中,这些数据库可以用于存储数据和其他信息。例如,数据库130中的一个或多个可用于存储拍摄的图像。数据库130可以驻留在各种位置。例如,由计算机设备120使用的数据库可以在计算机设备120本地,或者可以远离计算机设备120且可以经由基于网络或专用的连接与计算机设备120通信。数据库130可以是不同的类型。在某些实施例中,由计算机设备120使用的数据库例如可以是关系数据库。这些数据库中的一个或多个可以响应于命令而存储、更新和检索到数据库以及来自数据库的数据。
在某些实施例中,数据库130中的一个或多个还可以由应用程序使用来存储应用程序数据。由应用程序使用的数据库可以是不同类型的数据库,例如键值存储库,对象存储库或由文件系统支持的常规存储库。
图1的系统100可以以各种方式配置和操作,以使得能够应用根据本申请所描述的各种方法和装置。
请参照图2,本申请实施例提供的方法可以包括以下操作:
操作S100,获取待识别目标一体机表面图像,对待识别目标一体机表面图像进行图像分割处理,获得图像分割处理后的多个分割图像块。
实施过程中,待识别目标一体机表面图像为采用摄像设备拍摄得到的电脑一体机的表面图像,例如拍摄到电脑一体机的不同角度的图像,组成的全景图像或者拼接图像。分割图像块是基于语义分割后得到的多个图像分块,语义分割例如采用阈值分割、边缘检测、区域生长等分割方法(具体不做限定),将待识别目标一体机表面图像划分为不同的区域或者对象,以确定各个感兴趣分割图像块,换言之,全部的分割图像块组成待识别目标一体机表面图像。
操作S200,对多个分割图像块进行缺陷预估处理,获得多个分割图像块在待识别目标一体机表面图像中的生成支持系数,通过多个分割图像块对应的生成支持系数确定用于判断待识别目标一体机表面图像的内容平顺度的缺陷变量。
实施过程中,缺陷变量是用于判断一体机表面图像的内容平顺度的变量,缺陷变量越大,内容平顺度越差,内容平顺度表示图像的内容的连贯程度,可以理解,如果表面图像中出现产品缺陷(例如破损、划伤、溢胶、色差等)时,对应的电脑一体机的表面图像的内容会因为缺陷的存在而导致平顺度差。缺陷变量可以通过待识别目标一体机表面图像涵盖的各分割图像块在待识别目标一体机表面图像中的生成支持系数确定,具体可以参考以下公式一:
公式一:
其中,Sup是待识别目标一体机表面图像的缺陷变量,m是待识别目标一体机表面图像的分割图像块数量,Ci是待识别目标一体机表面图像中第i个分割图像块在待识别目标一体机表面图像中的生成支持系数,可以为概率值。通过上述公式获得待识别目标一体机表面图像的缺陷变量,可以判断待识别目标一体机表面图像的局部内容平顺度。
实施过程中,预估分割图像块在待识别目标一体机表面图像中的生成支持系数,可以采用细节语义算法(或者称为局部语义算法)实施。其中,细节语义算法可以是基于合格表面图像样例和循环神经网络(例如基于长短时记忆网络加上反向传播结构获得的双向网络)调试获得的神经网络算法,可以依据已知的分割图像块来预估下一个分割图像块。从而构建一体机表面图像的上下文信息模型,缺陷预估处理可以基于细节语义算法来预估分割图像块在待识别目标一体机表面图像中的生成支持系数的获取。
操作S300,对待识别目标一体机表面图像进行语义表征载体抽取,获得待识别目标一体机表面图像的目标图像特征。
实施过程中,对待识别目标一体机表面图像进行语义表征载体抽取,获得目标图像特征。其中,语义表征载体抽取是将一体机表面图像转换为低维向量或矩阵等矢量表达的过程,有利于对一体机表面图像的语义和结构信息进行表示。待识别目标一体机表面图像的目标图像特征可以通过图像语义算法(有别于细节语义算法,图像语义算法为从图像全局语义的维度构建的算法)抽取。其中,图像语义算法为通过合格表面图像样例(即没有缺陷的电脑一体机表面图像)训练转换器网络(transformer)获得的。
操作S400,通过目标图像特征与合格一体机表面图像分类的参照图像特征,确定用于判断待识别目标一体机表面图像的合格语义内容的合格图像相似度。
实施过程中,合格图像相似度可以通过目标图像特征和参照图像特征之间的空间距离来衡量(例如欧式距离),合格图像相似度越小,代表待识别目标一体机表面图像距合格语义差距越大。合格一体机表面图像分类的数量为多个,通过目标图像特征和一个合格一体机表面图像分类的参照图像特征,可以计算获得特征相似度,作为比较相似度。如果包含p个合格一体机表面图像分类,则对应p个参照图像特征,获取p个比较相似度,在p个比较相似度中确定x个最大的比较相似度各自对应的参照图像特征,其中x大于或等于1,且x不大于合格一体机表面图像分类的数量,再获取目标图像特征和确定的x个参照图像特征之间的特征相似度平均值,将特征相似度平均值作为待识别目标一体机表面图像的合格图像相似度。
实施过程中,合格一体机表面图像分类的参照图像特征的构建例如是获取多个参考合格一体机表面图像,基于图像语义算法获取参考合格一体机表面图像对应的图像特征,对参考合格一体机表面图像对应的图像特征进行划簇(即聚类,可采用通用的聚类算法实现该过程),获得y个特征集合(即划簇后得到的各个特征簇),每个特征集合可以代表一个合格一体机表面图像分类。将每个特征集合中质心对应的图像特征作为合格一体机表面图像分类的参照图像特征。
操作S500,通过缺陷变量和合格图像相似度,确定待识别目标一体机表面图像为合格一体机表面图像或缺陷一体机表面图像。
实施过程中,如果确定待识别目标一体机表面图像的缺陷变量和合格图像相似度,可以通过如下公式二计算待识别目标一体机表面图像的图像内容关联系数:
公式二:Cor=H×Sup+(1-H)×Sub
其中,Cor为一体机表面图像语义关联系数,即图像内容关联系数,Sup为判断局部内容平顺度的缺陷变量,Sub为判断全局语义合格情况的合格图像相似度;H为调节变量(为一个超参),其数值是根据实际需要事先设定的。
如果Cor大于预设系数g,那么确定待识别目标一体机表面图像属于缺陷一体机表面图像,如果Cor小于等于g,那么确定待识别目标一体机表面图像为合格一体机表面图像。基于本申请实施例提供的方法,对待识别目标一体机表面图像进行图像分割后,获得分割图像块,再预估分割图像块在待识别目标一体机表面图像中的生成支持系数,然后通过分割图像块对应的生成支持系数确定该待识别目标一体机表面图像的缺陷变量,之后获取待识别目标一体机表面图像的目标图像特征,通过目标图像特征与合格一体机表面图像分类的参照图像特征,确定待识别目标一体机表面图像的合格图像相似度,再通过调节变量将缺陷变量和合格图像相似度进行整合,以获得一体机表面图像的语义关联系数,如果一体机表面图像语义关联系数大于预设系数g,确定待识别目标一体机表面图像为缺陷一体机表面图像。
在另一实施方式中,本申请实施例提供的方法包括如下操作:
操作S10,获取待识别目标一体机表面图像,对待识别目标一体机表面图像进行图像分割处理,获得图像分割处理后的多个分割图像块。
实施过程中,操作S10请参照以上实施例中操作S100。
操作S20,获取首端标记分割图像块和末端标记分割图像块,将首端标记分割图像块、末端标记分割图像块和多个分割图像块共同作为待执行分割图像块,通过待执行分割图像块构建待执行分割图像块矩阵。
实施过程中,首端标记分割图像块是用于定义一连串或同一图像区域中的多个分割图像块的第一个分割图像块的位置的标记信息,可以通过预设的像素值(如其包含的像素值均为255)表达,相应的,末端标记分割图像块是用于定义一连串或同一图像区域中的多个分割图像块的最后一个分割图像块的位置的标记信息,可以通过预设的像素值(如其包含的像素值均为0)表达。在待执行分割图像块矩阵中,分割图像块的分布坐标和分割图像块在待识别目标一体机表面图像中的分布坐标一致,首端标记分割图像块位于首个分割图像块前,末端标记分割图像块位于末尾一个分割图像块后。
操作S30,在分割图像块对照库中确定每一待执行分割图像块各自对应的分割图像块标记。
实施过程中,获得待执行分割图像块矩阵后,基于细节语义算法预估分割图像块在待识别目标一体机表面图像中的生成支持系数,出于利于细节语义算法计算的目的,可以先将待执行分割图像块进行数值表示,具体地,在分割图像块对照库(一个预设的包含不同图像特征与对应数值映射关系的关系库)中确定每一待执行分割图像块各自对应的分割图像块标记(可以为一个具体的数值,例如1),由于分割图像块本身不能进行数据查询,则可以先将各个分割图像块进行卷积处理,得到一个特征向量,基于该特征向量在分割图像块对照库中索引对应的分割图像块标记,每个分割图像块对应一个分割图像块标记,在分割图像块对照库中确定每一待执行分割图像块各自对应的分割图像块标记,获得待识别目标一体机表面图像的分割图像块标记为一连串标记,如分割图像块1~6对应的分割图像块标记为(1,2,3,4,5,6),将分割图像块标记确定为细节语义算法的输入数据。
操作S40,确定每个待执行分割图像块在待执行分割图像块矩阵中的分布坐标,获取细节语义算法,在细节语义算法中依照分布坐标对每个待执行分割图像块各自对应的分割图像块标记进行预估,获得每个分割图像块各自对应的分割图像块预估分布信息。
实施过程中,会通过每个分割图像块分别在待执行分割图像块矩阵中的分布坐标,按序将每个待执行分割图像块各自对应的分割图像块标记输入细节语义算法,再基于细节语义算法输出每个分割图像块各自对应的分割图像块预估分布信息。其中,分割图像块预估分布信息用以表征分割图像块对照库中的分割图像块在待识别目标一体机表面图像中的生成支持系数,细节语义算法会得到每个分割图像块对应的预估分布。例如将(1,2,3,4,5,6)输入细节语义算法后,获得每个分割图像块对应的预估分布,如分割图像块1对应的预估分布为如(0.1,0.2,0.3,0,0,0,0),代表在分割图像块对照库中,分割图像块1在待识别目标一体机表面图像中生成的支持系数(例如可以表示为概率)为0.1,分割图像块8在待识别目标一体机表面图像中生成的支持系数为0.2,生成的支持系数11在待识别目标一体机表面图像中生成的支持系数为0.3,在待识别目标一体机表面图像中生成的支持系数为0。通过每个分割图像块各自对应的分割图像块预估分布信息,可确定每个分割图像块在待识别目标一体机表面图像中的生成支持系数。
实施过程中,细节语义算法例如包括第一编码算子(encoder)、中间状态表示算子(如上数,可以为bi-LSTM)和分类算子(为一个分类器,例如softmax分类器),则确定每个待执行分割图像块在待执行分割图像块矩阵中的分布坐标,获取细节语义算法,在细节语义算法中依照分布坐标对每个待执行分割图像块各自对应的分割图像块标记进行预估,获得每个分割图像块各自对应的分割图像块预估分布信息,例如可以为获取第一编码算子对每个待执行分割图像块各自对应的分割图像块标记进行编码,获得每个待执行分割图像块各自对应的分割图像块编码特征,再确定每个待执行分割图像块在待执行分割图像块矩阵中的分布坐标,获取中间状态表示算子依照分布坐标对每个待执行分割图像块各自对应的分割图像块编码特征进行中间状态特征表示(即隐层特征),获得每个分割图像块各自对应的正序中间状态特征和逆序中间状态特征,最后获取分类算子对每个分割图像块各自对应的正序中间状态特征和逆序中间状态特征进行分类预测(即进行归一映射),获得每个分割图像块各自对应的正序预估分布和逆序预估分布。也即,将每个待执行分割图像块对应的分割图像块标记输入第一编码算子,基于第一编码算子输出每个待执行分割图像块各自对应的分割图像块编码特征;再通过每个待执行分割图像块分别在待执行分割图像块矩阵中的分布坐标,将每个待执行分割图像块各自对应的分割图像块编码特征输入中间状态表示算子,通过中间状态表示算子输出每个分割图像块各自对应的正序中间状态特征和逆序中间状态特征;将每个分割图像块对应的正序中间状态特征输入到分类算子,获得每个分割图像块对应的正序预估分布,将每个分割图像块对应的逆序中间状态特征输入分类算子,获得每个分割图像块对应的逆序预估分布。其中,编码的过程为将待检测分割图像块对应的分割图像块标记转换成低维向量或矩阵等特征矢量表达。其中,获得每个分割图像块对应的正序中间状态特征,例如是确定每个待执行分割图像块在待执行分割图像块矩阵中的正序分布坐标,获取中间状态表示算子依照正序分布坐标对每个待执行分割图像块各自对应的分割图像块编码特征进行中间状态特征表示,获得每个分割图像块各自对应的正序中间状态特征。其中,中间状态特征表示可以是通过待执行分割图像块在待执行分割图像块矩阵中的分布坐标,将待执行分割图像块各自对应的分割图像块编码特征按序输入中间状态表示算子,通过中间状态表示算子计算得到每个分割图像块各自对应的正序中间状态特征的过程。获得每个分割图像块对应的逆序中间状态特征,例如是确定每个待执行分割图像块在待执行分割图像块矩阵中的逆序分布坐标,获取中间状态表示算子依照逆序分布坐标对每个待执行分割图像块各自对应的分割图像块编码特征进行中间状态特征表示,获得每个分割图像块各自对应的逆序中间状态特征。其中,中间状态特征表示,可以是通过待执行分割图像块在待执行分割图像块矩阵中的分布坐标,将待执行分割图像块各自对应的分割图像块编码特征按序逆向输入中间状态表示算子,通过中间状态表示算子计算得到各分割图像块对应的逆序中间状态特征的过程。其中,正序预估分布为用于预估下一待检测分割图像块出现的支持系数,逆序预估分布为用于预估上一待检测分割图像块出现的支持系数。本申请实施例中,正序和逆序是相对的相反的次序,例如正序为自上到下自左到右,那么相对的,逆序为自下而上,自右到左,当然也可以相反,即正序为自下而上,自右到左,逆序为自上到下自左到右,具体不做限定。
操作S50,通过每个分割图像块各自对应的分割图像块预估分布信息,确定每个分割图像块在待识别目标一体机表面图像中的生成支持系数;通过每个分割图像块在待识别目标一体机表面图像中的生成支持系数,确定待识别目标一体机表面图像的缺陷变量。
实施过程中,在获得分割图像块对应的正序预估分布和逆序预估分布后,通过分割图像块对应的正序预估分布和逆序预估分布,构建分割图像块对应的统计预估分布,统计算法可以为均值算法,即获取平均预估分布。设分割图像块中包括分割图像块B,则在分割图像块B对应的统计预估分布中获取与分割图像块B对应的分割图像块标记对应的分割图像块,将其确定为目标分割图像块,将分割图像块B对应的统计预估分布中与目标分割图像块对应的生成支持系数,确定为分割图像块B在待识别目标一体机表面图像中的生成支持系数。比如说,分割图像块对照库为[B→1,C→5,D→8],分割图像块B所在的分割图像块坐标在待识别目标一体机表面图像中对应的正序预估分布为(0.5,0.9,0.3),逆序预估分布为(0.4,0.2,0.7),将分割图像块B对应的正序预估分布和逆序预估分布平均后的统计预估分布(0.45,0.55,0.5),之后,在统计预估分布中,因分割图像块的分割图像块标记为1,那么,获取首个位置的生成支持系数作为分割图像块B在待识别目标一体机表面图像中的生成支持系数,即0.45。获得每个分割图像块对应的生成支持系数后,通过公式一获取待识别目标一体机表面图像的缺陷变量Sup。
操作S60,获取开始标记分割图像块和末尾标记分割图像块,将开始标记分割图像块、末尾标记分割图像块和多个分割图像块共同作为待检测分割图像块,通过待检测分割图像块构建一体机表面图像分割图像块矩阵。
实施过程中,待识别目标一体机表面图像中的多个分割图像块的数量为有个或多个,开始标记分割图像块用于定位整个待识别目标一体机表面图像中的第一个分割图像块,可以通过预设的像素值(如其包含的像素值均为125)表达,将其设置在全部分割图像块之前,末尾标记分割图像块用于定位整个待识别目标一体机表面图像中的最后一个分割图像块,可以通过预设的像素值(如其包含的像素值均为200)表达,将其设置在全部分割图像块之后。
操作S70,在分割图像块对照库中确定每一待检测分割图像块各自对应的分割图像块标记,构建待检测分割图像块标记集;获取每一待检测分割图像块分别在一体机表面图像分割图像块矩阵中的分割图像块坐标,构建分割图像块坐标集;获取每一待检测分割图像块分别在一体机表面图像分割图像块矩阵中的区域分布信息,构建区域分布信息集。
实施过程中,分割图像块对照库中除了包括分割图像块和分割图像块对应的分割图像块标记以外,还可以具有其他分割图像块和分割图像块对应的分割图像块标记,比如前述首端标记分割图像块和末端标记分割图像块,还可以包含替换标记分割图像块、模糊标记分割图像块,其中,替换标记分割图像块为在训练时代替分割图像块的分块,模糊标记分割图像块用于代替分割图像块对照库中未包含的分割图像块,也就是若在待识别目标一体机表面图像进行分割时,对应的分割图像块在分割图像块对照库中没有匹配到分割图像块,则用替换标记分割图像块对应的分割图像块标记替换该分割图像块。实施过程中,获得一体机表面图像分割图像块矩阵后,会在分割图像块对照库中确定每一待检测分割图像块各自对应的分割图像块标记,构建待检测分割图像块标记集,然后,确定每一待检测分割图像块分别在一体机表面图像分割图像块矩阵中的分割图像块坐标,构建分割图像块坐标集。其中,分割图像块坐标为该待检测分割图像块为一体机表面图像分割图像块矩阵中位于第几行第几列的待检测分割图像块。
操作S80,获取图像语义算法,在图像语义算法中对待检测分割图像块标记集、分割图像块坐标集和区域分布信息集进行语义表征载体抽取,获得待识别目标一体机表面图像的目标图像特征。
实施过程中,图像语义算法可以包括第二编码算子和内部注意力算子。其中,第二编码算子可以将待检测分割图像块对应的分割图像块标记编码为低维向量。因此,获取第二编码算子对待检测分割图像块标记集、分割图像块坐标集和区域分布信息集进行编码,获得每一待检测分割图像块各自对应的待检测分割图像块标记编码特征、分割图像块坐标编码特征和区域分布信息编码特征。其中,将待检测分割图像块标记集、分割图像块坐标集和区域分布信息集输入第二编码算子,基于第二编码算子数据处理后,输出每一待检测分割图像块各自对应的待检测分割图像块标记编码特征、分割图像块坐标编码特征和区域分布信息编码特征。再通过每一待检测分割图像块各自对应的待检测分割图像块标记编码特征、分割图像块坐标编码特征和区域分布信息编码特征,构建每一待检测分割图像块各自对应的融合编码特征。其中,一个待检测分割图像块对应的融合编码特征是通过待检测分割图像块对应的待检测分割图像块标记编码特征、分割图像块坐标编码特征和区域分布信息编码特征相加得到。然后,获取内部注意力算子对每一待检测分割图像块各自对应的融合编码特征进行注意力处理,即将每一待检测分割图像块各自对应的融合编码特征输入进内部注意力算子,通过内部注意力算子进行多层运算获得每一待检测分割图像块各自对应的中间状态特征,将最后一层开始标记对应的中间状态特征作为待识别目标一体机表面图像的图像特征。
操作S90,通过目标图像特征与合格一体机表面图像分类的参照图像特征,确定待识别目标一体机表面图像的合格图像相似度。
操作S91,通过缺陷变量和合格图像相似度,确定待识别目标一体机表面图像为合格一体机表面图像或缺陷一体机表面图像。
实施过程中,操作S90和S91可参考以上操作S400~操作S500。
基于此,本申请实施例对待识别目标一体机表面图像进行图像分割获得多个分割图像块后,通过细节语义算法预估每个分割图像块在待识别目标一体机表面图像中对应的正序预估分布和逆序预估分布,确定得到各分割图像块在待识别目标一体机表面图像中的生成支持系数,再确定待识别目标一体机表面图像的缺陷变量,以及,获取开始标记分割图像块和末尾标记分割图像块,和以上多个分割图像块一起构建一体机表面图像分割图像块矩阵,基于一体机表面图像分割图像块矩阵获得图像语义算法的输入,再通过图像语义算法输出待识别目标一体机表面图像的目标图像特征,再通过目标图像特征和合格一体机表面图像分类的参照图像特征,确定待识别目标一体机表面图像的合格图像相似度;然后通过待识别目标一体机表面图像的缺陷变量和合格图像相似度,识别待识别目标一体机表面图像为合格一体机表面图像还是缺陷一体机表面图像。基于此,无需依赖人工确定一体机表面图像的缺陷,而是直接基于缺陷变量和合格图像相似度判断待识别目标一体机表面图像的语义关联结果,识别缺陷不易分辨的缺陷一体机表面图像,增加产品良率检测的准确度。
下面介绍基础细节语义算法的优化过程,即如何训练得到细节语义算法,具体地,可以包括以下操作:
操作T1,获取第一合格表面图像样例,对第一合格表面图像样例进行图像分割处理,获得图像分割处理后的多个第一分割图像块样例。
操作T2,将首端标记分割图像块、末端标记分割图像块和多个第一分割图像块样例共同作为待执行分割图像块样例,通过待执行分割图像块样例构建待执行分割图像块样例矩阵;
操作T3,在分割图像块对照库中确定每个待执行分割图像块样例各自对应的分割图像块标记。
实施过程中,第一合格表面图像样例与待识别目标一体机表面图像区别在于,待识别目标一体机表面图像是为合格一体机表面图像还是缺陷一体机表面图像并不明确,但第一合格表面图像样例为采集的合格一体机表面图像。操作T1~T3中第一合格表面图像样例的处理方式可以参考操作S10~S30对待识别目标一体机表面图像的处理方式。
操作T4,确定每个待执行分割图像块样例在待执行分割图像块样例矩阵中的分布坐标,获取基础细节语义算法,在基础细节语义算法中依照分布坐标对每个待执行分割图像块样例各自对应的分割图像块标记进行预估,获得每个第一分割图像块样例各自对应的分割图像块样例预估分布信息。
实施过程中,基础细节语义算法的结构参上,具体地,基础细节语义算法包括第一基础编码算子、基础中间状态表示算子和基础分类算子。获取第一基础编码算子对每个待执行分割图像块样例各自对应的分割图像块标记进行基础编码,获得每个待执行分割图像块样例各自对应的分割图像块样例编码特征,然后确定每个待执行分割图像块样例分别在待执行分割图像块样例矩阵中的分布坐标样例,获取基础中间状态表示算子依照对每个待执行分割图像块样例各自对应的分割图像块编码特征进行基础中间状态特征表示,获得每个第一分割图像块样例各自对应的正序中间状态特征样例和逆序中间状态特征样例,最后获取基础分类算子对每个第一分割图像块样例各自对应的正序中间状态特征样例和逆序中间状态特征进行分类预测,获得每个第一分割图像块样例各自对应的样例正序预估分布和样例逆序预估分布。也即将每个待执行分割图像块样例各自对应的分割图像块标记输入第一基础编码算子,基于第一基础编码算子输出每个待执行分割图像块样例对应的分割图像块样例编码特征;然后,通过每个待执行分割图像块样例分别在待执行分割图像块样例矩阵中的分布坐标,将每个待执行分割图像块样例各自对应的分割图像块编码特征输入基础中间状态表示算子,通过基础中间状态表示算子输出每个第一分割图像块样例各自对应的正序中间状态特征样例和逆序中间状态特征样例;接着,将每个第一分割图像块样例各自对应的正序中间状态特征样例输入到基础分类算子,基于基础分类算子输出每个第一分割图像块样例各自对应的样例正序预估分布;将每个第一分割图像块样例各自对应的逆序中间状态特征样例输入到基础分类算子,基于基础分类算子输出各第一分割图像块样例各自对应的样例逆序预估分布。基于基础细节语义算法获得的样例正序预估分布和样例逆序预估分布,换言之,第一分割图像块样例对应的分割图像块样例预估分布信息。针对将待执行分割图像块样例对应的分割图像块标记输入到基础细节语义算法,获得第一分割图像块样例的分割图像块样例预估分布信息的方式参考操作S40中通过细节语义算法对待识别目标一体机表面图像的方式。
操作T5,依据各第一分割图像块样例各自对应的分割图像块注释分布和分割图像块样例预估分布信息对基础细节语义算法进行优化,获得细节语义算法。
实施过程中,每一第一分割图像块样例均对应一分割图像块注释分布(即注释下的分布情况,可以用标签表示),即样例的实际注释分布,实际注释分布中也包括分割图像块对照库中的所有分割图像块的生成支持系数,第一分割图像块样例BlockA的实际注释分布仅第一分割图像块样例BlockA对应的生成支持系数为100%,其余为0。通过每个第一分割图像块样例的实际注释分布、样例正序预估分布和样例逆序预估分布,生活才能基础细节语义算法的交叉熵代价函数,获得对应的代价后,依据该代价和梯度回传对算法行优化直到收敛,得到训练完成的细节语义算法。
下面介绍基础图像语义算法的优化过程,即如何训练得到图像语义算法的过程,具体可以包括如下操作:
操作T10,获取第二合格表面图像样例,对第二合格表面图像样例进行图像分割处理,获得图像分割处理后的多个第二分割图像块样例。
操作T20,将开始标记分割图像块、末尾标记分割图像块和多个第二分割图像块样例共同作为第一分割图像块样例,通过第一分割图像块样例构建图像分割图像块矩阵样例。
实施过程中,第二合格表面图像样例为采集的合格一体机表面图像,第一合格表面图像样例和第二合格表面图像样例例如为同一合格一体机表面图像。多个第二分割图像块样例可以是多个第二分割图像块样例。对于第二合格表面图像样例的图像分割和构建图像分割图像块矩阵样例方式参考操作S10和操作S50~S60的方式。
操作T30,获取y个任意的标记分割图像块,采取y个任意的标记分割图像块分别代替图像分割图像块矩阵样例中的y个第一分割图像块样例,获得代替后的图像分割图像块矩阵样例;y的数量小于图像分割图像块矩阵样例中第一分割图像块样例的数量。
实施过程中,任意的标记分割图像块用于代替部分第二分割图像块样例,即操作S70中的替换标记分割图像块。其中,部分第一分割图像块样例为第二分割图像块样例,替换标记分割图像块不会代替开始标记分割图像块或者末尾标记分割图像块,被代替的第二分割图像块样例的数量小于图像分割图像块矩阵样例中第一分割图像块样例的数量。
操作T40,获取y个任意的标记分割图像块在代替后的图像分割图像块矩阵样例中的标记分布坐标,通过标记分布坐标构建标记分布坐标集。
实施过程中,用替换标记分割图像块代替图像分割图像块矩阵样例中的第一分割图像块样例后,标记代替掉的第一分割图像块样例的坐标,作为替换标记分割图像块在代替后的图像分割图像块矩阵样例中的标记分布坐标,然后获得标记分布坐标集。
操作T50,通过代替后的图像分割图像块矩阵样例、标记分布坐标集和任意的标记分割图像块对基础图像语义算法进行优化,构建图像语义算法。
实施过程中,对代替后的图像分割图像块矩阵样例进行基础语义表征载体抽取,获得y个任意的标记分割图像块各自对应的分割图像块样例预估分布信息。即将代替后的图像分割图像块矩阵样例输入基础图像语义算法,通过基础图像语义算法输出代替后的图像分割图像块矩阵样例中每个第一分割图像块样例对应的中间状态特征。
实施过程中,从第一分割图像块样例对应的中间状态特征中,确定每一任意的标记分割图像块对应的中间状态特征,作为任意的中间状态特征。通过每个任意的标记分割图像块的任意的中间状态特征,获得每个任意的标记分割图像块对应的分割图像块样例预估分布信息。然后通过标记分布坐标集中的标记分布坐标,在图像分割图像块矩阵样例中获取对应的第一分割图像块样例,作为目标分割图像块样例。接着获取目标分割图像块样例的分割图像块注释分布,获取方式参考操作T5中获取第一分割图像块样例的分割图像块注释分布的方式。通过获得的每个任意的标记分割图像块对应的分割图像块样例预估分布信息和每个目标分割图像块样例对应的分割图像块注释分布,获得基础图像语义算法的交叉熵代价函数,然后,基础图像语义算法基于得到的代价值和梯度回传策略对算法进行优化调校,直到算法收敛为止。可以理解,本申请实施例中提及的算法收敛的评估条件可以是通用的,例如优化迭代次数达到最大的次数,或者算法的代价小于预设代价等。
综上,本申请实施例提供的基于机器视觉的电脑一体机良率检测方法及系统,在获取待识别目标一体机表面图像后,对待识别目标一体机表面图像进行图像分割处理,获得多个分割图像块,预估分割图像块在待识别目标一体机表面图像中的生成支持系数,通过分割图像块对应的生成支持系数确定该待识别目标一体机表面图像的缺陷变量,再获取待识别目标一体机表面图像的目标图像特征,通过目标图像特征与合格一体机表面图像分类的参照图像特征,确定待识别目标一体机表面图像的合格图像相似度,最后通过目标一体机表面图像的缺陷变量和合格图像相似度,确定待识别目标一体机表面图像为合格一体机表面图像或缺陷一体机表面图像。其中,预估分割图像块在待识别目标一体机表面图像中的生成支持系数可以采用细节语义算法完成,获取待识别目标一体机表面图像的目标图像特征可以采用图像语义算法完成。其中,细节语义算法和图像语义算法均采用合格表面图像样例优化获得。基于此,通过待识别目标一体机表面图像的缺陷变量和合格图像相似度确定待识别目标一体机表面图像的图像内容关联系数,通过图像内容关联系数可以识别缺陷不易分辨的缺陷一体机表面图像,增加产品良率检测的准确度。
根据本申请的另一方面,还提供一种检测装置300,请参图3,检测装置300包括:
图像获取分割模块310,用于获取待识别目标一体机表面图像,对所述待识别目标一体机表面图像进行图像分割处理,获得图像分割处理后的多个分割图像块;
缺陷变量获取模块320,用于对所述多个分割图像块进行缺陷预估处理,获得所述多个分割图像块在所述待识别目标一体机表面图像中的生成支持系数,通过所述多个分割图像块对应的生成支持系数确定用于判断所述待识别目标一体机表面图像的内容平顺度的缺陷变量;
图像语义抽取模块330,用于对所述待识别目标一体机表面图像进行语义表征载体抽取,获得所述待识别目标一体机表面图像的目标图像特征;
合格图像对比模块340,用于通过所述目标图像特征与合格一体机表面图像分类的参照图像特征,确定用于判断所述待识别目标一体机表面图像的合格语义内容的合格图像相似度;
图像缺陷识别模块350,用于通过所述缺陷变量和所述合格图像相似度,确定所述待识别目标一体机表面图像为合格一体机表面图像或缺陷一体机表面图像。
根据本申请的实施例,还提供了一种计算机设备、一种可读存储介质和一种计算机程序产品。
请参考图4,为本申请的服务器或客户端的计算机设备1000的结构框图,计算机设备1000包括计算单元1001,其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序,来执行各种适当的动作和处理。在RAM 1003中,还可存储计算机设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
计算机设备1000中的多个部件连接至I/O接口1005,包括:输入单元1006、输出单元1007、存储单元1008以及通信单元1009。输入单元1006可以是能向计算机设备1000输入信息的任何类型的设备,输入单元1006可以接收输入的数字或字符信息,以及产生与计算机设备的用户设置和/或功能控制有关的键信号输入,并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元1007可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元1008可以包括但不限于磁盘、光盘。通信单元1009允许计算机设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组,例如蓝牙TM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理,例如方法200。例如,在一些实施例中,方法200可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1008。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到计算机设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时,可以执行上文描述的方法200的一个或多个步骤。备选地,在其他实施例中,计算单元1001可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法200。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
虽然已经参照附图描述了本申请的实施例或示例,但应理解,上述的方法、系统和设备仅仅是示例性的实施例或示例,本发明的范围并不由这些实施例或示例限制,而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外,可以通过不同于本申请中描述的次序来执行各步骤。进一步地,可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进,在此描述的很多要素可以由本申请之后出现的等同要素进行替换。
Claims (10)
1.一种基于机器视觉的电脑一体机良率检测方法,其特征在于,应用于计算机设备,所述方法包括:
获取待识别目标一体机表面图像,对所述待识别目标一体机表面图像进行图像分割处理,获得图像分割处理后的多个分割图像块;
对所述多个分割图像块进行缺陷预估处理,获得所述多个分割图像块在所述待识别目标一体机表面图像中的生成支持系数,通过所述多个分割图像块对应的生成支持系数确定用于判断所述待识别目标一体机表面图像的内容平顺度的缺陷变量;
对所述待识别目标一体机表面图像进行语义表征载体抽取,获得所述待识别目标一体机表面图像的目标图像特征;
通过所述目标图像特征与合格一体机表面图像分类的参照图像特征,确定用于判断所述待识别目标一体机表面图像的合格语义内容的合格图像相似度;
通过所述缺陷变量和所述合格图像相似度,确定所述待识别目标一体机表面图像为合格一体机表面图像或缺陷一体机表面图像。
2.根据权利要求1所述的方法,其特征在于,所述对所述多个分割图像块进行缺陷预估处理,获得所述多个分割图像块在所述待识别目标一体机表面图像中的生成支持系数,通过所述多个分割图像块对应的生成支持系数确定用于判断所述待识别目标一体机表面图像的内容平顺度的缺陷变量,包括:
获取首端标记分割图像块和末端标记分割图像块,将所述首端标记分割图像块、所述末端标记分割图像块和所述多个分割图像块共同作为待执行分割图像块,通过所述待执行分割图像块构建待执行分割图像块矩阵;
在分割图像块对照库中确定每一待执行分割图像块各自对应的分割图像块标记;
确定每个待执行分割图像块在所述待执行分割图像块矩阵中的分布坐标,获取细节语义算法,在所述细节语义算法中依照所述分布坐标对每个待执行分割图像块各自对应的分割图像块标记进行预估,获得每个分割图像块各自对应的分割图像块预估分布信息;所述分割图像块预估分布信息用以描述所述分割图像块对照库中的分割图像块在所述待识别目标一体机表面图像中的生成支持系数;
通过所述每个分割图像块各自对应的分割图像块预估分布信息,确定所述每个分割图像块在所述待识别目标一体机表面图像中的生成支持系数;
通过所述每个分割图像块在所述待识别目标一体机表面图像中的生成支持系数,确定用于判断所述待识别目标一体机表面图像的内容平顺度的缺陷变量。
3.根据权利要求2所述的方法,其特征在于,所述每个分割图像块各自对应的分割图像块预估分布信息包括正序预估分布和逆序预估分布;所述细节语义算法包括第一编码算子、中间状态表示算子和分类算子;所述确定每个待执行分割图像块在所述待执行分割图像块矩阵中的分布坐标,获取细节语义算法,在所述细节语义算法中依照所述分布坐标对每个待执行分割图像块各自对应的分割图像块标记进行预估,获得每个分割图像块各自对应的分割图像块预估分布信息,包括:
获取所述第一编码算子对所述每个待执行分割图像块各自对应的分割图像块标记进行编码,获得每个待执行分割图像块各自对应的分割图像块编码特征;
确定每个待执行分割图像块在所述待执行分割图像块矩阵中的分布坐标,获取所述中间状态表示算子依照所述分布坐标对所述每个待执行分割图像块各自对应的分割图像块编码特征进行中间状态特征表示,获得每个分割图像块各自对应的正序中间状态特征和逆序中间状态特征;
获取所述分类算子对每个分割图像块各自对应的正序中间状态特征和逆序中间状态特征进行分类预测,获得每个分割图像块各自对应的正序预估分布和逆序预估分布;
其中,所述分布坐标包括正序分布坐标和逆序分布坐标;所述确定每个待执行分割图像块在所述待执行分割图像块矩阵中的分布坐标,获取所述中间状态表示算子依照所述分布坐标对所述每个待执行分割图像块各自对应的分割图像块编码特征进行中间状态特征表示,获得每个分割图像块各自对应的正序中间状态特征和逆序中间状态特征,包括:
确定每个待执行分割图像块在所述待执行分割图像块矩阵中的正序分布坐标,获取所述中间状态表示算子依照所述正序分布坐标对所述每个待执行分割图像块各自对应的分割图像块编码特征进行中间状态特征表示,获得每个分割图像块各自对应的正序中间状态特征;
确定每个待执行分割图像块在所述待执行分割图像块矩阵中的逆序分布坐标,获取中间状态表示算子依照所述逆序分布坐标对所述每个待执行分割图像块各自对应的分割图像块编码特征进行中间状态特征表示,获得每个分割图像块各自对应的逆序中间状态特征;
所述通过所述每个分割图像块各自对应的分割图像块预估分布信息,确定所述每个分割图像块在所述待识别目标一体机表面图像中的生成支持系数,包括:
通过所述每个分割图像块各自对应的正序预估分布和逆序预估分布,构建每个分割图像块各自对应的统计预估分布;所述多个分割图像块包括分割图像块B;
在所述分割图像块B对应的统计预估分布中获取与所述分割图像块B对应的分割图像块标记对应的分割图像块,将其确定为目标分割图像块,将所述分割图像块B对应的统计预估分布中与所述目标分割图像块对应的生成支持系数,确定为所述分割图像块B在所述待识别目标一体机表面图像中的生成支持系数。
4.根据权利要求1所述的方法,其特征在于,所述对所述待识别目标一体机表面图像进行语义表征载体抽取,获得所述待识别目标一体机表面图像的目标图像特征,包括:
获取开始标记分割图像块和末尾标记分割图像块,将所述开始标记分割图像块、所述末尾标记分割图像块和所述多个分割图像块共同作为待检测分割图像块,通过所述待检测分割图像块构建一体机表面图像分割图像块矩阵;
在分割图像块对照库中确定每一待检测分割图像块各自对应的分割图像块标记,构建待检测分割图像块标记集;
获取所述每一待检测分割图像块分别在所述一体机表面图像分割图像块矩阵中的分割图像块坐标,构建分割图像块坐标集;
获取所述每一待检测分割图像块分别在所述一体机表面图像分割图像块矩阵中的区域分布信息,构建区域分布信息集;
获取图像语义算法,在所述图像语义算法中对所述待检测分割图像块标记集、所述分割图像块坐标集和所述区域分布信息集进行语义表征载体抽取,获得所述待识别目标一体机表面图像的目标图像特征。
5.根据权利要求4所述的方法,其特征在于,所述图像语义算法包括第二编码算子和内部注意力算子;所述获取图像语义算法,在所述图像语义算法中对所述待检测分割图像块标记集、所述分割图像块坐标集和所述区域分布信息集进行语义表征载体抽取,获得所述待识别目标一体机表面图像的目标图像特征,包括:
获取所述第二编码算子对所述待检测分割图像块标记集、所述分割图像块坐标集和所述区域分布信息集进行编码,获得每一待检测分割图像块各自对应的待检测分割图像块标记编码特征、分割图像块坐标编码特征和区域分布信息编码特征;
通过所述每一待检测分割图像块各自对应的待检测分割图像块标记编码特征、分割图像块坐标编码特征和区域分布信息编码特征,构建所述每一待检测分割图像块各自对应的融合编码特征;其中,一个待检测分割图像块对应的融合编码特征是通过所述待检测分割图像块对应的待检测分割图像块标记编码特征、分割图像块坐标编码特征和区域分布信息编码特征构建得到的;
获取所述内部注意力算子对所述每一待检测分割图像块各自对应的融合编码特征进行注意力处理,获得所述每一待检测分割图像块各自对应的中间状态特征;
在所述每一待检测分割图像块各自对应的中间状态特征中,将所述开始标记分割图像块对应的中间状态特征,确定为所述待识别目标一体机表面图像的目标图像特征。
6.根据权利要求1所述的方法,其特征在于,所述合格一体机表面图像分类的数量为多个;所述通过所述目标图像特征与合格一体机表面图像分类的参照图像特征,确定所述待识别目标一体机表面图像的合格图像相似度,包括:
分别确定每一合格一体机表面图像分类的参照图像特征与所述目标图像特征之间的特征相似度,作为比较相似度;
通过所述比较相似度在多个参照图像特征中逐一获取x个参照图像特征;所述x大于或等于1,且所述x不大于所述合格一体机表面图像分类的数量;
构建所述目标图像特征与所述x个参照图像特征之间的特征相似度平均值,将所述特征相似度平均值作为所述待识别目标一体机表面图像的合格图像相似度;
所述通过所述缺陷变量和所述合格图像相似度,确定所述待识别目标一体机表面图像为合格一体机表面图像或缺陷一体机表面图像,包括:通过所述缺陷变量和所述合格图像相似度各自对应的调节变量,对所述缺陷变量和所述合格图像相似度进行调节,获得所述待识别目标一体机表面图像的图像内容关联系数;
如果所述图像内容关联系数大于预设系数,则确定所述待识别目标一体机表面图像属于缺陷一体机表面图像;
如果所述图像内容关联系数小于或等于所述预设系数,则确定所述待识别目标一体机表面图像为合格一体机表面图像。
7.根据权利要求4所述的方法,其特征在于,还包括:
获取多个参考合格一体机表面图像;
基于所述图像语义算法获取所述多个参考合格一体机表面图像各自对应的图像特征;
对所述多个参考合格一体机表面图像各自对应的图像特征进行划簇,获得y个特征集合,每个特征集合各自代表不同的合格一体机表面图像分类;
将每个特征集合中质心对应的图像特征分别作为合格一体机表面图像分类的参照图像特征。
8.根据权利要求2所述的方法,其特征在于,还包括:
获取第一合格表面图像样例,对所述第一合格表面图像样例进行图像分割处理,获得图像分割处理后的多个第一分割图像块样例;
将所述首端标记分割图像块、所述末端标记分割图像块和所述多个第一分割图像块样例共同作为待执行分割图像块样例,通过所述待执行分割图像块样例构建待执行分割图像块样例矩阵;
在所述分割图像块对照库中确定所述每个待执行分割图像块样例各自对应的分割图像块标记;
确定每个待执行分割图像块样例在所述待执行分割图像块样例矩阵中的分布坐标样例,获取基础细节语义算法,在所述基础细节语义算法中依照所述分布坐标样例对每个待执行分割图像块样例各自对应的分割图像块标记进行预估,获得每个第一分割图像块样例各自对应的分割图像块样例预估分布信息;
依据各第一分割图像块样例各自对应的分割图像块注释分布和所述分割图像块样例预估分布信息对所述基础细节语义算法进行优化,获得所述细节语义算法。
9.根据权利要求4所述的方法,其特征在于,还包括:
获取第二合格表面图像样例,对所述第二合格表面图像样例进行图像分割处理,获得图像分割处理后的多个第二分割图像块样例;
将所述开始标记分割图像块、所述末尾标记分割图像块和所述多个第二分割图像块样例共同作为第一分割图像块样例,通过所述第一分割图像块样例构建图像分割图像块矩阵样例;
获取y个任意的标记分割图像块,采取所述y个任意的标记分割图像块分别代替所述图像分割图像块矩阵样例中的y个第一分割图像块样例,获得代替后的图像分割图像块矩阵样例;所述y的数量小于所述图像分割图像块矩阵样例中所述第二分割图像块样例的数量;
获取所述y个任意的标记分割图像块在所述代替后的图像分割图像块矩阵样例中的标记分布坐标,通过所述标记分布坐标构建标记分布坐标集;
通过所述代替后的图像分割图像块矩阵样例、所述标记分布坐标集和所述任意的标记分割图像块对基础图像语义算法进行优化,构建所述图像语义算法。
10.一种检测系统,其特征在于,包括互相通信的摄像设备和计算机设备,所述摄像设备用于获取目标电脑一体机的表面图像,并发送至所述计算机设备,所述计算机设备包括至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1~9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311768676.0A CN117437496B (zh) | 2023-12-21 | 2023-12-21 | 基于机器视觉的电脑一体机良率检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311768676.0A CN117437496B (zh) | 2023-12-21 | 2023-12-21 | 基于机器视觉的电脑一体机良率检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117437496A true CN117437496A (zh) | 2024-01-23 |
CN117437496B CN117437496B (zh) | 2024-05-28 |
Family
ID=89555723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311768676.0A Active CN117437496B (zh) | 2023-12-21 | 2023-12-21 | 基于机器视觉的电脑一体机良率检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117437496B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210174493A1 (en) * | 2018-09-26 | 2021-06-10 | Advanced New Technologies Co., Ltd. | Damage identification result optimization method and apparatus |
CN114022718A (zh) * | 2022-01-07 | 2022-02-08 | 安翰科技(武汉)股份有限公司 | 消化系统病理图像识别方法、系统及计算机存储介质 |
CN116152257A (zh) * | 2023-04-22 | 2023-05-23 | 拓普思传感器(太仓)有限公司 | 应用于传感器的检测信息优化方法、服务器及介质 |
CN117173172A (zh) * | 2023-11-02 | 2023-12-05 | 深圳市富邦新材科技有限公司 | 一种基于机器视觉的硅胶成型效果检测方法及系统 |
-
2023
- 2023-12-21 CN CN202311768676.0A patent/CN117437496B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210174493A1 (en) * | 2018-09-26 | 2021-06-10 | Advanced New Technologies Co., Ltd. | Damage identification result optimization method and apparatus |
CN114022718A (zh) * | 2022-01-07 | 2022-02-08 | 安翰科技(武汉)股份有限公司 | 消化系统病理图像识别方法、系统及计算机存储介质 |
CN116152257A (zh) * | 2023-04-22 | 2023-05-23 | 拓普思传感器(太仓)有限公司 | 应用于传感器的检测信息优化方法、服务器及介质 |
CN117173172A (zh) * | 2023-11-02 | 2023-12-05 | 深圳市富邦新材科技有限公司 | 一种基于机器视觉的硅胶成型效果检测方法及系统 |
Non-Patent Citations (2)
Title |
---|
MUAMMER TURKOGLU: "Defective egg detection based on deep features and Bidirectional Long-Short-Term-Memory", COMPUTERS AND ELECTRONICS IN AGRICULTURE, 18 April 2021 (2021-04-18), pages 1 - 10 * |
SUVIDHA TRIPATHI ET AL.: "An End-to-End Breast Tumour Classification Model Using Context-Based Patch Modelling A BiLSTM Approach for Image Classification", ARXIV:2106.02864V1 [CS.CV], 5 June 2021 (2021-06-05), pages 1 - 36 * |
Also Published As
Publication number | Publication date |
---|---|
CN117437496B (zh) | 2024-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018108129A1 (zh) | 用于识别物体类别的方法及装置、电子设备 | |
CN111815564B (zh) | 一种检测丝锭的方法、装置及丝锭分拣系统 | |
TW202207077A (zh) | 一種文本區域的定位方法及裝置 | |
CN110674673A (zh) | 一种关键视频帧抽取方法、装置和存储介质 | |
CN108182421A (zh) | 视频分割方法和装置 | |
CN114494812B (zh) | 一种基于改进CenterNet的图像小目标检测方法 | |
WO2022127333A1 (zh) | 图像分割模型的训练方法、图像分割方法、装置、设备 | |
CN117651976A (zh) | 缺陷检测方法和装置 | |
CN118196309B (zh) | 基于图像处理工控机的高清视觉检测识别系统 | |
US11687782B2 (en) | Systems and methods for recognition of user-provided images | |
CN115861255A (zh) | 用于图像处理的模型训练方法、装置、设备、介质及产品 | |
CN113516029B (zh) | 基于部分标注的图像人群计数方法、装置、介质及终端 | |
CN113139540B (zh) | 背板检测方法及设备 | |
CN109598712A (zh) | 塑料泡沫餐盒的质量检测方法、装置、服务器及存储介质 | |
CN117408959A (zh) | 模型的训练方法、缺陷检测方法、装置、电子设备及介质 | |
CN117437496B (zh) | 基于机器视觉的电脑一体机良率检测方法及系统 | |
CN117407875A (zh) | 一种恶意代码分类方法、系统及电子设备 | |
CN111798376A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN113728355A (zh) | 一种图像处理方法和装置 | |
CN116597503A (zh) | 一种基于时空特征的课堂行为检测方法 | |
CN115512189A (zh) | 图像识别模型评估方法、装置以及存储介质 | |
CN114581769A (zh) | 一种基于无监督聚类的在建房屋识别方法 | |
CN114140879A (zh) | 基于多头级联注意网络与时间卷积网络的行为识别方法及装置 | |
CN113837173A (zh) | 目标对象检测方法、装置、计算机设备和存储介质 | |
CN118101862B (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |