CN115880290B - 基于轻量化语义分割网络的oled湿膜缺陷检测方法 - Google Patents

基于轻量化语义分割网络的oled湿膜缺陷检测方法 Download PDF

Info

Publication number
CN115880290B
CN115880290B CN202310146728.4A CN202310146728A CN115880290B CN 115880290 B CN115880290 B CN 115880290B CN 202310146728 A CN202310146728 A CN 202310146728A CN 115880290 B CN115880290 B CN 115880290B
Authority
CN
China
Prior art keywords
image
identified
sampling
downsampling
sampling result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310146728.4A
Other languages
English (en)
Other versions
CN115880290A (zh
Inventor
郑杨婷
朱云龙
陈殷齐
李佩文
鲁瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202310146728.4A priority Critical patent/CN115880290B/zh
Publication of CN115880290A publication Critical patent/CN115880290A/zh
Application granted granted Critical
Publication of CN115880290B publication Critical patent/CN115880290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Electroluminescent Light Sources (AREA)

Abstract

本申请涉及一种基于轻量化语义分割网络的OLED湿膜缺陷检测方法。该基于轻量化语义分割网络的OLED湿膜缺陷检测方法包括:获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同;从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图。采用本方法能够满足OLED湿膜快速检测的需求。

Description

基于轻量化语义分割网络的OLED湿膜缺陷检测方法
技术领域
本申请涉及OLED技术领域,特别是涉及一种基于轻量化语义分割网络的OLED湿膜缺陷检测方法。
背景技术
缺陷检测是OLED生产的关键一环,由于人工检测存在劳动强度大、判断主观性、因疲劳造成的误检漏检等问题,深度学习方法(Deep Learning,简称DL)被广泛应用于工业质检领域。
传统技术在使用深度学习方法进行缺陷识别的过程中,首先需要大量的负样本(即缺陷样本)对深度学习方法进行训练。传统技术中深度学习方法执行过程比较繁琐,这使得传统技术无法满足快速检测的需求。
发明内容
基于此,有必要针对上述技术问题,提供一种能够实现OLED湿膜快速检测的基于轻量化语义分割网络的OLED湿膜缺陷检测方法。
第一方面,本申请提供了一种基于轻量化语义分割网络的OLED湿膜缺陷检测方法。所述方法包括:
获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同;
从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;
对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图。
在一个实施例中,所述获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同,还包括:
获取待识别图像,对所述待识别图像并行进行多次预设倍数下采样,其中,每次下采样的倍数不同。
在一个实施例中,所述获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同,包括:
对预设倍数进行排序,获得排序结果;
根据所述排序结果对所述待识别图像依次进行对应倍数的下采样。
在一个实施例中,所述预设倍数为2的N次方倍,N为多个连续的正整数,所述从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像,包括:
从倍数最大的下采样结果开始进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第一子图像;
对所述第一子图像进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第二子图像,依次类推直到获得与所述待识别图像的尺寸相同的第一图像。
在一个实施例中,所述从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像,包括:
从倍数最大的下采样结果开始进行卷积和对应倍数的上采样;
将上采样的结果进行批归一化和激活函数处理;
将处理后的上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像。
在一个实施例中,所述获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同之前,包括:
获得OLED湿膜的负样本;
利用所述负样本对所述卷积、下采样和上采样中参数进行训练。
在一个实施例中,所述获得OLED湿膜的负样本,包括:
获得OLED湿膜的正样本,并随机生成mask;
对所述正样本进行二值化,获得二值化图像;
对所述二值化图像进行轮廓提取,以区分所述正样本中的像素槽区域和背景区域;
将所述mask随机形变,并将形变后的mask放置在所述正样本上,以获得OLED湿膜的负样本。
在一个实施例中,所述将所述mask随机形变,并将形变后的mask放置在所述正样本上,以获得OLED湿膜的负样本,包括:
对所述正样本中的像素槽区域内像素值进行抽样,获得抽样像素值;
将所述抽样像素值赋值给形变后的mask。
在一个实施例中,所述OLED湿膜的负样本包括预设缺陷类型,所述预设缺陷类型包括:多打类型、少打类型、散点类型、桥连类型、溢出类型和未铺满类型中的一种或者多种。
第二方面,本申请还提供了一种基于轻量化语义分割网络的OLED湿膜缺陷检测方法,所述方法包括:
通过多个图像获取装置获取OLED湿膜的多张待识别图像;
通过处理管道并行接收多张所述待识别图像,并将多张所述待识别图像分别传输至GPU中部署的多个识别模型;
基于所述识别模型对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同;从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图。
在一个实施例中,所述将多张所述待识别图像分别传输至GPU中部署的多个识别模型,包括:
将多张所述待识别图像传输至数据处理缓存区;
根据预设资源配置将所述数据处理缓存区中的多张所述待识别图像分配至GPU中部署的多个识别模型。
在一个实施例中,所述识别模型为半精度模型。
第三方面,本申请还提供了一种基于轻量化语义分割网络的OLED湿膜缺陷检测装置,所述装置包括:
下采样模块,用于获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同;
上采样模块,用于从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;
识别模块,用于对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图。
第四方面,本申请还提供了一种基于轻量化语义分割网络的OLED湿膜缺陷检测装置,所述装置包括:
获取模块,用于通过多个图像获取装置获取OLED湿膜的多张待识别图像;
传输模块,用于通过处理管道并行接收多张所述待识别图像,并将多张所述待识别图像分别传输至GPU中部署的多个识别模型;
处理模块,用于基于所述识别模型对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同;从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图。
第五方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的缺陷样本生成方法的步骤或者如第二方面所述的基于轻量化语义分割网络的OLED湿膜缺陷检测方法的步骤。
第六方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的基于轻量化语义分割网络的OLED湿膜缺陷检测方法方法的步骤或者如第二方面所述的基于轻量化语义分割网络的OLED湿膜缺陷检测方法的步骤。
第七方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面所述的基于轻量化语义分割网络的OLED湿膜缺陷检测方法方法的步骤或者如第二方面所述的基于轻量化语义分割网络的OLED湿膜缺陷检测方法的步骤。
上述基于轻量化语义分割网络的OLED湿膜缺陷检测方法,通过获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同;从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图。通过上述方式,本申请经过多次下采样后,将下采样结果进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像,对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图,处理过程简单,速度快,能够满足快速检测的需求。
附图说明
图1为一个实施例中基于轻量化语义分割网络的OLED湿膜缺陷检测方法的流程示意图;
图2为一个实施例中各类缺陷图像的正面示意图;
图3为一个实施例基于轻量化语义分割网络的OLED湿膜缺陷检测方法的图像变化示意图;
图4为另一个实施例中基于轻量化语义分割网络的OLED湿膜缺陷检测方法的流程示意图;
图5为一个实施例中基于轻量化语义分割网络的OLED湿膜缺陷检测装置的部署示意图;
图6为一个实施例中基于轻量化语义分割网络的OLED湿膜缺陷检测装置的结构框图;
图7为另一个实施例中基于轻量化语义分割网络的OLED湿膜缺陷检测装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种基于轻量化语义分割网络的OLED湿膜缺陷检测方法,包括以下步骤:
步骤110,获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同。
本申请应用于计算机设备、服务器等用于OLED湿膜缺陷的识别的设备中,该设备可以接收外界传输的OLED湿膜作为待识别图像,或者通过摄像模块获取OLED湿膜作为待识别图像。其中OLED湿膜是指喷墨打印设备在OLED基板进行喷墨打印后的图像(还未经过烘干等步骤)。
设备在获得待识别图像后,对待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同,获得多个下采样结果。
作为一种实施例,获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同,包括:
对预设倍数进行排序,获得排序结果;
根据所述排序结果对所述待识别图像依次进行对应倍数的下采样。
具体的,预设倍数为2的N次方倍,N为多个连续的正整数,即N为1、2、3、4...+∞中连续的多个正整数,示例性的,本实施例中,下采样是次数为4次,对应的预设倍数包括16倍、8倍、4倍、2倍。具体实施中下采样是次数为5次,对应的预设倍数可以包括32倍、16倍、8倍、4倍、2倍。
先对多个预设倍数进行排序,获得排序结果,然后根据排序结果对待识别图像依次进行对应倍数的下采样,示例性的,可以按照16倍、8倍、4倍、2倍的顺序依次对待识别图像进行下采样,或者可以按照2倍、4倍、8倍、16倍的顺序依次对待识别图像进行下采样,获得4个下采样结果。
作为一种实施例,获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同,还包括:
获取待识别图像,对所述待识别图像并行进行多次预设倍数下采样,其中,每次下采样的倍数不同。
具体的,为了提高运行速度,本实施例中在进行多次下采样时,采用并行的方式对待识别图像进行多次预设倍数下采样。
步骤120,从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像。
具体的,从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,获得对应的上采样,然后将上采样的结果与尺寸相同的下采样结果进行拼接,再对拼接后的图像进行卷积和对应倍数的上采样,依次类推,直到获得与所述待识别图像的尺寸相同的第一图像。
作为一种实施例,从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像,包括:
从倍数最大的下采样结果开始进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第一子图像;
对所述第一子图像进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第二子图像,依次类推直到获得与所述待识别图像的尺寸相同的第一图像。
具体的,预设倍数为2的N次方倍,N为多个连续的正整数,例如预设倍数包括16倍、8倍、4倍、2倍,则从16倍下采样结果开始进行卷积,以及对应倍数的上采样,例如先对16倍下采样结果开始进行卷积和2倍上采样,得到第一次上采样结果;然后将第一上采样结果和多个下采样结果中尺寸相同的下采样结果拼接,获得第一子图像,第一子图像的图像尺寸大小和8倍下采样结果相同,将第一子图像和8倍下采样结果进行拼接,获得第二子图像。
然后对第二子图像进行卷积和2倍上采样,获得第三子图像,第三子图像的尺寸大小和4倍下采样结果相同,将第三子图像和4倍下采样结果拼接,获得第四子图像,依次类推,直到获得与所述待识别图像的尺寸相同的第一图像。
步骤130,对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图。
获得第一图像之后,对第一图像进行预设次数卷积,预设次数可以根据实际情况设置,例如2次或3次等。预设次数卷积后,获得OLED湿膜对应预设类型的缺陷图。
其中,对应预设类型的缺陷图包括多打类型图、少打类型、散点类型、桥连类型、溢出类型和未铺满类型中的一种或者多种。在喷墨打印中,由于墨水量过大过小、着弹偏差、着弹不均、墨水不润湿等原因,可能会出现多打、少打、散点、桥连、溢出、未铺满等湿膜缺陷,各类缺陷如图2所示。其中,多打缺陷mask形态特征为与一个像素槽和周围背景区域均有交集;少打缺陷mask形态特征为与背景区域无交集;散点形态特征为与像素槽区域无交集;桥连缺陷mask形态特征为与两个相邻像素槽区域有交集;溢出缺陷mask形态特征为与一个像素槽整个区域有交集,与其余像素槽无交集;未铺满缺陷mask形态特征为只与一个像素槽有交集的反集。
上述基于轻量化语义分割网络的OLED湿膜缺陷检测方法,通过获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同;从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图。通过上述方式,本申请经过多次下采样后,将下采样结果进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像,对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图,处理过程简单,速度快,能够满足快速检测的需求。
在一个实施例中,从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像,包括:
从倍数最大的下采样结果开始进行卷积和对应倍数的上采样;
将上采样的结果进行批归一化和激活函数处理;
将处理后的上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像。
具体的,为提高准确性,本实施例中从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,然后对每次上采样的结果进行批归一化和激活函数处理,然后将处理后的上采样的结果与尺寸相同的下采样结果进行拼接。示例性的,预设倍数包括16倍、8倍、4倍、2倍,则从16倍下采样结果开始进行卷积,以及对应倍数的上采样,例如先对16倍下采样结果开始进行卷积和2倍上采样,得到第一次上采样结果,对第一次上采样结果进行批归一化和激活函数处理;然后将处理后的第一次上采样结果和多个下采样结果中尺寸相同的下采样结果拼接,获得第一子图像,第一子图像的图像尺寸大小和8倍下采样结果相同,将第一子图像和8倍下采样结果进行拼接,获得第二子图像,对第二子图像进行批归一化和激活函数处理。
然后对处理后的第二子图像进行卷积和2倍上采样,获得第三子图像,对第三子图像进行批归一化和激活函数处理,第三子图像的尺寸大小和4倍下采样结果相同,将处理后的第三子图像和4倍下采样结果拼接,获得第四子图像,依次类推,直到获得与所述待识别图像的尺寸相同的第一图像。
进一步地,卷积层的核尺寸均为3*3,这样可以不改变经过下采样和上采样的图像大小。
在一个实施例中,如图3所示,输入图像的尺寸为1024*1024,数量为1,经过下采样模块进行下采样,下采样模块包括四个并行的下采样层,对输入的待识别图像分别进行16倍、8倍、4倍、2倍下采样,每个下采样层均采用最近邻插值法。四个下采样层并行设计有利于进行并行计算加速。经过16倍下采样获得尺寸为64*64的图像1张,经过8倍下采样获得尺寸为128*128的图像1张,经过4倍下采样获得尺寸为256*256的图像1张,经过2倍下采样获得尺寸为512*512的图像1张,4次下采样并行进行。
然后从倍数最大的下采样开始进行卷积和上采样。将64*64的图像1张图像进行卷积,获得特征图为64*64,卷积核算为1024,卷积核尺寸为3*3,则得到1024张尺寸为64*64的图像,然后进行上采样,将1024张尺寸为64*64的图像上采样,获得128*128的图像1024张,再将上采样获得1024张128*128的图像和8倍下采样结果进行拼接,获得1025张128*128的图像,再将1025张128*128的图像进行卷积(此时卷积核数为512,卷积核尺寸为3*3),获得512张128*128的图像,将512张128*128的图像和4倍下采样结果进行拼接,获得513张128*128的图像,再将513张128*128的图像进行卷积(此时卷积核数为256,卷积核尺寸为3*3),获得256张256*256的图像,依次类推,具体实施中在进行上采样处理后,还可以进行对上采样结果进行批归一化和激活函数处理,各输入图像和输入图像可以参考下表:
Figure SMS_1
/>
Figure SMS_2
Figure SMS_3
最后一次上采样获得图像为129张1024*1024的图像,最后获得的图像尺寸和输入的图像尺寸相同。然后经过2次卷积,从而获得6张缺陷图,每张缺陷图对应一类预设缺陷,需要说明的是,若输入的图像中仅包括5类缺陷,则输入5张缺陷图。
进一步的,所述获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同之前,包括:
获得OLED湿膜的负样本;
利用所述负样本对所述卷积、下采样和上采样中参数进行训练。
具体的,在进行缺陷识别之前,还需要对上述卷积、下采样和上采样中各个参数进行训练,先获得OLED湿膜的负样本,该负样本中包括预设类型的缺陷,预设缺陷类型包括:多打类型、少打类型、散点类型、桥连类型、溢出类型和未铺满类型。示例性的,利用负样本进行训练的过程,可以如图3所示的过程相同。在获得缺陷图后,根据人工标注结果进行对比,然后调整卷积、下采样和上采样中各个参数,使得最终输出的缺陷图与人工标注结果准确度超过预设准确度,即说明训练结束。
进一步地,在训练过程中,通过损失函数确定训练结果准确度是否超过预设准确度。其中损失函数由交叉熵损失和Dice损失组成,损失函数如下:
Figure SMS_4
Figure SMS_5
其中,C为缺陷类别数,N为像素数,
Figure SMS_6
和/>
Figure SMS_7
分别为第c类中第n个像素的真实标签和预测概率。
传统技术中一般用交叉熵作为损失函数,而本申请中采用由交叉熵损失和Dice损失组成,一般样本中只有小部分是负样本,其余是正样本,Dice损失平衡负样本和正样本之间的关系。
进一步地,获得OLED湿膜的负样本,包括:
获得OLED湿膜的正样本,并随机生成mask;
对所述正样本进行二值化,获得二值化图像;
对所述二值化图像进行轮廓提取,以区分所述正样本中的像素槽区域和背景区域;
将所述mask随机形变,并将形变后的mask放置在所述正样本上,以获得OLED湿膜的负样本。
具体的,在实际的生产过程中,一方面由于生产线上良率过高,使得缺陷样本难以收集;另一方面,即使收集到了足够多的负样本,还需要人工进行精细化标注。因此本实施例在训练过程中,先生成OLED湿膜的负样本。生成OLED湿膜的负样本包括:
先获取OLED湿膜的正样本,并随机生成mask,示例性的,可以通过基于Blobmaker随机不规则形状生成方法,通过随机点数、点位置、曲率参数来生成多种尺度和形态的不规则形状库,获得mask。
对正样本进行二值化,获得二值化图像,然后对二值化图像进行轮廓提取,以区分所述正样本中的像素槽区域和背景区域。然后对mask进行随机形变,将形变后的mask放置在所述正样本上,以获得OLED湿膜的负样本。
其中,将所述mask随机形变,并将形变后的mask放置在所述正样本上,以获得OLED湿膜的负样本,包括:
对所述正样本中的像素槽区域内像素值进行抽样,获得抽样像素值;
将所述抽样像素值赋值给形变后的mask。
具体的,在将形变后的mask放置在所述正样本上的过程中,还对正样本中的像素槽区域内像素值进行抽样,获得抽样像素值,然后将抽样像素值赋值给形变后的mask,如此使得mask的像素值为正样本像素槽内像素值,即mask与喷墨的像素基本相同。
基于同样的发明构思,参阅图4,本申请实施例还提供了一种基于轻量化语义分割网络的OLED湿膜缺陷检测方法,所述基于轻量化语义分割网络的OLED湿膜缺陷检测方法包括:
步骤410,通过多个图像获取装置获取OLED湿膜的多张待识别图像;
步骤420,通过处理管道并行接收多张所述待识别图像,并将多张所述待识别图像分别传输至GPU中部署的多个识别模型;
步骤430,基于所述识别模型对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同;从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图。
具体的,为了提高处理速度,本实施先在缺陷识别设备的GPU中部署多个识别模型,该识别模型可以实现如上述任一实施所述的方法步骤。
缺陷识别设备可以与多个图像获取装置连接,并获取OLED湿膜的多张图像,作为待识别图像,然后通过处理管道并行接收多张所述待识别图像,并将多张所述待识别图像分别传输至GPU中部署的多个识别模型。每个识别模型在获得待识别图像后,对待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同,获得多个下采样结果。预设倍数为2的N次方倍,N为多个连续的正整数,即N为1、2、3、4...+∞中连续的多个正整数,示例性的,本实施例中,下采样是次数为4次,对应的预设倍数包括16倍、8倍、4倍、2倍。具体实施中下采样是次数为5次,对应的预设倍数可以包括32倍、16倍、8倍、4倍、2倍。
先对多个预设倍数进行排序,获得排序结果,然后根据排序结果对待识别图像依次进行对应倍数的下采样,示例性的,可以按照16倍、8倍、4倍、2倍的顺序依次对待识别图像进行下采样,或者可以按照2倍、4倍、8倍、16倍的顺序依次对待识别图像进行下采样,获得4个下采样结果。为了提高运行速度,本实施例中在进行多次下采样时,采用并行的方式对待识别图像进行多次预设倍数下采样。
从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,获得对应的上采样,然后将上采样的结果与尺寸相同的下采样结果进行拼接,再对拼接后的图像进行卷积和对应倍数的上采样,依次类推,直到获得与所述待识别图像的尺寸相同的第一图像。例如预设倍数包括16倍、8倍、4倍、2倍,则从16倍下采样结果开始进行卷积,以及对应倍数的上采样,例如先对16倍下采样结果开始进行卷积和2倍上采样,得到第一次上采样结果;然后将第一上采样结果和多个下采样结果中尺寸相同的下采样结果拼接,获得第一子图像,第一子图像的图像尺寸大小和8倍下采样结果相同,将第一子图像和8倍下采样结果进行拼接,获得第二子图像。
然后对第二子图像进行卷积和2倍上采样,获得第三子图像,第三子图像的尺寸大小和4倍下采样结果相同,将第三子图像和4倍下采样结果拼接,获得第四子图像,依次类推,直到获得与所述待识别图像的尺寸相同的第一图像。获得第一图像之后,对第一图像进行预设次数卷积,预设次数可以根据实际情况设置,例如2次或3次等。预设次数卷积后,获得OLED湿膜对应预设类型的缺陷图。其中,对应预设类型的缺陷图包括多打类型图、少打类型、散点类型、桥连类型、溢出类型和未铺满类型中的一种或者多种。在喷墨打印中,由于墨水量过大过小、着弹偏差、着弹不均、墨水不润湿等原因,可能会出现多打、少打、散点、桥连、溢出、未铺满等湿膜缺陷,各类缺陷如图2所示。其中,多打缺陷mask形态特征为与一个像素槽和周围背景区域均有交集;少打缺陷mask形态特征为与背景区域无交集;散点形态特征为与像素槽区域无交集;桥连缺陷mask形态特征为与两个相邻像素槽区域有交集;溢出缺陷mask形态特征为与一个像素槽整个区域有交集,与其余像素槽无交集;未铺满缺陷mask形态特征为只与一个像素槽有交集的反集。
进一步地,识别模型为半精度模型。半精度模型识别模型的检测结果准确率的精度损失小(相对全精度来说精度损失不大),能使轻量化语义分割网络模型推理提速3倍,GPU显存占用降低45%。
上述基于轻量化语义分割网络的OLED湿膜缺陷检测方法,通过多个图像获取装置获取OLED湿膜的多张待识别图像;通过处理管道并行接收多张所述待识别图像,并将多张所述待识别图像分别传输至GPU中部署的多个识别模型;基于所述识别模型对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同;从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图。通过上述方式,本申请GPU部署了多个识别模型,通过并行接收多个图像获取装置获取OLED湿膜的多张待识别图像,识别速度快,能够快速实现检测的需求。
在一个实施例中,将多张所述待识别图像分别传输至GPU中部署的多个识别模型,包括:
将多张所述待识别图像传输至数据处理缓存区;
根据预设资源配置将所述数据处理缓存区中的多张所述待识别图像分配至GPU中部署的多个识别模型。
具体的,本实施例中先将多张所述待识别图像传输至数据处理缓存区,然后将缓存区内的待识别图像,根据预设资源配置将所述数据处理缓存区中的多张所述待识别图像分配至GPU中部署的多个识别模型,预设资源配置可以根据实际情况设定,例如检测各识别模型识别进度,然后在某个识别模型识别完成后,分配新的待识别图像给该识别模型。
在一个实施例中,参阅图5,本实施中将上述实施例中所述的识别模型定义为PyTorch模型,转换为跨平台通用模型格式ONNX,然后再将ONNX模型转换为TensorRT半精度模型,用于后续Triton推理部署,转换之后的TensorRT半精度模型的检测结果准确率的精度损失小(相对全精度来说精度损失不大),能使轻量化语义分割网络模型推理提速3倍,GPU显存占用降低45%。
基于Triton推理部署将TensorRT半精度模型并行部署多个运行实例到GPU服务器,GPU数量和GPU上部署的实例数量可以根据实际场景需求动态调整。基于Triton推理部署能最大化GPU利用率,提高吞吐量,降低推理成本。GPU中各实施例运行过程可以执行如上任一实施例所述的步骤。
基于DeepStream并行接收来自多个相机的原始图像数据,经过解码处理后直接传入GPU的数据批处理缓冲区。然后,DeepStream根据资源配置将数据动态分配到部署的实例模型中进行推理运算,最后输出湿膜缺陷检测结果。基于DeepStream的数据传输能同时处理多通道相机数据,避免数据在主机与GPU之间的频繁拷贝,提升数据传输效率。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的基于轻量化语义分割网络的OLED湿膜缺陷检测方法的基于轻量化语义分割网络的OLED湿膜缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个基于轻量化语义分割网络的OLED湿膜缺陷检测装置实施例中的具体限定可以参见上文中对于基于轻量化语义分割网络的OLED湿膜缺陷检测方法的限定,在此不再赘述。
在一个实施例中,如图6所示,提供了一种基于轻量化语义分割网络的OLED湿膜缺陷检测装置,包括:
下采样模块610,用于获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同;
上采样模块620,用于从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;
识别模块630,用于对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图。
在一个实施例中,所述下采样模块610,用于:
获取待识别图像,对所述待识别图像并行进行多次预设倍数下采样,其中,每次下采样的倍数不同。
在一个实施例中,所述下采样模块610,用于:
对预设倍数进行排序,获得排序结果;
根据所述排序结果对所述待识别图像依次进行对应倍数的下采样。
在一个实施例中,所述预设倍数为2的N次方倍,N为多个连续的正整数,上采样模块620,用于:
从倍数最大的下采样结果开始进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第一子图像;
对所述第一子图像进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第二子图像,依次类推直到获得与所述待识别图像的尺寸相同的第一图像。
在一个实施例中,上采样模块620,用于:
从倍数最大的下采样结果开始进行卷积和对应倍数的上采样;
将上采样的结果进行批归一化和激活函数处理;
将处理后的上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像。
在一个实施例中,所述装置还包括:
获取模块(图未示),用于获得OLED湿膜的负样本;
训练模块(图未示),用于利用所述负样本对所述卷积、下采样和上采样中参数进行训练。
在一个实施例中,获取模块,用于:
获得OLED湿膜的正样本,并随机生成mask;
对所述正样本进行二值化,获得二值化图像;
对所述二值化图像进行轮廓提取,以区分所述正样本中的像素槽区域和背景区域;
将所述mask随机形变,并将形变后的mask放置在所述正样本上,以获得OLED湿膜的负样本。
在一个实施例中,获取模块,用于:
对所述正样本中的像素槽区域内像素值进行抽样,获得抽样像素值;
将所述抽样像素值赋值给形变后的mask。
在一个实施例中,所述OLED湿膜的负样本包括预设缺陷类型,所述预设缺陷类型包括:多打类型、少打类型、散点类型、桥连类型、溢出类型和未铺满类型中的一种或者多种。
上述基于轻量化语义分割网络的OLED湿膜缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的基于轻量化语义分割网络的OLED湿膜缺陷检测方法的基于轻量化语义分割网络的OLED湿膜缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个基于轻量化语义分割网络的OLED湿膜缺陷检测装置实施例中的具体限定可以参见上文中对于基于轻量化语义分割网络的OLED湿膜缺陷检测方法的限定,在此不再赘述。
在一个实施例中,如图7所示,提供了一种基于轻量化语义分割网络的OLED湿膜缺陷检测装置,包括:
获取模块710,用于通过多个图像获取装置获取OLED湿膜的多张待识别图像;
传输模块720,用于通过处理管道并行接收多张所述待识别图像,并将多张所述待识别图像分别传输至GPU中部署的多个识别模型;
处理模块730,用于基于所述识别模型对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同;从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图。
需要说明的是,处理模块730可以与如图6所述的装置基本等同。
在一个实施例中,传输模块720,用于:
将多张所述待识别图像传输至数据处理缓存区;
根据预设资源配置将所述数据处理缓存区中的多张所述待识别图像分配至GPU中部署的多个识别模型。
在一个实施例中,所述识别模型为半精度模型。
上述基于轻量化语义分割网络的OLED湿膜缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储OLED湿膜图像、缺陷样本等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于轻量化语义分割网络的OLED湿膜缺陷检测方法的步骤。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同;
从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;
对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取待识别图像,对所述待识别图像并行进行多次预设倍数下采样,其中,每次下采样的倍数不同。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对预设倍数进行排序,获得排序结果;
根据所述排序结果对所述待识别图像依次进行对应倍数的下采样。
在一个实施例中,所述预设倍数为2的N次方倍,N为多个连续的正整数,处理器执行计算机程序时还实现以下步骤:
从倍数最大的下采样结果开始进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第一子图像;
对所述第一子图像进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第二子图像,依次类推直到获得与所述待识别图像的尺寸相同的第一图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
从倍数最大的下采样结果开始进行卷积和对应倍数的上采样;
将上采样的结果进行批归一化和激活函数处理;
将处理后的上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获得OLED湿膜的负样本;
利用所述负样本对所述卷积、下采样和上采样中参数进行训练。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获得OLED湿膜的正样本,并随机生成mask;
对所述正样本进行二值化,获得二值化图像;
对所述二值化图像进行轮廓提取,以区分所述正样本中的像素槽区域和背景区域;
将所述mask随机形变,并将形变后的mask放置在所述正样本上,以获得OLED湿膜的负样本。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对所述正样本中的像素槽区域内像素值进行抽样,获得抽样像素值;
将所述抽样像素值赋值给形变后的mask。
在一个实施例中,所述OLED湿膜的负样本包括预设缺陷类型,所述预设缺陷类型包括:多打类型、少打类型、散点类型、桥连类型、溢出类型和未铺满类型中的一种或者多种。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
通过多个图像获取装置获取OLED湿膜的多张待识别图像;
通过处理管道并行接收多张所述待识别图像,并将多张所述待识别图像分别传输至GPU中部署的多个识别模型;
基于所述识别模型对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同;从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将多张所述待识别图像传输至数据处理缓存区;
根据预设资源配置将所述数据处理缓存区中的多张所述待识别图像分配至GPU中部署的多个识别模型。
在一个实施例中,所述识别模型为半精度模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例所述的基于轻量化语义分割网络的OLED湿膜缺陷检测方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random AccessMemory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (14)

1.一种基于轻量化语义分割网络的OLED湿膜缺陷检测方法,其特征在于,所述方法包括:
获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同,所述预设倍数为2的N次方倍,N为多个连续的正整数;
从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;
对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图;
其中,所述获取待识别图像,对所述待识别图像进行多次预设倍数下采样,包括:
对预设倍数进行排序,获得排序结果;
根据所述排序结果对所述待识别图像依次进行对应倍数的下采样;
所述从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像,包括:
从倍数最大的下采样结果开始进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第一子图像;
对所述第一子图像进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第二子图像,依次类推直到获得与所述待识别图像的尺寸相同的第一图像。
2.根据权利要求1所述的方法,其特征在于,所述获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同,还包括:
获取待识别图像,对所述待识别图像并行进行多次预设倍数下采样,其中,每次下采样的倍数不同。
3.根据权利要求1所述的方法,其特征在于,所述从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像,包括:
从倍数最大的下采样结果开始进行卷积和对应倍数的上采样;
将上采样的结果进行批归一化和激活函数处理;
将处理后的上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像。
4.根据权利要求1所述的方法,其特征在于,所述获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同之前,包括:
获得OLED湿膜的负样本;
利用所述负样本对所述卷积、下采样和上采样中参数进行训练。
5.根据权利要求4所述的方法,其特征在于,所述获得OLED湿膜的负样本,包括:
获得OLED湿膜的正样本,并随机生成mask;
对所述正样本进行二值化,获得二值化图像;
对所述二值化图像进行轮廓提取,以区分所述正样本中的像素槽区域和背景区域;
将所述mask随机形变,并将形变后的mask放置在所述正样本上,以获得OLED湿膜的负样本。
6.根据权利要求5所述的方法,其特征在于,所述将所述mask随机形变,并将形变后的mask放置在所述正样本上,以获得OLED湿膜的负样本,包括:
对所述正样本中的像素槽区域内像素值进行抽样,获得抽样像素值;
将所述抽样像素值赋值给形变后的mask。
7.根据权利要求5所述的方法,其特征在于,所述OLED湿膜的负样本包括预设缺陷类型,所述预设缺陷类型包括:多打类型、少打类型、散点类型、桥连类型、溢出类型和未铺满类型中的一种或者多种。
8.一种基于轻量化语义分割网络的OLED湿膜缺陷检测方法,其特征在于,所述方法包括:
通过多个图像获取装置获取OLED湿膜的多张待识别图像;
通过处理管道并行接收多张所述待识别图像,并将多张所述待识别图像分别传输至GPU中部署的多个识别模型;
基于所述识别模型对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同,所述预设倍数为2的N次方倍,N为多个连续的正整数;从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图;
其中,所述获取待识别图像,对所述待识别图像进行多次预设倍数下采样,包括:
对预设倍数进行排序,获得排序结果;
根据所述排序结果对所述待识别图像依次进行对应倍数的下采样;
所述从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像,包括:
从倍数最大的下采样结果开始进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第一子图像;
对所述第一子图像进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第二子图像,依次类推直到获得与所述待识别图像的尺寸相同的第一图像。
9.根据权利要求8所述的方法,其特征在于,所述将多张所述待识别图像分别传输至GPU中部署的多个识别模型,包括:
将多张所述待识别图像传输至数据处理缓存区;
根据预设资源配置将所述数据处理缓存区中的多张所述待识别图像分配至GPU中部署的多个识别模型。
10.根据权利要求8所述的方法,其特征在于,所述识别模型为半精度模型。
11.一种基于轻量化语义分割网络的OLED湿膜缺陷检测装置,其特征在于,所述装置包括:
下采样模块,用于获取待识别图像,对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同,所述预设倍数为2的N次方倍,N为多个连续的正整数;
上采样模块,用于从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;
识别模块,用于对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图;
所述下采样模块,还用于:对预设倍数进行排序,获得排序结果;根据所述排序结果对所述待识别图像依次进行对应倍数的下采样;
所述上采样模块,还用于:从倍数最大的下采样结果开始进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第一子图像;
对所述第一子图像进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第二子图像,依次类推直到获得与所述待识别图像的尺寸相同的第一图像。
12.一种基于轻量化语义分割网络的OLED湿膜缺陷检测装置,其特征在于,所述装置包括:
获取模块,用于通过多个图像获取装置获取OLED湿膜的多张待识别图像;
传输模块,用于通过处理管道并行接收多张所述待识别图像,并将多张所述待识别图像分别传输至GPU中部署的多个识别模型;
处理模块,用于基于所述识别模型对所述待识别图像进行多次预设倍数下采样,其中,每次下采样的倍数不同,所述预设倍数为2的N次方倍,N为多个连续的正整数;从倍数最大的下采样结果开始进行卷积和对应倍数的上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,直到获得与所述待识别图像的尺寸相同的第一图像;对所述第一图像进行预设次数卷积,获得OLED湿膜对应预设类型的缺陷图;
所述处理模块,还用于:对预设倍数进行排序,获得排序结果;根据所述排序结果对所述待识别图像依次进行对应倍数的下采样;从倍数最大的下采样结果开始进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第一子图像;对所述第一子图像进行卷积和2倍上采样,并将上采样的结果与尺寸相同的下采样结果进行拼接,获得第二子图像,依次类推直到获得与所述待识别图像的尺寸相同的第一图像。
13.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
CN202310146728.4A 2023-02-22 2023-02-22 基于轻量化语义分割网络的oled湿膜缺陷检测方法 Active CN115880290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310146728.4A CN115880290B (zh) 2023-02-22 2023-02-22 基于轻量化语义分割网络的oled湿膜缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310146728.4A CN115880290B (zh) 2023-02-22 2023-02-22 基于轻量化语义分割网络的oled湿膜缺陷检测方法

Publications (2)

Publication Number Publication Date
CN115880290A CN115880290A (zh) 2023-03-31
CN115880290B true CN115880290B (zh) 2023-05-30

Family

ID=85761438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310146728.4A Active CN115880290B (zh) 2023-02-22 2023-02-22 基于轻量化语义分割网络的oled湿膜缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115880290B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021249233A1 (zh) * 2020-06-10 2021-12-16 中铁四局集团有限公司 一种图像处理方法、目标识别模型训练方法和目标识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223093A (zh) * 2020-03-04 2020-06-02 武汉精立电子技术有限公司 一种aoi缺陷检测方法
CN115619743A (zh) * 2022-10-20 2023-01-17 华中科技大学 Oled新型显示器件表面缺陷检测模型的构建方法及其应用
CN115482405A (zh) * 2022-10-27 2022-12-16 江苏骠马智能工业设计研究有限公司 基于深度学习的单模板匹配的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021249233A1 (zh) * 2020-06-10 2021-12-16 中铁四局集团有限公司 一种图像处理方法、目标识别模型训练方法和目标识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自动光学(视觉)检测技术及其在缺陷检测中的应用综述;卢荣胜 等;光学学报(08);全文 *

Also Published As

Publication number Publication date
CN115880290A (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN111681273B (zh) 图像分割方法、装置、电子设备及可读存储介质
CN111080660B (zh) 一种图像分割方法、装置、终端设备及存储介质
CN107944450B (zh) 一种车牌识别方法及装置
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN115880298B (zh) 一种基于无监督预训练的玻璃表面缺陷检测系统
CN115035295B (zh) 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法
CN113469997B (zh) 平面玻璃的检测方法、装置、设备和介质
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
CN112036454B (zh) 一种基于多核密集连接网络的图像分类方法
CN111382658B (zh) 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN116071309B (zh) 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN112364709A (zh) 基于编码识别的机柜智能资产盘点方法
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN115953386A (zh) 一种基于MSTA-YOLOv5的轻量化齿轮表面缺陷检测方法
CN115147418A (zh) 缺陷检测模型的压缩训练方法和装置
CN111242066A (zh) 大尺寸图像目标检测方法、装置及计算机可读存储介质
CN115272691A (zh) 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备
CN114882002A (zh) 目标缺陷检测方法和检测装置、计算机设备、存储介质
CN115880290B (zh) 基于轻量化语义分割网络的oled湿膜缺陷检测方法
CN111161228A (zh) 一种基于迁移学习的纽扣表面缺陷检测方法
CN113012132A (zh) 一种图像相似度确定方法、装置及计算设备、存储介质
CN113111921B (zh) 物体识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant