CN112950606A - 一种基于小样本的手机屏幕缺陷分割方法 - Google Patents

一种基于小样本的手机屏幕缺陷分割方法 Download PDF

Info

Publication number
CN112950606A
CN112950606A CN202110275184.2A CN202110275184A CN112950606A CN 112950606 A CN112950606 A CN 112950606A CN 202110275184 A CN202110275184 A CN 202110275184A CN 112950606 A CN112950606 A CN 112950606A
Authority
CN
China
Prior art keywords
image
defect
feature
segmentation
mobile phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110275184.2A
Other languages
English (en)
Other versions
CN112950606B (zh
Inventor
许国良
毛骄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110275184.2A priority Critical patent/CN112950606B/zh
Publication of CN112950606A publication Critical patent/CN112950606A/zh
Application granted granted Critical
Publication of CN112950606B publication Critical patent/CN112950606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30121CRT, LCD or plasma display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉、目标检测与语义分割领域,特别涉及一种基于小样本的手机屏幕缺陷分割方法,包括采集具有不同类型缺陷的多款手机屏幕图像,并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理;构建小样本下的手机屏幕缺陷图像数据集,其包括训练集和测试集,数据集中包含了缺陷图像及其对应的分割图像;构建小样本手机屏幕缺陷语义分割网络,并使用手机屏幕缺陷图像训练集对分割网络进行训练,将待预测图像输入训练好的网络即可得到分割图像;本发明充分利用少量的已标注分割图像对分割网络进行训练,极大地提升缺陷分割的效果,实现对缺陷图像的分类与定位。

Description

一种基于小样本的手机屏幕缺陷分割方法
技术领域
本发明属于计算机视觉、目标检测与语义分割领域,特别涉及一种基于小样本的手机屏幕缺陷分割方法。
背景技术
目前,手机作为通讯主要工具之一,其各个部件的质量的好坏严重影响手机用户的体验感,尤其是手机屏幕。然而手机屏幕的生产过程极为复杂,在生产的过程中容易出现各种各样的缺陷,常见的手机屏幕缺陷有亮点、暗点、亮线、暗线、亮团、暗团、黄斑以及MURA等,因此要保证手机屏幕高质量的要求,对其进行质量检测是生产过程中必不可少的一道工序。
目前,手机屏幕缺陷检测以人工肉眼检测和基于机器视觉的检测方法为主。人工检测主要由检查人对生产的手机屏幕进行肉眼检测,但检测的效果容易受检查人本身的主/客观因素,对缺陷分割的效率、准确性、稳定性都收到极大的限制,而且人工检测的经济成本、人力成本都很高,难以满足日益增长的手机屏幕的生产速度和客户对手机屏幕高质量的要求。随着计算机视觉、目标检测与识别等领域的快速发展,基于机器视觉的检测方法成为目前手机屏幕缺陷检测的主流方法,该方法能够对特定的、简单的、明显的手机屏幕缺陷完成很好的检测(包括分类和定位);但这类检测方法严重依赖缺陷特征提取算法,针对不同类型的缺陷,需设计不同的特征提取算法用于特定的缺陷检测,这对于手机屏幕在生产过程中,产生的不确定缺陷往往不能够进行有效检测,这类检测方法缺乏算法的通用性和灵活性,此外,通过手工或浅层的学习技术识别的特征对复杂的条件没有足够的辨别力。这些方法通常针对特定的场景,缺乏检测环境的适应性和鲁棒性。
近年来,随着FCN、SegNet、U-Net、DeepLab等语义分割网络的提出,因其灵活性和通用性高、自适应和泛化性能强、无需背景领域知识等特性,越来越多的研究学者利用分割网络来完成手机屏幕缺陷检测,但上述这些方法是在足够多的样本图像下来完成网络的训练,以获得其分割图像。随着生产工艺的提升与设备的增强,在手机屏幕工业生产线上获取像COCO数据集这样拥有足够量的样本数据是很难的,另外对采集到的缺陷图像进行缺陷图像分割标注也是需要消耗大量的人力、物力和财力,能采集到的手机屏幕缺陷的类别、数量都是有限的,构建的少量的手机屏幕缺陷图像数据集不足以完成大数据驱动的分割网络的训练。因此,如何利用少量的手机屏幕缺陷样本图像来很好的完成分割,以实现缺陷的分类和定位,成为一个亟待解决的问题。
发明内容
为了能够利用少量的手机屏幕缺陷样本图像来很好的完成分割,以实现缺陷的分类和定位,本发明提出一种基于小样本的手机屏幕缺陷分割方法,具体包括以下步骤:
采集具有不同类型缺陷的多款手机屏幕图像,并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理;
构建小样本下的手机屏幕缺陷图像数据集,其包括训练集和测试集,数据集中包含了缺陷图像及其对应的分割图像;
构建小样本手机屏幕缺陷语义分割网络,并使用手机屏幕缺陷图像训练集对分割网络进行训练,每一次训练任务从训练集中获取支持图像和查询图像来模拟测试时的样本图像和测试图像,在训练时,将支持图像及其分割图像和查询图像同时输入到小样本分割网络中,利用支持图像及其分割图像指导查询图像的分割过程,直至训练完成;
将测试集中的测试图像与训练集中的样本图像输入到已收敛的小样本分割网络中,通过样本图像及其分割图像指导待测图像的分割图像的生成,通过分割图像的颜色显示,以确定待测图像的缺陷类型与位置。
11.进一步的,小样本手机屏幕缺陷语义分割网络包括编码器和解码器,编码器包括特征提取模块和特征增强模块,特征提取模块包括5个卷积块和一个交叉注意力模块,每个卷积块包括一个3*3的卷积层,一个归一化层,一个ReLU激活层以及一个2*2的最大池化层,交叉注意力模块是由两个交叉注意力块级联构成,特征增强模块则是用来加强支持图像特征与查询图像特征的信息之间的交互,进一步增强查询图像特征表示;解码器包括四个反卷积层,且将特征模块中第四个卷积层与解码器中的第一个反卷积层的输出相加作为第二个反卷积层的输入,将特征模块中第三个卷积层与解码器中的第二个反卷积层的输出相加作为第三个反卷积层的输入;且在训练过程中,将获得的查询图像的注意力特征图fq"a和支持图像的注意力特征图fs a分别输入到解码器,生成两者的分割图像,并采用的改进的联合损失函数进行网络训练,改进的联合损失函数表示为:
L=lsupport+lquery
其中,lsupport为支持图像的损失函数,lquery为查询图像的损失函数;
在进行测试或者实时分割时,将待测图像的注意力特征图输入至解码器以生成其分割图像,即可确定测试图像缺陷的位置。进一步的,交叉注意力模块获取新特征图的操作包括以下步骤:将特征图
Figure BDA0002976332140000031
输入一个交叉注意力块中,分别通过三个1×1的卷积获得三个特征图
Figure BDA0002976332140000032
Figure BDA0002976332140000033
对于特征图F1的每一个位置i,得到这个位置的特征向量
Figure BDA0002976332140000034
从特征图F2中获得与位置i相同行和列的其他位置的特征集合
Figure BDA0002976332140000035
通过关联操作生成特征图F1和特征图F2的关联特征图
Figure BDA0002976332140000036
并将关联特征图通过softmax来生成注意力图
Figure BDA0002976332140000037
获得特征图F3上的位置i的特征向量
Figure BDA0002976332140000038
以及关联特征图
Figure BDA0002976332140000039
中与位置i相同行和列的其他位置的特征向量
Figure BDA0002976332140000041
形成特征集合
Figure BDA0002976332140000042
通过集合操作将特征向量
Figure BDA0002976332140000043
与注意力图
Figure BDA0002976332140000044
相乘之后,再与输入的特征图
Figure BDA0002976332140000045
相加,得到新特征图FF;
将得到的新特征图FF作为下一个交叉注意力块的输入,并进行以上操作,该交叉注意力块的输出即为交叉注意力模块获取的新特征图;
其中,
Figure BDA0002976332140000046
表示特征图的尺寸;b表示输入特征F的通道数,b'表示F经过1×1的卷积之后获得的新特征图的通道数,其中b'=b/8;由于输入的特征图是一个正方形,r表示特征图的边长。
进一步的,利用掩膜平均池化来获取支持图像的代表特征,并利用相似度度量的方式来建立支持图像特征和查询图像特征之间的关系,并获得查询图像新的特征图,包括以下步骤:经过特征提取模块获取支持缺陷图像的特征图
Figure BDA0002976332140000047
以及查询缺陷图像的特征图
Figure BDA0002976332140000048
支持图像的掩膜图像为
Figure BDA0002976332140000049
将fs通过双线性插值法恢复到与掩膜图像相同大小的特征图
Figure BDA00029763321400000410
结合掩膜图像计算支持图像的代表特征
Figure BDA00029763321400000411
使用相似度度量的方式来计算支持图像的代表特征V与查询缺陷图像特征fq之间的相似矩阵
Figure BDA00029763321400000412
通过像素相乘的方式来融合查询缺陷图像特征图fq和相似矩阵S来生成新的查询缺陷图像特征图
Figure BDA00029763321400000413
判断在支持集中每种类别的缺陷图像的数量,如果每个类别的缺陷图像的数量只有一个,则将特征提取模块输入的支持图像特征直接作为这类缺陷的缺陷图;
否则将多个支持样本的特征图进行加权平均来作为这类缺陷的特征图,同时缺陷样本对应的掩膜图像也进行加权平均得到一个新的掩膜图像,使用新特征图和新的掩膜图像来完成掩膜平均池化过程;
其中,c为支持图像和查询图像经过特征提取模块生成的特征图的通道数,n为特征图的大小,m为掩膜图像的大小。进一步的,支持图像的代表特征V与查询缺陷图像特征fq之间的相似矩阵
Figure BDA0002976332140000051
表示为:
Figure BDA0002976332140000052
其中,
Figure BDA0002976332140000053
为查询图像特征图fq第x列、第y行位置;V为支持图像的代表特征。
进一步的,结合掩膜图像计算支持图像的代表特征
Figure BDA0002976332140000054
表示为:
Figure BDA0002976332140000055
其中,Ms x,y是指支持图像的掩膜图像的第x行、第y列的位置,
Figure BDA0002976332140000056
为支持图像的特征图fs1的第i个通道图像的第x行、第y列的位置,m为掩膜图像大小,Vi则是支持图像的代表向量V的第i个元素。
进一步的,协同注意力来强调查询图像与支持图像的相同目标的相关性的过程包括:
对支持缺陷图像的特征图
Figure BDA0002976332140000057
和根据相似矩阵S来生成新的查询缺陷图像特征图
Figure BDA0002976332140000058
进行全局平均池化;
通过两个全连接层,进行上采样,得到两个权重矩阵Ws,
Figure BDA0002976332140000059
将得到的权重矩阵Ws与fq"进行通道相乘得到查询图像的注意力特征图
Figure BDA00029763321400000510
同样将Wq与fs相乘得到支持图像的注意力特征图
Figure BDA00029763321400000511
本发明的有益效果:
(1)本发明针对手机屏幕缺陷样本不足的问题,设计了一种小样本的手机屏幕缺陷语义分割网络,通过样本图像指导待测图像的分割过程,网络输出待测图像的语义分割图像,获取缺陷的类别与位置,提升手机屏幕缺陷检测的鲁棒性和泛化性。
(2)本发明考虑手机屏幕缺陷位置灵活、大小不定、类别多样等特点,在特征提取时,采用交叉注意力模块有效并高效地获取不同缺陷的特征信息;同时通过掩膜平均池化获取支持图像的代表特征,利用余弦相似性增强查询图像的特征表示,另外采用协同注意力机制加强支持图像与查询图像的相同目标间的信息交互,进一步增强查询图像的特征信息,提升缺陷分割效果。
附图说明
图1是本发明方法的步骤示意图;
图2是本发明采用的小样本语义分割网络框架示意图;
图3是本发明采用的交叉注意力模块示意图;
图4是本发明的掩膜平均池化示意图;
图5是本发明的协同注意力机制示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提出一种基于小样本的手机屏幕缺陷分割方法,如图1,具体包括以下步骤:
采集具有不同类型缺陷的多款手机屏幕图像,并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理;
构建小样本下的手机屏幕缺陷图像数据集,其包括训练集和测试集,数据集中包含了缺陷图像及其对应的分割图像;
构建小样本手机屏幕缺陷语义分割网络,并使用手机屏幕缺陷图像训练集对分割网络进行训练,每一次训练任务从训练集中获取支持图像和查询图像来模拟测试时的样本图像和测试图像,在训练时,将支持图像及其分割图像和查询图像同时输入到小样本分割网络中,利用支持图像及其分割图像指导查询图像的分割过程,直至训练完成;
将测试集中的测试图像与训练集中的样本图像输入到已收敛的小样本分割网络中,通过样本图像及其分割图像指导待测图像的分割图像的生成,通过分割图像的颜色显示,以确定待测图像的缺陷类型与位置。
本发明将上述方法分别数据获取、数据集划分、分割网络构建以及图片分割四个方面进行详细说明,具有包括以下步骤:
(一)数据获取
采集具有不同类型缺陷的多款手机屏幕图像,并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理;其中,这里的缺陷类型包含但不限于存在异常亮度线段信息、异常亮度点信息、异常亮度区域信息、和/或偏色信息等等;异常亮度线段信息包括暗线信息和/或亮线信息;异常亮度点信息包括亮点信息和/或暗点信息;异常亮度区域信息具体为光斑信息。
本实施例预处理的过程包含但不限于图像切割、灰度处理、缺陷分类和分割标注;对于图像切割是为了分离出高分辨率图像中的各种缺陷,能够更好地用于网络训练;由于手机屏幕图像的特性,灰度处理后的缺陷图像能够突出屏幕缺陷,同时减小图像原始数据量,便于后续处理时计算量更少;对灰度缺陷图像进行缺陷分出划痕、黑点、白印、mura、漏光等类型,以便于后续的分割标注;分割标注是根据灰度图像的缺陷类别,将缺陷图像的每个类别进行标注,不同的缺陷类型与背景用不同的颜色区分开来,以此凸显缺陷的类别、大小、位置等基本信息。
(二)数据集划分
构建小样本下的手机屏幕缺陷图像数据集,其包括训练集和测试集,数据集中包含了缺陷图像及其对应的分割图像。
构建手机屏幕缺陷图像数据集是完成小样本语义分割网络训练的基础,数据集中包含了缺陷图像及其标注好的分割图像。为了更好的训练和验证网络的分割效果,构建的手机屏幕缺陷图像数据集分为训练集和测试集,训练集是对构建小样本手机屏幕语义分割网络进行训练,使得网络能够适应手机屏幕缺陷的应用场景;使用手机屏幕缺陷测试集是对已训练网络性能的测试,测试集包含了经过图像预处理,但未对网络进行训练的手机屏幕缺陷图像,这些图像不仅可以来自手机屏幕缺陷图像训练集中未经过训练的缺陷图像,也可以是从实际手机屏幕生产线上获得的缺陷图像。测试集中的这些缺陷图像包含了参与网络训练的各种缺陷类型,但测试集中的各种缺陷的数量不会像训练集中的数量那么多,每种缺陷的数量只有训练集中的1/10。
对于每一个训练任务,需要从训练集中抽取C个类别,每个类别抽取K个样本作为这次训练任务的支持集(support set)
Figure BDA0002976332140000081
当K=1时,为1-shot,当K>1时,为K-shot。而这C个类别的其他t个样本则作为此次训练任务的查询集(query set)
Figure BDA0002976332140000082
以此来模拟测试时的样本图像和测试图像。对于同一个训练任务的支持集与查询集,I代表了手机屏幕缺陷图像,M代表了标注的手机屏幕缺陷图像的分割图像,而支持集和查询集中包含了同一种类型的缺陷图像。
(三)分割网络构建
构建小样本手机屏幕缺陷语义分割网络,并使用手机屏幕缺陷图像训练集对分割网络进行训练,每一次训练任务从训练集中获取同种类型的支持图像和查询图像来模拟测试时的样本图像和测试图像,在训练时,将支持图像及其分割图像和查询图像同时输入到小样本分割网络中,利用支持图像及其分割图像指导查询图像的分割过程,直至训练完成。
小样本手机屏幕缺陷语义分割网络将查询图像/测试图像、支持图像/样本图像及其分割图像进行处理,在训练时,网络的输出是查询图像支持图像的分割图像;在测试时,网络只输出测试图像的分割图像。
图2是本发明所采用的小样本手机屏幕缺陷语义分割网络的整体架构,整体网络依然为编码器-解码器的架构,不同的是编码器是由特征提取模块和特征增强模块构成。在特征提取模块中,为了能够更好地提取到不同尺寸缺陷的特征信息,在特征提取模块引入交叉注意力块来有效地获取缺陷图像的上下文信息;而在特征增强模块中,利用掩码平均池化生成支持图像的代表特征,通过余弦相似度量来指导查询图像的分割过程,同时引入协同注意力来加强查询图像与支持图像之间的信息交互,增强两者在分割过程中的相关性,以此完成更好的查询图像的缺陷分割。在解码器部分,本发明采用了UNet的反卷积部分,采用跳跃连接将特征提取时,学习到的特征将被用于重建图像,最后利用联合的支持/查询图像损失函数来训练网络。
在特征提取模块中,其包含了5个卷积块和两个交叉注意力块,每个卷积块包含一个3*3的卷积层,一个归一化层,一个ReLU激活层以及一个2*2的最大池化层。其中,如图3所示,交叉注意力模块是由两个交叉注意力块级联而成,用于获取不同尺寸的手机屏幕缺陷的特征信息,这两个交叉注意力块架构相同。具体地,将特征图
Figure BDA0002976332140000091
输入到第一个交叉注意力块中,首先分别通过三个1×1的卷积获得三个特征图
Figure BDA0002976332140000092
其中b'=b/8。对于特征图F1的每一个位置i,得到这个位置的特征向量
Figure BDA0002976332140000093
同时,我们可以从特征图F2中获得与位置i相同行和列的其他位置(共2r-1个位置)的特征集合
Figure BDA0002976332140000094
其中
Figure BDA0002976332140000095
Φi,j为Φi的第j个元素。然后通过关联操作,生成特征图F1和特征图F2的关联特征图
Figure BDA0002976332140000096
并将其通过softmax来生成注意力图
Figure BDA0002976332140000097
生成过程包括:
Figure BDA0002976332140000098
Fa=softmax(G);
其中,gi,j属于关联特征图G的元素,i为特征图中一个位置,j为与位置i行和列相同的其他位置。同样地,可以获得特征图F3上的位置i的特征向量
Figure BDA0002976332140000101
以及与位置i相同行和列的其他位置的特征向量
Figure BDA0002976332140000102
形成特征集合
Figure BDA0002976332140000103
通过聚合操作生成具有上下文信息的新的特征图
Figure BDA0002976332140000104
表示为:
Figure BDA0002976332140000105
对于位置i,Fi为原输入特征F对于位置i的特征向量。同时将得到的新的特征图FF作为下一个交叉注意力块的输入,经过上述相同的过程,输出与原特征图F相同大小的新的特征图。
在特征增强模块中,本发明利用掩膜平均池化来获取支持图像的代表特征,并利用相似度度量的方式来建立支持图像特征和查询图像特征之间的关系;同时为了使查询图像与支持图像的信息交互得更加充分,本文还引入了协同注意力来强调查询图像与支持图像的相同目标的相关性,进一步增强特征表示。
如图4所示的是掩膜平均池化示意图,在网络每一次的训练任务中,支持/查询集都是以(I,M)成对的方式出现,其中
Figure BDA0002976332140000106
为缺陷图像,
Figure BDA0002976332140000107
为该缺陷图像的掩膜图像;支持缺陷图像在经过特征提取模块后获得其特征图
Figure BDA0002976332140000108
相同地,也获得查询缺陷图像的特征图
Figure BDA0002976332140000109
然后将fs通过双线性插值法恢复到与掩膜图像相同大小的特征图
Figure BDA00029763321400001010
然后结合掩膜图像通过计算得到支持图像的代表特征
Figure BDA00029763321400001011
表示为:
Figure BDA00029763321400001012
其中,Ms x,y是指支持图像的掩膜图像的第x行、第y列的位置,
Figure BDA00029763321400001013
为支持图像的特征图fs1的第i个通道图像的第x行、第y列的位置,m为掩膜图像大小,Vi则是支持图像的代表向量V的第i个元素;接下来,使用相似度度量的方式来计算支持图像的代表特征V与查询缺陷图像特征fq之间的相似矩阵
Figure BDA0002976332140000111
表示为:
Figure BDA0002976332140000112
其中,
Figure BDA0002976332140000113
为查询图像特征图fq第x列、第y行位置,V是支持图像的代表特征;最后通过像素相乘的方式来融合查询缺陷图像特征图fq和相似矩阵S来生成新的查询缺陷图像特征图
Figure BDA0002976332140000114
1-shot.对于K=1,表示在支持集中,每种类别的缺陷图像只有一个。本发明将特征提取模块输入的支持图像特征直接作为这类缺陷的缺陷图,结合这个缺陷图像的分割图像,以此来指导查询图像的分割过程。
K-shot.当K>1,即对于每一类缺陷,支持集中包含着K个缺陷样本。我们将这K个支持样本的特征图进行加权平均来作为这类缺陷的特征图,同时对这K个缺陷样本对应的掩膜图像也进行加权平均得到一个新的掩膜图像,使用新特征图和新的掩膜图像来完成掩膜平均池化过程。
图5所示是协同注意力机制的示意图,在掩膜平均池化时,虽然利用支持图像及其掩膜图像生成的代表特征来进一步指导查询图像的特征的形成,但两者信息的交互是单方面的从支持图像对查询图像。但在小样本分割网络训练过程中,缺陷图像在不同的训练任务中扮演着不同的角色,可能作为支持图像,可能作为查询图像,这说明在训练时,支持集和测试集是可以相互影响的。为了进一个加强支持集与查询集的相同目标之间的信息交互,引入协同注意力机制来对查询缺陷图像特征进行细化,具体包括以下步骤:
将前期所得到的支持缺陷图像特征图
Figure BDA0002976332140000115
和查询缺陷图像特征图
Figure BDA0002976332140000116
作为协同分割机制的输入;
分别对fs和fq"进行全局平均池化,然后通过两个全连接层,上采样,得到两个权重矩阵Ws,
Figure BDA0002976332140000117
将得到的权重矩阵Ws与fq"进行通道相乘得到查询图像的注意力特征图
Figure BDA0002976332140000121
同样将Wq与fs相乘得到支持图像的注意力特征图
Figure BDA0002976332140000122
上述过程可以表示为:
Ws=σ(AvgPoolchannel(fs));
Wq=σ(AvgPoolchannel(fq"));
fs a=Wq*fs
fq"a=Ws*fq";
对于解码器部分,将特征提取模块中的第三个卷积层和第四个卷积层与解码器中第一个反卷积层的输出和第二个卷积层的输出相加,共同作为下一层的输入,最终解码器输出的分割图像与缺陷图像一样大。由于在特征加强模块中引入了协同分割机制,这不管是对支持图像的特征还是对查询图像的特征都会有更加丰富的特征表示,所以在训练阶段,训练网络的损失的函数也做一定的改进。不管是支持图像还是查询图像,对两者的特征进行恢复得到的分割图像都会有利于网络的训练,增强缺陷分割的效果。对于损失函数,本发明联合了支持图像和查询图像的交叉熵损失函数,共同训练网络,即:
L=lsupport+lquery
其中,L为本发明小样本手机屏幕缺陷语义分割网络采用的损失函数,lsupport为支持图像的交叉熵损失函数,lquery为查询图像的交叉熵损失函数。
(四)图片分割
将测试集中的待测图像与训练集中的样本图像输入到已收敛的小样本分割网络中,通过样本图像及其分割图像指导待测图像的分割图像的生成,通过分割图像的颜色显示,以确定待测图像的缺陷类型与位置。
在测试时,将待测图像与样本图像及其分割图像共同作为已训练好的小样本手机屏幕缺陷语义分割网络中,输出的是待测图像的分割图像,根据分割图像的颜色显示判断该待测图像的缺陷类型以及缺陷所在的位置区域。其中,待测图像是从未经过训练的测试集中获取,而样本图像则是来自于训练集。
在一个优选实施例中,当出现新的类型的缺陷图像时,对新的缺陷样本进行分类和分割标注,选取支持图像和查询图像并输入到已训练好的网络,通过网络调参使得网络能够适应新的缺陷类型的分割。
本发明实施例通过在不同过程选择不同类型以及不同数量的数据集,能够在小样本下实现手机屏幕缺陷语义分割。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于小样本的手机屏幕缺陷分割方法,其特征在于,具体包括以下步骤:
采集具有不同类型缺陷的多款手机屏幕图像,并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理;
构建小样本下的手机屏幕缺陷图像数据集,其包括训练集和测试集,数据集中包含了缺陷图像及其对应的分割图像;
构建小样本手机屏幕缺陷语义分割网络,并使用手机屏幕缺陷图像训练集对分割网络进行训练,每一次训练任务从训练集中获取支持图像和查询图像来模拟测试时的样本图像和测试图像,在训练时,将支持图像及其分割图像和查询图像同时输入到小样本分割网络中,利用支持图像及其分割图像指导查询图像的分割过程,直至训练完成;
将测试集中的测试图像与训练集中的样本图像输入到已收敛的小样本分割网络中,通过样本图像及其分割图像指导待测图像的分割图像的生成,通过分割图像的颜色显示,以确定待测图像的缺陷类型与位置。
2.根据权利要求1所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,小样本手机屏幕缺陷语义分割网络包括编码器和解码器,编码器包括特征提取模块和特征增强模块,特征提取模块包括5个卷积块和一个交叉注意力模块,每个卷积块包括一个3*3的卷积层,一个归一化层,一个ReLU激活层以及一个2*2的最大池化层,交叉注意力模块是由两个交叉注意力块级联构成,特征增强模块则是用来加强支持图像特征与查询图像特征的信息之间的交互,进一步增强查询图像特征表示;解码器包括四个反卷积层,且将特征模块中第四个卷积层与解码器中的第一个反卷积层的输出相加作为第二个反卷积层的输入,将特征模块中第三个卷积层与解码器中的第二个反卷积层的输出相加作为第三个反卷积层的输入;且在训练过程中,将获得的查询图像的注意力特征图和支持图像的注意力特征图分别输入到解码器,生成两者的分割图像,并采用的改进的联合损失函数进行网络训练,改进的联合损失函数表示为:
L=lsupport+lquery
其中,lsupport为支持图像的损失函数,lquery为查询图像的损失函数;
在进行测试或者实时分割时,将待测图像的注意力特征图输入至解码器以生成其分割图像,即可确定测试图像缺陷的位置。
3.根据权利要求2所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,交叉注意力模块获取新特征图的操作包括以下步骤:
将特征图
Figure FDA0002976332130000021
输入一个交叉注意力块中,分别通过三个1×1的卷积获得三个特征图
Figure FDA0002976332130000022
对于特征图F1的每一个位置i,得到这个位置的特征向量
Figure FDA0002976332130000023
从特征图F2中获得与位置i相同行和列的其他位置的特征集合
Figure FDA0002976332130000024
通过关联操作生成特征图F1和特征图F2的关联特征图
Figure FDA0002976332130000025
并将关联特征图通过softmax来生成注意力图
Figure FDA0002976332130000026
获得特征图F3上的位置i的特征向量
Figure FDA0002976332130000027
以及关联特征图
Figure FDA0002976332130000028
中与位置i相同行和列的其他位置的特征向量
Figure FDA0002976332130000029
形成特征集合
Figure FDA00029763321300000210
通过集合操作将特征向量
Figure FDA00029763321300000211
与注意力图
Figure FDA00029763321300000212
相乘之后,再与输入的特征图
Figure FDA00029763321300000213
相加,得到新特征图FF;
将得到的新特征图FF作为下一个交叉注意力块的输入,并进行以上操作,该交叉注意力块的输出即为交叉注意力模块获取的新特征图;
其中,
Figure FDA00029763321300000214
表示特征图的尺寸;b表示输入特征F的通道数,b'表示F经过1×1的卷积之后获得的新特征图的通道数,其中b'=b/8;由于输入的特征图是一个正方形,r表示特征图的边长。
4.根据权利要求3所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,通过关联操作获得的注意力图
Figure FDA0002976332130000031
的生成过程包括:
gi,j=F1 ii,j)T,i=1,2…r×r,j=1,2...2r-1;
Fa=softmax(G);
其中,gi,j为位置i与其相同列或行的其他位置j的关联关系;
Figure FDA0002976332130000032
j=[1,2,...,2r-1],Φi,j为Φi的第j个元素。
5.根据权利要求3所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,聚合操作生成新特征图FF的过程包括:
Figure FDA0002976332130000033
6.根据权利要求2所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,特征增强模块利用掩膜平均池化来获取支持图像的代表特征,并利用相似度度量的方式来建立支持图像特征和查询图像特征之间的关系,且引入了协同注意力来强调查询图像与支持图像的相同目标的相关性,获取查询图像和支持图像的特征。
7.根据权利要求6所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,利用掩膜平均池化来获取支持图像的代表特征,并利用相似度度量的方式来建立支持图像特征和查询图像特征之间的关系,并获得查询图像新的特征图,包括以下步骤:
经过特征提取模块获取支持缺陷图像的特征图
Figure FDA0002976332130000034
以及查询缺陷图像的特征图
Figure FDA0002976332130000035
支持图像的掩膜图像为
Figure FDA0002976332130000036
将fs通过双线性插值法恢复到与掩膜图像相同大小的特征图
Figure FDA0002976332130000037
结合掩膜图像计算支持图像的代表特征
Figure FDA0002976332130000038
使用相似度度量的方式来计算支持图像的代表特征V与查询缺陷图像特征fq之间的相似矩阵
Figure FDA0002976332130000039
通过像素相乘的方式来融合查询缺陷图像特征图fq和相似矩阵S来生成新的查询缺陷图像特征图
Figure FDA0002976332130000041
判断在支持集中每种类别的缺陷图像的数量,如果每个类别的缺陷图像的数量只有一个,则将特征提取模块输入的支持图像特征直接作为这类缺陷的缺陷图;
否则将多个支持样本的特征图进行加权平均来作为这类缺陷的特征图,同时缺陷样本对应的掩膜图像也进行加权平均得到一个新的掩膜图像,使用新特征图和新的掩膜图像来完成掩膜平均池化过程。
8.其中,c为支持图像和查询图像经过特征提取模块生成的特征图的通道数,n为特征图的大小,m为掩膜图像的大小。根据权利要求7所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,结合掩膜图像计算支持图像的代表特征
Figure FDA0002976332130000042
表示为:
Figure FDA0002976332130000043
其中,Msx,y是指支持图像的掩膜图像的第x行、第y列的位置,
Figure FDA0002976332130000044
为支持图像的特征图fs1的第i个通道图像的第x行、第y列的位置,m为掩膜图像大小,Vi则是支持图像的代表向量V的第i个元素。
9.根据权利要求7所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,支持图像的代表特征V与查询缺陷图像特征fq之间的相似矩阵
Figure FDA0002976332130000045
表示为:
Figure FDA0002976332130000046
其中,
Figure FDA0002976332130000047
为查询图像特征图fq第x列、第y行位置;V为支持图像的代表特征。
10.根据权利要求6所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,协同注意力来强调查询图像与支持图像的相同目标的相关性的过程包括:
对支持缺陷图像的特征图
Figure FDA0002976332130000051
和根据相似矩阵S来生成新的查询缺陷图像特征图
Figure FDA0002976332130000052
进行全局平均池化;
通过两个全连接层,进行上采样,得到两个权重矩阵
Figure FDA0002976332130000053
将得到的权重矩阵Ws与fq"进行通道相乘得到查询图像的注意力特征图
Figure FDA0002976332130000054
同样将Wq与fs相乘得到支持图像的注意力特征图
Figure FDA0002976332130000055
CN202110275184.2A 2021-03-15 2021-03-15 一种基于小样本的手机屏幕缺陷分割方法 Active CN112950606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110275184.2A CN112950606B (zh) 2021-03-15 2021-03-15 一种基于小样本的手机屏幕缺陷分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110275184.2A CN112950606B (zh) 2021-03-15 2021-03-15 一种基于小样本的手机屏幕缺陷分割方法

Publications (2)

Publication Number Publication Date
CN112950606A true CN112950606A (zh) 2021-06-11
CN112950606B CN112950606B (zh) 2023-04-07

Family

ID=76229836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110275184.2A Active CN112950606B (zh) 2021-03-15 2021-03-15 一种基于小样本的手机屏幕缺陷分割方法

Country Status (1)

Country Link
CN (1) CN112950606B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN113191359A (zh) * 2021-06-30 2021-07-30 之江实验室 基于支持与查询样本的小样本目标检测方法与系统
CN113688947A (zh) * 2021-10-11 2021-11-23 国网智能科技股份有限公司 一种配电设备红外图像故障识别方法及系统
CN113899675A (zh) * 2021-10-13 2022-01-07 淮阴工学院 一种基于机器视觉的混凝土抗渗自动检测方法、装置
CN114092364A (zh) * 2021-08-12 2022-02-25 荣耀终端有限公司 图像处理方法及其相关设备
CN114359283A (zh) * 2022-03-18 2022-04-15 华东交通大学 基于Transformer的缺陷检测方法和电子设备
CN114565760A (zh) * 2022-02-24 2022-05-31 北京百度网讯科技有限公司 图像分割方法、模型的训练方法、装置、电子设备及介质
CN116168259A (zh) * 2023-04-26 2023-05-26 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类算法
CN117274148A (zh) * 2022-12-05 2023-12-22 魅杰光电科技(上海)有限公司 基于深度学习的无监督晶圆缺陷检测方法
WO2024000420A1 (zh) * 2022-06-30 2024-01-04 宁德时代新能源科技股份有限公司 缺陷检测方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910368A (zh) * 2019-11-20 2020-03-24 佛山市南海区广工大数控装备协同创新研究院 基于语义分割的注射器缺陷检测方法
CN111080622A (zh) * 2019-12-13 2020-04-28 熵智科技(深圳)有限公司 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN111223083A (zh) * 2020-01-06 2020-06-02 宜通世纪物联网研究院(广州)有限公司 表面划痕检测神经网络的构建方法、系统、装置及介质
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN111881957A (zh) * 2020-07-15 2020-11-03 中国科学院自动化研究所 基于信息导向注意力网络的图像识别方法、系统及装置
CN111951249A (zh) * 2020-08-13 2020-11-17 浙江理工大学 基于多任务学习网络的手机导光板缺陷可视化检测方法
US20210004945A1 (en) * 2019-07-05 2021-01-07 International Business Machines Corporation Image defect identification
CN112233059A (zh) * 2020-08-13 2021-01-15 浙江理工大学 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法
CN112288741A (zh) * 2020-11-23 2021-01-29 四川长虹电器股份有限公司 一种基于语义分割的产品表面缺陷检测方法、系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210004945A1 (en) * 2019-07-05 2021-01-07 International Business Machines Corporation Image defect identification
CN110910368A (zh) * 2019-11-20 2020-03-24 佛山市南海区广工大数控装备协同创新研究院 基于语义分割的注射器缺陷检测方法
CN111080622A (zh) * 2019-12-13 2020-04-28 熵智科技(深圳)有限公司 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN111223083A (zh) * 2020-01-06 2020-06-02 宜通世纪物联网研究院(广州)有限公司 表面划痕检测神经网络的构建方法、系统、装置及介质
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN111881957A (zh) * 2020-07-15 2020-11-03 中国科学院自动化研究所 基于信息导向注意力网络的图像识别方法、系统及装置
CN111951249A (zh) * 2020-08-13 2020-11-17 浙江理工大学 基于多任务学习网络的手机导光板缺陷可视化检测方法
CN112233059A (zh) * 2020-08-13 2021-01-15 浙江理工大学 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法
CN112288741A (zh) * 2020-11-23 2021-01-29 四川长虹电器股份有限公司 一种基于语义分割的产品表面缺陷检测方法、系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAOLIN ZHANG;YUNCHAO WEI;YI YANG;THOMAS S. HUANG: "SG-One: Similarity Guidance Network for", 《IEEE TRANSACTIONS ON CYBERNETICS》 *
李新叶等: "基于深度神经网络的少样本学习综述", 《计算机应用研究》 *
邱陵腾: "基于正样本参考的小样本图像缺陷检测方法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN111553929B (zh) * 2020-05-12 2022-08-09 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN113191359A (zh) * 2021-06-30 2021-07-30 之江实验室 基于支持与查询样本的小样本目标检测方法与系统
CN114092364B (zh) * 2021-08-12 2023-10-03 荣耀终端有限公司 图像处理方法及其相关设备
CN114092364A (zh) * 2021-08-12 2022-02-25 荣耀终端有限公司 图像处理方法及其相关设备
CN113688947A (zh) * 2021-10-11 2021-11-23 国网智能科技股份有限公司 一种配电设备红外图像故障识别方法及系统
CN113688947B (zh) * 2021-10-11 2024-03-15 国网智能科技股份有限公司 一种配电设备红外图像故障识别方法及系统
CN113899675A (zh) * 2021-10-13 2022-01-07 淮阴工学院 一种基于机器视觉的混凝土抗渗自动检测方法、装置
CN113899675B (zh) * 2021-10-13 2022-05-27 淮阴工学院 一种基于机器视觉的混凝土抗渗自动检测方法、装置
CN114565760A (zh) * 2022-02-24 2022-05-31 北京百度网讯科技有限公司 图像分割方法、模型的训练方法、装置、电子设备及介质
CN114565760B (zh) * 2022-02-24 2023-02-28 北京百度网讯科技有限公司 图像分割方法、模型的训练方法、装置、电子设备及介质
CN114359283B (zh) * 2022-03-18 2022-07-05 华东交通大学 基于Transformer的缺陷检测方法和电子设备
CN114359283A (zh) * 2022-03-18 2022-04-15 华东交通大学 基于Transformer的缺陷检测方法和电子设备
WO2024000420A1 (zh) * 2022-06-30 2024-01-04 宁德时代新能源科技股份有限公司 缺陷检测方法和装置
CN117274148A (zh) * 2022-12-05 2023-12-22 魅杰光电科技(上海)有限公司 基于深度学习的无监督晶圆缺陷检测方法
CN116168259B (zh) * 2023-04-26 2023-08-08 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类方法
CN116168259A (zh) * 2023-04-26 2023-05-26 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类算法

Also Published As

Publication number Publication date
CN112950606B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112950606B (zh) 一种基于小样本的手机屏幕缺陷分割方法
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN109033998B (zh) 基于注意力机制卷积神经网络的遥感影像地物标注方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN111080629A (zh) 一种图像拼接篡改的检测方法
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN106709958A (zh) 一种基于灰度梯度和颜色直方图的图像质量评价方法
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN112070727A (zh) 一种基于机器学习的金属表面缺陷检测方法
CN110111346B (zh) 基于视差信息的遥感图像语义分割方法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN115131747A (zh) 基于知识蒸馏的输电通道工程车辆目标检测方法及系统
CN114897865A (zh) 基于少量缺陷样本的工业缺陷检测方法
CN113887524A (zh) 基于语义分割的磁铁矿显微图像分割方法
CN112288758A (zh) 一种电力设备红外与可见光图像配准方法
CN114821350A (zh) 多阶段信息融合的高分辨率遥感图像建筑物变化检测方法
CN109815957A (zh) 一种基于彩色图像在复杂背景下的文字识别方法
CN113191320A (zh) 一种基于深度学习的食品安全指标监测方法
CN112200766A (zh) 基于区域关联神经网络的工业产品表面缺陷检测方法
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN116630807A (zh) 基于yolox网络的遥感影像点状独立房检测方法及系统
CN113744205B (zh) 一种端到端的道路裂缝检测系统
CN111083468B (zh) 一种基于图像梯度的短视频质量评价方法及系统
CN115546141A (zh) 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant