CN110717368A - 一种纺织品定性分类方法 - Google Patents
一种纺织品定性分类方法 Download PDFInfo
- Publication number
- CN110717368A CN110717368A CN201810810843.6A CN201810810843A CN110717368A CN 110717368 A CN110717368 A CN 110717368A CN 201810810843 A CN201810810843 A CN 201810810843A CN 110717368 A CN110717368 A CN 110717368A
- Authority
- CN
- China
- Prior art keywords
- near infrared
- textile
- infrared spectrum
- qualitative classification
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
- G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Signal Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供了一种纺织品定性分类方法,属于纺织品识别领域。该纺织品定性分类方法包括:(1)利用卷积网络建立定性分类预测模型;(2)采集待检纺织品样本的近红外光谱,对采集到的近红外光谱进行处理得到处理后的近红外光谱;(3)将所述处理后的近红外光谱输入到定性分类预测模型中,所述定性分类预测模型输出该待检纺织品样本的类别。本发明采用规格化和像素化的近红外光谱,节省了采集难度和时间,是一种环保、快速的检测方法;本发明利用卷积核训练自动获得网络权值和偏置值,能够自动提取光谱特征,适应能力强,有效解决了棉、涤等纺织品的自动定性分类问题,有效提高了纺织品成分的检测水平和速度。
Description
技术领域
本发明属于纺织品识别领域,具体涉及一种纺织品定性分类方法。
背景技术
随着纺织工业和服装产业的发展以及人民生活水平的提高,人们对纺织面料的要求也越来越高。为满足人们的需求,市场上出现越来越多新颖的面料种类。织物的纤维成分及其含量是判定其商品价值的主要指标之一,同时也是受到消费者极大关注的项目。同时,大量的废旧纺织品也面临着回收过程中按类分拣的难题。因此,无论是消费层面还是回收行业中,准确、自动地进行纤维成分的定性或者定量分析在纺织品检测中显得越来越重要。
传统的纺织品成分分析方法(化学溶解法、显微镜法等)具有检测周期长、检测环境要求高、化学试剂有毒有害、对环境造成污染大的特点,而且检测成本高,对样品具有破坏性。近年来,近红外技术在软件、仪器和应用领域上获得了快速发展。近红外光谱技术采集样品具有方便、快速、高效、准确和成本较低,不破坏样品,不消耗化学试剂,不污染环境等优点,因此该技术受到越来越多人的青睐。在预先建立好的分析模型基础上,仅需短短的几秒钟便可对一个样品进行全性质的测量,因此它的快速、简捷且无损的优点能够大大地提高分析工作效率。在近红外光的照射下不同的纤维成分会呈现出不同吸收峰,其成分含量不同会体现出不同大小、缓陡的吸收峰。一些研究人员已经开始利用化学计量学方法进行面料化学成分及含量的测定研究。但是波形特征的提取仍然是分类的难题,利用峰值检测或者傅里叶变换的方式很难达到很高的精度。
废旧纺织品的回收日益成为纺织服装行业可持续绿色发展的增长点,其中分拣环节是后续流程的关键环节,不同类别的面料有不同的处理技术,人工分拣过程既费时费力,分类又无法精确可靠。
发明内容
本发明的目的在于解决上述现有技术中存在的难题,提供一种纺织品定性分类方法,提高纺织品成分的检测水平和速度。
本发明是通过以下技术方案实现的:
一种纺织品定性分类方法,包括:
(1)利用卷积网络建立定性分类预测模型;
(2)采集待检纺织品样本的近红外光谱,对采集到的近红外光谱进行处理得到处理后的近红外光谱;
(3)将所述处理后的近红外光谱输入到定性分类预测模型中,所述定性分类预测模型输出该待检纺织品样本的类别。
所述步骤(1)的操作包括:
(11),利用类别已知的纺织品样本建立标准光谱样本库,然后将标准光谱样本库中的纺织品样本分为训练样本和验证样本;
(12),设置初始的定性分类预测模型;
(13),通过训练样本对初始的定性分类预测模型进行训练得到训练后的定性分类预测模型,使用训练后的定性分类预测模型对验证样本进行预测得到验证样本的分类结果,计算训练后的定性分类预测模型的损失值,并判断损失值是否达到最小值,如果是,则此时的训练后的定性分类预测模型为最优定性分类预测模型,转入步骤(14),如果否,则自动更新定性分类预测模型中的权值和偏置值,将当前定性分类预测模型作为初始的定性分类预测模型,然后返回步骤(13);
(14),将最优定性分类预测模型作为定性分类预测模型。
所述步骤(11)中的利用类别已知的纺织品样本建立标准光谱样本库的操作包括:
A1,采集类别已知的纺织品样本的近红外光谱,对采集到的近红外光谱进行处理得到处理后的近红外光谱;
A2,将每个已知类别中的各个纺织品样本的处理后的近红外光谱与其类别的分类标签存储在标准光谱样本库中。
所述步骤(11)中的将标准光谱样本库中的纺织品样本分为训练样本和验证样本的操作包括:
将标准光谱样本库中的每一个分类中的纺织品样本均随机地按照7:3的比例进行划分,将其中70%的纺织品样本作为训练样本,将剩余的30%的纺织品样本作为验证样本。
所述定性分类预测模型包括:
输入层:将处理后的近红外光谱输入到像化层;
像化层:将处理后的近红外光谱转化为40像素×30像素的灰度图像,即40像素×30像素的二维矩阵,然后将该二维矩阵输入到40×30卷积层;
40×30卷积层:通过32个尺寸为5*5的卷积核提取32种像素特征,得到40*30*32的输出向量,将该输出向量输入到20×15池化层;
20×15池化层:使用2*2的最大化池化层对40*30*32的输出向量进行处理,得到20*15*32的输出向量,将该输出向量输入到20×15卷积层;
20×15卷积层:通过64个尺寸为5*5的卷积核提取64种像素特征,得到20*15*64的输出向量,将该输出向量输入到10×8池化层;
10×8池化层:使用2*2的最大池化层对20*15*64的输出向量进行处理,得到10*8*64的输出向量,将该输出向量输入到全连接层;
全连接层:对10*8*64的输出向量进行处理,得到1024个节点并将1024个节点输入到Softmax层;
Softmax层:对1024个节点进行处理得到待检纺织品的类别。
所述Softmax层根据预定的M个类别,采用独热编码将全连接层发送来的1024个节点处理成一个M维向量,该M维向量的每一维代表一个类别的识别概率,将M维向量中大于0.5的识别概率置为1,其余的识别概率置为0,被置为1的识别概率对应的类别即为待检纺织品的类别;
如果M维向量中的所有识别概率均不大于0.5,则判定待检纺织品的类别不是已知类别。
优选地,在所述全连接层与Softmax层之间还设置有Dropout层;全连接层得到的1024个节点经过Dropout层后仍然是1024个节点,将该1024个节点输入到Softmax层。
所述步骤(2)中的采集待检纺织品样本的近红外光谱、所述步骤A1中的采集类别已知的纺织品样本的近红外光谱的操作均包括:
在纺织品样本上采集N个不同位置处的近红外光谱,然后取N个近红外光谱的平均值作为该纺织品样本的近红外光谱;
采集过程中的温度为10℃~30℃,相对湿度为30%~70%;
纺织品样本的面积不小于400平方厘米;
纺织品样本的厚度在2mm以上。
所述步骤(2)中、所述步骤A1中的对采集到的近红外光谱进行处理得到处理后的近红外光谱包括:
对采集到的近红外光谱进行精度规范、波形裁剪和归一化处理;
其中,所述精度规范是将采集到的近红外光谱的数据保留到小数点后6位;
所述波形裁剪是将近红外光谱中的1301-2500nm内的光谱保留下来,其它光谱删除;
所述归一化处理是将1301-2500nm内的光谱的吸光度统一到0到1的区间内,得到1*1200维向量,即为处理后的近红外光谱。
与现有技术相比,本发明的有益效果是:
本发明采用规格化和像素化的近红外光谱,采集方便,不需要校准光谱,因此节省了采集难度和时间,而且只需要一台近红外采集设备即可实现;而且直接使用1301-2500nm波长的光谱,简单可靠;而且利用卷积网络的深度学习方法识别近红外光谱,将其应用于纺织品成分含量的确定为纺织面料成分含量的检测提供了一种新的思维,是一种环保、快速的检测方法,符合现代纺织品检测的要求;
本发明利用卷积核训练自动获得网络模型的权值和偏置值,能够通过学习自动提取光谱特征,适应能力强;利用卷积网络进行分类,有效解决了棉、涤等常见几类纺织品的自动分类问题,并且利用全连接网络和softmax分类器一步产生独热(one hot)分类值,有效提高了纺织品成分的检测水平和速度。
附图说明
图1-1是纯涤斜线样本的原始近红外光谱;
图1-2是纯涤正常样本的原始近红外光谱;
图1-3是纯毛样本的原始近红外光谱;
图1-4是纯棉样本的原始近红外光谱;
图1-5是涤锦样本的原始近红外光谱;
图1-6是涤毛样本的原始近红外光谱;
图1-7是涤棉斜线样本的原始近红外光谱;
图1-8是涤棉正常样本的原始近红外光谱;
图1-9是锦纶样本的原始近红外光谱;
图2是定性分类预测模型;
图3-1是纯涤斜线样本的规格化的光谱;
图3-2是纯涤正常样本的规格化的光谱;
图3-3是纯毛样本的规格化的光谱;
图3-4是纯棉样本的规格化的光谱;
图3-5是涤锦样本的规格化的光谱;
图3-6是涤毛样本的规格化的光谱;
图3-7是涤棉斜线样本的规格化的光谱;
图3-8是涤棉正常样本的规格化的光谱;
图3-9是锦纶样本的规格化的光谱;
图4是像化处理后的光谱;
图5是Tr-Net结构;
图6-1是损失值在训练过程中的变化;
图6-2是精度在训练过程中的变化;
图7本发明方法的步骤框图。
具体实施方式
下面结合附图对本发明作进一步详细描述:
为实现面料自动分拣的成分识别,本发明提出以近红外光谱作为分析基础,利用深度学习的理论和方法实现纺织品的定性分类。首先经过波形裁剪和规格化建立标准样本集,建立适用于近红外光谱的Tr-Net深度网络,增加像化层以利于特征深度学习,利用多层的卷积层和池化层提取光谱的多维特征,最后使用Softmax分类器进行定性分类。
近年来,以深度学习理论为代表的计算机视觉技术取得了突破性的发展,基于图像特征的图像分类与识别已取得了很大进展。本发明以卷积神经网络(ConvolutionalNeuron Networks,CNNs)(可参考文献“Krizhevsky A,Sutskever I,Hinton G E.ImageNetclassification with deep convolutional neural networks[C]//InternationalConference on Neural Information Processing Systems.Curran AssociatesInc.2012:1097-1105”)为基础,提出一种利用面料的近红外光谱特征自动识别面料成分的定性分析方法,该方法以纺织品(或者废旧纺织品)和部分厂家面料样品为研究对象,将获取的光谱进行整理后,通过规格化和波形像化处理,把问题转化为图像的分类问题。利用卷积神经网络模型将整体与局部特征进行融合训练获取分类网络,最后利用softmax分类器进行面料成分的定性分类。
本发明方法的步骤如下:
1.纺织品样本收集
1.1试验方法
近红外光谱是介于可见光和中红外之间的电磁辐射波,美国材料检测协会(ASTM)将近红外光谱区定义为780-2526nm的区域,通过扫描样品的近红外光谱,可以得到样品中有机分子含氢基团的特征信息(可参考文献“王京力,耿响,桂家祥,等.近红外光谱分析技术快速检测锦纶/氨纶混纺织物纤维含量的研究[J].化纤与纺织技术,2013,42(2):42-47”)。
实验采用聚光科技(杭州)股份有限公司的SupNIR-1550光栅扫描型光纤光谱仪,波长范围1000~2500nm,采样光斑大于30mm,信噪比30000∶1,用该仪器测得纺织品的光谱图。
为达到试验条件的一致性,便于试验操作,实验室温度为10~30℃,相对湿度30%~70%。样品是成品面料的残片,形状近似圆形或者矩形,面积不小于400平方厘米。采集样品光谱时,以不透光的白色聚四氟乙烯板作为参比底座,将样品平整摊放在底座上,光谱采集时保证样品的厚度(保证厚度在2mm以上。一般500克/米的面料厚度在1mm左右,需要折2层,300克/米的面料厚度为0.6mm左右,需要折4层)和不透光,同时利用光谱仪自身的重量对样品施加一定的压力。
1.2标准光谱样本库
选用已知分类且未经加工的新或者废旧面料样品和厂家提供的面料样品,每个试样测10个(本实施例中N取10,可以根据实际需要确定N的数值)不同的地方,取10次谱图的平均谱图(光谱波长范围是1000-2500nm,在每个波长数点处将对应该波长数点的10个吸光度的值取平均值即得到平均谱图。)为各类样品的谱图,并将其作为定性分类预测模型的标准谱图库,共计263款。每件样品都具有确定的分类标签(在本实施例中是1-9)。这263款样品分别属于纯涤斜线、纯涤正常、纯毛、纯棉、涤锦、涤毛、涤棉斜线、涤棉、锦纶,共9类(本实施例中M的取值是9,实际使用本发明时,可以多于或少于9类,根据实际需要确定M的取值。)。样本类别分布如表1所示:
表1
1.3样品分析
采集的原始光谱波长范围是1000-2500nm的长波近红外光谱区域,图1-1到图1-9所示为263个纺织样品的原始光谱图。可以看到,不同品类的面料其光谱具有明显的差异性,对于特征的提取是有利的。在不同的波长处,不同的面料具有不同的吸光度,而且同样一个品类,因为成分含量不同(比如棉的含量从20%-80%,还有参杂少量的其它添加剂)、操作不同(设备型号不同、采集时间的长短(一般采集7-8秒)),其波长也会有漂移和误差,在对光谱进行特征提取和模型建立时应充分考虑到。
样品光谱图采集完后对其进行检查,如发现有异常光谱便剔除(通过人工观察,和已有的标准样本进行对比,10次平均之后波形差异还是很大的,进行剔除,或者仔细考虑其成分是否是新的类别),以免对机器的学习造成干扰,清洗(即剔除异常光谱)之后的样本数据即可构建建模样品集。图1-1到图1-9中的样本光谱中,同一类的波形虽然有一些样本也有很大的差别,但整体特征与其它同品类的波形具有共性,所以不算是异常光谱。
2.模型的建立
2.1定性分类预测模型的建立
根据机器学习的普遍规律和实验方式,确立定性分类预测模型包含如下几个步骤,如图2所示:
样本波形及标签集:上面得到的263款样本的光谱图和其对应的标签;
样本集规格化:包括:
数据精度规范:保留小数点后6位;
波形范围选择:波形裁剪,保留1301-2500nm;
归一化处理:将吸光度统一到0到1区间内。
训练样本、验证样本:将规格化后的样本中的70%用于Tr-Net网络训练,得到权值和偏置值,30%用于测试Tr-net网络的效果。分配是按类随机的,即将9种类别中的每一个类别按7:3的比例进行划分,这样就能保证每一类别的样本都有用于训练和用于验证的样本。
将训练样本输入到卷积网络中进行训练;将验证样本输入定性分类预测模型进行验证;从卷积网络训练结果、模型验证结果获得定性分类预测模型,即Tr-Net网络结构;将待测纺织品的处理后的近红外光谱输入到定性分类预测模型中,定性分类预测模型输出该待测纺织品的分类。
2.2波形范围选择
光谱除含有样品自身的化学信息外,还包含有其他无关信息和噪声,如电噪声、样品背景和杂散光等。因此,在用深度学习的方法建立模型时,消除与光谱数据无关信息和噪声的预处理方法变得十分关键和必要。本试验光谱预处理方法选择:1301-2500nm波长范围的数据,即在利用本发明时,只选择该范围内的数据,其它数据都舍弃。该波长范围是通过多次试验确定的,在试验中观测波形的特性,前面的1000-1300nm的各种类别的波形都具有比较杂乱的特性,会影响到后面分类训练的效果,因此选择1301-2500nm波长范围的数据。
2.3归一化处理
由图1可以看到,每一类别的面料的近红外光谱虽然波形相似,但是其波形的范围是不同。为了在训练模型的时候尽量减小与特征无关的信息干扰,有必要对波形进行归一化处理。为了将同一维度的数据归一化,可以通过求取最大值和最小值来确定数据比例,如式(1):
x'=(x-xmin)/(xmax-xmin)(1)
其中,x是吸光度的原始值,xmin是波形中的吸光度的最小值,xmax是波形中的吸光度的最大值,x’是归一化后的吸光度。
对每个光谱的数据利用公式(1)进行计算得到的即为归一化后的数据,样本的光谱归一化为(0,1)之间后的波形如图3-1到图3-9所示。
2.3波形像化处理
卷积网络是以像素图像为基础输入单位的前馈型神经网络,采用模拟人类识别物体的分层方式。与传统的人工神经网络不同,卷积网络使用卷积核进行特征提取,利用softmax进行特征分类,其中网络参数(权值和偏置值)都是通过样本学习得到,实现“一站式”的深度学习,对权值和偏置值进行自动更新,新的值=上次的值+更新量,不需要对样本进行过多的人工干预。卷积神经网络用于图像的处理尤为合适,为此,波形像化处理主要目的是将1维的波形转化为2维的图像,便于后续卷积网络的处理。像化的方法是将1200维(1301-2500有1200个nm的点,对应1200维)的波形数据(即归一化后的吸光度)每隔30个点“换行”,重新排列为新的行向量。这样1200维的波形数据可以换行生成40个30维的行向量,再将40个行向量排列成40*30的矩阵,这样,波形被转化为40像素×30像素的灰度图像,如图4所示。可以将这个矩阵看作1个通道的图像数据,即称为波形像化处理。
2.4卷积网络设计
卷积网络从全连接网络演化而来,受生物学中接受视觉信息的局部接收野启发,采用算法对全连接网络中的信息进行选择传递,构成了卷积网络。卷积网络的运算一般分为以下几个步骤:
卷积层:通过卷积核提取波形像素特征;
池化层:下采样层的选用;
通过训练样本集进行训练;
使用训练所得网络对验证样本集进行分类预测并记录结果。
2.4.1卷积网络输入层及处理
鉴于波形数据的限制,经过像化层(现有的卷积网络中没有像化层,因为现有的网络输入的就是要求2维的图像数据,而本发明是将1维波形转化为2维图像后才继续处理)后,波形被转化为40像素×30像素的灰度图像。这样,一个输入计算单元的计算数据量为40像素×30像素×1通道数。即1200Byte。
在输入处理中,波形图像以一个二维矩阵形式输入到网络中,所选用的激活函数是简单非线性的ReLU函数。ReLU激活函数的公式如下:
在使用的卷积网络中每层使用了32到64不等数量的滤波矩阵,对同一副波形图像进行特征提取。每个滤波矩阵称为卷积核,n*n大小的卷积核扫描波形图像,每次对图像中n*n的区域进行卷积处理,卷积结果再通过ReLU激活函数得到输出。
y=R(wx)(3)
其中,w是卷积核的n*n的行向量值,是待训练的权值。w是图像中n*n区域的列向量值,y是卷积结果。这样处理也能够把不同的卷积核所输出的内容理解为波形经不同滤波之后获取的局部极大值特征,即峰值。卷积的运算结果也就是特征提取所得的矩阵为特征映射(feature map),所以可使用较为深层的网络分层次提取波形图像的不同层次的特征,为网络最后的分类节点提供数据基础及支持。
在使用的卷积网络中每层使用了32到64不等数量的滤波矩阵(即卷积核,矩阵的数量是根据实验来确定的,以能够提取到清晰的特征为目标),对同一幅波形图像进行特征提取,得到图像的局部的特征。这样处理也能够把不同的滤波矩阵所输出的内容理解为波形经不同滤波之后获取的局部极大值特征,即峰值。卷积的运算结果也就是特征提取所得的矩阵为特征映射(feature map),所以可使用较为深层的网络分层次提取波形图像的不同层次的特征,为网络最后的分类节点提供数据基础及支持。
2.4.2池化层的选用
利用卷积层提取了波形图像特征,接下来所要进行的工作是使用这些特征值进行分类,常用的池化层有2种算法,分别是最大值池化(max-pooling)和均值池化(mean-pooling)。其中max-pooling是取得下采样过滤矩阵范围内的最大特征值,常用于获取纹理细节特征;而mean-pooling是以下采样过滤矩阵范围内的特征矩阵的均值为特征值组成新的特征矩阵,常用于获取图像的整体特征。纺织品近红外光谱的局部极大值代表了波形的峰值特征,所以,针对本实验中的特征抽取,宜于采用最大值操作,获取波形的局部极大值特征,因此使用本发明方法时,池化层均采用最大值池化。
2.4.3损失函数
在训练过程中,卷积网络的softmax输出是分类的结果,根据预定的9个类别,采用独热编码(One hot)就是需要利用一个9维向量的输出给出每个类别的识别概率。选择概率值最大的维度为1,其余维度为0来确定分类的结果。那么任何一个softmax节点的激励函数为:
其中i就是节点的序号,zi=wix+bi是softmax线性分类模型的输出。作为最后一层的输出,9个节点就是9种面料类别的判断,卷积网络实用交叉熵来作为δ激励函数的损失函数:
其中:N为样本数;M为类别数,在此类别数为9;yij表示当第i个样本为j类时为1,否则为0;pij表示第i个样本被预测为j类的概率。Ls即为损失值Loss。
2.4.4Tr-Net网络结构
卷积神经网络的主要思想是不同的过滤器可获取不同层次的样本特征,如纹理、边缘等。同时,由于样本数量有限,且样本的主要特征区别在于纹理及边缘等内容,所以以卷积网络理论为基础,图5所示为经过计算而设定的定性分类预测模型,即TextileRecycling Net(Tr-Net)结构。
输入x是经过波形修整和规格化后的1*1200维向量,p为one hot输出。Tr-Net网络的第一层是像化层,将x向量转化为适于卷积网络处理的黑白图像数据,根据实验,确定40*30的尺寸。接下来是第一层的卷积层,采用尺寸为5*5,1通道的卷积核,卷积核的数量是32,该层的输出为40*30*32。接下来使用2*2的最大化池化层,输出的向量为20*15*32。
第二层卷积层的形式和第一层大致相同,只是卷积核的数量为64,这一层卷积会提取64种特征,输出的向量为20*15*64。接下来同样是2*2的最大池化层,输出结果为10*8*64。
在获取到一个维度是64的特征向量之后,再将特征向量传入全连接的神经网络层(即全连接层)。隐含节点为1024个。神经元使用ReLU作为激活函数。输出1024个节点。因为采集到的纺织品近红外光谱数量较少,为了防止过拟合,在输出层之前增加了Dropout层(即在图5中的全连接层和softmax层之间增加Dropout层,该层随机地让神经网络中的一些神经元不起作用,这样起到抑制过拟合的作用),同样输出1024个节点。
最后的判定是输出层,使用softmax层,得到9个节点的one hot概率输出,即一个9维向量,该向量中的每一维代表一个类别的识别概率,比如某个输出可能是[0.68 0.010.05 0.06 0.06 0.10 0.01 0.01 0.02],Softmax层的输出直接把大于0.5的识别概率的置为1,其余的设为0,该纺织品的类别的独热(one hot)输出值是[1 0 0 0 0 0 0 0 0],即第一类别。如果没有任何一维的识别概率的值大于0.5,则认为分类失败,不是已知类别的纺织品样品。实际使用时,可以根据需要设置Softmax层。
网络中的特征矩阵均由基本像素点的灰度值构成,同时基于小样本,简单纹理等原因,本发明只使用了2次卷积层提取特征。针对每个卷积层后都紧跟1个下采样层(即图5中的池化层)对卷积提取的特征映射进行降维。下采样层均为最大值下采样即max-pooling,这样做能够针对波形的峰值进行特征提取。图5中最后2个全连接层(包括图5中的全连接层和softmax层)是为9种成分分类计算。
实际使用时,可以先训练好定性分类预测模型,然后用这个定性分类预测模型对待测纺织品进行分类。如果已知类别的样品和未知类别的样品是混合的,也可以在进行分类的同时不断地完善定性分类预测模型,其步骤如图7所示,包括:
(1)采集纺织品样本的近红外光谱;
(2)对步骤(1)采集到的近红外光谱进行处理得到处理后的近红外光谱;
(3)判断该纺织品样本的分类是否已知,如果是,则转入步骤(4),如果否,则转入步骤(5);
(4)将该纺织品样本的处理后的近红外光谱及其分类标签加入到标准光谱样本库中,训练Tr-Net模型,更新Tr-Net模型,然后转入步骤(6);
(5)将该纺织品样本加入待检纺织品集,使用Tr-Net模型进行分类,得到该纺织品样本的类别,然后转入步骤(6);
(6)结束。
实验中采用准确率A为主要指标对网络鉴别效果进行判别。同时考虑到函数的收敛性,也选取损失函数Ls作为参考评价指标。其原因是损失值经过不断梯度计算迭代而变小时,所得的网络收敛到局部极值,效果最好。
样本总量为263张,实验中每轮次从数据集中随机选择不同数量和比例的纤维图像作为训练集和测试集,当使用训练测试集合比为7∶3时得到最优分类准确率。训练和测试均为500轮次,选取其中效果最优的网络(当损失函数的损失值(即通过公式(4)得到的Ls值)稳定即达到最小的时候,Tr-Net网络中的各项权值和偏置值(包括卷积核和全连接网络)属于最优的状态。)为定性分类预测模型,采用该定性分类预测模型进行预测。
图6-1表示的是训练过程中Loss值(即通过公式(5)得到的Ls值)的变化情况。可以看到400步以后Loss的变化就变得很稳定了。图6-2表示的精度在训练过程中的变化。图6-1和图6-2中的浅色是实际值,深色是进行了0.6平滑处理后的值,经过平滑处理后更能够看出变化的趋势。
训练完500步之后,损失值Loss为0.02,得到的验证样本分类准确率达到了96.2025%。表2是Tr-Net网络与传统方法的实验数据,实验中采用了多类支持向量机(SVMs)、多层感知机(MLP)进行对比实验。不同结构网络的分类效果如表2所示:
表2
其中的评判指标召回率R和精确率P的定义为:
R=TP/(TP+FN)
P=TP/(TP+FP) (6)
召回率表示的是面料样本中的近红外波形被正确预测的程度。正类预测为正类(正确预测)的数量用TP表示,把原来的正类预测为负类的数量用FN表示。精确度是针对面料分类的预测结果而言的,表示正确预测样本的程度。把正类预测为正类(正确预测)的数量用TP表示,把负类预测为正类的数量用FP表示。
与传统计算机图像处理识别方法相比较,该方法在训练阶段速度在可接受范围内,且获得最优网络值后检测速度更快。该方法使用的图像样本获取方便、廉价、方法应用性价比高,更容易推广应用。
本发明基于近红外光谱的采集,借助机器学习中的卷积神经网络可以自动地进行特征提取及特征描述,将波形的识别问题转化为图像分类问题。通过改进的Tr-Net提取光谱的表面特征,采用Softmax分类器分类图像,能够鉴别9种纺织品的定性成分。实验结果表明,该方法的实用简单,适用范围广,鉴别速度快,识别率更高,能够进一步研究,开展定量的成分分析。
本申请利用卷积核对光谱图像进行特征抽取,初始卷积核的权值是随机的,训练过程中随着损失值的降低,卷积核的权值自动趋向于有利于最大特征抽取的值。最后softmax层也已经被证明对于特征分类具有良好的特性。
上述技术方案只是本发明的一种实施方式,对于本领域内的技术人员而言,在本发明公开了应用方法和原理的基础上,很容易做出各种类型的改进或变形,而不仅限于本发明上述具体实施方式所描述的方法,因此前面描述的方式只是优选的,而并不具有限制性的意义。
Claims (9)
1.一种纺织品定性分类方法,其特征在于:所述纺织品定性分类方法包括:
(1)利用卷积网络建立定性分类预测模型;
(2)采集待检纺织品样本的近红外光谱,对采集到的近红外光谱进行处理得到处理后的近红外光谱;
(3)将所述处理后的近红外光谱输入到定性分类预测模型中,所述定性分类预测模型输出该待检纺织品样本的类别。
2.根据权利要求1所述的纺织品定性分类方法,其特征在于:所述步骤(1)的操作包括:
(11),利用类别已知的纺织品样本建立标准光谱样本库,然后将标准光谱样本库中的纺织品样本分为训练样本和验证样本;
(12),设置初始的定性分类预测模型;
(13),通过训练样本对初始的定性分类预测模型进行训练得到训练后的定性分类预测模型,使用训练后的定性分类预测模型对验证样本进行预测得到验证样本的分类结果,计算训练后的定性分类预测模型的损失值,并判断损失值是否达到最小值,如果是,则此时的训练后的定性分类预测模型为最优定性分类预测模型,转入步骤(14),如果否,则自动更新定性分类预测模型中的权值和偏置值,将当前定性分类预测模型作为初始的定性分类预测模型,然后返回步骤(13);
(14),将最优定性分类预测模型作为定性分类预测模型。
3.根据权利要求2所述的纺织品定性分类方法,其特征在于:所述步骤(11)中的利用类别已知的纺织品样本建立标准光谱样本库的操作包括:
A1,采集类别已知的纺织品样本的近红外光谱,对采集到的近红外光谱进行处理得到处理后的近红外光谱;
A2,将每个已知类别中的各个纺织品样本的处理后的近红外光谱与其类别的分类标签存储在标准光谱样本库中。
4.根据权利要求3所述的纺织品定性分类方法,其特征在于:所述步骤(11)中的将标准光谱样本库中的纺织品样本分为训练样本和验证样本的操作包括:
将标准光谱样本库中的每一个分类中的纺织品样本均随机地按照7:3的比例进行划分,将其中70%的纺织品样本作为训练样本,将剩余的30%的纺织品样本作为验证样本。
5.根据权利要求1所述的纺织品定性分类方法,其特征在于:所述定性分类预测模型包括:
输入层:将处理后的近红外光谱输入到像化层;
像化层:将处理后的近红外光谱转化为40像素×30像素的灰度图像,即40像素×30像素的二维矩阵,然后将该二维矩阵输入到40×30卷积层;
40×30卷积层:通过32个尺寸为5*5的卷积核提取32种像素特征,得到40*30*32的输出向量,将该输出向量输入到20×15池化层;
20×15池化层:使用2*2的最大化池化层对40*30*32的输出向量进行处理,得到20*15*32的输出向量,将该输出向量输入到20×15卷积层;
20×15卷积层:通过64个尺寸为5*5的卷积核提取64种像素特征,得到20*15*64的输出向量,将该输出向量输入到10×8池化层;
10×8池化层:使用2*2的最大池化层对20*15*64的输出向量进行处理,得到10*8*64的输出向量,将该输出向量输入到全连接层;
全连接层:对10*8*64的输出向量进行处理,得到1024个节点并将1024个节点输入到Softmax层;
Softmax层:对1024个节点进行处理得到待检纺织品的类别。
6.根据权利要求5所述的纺织品定性分类方法,其特征在于:所述Softmax层根据预定的M个类别,采用独热编码将全连接层发送来的1024个节点处理成一个M维向量,该M维向量的每一维代表一个类别的识别概率,将M维向量中大于0.5的识别概率置为1,其余的识别概率置为0,被置为1的识别概率对应的类别即为待检纺织品的类别;
如果M维向量中的所有识别概率均不大于0.5,则判定待检纺织品的类别不是已知类别。
7.根据权利要求5或6所述的纺织品定性分类方法,其特征在于:在所述全连接层与Softmax层之间还设置有Dropout层;全连接层得到的1024个节点经过Dropout层后仍然是1024个节点,将该1024个节点输入到Softmax层。
8.根据权利要求3所述的纺织品定性分类方法,其特征在于:所述步骤(2)中的采集待检纺织品样本的近红外光谱、所述步骤A1中的采集类别已知的纺织品样本的近红外光谱的操作均包括:
在纺织品样本上采集N个不同位置处的近红外光谱,然后取N个近红外光谱的平均值作为该纺织品样本的近红外光谱;
采集过程中的温度为10℃~30℃,相对湿度为30%~70%;
纺织品样本的面积不小于400平方厘米;
纺织品样本的厚度在2mm以上。
9.根据权利要求3所述的纺织品定性分类方法,其特征在于:所述步骤(2)中、所述步骤A1中的对采集到的近红外光谱进行处理得到处理后的近红外光谱包括:
对采集到的近红外光谱进行精度规范、波形裁剪和归一化处理;
其中,所述精度规范是将采集到的近红外光谱的数据保留到小数点后6位;
所述波形裁剪是将近红外光谱中的1301-2500nm内的光谱保留下来,其它光谱删除;
所述归一化处理是将1301-2500nm内的光谱的吸光度统一到0到1的区间内,得到1*1200维向量,即为处理后的近红外光谱。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810766877X | 2018-07-13 | ||
CN201810766877 | 2018-07-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110717368A true CN110717368A (zh) | 2020-01-21 |
Family
ID=69208736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810810843.6A Pending CN110717368A (zh) | 2018-07-13 | 2018-07-23 | 一种纺织品定性分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110717368A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111398214A (zh) * | 2020-04-30 | 2020-07-10 | 南京佳和牙科技术有限公司 | 基于机器视觉与近红外光谱相结合的齿科产品材质识别方法 |
CN111739001A (zh) * | 2020-06-17 | 2020-10-02 | 东华大学 | 一种基于可变形卷积的产品表面缺陷检测模型和检测方法 |
CN111767959A (zh) * | 2020-06-30 | 2020-10-13 | 创新奇智(广州)科技有限公司 | 毛绒纤维分类方法及装置 |
CN111797930A (zh) * | 2020-07-07 | 2020-10-20 | 四川长虹电器股份有限公司 | 一种基于孪生网络的织物材质近红外光谱识别及鉴定方法 |
CN112613536A (zh) * | 2020-12-08 | 2021-04-06 | 燕山大学 | 一种基于smote和深度学习的近红外光谱柴油牌号识别方法 |
CN112861907A (zh) * | 2020-12-31 | 2021-05-28 | 福建融韵通生态科技有限公司 | 白茶产地溯源方法 |
CN113313059A (zh) * | 2021-06-16 | 2021-08-27 | 燕山大学 | 一种一维光谱分类方法及系统 |
CN113378971A (zh) * | 2021-06-28 | 2021-09-10 | 燕山大学 | 近红外光谱的分类模型训练方法、系统及分类方法、系统 |
CN113820291A (zh) * | 2021-08-27 | 2021-12-21 | 中山小池科技有限公司 | 基于多阶段卷积神经网络的纺织品无损环保定性方法 |
US20220020191A1 (en) * | 2020-07-15 | 2022-01-20 | Acer Incorporated | Method and computer program product for image style transfer |
CN113960152A (zh) * | 2021-10-18 | 2022-01-21 | 北方工业大学 | 一种基于离子迁移谱的痕量爆炸物识别方法及系统 |
CN114062305A (zh) * | 2021-10-15 | 2022-02-18 | 中国科学院合肥物质科学研究院 | 基于近红外光谱和1D-In-Resnet网络的单籽粒品种鉴定方法及系统 |
CN114112984A (zh) * | 2021-10-25 | 2022-03-01 | 上海布眼人工智能科技有限公司 | 一种基于自注意力的织物纤维成分定性方法 |
CN114414523A (zh) * | 2021-10-25 | 2022-04-29 | 上海布眼人工智能科技有限公司 | 一种基于自动波段选择的纺织纤维成分定性方法 |
CN115240014A (zh) * | 2022-09-21 | 2022-10-25 | 山东大学齐鲁医院 | 基于残差神经网络的医学图像分类系统 |
CN115984282A (zh) * | 2023-03-21 | 2023-04-18 | 菲特(天津)检测技术有限公司 | 一种氨纶产品检测方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19920592A1 (de) * | 1999-05-04 | 2000-11-09 | Cetex Chemnitzer Textilmaschin | Verfahren und Vorrichtung zur automatischen Erkennung von textilen Faserstoffen |
CN105300917A (zh) * | 2015-10-14 | 2016-02-03 | 中国丝绸博物馆 | 一种基于红外光谱无损无压力鉴别纺织品文物材质的方法 |
CN106097355A (zh) * | 2016-06-14 | 2016-11-09 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
CN106845381A (zh) * | 2017-01-16 | 2017-06-13 | 西北工业大学 | 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法 |
CN107316013A (zh) * | 2017-06-14 | 2017-11-03 | 西安电子科技大学 | 基于nsct变换和dcnn的高光谱图像分类方法 |
CN107316295A (zh) * | 2017-07-02 | 2017-11-03 | 苏州大学 | 一种基于深度神经网络的织物瑕疵检测方法 |
CN107478598A (zh) * | 2017-09-01 | 2017-12-15 | 广东省智能制造研究所 | 一种基于一维卷积神经网络的近红外光谱分析方法 |
CN107545281A (zh) * | 2017-09-29 | 2018-01-05 | 浙江工商大学 | 一种基于深度学习的单一有害气体红外图像分类识别方法 |
-
2018
- 2018-07-23 CN CN201810810843.6A patent/CN110717368A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19920592A1 (de) * | 1999-05-04 | 2000-11-09 | Cetex Chemnitzer Textilmaschin | Verfahren und Vorrichtung zur automatischen Erkennung von textilen Faserstoffen |
CN105300917A (zh) * | 2015-10-14 | 2016-02-03 | 中国丝绸博物馆 | 一种基于红外光谱无损无压力鉴别纺织品文物材质的方法 |
CN106097355A (zh) * | 2016-06-14 | 2016-11-09 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
CN106845381A (zh) * | 2017-01-16 | 2017-06-13 | 西北工业大学 | 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法 |
CN107316013A (zh) * | 2017-06-14 | 2017-11-03 | 西安电子科技大学 | 基于nsct变换和dcnn的高光谱图像分类方法 |
CN107316295A (zh) * | 2017-07-02 | 2017-11-03 | 苏州大学 | 一种基于深度神经网络的织物瑕疵检测方法 |
CN107478598A (zh) * | 2017-09-01 | 2017-12-15 | 广东省智能制造研究所 | 一种基于一维卷积神经网络的近红外光谱分析方法 |
CN107545281A (zh) * | 2017-09-29 | 2018-01-05 | 浙江工商大学 | 一种基于深度学习的单一有害气体红外图像分类识别方法 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111398214A (zh) * | 2020-04-30 | 2020-07-10 | 南京佳和牙科技术有限公司 | 基于机器视觉与近红外光谱相结合的齿科产品材质识别方法 |
CN111739001A (zh) * | 2020-06-17 | 2020-10-02 | 东华大学 | 一种基于可变形卷积的产品表面缺陷检测模型和检测方法 |
CN111767959A (zh) * | 2020-06-30 | 2020-10-13 | 创新奇智(广州)科技有限公司 | 毛绒纤维分类方法及装置 |
CN111767959B (zh) * | 2020-06-30 | 2023-10-31 | 创新奇智(广州)科技有限公司 | 毛绒纤维分类方法及装置 |
CN111797930B (zh) * | 2020-07-07 | 2021-12-17 | 四川长虹电器股份有限公司 | 一种基于孪生网络的织物材质近红外光谱识别及鉴定方法 |
CN111797930A (zh) * | 2020-07-07 | 2020-10-20 | 四川长虹电器股份有限公司 | 一种基于孪生网络的织物材质近红外光谱识别及鉴定方法 |
US20220020191A1 (en) * | 2020-07-15 | 2022-01-20 | Acer Incorporated | Method and computer program product for image style transfer |
CN112613536A (zh) * | 2020-12-08 | 2021-04-06 | 燕山大学 | 一种基于smote和深度学习的近红外光谱柴油牌号识别方法 |
CN112861907A (zh) * | 2020-12-31 | 2021-05-28 | 福建融韵通生态科技有限公司 | 白茶产地溯源方法 |
CN113313059A (zh) * | 2021-06-16 | 2021-08-27 | 燕山大学 | 一种一维光谱分类方法及系统 |
CN113313059B (zh) * | 2021-06-16 | 2022-10-04 | 燕山大学 | 一种一维光谱分类方法及系统 |
CN113378971A (zh) * | 2021-06-28 | 2021-09-10 | 燕山大学 | 近红外光谱的分类模型训练方法、系统及分类方法、系统 |
CN113378971B (zh) * | 2021-06-28 | 2024-05-28 | 燕山大学 | 近红外光谱的分类模型训练方法、系统及分类方法、系统 |
CN113820291A (zh) * | 2021-08-27 | 2021-12-21 | 中山小池科技有限公司 | 基于多阶段卷积神经网络的纺织品无损环保定性方法 |
CN114062305A (zh) * | 2021-10-15 | 2022-02-18 | 中国科学院合肥物质科学研究院 | 基于近红外光谱和1D-In-Resnet网络的单籽粒品种鉴定方法及系统 |
CN114062305B (zh) * | 2021-10-15 | 2024-01-26 | 中国科学院合肥物质科学研究院 | 基于近红外光谱和1D-In-Resnet网络的单籽粒品种鉴定方法及系统 |
CN113960152A (zh) * | 2021-10-18 | 2022-01-21 | 北方工业大学 | 一种基于离子迁移谱的痕量爆炸物识别方法及系统 |
CN114112984B (zh) * | 2021-10-25 | 2022-09-20 | 上海布眼人工智能科技有限公司 | 一种基于自注意力的织物纤维成分定性方法 |
CN114414523A (zh) * | 2021-10-25 | 2022-04-29 | 上海布眼人工智能科技有限公司 | 一种基于自动波段选择的纺织纤维成分定性方法 |
CN114112984A (zh) * | 2021-10-25 | 2022-03-01 | 上海布眼人工智能科技有限公司 | 一种基于自注意力的织物纤维成分定性方法 |
CN115240014A (zh) * | 2022-09-21 | 2022-10-25 | 山东大学齐鲁医院 | 基于残差神经网络的医学图像分类系统 |
CN115984282A (zh) * | 2023-03-21 | 2023-04-18 | 菲特(天津)检测技术有限公司 | 一种氨纶产品检测方法、装置、设备及存储介质 |
CN115984282B (zh) * | 2023-03-21 | 2023-06-16 | 菲特(天津)检测技术有限公司 | 一种氨纶产品检测方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110717368A (zh) | 一种纺织品定性分类方法 | |
Fan et al. | Automatic pavement crack detection based on structured prediction with the convolutional neural network | |
CN109142317B (zh) | 一种基于随机森林模型的拉曼光谱物质识别方法 | |
Kumar et al. | N-CNN based transfer learning method for classification of powdery mildew wheat disease | |
CN106295124B (zh) | 多种图像检测技术综合分析基因子图相似概率量的方法 | |
Lu et al. | Classification of Camellia (Theaceae) species using leaf architecture variations and pattern recognition techniques | |
CN103034838B (zh) | 一种基于图像特征的特种车辆仪表类型识别与标定方法 | |
CN109858477A (zh) | 用深度森林在复杂环境中识别目标物的拉曼光谱分析方法 | |
CN112712108B (zh) | 一种拉曼光谱多元数据分析方法 | |
CN108802002B (zh) | 一种快速无损鉴别解除滞育的蚕卵拉曼光谱模型构建方法 | |
CN108827909B (zh) | 基于可见近红外光谱与多目标融合的土壤快速分类方法 | |
CN104502299A (zh) | 一种利用近红外光谱技术鉴别五常稻花香大米的方法 | |
CN107679569A (zh) | 基于自适应超图算法的拉曼光谱物质自动识别方法 | |
Cai et al. | Rapid identification of ore minerals using multi-scale dilated convolutional attention network associated with portable Raman spectroscopy | |
Zhou et al. | Identification of the variety of maize seeds based on hyperspectral images coupled with convolutional neural networks and subregional voting | |
CN115905881B (zh) | 黄珍珠分类的方法以及装置、电子设备、存储介质 | |
CN116930042B (zh) | 建筑防水材料性能检测设备及方法 | |
CN103278467A (zh) | 一种植物叶片氮素丰缺快速无损高准确率的鉴别方法 | |
Moganam et al. | Perceptron Neural Network Based Machine Learning Approaches for Leather Defect Detection and Classification. | |
Chen et al. | Identification of various food residuals on denim based on hyperspectral imaging system and combination optimal strategy | |
CN113408616B (zh) | 基于pca-uve-elm的光谱分类方法 | |
Du et al. | Application of near-infrared spectroscopy and CNN-TCN for the identification of foreign fibers in cotton layers | |
CN114112984A (zh) | 一种基于自注意力的织物纤维成分定性方法 | |
CN108663334A (zh) | 基于多分类器融合寻找土壤养分光谱特征波长的方法 | |
CN116399848A (zh) | 一种基于深度学习的拉曼光谱大米检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200121 |