CN113159202B - 图像分类方法、装置、电子设备及存储介质 - Google Patents
图像分类方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113159202B CN113159202B CN202110465701.2A CN202110465701A CN113159202B CN 113159202 B CN113159202 B CN 113159202B CN 202110465701 A CN202110465701 A CN 202110465701A CN 113159202 B CN113159202 B CN 113159202B
- Authority
- CN
- China
- Prior art keywords
- image
- image classification
- mixed
- network
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 92
- 238000012512 characterization method Methods 0.000 claims abstract description 53
- 238000002372 labelling Methods 0.000 claims abstract description 45
- 238000002156 mixing Methods 0.000 claims abstract description 44
- 230000006870 function Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能技术，揭露了一种图像分类方法，包括：获取原始图像集，其中，所述原始图像集中包括有标注图像集及无标注图像集，对无标注图像集中的图像进行标注猜测，得到标注猜测图像集，汇总标注猜测图像集及有标注图像集，得到图像训练集，在预设的图像分类网络中构建表征混合层，得到混合图像分类网络，利用图像训练集对所述混合图像分类网络进行训练，得到标准图像分类网络，利用标准图像分类网络对待分类图像进行分类，得到图像分类结果，此外，本发明还涉及区块链技术，所述图像分类结果可存储在区块链的节点中。本发明还提出一种图像分类装置、电子设备以及计算机可读存储介质。本发明可以解决图像分类准确性较低的问题。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种图像分类方法、装置、电子设备及计算机可读存储介质。
背景技术
深度学习时代到来后，图像分类领域出现了一系列的突破，然而，这种突破是建立在有着大规模有标注数据集的基础上的。而大规模有标注数据集，则是一种奢侈。在类如医学图像领域，图像标注往往要花费领域专家的大量时间。专家间的认知差异也会导致标注出现噪声，而为了消除这种噪声则需要更多的专家进行盲标注。
使用半监督学习方法可以减少标注负担。半监督方法可以运用大量无标注的数据和少量有标注数据来加强模型的性能。但是，半监督学习中一个重要的目标是要避免网络在小规模的有标注数据上出现过拟合。而实现这一目标的一个常用的必要假设则是网络拟合的函数的平滑性和一致性，即流形中相近的点应预测出相同的标注。举例来说，self-ensembling对在有局部扰动的无标注数据上出现不一致的预测进行惩罚，而对抗学习通过强制对不同的有着对抗性扰动的输入的预测相同来维持一致性。但是这些方法只考虑到了围绕单个数据点的扰动，即只对单数据点局部的平滑性做出了规范，并没有考虑到对不同数据点间的网络的全局平滑性和一致性进行约束，使得网络性能较低，导致图像分类准确性较低。
发明内容
本发明提供一种图像分类方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决图像分类准确性较低的问题。
为实现上述目的，本发明提供的一种图像分类方法，包括：
获取原始图像集，其中，所述原始图像集中包括有标注图像集及无标注图像集；
对所述无标注图像集中的图像进行标注猜测，得到标注猜测图像集，汇总所述标注猜测图像集及所述有标注图像集，得到图像训练集；
在预设的图像分类网络中构建表征混合层，得到混合图像分类网络；
利用所述图像训练集对所述混合图像分类网络进行训练，得到标准图像分类网络；
利用所述标准图像分类网络对待分类图像进行分类，得到图像分类结果。
可选地，所述对所述无标注图像集中的图像进行标注猜测，得到标注猜测图像集，包括：
利用预构建的生成对抗网络，对所述无标注图像集中的图像进行预设次数的数据增强处理，得到增强图像；
利用预设的标注猜测公式对所述增强图像进行标注猜测，得到标注猜测图像；
汇总所述标注猜测图像得到所述标注猜测图像集。
可选地，所述利用预设的标注猜测公式对所述增强图像进行标注猜测，得到标注猜测图像，包括：
利用下述猜测公式对所述增强图像进行标注猜测，得到标注猜测图像：
其中，qb表示无标注图像的猜测标注，ub表示无标注图像集，ub,m表示无标注图像集中第m个图像，f(ub,m；θ)表示参数θ的网络拟合函数对ub的第m个图像为输入的输出，M表示数据增强的次数。
可选地，所述在预设的图像分类网络中构建表征混合层，得到混合图像分类网络，包括：
在所述图像分类网络中随机选取一层作为表征混合层；
将所述表征混合层之前的网络设置为编码层，及将所述表征混合层之后的网络设置为解码层；
汇总所述编码层、所述表征混合层及所述解码层，得到所述混合图像分类网络。
可选地，所述利用所述图像训练集对所述混合图像分类网络进行训练，得到标准图像分类网络，包括：
利用所述混合图像分类网络中的编码层对所述图像训练集中图像对应的标注进行表征编码，得到隐表征对；
利用所述混合图像分类网络中的表征混合层对所述隐表征对进行线性混合，得到线性混合隐表征对；
根据所述线性混合隐表征对计算损失值，当所述损失值小于预设的损失阈值时，得到所述标准图像分类网络。
可选地，所述利用所述混合图像分类网络中的表征混合层对所述隐表征对进行线性混合，得到线性混合隐表征对，包括：
通过下述公式计算线性混合隐表征对((el(x)′),y′)：
el(x)′＝λ′·el(xl)+(1-λ′)·el(x2)
y′＝λ′·y1+(1-λ′)·y1
λ′＝max(λ，1-λ)
λ～Beta(α，α)
其中，(el(x)′)表示线性混合图像，y′表示线性混合标注，α是决定Beta分布的超参数，λ′是为了使el(x)′更接近el(x1)，(el(x1),y1)和(e1(x2),y2)为隐表征对，el表示编码层，x1，x2是图像训练集中的任意两个图像，y1，y2分别为图像x1，x2对应的标注。
可选地，所述根据所述线性混合隐表征对计算损失值，包括：
利用均方差方法计算所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值；
当所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值大于预设的阈值时，使用第一损失函数计算所述线性混合隐表征对的损失项；
当所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值小于等于预设的阈值时，使用第二损失函数计算所述线性混合隐表征对的损失项；
汇总所述线性混合隐表征对的损失项得到总损失函数，并计算所述总损失函数的损失值。
为了解决上述问题，本发明还提供一种图像分类装置，所述装置包括：
图像获取模块，用于获取原始图像集，其中，所述原始图像集中包括有标注图像集及无标注图像集；
标注猜测模块，用于对所述无标注图像集中的图像进行标注猜测，得到标注猜测图像集，汇总所述标注猜测图像集及所述有标注图像集，得到图像训练集；
混合层构建模块，用于在预设的图像分类网络中构建表征混合层，得到混合图像分类网络；
模型训练模块，用于利用所述图像训练集对所述混合图像分类网络进行训练，得到标准图像分类网络；
图像分类模块，用于利用所述标准图像分类网络对待分类图像进行分类，得到图像分类结果。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现上述所述的图像分类方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的图像分类方法。
本发明通过对无标注图像集中的图像进行标注猜测，得到标记猜测图像集，可以提高训练数据的多样性；并且，在预设的图像分类网络中构建表征混合层，利用所述表征混合层可以对图像训练集中的有标注数据及无标注数据进行线性混合，利用混合后的数据进行训练可以提高网络拟合平滑性和一致性，从而提高网络的性能，使得网络分类的准确性更高；同时，相较于背景技术中仅对单一数据点局部的平滑性做出了规范，本发明实施例中的混合数据包含有标注和无标注数据，因此可以对不同数据点间的网络的全局平滑性和一致性进行约束，进一步提高了图像分类的准确性。因此本发明提出的图像分类方法、装置、电子设备及计算机可读存储介质，可以解决图像分类准确率较低的问题。
附图说明
图1为本发明一实施例提供的图像分类方法的流程示意图；
图2为图1中其中一个步骤的详细实施流程示意图；
图3为图1中另一个步骤的详细实施流程示意图；
图4为图1中另一个步骤的详细实施流程示意图；
图5为本发明一实施例提供的图像分类装置的功能模块图；
图6为本发明一实施例提供的实现所述图像分类方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种图像分类方法。所述图像分类方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述图像分类方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示，为本发明一实施例提供的图像分类方法的流程示意图。在本实施例中，所述图像分类方法包括：
S1、获取原始图像集，其中，所述原始图像集中包括有标注图像集及无标注图像集。
本发明实施例中，所述原始图像集可以为医疗领域的医学图像，比如，临床医疗领域中，所述原始图像可以为肿瘤的MRI(核磁共振)图像或CT图像。
其中，本发明实施例中，有标注图像集中包括有标注图像X及其对应的标注Y，无标注图像集中包括无标注图像U。
S2、对所述无标注图像集中的图像进行标注猜测，得到标注猜测图像集，汇总所述标注猜测图像集及所述有标注图像集，得到图像训练集。
具体地，参照图2所示，所述对所述无标注图像集中的图像进行标注猜测，得到标注猜测图像集，包括：
S20、利用预构建的生成对抗网络，对所述无标注图像集中的图像进行预设次数的数据增强处理，得到增强图像；
S21、利用预设的标注猜测公式对所述增强图像进行标注猜测，得到标注猜测图像；
S22、汇总所述标注猜测图像得到所述标注猜测图像集。
本发明实施例中，所述预构建的生成对抗网络可以为生成式对抗网络(GAN,Generative Adversarial Networks)，所述生成式对抗网络是一种深度学习模型，包括生成模型(Generative Model)和判别模型(Discriminative Model)，以人脸图像为例，所述生成模型用来依据真实的歪头人脸图像集生成模拟的正向人脸图像集。所述判别模型用来判断所述模拟的正向人脸图像集和真实的正向人脸图像集的真假，直至判别模型无法很好地辨别真假正向人脸图像的时候，说明生成模型可以较好地将歪头人脸图像矫正至几乎可以以假乱真的模拟正向人脸图像。即生成式对抗网络(GAN)的任务是要让判别模型(D)对生成模型(G)生成的模拟正向人脸图像的判别能力越来越差，即最大化(max)判别模型(D)的误差，同时又希望让生成模型(G)基于歪头人脸图像生成的模拟正向人脸图像与真实正向人脸图像的差距越来越小，即最小化(min)生成模型(G)的误差。
本发明实施例中，这种基于生成式对抗网络合成的方法相比于传统的数据增强技术虽然过程更加复杂，但是生成的样本更加多样，同时还可以应用于图像编辑，图像去噪等各种场景，提高了应用性。
本发明一可选实施例中，所述利用预设的标注猜测公式对所述增强图像进行标注猜测，得到标注猜测图像，包括：
利用下述猜测公式对所述增强图像进行标注猜测，得到标注猜测图像：
其中，qb表示无标注图像的猜测标注，ub表示无标注图像集，ub，m表示无标注图像集中第m个图像，f(ub，m；θ)表示参数θ的网络拟合函数对ub的第m个图像为输入的输出，M表示数据增强的次数。
具体地，所述汇总所述标记猜测图像集及所述有标注图像集，得到图像训练集，包括：
汇总所述标记猜测图像集及所述有标注图像集，得到原始训练集；
从所述原始训练集中随机选取预设数量的图像作为所述图像训练集。
本发明一可选实施例中，因为全部的原始训练集的数据太大，内存可能无法加载也可能无法进行计算，从原始训练集中随机选取一部分数据作为图像训练集，可以提高模型训练速度。
S3、在预设的图像分类网络中构建表征混合层，得到混合图像分类网络。
本发明实施例中，所述预设的图像分类网络可以为为VGGNet，所述VGGNet是深度卷积神经网络的一种，相较于一般的神经网络，VGGNet全部使用3*3的卷积核和2*2的池化核，通过不断加深网络结构来提升性能，同时网络层数的增长并不会带来参数量上的爆炸，因为参数量主要集中在最后三个全连接层中。
具体地，参照图3所示，所述在预设的图像分类网络中构建表征混合层，得到混合图像分类网络，包括：
S30、在所述图像分类网络中随机选取一层作为表征混合层；
S31、将所述表征混合层之前的网络设置为编码层，及将所述表征混合层之后的网络设置为解码层；
S32、汇总所述编码层、所述表征混合层及所述解码层，得到所述混合图像分类网络。
本发明一可选实施例中，可以从所述图像分类网络中选择一系列中间层组成集合，并在该集合中随机选择一层作为所述表征混合层，所述表征混合层用来将输入到该层的混合数据(包括有标注数据及无标注数据)进行表征混合。所述编码层用来将所述图像训练集中的数据编码到所述表征混合层，所述解码层用来对混合后的表征进行解码。
本发明实施例中，通过在输入空间进行初次混合(即从原始训练集中随机选取一定数量的图像作为图像训练集)，及在所述表征混合层对有标注数据及无标注数据进行表征混合，可以提高网络的平滑性，进而提高图像分类网络的分类准确性。
S4、利用所述图像训练集对所述混合图像分类网络进行训练，得到标准图像分类网络。
详细地，参照图4所示，所述利用所述图像训练集对所述混合图像分类网络进行训练，得到标准图像分类网络，包括：
S40、利用所述混合图像分类网络中的编码层对所述图像训练集中图像对应的标注进行表征编码，得到隐表征对；
S41、利用所述混合图像分类网络中的表征混合层对所述隐表征对进行线性混合，得到线性混合隐表征对；
S42、根据所述线性混合隐表征对计算损失值，当所述损失值小于预设的损失阈值时，得到所述标准图像分类网络。
本发明实施例中，所述图像训练集中包括一堆随机的训练对(x1,y1)和(x2，y2)，x1，x2可以全是有标注图像或都无标注图像，也可以一个有标注图像一个无标注图像，y1，y2为对应的标注，其中，有标注图像对应的为真实标注，无标注图像对应的是猜测标注。利用所述编码层对所述训练对(x1,y1)和(x2,y2)进行编码，得到隐表征对(el(x1),y1)和(el(x2),y2)，el表示编码层。
本发明实施例中，所述利用所述混合图像分类网络中的表征混合层对所述隐表征对进行线性混合，得到线性混合隐表征对，包括：
通过下述公式计算线性混合隐表征对((el(x)′),y′)：
el(x)′＝λ′·el(x1)+(1-λ′)·el(x2)
y′＝λ′·y1+(1-λ′)·y1
λ′＝max(λ，1-λ)
λ～Beta(α，α)
其中，(el(x)′)表示线性混合图像，y′表示线性混合标注，α是决定Beta分布的超参数，λ′是为了使el(x)′更接近el(x1)，(el(x1)，y1)和(el(x2)，y2)为隐表征对，el表示编码层，x1，x2是图像训练集中的任意两个图像，y1，y2分别为图像x1，x2对应的标注。
进一步地，所述根据所述线性混合隐表征对计算损失值，包括：
利用均方差方法计算所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值；
当所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值大于预设的阈值时，使用第一损失函数计算所述线性混合隐表征对的损失项；
当所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值小于等于预设的阈值时，使用第二损失函数计算所述线性混合隐表征对的损失项；
汇总所述线性混合隐表征对的损失项得到总损失函数，并计算所述总损失函数的损失值。
本发明一可选实施例中，由于使用混合的数据进行训练，在训练中根据混合后数据更接近有标注还是无标注数据选择不同的损失函数。当所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值大于预设的阈值时，表示混合数据接近有标注数据，则使用第一损失函数计算所述线性混合隐表征对的损失项；当所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值小于等于预设的阈值时，表示混合数据接近无标注数据，则使用第二损失函数计算所述线性混合隐表征对的损失项。
本发明一可选实施例中，在一个图像训练集Batch中，第一损失函数LX可以为交叉熵(CE)损失：
其中，B为图像训练集，X为有标注图像，l为表征混合层，S为中间层，dl表示解码层。
本发明一可选实施例中，第二损失函数LU可以为L2损失：
其中，B为图像训练集，U为无标注图像，l为表征混合层，S为中间层，dl表示解码层。
本发明实施例中，总损失函数可以为：
L＝Lx+λU·LU
其中，λU为一个手动定义的超参数权重项。
本发明实施例中，由于猜测标注比真实标注更不可靠，因此在混合后的数据靠近真实标注及猜测标注时分别采用不同的损失函数，可以提高网络分类的准确率。
S5、利用所述标准图像分类网络对待分类图像进行分类，得到图像分类结果。
本发明实施例中，通过待分类图像可以为医学领域的未标注图像(比如，肿瘤的MRI(核磁共振)图像或CT图像)，利用所述标准图像分类网络预测所述未标注图像的标注来进行分类。所述图像分类结果包括分类图像及分类图像对应的标注。
本发明通过对无标注图像集中的图像进行标注猜测，得到标记猜测图像集，汇总所述标记猜测图像集及有标注图像集，得到图像训练集，可以提高训练数据的多样性。并且，在预设的图像分类网络中构建表征混合层，得到混合图像分类网络，利用所述表征混合层可以对图像训练集中的有标注数据及无标注数据进行线性混合，利用混合后的数据进行训练可以提高网络拟合平滑性和一致性，从而提高网络的性能，使得网络分类的准确性更高。同时，相较于背景技术中仅对单一数据点局部的平滑性做出了规范，本发明中的混合数据包含有标注和无标注数据，因此可以对不同数据点间的网络的全局平滑性和一致性进行约束，进一步提高了图像分类的准确性。因此本发明实施例可以解决图像分类准确率较低的问题。
如图5所示，是本发明一实施例提供的图像分类装置的功能模块图。
本发明所述图像分类装置100可以安装于电子设备中。根据实现的功能，所述图像分类装置100可以包括图像获取模块101、标注猜测模块102、混合层构建模块103、模型训练模块104及图像分类模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述图像获取模块101，用于获取原始图像集，其中，所述原始图像集中包括有标注图像集及无标注图像集。
本发明实施例中，所述原始图像集可以为医疗领域的医学图像，比如，临床医疗领域中，所述原始图像可以为肿瘤的MRI(核磁共振)图像或CT图像。
其中，本发明实施例中，有标注图像集中包括有标注图像X及其对应的标注Y，无标注图像集中包括无标注图像U。
所述标注猜测模块102，用于对所述无标注图像集中的图像进行标注猜测，得到标注猜测图像集，汇总所述标注猜测图像集及所述有标注图像集，得到图像训练集。
具体地，所述标注猜测模块102通过下述操作得到标注猜测图像集：
利用预构建的生成对抗网络，对所述无标注图像集中的图像进行预设次数的数据增强处理，得到增强图像；
利用预设的标注猜测公式对所述增强图像进行标注猜测，得到标注猜测图像；
汇总所述标注猜测图像得到所述标注猜测图像集。
本发明实施例中，所述预构建的生成对抗网络可以为生成式对抗网络(GAN,Generative Adversarial Networks)，所述生成式对抗网络是一种深度学习模型，包括生成模型(Generative Model)和判别模型(Discriminative Model)，以人脸图像为例，所述生成模型用来依据真实的歪头人脸图像集生成模拟的正向人脸图像集。所述判别模型用来判断所述模拟的正向人脸图像集和真实的正向人脸图像集的真假，直至判别模型无法很好地辨别真假正向人脸图像的时候，说明生成模型可以较好地将歪头人脸图像矫正至几乎可以以假乱真的模拟正向人脸图像。即生成式对抗网络(GAN)的任务是要让判别模型(D)对生成模型(G)生成的模拟正向人脸图像的判别能力越来越差，即最大化(max)判别模型(D)的误差，同时又希望让生成模型(G)基于歪头人脸图像生成的模拟正向人脸图像与真实正向人脸图像的差距越来越小，即最小化(min)生成模型(G)的误差。
本发明实施例中，这种基于生成式对抗网络合成的方法相比于传统的数据增强技术虽然过程更加复杂，但是生成的样本更加多样，同时还可以应用于图像编辑，图像去噪等各种场景，提高了应用性。
本发明一可选实施例中，所述标注猜测模块102通过下述操作得到标注猜测图像：
利用下述猜测公式对所述增强图像进行标注猜测，得到标注猜测图像：
其中，qb表示无标注图像的猜测标注，ub表示无标注图像集，ub,m表示无标注图像集中第m个图像，f(ub,m；θ)表示参数θ的网络拟合函数对ub的第m个图像为输入的输出，M表示数据增强的次数。
具体地，所述标注猜测模块102通过下述操作得到图像训练集：
汇总所述标记猜测图像集及所述有标注图像集，得到原始训练集；
从所述原始训练集中随机选取预设数量的图像作为所述图像训练集。
本发明一可选实施例中，因为全部的原始训练集的数据太大，内存可能无法加载也可能无法进行计算，从原始训练集中随机选取一部分数据作为图像训练集，可以提高模型训练速度。
所述混合层构建模块103，用于在预设的图像分类网络中构建表征混合层，得到混合图像分类网络。
本发明实施例中，所述预设的图像分类网络可以为为VGGNet，所述VGGNet是深度卷积神经网络的一种，相较于一般的神经网络，VGGNet全部使用3*3的卷积核和2*2的池化核，通过不断加深网络结构来提升性能，同时网络层数的增长并不会带来参数量上的爆炸，因为参数量主要集中在最后三个全连接层中。
具体地，所述混合层构建模块103通过下述操作得到得到混合图像分类网络：
在所述图像分类网络中随机选取一层作为表征混合层；
将所述表征混合层之前的网络设置为编码层，及将所述表征混合层之后的网络设置为解码层；
汇总所述编码层、所述表征混合层及所述解码层，得到所述混合图像分类网络。
本发明一可选实施例中，可以从所述图像分类网络中选择一系列中间层组成集合，并在该集合中随机选择一层作为所述表征混合层，所述表征混合层用来将输入到该层的混合数据(包括有标注数据及无标注数据)进行表征混合。所述编码层用来将所述图像训练集中的数据编码到所述表征混合层，所述解码层用来对混合后的表征进行解码。
本发明实施例中，通过在输入空间进行初次混合(即从原始训练集中随机选取一定数量的图像作为图像训练集)，及在所述表征混合层对有标注数据及无标注数据进行表征混合，可以提高网络的平滑性，进而提高图像分类网络的分类准确性。
所述模型训练模块104，用于利用所述图像训练集对所述混合图像分类网络进行训练，得到标准图像分类网络。
详细地，所述模型训练模块104通过下述操作得到标准图像分类网络：
利用所述混合图像分类网络中的编码层对所述图像训练集中图像对应的标注进行表征编码，得到隐表征对；
利用所述混合图像分类网络中的表征混合层对所述隐表征对进行线性混合，得到线性混合隐表征对；
根据所述线性混合隐表征对计算损失值，当所述损失值小于预设的损失阈值时，得到所述标准图像分类网络。
本发明实施例中，所述图像训练集中包括一堆随机的训练对(x1,y1)和(x2,y2)，x1，x2可以全是有标注图像或都无标注图像，也可以一个有标注图像一个无标注图像，y1，y2为对应的标注，其中，有标注图像对应的为真实标注，无标注图像对应的是猜测标注。利用所述编码层对所述训练对(x1,y1)和(x2,y2)进行编码，得到隐表征对(el(x1),y1)和(el(x2),y2)，el表示编码层。
本发明实施例中，所述模型训练模块104通过下述操作得到线性混合隐表征对：
通过下述公式计算线性混合隐表征对((el(x)′),y′)：
el(x)′＝λ′·el(xl)+(1-λ′)·el(x2)
y′＝λ′·y1+(1-λ′)·y1
λ′＝max(λ，1-λ)
λ～Beta(α，α)
其中，(el(x)′)表示线性混合图像，y′表示线性混合标注，α是决定Beta分布的超参数，λ′是为了使el(x)′更接近el(x1)，(el(x1),y1)和(el(x2),y2)为隐表征对，el表示编码层，x1，x2是图像训练集中的任意两个图像，y1，y2分别为图像x1，x2对应的标注。
进一步地，所述模型训练模块104通过下述操作计算损失值：
利用均方差方法计算所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值；
当所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值大于预设的阈值时，使用第一损失函数计算所述线性混合隐表征对的损失项；
当所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值小于等于预设的阈值时，使用第二损失函数计算所述线性混合隐表征对的损失项；
汇总所述线性混合隐表征对的损失项得到总损失函数，并计算所述总损失函数的损失值。
本发明一可选实施例中，由于使用混合的数据进行训练，在训练中根据混合后数据更接近有标注还是无标注数据选择不同的损失函数。当所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值大于预设的阈值时，表示混合数据接近有标注数据，则使用第一损失函数计算所述线性混合隐表征对的损失项；当所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值小于等于预设的阈值时，表示混合数据接近无标注数据，则使用第二损失函数计算所述线性混合隐表征对的损失项。
本发明一可选实施例中，在一个图像训练集Batch中，第一损失函数LX可以为交叉熵(CE)损失：
其中，B为图像训练集，X为有标注图像，l为表征混合层，S为中间层，dl表示解码层。
本发明一可选实施例中，第二损失函数LU可以为L2损失：
其中，B为图像训练集，U为无标注图像，l为表征混合层，S为中间层，dl表示解码层。
本发明实施例中，总损失函数可以为：
L＝LX+λU·LU
其中，λU为一个手动定义的超参数权重项。
本发明实施例中，由于猜测标注比真实标注更不可靠，因此在混合后的数据靠近真实标注及猜测标注时分别采用不同的损失函数，可以提高网络分类的准确率。
所述图像分类模块105，用于利用所述标准图像分类网络对待分类图像进行分类，得到图像分类结果。
本发明实施例中，通过待分类图像可以为医学领域的未标注图像(比如，肿瘤的MRI(核磁共振)图像或CT图像)，利用所述标准图像分类网络预测所述未标注图像的标注来进行分类。所述图像分类结果包括分类图像及分类图像对应的标注。
如图6所示，是本发明一实施例提供的实现图像分类方法的电子设备的结构示意图，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，
存储器113，用于存放计算机程序，如图像分类程序；
在本申请一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的图像分类方法，包括：
获取原始图像集，其中，所述原始图像集中包括有标注图像集及无标注图像集；
对所述无标注图像集中的图像进行标注猜测，得到标注猜测图像集，汇总所述标注猜测图像集及所述有标注图像集，得到图像训练集；
在预设的图像分类网络中构建表征混合层，得到混合图像分类网络；
利用所述图像训练集对所述混合图像分类网络进行训练，得到标准图像分类网络；
利用所述标准图像分类网络对待分类图像进行分类，得到图像分类结果。
上述通信总线114可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该通信总线114可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口112用于上述电子设备与其他设备之间的通信。
存储器113可以包括随机存取存储器(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器113还可以是至少一个位于远离前述处理器111的存储装置。
上述的处理器111可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取原始图像集，其中，所述原始图像集中包括有标注图像集及无标注图像集；
对所述无标注图像集中的图像进行标注猜测，得到标注猜测图像集，汇总所述标注猜测图像集及所述有标注图像集，得到图像训练集；
在预设的图像分类网络中构建表征混合层，得到混合图像分类网络；
利用所述图像训练集对所述混合图像分类网络进行训练，得到标准图像分类网络；
利用所述标准图像分类网络对待分类图像进行分类，得到图像分类结果。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (7)
1.一种图像分类方法，其特征在于，所述方法包括：
获取原始图像集，其中，所述原始图像集中包括有标注图像集及无标注图像集；
对所述无标注图像集中的图像进行标注猜测，得到标注猜测图像集，汇总所述标注猜测图像集及所述有标注图像集，得到图像训练集；
在预设的图像分类网络中构建表征混合层，得到混合图像分类网络；
利用所述图像训练集对所述混合图像分类网络进行训练，得到标准图像分类网络；
利用所述标准图像分类网络对待分类图像进行分类，得到图像分类结果；
其中，所述对所述无标注图像集中的图像进行标注猜测，得到标注猜测图像集，包括：利用预构建的生成对抗网络，对所述无标注图像集中的图像进行预设次数的数据增强处理，得到增强图像；利用预设的标注猜测公式对所述增强图像进行标注猜测，得到标注猜测图像；汇总所述标注猜测图像得到所述标注猜测图像集；
所述利用预设的标注猜测公式对所述增强图像进行标注猜测，得到标注猜测图像，包括：利用下述猜测公式对所述增强图像进行标注猜测，得到标注猜测图像：
其中，qb表示无标注图像的猜测标注，ub表示无标注图像集，ub,m表示无标注图像集中第m个图像，f(ub,m；θ)表示参数θ的网络拟合函数对ub的第m个图像的拟合输出，M表示数据增强的次数；
所述在预设的图像分类网络中构建表征混合层，得到混合图像分类网络，包括：在所述图像分类网络中随机选取一层作为表征混合层；将所述表征混合层之前的网络设置为编码层，及将所述表征混合层之后的网络设置为解码层；汇总所述编码层、所述表征混合层及所述解码层，得到所述混合图像分类网络。
2.如权利要求1所述的图像分类方法，其特征在于，所述利用所述图像训练集对所述混合图像分类网络进行训练，得到标准图像分类网络，包括：
利用所述混合图像分类网络中的编码层对所述图像训练集中图像对应的标注进行表征编码，得到隐表征对；
利用所述混合图像分类网络中的表征混合层对所述隐表征对进行线性混合，得到线性混合隐表征对；
根据所述线性混合隐表征对计算损失值，当所述损失值小于预设的损失阈值时，得到所述标准图像分类网络。
3.如权利要求2所述的图像分类方法，其特征在于，所述利用所述混合图像分类网络中的表征混合层对所述隐表征对进行线性混合，得到线性混合隐表征对，包括：
通过下述公式计算线性混合隐表征对((el(x)′),y′)：
el(x)′＝λ′·el(x1)+(1-λ′)·el(x2)
y′＝λ′·y1+(1-λ′)·y1
λ′＝max(λ,1-λ)
λ～Beta(α,α)
其中，(el(x)′)表示线性混合图像，y′表示线性混合标注，α是决定Beta分布的超参数，λ′是为了使el(x)′更接近el(x1)，(el(x1),y1)和(el(x2),y2)为隐表征对，el表示编码层，x1，x2是图像训练集中的任意两个图像，y1，y2分别为图像x1，x2对应的标注。
4.如权利要求2所述的图像分类方法，其特征在于，所述根据所述线性混合隐表征对计算损失值，包括：
利用均方差方法计算所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值；
当所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值大于预设的阈值时，使用第一损失函数计算所述线性混合隐表征对的损失项；
当所述线性混合隐表征对中的线性混合标注与有标注图像的真实标注的差值小于等于预设的阈值时，使用第二损失函数计算所述线性混合隐表征对的损失项；
汇总所述线性混合隐表征对的损失项得到总损失函数，并计算所述总损失函数的损失值。
5.一种图像分类装置，用于实现如权利要求1至4中任意一项所述的图像分类方法，其特征在于，所述装置包括：
图像获取模块，用于获取原始图像集，其中，所述原始图像集中包括有标注图像集及无标注图像集；
标注猜测模块，用于对所述无标注图像集中的图像进行标注猜测，得到标注猜测图像集，汇总所述标注猜测图像集及所述有标注图像集，得到图像训练集；
混合层构建模块，用于在预设的图像分类网络中构建表征混合层，得到混合图像分类网络；
模型训练模块，用于利用所述图像训练集对所述混合图像分类网络进行训练，得到标准图像分类网络；
图像分类模块，用于利用所述标准图像分类网络对待分类图像进行分类，得到图像分类结果。
6.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4中任意一项所述的图像分类方法。
7.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任意一项所述的图像分类方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110465701.2A CN113159202B (zh) | 2021-04-28 | 2021-04-28 | 图像分类方法、装置、电子设备及存储介质 |
| PCT/CN2021/096513 WO2022227169A1 (zh) | 2021-04-28 | 2021-05-27 | 图像分类方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110465701.2A CN113159202B (zh) | 2021-04-28 | 2021-04-28 | 图像分类方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113159202A CN113159202A (zh) | 2021-07-23 |
| CN113159202B true CN113159202B (zh) | 2023-09-26 |
Family
ID=76871775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110465701.2A Active CN113159202B (zh) | 2021-04-28 | 2021-04-28 | 图像分类方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113159202B (zh) |
| WO (1) | WO2022227169A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113807356B (zh) * | 2021-07-29 | 2023-07-25 | 北京工商大学 | 一种端到端的低能见度图像语义分割方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509627A (zh) * | 2018-04-08 | 2018-09-07 | 腾讯科技（深圳）有限公司 | 数据离散化模型训练方法和装置、数据离散方法 |
| CN110210535A (zh) * | 2019-05-21 | 2019-09-06 | 北京市商汤科技开发有限公司 | 神经网络训练方法及装置以及图像处理方法及装置 |
| CN111931865A (zh) * | 2020-09-17 | 2020-11-13 | 平安科技（深圳）有限公司 | 图像分类模型的训练方法、装置、计算机设备及存储介质 |
| CN112381831A (zh) * | 2020-11-26 | 2021-02-19 | 南开大学 | 基于图像间语义辅助的个性化图像分割方法及系统 |
| CN112381168A (zh) * | 2020-11-23 | 2021-02-19 | 浙江大学 | 基于单样例引导物体表征拆分的图像编辑算法 |
| CN112465071A (zh) * | 2020-12-18 | 2021-03-09 | 深圳赛安特技术服务有限公司 | 图像多标签分类方法、装置、电子设备及介质 |
| CN112528908A (zh) * | 2020-12-18 | 2021-03-19 | 平安科技（深圳）有限公司 | 活体检测方法、装置、电子设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11074495B2 (en) * | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
| WO2016120440A1 (en) * | 2015-01-29 | 2016-08-04 | Ventana Medical Systems, Inc. | Dot detection, color classification of dots and counting of color classified dots |
| US11468358B2 (en) * | 2017-11-30 | 2022-10-11 | Palo Alto Networks (Israel Analytics) Ltd. | Framework for semi-supervised learning when no labeled data is given |
| CN111783981A (zh) * | 2020-06-29 | 2020-10-16 | 百度在线网络技术（北京）有限公司 | 模型训练方法、装置、电子设备及可读存储介质 |
-
2021
- 2021-04-28 CN CN202110465701.2A patent/CN113159202B/zh active Active
- 2021-05-27 WO PCT/CN2021/096513 patent/WO2022227169A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509627A (zh) * | 2018-04-08 | 2018-09-07 | 腾讯科技（深圳）有限公司 | 数据离散化模型训练方法和装置、数据离散方法 |
| CN110210535A (zh) * | 2019-05-21 | 2019-09-06 | 北京市商汤科技开发有限公司 | 神经网络训练方法及装置以及图像处理方法及装置 |
| CN111931865A (zh) * | 2020-09-17 | 2020-11-13 | 平安科技（深圳）有限公司 | 图像分类模型的训练方法、装置、计算机设备及存储介质 |
| CN112381168A (zh) * | 2020-11-23 | 2021-02-19 | 浙江大学 | 基于单样例引导物体表征拆分的图像编辑算法 |
| CN112381831A (zh) * | 2020-11-26 | 2021-02-19 | 南开大学 | 基于图像间语义辅助的个性化图像分割方法及系统 |
| CN112465071A (zh) * | 2020-12-18 | 2021-03-09 | 深圳赛安特技术服务有限公司 | 图像多标签分类方法、装置、电子设备及介质 |
| CN112528908A (zh) * | 2020-12-18 | 2021-03-19 | 平安科技（深圳）有限公司 | 活体检测方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113159202A (zh) | 2021-07-23 |
| WO2022227169A1 (zh) | 2022-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lan et al. | Generative adversarial networks and its applications in biomedical informatics | |
| Song et al. | Bottleneck feature supervised U-Net for pixel-wise liver and tumor segmentation | |
| Zhou et al. | Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method | |
| Xie et al. | Unimiss: Universal medical self-supervised learning via breaking dimensionality barrier | |
| Gao et al. | Bone age assessment based on deep convolution neural network incorporated with segmentation | |
| Zhao et al. | Versatile framework for medical image processing and analysis with application to automatic bone age assessment | |
| Cheng et al. | DDU-Net: A dual dense U-structure network for medical image segmentation | |
| Peng et al. | Dual semi-supervised learning for facial action unit recognition | |
| US20220375211A1 (en) | Multi-layer perceptron-based computer vision neural networks | |
| CN111724371B (zh) | 一种数据处理方法、装置及电子设备 | |
| CN114863219A (zh) | 训练大规模视觉Transformer神经网络 | |
| CN113159202B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN116563537A (zh) | 一种基于模型框架的半监督学习方法及装置 | |
| Liu et al. | AHU-MultiNet: Adaptive loss balancing based on homoscedastic uncertainty in multi-task medical image segmentation network | |
| Amyar et al. | RADIOGAN: Deep convolutional conditional generative adversarial network to generate PET images | |
| Jin et al. | Density-based one-shot active learning for image segmentation | |
| Guo et al. | Modeling annotator variation and annotator preference for multiple annotations medical image segmentation | |
| Liu et al. | CCQ: cross-class query network for partially labeled organ segmentation | |
| CN111209946A (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
| Chen et al. | A fine-grained network for human identification using panoramic dental images | |
| US20220130065A1 (en) | Method for analyzing thickness of cortical region | |
| CN115018856A (zh) | 基于对比学习和空间编码的弱监督医学图像分割配准协同方法 | |
| Hao et al. | Overlap classification mechanism for skeletal bone age assessment | |
| Tang et al. | Learning from dispersed manual annotations with an optimized data weighting policy | |
| Du et al. | DataMap: Dataset transferability map for medical image classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |