CN113435389A - 基于图像特征深度学习的小球藻和金藻分类识别方法 - Google Patents
基于图像特征深度学习的小球藻和金藻分类识别方法 Download PDFInfo
- Publication number
- CN113435389A CN113435389A CN202110776867.6A CN202110776867A CN113435389A CN 113435389 A CN113435389 A CN 113435389A CN 202110776867 A CN202110776867 A CN 202110776867A CN 113435389 A CN113435389 A CN 113435389A
- Authority
- CN
- China
- Prior art keywords
- convolution
- characteristic diagram
- channel number
- output characteristic
- filling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000206751 Chrysophyceae Species 0.000 title claims abstract description 37
- 241000195649 Chlorella <Chlorellales> Species 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000010586 diagram Methods 0.000 claims abstract description 127
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 21
- 241001493760 Chlorellaceae Species 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000005094 computer simulation Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 11
- 230000008569 process Effects 0.000 abstract description 6
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000012795 verification Methods 0.000 description 10
- 241000195493 Cryptophyta Species 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 239000000238 shellfish toxin Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开一种基于图像特征深度学习的小球藻和金藻分类识别方法，在建立检测数据集时，对现有ResNet算法进行改进，加快传入网络的速率，在不影响特征图大小的情况下实现特征图维度的自由变换，同时引入非线性运算，提高网络的表达能力，将分类准确率提升到98%。另外，本发明在FasterRCNN的基础上对用于图像特征提取的卷积层进行改进并在通过骨干网络提取特征图的过程中加入FPN结构，从骨干网络中提取多张不同分辨率的特征图进行后续的RPN操作，以确保较小的小球藻和金藻的特征不会丢失；本发明设计锚点的尺寸和长宽比例，有效提高检测效率。
Description
技术领域
本发明涉及一种浮游藻类分类识别方法，尤其是一种基于图像特征深度学习的小球藻和金藻分类识别方法。
背景技术
小球藻和金藻是海洋中常见且外观相像的两种浮游藻类，可用于海产品养殖饵料。在某些场合则需要将处于混合状态的二者进行分类识别，例如明确海洋初级营养结构和来源，或者有效确定赤潮、贝毒等海洋灾害源头及主要因素。
深度学习是用于图像分类的主要方法，但是在深度学习中，随着网络层数的增加，会出现计算资源消耗量增加、模型容易过拟合以及梯度消失、梯度爆炸等问题。在VGG网络中，卷积神经网络的深度达到了19层，随着Google提出GoogleNet后，卷积神经网络的深度达到了22层。对此何凯明等人提出了一种深度残差网络算法（ResNet），该算法引入残差块（Residual block）的思想。在残差块中，网络输入分成两个分支，其中一个分支经过两次卷积，另一分支直接越过两层卷积层与经过两次卷积操作的第一分支的输出函数相加，使输出函数变为
。这样的结构可以使梯度在反向传播的过程中不会受到Relu激活函数的影响，同时不会增加收敛过程中的计算复杂度，大大加速训练的收敛速度。FasterRCNN也是由何凯明在2016年提出的基于CNN的一种典型的“two-stage”目标检测算法，是将图像特征提取、感兴趣区域生成、目标分类及边界框回归等检测流程集成到一个完整的深度神经网络中，使算法在综合性能上获得了较大的提升。
基于图像对小球藻和金藻进行分类识别时，若使用高倍率显微图像，单张样本图视野内目标清晰、目标单位面积大且易于辨识，方便人工标注，但分类识别效率低；而采用低倍率显微图像时，小球藻和金藻所占面积极小、分布密集，目标可辨识程度较低，如采用人工标注的方式将会极大的增加时间成本且极易出现错误标注的情况。故现有基于图像特征的分类技术并不适合于低倍率显微图像时的小球藻和金藻分类识别，存在着准确率较低的问题。
发明内容
本发明是为了解决现有技术所存在的上述技术问题，提供一种基于图像特征深度学习的小球藻和金藻分类识别方法。
本发明的技术解决方案是：一种基于图像特征深度学习的小球藻和金藻分类识别方法，其特征在于将待分类识别图像输入至图像特征深度学习的计算机模型中处理，所述图像特征深度学习的计算机模型依次按照如下步骤构建：
步骤1：制备目标检测数据集
步骤1.1：在低倍率电子显微镜条件下，采集含小球藻和金藻的图像；
步骤1.2：将采集的图像经过OpenCV预处理；
步骤1.3：将经过OpenCV预处理的图像通过TinyResNet-15卷积神经网络对图像中的小球藻及金藻进行分类，得到具有小球藻和金藻类别信息的图像；
所述TinyResNet-15卷积神经网络对图像中的小球藻及金藻进行分类步骤如下：
步骤1.3.1将图像传入第一卷积层中，先进行卷积核为3*3、输入通道数为3、输出通道数为64、步长为2填充为3的卷积操作，之后依次进行BN和Relu操作，输出尺寸为64*26*26的特征图；将所述特征图再进行卷积核为3*3、步长为2的最大池化操作，得到尺寸为64*13*13的第一卷积层最终输出特征图out1；
步骤1.3.2将第一卷积层最终输出特征图out1传入第二卷积层中，所述第二卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数与输出通道数均为64、步长为1无填充的第一卷积conv2_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为64、步长填充均为1的第二卷积conv2_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为64、输出通道数为256、步长为1无填充的第三卷积conv2_3操作，之后依次是BN和Relu操作，得到输出特征图out2_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为64、输出通道数为256、步长为1无填充的卷积操作，之后进行BN操作得到输出特征图out2_2，输出特征图out2_2与输出特征图out2_1相加，得到尺寸为256*13*13的第二卷积层的最终输出特征图out2；
步骤1.3.3将第二卷积层最终输出特征图out2传入第三卷积层中，所述第三卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数为256、输出通道数为128、步长为2无填充的第一卷积conv3_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为128、步长填充均为1的第二卷积conv3_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为256、输出通道数为512、步长为1无填充的第三卷积conv3_3操作，之后依次是BN和Relu操作，得到输出特征图out3_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为256、输出通道数为512、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out3_2，输出特征图out3_2与输出特征图out3_1相加，得到尺寸为512*7*7的第三卷积层的最终输出特征图out3；
步骤1.3.4将第三卷积层最终输出特征图out3传入第四卷积层中，所述第四卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数为512、输出通道数为256、步长为2无填充的第一卷积conv4_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为256、步长填充均为1的第二卷积conv4_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为256、输出通道数为1024、步长为1无填充的第三卷积conv4_3操作，之后依次是BN和Relu操作，得到输出特征图out4_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为512、输出通道数为1024、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out4_2，输出特征图out4_2与输出特征图out4_1相加，得到尺寸为512*7*7的第三卷积层的最终输出特征图out4；
步骤1.3.5将第四卷积层最终输出特征图out4传入第五卷积层中，所述第五卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数为1024、输出通道数为512、步长为2无填充的第一卷积conv5_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为512、步长填充均为1的第二卷积conv5_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为512、输出通道数为2048、步长为1无填充的第三卷积conv5_3操作，之后依次是BN和Relu操作，得到输出特征图out5_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为1024、输出通道数为2048、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out5_2，输出特征图out5_2与输出特征图out5_1相加，得到尺寸为2048*2*2的第五卷积层的最终输出特征图out5；
步骤1.3.6 将最终输出特征图out5进行view操作展开为二维张量，输入全连接层Linear中，输出的2维向量分别对应小球藻及金藻类别的概率，从而得到具有小球藻及金藻类别信息的图像；
步骤1.4采用数字图像处理的方式将每个小球藻及金藻类别信息随机粘贴，人工生成标准格式的目标检测数据集；
步骤2：目标分类识别训练
步骤2.1将目标检测数据集的图片输入TinyResNet10卷积神经网络进行特征提取：
步骤2.1.1将目标检测数据集的图片尺寸变成1000*1000，先进行卷积核为7*7、输出特征层64个、步长为2填充为3的第一卷积conv21_1操作，得到特征层，再依次进行BN与Relu操作，得到尺寸为64*500*500的特征图，之后再进行卷积核大小为3*3、步长为2、填充为1的最大池化操作，得到尺寸为64*250* 250的特征图out21；
步骤2.1.2将特征图out21传入第二卷积层中，先进行卷积核为3*3、输入通道数与输出通道数均为64、步长与填充均为1第一卷积conv22_1操作，再依次进行BN与Relu操作，再进行卷积核为3*3、输入通道数与输出通道数均为64、步长与填充均为1第二卷积conv22_2操作，再进行BN操作，最终输出尺寸为64*250*250的特征图out22；
步骤2.1.3将特征图out22传入第三卷积层中，所述第三卷积层分为两路，一路为基础残差结构，先进行卷积核为3*3、输入通道数为64、输出通道数为128、步长为2填充为1的第一卷积conv23_1操作，之后进行BN和Relu操作；再进行卷积核为3*3、输入通道数为128、输出通道数为128、步长为1填充为1的第二卷积conv23_2操作，之后进行BN操作，得到输出特征图out23_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为64、输出通道数为128、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out23_2，输出特征图out23_2与输出特征图out23_1相加，得到尺寸为128*125*125的第三卷积层的最终输出特征图out23；
步骤2.1.4将特征图out23传入第四卷积层中，所述第四卷积层分为两路，一路为基础残差结构，先进行卷积核为3*3、输入通道数为128、输出通道数为256、步长为2填充为1的第一卷积conv24_1操作，之后进行BN和Relu操作操作；再进行卷积核为3*3、输入通道数为256、输出通道数为256、步长为1填充为1的第二卷积conv24_2操作，之后进行BN操作，得到输出特征图out24_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为128、输出通道数为256、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out24_2，输出特征图out24_2与输出特征图out24_1相加，得到尺寸为256*63*63的第四卷积层的最终输出特征图out24；
步骤2.1.5将特征图out24传入第五卷积层中，所述第五卷积层分为两路，一路为基础残差结构，先进行卷积核为3*3、输入通道数为256、输出通道数为512、步长为2填充为1的第一卷积conv25_1操作，之后进行BN和Relu操作操作；再进行卷积核为3*3、输入通道数为512、输出通道数为512、步长为1填充为1的第二卷积conv25_2操作，之后进行BN操作，得到输出特征图out25_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为256、输出通道数为512、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out25_2，输出特征图out25_2与输出特征图out25_1相加，得到尺寸为512*32*32的第五卷积层的最终输出特征图out25；
步骤3：将最终输出特征图out25加入FPN结构，提取5张不同分辨率的特征图out3；
步骤4：设置RPN网络，采用长宽比例为0.8和1.0以及面积为52、152、202来生成锚点框对特征图out3进行区域生成，确定可能有目标的位置；
步骤5：ROI池化层根据可能有目标的位置，在特征图中提取相应的特征向量，之后分为两个分支，其中一个分支使用SoftMax分类获得该位置目标的类别，另一个分支利用BBox-Regression微调检测到的位置框以获得最终的准确位置。
本发明是对现有ResNet算法和FasterRCNN算法进行改进，提出一种基于图像特征深度学习的小球藻和金藻分类识别方法。该方法在建立检测数据集时，将ResNet算法输入的
的卷积大小变更为3×3，降低输入卷积核的大小，加快传入网络的速率；后面的层数均是以1×1，3×3，1×1三种卷积组成的多个残差块的拼接，在减少权重层的数量后可加块训练速度。
卷积的作用主要是在不影响特征图大小的情况下实现特征图维度的自由变换，同时引入非线性运算，提高网络的表达能力，在提高训练速度的同时也将分类准确率提升到98%。另外，本发明在FasterRCNN的基础上对用于图像特征提取的卷积层进行改进的同时，在通过骨干网络提取特征图的过程中加入FPN结构，从骨干网络中提取多张不同分辨率的特征图进行后续的RPN操作，以确保较小的小球藻和金藻的特征不会丢失；同时本发明设计了FasterRCNN锚点的尺寸和长宽比例，采用2种长宽比例（0.8，1.0）和3种面积大小（52，152，202）来生成锚点框进行区域生成，能更好的选取有用区域，同时锚点框的种类从9种减少到6种，使区域获取与边框回归的计算时间大大减少，进而提高检测效率。
附图说明
图1是本发明实施例具有小球藻和金藻类别信息的图像。
图2是本发明实施例生成的MS COCO标准格式的目标检测数据集图像。
图3是本发明实施例分类准确率示意图。
图4是本发明实施例学习率变化示意图。
图5是本发明实施例与其它算法的平均准确率对比示意图。
图6是本发明实施例与其它算法的平均召回率对比示意图。
具体实施方式
本发明的一种基于图像特征深度学习的小球藻和金藻分类识别方法，其特征在于将待分类识别图像输入至图像特征深度学习的计算机模型中处理，所述图像特征深度学习的计算机模型依次按照如下步骤构建：
步骤1：制备目标检测数据集
步骤1.1：使用Leica DM4 B型号数字显微镜对卵形小球藻（以下称小球藻）与小等刺硅鞭藻（以下称金藻）混合的藻液样本拍摄共20张全彩色数字照片，每幅图像的分辨率为1920 x 1200；
步骤1.2：将采集的图像经过OpenCV预处理，其具体过程为：将获取到的图像使用OpenCV依次读取，转化为灰度图像后，进行中值滤波操作，然后进行二值化处理，设定阈值为0，最大灰度值为255，二值化方式为cv2.THRESH_BINARY+cv2.THRESH_OTSU，二值化后的结果图像，输入findContours函数中，选用参数为cv2.RETR_TREE，cv2.CHAIN_APPROX_SIMPLE，获取所有边界点的列表，循环遍历此列表，并用boundingRect得到包含物体的矩形坐标与长度，进而得到包含小球藻和金藻及杂质的图片，并进行保存；
步骤1.3：将经过OpenCV预处理的图像通过TinyResNet-15卷积神经网络对图像中的小球藻及金藻进行分类，得到如图1所示的具有小球藻和金藻类别信息的图像；
所述TinyResNet-15卷积神经网络对图像中的小球藻及金藻进行分类步骤如下：
步骤1.3.1将图像传入第一卷积层中，先进行卷积核为3*3、输入通道数为3、输出通道数为64、步长为2填充为3的卷积操作，之后依次进行BN和Relu操作，输出尺寸为64*26*26的特征图；将所述特征图再进行卷积核为3*3、步长为2的最大池化操作，得到尺寸为64*13*13的第一卷积层最终输出特征图out1；
步骤1.3.2将第一卷积层最终输出特征图out1传入第二卷积层中，所述第二卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数与输出通道数均为64、步长为1无填充的第一卷积conv2_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为64、步长填充均为1的第二卷积conv2_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为64、输出通道数为256、步长为1无填充的第三卷积conv2_3操作，之后依次是BN和Relu操作，得到输出特征图out2_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为64、输出通道数为256、步长为1无填充的卷积操作，之后进行BN操作得到输出特征图out2_2，输出特征图out2_2与输出特征图out2_1相加，得到尺寸为256*13*13的第二卷积层的最终输出特征图out2；
步骤1.3.3将第二卷积层最终输出特征图out2传入第三卷积层中，所述第三卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数为256、输出通道数为128、步长为2无填充的第一卷积conv3_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为128、步长填充均为1的第二卷积conv3_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为256、输出通道数为512、步长为1无填充的第三卷积conv3_3操作，之后依次是BN和Relu操作，得到输出特征图out3_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为256、输出通道数为512、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out3_2，输出特征图out3_2与输出特征图out3_1相加，得到尺寸为512*7*7的第三卷积层的最终输出特征图out3；
步骤1.3.4将第三卷积层最终输出特征图out3传入第四卷积层中，所述第四卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数为512、输出通道数为256、步长为2无填充的第一卷积conv4_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为256、步长填充均为1的第二卷积conv4_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为256、输出通道数为1024、步长为1无填充的第三卷积conv4_3操作，之后依次是BN和Relu操作，得到输出特征图out4_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为512、输出通道数为1024、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out4_2，输出特征图out4_2与输出特征图out4_1相加，得到尺寸为512*7*7的第三卷积层的最终输出特征图out4；
步骤1.3.5将第四卷积层最终输出特征图out4传入第五卷积层中，所述第五卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数为1024、输出通道数为512、步长为2无填充的第一卷积conv5_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为512、步长填充均为1的第二卷积conv5_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为512、输出通道数为2048、步长为1无填充的第三卷积conv5_3操作，之后依次是BN和Relu操作，得到输出特征图out5_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为1024、输出通道数为2048、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out5_2，输出特征图out5_2与输出特征图out5_1相加，得到尺寸为2048*2*2的第五卷积层的最终输出特征图out5；
步骤1.3.6 将最终输出特征图out5进行view操作展开为二维张量，输入全连接层Linear中，输出的2维向量分别对应小球藻及金藻类别的概率，从而得到具有小球藻及金藻类别信息的图像；经验证，小球藻及金藻的分类准确率如图3所示，可达到98%；
步骤1.4采用数字图像处理的方式将4889个小球藻及个6110个金藻类别信息随机粘贴，生成如图2所示的MS COCO标准格式的目标检测数据集（2400张，2000张为训练集、400张为测试集）。在制作数据集的同时需要获取目标粘贴位置的坐标，用以生成目标检测网络所需要的标注数据。数据标注格式遵循MS COCO数据集格式，包括三个类别的信息，其中包括图像信息、类别信息与目标信息，分别以列表的形式存储在JSON文件中。具体如下：
（1）图像信息：图片信息包含输入到检测网络的每张图像的长宽像素值、文件名，同时每张图像都有独有的ID编号，每张图像都生成一个字典格式的数据写入图像信息列表中。
（2）类别信息：类别信息包含需要检测的所有类别的类别名称，同时每个类别都有独有的ID编号，每个类别都生成一个字典格式的数据写入类别信息列表中。
（3）目标信息：目标信息则包含每个目标所占的面积、每个目标框左上角的坐标值及目标框的长宽数据、每个目标的具体类别ID编号以及每个目标所在的图片ID编号，同时每个目标都有独有的ID编号，以上这些信息都生成一个字典格式的数据写入目标信息中。经过粘贴与标注信息生成后，共生成目标检测数据，其中划分2000张图像作为训练集，400张图像作为验证集。
极大地节约了数据集标注阶段所花费的时间，同时也保证了标注数据的可靠性。
步骤2：目标分类识别训练
步骤2.1将目标检测数据集的图片输入TinyResNet10卷积神经网络进行特征提取：
步骤2.1.1将目标检测数据集的图片尺寸变成1000*1000，先进行卷积核为7*7、输出特征层64个、步长为2填充为3的第一卷积conv21_1操作，得到特征层，再依次进行BN与Relu操作，得到尺寸为64*500*500的特征图，之后再进行卷积核大小为3*3、步长为2、填充为1的最大池化操作，得到尺寸为64*250* 250的特征图out21；
步骤2.1.2将特征图out21传入第二卷积层中，先进行卷积核为3*3、输入通道数与输出通道数均为64、步长与填充均为1第一卷积conv22_1操作，再依次进行BN与Relu操作，再进行卷积核为3*3、输入通道数与输出通道数均为64、步长与填充均为1第二卷积conv22_2操作，再进行BN操作，最终输出尺寸为64*250*250的特征图out22；
步骤2.1.3将特征图out22传入第三卷积层中，所述第三卷积层分为两路，一路为基础残差结构，先进行卷积核为3*3、输入通道数为64、输出通道数为128、步长为2填充为1的第一卷积conv23_1操作，之后进行BN和Relu操作；再进行卷积核为3*3、输入通道数为128、输出通道数为128、步长为1填充为1的第二卷积conv23_2操作，之后进行BN操作，得到输出特征图out23_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为64、输出通道数为128、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out23_2，输出特征图out23_2与输出特征图out23_1相加，得到尺寸为128*125*125的第三卷积层的最终输出特征图out23；
步骤2.1.4将特征图out23传入第四卷积层中，所述第四卷积层分为两路，一路为基础残差结构，先进行卷积核为3*3、输入通道数为128、输出通道数为256、步长为2填充为1的第一卷积conv24_1操作，之后进行BN和Relu操作操作；再进行卷积核为3*3、输入通道数为256、输出通道数为256、步长为1填充为1的第二卷积conv24_2操作，之后进行BN操作，得到输出特征图out24_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为128、输出通道数为256、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out24_2，输出特征图out24_2与输出特征图out24_1相加，得到尺寸为256*63*63的第四卷积层的最终输出特征图out24；
步骤2.1.5将特征图out24传入第五卷积层中，所述第五卷积层分为两路，一路为基础残差结构，先进行卷积核为3*3、输入通道数为256、输出通道数为512、步长为2填充为1的第一卷积conv25_1操作，之后进行BN和Relu操作操作；再进行卷积核为3*3、输入通道数为512、输出通道数为512、步长为1填充为1的第二卷积conv25_2操作，之后进行BN操作，得到输出特征图out25_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为256、输出通道数为512、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out25_2，输出特征图out25_2与输出特征图out25_1相加，得到尺寸为512*32*32的第五卷积层的最终输出特征图out25；
步骤3：将最终输出特征图out25加入FPN结构，提取5张不同分辨率的特征图out3；
步骤4：设置RPN网络，采用长宽比例为0.8和1.0以及面积为52、152、202来生成锚点框对特征图out3进行区域生成，确定可能有目标的位置；
步骤5：ROI池化层根据可能有目标的位置，在特征图中提取相应的特征向量，之后分为两个分支，其中一个分支使用SoftMax分类获得该位置目标的类别，另一个分支利用BBox-Regression微调检测到的位置框以获得最终的准确位置。
本发明实施例在前500个批次的训练将学习率线性增加至0.02，以较大的学习率保证模型的收敛速度，在2600个批次的训练后将学习率衰减至0.002，以较小的学习率使网络模型进一步收敛，经过3600个批次的训练后，学习率减小至0.0002，以确保模型充分收敛，学习率变化如图4所示。
本发明在RPN结构中引入上节提出的针对单细胞藻类目标而设计的锚点框，将训练批次大小设置为8张样本一个批次，共进行12轮训练，每轮训练结束后对验证集进行一次验证。
本发明实施例的数据集是按照MS COCO数据集的格式进行构建的，所以在测评指标上，采用COCO数据集的标准方式来衡量本发明实施例的性能。其中，平均精准率(AveragePrecision，AP)与平均召回率(Average Recall，AR)均为在多个IoU阈值的检测条件下获取的精准率的平均值，在本发明实施例中，IoU阈值的取值范围设置在0.50-0.95之间，每次增加0.05共10个IoU阈值，相比较传统的只计算单个IoU阈值（0.50）的指标，多个IoU阈值求平均的方式可以更精准的衡量模型的性能。使用2000张训练数据集对分别以ResNet50、ResNet34、ResNet18、TinyResNet10四种特征提取网络作为骨干网络的FasterRCNN进行训练，在训练中使用针对小球藻和金藻微图像设计的锚点框，并加入FPN结构。每进行一轮训练，对400张验证集进行一次验证，得到对验证集的全部目标的平均精准率及平均召回率。不同骨干网络对验证集的预测平均精准率及平均召回率分别如图5、图6所示。
经过12轮训练后，采用4种不同特征提取骨干网络的检测算法对200张单细胞藻类显微图像验证集的检测性能如表1所示。
对比检测结果可以看出，基于ResNet50的特征提取网络可以更好的获得极小目标的图像特征，在准确率以及召回率上均高于其他三种特征提取网络大约3%，F1得分也要高于其他三种特征提取网络。
为了说明不同深度的特征提取网络对单细胞藻类显微图像训练资源占用以及检测速度的影响，本发明还对四种不同的特征提取网络的训练阶段的训练时间、显存占用以及验证阶段对400张验证集的检测时间进行统计。统计结果如表2所示。
表4 使用4种不同骨干网络的检测算法对训练效率及检测耗时统计
对比三种基本ResNet网络与发明的TinyResNet10的训练阶段资源占用以及验证阶段花费时间。随着特征提取网络的加深，训练时间与训练所占用的显存大小也在不断提高，对验证集所花费的检测时间也在不断提高。结合表1的数据来看，虽然采用50层深度的特征提取网络所获得的检测结果要好于其他三种结构较浅的特征提取网络，但所消耗的时间也在提高，而本发明的TinyResNet10网络结构在检测性能与18、34层结构的特征提取网络相似的前提下，可以有效的节约训练资源与检测时间，可以保证较低性能计算机的正常使用。
Claims (1)
1. 一种基于图像特征深度学习的小球藻和金藻分类识别方法，其特征在于将待分类识别图像输入至图像特征深度学习的计算机模型中处理，所述图像特征深度学习的计算机模型依次按照如下步骤构建：
步骤1：制备目标检测数据集
步骤1.1：在低倍率电子显微镜条件下，采集含小球藻和金藻的图像；
步骤1.2：将采集的图像经过OpenCV预处理；
步骤1.3：将经过OpenCV预处理的图像通过TinyResNet-15卷积神经网络对图像中的小球藻及金藻进行分类，得到具有小球藻和金藻类别信息的图像；
所述TinyResNet-15卷积神经网络对图像中的小球藻及金藻进行分类步骤如下：
步骤1.3.1将图像传入第一卷积层中，先进行卷积核为3*3、输入通道数为3、输出通道数为64、步长为2填充为3的卷积操作，之后依次进行BN和Relu操作，输出尺寸为64*26*26的特征图；将所述特征图再进行卷积核为3*3、步长为2的最大池化操作，得到尺寸为64*13*13的第一卷积层最终输出特征图out1；
步骤1.3.2将第一卷积层最终输出特征图out1传入第二卷积层中，所述第二卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数与输出通道数均为64、步长为1无填充的第一卷积conv2_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为64、步长填充均为1的第二卷积conv2_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为64、输出通道数为256、步长为1无填充的第三卷积conv2_3操作，之后依次是BN和Relu操作，得到输出特征图out2_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为64、输出通道数为256、步长为1无填充的卷积操作，之后进行BN操作得到输出特征图out2_2，输出特征图out2_2与输出特征图out2_1相加，得到尺寸为256*13*13的第二卷积层的最终输出特征图out2；
步骤1.3.3将第二卷积层最终输出特征图out2传入第三卷积层中，所述第三卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数为256、输出通道数为128、步长为2无填充的第一卷积conv3_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为128、步长填充均为1的第二卷积conv3_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为256、输出通道数为512、步长为1无填充的第三卷积conv3_3操作，之后依次是BN和Relu操作，得到输出特征图out3_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为256、输出通道数为512、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out3_2，输出特征图out3_2与输出特征图out3_1相加，得到尺寸为512*7*7的第三卷积层的最终输出特征图out3；
步骤1.3.4将第三卷积层最终输出特征图out3传入第四卷积层中，所述第四卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数为512、输出通道数为256、步长为2无填充的第一卷积conv4_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为256、步长填充均为1的第二卷积conv4_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为256、输出通道数为1024、步长为1无填充的第三卷积conv4_3操作，之后依次是BN和Relu操作，得到输出特征图out4_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为512、输出通道数为1024、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out4_2，输出特征图out4_2与输出特征图out4_1相加，得到尺寸为512*7*7的第三卷积层的最终输出特征图out4；
步骤1.3.5将第四卷积层最终输出特征图out4传入第五卷积层中，所述第五卷积层分为两路，一路为基础残差结构，先进行卷积核为1*1、输入通道数为1024、输出通道数为512、步长为2无填充的第一卷积conv5_1操作，之后进行BN操作；再进行卷积核为3*3、输入通道数与输出通道数均为512、步长填充均为1的第二卷积conv5_2操作，之后是BN操作；再进行卷积核为1*1、输入通道数为512、输出通道数为2048、步长为1无填充的第三卷积conv5_3操作，之后依次是BN和Relu操作，得到输出特征图out5_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为1024、输出通道数为2048、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out5_2，输出特征图out5_2与输出特征图out5_1相加，得到尺寸为2048*2*2的第五卷积层的最终输出特征图out5；
步骤1.3.6 将最终输出特征图out5进行view操作展开为二维张量，输入全连接层Linear中，输出的2维向量分别对应小球藻及金藻类别的概率，从而得到具有小球藻及金藻类别信息的图像；
步骤1.4采用数字图像处理的方式将每个小球藻及金藻类别信息随机粘贴，人工生成标准格式的目标检测数据集；
步骤2：目标分类识别训练
步骤2.1将目标检测数据集图片输入TinyResNet10卷积神经网络进行特征提取：
步骤2.1.1将目标检测数据集的图片尺寸变成1000*1000，先进行卷积核为7*7、输出特征层64个、步长为2填充为3的第一卷积conv21_1操作，得到特征层，再依次进行BN与Relu操作，得到尺寸为64*500*500的特征图，之后再进行卷积核大小为3*3、步长为2、填充为1的最大池化操作，得到尺寸为64*250* 250的特征图out21；
步骤2.1.2将特征图out21传入第二卷积层中，先进行卷积核为3*3、输入通道数与输出通道数均为64、步长与填充均为1第一卷积conv22_1操作，再依次进行BN与Relu操作，再进行卷积核为3*3、输入通道数与输出通道数均为64、步长与填充均为1第二卷积conv22_2操作，再进行BN操作，最终输出尺寸为64*250*250的特征图out22；
步骤2.1.3将特征图out22传入第三卷积层中，所述第三卷积层分为两路，一路为基础残差结构，先进行卷积核为3*3、输入通道数为64、输出通道数为128、步长为2填充为1的第一卷积conv23_1操作，之后进行BN和Relu操作；再进行卷积核为3*3、输入通道数为128、输出通道数为128、步长为1填充为1的第二卷积conv23_2操作，之后进行BN操作，得到输出特征图out23_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为64、输出通道数为128、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out23_2，输出特征图out23_2与输出特征图out23_1相加，得到尺寸为128*125*125的第三卷积层的最终输出特征图out23；
步骤2.1.4将特征图out23传入第四卷积层中，所述第四卷积层分为两路，一路为基础残差结构，先进行卷积核为3*3、输入通道数为128、输出通道数为256、步长为2填充为1的第一卷积conv24_1操作，之后进行BN和Relu操作操作；再进行卷积核为3*3、输入通道数为256、输出通道数为256、步长为1填充为1的第二卷积conv24_2操作，之后进行BN操作，得到输出特征图out24_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为128、输出通道数为256、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out24_2，输出特征图out24_2与输出特征图out24_1相加，得到尺寸为256*63*63的第四卷积层的最终输出特征图out24；
步骤2.1.5将特征图out24传入第五卷积层中，所述第五卷积层分为两路，一路为基础残差结构，先进行卷积核为3*3、输入通道数为256、输出通道数为512、步长为2填充为1的第一卷积conv25_1操作，之后进行BN和Relu操作操作；再进行卷积核为3*3、输入通道数为512、输出通道数为512、步长为1填充为1的第二卷积conv25_2操作，之后进行BN操作，得到输出特征图out25_1；另一路为下采样结构，先进行一个卷积核为1*1、输入通道数为256、输出通道数为512、步长为2无填充的卷积操作，之后进行BN操作得到输出特征图out25_2，输出特征图out25_2与输出特征图out25_1相加，得到尺寸为512*32*32的第五卷积层的最终输出特征图out25；
步骤3：将最终输出特征图out25加入FPN结构，提取5张不同分辨率的特征图out3；
步骤4：设置RPN网络，采用长宽比例为0.8和1.0以及面积为52、152、202来生成锚点框对特征图out3进行区域生成，确定可能有目标的位置；
步骤5：ROI池化层根据可能有目标的位置，在特征图中提取相应的特征向量，之后分为两个分支，其中一个分支使用SoftMax分类获得该位置目标的类别，另一个分支利用BBox-Regression微调检测到的位置框以获得最终的准确位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110776867.6A CN113435389B (zh) | 2021-07-09 | 2021-07-09 | 基于图像特征深度学习的小球藻和金藻分类识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110776867.6A CN113435389B (zh) | 2021-07-09 | 2021-07-09 | 基于图像特征深度学习的小球藻和金藻分类识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113435389A true CN113435389A (zh) | 2021-09-24 |
| CN113435389B CN113435389B (zh) | 2024-03-01 |
Family
ID=77759766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110776867.6A Active CN113435389B (zh) | 2021-07-09 | 2021-07-09 | 基于图像特征深度学习的小球藻和金藻分类识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113435389B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115925076A (zh) * | 2023-03-09 | 2023-04-07 | 湖南大学 | 一种基于机器视觉与深度学习的混凝自动投药方法与系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578060A (zh) * | 2017-08-14 | 2018-01-12 | 电子科技大学 | 一种基于可判别区域的深度神经网络用于菜品图像分类的方法 |
| CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
| CN108304812A (zh) * | 2018-02-07 | 2018-07-20 | 郑州大学西亚斯国际学院 | 一种基于卷积神经网络和多视频图像的作物病害识别方法 |
| CN109949284A (zh) * | 2019-03-12 | 2019-06-28 | 天津瑟威兰斯科技有限公司 | 基于深度学习卷积神经网络的水藻细胞分析方法及系统 |
| CN109977780A (zh) * | 2019-02-26 | 2019-07-05 | 广东工业大学 | 一种基于深度学习算法的硅藻的检测与识别方法 |
| CN110245562A (zh) * | 2019-05-13 | 2019-09-17 | 中国水产科学研究院东海水产研究所 | 基于深度学习的海洋产毒微藻种类自动识别方法 |
| CN110321967A (zh) * | 2019-07-11 | 2019-10-11 | 南京邮电大学 | 基于卷积神经网络的图像分类改进算法 |
| CN110532941A (zh) * | 2019-08-27 | 2019-12-03 | 安徽生物工程学校 | 一种常见藻类的特征图像提取方法 |
| KR20200023221A (ko) * | 2018-08-23 | 2020-03-04 | 서울대학교산학협력단 | 딥러닝 기반의 실시간 대상 추적 방법 및 시스템 |
| AU2020101229A4 (en) * | 2020-07-02 | 2020-08-06 | South China University Of Technology | A Text Line Recognition Method in Chinese Scenes Based on Residual Convolutional and Recurrent Neural Networks |
| CN111783590A (zh) * | 2020-06-24 | 2020-10-16 | 西北工业大学 | 一种基于度量学习的多类别小目标检测方法 |
-
2021
- 2021-07-09 CN CN202110776867.6A patent/CN113435389B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578060A (zh) * | 2017-08-14 | 2018-01-12 | 电子科技大学 | 一种基于可判别区域的深度神经网络用于菜品图像分类的方法 |
| CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
| CN108304812A (zh) * | 2018-02-07 | 2018-07-20 | 郑州大学西亚斯国际学院 | 一种基于卷积神经网络和多视频图像的作物病害识别方法 |
| KR20200023221A (ko) * | 2018-08-23 | 2020-03-04 | 서울대학교산학협력단 | 딥러닝 기반의 실시간 대상 추적 방법 및 시스템 |
| CN109977780A (zh) * | 2019-02-26 | 2019-07-05 | 广东工业大学 | 一种基于深度学习算法的硅藻的检测与识别方法 |
| CN109949284A (zh) * | 2019-03-12 | 2019-06-28 | 天津瑟威兰斯科技有限公司 | 基于深度学习卷积神经网络的水藻细胞分析方法及系统 |
| CN110245562A (zh) * | 2019-05-13 | 2019-09-17 | 中国水产科学研究院东海水产研究所 | 基于深度学习的海洋产毒微藻种类自动识别方法 |
| CN110321967A (zh) * | 2019-07-11 | 2019-10-11 | 南京邮电大学 | 基于卷积神经网络的图像分类改进算法 |
| CN110532941A (zh) * | 2019-08-27 | 2019-12-03 | 安徽生物工程学校 | 一种常见藻类的特征图像提取方法 |
| CN111783590A (zh) * | 2020-06-24 | 2020-10-16 | 西北工业大学 | 一种基于度量学习的多类别小目标检测方法 |
| AU2020101229A4 (en) * | 2020-07-02 | 2020-08-06 | South China University Of Technology | A Text Line Recognition Method in Chinese Scenes Based on Residual Convolutional and Recurrent Neural Networks |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115925076A (zh) * | 2023-03-09 | 2023-04-07 | 湖南大学 | 一种基于机器视觉与深度学习的混凝自动投药方法与系统 |
| CN115925076B (zh) * | 2023-03-09 | 2023-05-23 | 湖南大学 | 一种基于机器视觉与深度学习的混凝自动投药方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113435389B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112396002B (zh) | 一种基于SE-YOLOv3的轻量级遥感目标检测方法 | |
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
| CN109740460B (zh) | 基于深度残差密集网络的光学遥感图像舰船检测方法 | |
| CN108510504B (zh) | 图像分割方法和装置 | |
| CN111626993A (zh) | 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统 | |
| CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
| CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN110210492B (zh) | 一种基于深度学习的立体图像视觉显著性检测方法 | |
| CN112529090B (zh) | 一种基于改进YOLOv3的小目标检测方法 | |
| CN111738114B (zh) | 基于无锚点精确采样遥感图像车辆目标检测方法 | |
| CN114022408A (zh) | 基于多尺度卷积神经网络的遥感图像云检测方法 | |
| CN112926486A (zh) | 一种舰船小目标的改进RFBnet目标检测算法 | |
| US20220036067A1 (en) | Method, apparatus and system for identifying target objects | |
| CN113435254A (zh) | 一种基于哨兵二号影像的耕地深度学习提取方法 | |
| CN112329771A (zh) | 一种基于深度学习的建筑材料样本识别方法 | |
| CN112037225A (zh) | 一种基于卷积神经的海洋船舶图像分割方法 | |
| CN113435389B (zh) | 基于图像特征深度学习的小球藻和金藻分类识别方法 | |
| CN113610178A (zh) | 一种基于视频监控图像的内河船舶目标检测方法和装置 | |
| CN117315752A (zh) | 人脸情绪识别网络模型的训练方法、装置、设备和介质 | |
| CN111881803A (zh) | 一种基于改进YOLOv3的畜脸识别方法 | |
| CN113344110B (zh) | 一种基于超分辨率重建的模糊图像分类方法 | |
| CN116452408A (zh) | 一种基于风格迁移的透明液体感知方法 | |
| CN115223033A (zh) | 一种合成孔径声呐图像目标分类方法及系统 | |
| EP3506170A2 (fr) | Procede de formation d'un reseau de neurones pour la reconnaissance d'une sequence de caracteres et procede de reconnaissance associe |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Liu Dan Inventor after: Cheng Yuan Inventor after: Wang Pengqi Inventor after: Wang Yucheng Inventor after: Bi Hai Inventor after: Song Jinyan Inventor after: Zhao Yunli Inventor before: Liu Dan Inventor before: Cheng Yuan Inventor before: Wang Pengqi Inventor before: Wang Yucheng Inventor before: Bi Hai Inventor before: Song Jinyan Inventor before: Zhao Yunli |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |