CN117392672B - 流式细胞分类模型的获取方法、分类方法及相关设备 - Google Patents
流式细胞分类模型的获取方法、分类方法及相关设备 Download PDFInfo
- Publication number
- CN117392672B CN117392672B CN202311685823.8A CN202311685823A CN117392672B CN 117392672 B CN117392672 B CN 117392672B CN 202311685823 A CN202311685823 A CN 202311685823A CN 117392672 B CN117392672 B CN 117392672B
- Authority
- CN
- China
- Prior art keywords
- classification model
- layer
- convolution
- module
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013145 classification model Methods 0.000 title claims abstract description 195
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 37
- 102100030148 Integrator complex subunit 8 Human genes 0.000 claims abstract description 24
- 101710092891 Integrator complex subunit 8 Proteins 0.000 claims abstract description 24
- 238000013139 quantization Methods 0.000 claims abstract description 19
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 27
- 238000000684 flow cytometry Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000009499 grossing Methods 0.000 claims description 17
- 230000009191 jumping Effects 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 12
- 210000004027 cell Anatomy 0.000 description 90
- 239000013598 vector Substances 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 241000195585 Chlamydomonas Species 0.000 description 3
- 238000002679 ablation Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 229910010293 ceramic material Inorganic materials 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003093 intracellular space Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 210000004895 subcellular structure Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000002918 waste heat Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及细胞分类技术领域，具体公开了一种流式细胞分类模型的获取方法、分类方法及相关设备，其中，该流式细胞分类模型的获取方法包括步骤：构建初始网络模型；训练所述初始网络模型以获取第一分类模型；对所述第一分类模型进行重参数化处理以获取第二分类模型；对所述第二分类模型进行Int8量化处理，并在TensorRT框架中重建Int8量化处理后的第二分类模型以获取最终分类模型；该流式细胞分类模型的获取方法对具有第一卷积残差模块和第二卷积残差模块的第一分类模型依次进行训练优化、重参数处理、Int8量化处理后，在TensorRT框架中重建获取最终分类模型，该最终分类模型具备高精度、高速度的分类效果。
Description
技术领域
本申请涉及细胞分类技术领域，具体而言，涉及一种流式细胞分类模型的获取方法、分类方法及相关设备。
背景技术
成像流式细胞分选技术能分离鉴定和有效获取具有独特空间和形态特征的单细胞，其基于图像识别算法进行细胞分类，具有显微成像观察的高内涵优势，其通过拍摄细胞图像能够高分辨率地读取细胞形态和亚细胞结构定位，有效弥补常规流式细胞术低维参数空间内缺乏亚细胞空间分辨率的不足。然而，图像识别算法的相对高延时往往大幅度拉低了流式细胞检测的高通量优势，严重制约了细胞分类效率，尽管现有基于深度学习的方法（如经典的ResNet、MobileNet和FasterNet等）在图像分类任务上表现出色，特别在识别精度上已经达成了预期，但在要求高速实时性能的应用中，仍然难以满足实时分类的需求，其主要原因是深度神经网络通常需要大量计算资源，由此导致在推理过程中耗费较长时间，难以应用在对于高通量细胞分选这类需要根据图像分析结果来快速做出决策的应用场景。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请的目的在于提供一种流式细胞分类模型的获取方法、分类方法及相关设备，以在保证高分类精度前提下，极大地提高细胞分选效率。
第一方面，本申请提供了一种流式细胞分类模型的获取方法，应用于成像流式细胞分选仪中，所述流式细胞分类模型的获取方法包括以下步骤：
构建初始网络模型，所述初始网络模型包括依次连接的第一卷积残差模块、第二卷积残差模块及全连接模块，所述第一卷积残差模块包括并行设置的一个基础模块和一个含有BN层的跳跃连接分支，所述第二卷积残差模块包括并行设置的多个基础模块和一个含有BN层的跳跃连接分支；
训练所述初始网络模型以获取第一分类模型；
对所述第一分类模型进行重参数化处理以获取第二分类模型；
对所述第二分类模型进行Int8量化处理，并在TensorRT框架中重建Int8量化处理后的第二分类模型以获取最终分类模型。
本申请的流式细胞分类模型的获取方法对具有第一卷积残差模块和第二卷积残差模块的第一分类模型依次进行训练优化、重参数处理、Int8量化处理后，在TensorRT框架中重建获取最终分类模型，该最终分类模型作为推理引擎使用，具备高精度、高速度的分类效果，其应用在成像流式细胞分选仪中能在保证高分类精度前提下，极大地提高细胞分选效率。
所述的流式细胞分类模型的获取方法，其中，所述基础模块包括1个第一DW卷积层和与该第一DW卷积层连接的1个BN层；
所述对所述第一分类模型进行重参数化处理以获取第二分类模型的步骤包括：
将所述第一分类模型中的各个基础模块的第一DW卷积层和BN层合并为第二DW卷积层；
将所述第二卷积残差模块中的多个第二DW卷积层合并为第三DW卷积层；
将所述含有BN层的跳跃连接分支转换为第四DW卷积层；
将所述第一卷积残差模块中的第二DW卷积层和第四DW卷积层合并为第五DW卷积层，并将所述第二卷积残差模块中的第三DW卷积层和第四DW卷积层合并为第六DW卷积层。
本申请的流式细胞分类模型的获取方法基于上述步骤将第一分类模型的DW卷积层与BN层、包含BN层的跳跃连接分支按上述结合规律合并，极大地简化了分类模型的网络结构，能有效降低模型分类计算量和内存访问成本，使得模型推理预测效率更高。
所述的流式细胞分类模型的获取方法，其中，所述将所述含有BN层的跳跃连接分支转换为第四DW卷积层的步骤包括：
在所述含有BN层的跳跃连接分支的BN层前添加第七DW卷积层，所述第七DW卷积层的中心卷积核权重数值为1，其余权重数值均为0；
合并所述含有BN层的跳跃连接分支的BN层和所述第七DW卷积层以获取第四DW卷积层。
所述的流式细胞分类模型的获取方法，其中，所述训练所述初始网络模型以获取第一分类模型的步骤包括：
结合标签平滑处理和交叉熵损失函数优化训练所述初始网络模型以获取第一分类模型。
所述的流式细胞分类模型的获取方法，其中，结合标签平滑处理和交叉熵损失函数的步骤包括：
根据所述标签平滑处理获取不同样本的类别标签平滑值；
根据所述类别标签平滑值构建交叉熵损失函数，所述交叉熵损失函数表达式为：
；
其中，H为损失值，i为样本编号，p i 为样本i的类别标签平滑值，q i 为样本i利用所述初始网络模型输出的预测类别，N为样本总数。
所述的流式细胞分类模型的获取方法，其中，所述标签平滑处理的表达式如下：
；
其中，y为样本i的真实类别，ε为平滑常数，K为类别总数。
第二方面，本申请还提供了一种流式细胞的分类方法，应用于成像流式细胞分选仪中，所述流式细胞的分类方法包括以下步骤：
根据第一方面提供的流式细胞分类模型的获取方法获取的最终分类模型对待分类的细胞图像进行分类。
本申请的流式细胞的分类方法利用第一方面提供的流式细胞分类模型的获取方法训练获取最终分类模型，该最终分类模型结合了深度学习、结构重参数化和硬件加速技术进行构建，其作为推理引擎使用时具备高精度、高速度的分类效果，其应用在流式细胞分选仪中能在保证高分类精度前提下，极大地提高细胞分选效率，从而使得本申请的流式细胞的分类方法具有高效、高精度的细胞分选能力。
第三方面，本申请还提供了一种流式细胞分类模型的获取装置，应用于成像流式细胞分选仪中，所述流式细胞分类模型的获取装置包括：
第一构建模块，用于构建初始网络模型，所述初始网络模型包括依次连接的第一卷积残差模块、第二卷积残差模块及全连接模块，所述第一卷积残差模块包括并行设置的一个基础模块和一个含有BN层的跳跃连接分支，所述第二卷积残差模块包括并行设置的多个基础模块和一个含有BN层的跳跃连接分支；
训练模块，用于训练所述初始网络模型以获取第一分类模型；
重参模块，用于对所述第一分类模型进行重参数化处理以获取第二分类模型；
第二构建模块，用于对所述第二分类模型进行Int8量化处理，并在TensorRT框架中重建Int8量化处理后的第二分类模型以获取最终分类模型。
本申请的流式细胞分类模型的获取装置对具有第一卷积残差模块和第二卷积残差模块的第一分类模型依次进行训练优化、重参数处理、Int8量化处理后，在TensorRT框架中重建获取最终分类模型，该最终分类模型作为推理引擎使用，具备高精度、高速度的分类效果，其应用在成像流式细胞分选仪中能在保证高分类精度前提下，极大地提高细胞分选效率。
第四方面，本申请还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面或第二方面提供的所述方法中的步骤。
第五方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面或第二方面提供的所述方法中的步骤。
由上可知，本申请提供了一种流式细胞分类模型的获取方法、分类方法及相关设备，其中，流式细胞分类模型的获取方法对具有第一卷积残差模块和第二卷积残差模块的第一分类模型依次进行训练优化、重参数处理、Int8量化处理后，在TensorRT框架中重建获取最终分类模型，该最终分类模型作为推理引擎使用，具备高精度、高速度的分类效果，其应用在成像流式细胞分选仪中能在保证高分类精度前提下，极大地提高细胞分选效率。
附图说明
图1为本申请实施例提供的流式细胞分类模型的获取方法的流程图。
图2-图5为对第一分类模型进行重参数化处理以获取第二分类模型的过程示意图。
图6为细胞图像数据集中的一个衣藻图像。
图7为细胞图像数据集中的一个血小板图像。
图8为本申请实施例提供的流式细胞分类模型的获取装置的结构示意图。
图9为本申请实施例提供的电子设备的结构示意图。
附图标记：301、第一构建模块；302、训练模块；303、重参模块；304、第二构建模块；401、处理器；402、存储器；403、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
第一方面，请参照图1，本申请一些实施例提供了一种流式细胞分类模型的获取方法，应用于成像流式细胞分选仪中，流式细胞分类模型的获取方法包括以下步骤：
S1、构建初始网络模型，初始网络模型包括依次连接的第一卷积残差模块、第二卷积残差模块及全连接模块，第一卷积残差模块包括并行设置的一个基础模块和一个含有BN层的跳跃连接分支，第二卷积残差模块包括并行设置的多个基础模块和一个含有BN层的跳跃连接分支；
具体地，初始网络模型为未进行优化训练的图像分类模型，其用于对流式细胞图像进行分类处理。
更具体地，初始网络模型设置由第一卷积残差模块、第二卷积残差模块构成的残差结构能有效缓解梯度消失和过拟合问题，能确保初始网络模型能顺利完成优化训练，并确保其在训练前后均能顺利对流式细胞图像进行分类处理。
更具体地，初始网络模型设置第一卷积残差模块、第二卷积残差模块及全连接模块组成的三层结构能使该网络可以学习图像中深层和浅层特征，残差结构的引入缓解了图像特征的信息潜在缺失问题；其中，第二卷积残差模块中并行设置多个基础模块和含有BN层的跳跃连接分支能使该网络能够捕捉多层次、多尺度的信息，提高模型对细胞图像特征的理解和表征能力。
更具体地，第二卷积残差模块中的并行设置的基础模块的具体数量可根据视觉任务的复杂程度（即流式细胞图像的分类需求和图像复杂度）来确定，一般情况下，对应于视觉任务越复杂，第二卷积残差模块需要设置越多的基础模块，在本申请实施例中，第二卷积残差模块中的基础模块优选为4个。
更具体地，基础模块为对应卷积残差模块中的包含卷积层的残差结构。
S2、训练初始网络模型以获取第一分类模型；
具体地，步骤S2基于预先准备的细胞图像数据集来训练初始网络模型，该预先准备的细胞图像数据集为预先进行标注的流式细胞图像集合，能用于训练初始网络模型以使该初始网络模型能形成准确对流式细胞图像进行分类的第一分类模型。
更具体地，在本申请实施例中，该预先准备的细胞图像数据集划分为训练集、验证集和测试集，分别用于对初始网络模型进行训练、验证及测试，本申请实施例的流式细胞分类模型的获取方法固定验证及测试及格的初始网络模型的网络参数来获取第一分类模型。
S3、对第一分类模型进行重参数化处理以获取第二分类模型；
具体地，重参数化处理第一分类模型目的是在保留第一分类模型的参数学习效果的基础上简化其网络结构，以在确保第一分类模型的分类精度的情况下降低模型的计算量和内存访问成本，以使模型更轻量化，从而提高模型分类速率，故基于第一分类模型重参数化处理获取的第二分类模型相当于第一分类模型精简化后的等效神经网络模型。
更具体地，第一分类模型的重参数化处理过程优选为将其内第一卷积残差模块重参数化处理为一个卷积层、将其内第二卷积残差模块重参数化处理为一个卷积层，从而使得重参数化处理获取的第二分类模型包括串行的2个卷积层和1个全连接层，以在保留第一分类模型的参数学习效果的情况下最大幅度地简化其网络结构。
S4、对第二分类模型进行Int8量化处理，并在TensorRT框架中重建Int8量化处理后的第二分类模型以获取最终分类模型。
具体地，步骤S3获取的第二分类模型已能高效地完成流式细胞的分类推理，可直接在推理阶段使用，为了进一步提高模型的分类推理效率，本申请实施例的流式细胞分类模型的获取方法基于Int8量化处理后的第二分类模型在TensorRT框架构建最终分类模型作为推理引擎，以充分利用GPU硬件加速，实现高效的实时分类推理以完成流式细胞分类，该推理引擎能外延至嵌入式设备和移动终端来实现部署，故能部署在成像流式细胞分选仪中。
更具体地，Int8量化处理用于将第二分类模型的神经网络权重文件映射成 int8的数据，在本申请实施例中，该网络权重文件优选为转换为ONNX格式文件，该格式文件具有良好的兼容性，能兼容多种深度学习框架使用，以便灵活部署在不同对象中使用；解析该ONNX格式文件便能在TensorRT（NVIDIA TensorRT）框架中构建与第二分类模型对应的最终分类模型，作为推理引擎使用的最终分类模型能充分利用GPU硬件加速，具有高效的实时推理性能。
本申请实施例的流式细胞分类模型的获取方法对具有第一卷积残差模块和第二卷积残差模块的第一分类模型依次进行训练优化、重参数处理、Int8量化处理后，在TensorRT框架中重建获取最终分类模型，该最终分类模型作为推理引擎使用，具备高精度、高速度的分类效果，其应用在成像流式细胞分选仪中能在保证高分类精度前提下，极大地提高细胞分选效率。
在一些优选的实施方式中，基础模块包括1个第一DW卷积层和与该第一DW卷积层连接的1个BN层；
第一分类模型进行重参数化处理获取第二分类模型的变化过程如图2-图5所示；其中，步骤S3中的重参数化处理基于卷积计算满足分配律、结合律的对称性性质来进行，该重参数化处理过程包括将多个卷积层或卷积层与BN层结合的处理过程，通过对结合对象相加并赋予单个卷积以生成推理阶段可以使用的等效单分支结构，以在保持分类精度不变的同时带来更快的推理速度；
在本申请实施例中，鉴于第一分类模型包含多个卷积残差模块，每个卷积残差模块中包含由基础模块和含有BN层的跳跃连接分支组成的分支结构，且第二卷积残差模块还包含了多个基础模块，为使得该第一分类模型的网络结构重参数化处理过程清晰无误，对第一分类模型进行重参数化处理以获取第二分类模型的步骤包括：
S31、将第一分类模型中的各个基础模块的第一DW卷积层和BN层合并为第二DW卷积层；
具体地，BN层为批归一化层（Batch Normalization），DW卷积层为深度（通道）卷积层（Depthwise convolution）。
更具体地，在本申请实施例中，第一DW卷积层均为3×3的3 Depthwise卷积层，其卷积宽度均为16（即卷积核个数为16），相比于传统的64宽度，该宽度有助于降低模型的复杂性、减少内存消耗、并减少过拟合的风险。
更具体地，步骤S31将每个基础模块中的3×3的第一DW卷积层与其相连的BN层进行合并，能得到分组数（宽度）为16的3×3的第二DW卷积层，以将各个基础模块中的BN层去除，从而降低对应分类模型在推理阶段产生的推理延迟。
S32、将第二卷积残差模块中的多个第二DW卷积层合并为第三DW卷积层；
具体地，经过步骤S31处理后，第一卷积残差模块精简为包括并行设置的一个第二DW卷积层和一个含有BN层的跳跃连接分支，第二卷积残差模块精简为包括并行设置的多个第二DW卷积层和一个含有BN层的跳跃连接分支；步骤S32将该第二卷积残差模块进一步精简，将其内并行设置的所有第二DW卷积层合并为一个宽度为16的3×3的第三DW卷积层，以将其内的多个分支结构合并为与含有BN层的跳跃连接分支并行设置的单个分支结构，以进一步降低对应分类模型在推理阶段产生的推理延迟。
S33、将含有BN层的跳跃连接分支转换为第四DW卷积层；
具体地，在本申请实施例中，步骤S32和步骤S33也可以是同时执行，还可以是先执行步骤S33再执行步骤S32。
S34、将第一卷积残差模块中的第二DW卷积层和第四DW卷积层合并为第五DW卷积层，并将第二卷积残差模块中的第三DW卷积层和第四DW卷积层合并为第六DW卷积层。
具体地，为了进一步精简分类模型，本申请实施例的流式细胞分类模型的获取方法需要将含有BN层的跳跃连接分支转变为可以合并精简的对象，故需要步骤S33将含有BN层的跳跃连接分支转换为宽度为16的3×3的第四DW卷积层，即对含有BN层的跳跃连接分支进行结构重参数化处理以生成第四DW卷积层，其后再根据步骤S34将对应卷积残差模块中的所有并行设置的DW卷积层整合为1个宽度为16的3×3的DW卷积层，以实现跳跃连接分支的去除，以获取第二分类模型，使得该第二分类模型具有极低的推理延迟。
更具体地，在本申请实施例中，步骤S34处理后获取的分类模型即为第二分类模型，其包括串行的2个卷积层和1个全连接层，2个串行的卷积层分别为上述第五DW卷积层和第六DW卷积层。
需要说明的是，本申请实施例的流式细胞分类模型的获取方法中的重参数化处理旨在精简第一分类模型以获取分类速度更高的第二分类模型，其中，步骤S31、步骤S32、步骤S34均具有精简提速效果，因此，在别的实施方式中，步骤S3还可以是仅执行步骤S31或步骤31与步骤S32的组合步骤来获取第二分类模型。
更具体地，本申请实施例的流式细胞分类模型的获取方法基于步骤S31-步骤S34将第一分类模型的DW卷积层与BN层、包含BN层的跳跃连接分支按上述结合规律合并，极大地简化了分类模型的网络结构，能有效降低模型分类计算量和内存访问成本，使得模型推理预测效率更高。
在一些优选的实施方式中，将含有BN层的跳跃连接分支转换为第四DW卷积层的步骤包括：
S331、在含有BN层的跳跃连接分支的BN层前添加第七DW卷积层，第七DW卷积层的中心卷积核权重数值为1，其余权重数值均为0；
S332、合并含有BN层的跳跃连接分支的BN层和第七DW卷积层以获取第四DW卷积层。
具体地，第七DW卷积层也是宽度为16的3×3的DW卷积层，其中心卷积核权重数值为1、其余权重数值均为0，与含有BN层的跳跃连接分支的BN层连接能不改变该BN层的输出，在此基础上将该跳跃连接分支的BN层和第七DW卷积层合并便能获取宽度为16的3×3的第四DW卷积层，以为后续去除跳跃连接分支做准备。
在本申请实施例中，步骤S2采用梯度下降算法优化初始网络模型，直至该初始网络模型的神经网络收敛且损失值不再变化或达到预设迭代步长时，保存该初始网络模型的网络参数以获取第一分类模型。
在一些优选的实施方式中，训练初始网络模型以获取第一分类模型的步骤包括：
S21、结合标签平滑处理和交叉熵损失函数优化训练初始网络模型以获取第一分类模型。
具体地，在本申请实施中，步骤S21在训练过程中，初始网络模型的神经网络利用交叉熵损失函数来计算损失值，并在交叉熵损失函数中加入类别标签平滑值作为输入参数；单纯的交叉熵损失只考虑到了正确标签的位置的损失，而忽略了错误标签位置的损失，容易产生过拟合问题；本申请实施例的流式细胞分类模型的获取方法结合标签平滑处理和交叉熵损失函数来对初始网络模型进行优化，能有效避免初始网络模型出现过拟合问题，并能防止初始网络模型在训练过程中过于相信真实标签，以提高步骤S21获取得到的第一分类模型在未知数据上的泛化能力。
在一些更优选的实施方式中，标签平滑处理通过soft one-hot（softmax函数配合独热编码处理标签）来加入噪声，以减少了真实样本标签的类别在计算损失函数时占有的权重，从而起到抑制过拟合的效果。
在一些优选的实施方式中，结合标签平滑处理和交叉熵损失函数的步骤包括：
S211、根据标签平滑处理获取不同样本的类别标签平滑值；
S212、根据类别标签平滑值构建交叉熵损失函数，交叉熵损失函数表达式为：
（1）
其中，H为损失值，i为样本编号，p i 为样本i的类别标签平滑值，q i 为样本i利用初始网络模型输出的预测类别，N为样本总数，即预先准备的细胞图像数据集中用于训练初始网络模型的样本的数量。
具体地，标签平滑处理生成的类别标签平滑值作为系数设置在交叉熵损失函数中，能有效防止初始网络模型训练过程中出现过拟合现象，以提高模型的升泛化能力。
在一些优选的实施方式中，标签平滑处理的表达式如下：
（2）
其中，y为样本i的真实类别，ε为平滑常数，K为类别总数，即为预先准备的细胞图像数据集中的样本的类别总数。
具体地，根据式（1）可知，为确保H能顺利收敛，ε需设置为较小的值，在本申请实施例中，ε优选为0.1，即样本为真实类别时，其对应的类别标签平滑值为0.9，样本为非真实类别时，其对应的类别标签平滑值为0.1/(K-1)。
在一些优选的实施方式中，如图2所示，第一卷积残差模块输出的特征向量输入到第二卷积残差模块的并行设置的多个基础模块中，进行并行处理和归一化处理以生成多个特征向量，这多个特征向量需要进行相加操作以获取组合特征向量，再利用ReLU激活函数进行处理，再利用全局平均池化处理后将组合特征向量输入至全连接层，再利用分类器计算获取分类结果。
具体地，ReLU激活函数计算公式如下：
（3）
其中，x为输入的特征向量。
更具体地，分类器优选为Softmax函数，其计算公式如下：
（4）
其中，表示当前细胞图像属于类别k的概率值，z为输入向量，D为向量维数，e为自然常数，d为维度，故该Softmax函数为相当于将一个含任意实数的D维向量z“压缩”到另一个D维实向量/>中，使得其输出的每一个元素的范围都在（0,1）之间，且所有元素之和为1，即用于计算当前细胞图像属于不同类别的概率，从而实现细胞分类。
在一些优选的实施方式中，在步骤S31中，第一DW卷积层和BN层基于下式联合计算进行合并：
（5）
其中，O j 表示第j个通道的输出，I和F分别表示输入和分组数为16的3×3Depthwise卷积，I*F表示特征图，（I*F） j 为特征图在j通道上的特征，u j 和σj分别表示特征图I*F的第j个通道的均值和标准差，γ j 和β j 分别表示BN层学习得到的标准差和均值。
进一步地，上述分组数为16的3×3Depthwise卷积的卷积核权重和偏置的计算方式如下：
（6）
（7）
其中，F j 表示合并后的分组数为16的3×3 Depthwise卷积中第j个卷积核（对应于通道数）的参数权重，b j 表示分组数为16的3×3 Depthwise卷积中第j个卷积核的偏置，F j 表示合并前的分组数为16的3×3 Depthwise卷积中第j个卷积核（对应于通道数）的参数权重。
更具体地，式（5）（6）（7）用于合并DW卷积层和BN层，即步骤S332也可以基于式（5）（6）（7）合并DW卷积层和BN层。
在一些优选的实施方式中，在步骤S32中，多个第二DW卷积层基于下式进行合并：
（8）
其中，F为合并结果，即对应于步骤S32中的第三DW卷积层，F m表示第m个并行分支的卷积核参数权重或偏置，即对于式（6）中的F j 和式（7）中的b j ，M表示并行分支总数，即需要合并的DW卷积层的数量。
更具体地，式（8）用于合并并行设置的DW卷积层，即步骤S34也可以基于式（8）合并对应DW卷积层以获取第五DW卷积层和第六DW卷积层。
为进一步阐述本申请实施例的流式细胞分类模型的获取方法获取的最终分类模型的优点，下面结合具体实施的训练过程和实验结果来区分本申请实施例的流式细胞分类模型的获取方法获取的最终分类模型与传统分类模型的区别：
图6和图7所示的图像为一些实施例中用于训练初始网络模型的预先准备的细胞图像数据集中的图像，来源于东京大学Goda课题组发表在Cell期刊的论文（Nitta et al.,2018, Cell 175, 266–276.），本申请实施例对该论文中的图像进行标注以作为训练初始网络模型的细胞图像数据集，其中，标注过程将血小板和衣藻的标签数值分别设置为0和1，从而构建细胞图像数据集，细胞图像数据集中的训练集、验证集和测试集的个数分别为8995、2569和1284，血小板和衣藻各占50%，数据集格式为imagenet-1k。
在本实施例中依托服务器平台进行算法训练与评估测试。服务器平台处理器为Intel(R) Xeon(R) Gold 5217，主频为3.0 GHz。搭载NVIDIA A100，其显存为40GB，算法框架基于PyTroch，编程语言为Python3.8.5，服务器平台的硬件和软件参数详见下面表1和表2。
表1 硬件参数
表2 软件参数
在本实施例中设置权值衰减系数（Decay）为0.00005，批处理（Batch Size）数值为1024，学习率（Learning rate）数值为0.005。输入模型的图像尺寸缩放（Resize）为224像素×224像素，训练迭代期数（Epoch）设定为100，具体的训练超参数值详见下面表3。
表3 高速神经网络的超参设置
基于表3可知，本实施例将图像的大小调整为224×224像素，同时确保通道数为1，以适应网络的输入要求，即在实际使用时，需要将待分类的细胞图像的大小调整为224×224像素再输入至最终分类模型中，最终分类模型中的2个3×3的Depthwise卷积层将224×224像素的待分类的细胞图像卷积生成特征向量，特征向量被送到最后的全连接层，该层通过Softmax分类器将细胞图像分为不同的类别，并为每个类别估计1个概率值。
为验证最终分类模型的分类性能，将本申请实施例获取的最终分类模型与现有的FasterNet、EfficientViT、EdgeNext和MobileOne等高速分类网络在测试集中进行实验对比，在实验中并未使用硬件加速技术对这些模型进行处理，其分类结果见下表4。
表4 不同算法的分类性能
分析表4可知，本申请实施例的流式细胞分类模型的获取方法获取的最终分类模型对细胞图像的分类准确率达到100%，单张推理延迟低至0.26ms，相较于FasterNet、EfficientViT、EdgeNext和MobileOne等高速分类网络具有显著的速度优势。
为验证本申请实施例的流式细胞分类模型的获取方法中的重参数化技术和硬件加速技术的有效性，下面结合本申请实施例的流式细胞分类模型的获取方法中的不同步骤进行消融实验，消融实验结果见下表5。
表5 消融实验结果
根据表5可知，步骤S3重参数化处理操作能在保留参数学习效果的基础上简化网络结构，并降低模型计算量和内存访问成本，使得模型更轻量化，进而使得对应的分类模型的推理延迟低至0.26ms；另外，步骤S4在TensorRT中重建最终分类模型，以利用TensorRT硬件加速技术来充分利用GPU硬件加速，进一步加速对应的分类模型的分类速度，以使其推理延迟低至0.24ms，具备高效的实时推理性能。
第二方面，本申请一些实施例还提供了一种流式细胞的分类方法，应用于成像流式细胞分选仪中，流式细胞的分类方法包括以下步骤：
根据第一方面提供的流式细胞分类模型的获取方法获取的最终分类模型对待分类的细胞图像进行分类。
具体地，该最终分类模型优选为部署在成像流式细胞分选仪中作为推理引擎使用；该分类过程为将待测细胞图像（可以是基于成像流式细胞分选仪拍摄获取或从外部输入）输入到成像流式细胞分选仪中以利用该最终分类模型分类以获取分类结果。
本申请实施例的流式细胞的分类方法利用第一方面提供的流式细胞分类模型的获取方法训练获取最终分类模型，该最终分类模型结合了深度学习、结构重参数化和硬件加速技术进行构建，其作为推理引擎使用时具备高精度、高速度的分类效果，其应用在流式细胞分选仪中能在保证高分类精度前提下，极大地提高细胞分选效率，从而使得本申请实施例的流式细胞的分类方法具有高效、高精度的细胞分选能力。
第三方面，请参照图8，本申请一些实施例还提供了一种流式细胞分类模型的获取装置，应用于成像流式细胞分选仪中，流式细胞分类模型的获取装置包括：
第一构建模块301，用于构建初始网络模型，初始网络模型包括依次连接的第一卷积残差模块、第二卷积残差模块及全连接模块，第一卷积残差模块包括并行设置的一个基础模块和一个含有BN层的跳跃连接分支，第二卷积残差模块包括并行设置的多个基础模块和一个含有BN层的跳跃连接分支；
训练模块302，用于训练初始网络模型以获取第一分类模型；
重参模块303，用于对第一分类模型进行重参数化处理以获取第二分类模型；
第二构建模块304，用于对第二分类模型进行Int8量化处理，并在TensorRT框架中重建Int8量化处理后的第二分类模型以获取最终分类模型。
本申请实施例的流式细胞分类模型的获取装置对具有第一卷积残差模块和第二卷积残差模块的第一分类模型依次进行训练优化、重参数处理、Int8量化处理后，在TensorRT框架中重建获取最终分类模型，该最终分类模型作为推理引擎使用，具备高精度、高速度的分类效果，其应用在成像流式细胞分选仪中能在保证高分类精度前提下，极大地提高细胞分选效率。
在一些优选的实施方式中，本申请实施例的流式细胞分类模型的获取装置用于执行上述第一方面提供的流式细胞分类模型的获取方法。
第四方面，请参照图9，本申请一些实施例还提供了一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器401和存储器402，处理器401和存储器402通过通信总线403和/或其他形式的连接机构（未标出）互连并相互通讯，存储器402存储有处理器401可执行的计算机可读取指令，当电子设备运行时，处理器401执行该计算机可读取指令，以执行时执行上述实施例的任一可选的实现方式中的方法。
第五方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-OnlyMemory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
综上，本申请实施例提供了一种流式细胞分类模型的获取方法、分类方法及相关设备，其中，流式细胞分类模型的获取方法对具有第一卷积残差模块和第二卷积残差模块的第一分类模型依次进行训练优化、重参数处理、Int8量化处理后，在TensorRT框架中重建获取最终分类模型，该最终分类模型作为推理引擎使用，具备高精度、高速度的分类效果，其应用在成像流式细胞分选仪中能在保证高分类精度前提下，极大地提高细胞分选效率。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (9)
1.一种流式细胞分类模型的获取方法，应用于成像流式细胞分选仪中，其特征在于，所述流式细胞分类模型的获取方法包括以下步骤：
构建初始网络模型，所述初始网络模型包括依次连接的第一卷积残差模块、第二卷积残差模块及全连接模块，所述第一卷积残差模块包括并行设置的一个基础模块和一个含有BN层的跳跃连接分支，所述第二卷积残差模块包括并行设置的多个基础模块和一个含有BN层的跳跃连接分支；所述基础模块包括1个第一DW卷积层和与该第一DW卷积层连接的1个BN层；
训练所述初始网络模型以获取第一分类模型；
对所述第一分类模型进行重参数化处理以获取第二分类模型；
对所述第二分类模型进行Int8量化处理，并在TensorRT框架中重建Int8量化处理后的第二分类模型以获取最终分类模型，所述最终分类模型用于对待分类的细胞图像进行分类；
所述对所述第一分类模型进行重参数化处理以获取第二分类模型的步骤包括：
将所述第一分类模型中的各个基础模块的第一DW卷积层和BN层合并为第二DW卷积层；
将所述第二卷积残差模块中的多个第二DW卷积层合并为第三DW卷积层；
将所述含有BN层的跳跃连接分支转换为第四DW卷积层；
将所述第一卷积残差模块中的第二DW卷积层和第四DW卷积层合并为第五DW卷积层，并将所述第二卷积残差模块中的第三DW卷积层和第四DW卷积层合并为第六DW卷积层。
2.根据权利要求1所述的流式细胞分类模型的获取方法，其特征在于，所述将所述含有BN层的跳跃连接分支转换为第四DW卷积层的步骤包括：
在所述含有BN层的跳跃连接分支的BN层前添加第七DW卷积层，所述第七DW卷积层的中心卷积核权重数值为1，其余权重数值均为0；
合并所述含有BN层的跳跃连接分支的BN层和所述第七DW卷积层以获取第四DW卷积层。
3.根据权利要求1所述的流式细胞分类模型的获取方法，其特征在于，所述训练所述初始网络模型以获取第一分类模型的步骤包括：
结合标签平滑处理和交叉熵损失函数优化训练所述述初始网络模型以获取第一分类模型。
4.根据权利要求3所述的流式细胞分类模型的获取方法，其特征在于，结合标签平滑处理和交叉熵损失函数的步骤包括：
根据所述标签平滑处理获取不同样本的类别标签平滑值；
根据所述类别标签平滑值构建交叉熵损失函数，所述交叉熵损失函数表达式为：
；
其中，H为损失值，i为样本编号，p i 为样本i的类别标签平滑值，q i 为样本i利用所述初始网络模型输出的预测类别，N为样本总数。
5.根据权利要求4所述的流式细胞分类模型的获取方法，其特征在于，所述标签平滑处理的表达式如下：
；
其中，y为样本i的真实类别，ε为平滑常数，K为类别总数。
6.一种流式细胞的分类方法，应用于成像流式细胞分选仪中，其特征在于，所述流式细胞的分类方法包括以下步骤：
根据如权利要求1-5任一项所述的流式细胞分类模型的获取方法获取的最终分类模型对待分类的细胞图像进行分类。
7.一种流式细胞分类模型的获取装置，应用于成像流式细胞分选仪中，其特征在于，所述流式细胞分类模型的获取装置包括：
第一构建模块，用于构建初始网络模型，所述初始网络模型包括依次连接的第一卷积残差模块、第二卷积残差模块及全连接模块，所述第一卷积残差模块包括并行设置的一个基础模块和一个含有BN层的跳跃连接分支，所述第二卷积残差模块包括并行设置的多个基础模块和一个含有BN层的跳跃连接分支；所述基础模块包括1个第一DW卷积层和与该第一DW卷积层连接的1个BN层；
训练模块，用于训练所述初始网络模型以获取第一分类模型；
重参模块，用于对所述第一分类模型进行重参数化处理以获取第二分类模型；
第二构建模块，用于对所述第二分类模型进行Int8量化处理，并在TensorRT框架中重建Int8量化处理后的第二分类模型以获取最终分类模型，所述最终分类模型用于对待分类的细胞图像进行分类；
所述对所述第一分类模型进行重参数化处理以获取第二分类模型的步骤包括：
将所述第一分类模型中的各个基础模块的第一DW卷积层和BN层合并为第二DW卷积层；
将所述第二卷积残差模块中的多个第二DW卷积层合并为第三DW卷积层；
将所述含有BN层的跳跃连接分支转换为第四DW卷积层；
将所述第一卷积残差模块中的第二DW卷积层和第四DW卷积层合并为第五DW卷积层，并将所述第二卷积残差模块中的第三DW卷积层和第四DW卷积层合并为第六DW卷积层。
8.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-6任一项所述方法中的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-6任一项所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311685823.8A CN117392672B (zh) | 2023-12-11 | 2023-12-11 | 流式细胞分类模型的获取方法、分类方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311685823.8A CN117392672B (zh) | 2023-12-11 | 2023-12-11 | 流式细胞分类模型的获取方法、分类方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117392672A CN117392672A (zh) | 2024-01-12 |
| CN117392672B true CN117392672B (zh) | 2024-03-19 |
Family
ID=89463420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311685823.8A Active CN117392672B (zh) | 2023-12-11 | 2023-12-11 | 流式细胞分类模型的获取方法、分类方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117392672B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767993A (zh) * | 2020-06-30 | 2020-10-13 | 苏州科达科技股份有限公司 | 卷积神经网络int8量化方法、系统、设备及存储介质 |
| CN112598643A (zh) * | 2020-12-22 | 2021-04-02 | 百度在线网络技术（北京）有限公司 | 深度伪造图像检测及模型训练方法、装置、设备、介质 |
| CN113343937A (zh) * | 2021-07-15 | 2021-09-03 | 北华航天工业学院 | 一种基于深度卷积和注意力机制的唇语识别方法 |
| CN114283320A (zh) * | 2021-12-25 | 2022-04-05 | 福州大学 | 基于全卷积的无分支结构目标检测方法 |
| CN114359637A (zh) * | 2022-01-10 | 2022-04-15 | 华南师范大学 | 一种脑部医学影像分类方法及装置 |
| CN114511798A (zh) * | 2021-12-10 | 2022-05-17 | 安徽大学 | 基于transformer的驾驶员分心检测方法及装置 |
| CN115546549A (zh) * | 2022-10-11 | 2022-12-30 | 中国科学院微电子研究所 | 点云分类模型构建方法、点云分类方法、装置及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230252605A1 (en) * | 2022-02-10 | 2023-08-10 | Lemon Inc. | Method and system for a high-frequency attention network for efficient single image super-resolution |
-
2023
- 2023-12-11 CN CN202311685823.8A patent/CN117392672B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767993A (zh) * | 2020-06-30 | 2020-10-13 | 苏州科达科技股份有限公司 | 卷积神经网络int8量化方法、系统、设备及存储介质 |
| CN112598643A (zh) * | 2020-12-22 | 2021-04-02 | 百度在线网络技术（北京）有限公司 | 深度伪造图像检测及模型训练方法、装置、设备、介质 |
| CN113343937A (zh) * | 2021-07-15 | 2021-09-03 | 北华航天工业学院 | 一种基于深度卷积和注意力机制的唇语识别方法 |
| CN114511798A (zh) * | 2021-12-10 | 2022-05-17 | 安徽大学 | 基于transformer的驾驶员分心检测方法及装置 |
| CN114283320A (zh) * | 2021-12-25 | 2022-04-05 | 福州大学 | 基于全卷积的无分支结构目标检测方法 |
| CN114359637A (zh) * | 2022-01-10 | 2022-04-15 | 华南师范大学 | 一种脑部医学影像分类方法及装置 |
| CN115546549A (zh) * | 2022-10-11 | 2022-12-30 | 中国科学院微电子研究所 | 点云分类模型构建方法、点云分类方法、装置及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 流式细胞仪在水处理中的应用现状与展望;文刚 等;中国给水排水;20140917;第30卷(第18期);第58-62页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117392672A (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111369563B (zh) | 一种基于金字塔空洞卷积网络的语义分割方法 | |
| CN108764072B (zh) | 一种基于多尺度融合的血细胞亚型图像分类方法 | |
| CN111242071B (zh) | 一种基于锚框的注意力遥感图像目标检测方法 | |
| CN109816032B (zh) | 基于生成式对抗网络的无偏映射零样本分类方法和装置 | |
| Audebert et al. | Generative adversarial networks for realistic synthesis of hyperspectral samples | |
| CN114937151A (zh) | 基于多感受野和注意力特征金字塔的轻量级目标检测方法 | |
| CN109886330B (zh) | 文本检测方法、装置、计算机可读存储介质和计算机设备 | |
| CN111460818B (zh) | 一种基于增强胶囊网络的网页文本分类方法及存储介质 | |
| CN112381097A (zh) | 一种基于深度学习的场景语义分割方法 | |
| CN114022432A (zh) | 基于改进的yolov5的绝缘子缺陷检测方法 | |
| CN110210431B (zh) | 一种基于点云语义标注和优化的点云分类方法 | |
| CN113239869B (zh) | 基于关键帧序列和行为信息的两阶段行为识别方法及系统 | |
| CN110852288A (zh) | 一种基于两阶段卷积神经网络的细胞图像分类方法 | |
| CN109919252A (zh) | 利用少数标注图像生成分类器的方法 | |
| CN114693624A (zh) | 一种图像检测方法、装置、设备及可读存储介质 | |
| CN112786160A (zh) | 基于图神经网络的多图片输入的多标签胃镜图片分类方法 | |
| CN112288700A (zh) | 一种铁轨缺陷检测方法 | |
| CN113850311A (zh) | 一种基于分组和多样性增强的长尾分布图像识别方法 | |
| CN112215268A (zh) | 一种灾害天气卫星云图分类方法和装置 | |
| CN116090517A (zh) | 模型训练方法、目标检测方法、装置以及可读存储介质 | |
| CN116665092A (zh) | 基于ia-yolov7的污水悬浮物识别方法及系统 | |
| CN115292538A (zh) | 一种基于深度学习的地图线要素提取方法 | |
| CN113743277A (zh) | 一种短视频分类方法及系统、设备和存储介质 | |
| CN114359167A (zh) | 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法 | |
| CN117392672B (zh) | 流式细胞分类模型的获取方法、分类方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |