CN111524138B - 一种基于多任务学习的显微图像细胞识别方法及装置 - Google Patents

一种基于多任务学习的显微图像细胞识别方法及装置 Download PDF

Info

Publication number
CN111524138B
CN111524138B CN202010637815.6A CN202010637815A CN111524138B CN 111524138 B CN111524138 B CN 111524138B CN 202010637815 A CN202010637815 A CN 202010637815A CN 111524138 B CN111524138 B CN 111524138B
Authority
CN
China
Prior art keywords
cell
network model
training
microscopic image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010637815.6A
Other languages
English (en)
Other versions
CN111524138A (zh
Inventor
谷秀娟
许会
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Guokezhitong Technology Co ltd
Original Assignee
Hunan Guokezhitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Guokezhitong Technology Co ltd filed Critical Hunan Guokezhitong Technology Co ltd
Priority to CN202010637815.6A priority Critical patent/CN111524138B/zh
Publication of CN111524138A publication Critical patent/CN111524138A/zh
Application granted granted Critical
Publication of CN111524138B publication Critical patent/CN111524138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于多任务学习的显微图像细胞识别方法，首先采用多重标注的方式对获取的显微图像进行标注；然后将含有多重标注的显微图像分割形成训练集；接着利用含有多重标注的训练集对预先构建的细胞识别模型进行训练；最后利用训练好的细胞识别模型对待识别显微图像进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。与现有技术相比，本发明提供的方法采用多重标注的方式对显微图像进行标注，使得训练获得的模型能够实现多重检测，多重的检测可保证最终检测结果的准确性。

Description

一种基于多任务学习的显微图像细胞识别方法及装置
技术领域
本发明涉及医学图像技术领域，尤其是一种基于多任务学习的显微图像细胞识别方法及装置。
背景技术
随着计算机技术和医学技术的发展与成熟，两者相结合的显微图像自动分析技术应运而生，并引起了广泛的关注。显微图像自动分析技术是医疗辅助诊断的重要方法，可以定量、定性地诊断病情，更快、更直接地发现病源与病因，进而提高病理医生的工作效率，降低工作强度，缩短病人的看诊时间。在临床应用中，妇科宫颈刮片分析、白带湿片显微图像分析、尿沉渣细胞成分分析、血液红白细胞分析等对预防疾病与指导治疗方面有非常重要的作用。
在显微图像自动分析技术中，显微图像中细胞的正确识别至关重要。现有的细胞识别方法通常基于人工鱼群算法对显微图像进行特征提取，然后设计分类器对提取的特征进行分类，常用的分类器有决策树、随机森林、支持向量机等。这些方法中训练后的分类器识别精度低、速度慢。
发明内容
本发明提供一种基于多任务学习的显微图像细胞识别方法及装置，用于克服现有技术中精度低、速度慢等缺陷。
为实现上述目的，本发明提出一种基于多任务学习的显微图像细胞识别方法，包括：
获取若干显微图像，并对所述显微图像进行标注；所述标注包括中心位置的标注、类别的标注、特征属性的标注、细胞包围框的标注以及细胞边界的标注；
将含有多重标注的显微图像分割成若干预设大小的图像子块，所有所述图像子块形成训练集；
利用所述训练集对预先构建的细胞识别模型进行训练，所述细胞识别模型包括全卷积神经网络模型、分割掩码生成网络模型和多任务学习框架；在所述训练过程中，所述全卷积神经网络模型的输入为所述训练集，所述分割掩码生成网络模型的输入为所述训练集以及所述全卷积神经网络模型的输出，所述多任务学习框架的输入为所述分割掩码生成网络模型的输出；
将待识别显微图像分割成若干所述预设大小的图像子块并输入训练好的细胞识别模型中进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。
为实现上述目的，本发明还提出一种基于多任务学习的显微图像细胞识别装置，所述装置包括：
图像获取模块，用于获取若干显微图像，并对所述显微图像进行标注；所述标注包括中心位置的标注、类别的标注、特征属性的标注、细胞包围框的标注以及细胞边界的标注；
训练集生成模块，用于将含有多重标注的显微图像分割成若干预设大小的图像子块，所有所述图像子块形成训练集；
模型训练模块，用于利用所述训练集对预先构建的细胞识别模型进行训练，所述细胞识别模型包括全卷积神经网络模型、分割掩码生成网络模型和多任务学习框架；在所述训练过程中，所述全卷积神经网络模型的输入为所述训练集，所述分割掩码生成网络模型的输入为所述训练集以及所述全卷积神经网络模型的输出，所述多任务学习框架的输入为所述分割掩码生成网络模型的输出；
细胞识别模块，用于将待识别显微图像分割成若干所述预设大小的图像子块并输入训练好的细胞识别模型中进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。
为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述方法的步骤。
与现有技术相比，本发明的有益效果有：
1、本发明提供的基于多任务学习的显微图像细胞识别方法，首先采用多重标注的方式对获取的显微图像进行标注；然后将含有多重标注的显微图像分割形成训练集；接着利用含有多重标注的训练集对预先构建的细胞识别模型进行训练；最后利用训练好的细胞识别模型对待识别显微图像进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。与现有技术相比，本发明提供的方法采用多重标注的方式对显微图像进行标注，使得训练获得的模型能够实现多重检测，多重的检测可保证最终检测结果的准确性。
2、本发明提供的基于多任务学习的显微图像细胞识别方法中采用的细胞识别模型包括全卷积神经网络模型、分割掩码生成网络模型和多任务学习框架三个子模型，在模型训练过程中全卷积神经网络模型以含有多重标注的训练集为输入获得多个提议细胞包围框及其对应的预测得分，分割掩码生成网络模型以含有多重标注的训练集和多个提议细胞包围框为输入获得多个提议细胞包围框中的分割掩码并输出多个单细胞图像，多任务学习框架以多个单细胞图像为输入获得每个细胞的类别以及特征属性。多个子模型的设计是为了将多重检测中的不同检测分别在不同的子模型中进行，相比将多重检测全部放在一个模型中进行，本发明的方法可显著降低模型的检测难度，提高模型的计算速度和计算精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明提供的基于多任务学习的显微图像细胞识别方法的流程图；
图2为细胞包围框示意图；
图3为细胞边界示意图；
图4为本发明实施例中全卷积神经网络模型和分割掩码生成网络模型的结构图；
图5为本发明实施例中多任务学习框架的结构图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
无特殊说明，所使用的药品/试剂均为市售。
本发明提出一种基于多任务学习的显微图像细胞识别方法，如图1所示，包括：
101：获取若干显微图像，并对显微图像进行标注；该标注包括中心位置的标注、类别的标注、特征属性的标注、细胞包围框的标注以及细胞边界的标注；
显微图像为通过高倍率显微镜采集的细胞样本或组织切片的各个视野下的图像。
类别包括正常细胞（用数字0标注）和病变细胞（用数字1标注）。
特征属性包括细胞面积、细胞核面积、细胞长短轴、细胞偏心率及细胞圆度。
细胞包围框，如图2所示，是指刚好能够将整个细胞包围住的矩形密封框，该密封框内有且仅有一个细胞。
细胞边界，如图3所示，是指在每个细胞包围框内将细胞区域与非细胞区域分割开的曲线框，该曲线框与细胞的形状、尺寸均一致。
102：将含有多重标注的显微图像分割成若干预设大小的图像子块，所有图像子块形成训练集；
103：利用训练集对预先构建的细胞识别模型进行训练，细胞识别模型包括全卷积神经网络模型、分割掩码生成网络模型和多任务学习框架；在训练过程中，全卷积神经网络模型的输入为训练集，分割掩码生成网络模型的输入为训练集以及全卷积神经网络模型的输出，多任务学习框架的输入为分割掩码生成网络模型的输出；
104：将待识别显微图像分割成若干所述预设大小的图像子块并输入训练好的细胞识别模型中进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。
本发明提供的基于多任务学习的显微图像细胞识别方法，首先采用多重标注的方式对获取的显微图像进行标注；然后将含有多重标注的显微图像分割形成训练集；接着利用含有多重标注的训练集对预先构建的细胞识别模型进行训练；最后利用训练好的细胞识别模型对待识别显微图像进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。与现有技术相比，本发明提供的方法采用多重标注的方式对显微图像进行标注，使得训练获得的模型能够实现多重检测，多重的检测可保证最终检测结果的准确性。
本发明提供的基于多任务学习的显微图像细胞识别方法中采用的细胞识别模型包括全卷积神经网络模型、分割掩码生成网络模型和多任务学习框架三个子模型，在模型训练过程中全卷积神经网络模型以含有多重标注的训练集为输入获得多个提议细胞包围框及其对应的预测得分，分割掩码生成网络模型以含有多重标注的训练集和多个提议细胞包围框为输入获得多个提议细胞包围框中的分割掩码并输出多个单细胞图像，多任务学习框架以多个单细胞图像为输入获得每个细胞的类别以及特征属性。多个子模型的设计是为了将多重检测中的不同检测分别在不同的子模型中进行，相比将多重检测全部放在一个模型中进行，本发明的方法可显著降低模型的检测难度，提高模型的计算速度和计算精度。
在其中一个实施例中，对于步骤101，在获取若干显微图像后，需先剔除空白的显微图像，然后再对显微图像进行标注。
空白的显微图像是指图像中不包含细胞的显微图像。
在下一个实施例中，对于步骤101，获取若干显微图像，并对显微图像进行标注，包括：
001：获取若干显微图像；
002：利用显微图像标注软件，对显微图像进行细胞中心位置的标注、类别的标注以及特征属性的标注；
003：根据中心位置，对显微图像中的细胞进行细胞包围框的标注；
004：根据中心位置以及细胞包围框，对显微图像中每个细胞进行细胞边界的标注。
在实际操作过程中，打开显微图像标注软件，导入显微图像，在显微图像中手动标记各个细胞的中心位置，软件会自动记录每个细胞的中心点位置，并将中心位置保存在TXT文档。在细胞中心位置标注时，通过软件可设置细胞对应的类别，及计算细胞的特征属性，同样保存在TXT文档。
在某个实施例中，根据中心位置，对显微图像中的细胞进行细胞包围框的标注，包括：
利用图割方式从显微图像中分割出各个细胞，获得二值化细胞图像；
根据中心位置以及二值化细胞图像，对显微图像中的细胞进行细胞包围框的标注。
而对于比较暗的细胞，以该较暗的细胞的中心位置为中心放置一个平均大小的细胞包围框，然后利用中心位置和分水岭算法对该较暗的细胞进行细胞包围框的标注。
同时，考虑到显微图像中的细胞与自然图像中的物体不同，在自然图像中细胞可以在任何方向上存在，因此可以通过对细胞包围框进行旋转以及翻转来进一步增加标注的细胞包围框的数量，以增加训练样本。
根据中心位置以及细胞包围框，对显微图像中每个细胞进行细胞边界的标注，包括：
根据中心位置以及细胞包围框，利用最大稳定极值区域算法，对显微图像中每个细胞进行细胞边界的标注。
在另一个实施例中，对于步骤102，图像子块的预设大小为512×512。图像子块的预设大小根据模型来设定。
若干个图像子块组成多个图像集，每个图像集包含10~50张图像子块，依次将图像集输入模型中对模型进行训练。
在下一个实施例中，对于步骤103，利用训练集对预先构建的细胞识别模型中的全卷积神经网络模型进行训练，包括：
201：将训练集输入预先构建的全卷积神经网络模型，并设置第一重叠率阈值；
第一重叠率阈值是指参考包围框与细胞包围框的重叠率阈值。
本实施例中，第一重叠率阈值为0.4。
202：利用随机高斯分布初始化全卷积神经网络模型的所有权值，并利用训练集对全卷积神经网络模型进行训练，获取全卷积神经网络模型中最后一个卷积层输出的特征图，按照预先设置的多种参考包围框尺寸在特征图中的每个像素点提取多个参考包围框，确定多个参考包围框在输入的图像子块中的位置，并计算参考包围框与细胞包围框的重叠率，将大于第一重叠率阈值的重叠率对应的参考包围框标记为正样本，否则标记为负样本，并继续对全卷积神经网络模型进行训练，全卷积神经网络模型训练采用的损失函数为：
Figure 569837DEST_PATH_IMAGE001
（1）
式中，Lbbox表示smooth-L1损失函数；Lscore表示softmax分类损失函数；bi表示预测输出的包围框坐标；bi *表示标注的细胞包围框坐标；pi表示包围框bi属于细胞的概率；pi *表示包围框的理想标签（也就是步骤101中标注的细胞包围框）；
Figure 854710DEST_PATH_IMAGE002
表示平衡因子。
参考包围框是指大小固定（尺度和长宽比均固定）的密封框，每个参考包围框都以滑动窗口为中心，多个参考包围框中包含不同大小的参考包围框以便于与不同尺寸的细胞相匹配。参考包围框具有平移不变性，即参考包围框会随着细胞的移动而移动，这种平移不变性可降低了全卷积神经网络模型的大小。将参考包围框分为正样本和负样本是为了更好地训练全卷积神经网络模型中2个并行的全连接模块（bbox和score），使得全卷积神经网络模型中的参数更快的收敛，并获得高精度的全卷积神经网络模型。
本实施例中，利用均值为0和标准差为0.1的随机高斯分布初始化全卷积神经网络的所有权值，所有偏置最初设置为0.1，利用随机梯度下降法(SGM)对网络权值进行学习，设定初始学习率为10−4。
在某个实施例中，全卷积神经网络模型如图4所示（左边虚线框内），依次包括6个卷积层（conv1~conv6）、2个并行的全连接模块（bbox和score）以及1个包围框输出层（Candidate Bounding Boxes）；
前2个卷积层（分别为conv1、conv2）的后面均连接有1个最大池化层（分别为max-pooling1、max-pooling2）；
2个并行的全连接模块（bbox和score）均包括第一卷积层和第二卷积层，bbox和score中的第一卷积层均用于对输入的特征图进行特征提取，其中一个全连接模块（bbox）中的第二卷积层用于对第一卷积层的输出进行回归并输出每个滑窗位置内多个参考包围框，另一个全连接模块（score）中的第二卷积层用于对第一卷积层的输出进行回归并输出每个参考包围框对应的预测得分（预测得分表示参考包围框属于细胞的概率）。
2个全连接模块并行的设计是为了同时输出每个滑动窗口对应的多个参考包围框，以及各个参考包围框的预测得分。即一个分支（bbox）输出参考包围框，另一个分支（score）输出参考包围框对应的预测得分。
本实施例中，全卷积神经网络模型的输入为512×512大小的图像子块，输入的图像子块采用前向传播的方式依次经过六个卷积层进行高层特征提取，最后一个卷积层输出的特征图分别输入两个并行的全连接模块bbox和score，分别输出多个参考包围框以及每个参考包围框对应的预测得分，最后使用非极大值抑制（NMS）方法从获得的所有参考包围框中剔除重复的，最终获得若干个提议细胞包围框及其对应的预测得分。
全连接模块bbox和score实质上是一个回归子网络，bbox和score均包括2个卷积层，bbox和score中的第一个卷积层均用于对输入的特征图采用n
Figure 275327DEST_PATH_IMAGE003
n滑动窗口在该特征图上滑动扫描，将该特征图中的每个像素（每个滑窗位置）编码成一个低维的特征向量，输出的低维特征向量输入第二个卷积层；bbox和score中的第二个卷积层分别回归输出每个滑窗位置的多个参考包围框以及每个参考包围框的预测得分。
例如：假设全卷积神经网络模型的最后一个卷积层输出的特征图维数是1*64，包含64个像素点，全连接模块将这些像素点进行编码，每个像素点对应输出9个参考包围框，则bbox最终输出64*9个参考包围框，score则输出该64*9个参考包围框中每个参考包围框的预测得分。
全连接模块bbox预测输出的参考包围框bi包括4个参数化坐标，计算公式如下：
Figure 544635DEST_PATH_IMAGE004
（3）
式中，（x,y）表示预测输出细胞包围框的中心坐标；w表示预测输出细胞包围框的宽度；h表示预测输出细胞包围框的高度；（xa,ya）表示参考包围框的中心坐标；wa表示参考包围框的宽度；ha表示参考包围框的高度。
在下一个实施例中，分割掩码生成网络模型如图4所示（右边虚线框内），包括11个卷积层（conv1~conv11）、3个最大池化层（max-pooling1、max-pooling2和max-pooling3）以及1个RoI Pooling模块；
11个卷积层依次连接，第2个（conv2）、第4个（conv4）和第6个（conv6）卷积层后面均连接1个最大池化层（分别为max-pooling1、max-pooling2和max-pooling3）；第8个（conv8）卷积层后面连接1个RoI Pooling模块；
利用训练集以及全卷积神经网络模型的输出对预先构建的细胞识别模型中的分割掩码生成网络模型进行训练，包括：
301：设置第二重叠率阈值，计算所述全卷积神经网络模型输出的提议细胞包围框与所述细胞包围框的重叠率，将大于所述第二重叠率阈值的所述重叠率对应的提议细胞包围框作为样本框；
第二重叠率阈值是指提议细胞包围框与细胞包围框的重叠率阈值。本实施例中，第二重叠率阈值为0.5。
对于每个样本框，首先进行二值分割掩码标注，具体为：使用插值方式将样本框裁剪为固定大小（例如，细胞包围框的大小为15*50，而二值分割掩码的固定大小为25*25，因此需要将15*50进行裁剪插值变成25*25大小）。然后将每个样本框内细胞边界外的区域作为背景。
302：将训练集输入第一个卷积层，将样本框输入RoI Pooling模块；
303：从高斯分布中随机抽取权重来初始化分割掩码生成网络模型，利用训练集以及样本框对所述分割掩码生成网络模型进行训练。
本实施例中，输入分割掩码生成网络模型的图像子块先依次经过8个卷积层（conv1~conv8）和3个最大池化层（max-pooling1~max-pooling3）进行特征提取输出特征图，接着采用RoI Pooling模块根据输入的提议细胞包围框以及前面多个卷积层输出的特征图，提取固定大小的单个细胞的特征图（也可以说是各个提议细胞包围框的特征图，因为最后获得的是与提议细胞包围框对应的二值分割掩码图，有了这个二值分割掩码图就可以获得单个细胞图）。
二值分割掩码图内有且仅有一个细胞，同时各个二值分割掩码图之间互相不重叠。
RoI Pooling模块的输入包括conv2卷积层、conv4卷积层、conv6卷积层及conv8卷积层的输出特征图，以及全卷积神经网络输出的提议细胞包围框。RoI Pooling模块使用指定特征层的特征图中提议细胞包围框内区域的自适应最大池化操作来提取固定大小的特征映射，最大池化的特征图级联成一个特征块，每个特征块对应一个提议细胞包围框。RoIPooling模块从不同深度的层中选择特征，可以使网络能够同时使用粗的高层信息来预测提议细胞包围框中属于细胞的分割区域和细的低层信息来预测细胞边界的准确定位。
本实施例中，对分割掩码生成网络模型进行训练时，利用均值为0和标准差为0.01的高斯分布中随机抽取权重来初始化分割掩码生成网络模型，使用0.0001的学习速率进行前40k次迭代，在接下来的10k次迭代中，学习率减少到0.00001。
在另一个实施例中，多任务学习框架如图5所示，依次包括5个共享卷积层（conv1~conv5）、1个共享全连接层（fc）以及6个并行的子网络；
前3个卷积层（conv1~conv3）后面均连接1个共享最大池化层（分别为max-pooling1、max-pooling2和max-pooling3）；
每个子网络依次包括3个卷积层（conv6~conv8）以及一个softmax层或者1个regression层；
利用分割掩码生成网络模型的输出对预先构建的细胞识别模型中的多任务学习框架进行训练，包括：
采用Adam优化算法，利用分割掩码生成网络模型输出的二值分割掩码图对预先构建的多任务学习框架进行训练，多任务学习框架训练采用的损失函数为：
Figure 923663DEST_PATH_IMAGE005
（2）
式中，L1为细胞分类任务的损失函数；L2为细胞面积回归任务的损失函数；L3为细胞核面积回归任务的损失函数；L4为细胞长宽比回归任务时的损失函数；L5为细胞偏心率回归任务的损失函数；L6为细胞圆度回归任务的损失函数；L为总损失；
Figure 645632DEST_PATH_IMAGE006
，
Figure 869940DEST_PATH_IMAGE007
，
Figure 728174DEST_PATH_IMAGE008
，
Figure 12525DEST_PATH_IMAGE009
，
Figure 221790DEST_PATH_IMAGE010
，均表示权重系数。
本实施例中，多任务学习框架的输入是大小为64×64的二值分割掩码图，二值分割掩码图先经过共享的卷积层进行共享特征提取，共享卷积层输出的特征在全连接层级联后分别输入各个子网络，进行对应任务的学习，最后输出各自预测的结果。
多任务学习是迁移学习算法的一种，利用隐含在多个相关任务的训练信号中的特定领域信息来提高泛化能力，通过使用共享表示并行训练多个任务，使用共享表示同时进行多任务预测，可以减少数据来源的数量以及整体模型参数的规模，使预测更加高效。
本发明提出的方法不仅考虑了细胞核浆比、细胞核的形态学、细胞核纹理等传统医生判别特征，还具有对邻域内的非结构化空间细胞更好的表征性，使得本发明的方法在兼顾细胞空间结构信息的同时还能获取细胞核的细粒度参数，从而达到提升识别精度的目的。
本发明还提出一种基于多任务学习的显微图像细胞识别装置，所述装置包括：
图像获取模块，用于获取若干显微图像，并对所述显微图像进行标注；所述标注包括中心位置的标注、类别的标注、特征属性的标注、细胞包围框的标注以及细胞边界的标注；
训练集生成模块，用于将含有多重标注的显微图像分割成若干预设大小的图像子块，所有所述图像子块形成训练集；
模型训练模块，用于利用所述训练集对预先构建的细胞识别模型进行训练，所述细胞识别模型包括全卷积神经网络模型、分割掩码生成网络模型和多任务学习框架；在所述训练过程中，所述全卷积神经网络模型的输入为所述训练集，所述分割掩码生成网络模型的输入为所述训练集以及所述全卷积神经网络模型的输出，所述多任务学习框架的输入为所述分割掩码生成网络模型的输出；
细胞识别模块，用于将待识别显微图像分割成若干所述预设大小的图像子块并输入训练好的细胞识别模型中进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。
在其中一个实施例中，对于图像获取模块，在获取若干显微图像后，需先剔除空白的显微图像，然后再对显微图像进行标注。
在下一个实施例中，对于图像获取模块，获取若干显微图像，并对显微图像进行标注，包括：
001：获取若干显微图像；
002：利用显微图像标注软件，对显微图像进行细胞中心位置的标注、类别的标注以及特征属性的标注；
003：根据中心位置，对显微图像中的细胞进行细胞包围框的标注；
004：根据中心位置以及细胞包围框，对显微图像中每个细胞进行细胞边界的标注。
在某个实施例中，根据中心位置，对显微图像中的细胞进行细胞包围框的标注，包括：
利用图割方式从显微图像中分割出各个细胞，获得二值化细胞图像；
根据中心位置以及二值化细胞图像，对显微图像中的细胞进行细胞包围框的标注。
而对于比较暗的细胞，以该较暗的细胞的中心位置为中心放置一个平均大小的细胞包围框，然后利用中心位置和分水岭算法对该较暗的细胞进行细胞包围框的标注。
同时，考虑到显微图像中的细胞与自然图像中的物体不同，在自然图像中细胞可以在任何方向上存在，因此可以通过对细胞包围框进行旋转以及翻转来进一步增加标注的细胞包围框的数量，以增加训练样本。
根据中心位置以及细胞包围框，对显微图像中每个细胞进行细胞边界的标注，包括：
根据中心位置以及细胞包围框，利用最大稳定极值区域算法，对显微图像中每个细胞进行细胞边界的标注。
在另一个实施例中，对于训练集生成模块，图像子块的预设大小为512×512。图像子块的预设大小根据模型来设定。
若干个图像子块组成多个图像集，每个图像集包含10~50张图像子块，依次将图像集输入模型中对模型进行训练。
在下一个实施例中，对于模型训练模块，利用训练集对预先构建的细胞识别模型中的全卷积神经网络模型进行训练，包括：
201：将训练集输入预先构建的全卷积神经网络模型，并设置第一重叠率阈值；
第一重叠率阈值是指参考包围框与细胞包围框的重叠率阈值。
本实施例中，第一重叠率阈值为0.4。
202：利用随机高斯分布初始化全卷积神经网络模型的所有权值，并利用训练集对全卷积神经网络模型进行训练，获取全卷积神经网络模型中最后一个卷积层输出的特征图，按照预先设置的多种参考包围框尺寸在特征图中的每个像素点提取多个参考包围框，确定多个参考包围框在输入的图像子块中的位置，并计算参考包围框与细胞包围框的重叠率，将大于第一重叠率阈值的重叠率对应的参考包围框标记为正样本，否则标记为负样本，并继续对全卷积神经网络模型进行训练，全卷积神经网络模型训练采用的损失函数为：
Figure 16833DEST_PATH_IMAGE011
（1）
式中，Lbbox表示smooth-L1损失函数；Lscore表示softmax分类损失函数；bi表示预测输出的包围框坐标；bi *表示标注的细胞包围框坐标；pi表示包围框bi属于细胞的概率；pi *表示包围框的理想标签（也就是步骤101中标注的细胞包围框）；
Figure 198415DEST_PATH_IMAGE012
表示平衡因子。
在某个实施例中，全卷积神经网络模型如图4所示（左边虚线框内），依次包括6个卷积层（conv1~conv6）、2个并行的全连接模块（bbox和score）以及1个包围框输出层（Candidate Bounding Boxes）；
前2个卷积层（分别为conv1、conv2）的后面均连接有1个最大池化层（分别为max-pooling1、max-pooling2）；
2个并行的全连接模块（bbox和score）均包括第一卷积层和第二卷积层，bbox和score中的第一卷积层均用于对输入的特征图进行特征提取，其中一个全连接模块（bbox）中的第二卷积层用于对第一卷积层的输出进行回归并输出每个滑窗位置内多个参考包围框，另一个全连接模块（score）中的第二卷积层用于对第一卷积层的输出进行回归并输出每个参考包围框对应的预测得分（预测得分表示参考包围框属于细胞的概率）。
在下一个实施例中，分割掩码生成网络模型如图4所示（右边虚线框内），包括11个卷积层（conv1~conv11）、3个最大池化层（max-pooling1、max-pooling2和max-pooling3）以及1个RoI Pooling模块；
11个卷积层依次连接，第2个（conv2）、第4个（conv4）和第6个（conv6）卷积层后面均连接1个最大池化层（分别为max-pooling1、max-pooling2和max-pooling3）；第8个（conv8）卷积层后面连接1个RoI Pooling模块；
利用训练集以及全卷积神经网络模型的输出对预先构建的细胞识别模型中的分割掩码生成网络模型进行训练，包括：
301：设置第二重叠率阈值，计算所述全卷积神经网络模型输出的提议细胞包围框与所述细胞包围框的重叠率，将大于所述第二重叠率阈值的所述重叠率对应的提议细胞包围框作为样本框；
第二重叠率阈值是指提议细胞包围框与细胞包围框的重叠率阈值。本实施例中，第二重叠率阈值为0.5。
对于每个样本框，首先进行二值分割掩码标注，具体为：使用插值方式将样本框裁剪为固定大小（例如，细胞包围框的大小为15*50，而二值分割掩码的固定大小为25*25，因此需要将15*50进行裁剪插值变成25*25大小）。然后将每个样本框内细胞边界外的区域作为背景。
302：将训练集输入第一个卷积层，将样本框输入RoI Pooling模块；
303：从高斯分布中随机抽取权重来初始化分割掩码生成网络模型，利用训练集以及样本框对所述分割掩码生成网络模型进行训练。
在另一个实施例中，多任务学习框架如图5所示，依次包括5个共享卷积层（conv1~conv5）、1个共享全连接层（fc）以及6个并行的子网络；
前3个卷积层（conv1~conv3）后面均连接1个共享最大池化层（分别为max-pooling1、max-pooling2和max-pooling3）；
每个子网络依次包括3个卷积层（conv6~conv8）以及一个softmax层或者1个regression层；
利用分割掩码生成网络模型的输出对预先构建的细胞识别模型中的多任务学习框架进行训练，包括：
采用Adam优化算法，利用分割掩码生成网络模型输出的二值分割掩码图对预先构建的多任务学习框架进行训练，多任务学习框架训练采用的损失函数为：
Figure 450405DEST_PATH_IMAGE013
（2）
式中，L1为细胞分类任务的损失函数；L2为细胞面积回归任务的损失函数；L3为细胞核面积回归任务的损失函数；L4为细胞长宽比回归任务时的损失函数；L5为细胞偏心率回归任务的损失函数；L6为细胞圆度回归任务的损失函数；L为总损失；
Figure 350228DEST_PATH_IMAGE014
，
Figure 713076DEST_PATH_IMAGE015
，
Figure 749165DEST_PATH_IMAGE016
，
Figure 906477DEST_PATH_IMAGE017
，
Figure 90334DEST_PATH_IMAGE018
，均表示权重系数。
本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述方法的步骤。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种基于多任务学习的显微图像细胞识别方法，其特征在于，包括：
获取若干显微图像，并对所述显微图像进行标注；所述标注包括中心位置的标注、类别的标注、特征属性的标注、细胞包围框的标注以及细胞边界的标注；
将含有多重标注的显微图像分割成若干预设大小的图像子块，所有所述图像子块形成训练集；
利用所述训练集对预先构建的细胞识别模型进行训练，所述细胞识别模型包括全卷积神经网络模型、分割掩码生成网络模型和多任务学习框架；在所述训练过程中，所述全卷积神经网络模型的输入为所述训练集，所述分割掩码生成网络模型的输入为所述训练集以及所述全卷积神经网络模型的输出，所述多任务学习框架的输入为所述分割掩码生成网络模型的输出；
将待识别显微图像分割成若干所述预设大小的图像子块并输入训练好的细胞识别模型中进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。
2.如权利要求1所述的基于多任务学习的显微图像细胞识别方法，其特征在于，获取若干显微图像，并对所述显微图像进行标注，包括：
获取若干显微图像；
对显微图像进行细胞中心位置的标注、类别的标注以及特征属性的标注；
根据中心位置，对显微图像中的细胞进行细胞包围框的标注；
根据中心位置以及细胞包围框，对显微图像中每个细胞进行细胞边界的标注。
3.如权利要求2所述的基于多任务学习的显微图像细胞识别方法，其特征在于，根据所述中心位置，对所述显微图像中的细胞进行细胞包围框的标注，包括：
利用图割方式从所述显微图像中分割出各个细胞，获得二值化细胞图像；
根据所述中心位置以及所述二值化细胞图像，对所述显微图像中的细胞进行细胞包围框的标注；
根据所述中心位置以及所述细胞包围框，对所述显微图像中每个细胞进行细胞边界的标注，包括：
根据所述中心位置以及所述细胞包围框，利用最大稳定极值区域算法，对所述显微图像中每个细胞进行细胞边界的标注。
4.如权利要求1所述的基于多任务学习的显微图像细胞识别方法，其特征在于，利用所述训练集对预先构建的细胞识别模型中的全卷积神经网络模型进行训练，包括：
将所述训练集输入预先构建的全卷积神经网络模型，并设置第一重叠率阈值；
利用随机高斯分布初始化所述全卷积神经网络模型的所有权值，并利用所述训练集对所述全卷积神经网络模型进行训练，获取所述全卷积神经网络模型中最后一个卷积层输出的特征图，按照预先设置的多种参考包围框尺寸在所述特征图中的每个像素点提取多个参考包围框，确定所述多个参考包围框在输入的所述图像子块中的位置，并计算所述参考包围框与所述细胞包围框的重叠率，将大于所述第一重叠率阈值的重叠率对应的参考包围框标记为正样本，否则标记为负样本，并继续对所述全卷积神经网络模型进行训练，全卷积神经网络模型训练采用的损失函数为：
Figure 470511DEST_PATH_IMAGE001
（1）
式中，Lbbox表示smooth-L1损失函数；Lscore表示softmax分类损失函数；bi表示预测输出的包围框坐标；bi *表示标注的细胞包围框坐标；pi表示包围框bi属于细胞的概率；pi *表示包围框的理想标签；
Figure 423424DEST_PATH_IMAGE002
表示平衡因子。
5.如权利要求4所述的基于多任务学习的显微图像细胞识别方法，其特征在于，所述全卷积神经网络模型依次包括6个卷积层、2个并行的全连接模块以及1个包围框输出层；
前2个所述卷积层的后面均连接有1个最大池化层；
所述2个并行的全连接模块均包括第一卷积层和第二卷积层，所述第一卷积层均用于对输入的特征图进行特征提取，其中一个全连接模块中的所述第二卷积层用于对所述第一卷积层的输出进行回归并输出每个滑窗位置内多个参考包围框，另一个全连接模块中的所述第二卷积层用于对所述第一卷积层的输出进行回归并输出每个参考包围框对应的预测得分。
6.如权利要求1所述的基于多任务学习的显微图像细胞识别方法，其特征在于，所述分割掩码生成网络模型包括11个卷积层、3个最大池化层以及1个RoI Pooling模块；
11个所述卷积层依次连接，第2个、第4个和第6个所述卷积层后面均连接1个最大池化层；第8个所述卷积层后面连接1个RoI Pooling模块；
利用所述训练集以及所述全卷积神经网络模型的输出对预先构建的细胞识别模型中的分割掩码生成网络模型进行训练，包括：
设置第二重叠率阈值，计算所述全卷积神经网络模型输出的提议细胞包围框与所述细胞包围框的重叠率，将大于所述第二重叠率阈值的所述重叠率对应的提议细胞包围框作为样本框；
将所述训练集输入第一个卷积层，将所述样本框输入所述RoI Pooling模块；
从高斯分布中随机抽取权重来初始化所述分割掩码生成网络模型，利用所述训练集以及所述样本框对所述分割掩码生成网络模型进行训练。
7.如权利要求1所述的基于多任务学习的显微图像细胞识别方法，其特征在于，所述多任务学习框架依次包括5个共享卷积层、1个共享全连接层以及6个并行的子网络；
前3个所述卷积层后面均连接1个共享最大池化层；
每个所述子网络依次包括3个卷积层以及一个softmax层或者1个regression层；
利用所述分割掩码生成网络模型的输出对预先构建的细胞识别模型中的多任务学习框架进行训练，包括：
采用Adam优化算法，利用所述分割掩码生成网络模型输出的二值分割掩码图对预先构建的多任务学习框架进行训练，多任务学习框架训练采用的损失函数为：
Figure 220478DEST_PATH_IMAGE003
（2）
式中，L1为细胞分类任务的损失函数；L2为细胞面积回归任务的损失函数；L3为细胞核面积回归任务的损失函数；L4为细胞长宽比回归任务时的损失函数；L5为细胞偏心率回归任务的损失函数；L6为细胞圆度回归任务的损失函数；L为总损失；
Figure 360473DEST_PATH_IMAGE004
，
Figure 533965DEST_PATH_IMAGE005
，
Figure 341384DEST_PATH_IMAGE006
，
Figure 309340DEST_PATH_IMAGE007
，
Figure 703675DEST_PATH_IMAGE008
，均表示权重系数。
8.一种基于多任务学习的显微图像细胞识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取若干显微图像，并对所述显微图像进行标注；所述标注包括中心位置的标注、类别的标注、特征属性的标注、细胞包围框的标注以及细胞边界的标注；
训练集生成模块，用于将含有多重标注的显微图像分割成若干预设大小的图像子块，所有所述图像子块形成训练集；
模型训练模块，用于利用所述训练集对预先构建的细胞识别模型进行训练，所述细胞识别模型包括全卷积神经网络模型、分割掩码生成网络模型和多任务学习框架；在所述训练过程中，所述全卷积神经网络模型的输入为所述训练集，所述分割掩码生成网络模型的输入为所述训练集以及所述全卷积神经网络模型的输出，所述多任务学习框架的输入为所述分割掩码生成网络模型的输出；
细胞识别模块，用于将待识别显微图像分割成若干所述预设大小的图像子块并输入训练好的细胞识别模型中进行细胞识别，获得待识别显微图像中各个细胞的类别以及特征属性。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1~7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1~7中任一项所述方法的步骤。
CN202010637815.6A 2020-07-06 2020-07-06 一种基于多任务学习的显微图像细胞识别方法及装置 Active CN111524138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010637815.6A CN111524138B (zh) 2020-07-06 2020-07-06 一种基于多任务学习的显微图像细胞识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010637815.6A CN111524138B (zh) 2020-07-06 2020-07-06 一种基于多任务学习的显微图像细胞识别方法及装置

Publications (2)

Publication Number Publication Date
CN111524138A CN111524138A (zh) 2020-08-11
CN111524138B true CN111524138B (zh) 2020-09-22

Family

ID=71912985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010637815.6A Active CN111524138B (zh) 2020-07-06 2020-07-06 一种基于多任务学习的显微图像细胞识别方法及装置

Country Status (1)

Country Link
CN (1) CN111524138B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232390B (zh) * 2020-09-29 2024-03-01 北京临近空间飞行器系统工程研究所 一种高像素大图像的识别方法和系统
CN111931751B (zh) * 2020-10-13 2021-01-26 深圳市瑞图生物技术有限公司 深度学习训练方法、目标物识别方法、系统和存储介质
CN112200726B (zh) * 2020-10-29 2023-04-07 陈根生 基于无透镜显微成像的尿沉渣有形成分检测方法及系统
CN112634243B (zh) * 2020-12-28 2022-08-05 吉林大学 一种强干扰因素下基于深度学习的图像分类识别系统
CN112767266B (zh) * 2021-01-11 2022-08-30 之江实验室 一种面向深度学习的显微内窥镜图像数据增强方法
CN112862811B (zh) * 2021-03-10 2023-06-13 华中科技大学 基于深度学习的材料显微图像缺陷识别方法、设备及装置
CN113240035A (zh) * 2021-05-27 2021-08-10 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备
CN113298168B (zh) * 2021-06-01 2023-11-24 中国地质大学（北京） 野外地质露头图像构造识别方法及系统
CN114418995B (zh) * 2022-01-19 2023-02-03 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 一种基于显微镜图像的级联藻类细胞统计方法
CN114418994B (zh) * 2022-01-19 2022-11-15 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 一种基于显微镜图像的脆杆群体藻类细胞统计方法
CN114170484B (zh) * 2022-02-11 2022-05-27 中科视语(北京)科技有限公司 图片属性预测方法、装置、电子设备和存储介质
CN115424093A (zh) * 2022-09-01 2022-12-02 南京博视医疗科技有限公司 一种识别眼底图像中细胞的方法及装置
CN116402775B (zh) * 2023-03-29 2023-12-22 浙江大学 一种基于多任务感知网络的细胞形变控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999922B (zh) * 2012-11-19 2015-04-15 常熟理工学院 一种基于多任务蚂蚁系统的多细胞自动跟踪方法及其系统
CN104331712B (zh) * 2014-11-24 2017-08-25 齐齐哈尔格林环保科技开发有限公司 一种藻类细胞图像自动分类方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109493330A (zh) * 2018-11-06 2019-03-19 电子科技大学 一种基于多任务学习的细胞核实例分割方法

Also Published As

Publication number Publication date
CN111524138A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111524138B (zh) 一种基于多任务学习的显微图像细胞识别方法及装置
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
WO2020253629A1 (zh) 检测模型训练方法、装置、计算机设备和存储介质
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
CN109816661B (zh) 一种基于深度学习的牙齿ct图像分割方法
CN106340016A (zh) 一种基于细胞显微镜图像的dna定量分析方法
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
CN110543912B (zh) 自动获取胎儿关键切面超声视频中心动周期视频的方法
CN110210431B (zh) 一种基于点云语义标注和优化的点云分类方法
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
CN110246579B (zh) 一种病理诊断方法及装置
CN112613428B (zh) 基于平衡损失的Resnet-3D卷积牛视频目标检测方法
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
CN113673338A (zh) 自然场景文本图像字符像素弱监督自动标注方法、系统及介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN112348059A (zh) 基于深度学习的多种染色病理图像分类方法及系统
CN114783604A (zh) 一种乳腺癌前哨淋巴结转移的预测方法、系统及存储介质
WO2024016812A1 (zh) 显微图像的处理方法、装置、计算机设备及存储介质
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN111739017A (zh) 一种在样本不平衡条件下显微图像的细胞识别方法及系统
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
Kitrungrotsakul et al. Interactive deep refinement network for medical image segmentation
CN112991281B (zh) 视觉检测方法、系统、电子设备及介质
Wu et al. Fast particle picking for cryo-electron tomography using one-stage detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant