CN115620284A - 基于卷积注意力机制的细胞凋亡计数方法、系统及平台 - Google Patents

基于卷积注意力机制的细胞凋亡计数方法、系统及平台 Download PDF

Info

Publication number
CN115620284A
CN115620284A CN202211628940.6A CN202211628940A CN115620284A CN 115620284 A CN115620284 A CN 115620284A CN 202211628940 A CN202211628940 A CN 202211628940A CN 115620284 A CN115620284 A CN 115620284A
Authority
CN
China
Prior art keywords
counting
apoptosis
network
cells
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211628940.6A
Other languages
English (en)
Other versions
CN115620284B (zh
Inventor
钟丽云
季以诺
李承颖
高欣
朱伟乐
邸江磊
秦玉文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202211628940.6A priority Critical patent/CN115620284B/zh
Publication of CN115620284A publication Critical patent/CN115620284A/zh
Application granted granted Critical
Publication of CN115620284B publication Critical patent/CN115620284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积注意力机制的细胞凋亡计数方法、系统及平台。方案通过方法以及与所述方法相应的系统及平台，能够通过U‑Net语义分割网络很好的识别出细胞相衬图像中未凋亡的细胞、凋亡前期的细胞、凋亡后期的细胞的三种细胞类别，排除了复杂背景的干扰，提高了对尺度大小不一的细胞和堆叠细胞的计数准确率，通过VGG计数网络对三种类别的细胞进行计数。在对U‑Net语义分割网络和VGG计数网络进行训练和测试获得优化后的网络参数后，能够实现准确且快速的对目标细胞凋亡程度的衡量。

Description

基于卷积注意力机制的细胞凋亡计数方法、系统及平台
技术领域
本发明属于计算机视觉和医学图像处理技术领域，具体涉及一种基于卷积注意力机制的细胞凋亡计数方法、系统及平台。
背景技术
随着当今计算机技术的快速发展，深度学习逐渐被越来越多的人应用在各种各样的研究领域。在计算机视觉方面，深度学习能够帮助使用者通过不同的神经网络用不同的方式有效地提取图像中所需的有用信息，并对其处理加以应用到不同方面。特别是在微生物医学的细胞培养与研究中，研究者为了达到研究的目的，准确且快速地获得细胞显微图像中方方面面的信息，通常需要结合计算机视觉以及深度学习的图像处理技术。深度学习中的图像处理技术能够对显微图像中的目标细胞进行快速且准确地识别与计数，因此深度学习和医学图像处理领域的结合对生物细胞的研究与培养就十分重要。
然而，在传统的细胞识别与计数中，通常需要依赖人工的手动计数和人眼识别，这不仅耗时耗力，而且当人产生疲劳感时容易产生不可避免的人工误差。然而细胞识别与计数在生物细胞研究中十分重要。例如，对人体血液显微图像中的白细胞、红细胞进行计数从而知道该患者的各种生理情况，又如对人体组织切片显微图像中的特定细胞进行识别等。另外，在细胞研究的细胞培养过程中，也需要知道细胞的数量，来对细胞的整个生长过程进行一个量化的判断，或者通过获得癌细胞的凋亡数量，在抗癌药物的筛选中测试该抗癌药物的疗效。
传统的目标识别方法如基于阈值的分水岭算法、基于边缘识别的分割方法以及某些特定理论的识别方法虽然也能够应用于上述的识别和计数问题，但是当遇到背景噪声过大，影响因素较多时，预测结果都会产生较大的误差。
目前用于细胞识别的图像主要有荧光染色图、明场图和相衬图。明场图在细胞堆叠的情况下难以分辨细胞与细胞之间的边界导致对细胞计数的准确率很低，另外也难以分辨细胞凋亡的程度。荧光染色图中目标细胞具有比较清晰的细胞与细胞之间的边界，能很好的识别出细胞的位置和个数，但是荧光染色图在对细胞染色的过程中会对细胞造成伤害，荧光染色也增加了实验经济成本和实验所需时间。相衬图能够通过光通过不同物体的光程差获得高度信息，能很好的区分出细胞的边界，但是同时也放大了背景噪声，使得直接做回归计数时精度较低。并且，不同尺度的细胞和大面积的细胞堆叠形成的细胞间边界模糊也对识别和计数造成一定的困难。另外，在一些药物的筛选以及对不同抗癌药物药效的评价当中，也需要对细胞凋亡程度进行衡量，而现有的方法中也缺少能快速衡量细胞图像中的细胞凋亡程度的方法。
因此，针对以上的技术问题缺陷，急需设计和开发一种基于卷积注意力机制的细胞凋亡计数方法、系统及平台。
发明内容
为克服上述现有技术存在的不足及困难，本发明之目的在于提供一种基于卷积注意力机制的细胞凋亡计数方法、系统及平台，能精确快速且低成本地识别与计数细胞、还能衡量图像中的细胞凋亡程度。
本发明的第一目的在于提供一种基于卷积注意力机制的细胞凋亡计数方法；本发明的第二目的在于提供一种基于卷积注意力机制的细胞凋亡计数系统；本发明的第三目的在于提供一种基于卷积注意力机制的细胞凋亡计数平台；
本发明的第一目的是这样实现的：所述方法包括：
获取含有多个细胞的相衬图像，并标注相衬图像中的像素，生成与原细胞图像相应的标签图片；
裁剪所述相衬图像和标签图片，并将被裁剪的图片按设定比例划分为训练集和测试集；
创建基于多尺度卷积注意力机制Unet语义分割网络，根据所述语义分割网络，结合所述训练集和测试集，实时训练和测试被裁剪的相衬图像及标签图片；
构建计数网络数据集，根据所述计数网络数据集，结合语义分割处理的训练集和测试集，实时生成至少三种不同细胞类别的连通域；
结合Pytorch深度学习框架建立VGG计数网络，分别训练和测试与三种不同细胞类别连通域及计数标签相应的VGG神经网络模型；
生成与相衬图像相应的细胞凋亡状态计数数据。
进一步地，所述获取含有多个细胞的相衬图像，并标注相衬图像中的像素，生成与原细胞图像相应的标签图片，还包括：将已标注图像中的像素转化成相应类别的独热编码，其中，所述独热编码用于唯一对应细胞凋亡状态像素值。
进一步地，所述标签图片中每一个像素点分别为四个类别：未凋亡的细胞、凋亡前期的细胞、凋亡后期的细胞和背景。
进一步地，所述创建基于多尺度卷积注意力机制Unet语义分割网络，根据所述语义分割网络，结合所述训练集和测试集，实时训练和测试被裁剪的相衬图像及标签图片，还包括：
实时训练被裁剪的相衬图像及标签图片，并生成相应的网络模型权重参数；
结合所述网络模型权重参数，实时测试所述测试集的输入。
进一步地，所述构建计数网络数据集，根据所述计数网络数据集，结合语义分割处理的训练集和测试集，实时生成至少三种不同细胞类别的连通域，还包括：
根据所述连通域，分别对连通区域内的细胞进行计数处理，并生成与计数网络相应的标签。
进一步地，所述的细胞凋亡状态计数数据包括：未凋亡的细胞计数数据、凋亡前期的细胞计数数据和凋亡后期的细胞计数数据。
本发明的第二目的是这样实现的：所述系统包括：获取生成单元，用于获取含有多个细胞的相衬图像，并标注相衬图像中的像素，生成与原细胞图像相应的标签图片；裁剪划分单元，用于裁剪所述相衬图像和标签图片，并将被裁剪的图片按设定比例划分为训练集和测试集；创建单元，用于创建基于多尺度卷积注意力机制Unet语义分割网络，根据所述语义分割网络，结合所述训练集和测试集，实时训练和测试被裁剪的相衬图像及标签图片；构建生成单元，用于构建计数网络数据集，根据所述计数网络数据集，结合语义分割处理的训练集和测试集，实时生成至少三种不同细胞类别的连通域；建立单元，用于结合Pytorch深度学习框架建立VGG计数网络，分别训练和测试与三种不同细胞类别连通域及计数标签相应的VGG神经网络模型；计数数据生成单元，用于生成与相衬图像相应的细胞凋亡状态计数数据。
进一步地，所述获取生成单元，还包括：转化模块，用于将已标注图像中的像素转化成相应类别的独热编码，其中，所述独热编码用于唯一对应细胞凋亡状态像素值；和/或，所述创建单元，还包括：第一生成模块，用于实时训练被裁剪的相衬图像及标签图片，并生成相应的网络模型权重参数；测试模块，用于结合所述网络模型权重参数，实时测试所述测试集的输入；和/或，所述构建生成单元，还包括：第二生成模块，用于根据所述连通域，分别对连通区域内的细胞进行计数处理，并生成与计数网络相应的标签；所述的细胞凋亡状态计数数据包括：未凋亡的细胞计数数据、凋亡前期的细胞计数数据和凋亡后期的细胞计数数据。
进一步地，所述标签图片中每一个像素点分别为四个类别：未凋亡的细胞、凋亡前期的细胞、凋亡后期的细胞和背景。
本发明的第三目的是这样实现的：包括处理器、存储器以及基于卷积注意力机制的细胞凋亡计数平台控制程序；
其中，在所述的处理器执行所述的基于卷积注意力机制的细胞凋亡计数平台控制程序，所述的基于卷积注意力机制的细胞凋亡计数平台控制程序被存储在所述存储器中，所述的基于卷积注意力机制的细胞凋亡计数平台控制程序，实现一项所述的基于卷积注意力机制的细胞凋亡计数方法。
本发明通过方法获取含有多个细胞的相衬图像，并标注相衬图像中的像素，生成与原细胞图像相应的标签图片；裁剪所述相衬图像和标签图片，并将被裁剪的图片按设定比例划分为训练集和测试集；创建基于多尺度卷积注意力机制Unet语义分割网络，根据所述语义分割网络，结合所述训练集和测试集，实时训练和测试被裁剪的相衬图像及标签图片；构建计数网络数据集，根据所述计数网络数据集，结合语义分割处理的训练集和测试集，实时生成至少三种不同细胞类别的连通域；结合Pytorch深度学习框架建立VGG计数网络，分别训练和测试与三种不同细胞类别连通域及计数标签相应的VGG神经网络模型；生成与相衬图像相应的细胞凋亡状态计数数据，能精确快速且低成本地识别与计数细胞、还能衡量图像中的细胞凋亡程度。
也就是说，本发明提供的一种基于多尺度卷积注意力机制和相衬图像的细胞凋亡识别与计数方法中，采用了将不同尺度的空洞卷积与通道注意力机制相结合的模块。空洞卷积可以有效的增加卷积核的感受野，而在特征图相同的情况下，更大的感受野可以提高在目标检测和语义分割任务重的不同大小的物体识别分割的效果。因此将不同尺度的空洞卷积的融合并结合通道注意力机制，可以有效的解决细胞尺度大小不一和堆叠细胞的识别困难问题。
此外，本发明提供的一种基于多尺度卷积注意力机制和相衬图像的细胞凋亡识别与计数方法中，能够通过U-Net语义分割网络很好的识别出细胞相衬图像中未凋亡的细胞、凋亡前期的细胞、凋亡后期的细胞的三种细胞类别，排除了复杂背景的干扰，提高了对尺度大小不一的细胞和堆叠细胞的计数准确率，然后通过VGG计数网络对三种类别的细胞进行计数。在对U-Net语义分割网络和VGG计数网络进行训练和测试获得优化后的网络参数后，能够实现准确且快速的对目标细胞凋亡程度的衡量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于卷积注意力机制的细胞凋亡计数方法中语义分割网络的识别过程，左边为输入U-net网络的细胞相衬图，右边为U-net网络输出的语义分割识别结果示意图；
图2为本发明图1输入的细胞相衬图中未凋亡细胞类别的每一个连通域的计数结果示例示意图；
图3为本发明图1输入的细胞相衬图中凋亡前期细胞类别的每一个连通域的计数结果示例示意图；
图4为本发明图1输入的细胞相衬图中凋亡后期细胞类别的每一个连通域的计数结果示例示意图；
图5为本发明一种基于卷积注意力机制的细胞凋亡计数方法之多尺度卷积注意力模块（MCA）示意图；
图6为本发明一种基于卷积注意力机制的细胞凋亡计数方法之基于多尺度卷积注意力的MCA-Unet示意图；
图7为本发明一种基于卷积注意力机制的细胞凋亡计数方法流程示意图；
图8为本发明一种基于卷积注意力机制的细胞凋亡计数系统架构示意图；
图9为本发明一种基于卷积注意力机制的细胞凋亡计数平台架构示意图；
图10为本发明一种基于卷积注意力机制的细胞凋亡计数方法之具体实施例流程示意图；
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为便于更好的理解本发明的目的、技术方案和优点更加清楚，下面结合附图和具体的实施方式对本发明作进一步说明，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。
本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
需要说明，若本发明实施例中有涉及方向性指示（诸如上、下、左、右、前、后……），则该方向性指示仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。其次，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
优选地，本发明一种基于卷积注意力机制的细胞凋亡计数方法应用在一个或者多个终端或者服务器中。所述终端是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路（ApplicationSpecific Integrated Circuit，ASIC）、可编程门阵列（Field－Programmable GateArray，FPGA）、数字处理器（Digital Signal Processor，DSP）、嵌入式设备等。
所述终端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可以与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
本发明为实现一种基于卷积注意力机制的细胞凋亡计数方法及系统。
如图7所示，是本发明实施例提供的基于卷积注意力机制的细胞凋亡计数方法的流程图。
在本实施例中，所述基于卷积注意力机制的细胞凋亡计数方法，可以应用于具备显示功能的终端或者固定终端中，所述终端并不限定于个人电脑、智能手机、平板电脑、安装有摄像头的台式机或一体机等。
所述基于卷积注意力机制的细胞凋亡计数方法也可以应用于由终端和通过网络与所述终端进行连接的服务器所构成的硬件环境中。网络包括但不限于：广域网、城域网或局域网。本发明实施例的基于卷积注意力机制的细胞凋亡计数方法可以由服务器来执行，也可以由终端来执行，还可以是由服务器和终端共同执行。
例如，对于需要进行基于卷积注意力机制的细胞凋亡计数终端，可以直接在终端上集成本发明的方法所提供的基于卷积注意力机制的细胞凋亡计数功能，或者安装用于实现本发明的方法的客户端。再如，本发明所提供的方法还可以软件开发工具包（SoftwareDevelopment Kit，SDK）的形式运行在服务器等设备上，以SDK的形式提供基于卷积注意力机制的细胞凋亡计数功能的接口，终端或其他设备通过所提供的接口即可实现基于卷积注意力机制的细胞凋亡计数功能。
本发明中用到的名词解释如下：卷积神经网络（Convolutional Neural Networks, CNN）：一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表 算法之一。上采样：上采样是卷积神经网络中将特征层的尺寸扩大的一个过程。下采样：下 采样是卷积神经网络中将特征层的尺寸缩小的一个过程。卷积：卷积神经网络中的操作，把 输入的图像数据通过卷积核或过滤器平滑处理变成特征并提取出来。池化、反卷积：均为 CNN中的操作，池化一般跟在卷积操作之后，为了降低特征的维度并保留有效信息，构成采 样层；反卷积是卷积操作的逆过程，称为转置卷积，使图像从卷积生成的稀疏图像表示回到 更高图像分辨率，也是上采样技术中的一种。空洞卷积：卷积神经网络是受生物学上感受野 (Receptive Field)的机制而提出的。感受野主要是指听觉系统、本体感觉系统和视觉系统 中神经元的一些感受事物的性质。而空洞卷积能够卷积核元素之间加入一些空格来扩大卷 积核的感受野。VGG：牛津大学计算机视觉组（Visual Geometry Group）和谷歌 DeepMind 一起研究出来的深度卷积神经网络，因而冠名为 VGG。VGG是一种被广泛使用的卷积神经网 络结构，整个网络都使用卷积核尺寸为 3×3 和最大池化尺寸为 2×2。Unet：Unet 属于 FCN(Full convolution neural network)，全卷积神经网络的一种变体，它可以说是非常 常用且简单的一种分割模型，且可以从小数据集中训练。Unet 的初衷是为了解决医学图像 分割的问题，特别是细胞层面的分割任务。自被提出以来，Unet 凭借其突出的分割效果而 被广泛应用在语义分割的各个方向。特征图的尺寸：一张
Figure 82468DEST_PATH_IMAGE001
的特征图，
Figure 926665DEST_PATH_IMAGE002
为它 的通道数，
Figure 719040DEST_PATH_IMAGE003
为它的宽度，
Figure 591181DEST_PATH_IMAGE004
为它的长度。另外，形如
Figure 194332DEST_PATH_IMAGE005
是深度学习中常用 的特征图维度的表达式，表示一个代号为
Figure 417503DEST_PATH_IMAGE006
的三维特征图，
Figure 482411DEST_PATH_IMAGE007
表示该特征图里有
Figure 474638DEST_PATH_IMAGE008
个为实数的元素，并且该特征图通道数为
Figure 747225DEST_PATH_IMAGE009
，宽度为
Figure 192113DEST_PATH_IMAGE010
，长度为
Figure 591870DEST_PATH_IMAGE011
。形如
Figure 704183DEST_PATH_IMAGE012
表示一个代号为
Figure 383557DEST_PATH_IMAGE013
的二维特征图，也就是一个矩阵，该矩阵里有
Figure 846899DEST_PATH_IMAGE014
个 实数，并且该矩阵宽度为
Figure 394555DEST_PATH_IMAGE015
，长度为
Figure 751587DEST_PATH_IMAGE016
。
以下结合附图对本发明作进一步阐述。
如图1-10所示，本发明提供了一种基于卷积注意力机制的细胞凋亡计数方法，所述的方法包括如下步骤：
S01、获取含有多个细胞的相衬图像，并标注相衬图像中的像素，生成与原细胞图像相应的标签图片；
S02、裁剪所述相衬图像和标签图片，并将被裁剪的图片按设定比例划分为训练集和测试集；
S03、创建基于多尺度卷积注意力机制Unet语义分割网络，根据所述语义分割网络，结合所述训练集和测试集，实时训练和测试被裁剪的相衬图像及标签图片；
S04、构建计数网络数据集，根据所述计数网络数据集，结合语义分割处理的训练集和测试集，实时生成至少三种不同细胞类别的连通域；
S05、结合Pytorch深度学习框架建立VGG计数网络，分别训练和测试与三种不同细胞类别连通域及计数标签相应的VGG神经网络模型；
S06、生成与相衬图像相应的细胞凋亡状态计数数据。
所述获取含有多个细胞的相衬图像，并标注相衬图像中的像素，生成与原细胞图像相应的标签图片，还包括：S011、将已标注图像中的像素转化成相应类别的独热编码，其中，所述独热编码用于唯一对应细胞凋亡状态像素值。
所述标签图片中每一个像素点分别为四个类别：未凋亡的细胞、凋亡前期的细胞、凋亡后期的细胞和背景。
所述创建基于多尺度卷积注意力机制Unet语义分割网络，根据所述语义分割网络，结合所述训练集和测试集，实时训练和测试被裁剪的相衬图像及标签图片，还包括：S031、实时训练被裁剪的相衬图像及标签图片，并生成相应的网络模型权重参数；S032、结合所述网络模型权重参数，实时测试所述测试集的输入。
所述构建计数网络数据集，根据所述计数网络数据集，结合语义分割处理的训练集和测试集，实时生成至少三种不同细胞类别的连通域，还包括：
S041、根据所述连通域，分别对连通区域内的细胞进行计数处理，并生成与计数网络相应的标签。
所述的细胞凋亡状态计数数据包括：未凋亡的细胞计数数据、凋亡前期的细胞计数数据和凋亡后期的细胞计数数据。
具体地，在本发明实施例中，提出一种基于多尺度卷积注意力机制的相衬图像细胞凋亡识别与计数方法。利用了相衬图像的高度信息优点，对细胞相衬图像使用U-Net网络进行精确的语义分割，对图像中的每一个像素点进行分类，识别出背景像素、未凋亡的细胞像素、凋亡前期的细胞像素、凋亡后期的细胞像素。其中将多尺度空洞卷积注意力模块嵌入U-Net网络中。通过语义分割去掉背景像素的影响后，提高了对每一类细胞堆叠时的识别准确度。然后，从U-Net网络输出结果中分别提取出未凋亡的细胞、凋亡前期的细胞、凋亡后期三种类别的图像块，分别输入VGG网络中输出细胞的个数，从而实现细胞计数。最终实现了对细胞的精确、快速且低成本的识别与计数，并具有较强的鲁棒性。
本发明的目的是通过以下技术方案来实现的：
步骤1、数据集获得与预处理；使用相衬显微镜成像系统获取含有多个细胞图像的 相衬显微图，该显微图的通道、长、宽大小分别为
Figure 726497DEST_PATH_IMAGE017
的RGB图像，使用 Labelme软件人工对每个细胞图像中的每个像素进行像素级标注，生成与原细胞图像长宽 一样的标签图片，其大小为
Figure 677135DEST_PATH_IMAGE018
。标签图片中每一个像素点分别为四个类 别：未凋亡的细胞、凋亡前期的细胞、凋亡后期的细胞、背景；将做好的标签中每一个像素转 化为独热编码，即背景像素值设为0，未凋亡细胞的像素值设为1，凋亡前期的细胞的像素值 设为2，凋亡后期的细胞的像素值设为3。
步骤2、构建语义分割网络数据集；将细胞图像和标签裁剪成每个像素点空间上一 一对应的
Figure 402383DEST_PATH_IMAGE019
和
Figure 489288DEST_PATH_IMAGE020
的图片，并且按照9:1的比例随机抽取被裁 剪的图片划分为训练集和测试集。
步骤3、搭建Unet语义分割网络；使用Pytorch深度学习框架搭建基于多尺度卷积注意力机制U-Net语义分割网络，即Multi-Convolutional Attention Unet(MCA-Unet)，并且使用跳跃连接把低级语义信息和高级语义信息互相连接，其中为了解决错综复杂的细胞形态的识别，基于多尺度卷积注意力模块嵌入在每一个下采样层的输出中，它能够通过通道注意力机制自适应计算该模块中不同的空洞卷积核的权重，并将该结果反馈回原来的空洞卷积核的输出中。
步骤4、训练U-Net神经网络模型；将步骤1和步骤2中裁剪后的细胞图像和标签中 的训练集分别作为所提出的基于多尺度卷积注意力机制U-Net网络的输入和语义分割的标 签进行训练，通过深度学习的传播算法和参数更新不断优化U-Net网络，最终得到优化后的 模型权重参数。输入的细胞相衬细胞图大小为
Figure 25312DEST_PATH_IMAGE021
，输出一个与输入图像相同 尺寸的特征图，大小为
Figure 932088DEST_PATH_IMAGE022
。其中输出中的每一层
Figure 87126DEST_PATH_IMAGE023
的特征图 中在每一个位置像素值分别代表四个类别在每一个位置的预测概率，即：第一层的像素值 分别代表在该像素点预测为背景的概率、第二层的像素值分别代表在该像素点预测为未凋 亡的细胞的概率、第三层的像素值分别代表在该像素点预测为凋亡前期的细胞、第四层的 像素值分别代表在该像素点预测为凋亡后期的细胞。概率最高的类别被判断为该像素点的 类别，将每一层的像素点取最大值，最终预测结果为
Figure 903903DEST_PATH_IMAGE024
的预测图，即：预测图 的图像中每个像素点取值分别对应四个预测出的类别，即：背景像素值为0、未凋亡细胞的 像素值为1、凋亡前期的细胞的像素值为2、凋亡后期的细胞的像素值为3。
步骤5、测试U-Net神经网络模型；使用步骤1和步骤2中裁剪后的细胞图像，利用步骤4中得到的最优网络模型权重参数对测试集的输入进行测试，并对测试结果进行评价；
步骤6、构建计数网络数据集；将步骤5中U-Net网络的细胞输入图像重组成
Figure 486194DEST_PATH_IMAGE025
的完整图片，以及语义分割的结果重新组成每个像素点与前者在空间上 一一对应的
Figure 4900DEST_PATH_IMAGE026
的完整图片，语义分割结果的图像中每个像素点取值分别 对应四个预测出的类别，即：背景像素为0、未凋亡细胞的像素为1、凋亡前期的细胞的像素 为2、凋亡后期的细胞的像素为3。
首先获得未凋亡细胞的数据集；将语义分割结果中未凋亡细胞的像素设为1，其它 像素设为0。为了更好的提高计数准确率，在排除掉一些很小的像素区域后，将每一块被判 断为未凋亡细胞的像素区域分别单独提取出来放在一张新的
Figure 698050DEST_PATH_IMAGE027
图像中， 并再乘以原来输入的相衬图像，就获得了一个只有当前连通区域有像素值的图像，也就是 一块未凋亡细胞的连通区域。为了提升计算速度，将每一块未凋亡细胞的连通区域的大小 由
Figure 759546DEST_PATH_IMAGE028
调整为
Figure 886640DEST_PATH_IMAGE029
的图像。将所有分割出来的未凋亡细胞的连通 区域作为计数网络的数据集一部分。
然后获得凋亡前期细胞的数据集；将语义分割结果中凋亡前期细胞的像素设为1， 其它像素设为0。排除掉一些很小的像素区域后，将每一块被判断为凋亡前期细胞的像素连 通区域分别单独提取出来放在一张新的
Figure 33588DEST_PATH_IMAGE030
图像中，并再乘以原来输入的相 衬图像，就获得了一个只有当前连通区域有像素值的图像。将每一块凋亡前期细胞的连通 区域的大小由
Figure 389483DEST_PATH_IMAGE031
调整为
Figure 39907DEST_PATH_IMAGE032
的图像。将所有分割出来的凋亡前 期细胞的连通区域作为计数网络的数据集的一部分。
然后获得凋亡后期细胞的数据集；将语义分割结果中凋亡后期细胞的像素设为1， 其它像素设为0。排除掉一些很小的像素区域后，将每一块被判断为凋亡后期细胞的像素连 通区域分别单独提取出来放在一张新的
Figure 229580DEST_PATH_IMAGE033
图像中，并再乘以原来输入的相 衬图像，就获得了一个只有当前连通区域有像素值的图像。将每一块凋亡后期细胞的连通 区域的大小由
Figure 473610DEST_PATH_IMAGE034
调整为
Figure 774142DEST_PATH_IMAGE035
的图像。将所有分割出来的凋亡后 期细胞的连通区域作为计数网络的数据集的一部分。
最后分别对这些连通区域进行人为细胞计数，作为计数网络的标签，并按9:1的比例分为训练集和测试集。
步骤7、搭建VGG计数网络；使用Pytorch深度学习框架搭建VGG网络。使用VGG16的所有网络层作为计数网络的初始网络，包括不同大小的卷积层、池化层和全连接层。为了对应标签中的细胞个数，在VGG16网络的最后一层添加一个只输出一个值的全连接层。
步骤8、训练VGG神经网络模型；使用步骤6中获得的三种类别的连通域和计数标签的训练集，分别训练三个不同的VGG神经网络模型，对应三种不同的类别：未凋亡的细胞、凋亡前期的细胞、凋亡后期的细胞。通过深度学习的传播算法和参数更新不断优化VGG网络，最终得到优化后的模型权重参数。
步骤9、测试VGG神经网络模型；使用步骤6中获得的三种类别的连通域和计数标签的测试集，并分别测试三个不同的VGG神经网络模型。
步骤10、最后统计每一张相衬图中未凋亡的细胞、凋亡前期的细胞、凋亡后期的细胞的比例，就能获得细胞的总体凋亡程度。
较佳地，在步骤3中，基于多尺度卷积注意力模块(MCA)的方法包括以下步骤：
S1、如图5中，设该模块的输入为
Figure 403706DEST_PATH_IMAGE036
，它的特征图表达式为
Figure 764280DEST_PATH_IMAGE037
的特征图， 然后将该特征图分别输入四个尺寸为
Figure 620241DEST_PATH_IMAGE038
的空洞卷积层，其扩张率分别设为1、2、6、12。为 了减少模块的计算量，通道数进行了压缩，输出四个尺寸为
Figure 403144DEST_PATH_IMAGE039
的特征图，这四个 特征图命名为
Figure 293739DEST_PATH_IMAGE040
。
Figure 684269DEST_PATH_IMAGE041
分别代表了这四个不同尺寸空洞卷积的输出结果。
S2、如图5中，将
Figure 761947DEST_PATH_IMAGE042
中的四个特征层分别输入一个卷积核大小为
Figure 669860DEST_PATH_IMAGE043
的卷积层，将 每一个
Figure 24749DEST_PATH_IMAGE044
再次压缩为
Figure 727126DEST_PATH_IMAGE045
的单通道特征图，每个单通道特征图分别代表了 四个不同扩张率的空洞卷积的卷积结果。
S3、如图5中，将这四个
Figure 416733DEST_PATH_IMAGE046
的单通道特征图拼接成一个
Figure 331599DEST_PATH_IMAGE047
的特征图 命名为
Figure 196787DEST_PATH_IMAGE048
。
Figure 178388DEST_PATH_IMAGE049
为模块第二层中的输入，表示四个不同扩张率的空洞卷积的经过压缩后再拼 接的特征图。
S4、如图5中，将
Figure 230657DEST_PATH_IMAGE050
重组成并转置成
Figure 339427DEST_PATH_IMAGE051
。
Figure 793543DEST_PATH_IMAGE052
表示将
Figure 447509DEST_PATH_IMAGE053
中4层通道的4个矩阵分 别展开为4个一维向量并进行矩阵转置，
Figure 987075DEST_PATH_IMAGE054
的每一列分别代表4层通道的所有元素。其中
Figure 633957DEST_PATH_IMAGE055
，代表每一层通道数的
Figure 208157DEST_PATH_IMAGE056
个元素。
S5、如图5中，将
Figure 157659DEST_PATH_IMAGE049
重组成
Figure 292843DEST_PATH_IMAGE057
,
Figure 618782DEST_PATH_IMAGE058
表示将
Figure 906544DEST_PATH_IMAGE048
中4层通道的4个矩阵分别展开 为4个一维向量，
Figure 292526DEST_PATH_IMAGE059
的每一行分别代表4层通道的所有元素。
S6、如图5中，将
Figure 682050DEST_PATH_IMAGE060
重组成
Figure 546101DEST_PATH_IMAGE061
,
Figure 688369DEST_PATH_IMAGE062
表示将
Figure 245252DEST_PATH_IMAGE063
中4层通道的4个矩阵分别展开 为4个一维向量，
Figure 246707DEST_PATH_IMAGE064
的每一行分别代表4层通道的所有元素。
S7、如图5中，将
Figure 22770DEST_PATH_IMAGE065
和
Figure 426070DEST_PATH_IMAGE066
进行矩阵相乘，其中
Figure 278488DEST_PATH_IMAGE067
，
Figure 236080DEST_PATH_IMAGE068
。
Figure 582879DEST_PATH_IMAGE069
与
Figure 840685DEST_PATH_IMAGE070
进 行矩阵相乘后得到矩阵，命名为
Figure 473791DEST_PATH_IMAGE071
，
Figure 574472DEST_PATH_IMAGE072
。根据矩阵相乘的定义，
Figure 584016DEST_PATH_IMAGE073
表示
Figure 696328DEST_PATH_IMAGE074
的第
Figure 139817DEST_PATH_IMAGE075
行第
Figure 337580DEST_PATH_IMAGE076
列的元素，它由
Figure 275449DEST_PATH_IMAGE077
的第
Figure 242268DEST_PATH_IMAGE078
行乘以
Figure 482756DEST_PATH_IMAGE079
的第
Figure 43182DEST_PATH_IMAGE080
列得到，也就是
Figure 394529DEST_PATH_IMAGE081
的第
Figure 340488DEST_PATH_IMAGE078
行中的每一个像素 值乘以
Figure 751878DEST_PATH_IMAGE082
的第
Figure 32555DEST_PATH_IMAGE083
列中对应的元素值相乘再求和的结果。而
Figure 453172DEST_PATH_IMAGE084
的每一行分别代表第
Figure 129004DEST_PATH_IMAGE085
层通道 的所有元素，
Figure 835929DEST_PATH_IMAGE086
的每一列分别代表第
Figure 230002DEST_PATH_IMAGE087
层通道的所有元素。因此得到的元素被看作是第
Figure 64096DEST_PATH_IMAGE088
个 通道对第
Figure 125593DEST_PATH_IMAGE089
个通道的影响程度，而每个通道代表不同的空洞卷积得到的结果，因此得到的 元素可以被看作是第
Figure 878786DEST_PATH_IMAGE090
个空洞卷积结果对第
Figure 884788DEST_PATH_IMAGE089
个空洞卷积结果的影响程度。
Figure 381628DEST_PATH_IMAGE091
的第
Figure 297632DEST_PATH_IMAGE092
行的 四个元素值代表第
Figure 595627DEST_PATH_IMAGE092
个的空洞卷积结果对其他任意空洞卷积结果的影响权重值，四个元素 的和越大，第
Figure 964291DEST_PATH_IMAGE092
个空洞卷积结果越重要。
Figure 389456DEST_PATH_IMAGE093
的第
Figure 894387DEST_PATH_IMAGE094
列的的四个元素值代表其他任意空洞卷积 结果对第
Figure 254961DEST_PATH_IMAGE095
个的空洞卷积结果的影响权重值。
最后对
Figure 720709DEST_PATH_IMAGE096
的每一列进行归一化操作，也就是说其他任意空洞卷积结果对第
Figure 824931DEST_PATH_IMAGE097
个 的空洞卷积结果的影响权重值之和应该为1。归一化操作后就得到了最终的卷积核注意力 矩阵
Figure 574581DEST_PATH_IMAGE098
。其中
Figure 106057DEST_PATH_IMAGE099
中的每一个元素可由以下公式得到：
Figure 183734DEST_PATH_IMAGE100
（1）
Figure 199969DEST_PATH_IMAGE101
表示
Figure 679492DEST_PATH_IMAGE102
的第
Figure 381869DEST_PATH_IMAGE088
行第
Figure 71476DEST_PATH_IMAGE103
列的元素，
Figure 251922DEST_PATH_IMAGE104
表示
Figure 992476DEST_PATH_IMAGE105
的第
Figure 600175DEST_PATH_IMAGE106
行乘以
Figure 652444DEST_PATH_IMAGE086
的第
Figure 761215DEST_PATH_IMAGE076
列的结 果，
Figure 480909DEST_PATH_IMAGE107
表示自然元素
Figure 633411DEST_PATH_IMAGE108
的
Figure 172976DEST_PATH_IMAGE109
次方，
Figure 695225DEST_PATH_IMAGE110
代表
Figure 394059DEST_PATH_IMAGE111
的每一列元素进行指数操作 后求和。这样，每一列的每一个元素都经过了指数操作和列的归一化操作，每一列元素求和 都为1，就得到了最终的卷积核注意力矩阵
Figure 343561DEST_PATH_IMAGE112
。
S8、如图5中，将
Figure 636002DEST_PATH_IMAGE113
与
Figure 571728DEST_PATH_IMAGE114
进行矩阵相乘得到
Figure 266014DEST_PATH_IMAGE115
的特征图，实现每个卷积层之间的 加权操作，然后乘以一个网络可学习的参数
Figure 511051DEST_PATH_IMAGE116
，重组成
Figure 25209DEST_PATH_IMAGE117
的特征图并加回
Figure 889260DEST_PATH_IMAGE118
中得到 新的特征图
Figure 546375DEST_PATH_IMAGE119
。
S9、如图5中，将
Figure 103258DEST_PATH_IMAGE120
拆成4个
Figure 963767DEST_PATH_IMAGE121
的特征图，分别按原来拼接的顺序加到
Figure 631508DEST_PATH_IMAGE122
当中 对应的不同空洞卷积结果的每一层当中，得到新的
Figure 34808DEST_PATH_IMAGE123
。
S10、如图5中，将新的
Figure 372379DEST_PATH_IMAGE124
中的四个
Figure 595550DEST_PATH_IMAGE125
特征图拼接为
Figure 191617DEST_PATH_IMAGE126
，
Figure 449423DEST_PATH_IMAGE127
表示多 尺度卷积注意力模块最终输出的特征图。
换言之，本发明是通过以下技术方案来实现的：
步骤1、数据集获得与预处理；使用相衬显微镜成像系统获取含有多个细胞图像的 相衬显微图，该显微图的通道、长、宽大小为
Figure 456431DEST_PATH_IMAGE128
的RGB图像，使用Labelme软件 人工对每个细胞图像中的每个像素进行标注，生成与原细胞图像长宽一样的标签图片。标 签图片中每一个像素点分别为四个类别：未凋亡的细胞、凋亡前期的细胞、凋亡后期的细 胞、背景；将做好的标签中每一个像素转化为独热编码，即背景像素设为0，未凋亡细胞的像 素设为1，凋亡前期的细胞的像素设为2，凋亡后期的细胞的像素设为3。
步骤2、构建语义分割网络数据集；将细胞图像和标签裁剪成每个像素点一一对应 的
Figure 166898DEST_PATH_IMAGE129
和
Figure 442021DEST_PATH_IMAGE130
的图片，并且按照9:1的比例随机抽取被裁剪的图片 划分为训练集和测试集；
步骤3、搭建如图6所示的Unet语义分割网络；使用Pytorch深度学习框架搭建基于多尺度卷积注意力机制Unet语义分割网络，即Multi-Convolutional Attention Unet(MCA-Unet)，并且使用跳跃连接把低级语义信息和高级语义信息互相连接。其中为了解决错综复杂的细胞形态的识别，基于多尺度卷积注意力模块嵌入在每一个下采样层的输出中，它能够通过通道注意力机制自适应计算该模块中不同的空洞卷积核的权重，并将该结果加回原来的空洞卷积核的输出中。而残差模块能够将前面的特征层数值加到后面的特征层中，更好的保留语义信息，解决了神经网络由于深度而产生的梯度消失和梯度爆炸的问题。另外，经过这样简单的跳跃连接，执行了同等映射的同事又不会产生额外的参数，也不会增加计算复杂度。
步骤4、训练Unet神经网络模型；将步骤1和步骤2中裁剪后的细胞图像和标签中的 训练集分别作为所提出的基于多尺度卷积注意力机制Unet网络的输入和语义分割的标签 进行训练，通过深度学习的传播算法和参数更新不断优化U-Net网络，使用交叉熵损失函 数，最终得到优化后的模型权重参数。输入的细胞相衬细胞图大小为
Figure 413388DEST_PATH_IMAGE021
，输出 一个与输入图像相同尺寸的特征图，大小为
Figure 748555DEST_PATH_IMAGE131
。其中输出中的每一层
Figure 556105DEST_PATH_IMAGE132
的特征图中在每一个位置像素值分别代表四个类别在每一个位置的预测 概率，即：第一层的像素值分别代表在该像素点预测为背景的概率、第二层的像素值分别代 表在该像素点预测为未凋亡的细胞的概率、第三层的像素值分别代表在该像素点预测为凋 亡前期的细胞、第四层的像素值分别代表在该像素点预测为凋亡后期的细胞。概率最高的 类别被判断为该像素点的类别，将每一层的像素点取最大值，最终预测结果为
Figure 634919DEST_PATH_IMAGE133
的预测图，即：预测图的图像中每个像素点取值分别对应四个预测出的类 别，即：背景像素值为0、未凋亡细胞的像素值为1、凋亡前期的细胞的像素值为2、凋亡后期 的细胞的像素值为3。
步骤5、测试U-Net神经网络模型；使用步骤1和步骤2中裁剪后的细胞图像，利用步骤4中得到的最优网络模型权重参数对测试集的输入进行测试；如图1所示，左图为在所采集的细胞图片中特意选取的包含有三种类别细胞的相衬图，右图为将该相衬图输入Unet网络后输出的语义分割结果图。其中为了将识别的结果可视化，在语义分割结果图中，将预测出的像素值为0的背景像素设为255，将预测出的像素值为1的未凋亡细胞像素设为192，将预测出的像素值为2的凋亡前期的细胞像素设为128，将预测出的像素值为3的凋亡前期的细胞像素设为64。
步骤 6、构建计数网络数据集；将步骤5中U-Net网络的细胞输入图像和语义分割 结果中，每一个切割输入图像和输出结果
Figure 336159DEST_PATH_IMAGE134
和
Figure 701281DEST_PATH_IMAGE132
重新组成每个 像素点空间上一一对应的
Figure 386341DEST_PATH_IMAGE135
和
Figure 111589DEST_PATH_IMAGE136
的完整图片，语义分割结果 的图像中每个像素点取值分别对应四个预测出的类别，即：背景像素为0、未凋亡细胞的像 素为1、凋亡前期的细胞的像素为2、凋亡后期的细胞的像素为3。
首先获得未凋亡细胞的数据集；将语义分割结果中未凋亡细胞的像素设为1，其它 像素设为0。为了更好的提高计数准确率，在排除掉一些很小的像素区域后，将每一块被判 断为未凋亡细胞的像素区域分别单独提取出来放在一张新的
Figure 932914DEST_PATH_IMAGE137
图像中，并再 乘以原来输入的相衬图像，就获得了一个只有当前连通区域有像素值的图像，也就是一块 未凋亡细胞的连通区域。为了提升计算速度，将每一块未凋亡细胞的连通区域的大小由
Figure 609883DEST_PATH_IMAGE138
调整为
Figure 641293DEST_PATH_IMAGE139
的图像。将所有分割出来的未凋亡细胞的连通区域 作为计数网络的数据集一部分。
然后获得凋亡前期细胞的数据集；将语义分割结果中凋亡前期细胞的像素设为1， 其它像素设为0。排除掉一些很小的像素区域后，将每一块被判断为凋亡前期细胞的像素连 通区域分别单独提取出来放在一张新的
Figure 61910DEST_PATH_IMAGE140
图像中，并再乘以原来输入的相 衬图像，就获得了一个只有当前连通区域有像素值的图像。将每一块凋亡前期细胞的连通 区域的大小由
Figure 613109DEST_PATH_IMAGE141
调整为
Figure 460979DEST_PATH_IMAGE142
的图像。将所有分割出来的凋亡 前期细胞的连通区域作为计数网络的数据集的一部分。
然后获得凋亡后期细胞的数据集；将语义分割结果中凋亡后期细胞的像素设为1， 其它像素设为0。排除掉一些很小的像素区域后，将每一块被判断为凋亡后期细胞的像素连 通区域分别单独提取出来放在一张新的
Figure 855051DEST_PATH_IMAGE143
图像中，并再乘以原来输入的相 衬图像，就获得了一个只有当前连通区域有像素值的图像。将每一块凋亡后期细胞的连通 区域的大小由
Figure 672834DEST_PATH_IMAGE144
调整为
Figure 734331DEST_PATH_IMAGE145
的图像。将所有分割出来的凋亡 后期细胞的连通区域作为计数网络的数据集的一部分。最后分别对这些连通区域进行人为 细胞计数，作为计数网络的标签，并按9:1的比例分为训练集和测试集。
步骤7、搭建VGG计数网络；使用Pytorch深度学习框架搭建VGG网络。使用VGG16的所有网络层作为计数网络的初始网络，包括不同大小的卷积层、池化层和全连接层。为了对应标签中的细胞个数，在VGG16网络的最后一层添加一个只输出一个值的全连接层。
步骤8、训练VGG神经网络模型；使用步骤6中获得的三种类别的连通域和计数标签的训练集，分别训练三个不同的VGG神经网络模型，对应三种不同的类别：未凋亡的细胞、凋亡前期的细胞、凋亡后期的细胞。通过深度学习的传播算法和参数更新不断优化VGG网络，使用均方根误差损失函数，最终得到优化后的模型权重参数。
步骤9、测试VGG神经网络模型；使用步骤6中获得的三种类别的连通域和计数标签的测试集，并分别测试三个不同的VGG神经网络模型。如图2、图3和图4所示，箭头左边的每一个细胞图为步骤6中分别提取的相衬图中三种细胞类别的连通域，箭头右边的数字为三种细胞类别的连通域分别输入VGG计数神经网络后输出的三种类别细胞的个数预测再四舍五入后的结果。
步骤10、最后统计每一张相衬图中未凋亡的细胞、凋亡前期的细胞、凋亡后期的细胞的比例，就能获得细胞的总体凋亡程度。
进一步地，在步骤1中，用Labelme软件人工对每个细胞图像分类的方法为：由于细胞的各部分细微结构的折射率和厚度不同，当光波通过细胞样品时，各种物点对光波产生了衍射和折射，使得通过的光波因延迟而产生了一定的偏离，其光程就有了一定的差别。而相衬显微镜利用了光的干涉原理，将光程差转化成振幅差，因此相衬显微镜产生的图像强度（振幅）值随样本光程长度大小而变化，增强了图片中物体的对比度，使得能够更好的对接近透明的活细胞进行观察和特征提取。另外，由于目前的商用显微镜牺牲了空间一致性来维持实用的照明功率水平。这意味着像平面上的干涉光不是完全的平行光路，它包含了非零频率分量，从而干扰了散射光，导致生成的相衬图像显示出伪影，尤其是在观测对象的边缘，光程差越大，产生的光晕越严重。
当细胞未发生凋亡时，由于细胞整体相对于背景，具有一定的厚度，在细胞边缘有一个从背景到细胞膜的高度突变过程，因此未凋亡的细胞边缘一般会有淡淡的光晕现象，同时细胞核还未发生皱缩，会占细胞整体的面积的80%以上。另外，当细胞刚开始贴壁时，由于细胞整体高度会比贴壁了的细胞高，因此有一些未凋亡的细胞在边缘会呈现出更亮一点的光晕现象。
当细胞在凋亡前期时，由于细胞膜开始产生破裂向细胞核收缩，细胞边缘高度接近于背景高度，细胞边缘穿过的光的光程更小，因此边缘光晕现象几乎消失，同时细胞核开始皱缩，密度增加，在细胞膜靠近中心的位置形成一圈相对比较明显的细胞膜与细胞核边界。
当细胞在凋亡后期时，整个细胞面积变小，细胞密度和高度大幅增加，同时有些细胞分裂成大小不一的凋亡小泡，因此在相衬图像中该细胞的位置形成更加严重的光晕现象，几乎覆盖了整个细胞。且由于整个细胞大幅皱缩，相对于未发生凋亡的细胞产生的光晕，边缘变得十分不规则。
进一步地，在步骤3中，基于多尺度卷积注意力模块(MCA)的数据流动如图5所示，其输出和输入的特征图尺寸和通道数是一致的，可以嵌入到Unet网络中的任意位置当中。其详细步骤如下所述：
S1、设输入为通道C、高为H、宽为W的为
Figure 595846DEST_PATH_IMAGE146
的特征图，然后将该特征图分别输 入四个尺寸为
Figure 477214DEST_PATH_IMAGE147
的空洞卷积层，其扩张率分别设为1、2、6、12，为了减少网络的计算量，输 出四个尺寸为
Figure 239634DEST_PATH_IMAGE148
的特征图，分别为
Figure 14692DEST_PATH_IMAGE149
、
Figure 938785DEST_PATH_IMAGE150
、
Figure 182816DEST_PATH_IMAGE151
、
Figure 217768DEST_PATH_IMAGE152
。S2、将
Figure 112912DEST_PATH_IMAGE149
、
Figure 473486DEST_PATH_IMAGE150
、
Figure 63867DEST_PATH_IMAGE153
、
Figure 541991DEST_PATH_IMAGE152
输入 一个卷积核大小为
Figure 167007DEST_PATH_IMAGE154
的卷积层，将每一个
Figure 557537DEST_PATH_IMAGE155
压缩为
Figure 900794DEST_PATH_IMAGE156
的单通道特征图，每 个单通道特征图分别代表了四个不同扩张率的空洞卷积。S3、将这四个
Figure 277549DEST_PATH_IMAGE157
的单通道特 征图拼接成一个
Figure 898017DEST_PATH_IMAGE158
的特征图。S4、将
Figure 334815DEST_PATH_IMAGE159
重组成并转置成
Figure 24422DEST_PATH_IMAGE160
，其中
Figure 470447DEST_PATH_IMAGE161
。S5、将
Figure 804476DEST_PATH_IMAGE162
重组成
Figure 786076DEST_PATH_IMAGE163
,其中
Figure 838346DEST_PATH_IMAGE164
。S51、将
Figure 212696DEST_PATH_IMAGE165
重组成
Figure 401231DEST_PATH_IMAGE166
,其中
Figure 445411DEST_PATH_IMAGE167
。S6、将
Figure 860343DEST_PATH_IMAGE168
和
Figure 648170DEST_PATH_IMAGE169
进行矩阵相乘并通过行归一化得到了卷积核注意力矩阵
Figure 81426DEST_PATH_IMAGE170
。其中
Figure 296506DEST_PATH_IMAGE171
（1）
即卷积核注意力矩阵
Figure 323368DEST_PATH_IMAGE172
的第
Figure 757629DEST_PATH_IMAGE080
行第
Figure 186337DEST_PATH_IMAGE173
列可以被看作是第
Figure 696952DEST_PATH_IMAGE174
个卷积层对第
Figure 211110DEST_PATH_IMAGE094
个卷积层 的影响程度。
S7、将
Figure 75161DEST_PATH_IMAGE175
与
Figure 499320DEST_PATH_IMAGE176
进行矩阵相乘得到
Figure 790624DEST_PATH_IMAGE177
的特征图，实现每个卷积层之间的加权操 作，然后乘以一个网络可学习更新的参数
Figure 792079DEST_PATH_IMAGE178
，重组成
Figure 584454DEST_PATH_IMAGE179
的特征图并加回
Figure 987754DEST_PATH_IMAGE180
中得到新的 特征图
Figure 847298DEST_PATH_IMAGE181
。S8、将
Figure 336048DEST_PATH_IMAGE182
拆成4个
Figure 541901DEST_PATH_IMAGE183
的特征图，分别按原来拼接的顺序加到原来 四个空洞卷积层的每一层当中，输出
Figure 658762DEST_PATH_IMAGE184
、
Figure 557448DEST_PATH_IMAGE150
、
Figure 408860DEST_PATH_IMAGE185
、
Figure 152825DEST_PATH_IMAGE186
中得到新的
Figure 530717DEST_PATH_IMAGE184
、
Figure 459359DEST_PATH_IMAGE150
、
Figure 922701DEST_PATH_IMAGE185
、
Figure 844259DEST_PATH_IMAGE186
。S9、将
Figure 76657DEST_PATH_IMAGE184
、
Figure 317145DEST_PATH_IMAGE150
、
Figure 861259DEST_PATH_IMAGE185
、
Figure 212606DEST_PATH_IMAGE186
重新拼接并作为尺度卷积注意力模块最终的输出
Figure 174877DEST_PATH_IMAGE187
。
进一步地，在步骤3中，多尺度卷积注意力Unet网络包含的残差模块可以分为两种 Res1和Res2，如图6所示，两种残差模块只有最后一步的卷积层输出层数不一样。数据流向 描述如下：S10、将输入的特征层
Figure 586267DEST_PATH_IMAGE188
经过一层
Figure 617677DEST_PATH_IMAGE189
的卷积层，输出
Figure 772714DEST_PATH_IMAGE190
。S20、将特征层
Figure 979705DEST_PATH_IMAGE191
经过一层
Figure 935897DEST_PATH_IMAGE192
的卷积层，输出
Figure 329969DEST_PATH_IMAGE193
。 S30、将特征层
Figure 288698DEST_PATH_IMAGE194
经过一层
Figure 943670DEST_PATH_IMAGE195
的卷积层，输出
Figure 962442DEST_PATH_IMAGE196
的特征层，将S10中的 输入
Figure 719177DEST_PATH_IMAGE197
对应位置的值加入到该特征层中，得到
Figure 216017DEST_PATH_IMAGE198
。S40、将特征层
Figure 132020DEST_PATH_IMAGE199
经过一层
Figure 915169DEST_PATH_IMAGE200
的卷积层，但是改变输出的层数，第一种Res1用于下采样之后， 输出
Figure 549412DEST_PATH_IMAGE201
，第二种Res2用上采样之前，输出
Figure 958266DEST_PATH_IMAGE202
，
Figure 994355DEST_PATH_IMAGE203
表示该残差模块最终 输出的特征图。
进一步地，在步骤3中，基于多尺度卷积注意力U-net网络的示意图如图6所示，将 多尺度卷积注意力模块和残差网络嵌入进‘U’形结构的神经网络当中。数据在MCA-Unet中 的流向描述如下：S100、首先输入尺度为
Figure 823771DEST_PATH_IMAGE204
的细胞相衬图像，通过一个
Figure 69944DEST_PATH_IMAGE205
的 卷积层，得到
Figure 908587DEST_PATH_IMAGE206
的特征层。S200、将
Figure 143391DEST_PATH_IMAGE207
进行下采样，通过一个最大池化层压 缩尺寸，同时通过一个
Figure 674866DEST_PATH_IMAGE208
的卷积层扩张层数，得到
Figure 752544DEST_PATH_IMAGE209
的特征层。再通过一个 Res1，得到
Figure 785090DEST_PATH_IMAGE210
。S300、将
Figure 264613DEST_PATH_IMAGE211
进行下采样，通过一个最大池化层压缩尺寸， 得到
Figure 966990DEST_PATH_IMAGE212
的特征层，再通过一个Res1模块，得到
Figure 905865DEST_PATH_IMAGE213
。S400、将
Figure 86311DEST_PATH_IMAGE214
进行下采样，通过一个最大池化层压缩尺寸，得到
Figure 810553DEST_PATH_IMAGE215
的特征层，再通过一个 Res1，得到
Figure 418252DEST_PATH_IMAGE216
。S500、将
Figure 736101DEST_PATH_IMAGE217
通过MCA模块，然后进行上采样操作，通过一个反 卷积扩大特征层尺寸，以及一个
Figure 330024DEST_PATH_IMAGE218
的卷积层压缩层数，得到
Figure 784139DEST_PATH_IMAGE219
。S600、将 S300中的
Figure 687373DEST_PATH_IMAGE220
经过跳跃连接，与
Figure 226939DEST_PATH_IMAGE221
拼接成
Figure 388668DEST_PATH_IMAGE222
的特征层，通过一个Res2和MCA模 块，得到
Figure 697289DEST_PATH_IMAGE223
，再进行上采样操作，通过一个反卷积操作扩大尺寸，一个
Figure 912370DEST_PATH_IMAGE224
的卷 积层压缩层数，得到
Figure 798286DEST_PATH_IMAGE225
。S700、将S200中的
Figure 389805DEST_PATH_IMAGE226
经过跳跃连接，与
Figure 428299DEST_PATH_IMAGE227
拼接成
Figure 548702DEST_PATH_IMAGE228
的特征层，通过一个Res2和MCA模块，得到
Figure 328439DEST_PATH_IMAGE229
，再进行上采样操作， 通过一个反卷积操作扩大尺寸，一个
Figure 317124DEST_PATH_IMAGE230
的卷积层压缩层数，得到
Figure 334758DEST_PATH_IMAGE231
。 S800、将S100中的
Figure 265543DEST_PATH_IMAGE232
经过跳跃连接，与
Figure 266997DEST_PATH_IMAGE233
拼接成
Figure 59372DEST_PATH_IMAGE234
的特征层，为了将特征层还 到回原来图像的大小，进行上采样操作，通过一个反卷积操作扩大特征层尺寸，一个
Figure 931513DEST_PATH_IMAGE235
的 卷积层压缩层数，得到
Figure 534664DEST_PATH_IMAGE236
的特征层，再经过一个
Figure 23414DEST_PATH_IMAGE237
的卷积层和一个
Figure 229268DEST_PATH_IMAGE238
的 卷积层压缩层数，最终得到
Figure 346128DEST_PATH_IMAGE239
。
进一步地，在步骤7中，所提到的VGG计数网络中，使用的是经典的VGG16回归分类网络，但是由于只需要输出一个数作为当前图片细胞的个数，而原始的VGG16最终输出的是1000个类别，因此在VGG16网络的基础上，添加了一个1000到1的全连接层，并且对最终的结果取四舍五入后的整数为最终的输出值，作为细胞的个数。
为实现上述目的，本发明还提供一种基于卷积注意力机制的细胞凋亡计数系统，如图8所示，所述的系统具体包括：
获取生成单元，用于获取含有多个细胞的相衬图像，并标注相衬图像中的像素，生成与原细胞图像相应的标签图片；裁剪划分单元，用于裁剪所述相衬图像和标签图片，并将被裁剪的图片按设定比例划分为训练集和测试集；创建单元，用于创建基于多尺度卷积注意力机制Unet语义分割网络，根据所述语义分割网络，结合所述训练集和测试集，实时训练和测试被裁剪的相衬图像及标签图片；构建生成单元，用于构建计数网络数据集，根据所述计数网络数据集，结合语义分割处理的训练集和测试集，实时生成至少三种不同细胞类别的连通域；建立单元，用于结合Pytorch深度学习框架建立VGG计数网络，分别训练和测试与三种不同细胞类别连通域及计数标签相应的VGG神经网络模型；计数数据生成单元，用于生成与相衬图像相应的细胞凋亡状态计数数据。
进一步地，所述获取生成单元，还包括：转化模块，用于将已标注图像中的像素转化成相应类别的独热编码，其中，所述独热编码用于唯一对应细胞凋亡状态像素值；和/或，所述创建单元，还包括：第一生成模块，用于实时训练被裁剪的相衬图像及标签图片，并生成相应的网络模型权重参数；测试模块，用于结合所述网络模型权重参数，实时测试所述测试集的输入；
和/或，所述构建生成单元，还包括：第二生成模块，用于根据所述连通域，分别对连通区域内的细胞进行计数处理，并生成与计数网络相应的标签；所述的细胞凋亡状态计数数据包括：未凋亡的细胞计数数据、凋亡前期的细胞计数数据和凋亡后期的细胞计数数据。进一步地，所述标签图片中每一个像素点分别为四个类别：未凋亡的细胞、凋亡前期的细胞、凋亡后期的细胞和背景。
在本发明系统方案实施例中，所述的一种基于卷积注意力机制的细胞凋亡计数中涉及的方法步骤，具体细节已在上文阐述，此处不再赘述。
为实现上述目的，本发明还提供一种基于卷积注意力机制的细胞凋亡计数平台，如图9所示，包括处理器、存储器以及基于卷积注意力机制的细胞凋亡计数平台控制程序；
其中，在所述的处理器执行所述的基于卷积注意力机制的细胞凋亡计数平台控制程序，所述的基于卷积注意力机制的细胞凋亡计数平台控制程序被存储在所述存储器中，所述的基于卷积注意力机制的细胞凋亡计数平台控制程序，实现所述的基于卷积注意力机制的细胞凋亡计数方法步骤，例如：
S01、获取含有多个细胞的相衬图像，并标注相衬图像中的像素，生成与原细胞图像相应的标签图片；S02、裁剪所述相衬图像和标签图片，并将被裁剪的图片按设定比例划分为训练集和测试集；S03、创建基于多尺度卷积注意力机制Unet语义分割网络，根据所述语义分割网络，结合所述训练集和测试集，实时训练和测试被裁剪的相衬图像及标签图片；S04、构建计数网络数据集，根据所述计数网络数据集，结合语义分割处理的训练集和测试集，实时生成至少三种不同细胞类别的连通域；S05、结合Pytorch深度学习框架建立VGG计数网络，分别训练和测试与三种不同细胞类别连通域及计数标签相应的VGG神经网络模型；S06、生成与相衬图像相应的细胞凋亡状态计数数据。
步骤具体细节已在上文阐述，此处不再赘述。
本发明实施例中，所述的基于卷积注意力机制的细胞凋亡计数平台内置处理器，可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processingunit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器利用各种接口和线路连接取各个部件，通过运行或执行存储在存储器内的程序或者单元，以及调用存储在存储器内的数据，以执行基于卷积注意力机制的细胞凋亡计数各种功能和处理数据；
存储器用于存储程序代码和各种数据，安装在基于卷积注意力机制的细胞凋亡计数平台中，并在运行过程中实现高速、自动地完成程序或数据的存取。
所述存储器包括只读存储器（Read-Only Memory，ROM），随机存储器（RandomAccess Memory，RAM）、可编程只读存储器（Programmable Read-Only Memory，PROM）、可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，EPROM）、一次可编程只读存储器（One-time Programmable Read-Only Memory，OTPROM）、电子擦除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（Compact Disc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
本发明通过方法获取含有多个细胞的相衬图像，并标注相衬图像中的像素，生成与原细胞图像相应的标签图片；裁剪所述相衬图像和标签图片，并将被裁剪的图片按设定比例划分为训练集和测试集；创建基于多尺度卷积注意力机制Unet语义分割网络，根据所述语义分割网络，结合所述训练集和测试集，实时训练和测试被裁剪的相衬图像及标签图片；构建计数网络数据集，根据所述计数网络数据集，结合语义分割处理的训练集和测试集，实时生成至少三种不同细胞类别的连通域；结合Pytorch深度学习框架建立VGG计数网络，分别训练和测试与三种不同细胞类别连通域及计数标签相应的VGG神经网络模型；生成与相衬图像相应的细胞凋亡状态计数数据，能精确快速且低成本地识别与计数细胞、还能衡量图像中的细胞凋亡程度。
也就是说，本发明提供的一种基于多尺度卷积注意力机制和相衬图像的细胞凋亡识别与计数方法中，采用了将不同尺度的空洞卷积与通道注意力机制相结合的模块。空洞卷积可以有效的增加卷积核的感受野，而在特征图相同的情况下，更大的感受野可以提高在目标检测和语义分割任务重的不同大小的物体识别分割的效果。因此将不同尺度的空洞卷积的融合并结合通道注意力机制，可以有效的解决细胞尺度大小不一和堆叠细胞的识别困难问题。
此外，本发明提供的一种基于多尺度卷积注意力机制和相衬图像的细胞凋亡识别与计数方法中，能够通过U-Net语义分割网络很好的识别出细胞相衬图像中未凋亡的细胞、凋亡前期的细胞、凋亡后期的细胞的三种细胞类别，排除了复杂背景的干扰，提高了对尺度大小不一的细胞和堆叠细胞的计数准确率，然后通过VGG计数网络对三种类别的细胞进行计数。在对U-Net语义分割网络和VGG计数网络进行训练和测试获得优化后的网络参数后，能够实现准确且快速的对目标细胞凋亡程度的衡量。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于卷积注意力机制的细胞凋亡计数方法，其特征在于，所述方法包括：
获取含有多个细胞的相衬图像，并标注相衬图像中的像素，生成与原细胞图像相应的标签图片；
裁剪所述相衬图像和标签图片，并将被裁剪的图片按设定比例划分为训练集和测试集；
创建基于多尺度卷积注意力机制Unet语义分割网络，根据所述语义分割网络，结合所述训练集和测试集，实时训练和测试被裁剪的相衬图像及标签图片；
构建计数网络数据集，根据所述计数网络数据集，结合语义分割处理的训练集和测试集，实时生成至少三种不同细胞类别的连通域；
结合Pytorch深度学习框架建立VGG计数网络，分别训练和测试与三种不同细胞类别连通域及计数标签相应的VGG神经网络模型；
生成与相衬图像相应的细胞凋亡状态计数数据。
2.根据权利要求1所述的一种基于卷积注意力机制的细胞凋亡计数方法，其特征在于，所述获取含有多个细胞的相衬图像，并标注相衬图像中的像素，生成与原细胞图像相应的标签图片，还包括：
将已标注图像中的像素转化成相应类别的独热编码，其中，所述独热编码用于唯一对应细胞凋亡状态像素值。
3.根据权利要求1或2所述的一种基于卷积注意力机制的细胞凋亡计数方法，其特征在于，所述标签图片中每一个像素点分别为四个类别：未凋亡的细胞、凋亡前期的细胞、凋亡后期的细胞和背景。
4.根据权利要求1所述的一种基于卷积注意力机制的细胞凋亡计数方法，其特征在于，所述创建基于多尺度卷积注意力机制Unet语义分割网络，根据所述语义分割网络，结合所述训练集和测试集，实时训练和测试被裁剪的相衬图像及标签图片，还包括：
实时训练被裁剪的相衬图像及标签图片，并生成相应的网络模型权重参数；
结合所述网络模型权重参数，实时测试所述测试集的输入。
5.根据权利要求1所述的一种基于卷积注意力机制的细胞凋亡计数方法，其特征在于，所述构建计数网络数据集，根据所述计数网络数据集，结合语义分割处理的训练集和测试集，实时生成至少三种不同细胞类别的连通域，还包括：
根据所述连通域，分别对连通区域内的细胞进行计数处理，并生成与计数网络相应的标签。
6.根据权利要求1所述的一种基于卷积注意力机制的细胞凋亡计数方法，其特征在于，所述的细胞凋亡状态计数数据包括：未凋亡的细胞计数数据、凋亡前期的细胞计数数据和凋亡后期的细胞计数数据。
7.一种基于卷积注意力机制的细胞凋亡计数系统，其特征在于，所述系统包括：
获取生成单元，用于获取含有多个细胞的相衬图像，并标注相衬图像中的像素，生成与原细胞图像相应的标签图片；
裁剪划分单元，用于裁剪所述相衬图像和标签图片，并将被裁剪的图片按设定比例划分为训练集和测试集；
创建单元，用于创建基于多尺度卷积注意力机制Unet语义分割网络，根据所述语义分割网络，结合所述训练集和测试集，实时训练和测试被裁剪的相衬图像及标签图片；
构建生成单元，用于构建计数网络数据集，根据所述计数网络数据集，结合语义分割处理的训练集和测试集，实时生成至少三种不同细胞类别的连通域；
建立单元，用于结合Pytorch深度学习框架建立VGG计数网络，分别训练和测试与三种不同细胞类别连通域及计数标签相应的VGG神经网络模型；
计数数据生成单元，用于生成与相衬图像相应的细胞凋亡状态计数数据。
8.根据权利要求7所述的一种基于卷积注意力机制的细胞凋亡计数系统，其特征在于，所述获取生成单元，还包括：
转化模块，用于将已标注图像中的像素转化成相应类别的独热编码，其中，所述独热编码用于唯一对应细胞凋亡状态像素值；
和/或，所述创建单元，还包括：
第一生成模块，用于实时训练被裁剪的相衬图像及标签图片，并生成相应的网络模型权重参数；
测试模块，用于结合所述网络模型权重参数，实时测试所述测试集的输入；
和/或，所述构建生成单元，还包括：
第二生成模块，用于根据所述连通域，分别对连通区域内的细胞进行计数处理，并生成与计数网络相应的标签；
所述的细胞凋亡状态计数数据包括：未凋亡的细胞计数数据、凋亡前期的细胞计数数据和凋亡后期的细胞计数数据。
9.根据权利要求7或8所述的一种基于卷积注意力机制的细胞凋亡计数系统，其特征在于，所述标签图片中每一个像素点分别为四个类别：未凋亡的细胞、凋亡前期的细胞、凋亡后期的细胞和背景。
10.一种基于卷积注意力机制的细胞凋亡计数平台，其特征在于，包括处理器、存储器以及基于卷积注意力机制的细胞凋亡计数平台控制程序；
其中，在所述的处理器执行所述的基于卷积注意力机制的细胞凋亡计数平台控制程序，所述的基于卷积注意力机制的细胞凋亡计数平台控制程序被存储在所述存储器中，所述的基于卷积注意力机制的细胞凋亡计数平台控制程序，实现如权利要求1至6中任一项所述的基于卷积注意力机制的细胞凋亡计数方法。
CN202211628940.6A 2022-12-19 2022-12-19 基于卷积注意力机制的细胞凋亡计数方法、系统及平台 Active CN115620284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211628940.6A CN115620284B (zh) 2022-12-19 2022-12-19 基于卷积注意力机制的细胞凋亡计数方法、系统及平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211628940.6A CN115620284B (zh) 2022-12-19 2022-12-19 基于卷积注意力机制的细胞凋亡计数方法、系统及平台

Publications (2)

Publication Number Publication Date
CN115620284A true CN115620284A (zh) 2023-01-17
CN115620284B CN115620284B (zh) 2023-04-18

Family

ID=84880426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211628940.6A Active CN115620284B (zh) 2022-12-19 2022-12-19 基于卷积注意力机制的细胞凋亡计数方法、系统及平台

Country Status (1)

Country Link
CN (1) CN115620284B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372308A (zh) * 2023-12-04 2024-01-09 华侨大学 一种相衬细胞显微图像清晰度增强方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2199776A2 (en) * 2008-12-22 2010-06-23 Olympus Corporation Cell image analysis apparatus, cell image analysis method, and program
CN107832838A (zh) * 2017-11-28 2018-03-23 北京羽医甘蓝信息技术有限公司 评价细胞涂片标本满意度的方法和装置
CN111598849A (zh) * 2020-04-29 2020-08-28 北京小白世纪网络科技有限公司 一种基于目标检测的病理图像细胞计数方法、设备及介质
CN112084868A (zh) * 2020-08-10 2020-12-15 北京航空航天大学 一种基于注意力机制的遥感图像中目标计数方法
US20210142904A1 (en) * 2019-05-14 2021-05-13 Tempus Labs, Inc. Systems and methods for multi-label cancer classification
CN114092934A (zh) * 2020-07-31 2022-02-25 骏实生物科技(上海)有限公司 循环肿瘤细胞的分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2199776A2 (en) * 2008-12-22 2010-06-23 Olympus Corporation Cell image analysis apparatus, cell image analysis method, and program
CN107832838A (zh) * 2017-11-28 2018-03-23 北京羽医甘蓝信息技术有限公司 评价细胞涂片标本满意度的方法和装置
US20210142904A1 (en) * 2019-05-14 2021-05-13 Tempus Labs, Inc. Systems and methods for multi-label cancer classification
CN111598849A (zh) * 2020-04-29 2020-08-28 北京小白世纪网络科技有限公司 一种基于目标检测的病理图像细胞计数方法、设备及介质
CN114092934A (zh) * 2020-07-31 2022-02-25 骏实生物科技(上海)有限公司 循环肿瘤细胞的分类方法
CN112084868A (zh) * 2020-08-10 2020-12-15 北京航空航天大学 一种基于注意力机制的遥感图像中目标计数方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372308A (zh) * 2023-12-04 2024-01-09 华侨大学 一种相衬细胞显微图像清晰度增强方法及系统
CN117372308B (zh) * 2023-12-04 2024-03-12 华侨大学 一种相衬细胞显微图像清晰度增强方法及系统

Also Published As

Publication number Publication date
CN115620284B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
El Achi et al. Automated diagnosis of lymphoma with digital pathology images using deep learning
CN110599476B (zh) 基于机器学习的疾病分级方法、装置、设备及介质
Rezaoana et al. Detection and classification of skin cancer by using a parallel CNN model
CN112598643B (zh) 深度伪造图像检测及模型训练方法、装置、设备、介质
CN110490850A (zh) 一种肿块区域检测方法、装置和医学图像处理设备
CN110189255A (zh) 基于两级检测的人脸检测方法
CN113191390B (zh) 一种图像分类模型的构建方法、图像分类方法及存储介质
CN114332572B (zh) 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法
CN112446828B (zh) 一种融合可见光图像梯度信息的热成像超分辨率重建方法
Gandomkar et al. BI-RADS density categorization using deep neural networks
CN115620284B (zh) 基于卷积注意力机制的细胞凋亡计数方法、系统及平台
CN115187540A (zh) 一种人体三维椎体松质骨图像的自动分割方法及系统
CN116580394A (zh) 一种基于多尺度融合和可变形自注意力的白细胞检测方法
CN111899259A (zh) 一种基于卷积神经网络的前列腺癌组织微阵列分级方法
CN112419292B (zh) 病理图像的处理方法、装置、电子设备及存储介质
CN112381164A (zh) 一种基于多分支注意力机制的超声图像分类方法和装置
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Arjmand et al. Deep learning in liver biopsies using convolutional neural networks
Baykal et al. Modern convolutional object detectors for nuclei detection on pleural effusion cytology images
CN115210779A (zh) 生物样品中对象的系统性表征
CN112215217A (zh) 模拟医师阅片的数字图像识别方法及装置
CN115239655A (zh) 一种甲状腺超声影像肿瘤分割分类方法及装置
CN113096080A (zh) 图像分析方法及系统
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
CN112071423A (zh) 一种基于机器学习的免疫层析浓度检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant