CN116863466A - 一种基于改进UNet网络的重叠细胞核识别方法及系统 - Google Patents

一种基于改进UNet网络的重叠细胞核识别方法及系统 Download PDF

Info

Publication number
CN116863466A
CN116863466A CN202311128075.3A CN202311128075A CN116863466A CN 116863466 A CN116863466 A CN 116863466A CN 202311128075 A CN202311128075 A CN 202311128075A CN 116863466 A CN116863466 A CN 116863466A
Authority
CN
China
Prior art keywords
cell nucleus
network
nuclei
image
pathological section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311128075.3A
Other languages
English (en)
Inventor
蔡惠明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nuoyuan Medical Devices Co Ltd
Original Assignee
Nanjing Nuoyuan Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nuoyuan Medical Devices Co Ltd filed Critical Nanjing Nuoyuan Medical Devices Co Ltd
Priority to CN202311128075.3A priority Critical patent/CN116863466A/zh
Publication of CN116863466A publication Critical patent/CN116863466A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及医学图像数据处理技术领域，尤其涉及一种基于改进UNet网络的重叠细胞核识别方法及系统，该方法的步骤包括：将全视野的病理切片图像切分为预设像素尺寸的病理切片图像块并进行标注，获得样本数据；对样本数据进行颜色归一化和数据增强；构建基于改进UNet网络的细胞核识别网络；将细胞核识别网络在经过数据增强的数据集上训练并调优；对整张病理切片图像进行预测，识别其中的细胞核。本发明通过构建细胞核识别网络自动分割和识别出病理切片图像中的重叠细胞核，能够有效地提高病理医生的诊断效率，减少病理医生的工作负荷及可能出现的漏诊、误诊。

Description

一种基于改进UNet网络的重叠细胞核识别方法及系统
技术领域
本发明涉及医学图像数据处理技术领域，尤其涉及一种基于改进UNet网络的重叠细胞核识别方法及系统。
背景技术
病理切片图像蕴藏着极为丰富的生物信息，是判断患者患病与否的一个重要依据。病理切片图像中细胞核的形态、大小、分布以及细胞核与细胞质的相关性等信息更是与癌变预后密切相关，可以为医生提供关键的诊断信息。
细胞核识别任务在整个组织病理学图像自动化分析中占据着重要位置，可以减轻医生的负担并为临床研究提供较为精确的免疫微环境量化信息。受限于病理切片的制作工艺，细胞核重叠、接触现象无法避免，且细胞核周围的杂质、细胞质区域等都会对细胞核分割和识别造成影响。因此目前病理切片图像细胞核分割任务中存在重叠细胞核分割和识别效果不佳的问题。
例如在授权公告号为CN113222944B的中国专利中公开了细胞核分割方法及基于病理图像的癌症辅助分析系统、装置，涉及医疗影像技术领域，所解决的是目前的神经网络对特征图进行分割的过程中存在边缘分割准确性有待于提高的问题。该方法先对于待检测的样本，制备切片并染色，获得切片染色图像；对切片染色图像进行图像块分割；再利用细胞核分割网络模型对待检测样本的切片染色图像对应的图像块进行细胞核分割，得到细胞核边界分割图像。
而在申请公开号为CN113763371A的中国专利中公开了一种病理图像的细胞核分割方法及装置，包括以下步骤：将待分割的病理图像输入至细胞分割模型中，得到细胞分割模型输出的细胞分割掩码；细胞分割掩码包括用于识别各细胞核区域的语义分割掩码、用于识别各细胞核边界的法向边缘掩码以及用于识别多个粘连细胞核边缘的核边缘掩码；基于语义分割掩码、法向边缘掩码以及核边缘掩码，确定病理图像的细胞核分割结果。该发明能够大幅度提高细胞核分割结果的精度。以上专利均存在本背景技术提出的问题：现有的病理切片图像细胞核分割任务中存在重叠细胞核分割和识别效果不佳的问题。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种基于改进UNet网络的重叠细胞核识别方法及系统，本发明构建的细胞核识别网络采用编码器-解码器结构，在编码器中引入动态卷积单元和边缘特征增强单元并将解码器划分为细胞核分割分支、凸包检测分支和细胞核分类分支，在充分提取图像多尺度特征信息的同时实现对接触、重叠细胞核有效分割和识别，相较于没有引入动态卷积单元、边缘特征增强单元和优化解码器的网络具有更加优秀的分割和识别效果。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种基于改进UNet网络的重叠细胞核识别方法，包括下述步骤：
对全视野的病理切片图像按照预设像素尺寸切分为统一大小的病理切片图像块并进行标注；
采用颜色归一化和数据增强对样本数据进行颜色归一化处理和扩充；
构建基于改进UNet网络的细胞核识别网络；
将细胞核识别网络在经过数据增强的数据集上训练并调优；
采用训练好的细胞核识别网络预测出的每个病理切片图像块的结果并将每个病理切片图像块按照切分时的顺序重新拼接，得到整张病理切片图像细胞核识别结果图。
作为优选的技术方案，所述颜色归一化用于对样本数据颜色信息进行统一，具体步骤包括：
对原始RGB图像通过比尔-朗伯转换法将RGB空间图像矩阵转换为光密度图像矩阵；
对光密度图像矩阵进行稀疏非负矩阵分解，得到光密度成分矩阵和染色密度矩阵；
将染色密度矩阵和目标图像的染色原型矩阵相乘，再进行比尔-朗伯逆转换，得到最终归一化后的图像。
作为优选的技术方案，所述所述数据增强对样本数据进行扩充，具体步骤包括：
将病理切片图像本身及其标注图像进行图像变换，所述图像变换包括水平翻转、垂直翻转、随机角度旋转、随机亮度、随机对比度、噪声干扰和图像模糊中的至少一种。
作为优选的技术方案，所述细胞核识别网络采用编码器-解码器结构，其中编码器包括动态卷积单元和边缘特征增强单元，解码器包括细胞核分割分支、凸包检测分支、细胞核分类分支。
作为优选的技术方案，所述动态卷积单元包含1×1卷积层、3×3动态卷积层和ReLU激活函数。
作为优选的技术方案，所述边缘特征增强单元包含1×1卷积层、3×3卷积层和Sigmoid激活函数。
作为优选的技术方案，所述所述细胞核分割分支用于对相互接触的细胞核以及有相互重叠的细胞核进行分离，具体步骤包括：
对细胞核内部区域和细胞核边缘区域做差，对做差后的图像进行连通域划分，得到单独的连通域，按照连通域的面积进行阈值截断，过滤掉面积小于第一阈值的连通域；
对单独的连通域进行进一步的处理，通过腐蚀算法将面积小于第二阈值的连通域进行分离，从而实现将相互接触的细胞核以及相互重叠的细胞核分开；
对经过腐蚀算法处理过的连通域通过腐蚀算法进行圆滑处理，最终得到细胞核的边缘以及细胞核的内部区域。
作为优选的技术方案，所述凸包检测分支用于对相互重叠的细胞核进行再分割，具体步骤包括：
获得预测分割图中的所有连通分量集合；
对于中的每个连通分量/>，若/>是凸包则直接从/>中删除/>；
找到连通分量中的最大凹点/>，若/>到凸包的距离/>小于阈值，则从/>中删除；
找到距最大凹点最近边界点/>，并以/>和/>之间的连线为分割线，将/>分为/>和/>两部分，同时将/>和/>放回至集合/>；
重复上述步骤，直到集合为空。
作为优选的技术方案，所述细胞核分类分支用于对细胞核进行二分类，具体步骤包括：
通过标注得到细胞核分类矩阵，分别用数字 0、1表示正常细胞核像素点以及癌细胞核像素点；
得到经过细胞核分割分支以及凸包检测分支处理后的细胞核分割数据，将细胞核分割数据与细胞核分类矩阵进行比对，判定细胞核种类。
作为优选的技术方案，所述3×3动态卷积层包含3个卷积核和1个注意力模块。
作为优选的技术方案，所述二分类将细胞核分成正常细胞核和癌细胞核两类。
作为优选的技术方案，所述注意力模块包含全局平均池化层、全连接层和Sigmoid激活函数。
本发明还提供一种基于改进UNet网络的重叠细胞核识别系统，其特征在于，包括：
样本数据构建模块，对全视野的病理切片图像按照预设像素尺寸切分为统一大小的病理切片图像块并进行标注；
样本数据预处理模块，采用颜色归一化和数据增强对样本数据进行颜色归一化处理和扩充；
细胞核识别网络构建模块，构建基于改进UNet网络的细胞核识别网络；
网络训练模块，将所述细胞核识别网络在经过数据增强的数据集上训练并调优；
细胞核识别模块，采用训练好的细胞核识别网络预测出的每个病理切片图像块的结果并将每个病理切片图像块按照切分时的顺序重新拼接，得到整张病理切片图像细胞核识别结果图。
本发明的一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现一种基于改进UNet网络的重叠细胞核识别方法。
本发明的一种控制器，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现一种基于改进UNet网络的重叠细胞核识别方法。
本发明与现有技术相比，具有如下优点和有益效果：
（1）本发明构建的细胞核识别网络采用编码器-解码器结构，将解码器划分为细胞核分割分支、凸包检测分支和细胞核分类分支，用于分割和识别相互接触的细胞核以及重叠细胞核，实现对接触、重叠细胞核的有效分割和识别。本发明属于医学图像数据处理技术领域，通过构建细胞核识别网络自动分割和识别出病理切片图像中的重叠细胞核，辅助医生进行医疗分析与诊断，减轻医生负担。
（2）本发明在细胞核识别网络的编码结构中引入动态卷积单元和边缘特征增强单元，充分提取输入图像中的多尺度特征信息，相较于没有引入动态卷积单元和边缘特征增强单元的网络具有更加优秀的分割效果，提高了对重叠细胞核的分割和识别精度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的一种基于改进UNet网络的重叠细胞核识别方法的整体流程示意图；
图2为本发明的一种基于改进UNet网络的重叠细胞核识别方法中所述细胞核识别网络的结构示意图；
图3为本发明的一种基于改进UNet网络的重叠细胞核识别系统的结构示意图。
具体实施方式
下面通过附图以及具体实施例对本发明技术方案做详细地说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
实施例1
如图1所示，本实施例提供一种基于改进UNet网络的重叠细胞核识别方法，具体包括下述步骤：
S1：将全视野的病理切片图像切分为预设像素尺寸的病理切片图像块并进行标注；
S11：因为输入到细胞核识别网络的图像最好是固定的大小，所以本实施例将病理切片图像切分为一定数量的512*512像素的病理切片图像块；
S12：在训练细胞核分割网络的时候需要输入标签作为拟合对象，此处将病理切片图像块标签划分为3个类别，一个类别是细胞核内部区域，另一个类别是细胞核边界，最后一个是细胞核外部区域。
S2：对样本数据进行预处理，包括颜色归一化和数据增强；
S21：使用比尔-朗伯转换法对原始病理切片图像进行转换，将RGB空间图像矩阵转换为光密度图像矩阵，具体步骤如下：
将一个RGB空间中大小为的图像看作一个矩阵/>，矩阵中的元素可以表示为，其中/>取R、G或B代表彩色图像的三个通道，/>为图像的像素数量，即/>；
定义RGB空间图像矩阵为：
式中表示通道为R，像素数量为1的元素，/>表示通道为R，像素数量为/>的元素，/>表示通道为G，像素数量为1的元素，/>表示通道为G，像素数量为/>的元素，表示通道为B，像素数量为1的元素，/>表示通道为B，像素数量为/>的元素，以此类推；
将RGB空间图像矩阵转化为光密度图像矩阵/>，即
式中为照明光强度，通常为255；
光密度图像矩阵中的元素可以表示为/>，其中/>取R、G或B代表光密度图像的三个通道，/>为图像的像素数量，即/>；
转换后的光密度图像矩阵为：
式中表示通道为R，像素数量为1的元素，/>表示通道为R，像素数量为/>的元素，/>表示通道为G，像素数量为1的元素，/>表示通道为G，像素数量为/>的元素，/>表示通道为B，像素数量为1的元素，/>表示通道为B，像素数量为/>的元素，以此类推；
S22：对光密度图像矩阵进行稀疏非负矩阵分解得到两个矩阵，其中一个矩阵为为包含每种染色原型的RGB光密度成分矩阵，另一个矩阵为染色密度矩阵，将染色密度矩阵和目标图像的染色原型矩阵相乘，然后再进行比尔-朗伯逆转换，便可得到归一化图像；
S23：采用数据增强技术对样本数据进行扩充，以提高网络的泛化性能，具体实施过程如下：
根据病理切片图像没有固定方向的特点，当图像输入网络进行训练时，将图像本身及标注同时以一定概率应用水平翻转、垂直翻转、随机角度旋转、随机亮度、随机对比度、噪声干扰和图像模糊等图像变换，从而达到扩充样本数据的目的。
S3：构建细胞核识别网络，将样本数据输入细胞核识别网络中进行训练，将标签类别输入细胞核识别网络作为拟合对象；
如图2所示，本实施例的细胞核识别网络基于UNet网络进行改进，所述的细胞核识别网络采用编码器-解码器结构，具体如下：
所述的编码器包括五个编码单元，即第一编码单元至第五编码单元，病理切片图像块依次经过第一编码单元至第五编码单元进行处理；其中，第一编码单元包括1个卷积层、1个归一化层和1个激活函数层；
第二编码单元和第三编码单元包括1个动态卷积单元、1个归一化层和1个激活函数层，每个动态卷积单元的网络结构相同，包含ReLU激活函数、1×1卷积层和3×3动态卷积层，动态卷积单元可用下式表示：
式中表示输入，/>表示输出，/>表示动态卷积操作，/>表示样本自适应生成的卷积核参数，/>表示生成的权重个数，/>表示第/>个注意力权值，/>表示第/>个卷积核参数；
第四编码单元和第五编码单元引入边缘特征增强单元，边缘特征增强单元包含1×1卷积层、3×3卷积层和Sigmoid激活函数，具体如下：
使用1×1卷积核缩减通道数以减少网络参数量，使用双线性上采样调整特征图大小，得到包含上下文信息的边缘特征映射；
使用3×3卷积核增强像素间关联性，得到高语义特征图；
使用Sigmoid激活函数将高语义特征图中的元素转换为相应的权重值，得到权重特征映射；
对权重特征映射和边缘特征映射进行逐元素乘积运算，为边缘区域分配较高权重，为平凡边缘和噪声分配较低权重，生成细胞核边缘特征图；
表1 编码器设计细节
如表1所示，第一编码单元输入尺寸为（512×512×512，1），参数设置为（3×3×3，1），输出尺寸为（512×512×512，1）；
第二编码单元输入尺寸为（512×512×512，1），参数设置为（1×1×1，768）、（3×3×3，768）和（1×1×1，2048），输出尺寸为（256×256×256，2048）；
第三编码单元输入尺寸为（256×256×256，2048），参数设置为（1×1×1，1536）、（3×3×3，1536）和（1×1×1，4096），输出尺寸为（128×128×128，4096）；
第四编码单元输入尺寸为（128×128×128，4096），参数设置为（1×1×1，3072）、（3×3×3，3072）和（1×1×1，8192），输出尺寸为（64×64×64，8192）；
第五编码单元输入尺寸为（8×8×8，8192），参数设置为（1×1×1，6144）、（3×3×3，6144）和（1×1×1，16384），输出尺寸为（32×32×32，16384）；
所述的解码器包括细胞核分割分支、凸包检测分支、细胞核分类分支，三个分支拥有相似的结构，但是承担三种不同的任务，三个解码器分支分别进行细胞核分割、凸包检测和细胞核分类，其中，
细胞核分割的具体方法步骤为：
将细胞核内部区域和细胞核边缘区域做差，对做差后的图像进行连通域划分，得到单独的连通域，按照连通域的面积进行阈值截断，过滤掉面积小于第一阈值的连通域；
对单独的连通域进行进一步的处理，通过腐蚀算法将面积小于第二阈值的连通域进行分离，从而实现对相互接触的细胞核以及相互重叠的细胞核分开；
对经过腐蚀算法处理过的连通域通过膨胀算法进行圆滑处理，最终得到细胞核的边缘以及细胞核的内部区域；
凸包检测的具体方法步骤为：
获得预测分割图中的所有连通分量集合；
对于中的每个连通分量/>，若/>是凸包则直接从/>中删除/>；
找到连通分量中的最大凹点/>，若/>到凸包的距离/>小于阈值，则从/>中删除；
找到距最大凹点最近边界点/>，并以/>和/>之间的连线为分割线，将/>分为/>和/>两部分，同时将/>和/>放回至集合/>；
重复上述步骤，直到集合为空；
细胞核分类的具体方法步骤为：
通过标注得到细胞核分类矩阵，分别用数字0、1表示正常细胞核像素点以及癌细胞核像素点；
得到经过细胞核分割分支以及凸包检测分支处理过后的细胞核分割数据，将细胞核分割数据与细胞核分类矩阵进行比对，判定细胞核种类。
S4：将细胞核识别网络在经过数据增强的数据集上训练并调优；
S5：输出细胞核识别结果，将步骤S4中预测出的每个病理切片图像块的结果按照切分时的顺序重新拼接起来，得到整张病理切片图像细胞核识别结果图。
本发明在训练细胞核识别网络的时候采用5折交叉验证法对样本数据集进行划分并完成网络训练和测试，随机从样本数据集中取出20%图像作为测试集，将剩余的图像平均分为5份，保持测试集不变进行5次试验，每次使用1份作为验证集，剩余的4份数据增强后作为训练集，确保每次实验使用不同的数据作为验证集，将5组实验的测试结果均值作为网络的精度估计，以此充分利用样本数据并在一定程度上避免过拟合。
实施例2
如图3所示，本实施例提供一种基于改进UNet网络的重叠细胞核识别系统20，包括：样本数据构建模块21、样本数据预处理模块22、细胞核识别网络构建模块23、网络训练模块24和细胞核识别模块25；
在本实施例中，样本数据构建模块21用于对全视野的病理切片图像按照预设像素尺寸切分为统一大小的病理切片图像块，对病理切片图像块按照预设标签类别进行标注，获得训练用的样本数据；
在本实施例中，样本数据预处理模块22用于采用颜色归一化和数据增强对样本数据进行颜色归一化处理和扩充；
颜色归一化的具体方法步骤为：使用比尔-朗伯转换法对原始病理切片图像进行转换，将RGB空间图像矩阵转换为光密度图像矩阵；对光密度图像矩阵进行稀疏非负矩阵分解得到两个矩阵，其中一个矩阵为包含每种染色原型的RGB光密度成分矩阵，另一个矩阵为染色密度矩阵，将染色密度矩阵和目标图像的染色原型矩阵相乘，然后再进行比尔-朗伯逆转换，便可得到归一化图像；
数据增强的具体方法步骤为：根据病理切片图像没有固定方向的特点，当图像输入网络进行训练时，将图像本身及标注同时以一定概率应用水平翻转、垂直翻转、随机角度旋转、随机亮度、随机对比度、噪声干扰和图像模糊等图像变换，从而达到扩充样本数据的目的；
在本实施例中，细胞核识别网络构建模块23用于构建细胞核识别网络；
在本实施例中，细胞核识别网络采用编码器-解码器的结构，编码器包括五个编码单元，即第一编码单元至第五编码单元，病理切片图像块依次经过第一编码单元至第五编码单元进行处理；其中，第一编码单元包括1个卷积层、1个归一化层和1个激活函数层；第二编码单元和第三编码单元包括1个动态卷积单元、1个归一化层和1个激活函数层，每个动态卷积单元的网络结构相同，包含ReLU激活函数、1×1卷积层和3×3动态卷积层，动态卷积单元可用下式表示：
式中表示输入，/>表示输出，/>表示动态卷积操作，/>表示样本自适应生成的卷积核参数，/>表示生成的权重个数，/>表示第/>个注意力权值，/>表示第/>个卷积核参数；
第四编码单元和第五编码单元引入边缘特征增强单元，边缘特征增强单元包含1×1卷积层、3×3卷积层和Sigmoid激活函数，具体如下：
使用1×1卷积核缩减通道数以减少网络参数量，使用双线性上采样调整特征图大小，得到包含上下文信息的边缘特征映射；
使用3×3卷积核增强像素间关联性，得到高语义特征图；
使用Sigmoid激活函数将高语义特征图中的元素转换为相应的权重值，得到权重特征映射；
对权重特征映射和边缘特征映射进行逐元素乘积运算，为边缘区域分配较高权重，为平凡边缘和噪声分配较低权重，生成细胞核边缘特征图；
其中，第一编码单元输入尺寸为（512×512×512，1），参数设置为（3×3×3，1），输出尺寸为（512×512×512，1）；
第二编码单元输入尺寸为（512×512×512，1），参数设置为（1×1×1，768）、（3×3×3，768）和（1×1×1，2048），输出尺寸为（256×256×256，2048）；
第三编码单元输入尺寸为（256×256×256，2048），参数设置为（1×1×1，1536）、（3×3×3，1536）和（1×1×1，4096），输出尺寸为（128×128×128，4096）；
第四编码单元输入尺寸为（128×128×128，4096），参数设置为（1×1×1，3072）、（3×3×3，3072）和（1×1×1，8192），输出尺寸为（64×64×64，8192）；
第五编码单元输入尺寸为（8×8×8，8192），参数设置为（1×1×1，6144）、（3×3×3，6144）和（1×1×1，16384），输出尺寸为（32×32×32，16384）；
解码器包括细胞核分割分支、凸包检测分支、细胞核分类分支，三个分支拥有相似的结构，但是承担三种不同的任务，三个解码器分支分别进行细胞核分割、凸包检测和细胞核分类，其中，
细胞核分割的具体方法步骤为：将细胞核内部区域和细胞核边缘区域做差，对做差后的图像进行连通域划分，得到单独的连通域，按照连通域的面积进行阈值截断，过滤掉面积小于第一阈值的连通域；对单独的连通域进行进一步的处理，通过腐蚀算法将面积小于第二阈值的连通域进行分离，从而实现对相互接触的细胞核以及相互重叠的细胞核分开；对经过腐蚀算法处理过的连通域通过膨胀算法进行圆滑处理，最终得到细胞核的边缘以及细胞核的内部区域；
凸包检测的具体方法步骤为：获得预测分割图中的所有连通分量集合；对于/>中的每个连通分量/>，若/>是凸包则直接从/>中删除/>；找到连通分量/>中的最大凹点/>，若/>到凸包的距离/>小于阈值，则从/>中删除/>；找到距最大凹点/>最近边界点/>，并以和/>之间的连线为分割线，将/>分为/>和/>两部分，同时将/>和/>放回至集合/>；重复上述步骤，直到集合/>为空；
细胞核分类的具体方法步骤为：通过标注得到细胞核分类矩阵，分别用数字0、1表示正常细胞核像素点以及癌细胞核像素点；得到经过细胞核分割分支以及凸包检测分支处理过后的细胞核分割数据，将细胞核分割数据与细胞核分类矩阵进行比对，判定细胞核种类。
在本实施例中，网络训练模块24用于训练细胞核识别网络，将切分后的病理切片图像块输入细胞核识别网络中进行训练，将标签类别输入细胞核识别网络作为拟合对象，利用数据的验证集对细胞核识别网络进行验证，根据验证准确度判断训练进度；
在本实施例中，细胞核识别模块25用于将细胞核识别网络输出的预测结果按照切分时的顺序重新拼接，得到整张病理切片图像细胞核识别结果图。
上述关于本发明的一种基于改进UNet网络的重叠细胞核识别系统中的各参数和各个单元模块实现相应功能的步骤，可参考上文中关于一种基于改进UNet网络的重叠细胞核识别方法的实施例中的各参数和步骤，在此不做赘述。
实施例3
本发明实施例的一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一项所述的一种基于改进UNet网络的重叠细胞核识别方法。需要说明的是：一种基于改进UNet网络的重叠细胞核识别方法的所有计算机程序均使用Python语言实现，其中，样本数据构建模块、样本数据预处理模块、细胞核识别网络构建模块、网络训练模块、细胞核识别模块均由远程服务器控制；远程服务器的CPU为IntelXeon Gold 5120，GPU为NVIDIA GTX 2080Ti 11GB，操作系统为Ubuntu 18.04.2 LTS，深度学习框架为PyTorch1.7.0，使用CUDA10.1进行加速推理；Intel Xeon Gold 5120包含存储器和处理器，其中，存储器用于存储计算机程序；处理器用于执行计算机程序，使得IntelXeon Gold 5120执行实现一种基于改进UNet网络的重叠细胞核识别系统。
所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。
因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM），只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种基于改进UNet网络的重叠细胞核识别方法，其特征在于，包括下述步骤：
对全视野的病理切片图像按照预设像素尺寸切分为统一大小的病理切片图像块并进行标注；
采用颜色归一化和数据增强对样本数据进行颜色归一化处理和扩充；
构建基于改进UNet网络的细胞核识别网络；
将细胞核识别网络在经过数据增强的数据集上训练并调优；
采用训练好的细胞核识别网络预测出的每个病理切片图像块的结果并将每个病理切片图像块按照切分时的顺序重新拼接，得到整张病理切片图像细胞核识别结果图。
2.根据权利要求1所述的一种基于改进UNet网络的重叠细胞核识别方法，其特征在于，所述颜色归一化用于对样本数据颜色信息进行统一，具体步骤包括：
对原始RGB图像通过比尔-朗伯转换法将RGB空间图像矩阵转换为光密度图像矩阵；
对光密度图像矩阵进行稀疏非负矩阵分解，得到光密度成分矩阵和染色密度矩阵；
将染色密度矩阵和目标图像的染色原型矩阵相乘，再进行比尔-朗伯逆转换，得到最终归一化后的图像。
3.根据权利要求1所述的一种基于改进UNet网络的重叠细胞核识别方法，其特征在于，所述数据增强用于对样本数据进行扩充，具体步骤包括：
将病理切片图像本身及其标注图像进行图像变换，所述图像变换包括水平翻转、垂直翻转、随机角度旋转、随机亮度、随机对比度、噪声干扰和图像模糊中的至少一种。
4.根据权利要求1所述的一种基于改进UNet网络的重叠细胞核识别方法，其特征在于，所述细胞核识别网络采用编码器-解码器结构，其中编码器包括动态卷积单元和边缘特征增强单元，解码器包括细胞核分割分支、凸包检测分支、细胞核分类分支。
5.根据权利要求4所述的一种基于改进UNet网络的重叠细胞核识别方法，其特征在于，所述动态卷积单元包含1×1卷积层、3×3动态卷积层和ReLU激活函数。
6.根据权利要求4所述的一种基于改进UNet网络的重叠细胞核识别方法，其特征在于，所述边缘特征增强单元包含1×1卷积层、3×3卷积层和Sigmoid激活函数。
7.根据权利要求4所述的一种基于改进UNet网络的重叠细胞核识别方法，其特征在于，所述细胞核分割分支用于对相互接触的细胞核以及相互重叠的细胞核进行分离，具体步骤包括：
对细胞核内部区域和细胞核边缘区域做差，对做差后的图像进行连通域划分，得到单独的连通域，按照连通域的面积进行阈值截断，过滤掉面积小于第一阈值的连通域；
对单独的连通域进行进一步的处理，通过腐蚀算法将面积小于第二阈值的连通域进行分离，从而实现将相互接触的细胞核以及相互重叠的细胞核分开；
对经过腐蚀算法处理过的连通域通过膨胀算法进行圆滑处理，最终得到细胞核的边缘以及细胞核的内部区域。
8.根据权利要求4所述的一种基于改进UNet网络的重叠细胞核识别方法，其特征在于，所述凸包检测分支用于对相互重叠的细胞核进行再分割，具体步骤包括：
获得预测分割图中的所有连通分量集合；
对于中的每个连通分量/>，若/>是凸包则直接从/>中删除/>；
找到连通分量中的最大凹点/>，若/>到凸包的距离/>小于阈值，则从/>中删除/>；
找到距最大凹点最近边界点/>，并以/>和/>之间的连线为分割线，将/>分为/>和/>两部分，同时将/>和/>放回至集合/>；
重复上述步骤，直到集合为空。
9.根据权利要求4所述的一种基于改进UNet网络的重叠细胞核识别方法，其特征在于，所述细胞核分类分支用于对细胞核进行二分类，具体步骤包括：
通过标注得到细胞核分类矩阵，分别用数字 0、1表示正常细胞核像素点以及癌细胞核像素点；
得到经过细胞核分割分支以及凸包检测分支处理后的细胞核分割数据，将细胞核分割数据与细胞核分类矩阵进行比对，判定细胞核种类。
10.根据权利要求5所述的一种基于改进UNet网络的重叠细胞核识别方法，其特征在于，所述3×3动态卷积层包含3个卷积核和1个注意力模块。
11.根据权利要求9所述的一种基于改进UNet网络的重叠细胞核识别方法，其特征在于，所述二分类将细胞核分成正常细胞核和癌细胞核两类。
12.根据权利要求10所述的一种基于改进UNet网络的重叠细胞核识别方法，其特征在于，所述注意力模块包含全局平均池化层、全连接层和Sigmoid激活函数。
13.一种基于改进UNet网络的重叠细胞核识别系统，其基于权利要求1-12中任一项所述的一种基于改进UNet网络的重叠细胞核识别方法实现，其特征在于，所述系统包括：
样本数据构建模块，对全视野的病理切片图像按照预设像素尺寸切分为统一大小的病理切片图像块并进行标注；
样本数据预处理模块，采用颜色归一化和数据增强对样本数据进行颜色归一化处理和扩充；
细胞核识别网络构建模块，构建基于改进UNet网络的细胞核识别网络；
网络训练模块，将所述细胞核识别网络在经过数据增强的数据集上训练并调优；
细胞核识别模块，采用训练好的细胞核识别网络预测出的每个病理切片图像块的结果并将每个病理切片图像块按照切分时的顺序重新拼接，得到整张病理切片图像细胞核识别结果图。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1-12中任一项所述的一种基于改进UNet网络的重叠细胞核识别方法。
15.一种控制器，包括存储器和处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于执行所述计算机程序时实现权利要求1-12中任一项所述的一种基于改进UNet网络的重叠细胞核识别方法。
CN202311128075.3A 2023-09-04 2023-09-04 一种基于改进UNet网络的重叠细胞核识别方法及系统 Pending CN116863466A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311128075.3A CN116863466A (zh) 2023-09-04 2023-09-04 一种基于改进UNet网络的重叠细胞核识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311128075.3A CN116863466A (zh) 2023-09-04 2023-09-04 一种基于改进UNet网络的重叠细胞核识别方法及系统

Publications (1)

Publication Number Publication Date
CN116863466A true CN116863466A (zh) 2023-10-10

Family

ID=88223779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311128075.3A Pending CN116863466A (zh) 2023-09-04 2023-09-04 一种基于改进UNet网络的重叠细胞核识别方法及系统

Country Status (1)

Country Link
CN (1) CN116863466A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091948A1 (en) * 2015-09-30 2017-03-30 Konica Minolta Laboratory U.S.A., Inc. Method and system for automated analysis of cell images
CN112380900A (zh) * 2020-10-10 2021-02-19 深圳视见医疗科技有限公司 基于深度学习的子宫颈液基细胞数字图像分类方法及系统
CN113222944A (zh) * 2021-05-18 2021-08-06 湖南医药学院 细胞核分割方法、系统、装置及基于病理图像的癌症辅助分析系统、装置
CN113628201A (zh) * 2021-08-19 2021-11-09 西安电子科技大学 基于深度学习的病理切片分析方法、电子设备及可读存储介质
CN113763371A (zh) * 2021-09-15 2021-12-07 上海壁仞智能科技有限公司 病理图像的细胞核分割方法及装置
CN115311271A (zh) * 2022-10-11 2022-11-08 南京诺源医疗器械有限公司 一种宫颈浸润癌细胞的智能识别方法
CN115457049A (zh) * 2022-08-24 2022-12-09 浙江工业大学 一种基于迁移学习和注意力机制的肺部ct图像分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091948A1 (en) * 2015-09-30 2017-03-30 Konica Minolta Laboratory U.S.A., Inc. Method and system for automated analysis of cell images
CN112380900A (zh) * 2020-10-10 2021-02-19 深圳视见医疗科技有限公司 基于深度学习的子宫颈液基细胞数字图像分类方法及系统
CN113222944A (zh) * 2021-05-18 2021-08-06 湖南医药学院 细胞核分割方法、系统、装置及基于病理图像的癌症辅助分析系统、装置
CN113628201A (zh) * 2021-08-19 2021-11-09 西安电子科技大学 基于深度学习的病理切片分析方法、电子设备及可读存储介质
CN113763371A (zh) * 2021-09-15 2021-12-07 上海壁仞智能科技有限公司 病理图像的细胞核分割方法及装置
CN115457049A (zh) * 2022-08-24 2022-12-09 浙江工业大学 一种基于迁移学习和注意力机制的肺部ct图像分割方法
CN115311271A (zh) * 2022-10-11 2022-11-08 南京诺源医疗器械有限公司 一种宫颈浸润癌细胞的智能识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
宁静艳: "基于深度学习的细胞核图像分割方法研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》, pages 4 *
王浩军, 郑崇勋, 闫相国, 张新宇: "彩色血液细胞图像的自动分割方法研究", 生物医学工程学杂志, no. 02, pages 76 - 80 *
鲁国擎: "基于深度学习的病理切片分析算法的设计与实现", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》, pages 3 *

Similar Documents

Publication Publication Date Title
US11756318B2 (en) Convolutional neural networks for locating objects of interest in images of biological samples
CN111462042B (zh) 癌症预后分析方法及系统
Sahasrabudhe et al. Self-supervised nuclei segmentation in histopathological images using attention
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
US20170076448A1 (en) Identification of inflammation in tissue images
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN114862838A (zh) 基于无监督学习的缺陷检测方法及设备
CN113610859B (zh) 一种基于超声图像的甲状腺结节自动分割方法
CN114022718B (zh) 消化系统病理图像识别方法、系统及计算机存储介质
CN110853009A (zh) 基于机器学习的视网膜病理图像分析系统
CN115359066B (zh) 用于内窥镜的病灶检测方法、装置、电子设备及存储介质
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN115409804A (zh) 一种乳腺磁共振影像的病灶区域识别标注及疗效预测方法
CN111079825B (zh) 针对医学图像的细胞核自动检测方法
KR101821770B1 (ko) 특징 추출을 위한 기법들
CN111554384A (zh) 基于先验感知和多任务学习的腺癌病理图像分析方法
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN113822252B (zh) 显微镜下病理图像细胞鲁棒检测方法
CN113221731B (zh) 一种多尺度遥感图像目标检测方法及系统
CN116863466A (zh) 一种基于改进UNet网络的重叠细胞核识别方法及系统
CN115239655A (zh) 一种甲状腺超声影像肿瘤分割分类方法及装置
CN114496099A (zh) 细胞功能注释方法、装置、设备及介质
CN112669288A (zh) 基于数字病理图像的细胞靶点表达预测方法、系统及装置
CN117393043B (zh) 一种甲状腺乳头状瘤braf基因突变检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination