CN111414788B - 基于可变形u型网络的重叠染色体图像分割方法 - Google Patents

基于可变形u型网络的重叠染色体图像分割方法 Download PDF

Info

Publication number
CN111414788B
CN111414788B CN201910898595.XA CN201910898595A CN111414788B CN 111414788 B CN111414788 B CN 111414788B CN 201910898595 A CN201910898595 A CN 201910898595A CN 111414788 B CN111414788 B CN 111414788B
Authority
CN
China
Prior art keywords
size
convolution
layer
images
chromosome
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910898595.XA
Other languages
English (en)
Other versions
CN111414788A (zh
Inventor
张�林
张雪利
刘辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201910898595.XA priority Critical patent/CN111414788B/zh
Publication of CN111414788A publication Critical patent/CN111414788A/zh
Application granted granted Critical
Publication of CN111414788B publication Critical patent/CN111414788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种基于可变形U型卷积神经网络的重叠染色体分割方法，以进一步改进现有分割技术的精确度问题。实验围绕有丝分裂中期的同一区域的人类染色体图像展开。其步骤为：1）将DAPI和Cy3图像组合成灰度图像，再逐个提取获得46条单独的染色体；2）将46条染色体图像分别作图像增强处理并两两叠加，构建重叠染色体图像库；3）将重叠染色体图像库划分为训练样本集、验证样本集和测试样本集；4）构建可变形U型网络，通过训练样本集完成网络训练，验证样本集对网络评估测试，最后对测试样本集进行重叠染色体分割。本发明利用可变形的U型网络结构提取包括角度、卷曲状态等染色体形态变化在内的各种特征，提高了重叠染色体分割的准确率。

Description

基于可变形U型网络的重叠染色体图像分割方法
技术领域
本发明属于图像分割领域，特别涉及一种重叠染色体的图像分割方法。
背景技术
正常的细胞内染色体是以固定的数目和形态出现的，在受到放射线照射、化学药物等污染后可能会形成病变，表现为染色体数目或形态出现异常。因此，如何正确识别染色体对于医学诊断和生物医学研究非常重要。在染色体图像中，染色体重叠是非常常见的现象，比例高达40％左右，其中绝大部分都是两条染色体重叠。因此，如何准确分辨出重叠在一起的各条染色体，尤其是两条染色体是染色体识别工作正常开展的前提。目前，国内已开发出一些染色体自动分析系统，一定程度上减轻了医务工作者的劳动强度，但在染色体图像出现交叠、粘连的时候，其分析的效果仍有待改进。因此，染色体的识别主要仍然依赖人工实现，工作量大且严重依赖于医务工作者的经验。
深度神经网络作为一种有效的图像分割方法，已广泛应用于包括图像分割在内的各种图像处理场合。R.Lily Hu等人于2017年在第31届神经信息处理系统大会(NIPS 2017)上发表了一篇题为“Image Segmentation to Distinguish Between Overlapping HumanChromosomes”的文章，构建了包括5层卷积层的深度U型网络结构实现了重叠染色体图像的分割。但是，该方法未充分考虑染色体图像中染色体的角度、形态等形变问题对分割带来的细节要求，因此，其分割的准确率仍有待提升。
发明内容
本发明的目的在于针对上述现有技术存在的问题，构建可变形U型网络用于重叠染色体图像的分割，进一步改善重叠染色体图像分割的效果。
本发明的技术思路是：采用可变形卷积单元代替普通的卷积单元构建可变形U型网络，学习输入样本集的特征，包括染色体边缘特征和几何形变特征等，改善了模型对染色体几何形变的适应性，从而提高重叠染色体分割的准确率。
具体实现方案如下：
(1)将13434对94×93大小的重叠染色体图像及标注图像分别扩增获取为128×
128像素大小的图像；
(2)将13434对重叠染色体图像和标注图像划分为训练样本集(10434对)、验证样本集(1500对)和测试样本集(1500对)；
(3)构建一个14层结构的可变形U型网络，第一层为模型的输入层，第二层为带有可变形卷积单元的卷积层，第三层至第七层均为卷积层，前面这七层网络实现了重叠染色体图像分割相关特征的提取；第八层至第十三层为卷积层，第十四层为输出层，后面七层则实现重叠染色体的分割；
(4)训练可变形U型网络：将训练样本集作为可变形U型网络的输入，设置学习率为0.001，训练集批块的大小为32，数据迭代次数为30；将验证样本集作为输入判定模型是否收敛，以获得优化的网络参数；
(5)将测试数据集中的重叠染色体图像输入至已优化的可变形U型网络中，实现重叠染色体区域的分割，并通过对应的标注图像评估网络的性能。
本发明与现有技术相比，具有以下优点：在第二层中采用了可变形卷积单元，通过在每个采样点位置增加偏移变量，使得卷积核不再局限于传统卷积网络中的规则格点，而是按需在当前位置附近任意采样，使得整个模型具备了几何变换的建模能力，从而有效改善重叠染色体图像分割的效果。
附图说明
图1为本发明实施例提供的一种基于可变形U型网络的重叠染色体图像分割网络结构图。
具体实施方案
以下结合附图和具体实施例，对本发明作进一步的详细描述。
参照图1，本发明的基于可变形U型网络的重叠染色体图像分割方法，包括如下步骤：
步骤1，输入网络前图像的预处理，将94×93的重叠染色体图像及其对应标注图像均扩增为像素大小128×128的图像；
步骤2，构建训练样本集、验证样本集和测试样本集，将13434对重叠染色体图像和标注图像随机分为训练样本集(10434对)，验证样本集(1500对)和测试样本集(1500对)；
步骤3，基于训练样本集和验证样本集训练、验证可变形U型网络；
步骤4，基于测试样本集评估上述可变形U型网络的分割性能。
可变形U型网络包括14层，第一层输入层用于输入数据，第二层至第十三层为卷积层，第十四层为输出层。其中，前七层用于编码提取相关特征，后七层则用于解码进行图像分割。
其各层的结构参数设置如下：
第一层，用于输入样本集中的重叠染色体图像；
第二层，由一个可变形卷积单元和两个大小为3×3的卷积核和大小为128×128的64个特征映射图组成；
第三层，由三个大小为3的卷积核和大小为64×64的128个特征映射图组成；
第四层，由三个大小为3的卷积核和大小为32×32的256个特征映射图组成；
第五层，由三个大小为3的卷积核和大小为16×16的512个特征映射图组成；
第六层，由三个大小为3的卷积核和大小为8×8的512个特征映射图组成；
第七层，由三个大小为3的卷积核和大小为4×4的512个特征映射图组成；
第八层，由三个大小为3的卷积核和大小为4×4的512个特征映射图组成；
第九层，由三个大小为3的卷积核和大小为8×8的512个特征映射图组成；
第十层，由两个大小为3的卷积核和大小为16×16的512个特征映射图和一个大小为3的卷积核和大小为16×16的256个特征映射图组成；
第十一层，由两个大小为3的卷积核和大小为32×32的256个特征映射图和一个大小为3的卷积核和大小为32×32的128个特征映射图组成；
第十二层，由两个大小为3的卷积核和大小为64×64的128个特征映射图和一个大小为3的卷积核和大小为64×64的64个特征映射图组成；
第十三层，由两个大小为3的卷积核和大小为128×128的64个特征映射图组成；
第十四层，由一个大小为1的卷积核和大小为128×128的4个特征图组成，通过全卷积网络完成重叠染色体图像的分割。
将包括重叠染色体图像及对应标注图像的训练样本集输入可变形U型网络，其中部分输入数据作为验证样本集。设置学习率为0.001，数据迭代次数为30，设置训练集批块的大小为32。
每个卷积层的激活函数均采用修正线性单元ReLU。
每个卷积层均通过批量归一化操作，以避免梯度消失。
以下结合仿真试验，对本发明的技术性能作进一步说明：
本发明的仿真实验基于Python编程在Keras平台实现，硬件环境为GPU GeForceGTX 1080Ti，系统环境为Ubuntu14.04。
仿真实验：实验共涉及10434对训练样本、1500对验证样本和1500对测试样本，每对样本包括一张重叠染色体图像及其对应的分割标注图像。实验通过训练样本集和验证样本集完成网络模型的训练验证，然后对测试样本图像中的重叠染色体图像进行分割预测，并预测的重叠度(Intersection of Union，IOU)为指标给予评价。结果如表1所示。
表1实验结果
其中，IOU_1指的是一条染色体单独部分的IOU值，IOU_2指的是另一条染色体单独部分的IOU值，IOU_3指的是两条染色体重叠部分的IOU值。从表1可以看出，本发明构建的可变形U型网络，对重叠部分识别的IOU值达到97.1％，与目前现有的研究成果相比有明显的提升。
综上，本发明针对重叠染色体分割需求，构建基于可变形U型网络模型。该模型通过引入可变形卷积单元，赋予整个模型对几何形变的建模能力，有效提升了重叠染色体图像分割的性能。

Claims (7)

1.一种基于可变形U型网络的重叠染色体图像分割方法，其特征在于，包括：
(1)将原始的每对94*93的重叠染色体图像和标注图像分别扩增为128*128像素大小；
(2)将13434对重叠染色体图像和标注图像划分为10434对的训练样本集，1500对的验证样本集和1500对的测试样本集；
(3)构建一个包括14层结构的可变形U型网络模型；第一层作为网络的输入层，用于输入数据，第二层至第十三层为卷积层，第十四层为输出层；其中，前七层用于编码，后七层则用于解码；
(4)对可变形U型网络模型进行训练：将包括重叠染色体图像及对应标注图像的训练样本集作为可变形U型网络模型的输入，其中部分输入数据作为验证样本集；设置学习率为0.001，数据迭代次数为30，设置训练集的批块大小为32，完成可变形U型网络模型的训练；
(5)在(4)中训练好的模型中输入测试样本集中的重叠染色体图像，以分割出原先重叠的染色体个体，并以测试样本集中的标注图像为对照评估模型的分割性能。
2.根据权利要求1所述的方法，其特征在于，步骤(1)中对于将像素大小分别为94*93的重叠染色体图像和标注图像增强为像素大小为128*128的图像，具体操作如下：
首先，生成两个128*128的全零矩阵M1和M2，再将94*93的染色体图像替换M1的中心位置，得到128*128的重叠染色体图像；将对应的94*93的标注图像替换M2的中心位置，得到128*128的标注图像。
3.根据权利要求1所述的方法，其特征在于，步骤(3)中的可变形U型网络模型，其各层的结构参数设置如下：
第一输入层，用于输入样本集中的目标图像；
第二卷积层，由两个大小为3的卷积核和大小为128*128的64个特征映射图和一个可变形卷积单元组成；
第三卷积层，由三个大小为3的卷积核和大小为64*64的128个特征映射图组成；
第四卷积层，由三个大小为3的卷积核和大小为32*32的256个特征映射图组成；
第五卷积层，由三个大小为3的卷积核和大小为16*16的512个特征映射图组成；
第六卷积层，由三个大小为3的卷积核和大小为8*8的512个特征映射图组成；
第七卷积层，由三个大小为3的卷积核和大小为4*4的512个特征映射图组成；
第八卷积层，由三个大小为3的卷积核和大小为4*4的512个特征映射图组成；
第九卷积层，由三个大小为3的卷积核和大小为8*8的512个特征映射图组成；
第十卷积层，由两个大小为3的卷积核和大小为16*16的512个特征映射图和一个大小为3的卷积核和大小为16*16的256个特征映射图组成；
第十一卷积层，由两个大小为3的卷积核和大小为32*32的256个特征映射图和一个大小为3的卷积核和大小为32*32的128个特征映射图组成；
第十二卷积层，由两个大小为3的卷积核和大小为64*64的128个特征映射图和一个大小为3的卷积核和大小为64*64的64个特征映射图组成；
第十三卷积层，由两个大小为3的卷积核和大小为128*128的64个特征映射图组成；
第十四输出层，由一个大小为1的卷积核和大小为128*128的4个特征图组成，通过全卷积网络完成图像的分割预测。
4.根据权利要求3所述的方法，其特征在于，各卷积层在进行卷积之前将输入图像矩阵周围填充一层0像素。
5.根据权利要求3所述的方法，其特征在于，每个卷积层的激活函数均采用修正线性单元ReLU。
6.根据权利要求3所述的方法，其特征在于，每个卷积层均通过批量归一化操作。
7.根据权利要求3所述的方法，其特征在于，在第二层卷积层中，针对同一染色体在不同图像中出现的角度不同、卷曲方向不同的特点，采用可变形卷积网络替代普通的卷积网络。
CN201910898595.XA 2019-09-23 2019-09-23 基于可变形u型网络的重叠染色体图像分割方法 Active CN111414788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910898595.XA CN111414788B (zh) 2019-09-23 2019-09-23 基于可变形u型网络的重叠染色体图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910898595.XA CN111414788B (zh) 2019-09-23 2019-09-23 基于可变形u型网络的重叠染色体图像分割方法

Publications (2)

Publication Number Publication Date
CN111414788A CN111414788A (zh) 2020-07-14
CN111414788B true CN111414788B (zh) 2023-08-11

Family

ID=71492631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910898595.XA Active CN111414788B (zh) 2019-09-23 2019-09-23 基于可变形u型网络的重叠染色体图像分割方法

Country Status (1)

Country Link
CN (1) CN111414788B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112711983A (zh) * 2020-12-08 2021-04-27 湖南自兴智慧医疗科技有限公司 核型分析系统、方法、电子设备及可读存储介质
CN113096143B (zh) * 2021-04-30 2022-03-15 天津深析智能科技发展有限公司 一种染色体核型分析中染色体分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510467A (zh) * 2018-03-28 2018-09-07 西安电子科技大学 基于深度可变形卷积神经网络的sar图像目标识别方法
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN109344874A (zh) * 2018-08-31 2019-02-15 华侨大学 一种基于深度学习的染色体自动分析方法及系统
CN109523520A (zh) * 2018-10-25 2019-03-26 北京大学第三医院 一种基于深度学习的染色体自动计数方法
CN109934828A (zh) * 2019-02-28 2019-06-25 西交利物浦大学 基于Compact SegUnet自学习模型的双染色体图像切割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510467A (zh) * 2018-03-28 2018-09-07 西安电子科技大学 基于深度可变形卷积神经网络的sar图像目标识别方法
CN109344874A (zh) * 2018-08-31 2019-02-15 华侨大学 一种基于深度学习的染色体自动分析方法及系统
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN109523520A (zh) * 2018-10-25 2019-03-26 北京大学第三医院 一种基于深度学习的染色体自动计数方法
CN109934828A (zh) * 2019-02-28 2019-06-25 西交利物浦大学 基于Compact SegUnet自学习模型的双染色体图像切割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张雪利.基于深度学习的重叠染色体分割方法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2022,全文. *

Also Published As

Publication number Publication date
CN111414788A (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
Zhang et al. Identification of maize leaf diseases using improved deep convolutional neural networks
Tofighi et al. Prior information guided regularized deep learning for cell nucleus detection
CN108596258B (zh) 一种基于卷积神经网络随机池化的图像分类方法
CN107480575B (zh) 模型的训练方法、跨年龄人脸识别方法和对应的装置
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN108171701B (zh) 基于u网络和对抗学习的显著性检测方法
CN105138993A (zh) 建立人脸识别模型的方法及装置
CN107945210B (zh) 基于深度学习和环境自适应的目标跟踪方法
CN107506796A (zh) 一种基于深度森林的阿尔兹海默病分类方法
CN110084238B (zh) 基于LadderNet网络的指静脉图像分割方法、装置和存储介质
Zhao et al. SEV‐Net: Residual network embedded with attention mechanism for plant disease severity detection
CN111414788B (zh) 基于可变形u型网络的重叠染色体图像分割方法
WO2021164280A1 (zh) 三维边缘检测方法、装置、存储介质和计算机设备
Walsh et al. Automated human cell classification in sparse datasets using few-shot learning
CN111784665B (zh) 基于傅里叶变换的oct图像质量评估方法、系统及装置
CN113674288A (zh) 一种非小细胞肺癌数字病理图像组织自动分割方法
CN110175500B (zh) 指静脉比对方法、装置、计算机设备及存储介质
Tripathy et al. Brain MRI segmentation techniques based on CNN and its variants
Jordao et al. Deep network compression based on partial least squares
Scheurer et al. Semantic segmentation of histopathological slides for the classification of cutaneous lymphoma and eczema
Sallam et al. Diabetic retinopathy grading using resnet convolutional neural network
CN110717394A (zh) 人脸识别模型的训练方法、装置、电子设备和存储介质
CN111598844B (zh) 一种图像分割方法、装置、电子设备和可读存储介质
US20210303845A1 (en) Fungal identification by pattern recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant