CN113537182B - 染色体中期分裂相显微图像的自动识别方法与系统 - Google Patents

染色体中期分裂相显微图像的自动识别方法与系统 Download PDF

Info

Publication number
CN113537182B
CN113537182B CN202111090528.9A CN202111090528A CN113537182B CN 113537182 B CN113537182 B CN 113537182B CN 202111090528 A CN202111090528 A CN 202111090528A CN 113537182 B CN113537182 B CN 113537182B
Authority
CN
China
Prior art keywords
chromosome
image
layer
metaphase
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111090528.9A
Other languages
English (en)
Other versions
CN113537182A (zh
Inventor
申相
周正干
马腾飞
李朝文
杨富城
温占波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huironghe Technology Co Ltd
Original Assignee
Beijing Huironghe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huironghe Technology Co Ltd filed Critical Beijing Huironghe Technology Co Ltd
Priority to CN202111090528.9A priority Critical patent/CN113537182B/zh
Publication of CN113537182A publication Critical patent/CN113537182A/zh
Application granted granted Critical
Publication of CN113537182B publication Critical patent/CN113537182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

一种基于卷积神经网络的染色体中期分裂相显微图像的自动识别方法及系统，自动识别方法包括：获取染色体中期分裂相显微图像；从所述染色体中期分裂相显微图像中提取出染色体图像；将提取出的所述染色体图像划分为第一单个独立染色体图像和粘连染色体团图像；将所述粘连染色体团图像分离成多个第二单个独立染色体图像；将所有所述第一单个独立染色体图像以及所有所述第二单个独立染色体图像输入至至少一个卷积神经网络模型中，以识别双着丝粒染色体图像。通过卷积神经网络模型识别双着丝粒染色体图像，从而实现双着丝粒染色体的识别过程中的自动化。

Description

染色体中期分裂相显微图像的自动识别方法与系统
技术领域
本申请涉及辐射生物剂量学领域，特别是涉及一种染色体中期分裂相显微图像的自动识别方法与系统。
背景技术
染色体双着丝粒分析（例如，人体外周血淋巴细胞的染色体双着丝粒分析）是国际上认可度最高、最可靠的辐射生物剂量估算方法。
目前，相关技术中大部分都是使用人工镜下阅片的方式进行双着丝粒染色体的识别，人工方式费时费力且易受人为主观性影响。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的染色体中期分裂相显微图像的自动识别方法与系统。
根据本发明的一个方面，提供了一种基于卷积神经网络的染色体中期分裂相显微图像的自动识别方法，包括：获取染色体中期分裂相显微图像；从所述染色体中期分裂相显微图像中提取出染色体图像；将提取出的所述染色体图像划分为第一单个独立染色体图像和粘连染色体团图像；将所述粘连染色体团图像分离成多个第二单个独立染色体图像；将所有所述第一单个独立染色体图像以及所有所述第二单个独立染色体图像输入至至少一个卷积神经网络模型中，以识别双着丝粒染色体图像。
可选地，所述从所述染色体中期分裂相显微图像中提取出染色体图像的步骤，包括：对所述染色体中期分裂相显微图像进行方形中值滤波；从滤波后的所述染色体中期分裂相显微图像中提取出染色体图像。
可选地，所述从滤波后的所述染色体中期分裂相显微图像中提取出染色体图像的步骤，包括：对滤波后的所述染色体中期分裂相显微图像进行K-means聚类算法，以将滤波后的所述染色体中期分裂相显微图像分为背景图像以及所述染色体图像，并根据分成的所述背景图像以及所述染色体图像提取出所述染色体图像。
可选地，所述染色体中期分裂相显微图像为由Giemsa染料进行染色后的染色体形成的图像，且所述K-means聚类算法根据像素点的G通道分量、B通道分量以及R通道分量的平方的平均值将像素点分为所述背景图像的一部分或所述染色体图像的一部分。
可选地，所述根据分成的所述背景图像以及所述染色体图像提取出所述染色体图像的步骤，包括：将所述染色体中期分裂相显微图像中所述背景图像的所有像素点的灰度值都阈值化为0，以得到阈值化处理后图像；对阈值化处理后图像进行腐蚀膨胀运算，且提取出的所述染色体图像不包括进行所述腐蚀膨胀运算后的图像对应的分成的所述染色体图像。
可选地，所述将提取出的所述染色体图像划分为第一单个独立染色体图像和粘连染色体团图像的步骤，包括：当提取出的所述染色体图像的形态学特征满足第一预设条件时，将对应的所述染色体图像划分为所述第一单个独立染色体图像；当提取出的所述染色体图像的形态学特征满足第二预设条件时，将对应的所述染色体图像划分为所述粘连染色体团图像。
可选地，所述形态学特征包括所述染色体图像的宽度WH、所述染色体图像的内部孔洞数KD以及面积比值AR，所述宽度WH为所述染色体图像的最小外接矩形的短边的值，所述内部孔洞数KD为所述染色体图像中被染色体围成的非染色体区域的个数，所述面积比值AR为所述染色体图像的面积与对应的最小外接矩形的面积的比值；且所述第一预设条件为25≤WH≤65、KD≤3且AR≥0.5；所述第二预设条件为WH＞65。
可选地，所述将所述粘连染色体团图像分离成多个第二单个独立染色体图像的步骤，包括：对所述粘连染色体团图像进行极限腐蚀运算，从而获得每个所述第二单个独立染色体图像对应的目标区域的几何中心；以所述几何中心为中心进行多次膨胀运算至各所述目标区域相连；以各所述目标区域相连的边界为所述多个第二单个独立染色体图像的分离线，将所述粘连染色体团图像分离成多个第二单个独立染色体图像。
可选地，所述以所述几何中心为中心进行多次膨胀运算至各所述目标区域相连的步骤前，还包括：对所有的所述几何中心进行筛选，以筛选掉其中像素值大小小于像素值阈值的所述几何中心。
可选地，所述将所有所述第一单个独立染色体图像以及所有所述第二单个独立染色体图像输入至至少一个卷积神经网络模型中的步骤，包括：将所有所述第一单个独立染色体图像以及所有所述第二单个独立染色体图像输入至第一卷积神经网络模型中，以识别双着丝粒染色体图像；将被所述第一卷积神经网络识别为双着丝粒染色体图像的所述第一单个独立染色体图像以及所述第二单个独立染色体图像输入至第二卷积神经网络模型中，以识别双着丝粒染色体图像。
可选地，所述第一卷积神经网络包括使图像数据依次传递的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层、第四卷积层、第四最大池化层、第五卷积层、第一全面连接层、第二全面连接层以及第三全面连接层，所述图像数据在经过所述第三全面连接层后，所述卷积神经网络模型通过使用softmax函数生成所述图像数据所属类别的可信度概率值。
可选地，所述第二卷积神经网络包括使图像数据依次传递的第六卷积层、第五最大池化层、第七卷积层、第六最大池化层、第八卷积层、第七最大池化层、第九卷积层、第八最大池化层、第十卷积层、第四全面连接层、第五全面连接层以及第六全面连接层，所述图像数据在经过所述第六全面连接层后，所述卷积神经网络模型通过使用softmax函数生成所述图像数据所属类别的可信度概率值。
可选地，所述第四全面连接层以及所述第五全面连接层的每个神经元在训练期间使用50%的丢失率。
根据本申请的另一个方面，提供了一种基于卷积神经网络的染色体中期分裂相显微图像的自动识别系统，包括：一个或多个处理器；以及存储器，所述存储器存储有可由所述一个或多个处理器执行的指令，所述指令使得所述自动识别系统执行上述任一所述的自动识别方法。
通过卷积神经网络模型识别双着丝粒染色体图像，从而实现双着丝粒染色体的识别过程中的自动化，将工作人员从枯燥乏味的阅片工作中解放出来，实现识别过程的规范化和统一化，并且通过卷积神经网络模型的使用提升了双着丝粒染色体图像的识别速度以及识别准确率。
附图说明
通过下文中参照附图对本发明所作的描述，本发明的其它目的和优点将显而易见，并可帮助对本发明有全面的理解。
图1 是本申请一些实施例的基于卷积神经网络的染色体中期分裂相显微图像的自动识别方法的流程图；
图2是本申请一些实施例的基于卷积神经网络的染色体中期分裂相显微图像的自动识别方法中提取出染色体图像的流程图；
图3是本申请一些实施例的基于卷积神经网络的染色体中期分裂相显微图像的自动识别方法中将提取出的染色体图像进行划分的流程图；
图4是本申请一些实施例的基于卷积神经网络的染色体中期分裂相显微图像的自动识别方法中卷积神经网络模型识别染色体的流程图；
图5 是本申请一些实施例的基于卷积神经网络的染色体中期分裂相显微图像的自动识别系统的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一个实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
本申请实施例首先提供了一种基于卷积神经网络的染色体中期分裂相显微图像的自动识别方法。
其中，在机器学习中，卷积神经网络是一种深度前馈人工神经网络，可以进行图像处理。
本领域技术人员可以理解地，染色体中期分裂相显微图像指的是进行染色体双着丝粒分析（染色体双着丝粒分析可用于大规模核辐射事件发生时的快速、高通量剂量评估与人员分流）时通过显微镜获得的成像（可以为彩色显微图像）。以人体外周血淋巴细胞为例，具体的获取对应的染色体中期分裂相显微图像的过程可以包括采集人体外周血，使外周血在37℃±0.5℃水浴条件下离体60Co照射，照后血样在37℃±0.5℃条件下放置2h，进行细胞培养，使用染色体收获系统制备细胞悬液，使用全自动染色体滴片系统制片，Giemsa染色，使用染色体扫描分析系统进行全玻片自动中期分裂相寻找及全玻片图像采集，从而获得染色体中期分裂相显微图像，可以理解地，上述过程仅为获取染色体中期分裂相显微图像的一个实例，本领域技术人员可以采用其他方式获取染色体中期分裂相显微图像。
图1 是本申请一些实施例的基于卷积神经网络的染色体中期分裂相显微图像的自动识别方法的流程图，如图1所示，本申请实施例提供的自动识别方法包括以下步骤：
步骤S102，获取染色体中期分裂相显微图像。
步骤S104，从染色体中期分裂相显微图像中提取出染色体图像。
步骤S106，将提取出的染色体图像划分为第一单个独立染色体图像和粘连染色体团图像。
步骤S108，将粘连染色体团图像分离成多个第二单个独立染色体图像。
步骤S110，将所有第一单个独立染色体图像以及所有第二单个独立染色体图像输入至至少一个卷积神经网络模型中，以识别双着丝粒染色体图像。
步骤S102中，可以从图像数据库中获取染色体中期分裂相显微图像，例如从显微图像自动采集系统的数据库中读取染色体中期分裂相显微图像，其中，染色体中期分裂相显微图像可以有各种分辨率，例如，其分辨率可以为2048×2048等。
步骤S104中，可以对染色体中期分裂相显微图像进行预处理，然后使得染色体图像与背景图像分离，从而从染色体中期分裂相显微图像中提取出染色体图像。
步骤S106中，可以依据染色体图像的形态学特征将提取出的染色体图像划分为第一单个独立染色体图像和粘连染色体团图像。
步骤S108中，可以利用分水岭自动分离算法、腐蚀膨胀算法等将粘连染色体团图像分离成多个第二单个独立染色体图像。
步骤S110中，可以将所有单个独立染色体图像输入到卷积神经网络模型（例如，双层卷积神经网络模型）中进行染色体类别判定，从而获得每个图像所属的类别（包括正常染色体以及双着丝粒染色体）以及可信度概率值。
本申请实施例通过卷积神经网络模型识别双着丝粒染色体图像，从而实现双着丝粒染色体的识别过程中的自动化，将工作人员从枯燥乏味的阅片工作中解放出来，实现识别过程的规范化和统一化，并且通过卷积神经网络模型的使用提升了双着丝粒染色体图像的识别速度以及识别准确率。
在本申请的一些实施例中，从染色体中期分裂相显微图像中提取出染色体图像的步骤包括：对染色体中期分裂相显微图像进行方形中值滤波；从滤波后的染色体中期分裂相显微图像中提取出染色体图像。
中值滤波是一种非线性滤波，在一定条件下可以克服线性滤波所带来的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声最为有效。中值滤波就是设置一个移动窗口，将窗口中心点的值用窗口内各点的中值代替，而方形中值滤波对应的移动窗口是方形的，由于方形中值滤波本身是本领域技术人员所习知的，此处不再赘述。本申请实施例通过使用方形中值滤波，可以对图像起到降噪的作用。
从滤波后的染色体中期分裂相显微图像中提取出染色体图像的步骤可以包括：对滤波后的染色体中期分裂相显微图像进行K-means聚类算法，以将滤波后的染色体中期分裂相显微图像分为背景图像以及染色体图像，并根据分成的背景图像以及染色体图像提取出染色体图像。
K-means聚类算法即K均值聚类算法，是一种迭代求解的聚类分析算法，本实施例中，先将数据（数据可以是像素点的G通道分量、B通道分量以及R通道分量的平均值，也可以是后文的像素点的G通道分量、B通道分量以及R通道分量的平方的平均值）分为两组，随机选取2个数据作为初始的聚类中心，然后计算每个数据与聚类中心的差距，将每个数据划分给差距最小的聚类中心，由此将所有数据分为两类，根据每类的数据的平均值重新确定聚类中心，并重新对数据分类，重复确定聚类中心以及对数据分类的步骤，直到聚类中心不发生变化，由此，将滤波后的染色体中期分裂相显微图像分为背景图像以及染色体图像。
具体地，染色体中期分裂相显微图像为由Giemsa染料进行染色后的染色体形成的图像，且K-means聚类算法根据像素点的G通道分量、B通道分量以及R通道分量的平方的平均值将像素点分为背景图像的一部分或染色体图像的一部分。
本申请实施例的K-means聚类算法在保留G通道分量和B通道分量的基础上，将R通道分量做平方处理，然后再将这三个数据的平均值作为上述聚类算法中提到的用于分类的数据。由于染色体使用Giemsa染料进行染色，呈现紫红色，因此增强R分量的比重，可以提升聚类效果。
根据分成的背景图像以及染色体图像提取出染色体图像的步骤可以包括：将染色体中期分裂相显微图像中背景图像的所有像素点的灰度值都阈值化为0，以得到阈值化处理后图像；对阈值化处理后图像进行腐蚀膨胀运算，且提取出的染色体图像不包括进行腐蚀膨胀运算后的图像对应的分成的染色体图像。
也就是说，染色体中期分裂相显微图像在聚类后分为背景图像以及染色体图像两类，然后将其中的背景图像的灰度值设置为0，然后对背景图像的灰度值设置为0后的染色体中期分裂相显微图像进行腐蚀膨胀操作，由于染色体为长条状，大块杂质为圆形块状，因此经过一系列腐蚀膨胀操作后，只有大块杂质会被保留下来，然后，在原图像上与只保留大块杂质的图像做“减去”操作，去掉对应的大块杂质，从而得到只有染色体和小块杂质的图像，将其提取出来，从而提取出的染色体图像不包括进行腐蚀膨胀运算后的图像对应的聚类算法分成的染色体图像。
本申请实施例依据染色体中期分裂相显微图像（使用Giemsa）的像素分布特点（图像背景、细胞杂质、染色体），采用中值滤波进行图像去噪，使用改进的K-means聚类方法得到将图像分为图像背景像素点集、染色体像素点集。舍弃图像背景的像素点集，保留染色体的像素点集，即可将染色体从图像背景中提取出来，使用腐蚀膨胀的方法标记出大块杂质并舍弃。
由于染色体中期分裂相是在1000倍放大倍数下拍摄的，相机镜头的进光量、染色体的染色程度、载玻片表面的平整度并不完全一致，往往会导致在不同彩色图片中不同部分的像素点灰度值波动较大，阈值分割算法无法将染色体从彩色图像中有效分割出来，本申请实施例提出了一种改进的K-means聚类自动分割算法，能够有效将正常染色体、双着丝粒染色体完整地从彩色图像中提取出来，有利于提升染色体的识别率和识别准确率。
图2是本申请一些实施例的基于卷积神经网络的染色体中期分裂相显微图像的自动识别方法中提取出染色体图像的流程图，如图2所示，提取出染色体图像的流程具体包括以下步骤：
步骤S202，对染色体中期分裂相显微图像进行方形中值滤波。
步骤S204，对滤波后的染色体中期分裂相显微图像进行K-means聚类算法。
步骤S206，将染色体中期分裂相显微图像中背景图像的所有像素点的灰度值都阈值化为0，以得到阈值化处理后图像。
步骤S208，对阈值化处理后图像进行腐蚀膨胀运算，且提取出的染色体图像不包括进行腐蚀膨胀运算后的图像对应的分成的染色体图像。
在本申请的一些实施例中，将提取出的染色体图像划分为第一单个独立染色体图像和粘连染色体团图像的步骤可以包括：当提取出的染色体图像的形态学特征满足第一预设条件时，将对应的染色体图像划分为第一单个独立染色体图像；当提取出的染色体图像的形态学特征满足第二预设条件时，将对应的染色体图像划分为粘连染色体团图像。
由于，单个独立染色体的图像和粘连染色体团的图像通常有较大的区别，因此，通过每个染色体图像的形态学特征可以有效地划分单个独立染色体图像以及粘连染色体团图像。
其中，形态学特征可以包括染色体图像的宽度WH、染色体图像的内部孔洞数KD以及面积比值AR，宽度WH为染色体图像的最小外接矩形的短边的值（由于染色体在图像中的摆放角度随机且为长条状，因此，宽度WH选定为判定对象的最小外接矩形短边的值），内部孔洞数KD为染色体图像中被染色体围成的非染色体区域的个数（即图像中没有连通的非染色体区域的个数），面积比值AR为染色体图像的面积与对应的最小外接矩形的面积的比值（面积比值AR的计算公式为AR=area/rect，其中area代表图像的面积值，rect表示该图像的最小外接矩形的面积值，面积值可以由像素数量表征）。且第一预设条件为25≤WH≤65、KD≤3且AR≥0.5。第二预设条件为WH＞65（也就是说，当WH＜25、KD＞3或是AR＜0.5时，将图像判定为杂质，当WH＞65时，将该图像判定为粘连染色体团，其他情况则将图像判定为第一单个独立染色体图像）。
图3是本申请一些实施例的基于卷积神经网络的染色体中期分裂相显微图像的自动识别方法中将提取出的染色体图像进行划分的流程图，如图3所示，将提取出的染色体图像进行划分的步骤可以包括：
步骤S302，计算染色体图像的宽度WH、染色体图像的内部孔洞数KD以及面积比值AR。
步骤S304，判断是否WH＜25，若是，执行步骤S316，若否，执行步骤S306。
步骤S306，判断是否KD＞3，若是，执行步骤S316，若否，执行步骤S308。
步骤S308，判断是否AR＜0.5，若是，执行步骤S316，若否，执行步骤S310。
步骤S310，判断是否WH＞65，若是，执行步骤S312，若否，执行步骤S314。
步骤S312，将对应的染色体图像划分为粘连染色体图像。
步骤S314，将对应的染色体图像划分为第一单个独立染色体图像。
步骤S316，将对应的染色体图像划分为杂质。
本申请的实施例利用单条染色体、粘连染色体团、各种杂质的形态特征区别，采用长度、宽度、内部孔洞数、面积值等作为初步判别指标，筛选出粘连染色体团并使用分水岭分离算法，将简单粘连的染色体团分离成单个独立的染色体。
在本申请的一些实施例中，将粘连染色体团图像分离成多个第二单个独立染色体图像的步骤可以包括：对粘连染色体团图像进行极限腐蚀运算，从而获得每个第二单个独立染色体图像对应的目标区域的几何中心（即种子点）；以几何中心为中心进行多次膨胀运算至各目标区域相连；以各目标区域相连的边界为该多个第二单个独立染色体图像的分离线，将粘连染色体团图像分离成多个第二单个独立染色体图像。
由于极限腐蚀运算以及膨胀运算、分水岭算法等本身是本领域技术人员所习知的，此处不再赘述。
其中，以几何中心为中心进行多次膨胀运算至各目标区域相连的步骤前还可以包括：对所有的几何中心进行筛选，以筛选掉其中像素值大小小于像素值阈值的几何中心。也就是说，被筛选掉的几何中心在后续的计算中不作为几何中心进行膨胀运算。
由于粘连染色体团图像中染色体的形状大小各不相同，且存在一些没有被完全消除掉的杂质残留，使用常规的分水岭算法会出现过度分离的现象。因此，给种子点的大小设置一个阈值，去除掉过小的种子点从而抑制过分离现象。其中，采用的极限腐蚀参数可以为5×5，最终获得分离完整的单条染色体。
其中，将所有第一单个独立染色体图像以及所有第二单个独立染色体图像输入至至少一个卷积神经网络模型中的步骤可以包括：将所有第一单个独立染色体图像以及所有第二单个独立染色体图像输入至第一卷积神经网络模型中，以识别双着丝粒染色体图像；将被第一卷积神经网络识别为双着丝粒染色体图像的第一单个独立染色体图像以及第二单个独立染色体图像输入至第二卷积神经网络模型中，以识别双着丝粒染色体图像。
图4是本申请一些实施例的基于卷积神经网络的染色体中期分裂相显微图像的自动识别方法中卷积神经网络模型识别染色体的流程图，如图4所示，本申请实施例在识别某一单个独立染色体图像时具体包括：
步骤S402，将单个独立染色体图像输入至第一卷积神经网络模型中。
步骤S404，通过第一卷积神经网络模型判断该单个独立染色体图像是否为双着丝粒染色体图像。若是，执行步骤S406，若否，执行步骤S412。
步骤S406，将该单个独立染色体图像输入至第二卷积神经网络模型中。
步骤S408，通过第二卷积神经网络模型判断该单个独立染色体图像是否为双着丝粒染色体图像。若是，执行步骤S410，若否，执行步骤S412。
步骤S410，将该单个独立染色体图像识别为双着丝粒染色体图像。
步骤S412，将该单个独立染色体图像识别为正常染色体图像。
具体地，可以使用训练好的卷积神经网络模型对第一单个独立染色体图像以及第二单个独立染色体图像进行识别。该至少一个卷积神经网络模型可以由两层相关联的卷积神经网络组成。假设双着丝粒染色体的数量为1，正常染色体的数量为a（两者比例为1：a），第一卷积神经网络模型以及第二卷积神经网络模型对于正常染色体和双着丝粒染色体的识别率均为90%。则经过第一层识别后，双着丝粒染色体的假阳性率（即误检率）为a/（a+9），将第一层卷积神经网络模型的识别结果中被判定为双着丝粒染色体的图像放入第二卷积神经网络模型中进行识别之后，双着丝粒染色体的假阳性率降低为a/（a+81）。
其中，第一卷积神经网络可以包括使图像数据依次传递的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层、第四卷积层、第四最大池化层、第五卷积层、第一全面连接层、第二全面连接层以及第三全面连接层，图像数据在经过第三全面连接层后，卷积神经网络模型通过使用softmax函数生成图像数据所属类别的可信度概率值。
也就是说，第一卷积神经网络模型包括8层（5个卷积层，3个全面连接层）。具体地，第一个卷积层（Conv1）用尺寸为5×5的8个内核过滤3×151×151输入图像。第二个卷积层（Conv2）有16个大小为3×3的滤波器，第三个卷积层（Conv3）有32个大小为3×3的滤波器，第四个卷积层（Conv4）有32个大小为5×5的滤波器，第五个卷积层（Conv5）有64个大小为3×3的滤波器。第一个全面连接层（Full Connected Layer 1,FC1）20个神经元。第二个全面连接层（Full Connected Layer 2,FC2）有10个神经元。第三个全面连接层（FullConnected Layer 3,FC3）有2个神经元。在Conv1、Conv2、Conv3和Conv4之后使用具有2×2内核大小的最大池化层。在每个卷积层和第一全面连接层、第二全面连接层之后使用整流线性单元（ReLU）激活功能。并在第三全面连接层上使用softmax函数在两个类标签上产生概率分布。
第二卷积神经网络包括使图像数据依次传递的第六卷积层、第五最大池化层、第七卷积层、第六最大池化层、第八卷积层、第七最大池化层、第九卷积层、第八最大池化层、第十卷积层、第四全面连接层、第五全面连接层以及第六全面连接层，图像数据在经过第六全面连接层后，卷积神经网络模型通过使用softmax函数生成图像数据所属类别的可信度概率值。
第四全面连接层以及第五全面连接层的每个神经元在训练期间使用50%的丢失率。丢失率设置为50%时，产生的随机丢失效果最好，抗过拟合效果也最好。
也就是说，第二卷积神经网络模型包括8层（5个卷积层，3个全面连接层）。具体地，第六个卷积层（Conv6）用尺寸为5×5的16个内核过滤3×151×151输入图像。第七个卷积层（Conv7）有24个大小为3×3的滤波器，第八个卷积层（Conv8）有40个大小为3×3的滤波器，第九个卷积层（Conv9）有40个大小为5×5的滤波器，第十个卷积层（Conv10）有64个大小为3×3的滤波器。第四个全面连接层（Full Connected Layer 4,FC4）36个神经元，每个神经元在训练期间使用50%的丢失率。第五个全面连接层（Full Connected Layer 5,FC5）有24个神经元，每个神经元在训练期间使用50%的丢失率。第六个全面连接层（Full ConnectedLayer 6,FC6）有2个神经元。在Conv6、Conv7、Conv8和Conv9之后使用具有2×2内核大小的最大池化层。在每个卷积层和第四全面连接层、第五全面连接层之后使用整流线性单元（ReLU）激活功能。并在第六全面连接层上使用softmax函数在两个类标签上产生概率分布。
由于不同染色体图像面积值不相同，因此，在训练之前，需要先将所有图像都无拉伸缩放为151×151的图像（这个大小接近单个染色体的最大面积）。然后使用TensorFlow的Keras函数包来实现CNN模型。学习率被初始化为0.001，并在一半迭代后将其降低10倍。动量项设定为0.9，重量衰减至0.0001。除了指定的配置外，所有参数设置均为标准配置。第一层网络模型经过80次迭代训练，在NVIDIA GeForce GTX 1080 Ti GPU上花费80个小时的训练时间；第二层网络模型经过50次迭代训练，在NVIDIA GeForce GTX 1080 Ti GPU上花费30个小时的训练时间。经过大量图像（约72万张）训练后，第一层卷积神经网络对于正常染色体的识别准确率达到97.5%，双着丝粒体的识别准确率达到93.1%；第二层卷积神经网络对于正常染色体的识别准确率达到79%，双着丝粒体的识别准确率达到86%。如果按照1:45的双着丝粒体和正常染色体的比例进行计算，只使用第一层网络进行双着丝粒体识别的假阳性率为54%，使用双层网络后，假阳性率降低到22.8%。本申请的实施例按照卷积神经网络的训练集构成原则，使用图片训练集对设计好的双层卷积神经网络模型进行训练，第一层卷积神经网络模型的识别准确率可以达到97%，第二层卷积神经网络模型的识别准确率可以达到80%。
现有的双着丝粒染色体图像分析算法的识别准确率不高的主要原因在于双着丝粒染色体与正常染色体的比例相差悬殊，生物剂量越低，相差比例越大。为此本申请的实施例提出了一种将传统图像识别方法与双层卷积神经网络识别模型相结合的模式识别方法。并通过大量正常染色体、双/多着丝粒染色体图像对卷积神经网络的两个模型进行多次迭代训练，从而有效提升了双着丝粒染色体的识别准确率。
本申请实施例还提供了一种基于卷积神经网络的染色体中期分裂相显微图像的自动识别系统10，图5 是本申请一些实施例的基于卷积神经网络的染色体中期分裂相显微图像的自动识别系统10的结构框图，如图5所示，自动识别系统10包括一个或多个处理器100以及存储器200，存储器200存储有可由该一个或多个处理器100执行的指令210，指令210使得自动识别系统10执行上述任一自动识别方法。
可以理解地，本申请实施例提供的基于卷积神经网络的染色体中期分裂相显微图像的自动识别方法和自动识别系统10可以用于放射从业人员的健康查体、大量核辐射受照人群的生物剂量估算。本申请实施例可以根据卷积神经网络的识别结果获得生物剂量估算需要的细胞团数量、正常染色体数量、双着丝粒染色体数量等，可以解决相关技术中双着丝粒染色体识别准确率低（30%-40%）、只能对黑白图像进行识别等问题。
对于本发明的实施例，还需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种基于卷积神经网络的染色体中期分裂相显微图像的自动识别方法，包括：
获取染色体中期分裂相显微图像；
从所述染色体中期分裂相显微图像中提取出染色体图像；
将提取出的所述染色体图像划分为第一单个独立染色体图像和粘连染色体团图像；
将所述粘连染色体团图像分离成多个第二单个独立染色体图像；
将所有所述第一单个独立染色体图像以及所有所述第二单个独立染色体图像输入至至少一个卷积神经网络模型中，以识别双着丝粒染色体图像；
所述从所述染色体中期分裂相显微图像中提取出染色体图像的步骤，包括：对所述染色体中期分裂相显微图像进行方形中值滤波；从滤波后的所述染色体中期分裂相显微图像中提取出染色体图像；
所述从滤波后的所述染色体中期分裂相显微图像中提取出染色体图像的步骤，包括：对滤波后的所述染色体中期分裂相显微图像进行K-means聚类算法，以将滤波后的所述染色体中期分裂相显微图像分为背景图像以及所述染色体图像，并根据分成的所述背景图像以及所述染色体图像提取出所述染色体图像。
2.根据权利要求1所述的自动识别方法，其中，所述染色体中期分裂相显微图像为由Giemsa染料进行染色后的染色体形成的图像，且
所述K-means聚类算法根据像素点的G通道分量、B通道分量以及R通道分量的平方的平均值将像素点分为所述背景图像的一部分或所述染色体图像的一部分。
3.根据权利要求1所述的自动识别方法，其中，所述根据分成的所述背景图像以及所述染色体图像提取出所述染色体图像的步骤，包括：
将所述染色体中期分裂相显微图像中所述背景图像的所有像素点的灰度值都阈值化为0，以得到阈值化处理后图像；
对阈值化处理后图像进行腐蚀膨胀运算，且提取出的所述染色体图像不包括进行所述腐蚀膨胀运算后的图像对应的分成的所述染色体图像。
4.根据权利要求1所述的自动识别方法，其中，所述将提取出的所述染色体图像划分为第一单个独立染色体图像和粘连染色体团图像的步骤，包括：
当提取出的所述染色体图像的形态学特征满足第一预设条件时，将对应的所述染色体图像划分为所述第一单个独立染色体图像；
当提取出的所述染色体图像的形态学特征满足第二预设条件时，将对应的所述染色体图像划分为所述粘连染色体团图像。
5.根据权利要求4所述的自动识别方法，其中，所述形态学特征包括所述染色体图像的宽度WH、所述染色体图像的内部孔洞数KD以及面积比值AR，所述宽度WH为所述染色体图像的最小外接矩形的短边的值，所述内部孔洞数KD为所述染色体图像中被染色体围成的非染色体区域的个数，所述面积比值AR为所述染色体图像的面积与对应的最小外接矩形的面积的比值；且
所述第一预设条件为25≤WH≤65、KD≤3且AR≥0.5；
所述第二预设条件为WH＞65。
6.根据权利要求1所述的自动识别方法，其中，所述将所述粘连染色体团图像分离成多个第二单个独立染色体图像的步骤，包括：
对所述粘连染色体团图像进行极限腐蚀运算，从而获得每个所述第二单个独立染色体图像对应的目标区域的几何中心；
以所述几何中心为中心进行多次膨胀运算至各所述目标区域相连；
以各所述目标区域相连的边界为所述多个第二单个独立染色体图像的分离线，将所述粘连染色体团图像分离成多个第二单个独立染色体图像。
7.根据权利要求6所述的自动识别方法，其中，所述以所述几何中心为中心进行多次膨胀运算至各所述目标区域相连的步骤前，还包括：
对所有的所述几何中心进行筛选，以筛选掉其中像素值大小小于像素值阈值的所述几何中心。
8.根据权利要求1所述的自动识别方法，其中，所述将所有所述第一单个独立染色体图像以及所有所述第二单个独立染色体图像输入至至少一个卷积神经网络模型中的步骤，包括：
将所有所述第一单个独立染色体图像以及所有所述第二单个独立染色体图像输入至第一卷积神经网络模型中，以识别双着丝粒染色体图像；
将被所述第一卷积神经网络识别为双着丝粒染色体图像的所述第一单个独立染色体图像以及所述第二单个独立染色体图像输入至第二卷积神经网络模型中，以识别双着丝粒染色体图像。
9.根据权利要求8所述的自动识别方法，其中，
所述第一卷积神经网络包括使图像数据依次传递的第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层、第四卷积层、第四最大池化层、第五卷积层、第一全面连接层、第二全面连接层以及第三全面连接层，所述图像数据在经过所述第三全面连接层后，所述卷积神经网络模型通过使用softmax函数生成所述图像数据所属类别的可信度概率值。
10.根据权利要求8所述的自动识别方法，其中，
所述第二卷积神经网络包括使图像数据依次传递的第六卷积层、第五最大池化层、第七卷积层、第六最大池化层、第八卷积层、第七最大池化层、第九卷积层、第八最大池化层、第十卷积层、第四全面连接层、第五全面连接层以及第六全面连接层，所述图像数据在经过所述第六全面连接层后，所述卷积神经网络模型通过使用softmax函数生成所述图像数据所属类别的可信度概率值。
11.根据权利要求10所述的自动识别方法，其中，
所述第四全面连接层以及所述第五全面连接层的每个神经元在训练期间使用50％的丢失率。
12.一种基于卷积神经网络的染色体中期分裂相显微图像的自动识别系统，包括：
一个或多个处理器；以及
存储器，所述存储器存储有可由所述一个或多个处理器执行的指令，所述指令使得所述自动识别系统执行根据权利要求1至11中任一项所述的自动识别方法。
CN202111090528.9A 2021-09-17 2021-09-17 染色体中期分裂相显微图像的自动识别方法与系统 Active CN113537182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111090528.9A CN113537182B (zh) 2021-09-17 2021-09-17 染色体中期分裂相显微图像的自动识别方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111090528.9A CN113537182B (zh) 2021-09-17 2021-09-17 染色体中期分裂相显微图像的自动识别方法与系统

Publications (2)

Publication Number Publication Date
CN113537182A CN113537182A (zh) 2021-10-22
CN113537182B true CN113537182B (zh) 2022-05-24

Family

ID=78092862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111090528.9A Active CN113537182B (zh) 2021-09-17 2021-09-17 染色体中期分裂相显微图像的自动识别方法与系统

Country Status (1)

Country Link
CN (1) CN113537182B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222644B (zh) * 2021-12-17 2023-07-11 深圳市瑞图生物技术有限公司 染色体图像处理方法、分析设备及存储介质
CN115331219B (zh) * 2022-03-24 2023-05-23 中国疾病预防控制中心辐射防护与核安全医学所(国家卫生健康委核事故医学应急中心) 一种用于生物剂量估算的双着丝粒体自动识别方法及系统
CN115079396B (zh) * 2022-08-19 2022-12-27 杭州德适生物科技有限公司 一种基于100倍物镜的染色体核型分析显微拍摄装置及方法
CN115082474B (zh) * 2022-08-22 2023-03-03 湖南自兴智慧医疗科技有限公司 一种基于同源同类染色体信息的染色体分割方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171229B (zh) * 2017-12-27 2021-11-16 广州多益网络股份有限公司 一种空心粘连验证码的识别方法及系统
CN110020578A (zh) * 2018-01-10 2019-07-16 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110533672B (zh) * 2019-08-22 2022-10-28 杭州德适生物科技有限公司 一种基于条带识别的染色体排序方法
CN111986183B (zh) * 2020-08-25 2023-07-04 中国科学院长春光学精密机械与物理研究所 一种染色体散型图像自动分割识别系统及装置
CN112381806A (zh) * 2020-11-18 2021-02-19 上海北昂医药科技股份有限公司 基于多尺度融合方法的双着丝粒畸变染色体分析预测方法

Also Published As

Publication number Publication date
CN113537182A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN113537182B (zh) 染色体中期分裂相显微图像的自动识别方法与系统
CN106340016B (zh) 一种基于细胞显微镜图像的dna定量分析方法
JP4864857B2 (ja) 有糸分裂活性の測定
WO2021139258A1 (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
Savkare et al. Automatic system for classification of erythrocytes infected with malaria and identification of parasite's life stage
CN111079620B (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN109636824A (zh) 一种基于图像识别技术的多目标计数方法
Masood et al. Plants disease segmentation using image processing
Sigit et al. Identification of leukemia diseases based on microscopic human blood cells using image processing
Mahanta et al. Cervix cancer diagnosis from pap smear images using structure based segmentation and shape analysis
Rezaei et al. Gland segmentation in histopathology images using deep networks and handcrafted features
CN113554638A (zh) 一种芯片表面缺陷检测模型建立方法和系统
CN109948544B (zh) 一种目标菌落自动定位与识别方法
CN110414317B (zh) 基于胶囊网络的全自动白细胞分类计数方法
CN113724235B (zh) 镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法
CN113470041B (zh) 免疫组化细胞图像细胞核分割与计数方法和系统
CN110633676A (zh) 一种自动识别脑脊液细胞图像信息方法
CN113673396A (zh) 一种孢子发芽率计算方法、装置及存储介质
Ding et al. Classification of chromosome karyotype based on faster-rcnn with the segmatation and enhancement preprocessing model
CN114519799A (zh) 一种多特征座位状态实时检测方法及系统
CN114723695A (zh) 一种基于差分度量的浅色生物样本的检测方法
CN110458042B (zh) 一种荧光ctc中的探针数目检测方法
CN112288765A (zh) 一种用于车载红外行人检测跟踪的图像处理方法
CN109214363A (zh) 一种基于YCbCr与连通区域分析的变电站工人人脸识别方法
CN115331219B (zh) 一种用于生物剂量估算的双着丝粒体自动识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant