CN111724378A - 一种显微图像细胞计数与姿态识别方法及系统 - Google Patents
一种显微图像细胞计数与姿态识别方法及系统 Download PDFInfo
- Publication number
- CN111724378A CN111724378A CN202010587160.6A CN202010587160A CN111724378A CN 111724378 A CN111724378 A CN 111724378A CN 202010587160 A CN202010587160 A CN 202010587160A CN 111724378 A CN111724378 A CN 111724378A
- Authority
- CN
- China
- Prior art keywords
- ellipse
- ellipses
- image
- images
- edges
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012216 screening Methods 0.000 claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims description 21
- 238000003708 edge detection Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 210000001161 mammalian embryo Anatomy 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000007670 refining Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000007717 exclusion Effects 0.000 claims 1
- 238000013077 scoring method Methods 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 6
- 238000012795 verification Methods 0.000 abstract description 4
- 210000004027 cell Anatomy 0.000 description 70
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 210000001109 blastomere Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 210000002308 embryonic cell Anatomy 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004720 fertilization Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000000338 in vitro Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000002257 embryonic structure Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000000509 infertility Diseases 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002207 metabolite Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Geometry (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于智能医疗辅助和计算机视觉技术领域，公开了一种显微图像细胞计数与姿态识别方法及系统，采用目标在不同焦段下拍摄的多张图像，而非仅仅利用特定焦段的一张图像；在多张图像经预处理后的平均图像上检测边缘，并对边缘进行细化。根据边缘图像拟合所有可能的椭圆。利用聚类分析的方法对椭圆进行筛选。本发明采用在多个焦段下拍摄的多张图像，改善边缘的清晰度和完整性，进而提高椭圆拟合的准确度。本发明可以自适应地确定图像中包含的细胞数量，无需在已知的特定阶段拍摄图像，具有较广泛的适用范围；利用多焦段多视图的综合信息进行椭圆的拟合和验证，克服了单视图固有的缺陷，得到的椭圆参数更加准确。
Description
技术领域
本发明属于智能医疗辅助和计算机视觉技术领域，尤其涉及一种显微图像细胞计数与姿态识别方法及系统。
背景技术
体外受精(IVF)是针对不孕不育症的有效治疗方法之一。为了保证体外受精质量，需要对多组胚胎样本进行质量评估优选。专业机构的医生可以通过显微镜对受精卵细胞的形态进行持续观察，并给出评估结果。这种方式简单直接，但需要相当专业的背景知识和大量的人工参与，门槛较高且效率低下。因此，许多研究者尝试用图像智能解译的方式来代替人工参与。
霍夫曼调制相衬(HMC)显微成像技术是最常用的透明目标无创图像采集方法。然而，由于培养皿中的细胞处于半透明和重叠状态、细胞代谢物和碎片等杂质干扰、成像光照条件和噪声带来的质量问题等因素，自动从图像中提取细胞的数量、姿态等信息仍然面临极大的挑战。现有的方案主要通过对图像中目标几何形状的拟合来实现细胞计数或定位功能，其重要假设是细胞的形态可以用近似圆或椭圆表示。Habibie I等人[1]研究了基于粒子群算法的霍夫变换参数优化模型，实现对单胚胎的圆形拟合，但并未考虑分裂后有多个细胞的情况；Yun Tian等人[2]提出了一种基于最小二乘法的多细胞计数方法，通过拟合圆形来检测培养过程中细胞的数量。然而，这类方法仅考虑圆形作为几何要素，对非圆形态的细胞并不适用。因此，一些研究者使用椭圆来获得更广泛的形状适应性。Charalambos等人提出基于Hough变换的椭圆检测方法来实现4细胞时期的检测任务；Amarjot Singh1等人[4]通过等周图分割得到细胞边缘，再通过最小二乘法进行椭圆拟合。与圆形相比，椭圆的适用场景更加广泛，但是仅仅利用单幅图像提供的信息难以克服杂质、噪声、轮廓弱化、重叠等因素带来的挑战。为了解决这一问题，Giusti等人[5]提出了一种使用Z-stack(即单细胞时期在不同聚焦水平下的一组图像)的细胞分割方法，提出了利用多焦段多视图融合增强的思想，但其应用仅限于单细胞时期。
通过上述分析，现有技术存在的问题及缺陷为：(1)现有技术仅仅考虑单细胞、四细胞等时期的图像，细胞数量是已知的，如果图像中的细胞数量未知则无法适用。
(2)多焦段多视图的融合相比单视图有显著优势，但其应用目前仅限于单细胞时期，尚未扩展到多细胞时期。
解决以上问题及缺陷的难度为：(1)当图像中包含细胞的数量未知时，需要求解一个数量估计和姿态估计的联合问题，相较于数量已知的情况，该问题的未知量更多、复杂性更高、难度也更大。
(2)多焦段多视图数据按照何种方式进行融合才能增强细胞计数和定位的效果，同时适应细胞数量未知的场景，尚无现有工作可以借鉴。
解决以上问题及缺陷的意义为：可以解决细胞数量未知时的计数和定位问题，建立细胞数量和姿态联合估计的统一框架，方法的适用场景得到扩展；建立多视图融合增强的有效机制，克服单视图固有的缺陷，提升结果准确性。
参考文献：
[1].WangD,Lu H,Bo C.Visual tracking via weighted local cosinesimilarity[J].IEEE Transactions on Cybernetics,2017,45(9):1838-1850.
[2].Yun Tian,Yabo Yin,Fuqing Duan,Weizhou Wang,Wei Wang,MingquanZhou,Automatic blastomere recognition from a single embryo image,Computational and Mathematical Methods in Medicine,2014.
[3].Charalambos Strouthopoulos,George Anifandis,An automatedblastomere identification method for the evaluation of day 2embryos duringIVF/ICSI treatments,Computer Methods and Programs in Biomedicine,Volume 156,2018,Pages 53-59,ISSN 0169-2607.
[4].A.Singh,J.Buonassisi,P.Saeedi and J.Havelock,"Automaticblastomere detection in day 1to day 2human embryo images using partitionedgraphs and ellipsoids,"2014IEEE International Conference on Image Processing(ICIP),Paris,2014,pp.917-921.
[5].Giusti A,Corani G,Gambardella L,et al.Blastomere segmentation and3D morphology measurements of early embryos from Hoffman Modulation Contrastimage stacks[C]//Biomedical Imaging:From Nano to Macro,2010 IEEEInternational Symposium on.IEEE,2010.
发明内容
为了解决现有技术存在的问题，本发明提供了一种显微图像细胞计数与姿态识别方法及系统。
本发明是这样实现的，一种显微图像细胞计数与姿态识别方法包括：
首先，进行数据的预处理和准备。采用目标在不同焦段下拍摄的多张图像，而非仅仅利用特定焦段的一张图像。
然后，在多张图像经预处理后的平均图像上检测边缘，并对边缘进行细化。
再者，根据边缘图像拟合所有可能的椭圆。
最后，利用聚类分析的方法对椭圆进行筛选。该方案可以有效克服显微图像的质量退化问题，改善椭圆拟合的质量，进而提升细胞计数和姿态识别的准确性。
进一步，本发明提供的显微图像细胞计数与姿态识别方法具体包括：
(1)数据采集与预处理。
优选地，步骤(1)具体包括如下子步骤：
(1.1)数据采集。利用霍夫曼调制相衬系统显微镜拍摄图像，间隔15分钟拍摄一组。每组为不同的焦距段拍摄出的多张图像，分别记为I1，I2，I3，I4，I5，I6，I7，对应的是-15，-30，-45,0,15,30,45焦距。采集图像的样例如图3所示；
(1.2)数据预处理。首先分别对每幅图像进行去噪和对比度增强处理，然后计算多张图像的平均图像I*。通过检测图像I*中镜筒边缘的圆环进行感兴趣区域提取，经过裁剪得到仅包含细胞区域的平均图像I*。
采用多张图像的平均图像，可以最大化利用胚胎边缘图像信息，从而提高边缘的完整度，改善椭圆拟合的效果。
(2)细胞边缘检测。对于裁剪得到的平均图像I*，本发明采用传统的基于梯度的边缘检测算法(canny算子或otsu算法)对图像进行边缘检测，此时得到的二值边缘图较粗，直接拟合会产生很多重复的椭圆。于是本发明采用骨架提取算法对较粗的边缘进行细化，得到新的细的边缘。
(3)初始椭圆拟合。
(3.1)初始椭圆集生成
对于得到的待实验图像数据I*及检测出的边缘，本发明找到由连通的边缘点构成的弧段，利用最小二乘法估计出由这些弧段可能构成的所有的初始椭圆集Einitial；
(3.2)椭圆评分
本发明需要对得到的初始椭圆集Einitial中每个椭圆进行评分，为椭圆筛选作准备。椭圆的评分分为内点覆盖率评分与角度覆盖率评分。进行椭圆评分的步骤如下：
(3.2.1)对I*图像的所有边缘像素进行标记，记为p；
(3.2.2)遍历椭圆集Einitial中每个椭圆，记第i个椭圆在I*图像中覆盖的像素值的个数为pi(pi∈p)；则第i个椭圆的内点覆盖率记为
ρi＝#{pi：pi∈SI(e)}/β (1)
其中，SI(e)代表第i个椭圆的内点，β代表的是椭圆的周长，由以下公式近似计算；
(3.2.3)将第i个椭圆的角度覆盖率记为Si，可以由以下表达式计算：
其中n为该椭圆中所包含的弧线段的个数，θj为弧线段的对应的角度。
至此，本发明得到了初始椭圆中每个椭圆的内点率以及角度覆盖率。
(4)初始椭圆筛选。
(4.1)形态筛选
针对初始椭圆集Einitial包含图中可能出现的所有椭圆，许多椭圆无法表述胚胎细胞实际的大小，所以本发明需要进一步进行形态筛选。
(4.1.1)细胞大小筛选
计算一个系数R，表示单个细胞占整个感兴趣区域的百分比。R的计算方法如下所示：
H表示细胞大小，A表示图像感兴趣区域大小。根据大量的实验数据的分析，本发明设置单个细胞的大小与胚胎大小的关系为：
其中num为细胞的个数。
(4.1.2)细胞形态筛选
在现实情况下，细胞图像中不应该出现曲率太大的椭圆，本发明设定细胞的曲率应该满足如下条件：
其中a为椭圆的短半轴，c为椭圆的长半轴。
至此，本发明可以删除形态不满足条件的椭圆，得到符合形态特征的椭圆集合ER。
(4.2)质量筛选。根据公式(1)、(3)计算出的ρi与Si，删除在I*图像中不满足内点覆盖率与角度覆盖率的椭圆。实验数据表明，内点覆盖率参数设置为0.1，角度覆盖率参数在单细胞中设定为1/3，多细胞中设定为1/6时效果较好。通过以上质量验证本发明得到候选椭圆集Ecandidate；
(4.3)删除重叠椭圆。在实际情况中，很少出现细胞两两重叠度很高或相互包含的情况；由此当出现两个椭圆重叠度高于一定程度时，本发明删除这两个椭圆中内点覆盖较低的那个椭圆，具体步骤如下：
(4.3.1)遍历候选椭圆集Ecandidate，记所有椭圆为E1、E2、…、En两两组合，则会出现n*(n-1)/2种组合(E1，E2)(E1，E3)…(En-1,En)，通过以下公式计算出两个椭圆的重叠度S：
(4.3.2)由以下公式计算可以排除椭圆相互包含的情况：
cont＝H1∪H2 (8)
当cont等于H1或者H2的时候，就说明两个椭圆互相包含。
(4.3.3)当两个椭圆重叠度S高于55％或椭圆相互包含的时候，删除组合中内点覆盖率较低的那个椭圆；
(4.3.4)删除后的椭圆标记为假，下次不再做判断；直至所有的组合都被验证，得到椭圆集合Eend；
(4.3.5)对初始椭圆集合Einitial进行mean-shift聚类，将椭圆圆心坐标聚类保存为Ce，然后以Eend中椭圆Ei圆心为中心，在半径为r的范围内寻找Ce中点的个数Ni，当Ni大于一定值的时候，则Ei选作真实的椭圆，直到遍历Eend中所有椭圆，被选作真实的椭圆就是最后的结果。
本发明的另一目的在于提供一种显微图像细胞计数与姿态识别系统包括：
数据预处理模块，在不同焦段下对目标拍摄，获得多张图像，并进行预处理；
边缘检测细化模块，在多张图像经预处理后的平均图像上检测边缘，并对边缘进行细化；
椭圆拟合模块，根据边缘图像拟合所有可能的椭圆；
椭圆筛选模块，利用聚类分析的方法对椭圆进行筛选。
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述显微图像细胞计数与姿态识别方法，包括下列步骤：
步骤一，进行数据的预处理和准备，采用目标在不同焦段下拍摄的多张图像，并进行预处理；
步骤二，在多张图像经预处理后的平均图像上检测边缘，并对边缘进行细化；
步骤三，根据边缘图像拟合所有可能的椭圆；
步骤四，利用聚类分析的方法对椭圆进行筛选。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求所述的所述显微图像细胞计数与姿态识别方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明采用在多个焦段下拍摄的多张图像，能更充分地利用信息，改善边缘的清晰度和完整性，进而提高椭圆拟合的准确度。
本发明提供的基于聚类的椭圆筛选策略，能够在没有任何先验知识和人工干预的情况下，自动确定正确椭圆的个数，并据此找到最佳的椭圆。
本发明在一个实验样例上的对比结果如图4、图5和图6所示。
本发明提出的方法可以自适应地确定图像中包含的细胞数量，无需在已知的特定阶段拍摄图像，具有较广泛的适用范围；利用多焦段多视图的综合信息进行椭圆的拟合和验证，克服了单视图固有的缺陷，得到的椭圆参数更加准确。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的显微图像细胞计数与姿态识别方法流程图。
图2是本发明实施例提供的显微图像细胞计数与姿态识别系统示意图；
图中：1、数据预处理模块；2、边缘检测细化模块；3、椭圆拟合模块；4、椭圆筛选模块。
图3是本发明实施例提供的采集的多张图像样例，每一行为一个样本图。
图4是本发明实施例在一个图像样例上进行边缘检测的结果示意图；
图中从左至右：原始图像；otsu算法得到的边缘图；canny算子得到的边缘图。
图5是本发明实施例在一个图像样例上进行初始椭圆检测的结果示意图；
图中第一行是传统方法在单张图像上的结果，第二行是本发明在多张不同焦段图像的平均图像上的结果；从左至右分别为：原始图像、边缘图像、初始椭圆。
图6是本发明实施例在一个图像样例上进行椭圆筛选的结果示意图；
图7是本发明实施例提供的完整实验流程图。
图7中第一行是传统方法在单张图像上的结果，第二行是本发明在多张不同焦段图像的平均图像上的结果；从左至右分别为：初始椭圆和筛选后的椭圆。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有技术没有采用在多个焦段下拍摄的多张图像，造成图像清晰度、完整性、准确度差。
现有技术中，对细胞形态图像处理中，不能自动确定正确椭圆的个数，以及不能找到最佳的椭圆。
针对现有技术存在的问题，本发明提供了一种显微图像细胞计数与姿态识别方法及系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的显微图像细胞计数与姿态识别方法包括：
S101，进行数据的预处理和准备。采用目标在不同焦段下拍摄的多张图像，而非仅仅利用特定焦段的一张图像。
S102，在多张图像经预处理后的平均图像上检测边缘，并对边缘进行细化。
S103，根据边缘图像拟合所有可能的椭圆。
S104，利用聚类分析的方法对椭圆进行筛选。该方案可以有效克服显微图像的质量退化问题，改善椭圆拟合的质量，进而提升细胞计数和姿态识别的准确性。
如图2所示，本发明提供一种实施显微图像细胞计数与姿态识别系统包括：
数据预处理模块1，在不同焦段下对目标拍摄，获得多张图像，并进行预处理。
边缘检测细化模块2，在多张图像经预处理后的平均图像上检测边缘，并对边缘进行细化。
椭圆拟合模块3，根据边缘图像拟合所有可能的椭圆。
椭圆筛选模块4，利用聚类分析的方法对椭圆进行筛选。
下面结合具体实施例对本发明作进一步描述。
实施例1
本发明提供的显微图像细胞计数与姿态识别方法包括：
(1)数据采集与预处理。
(2)细胞边缘检测。对于裁剪得到的平均图像I*，本发明采用传统的基于梯度的边缘检测算法(canny算子或otsu算法)对图像进行边缘检测，此时得到的二值边缘图较粗，直接拟合会产生很多重复的椭圆。于是本发明采用骨架提取算法对较粗的边缘进行细化，得到新的细的边缘。
(3)初始椭圆拟合。
(4)初始椭圆筛选。
在本发明实施例中，步骤(1)具体包括如下子步骤：
(1.1)数据采集。利用霍夫曼调制相衬系统显微镜拍摄图像，间隔15分钟拍摄一组。每组为不同的焦距段拍摄出的多张图像。图像的数量可以是任意奇数张，不做特殊限定，在本发明中，仅以多张为例进行说明。采集的图像分别记为I1，I2，I3，I4，I5，I6，I7，对应的是-15，-30，-45,0,15,30,45焦距。采集图像的样例如图3所示。
(1.2)数据预处理。首先分别对每幅图像进行去噪和对比度增强处理，然后计算多张图像的平均图像I*。通过检测图像I*中镜筒边缘的圆环进行感兴趣区域提取，经过裁剪得到仅包含细胞区域的平均图像I*。采用多张图像的平均图像，可以最大化利用细胞边缘图像信息，从而提高边缘的完整度，改善椭圆拟合的效果。
在本发明实施例中，步骤(3)具体包括：
(3.1)初始椭圆集生成
对于得到的待实验图像数据I*及检测出的边缘，本发明找到由连通的边缘点构成的弧段，利用最小二乘法估计出由这些弧段可能构成的所有的初始椭圆集Einitial；
(3.2)椭圆评分
本发明需要对得到的初始椭圆集Einitial中每个椭圆进行评分，为椭圆筛选作准备。椭圆的评分分为内点覆盖率评分与角度覆盖率评分。进行椭圆评分的步骤如下：
(3.2.1)对I*图像的所有边缘像素进行标记，记为p；
(3.2.2)遍历椭圆集Einitial中每个椭圆，记第i个椭圆在I*图像中覆盖的像素值的个数为pi(pi∈p)；则第i个椭圆的内点覆盖率记为
ρi＝#{pi：pi∈SI(e)}/β (1)
其中，SI(e)代表第i个椭圆的内点，β代表的是椭圆的周长，由以下公式近似计算；
(3.2.3)将第i个椭圆的角度覆盖率记为Si，可以由以下表达式计算：
其中n为该椭圆中所包含的弧线段的个数，θj为弧线段的对应的角度。
至此，本发明得到了初始椭圆中每个椭圆的内点率以及角度覆盖率。
在本发明实施例中，步骤(4)具体包括：
(4.1)形态筛选
针对初始椭圆集Einitial包含图中可能出现的所有椭圆，许多椭圆无法表述胚胎细胞实际的大小，所以本发明需要进一步进行形态筛选。
(4.1.1)细胞大小筛选
计算一个系数R，表示单个细胞占整个感兴趣区域的百分比。R的计算方法如下所示：
H表示细胞大小，A表示图像感兴趣区域大小。根据大量的实验数据的分析，本发明设置单个细胞的大小与胚胎大小的关系为：
其中num为细胞的个数。
(4.1.2)细胞形态筛选
在现实情况下，细胞图像中不应该出现曲率太大的椭圆，本发明设定细胞的曲率应该满足如下条件：
其中a为椭圆的短半轴，c为椭圆的长半轴。
至此，本发明可以删除形态不满足条件的椭圆，得到符合形态特征的椭圆集合ER。
(4.2)质量筛选。根据公式(1)、(3)计算出的ρi与Si，删除在I*图像中不满足内点覆盖率与角度覆盖率的椭圆。实验数据表明，内点覆盖率参数设置为0.1，角度覆盖率参数在单细胞中设定为1/3，多细胞中设定为1/6时效果较好。通过以上质量验证本发明得到候选椭圆集Ecandidate；在这里，内点覆盖率、角度覆盖率的阈值参数是根据大量实验的平均表现得到的经验值。
(4.3)删除重叠椭圆。在实际情况中，很少出现细胞两两重叠度很高或相互包含的情况；由此当出现两个椭圆重叠度高于一定程度时，本发明删除这两个椭圆中内点覆盖较低的那个椭圆，具体步骤如下：
(4.3.1)遍历候选椭圆集Ecandidate，记所有椭圆为E1、E2、…、En两两组合，则会出现n*(n-1)/2种组合(E1，E2)(E1，E3)…(En-1,En)，通过以下公式计算出两个椭圆的重叠度S：
(4.3.2)由以下公式计算可以排除椭圆相互包含的情况：
cont＝H1∪H2 (8)
当cont等于H1或者H2的时候，就说明两个椭圆互相包含。
(4.3.3)当两个椭圆重叠度S高于55％或椭圆相互包含的时候，删除组合中内点覆盖率较低的那个椭圆；在这里，重叠度阈值参数是根据大量实验的平均表现得到的经验值。
(4.3.4)删除后的椭圆标记为假，下次不再做判断；直至所有的组合都被验证，得到椭圆集合Eend；
(4.3.5)对初始椭圆集合Einitial进行聚类，将椭圆圆心坐标聚类保存为Ce，然后以Eend中椭圆Ei圆心为中心，在半径为r的范围内寻找Ce中点的个数Ni，当Ni大于一定值的时候，则Ei选作真实的椭圆，直到遍历Eend中所有椭圆，被选作真实的椭圆就是最后的结果。这里，聚类算法采用任何一种能自适应确定聚类中心数量的方法均可，无须做其他限定。在本发明中，可以优选mean-shift聚类。
本发明在一个实验样上的对比结果如图4、图5和图6所示。
图7给出了本发明的一个完整实验流程。图7中第一行是传统方法在单张图像上的结果，第二行是本发明在多张不同焦段图像的平均图像上的结果；从左至右分别为：初始椭圆和筛选后的椭圆。
首先，以多个焦段拍摄的7张图像作为输入，分别在每张图像上进行边缘检测。然后，对较粗的边缘进行细化。接下来，求所有细化后的边缘图像的平均图像，并在这一张平均图像上进行椭圆的检测、评分及初步筛选。最后，利用meanshift聚类对椭圆进行最终个数的确定和选择。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种显微图像细胞计数与姿态识别方法，其特征在于，所述显微图像细胞计数与姿态识别方法包括：
在不同焦段下获取待测目标的多张图像，并进行预处理；在经所述预处理后的平均图像上检测边缘，并对边缘进行细化；
根据边缘细化的图像拟合所有椭圆；并利用聚类分析的方法对所述椭圆进行筛选。
2.如权利要求1所述的显微图像细胞计数与姿态识别方法，其特征在于，所述在不同焦段下获取待测目标的多张图像并进行预处理的方法包括：
(1)数据采集，间隔15分钟拍摄一组图像，每组为不同的焦距段拍摄出的多张图像，分别记为I1，I2，I3，I4，I5，I6，I7，对应的是-15，-30，-45,0,15,30,45焦距；
(2)数据预处理，分别对每幅图像进行去噪和对比度增强处理，然后计算多张图像的平均图像I*；通过检测平均图像I*中镜筒边缘的圆环进行感兴趣区域提取，经过裁剪得到仅包含细胞区域的平均图像I*。
3.如权利要求1所述的显微图像细胞计数与姿态识别方法，其特征在于，所述对平均图像检测边缘的方法包括：对于裁剪得到的平均图像I*，采用基于梯度的边缘检测算法对图像进行边缘检测；
所述对边缘进行细化的方法包括：采用骨架提取算法对较粗的边缘进行细化，得到新的细的边缘。
4.如权利要求1所述的显微图像细胞计数与姿态识别方法，其特征在于，所述拟合所有可能的椭圆的方法包括：
1)初始椭圆集生成，对于得到的待实验图像数据I*及检测出的边缘，找到由连通的边缘点构成的弧段，利用最小二乘法估计出由这些弧段可能构成的所有的初始椭圆集Einitial；
2)椭圆评分，对得到的初始椭圆集Einitial中每个椭圆进行评分，椭圆的评分包括内点覆盖率评分与角度覆盖率评分。
5.如权利要求4所述的显微图像细胞计数与姿态识别方法，其特征在于，所述步骤2)椭圆评分的方法包括：
(i)对I*图像的所有边缘像素进行标记，记为p；
(ii)遍历椭圆集Einitial中每个椭圆，记第i个椭圆在I*图像中覆盖的像素值的个数为pi,pi∈p；则第i个椭圆的内点覆盖率记为
ρi＝#{pi:pi∈SI(e)}/β
其中，SI(e)代表第i个椭圆的内点，β代表的是椭圆的周长，由以下公式近似计算；
(3.2.3)将第i个椭圆的角度覆盖率记为Si，由以下表达式计算：
其中n为该椭圆中所包含的弧线段的个数，θj为弧线段的对应的角度。
6.如权利要求1所述的显微图像细胞计数与姿态识别方法，其特征在于，所述对椭圆进行筛选的方法包括：
(a)细胞大小筛选，计算一个系数R，表示单个细胞占整个感兴趣区域的百分比，R的计算方法如下所示：
H表示细胞大小，A表示图像感兴趣区域大小，单个细胞的大小与胚胎大小的关系为：
其中num为细胞的个数；
(b)细胞形态筛选，细胞的曲率应该满足如下条件：
其中a为椭圆的短半轴，c为椭圆的长半轴；
删除形态不满足条件的椭圆，得到符合形态特征的椭圆集合ER。
7.如权利要求1所述的显微图像细胞计数与姿态识别方法，其特征在于，所述对椭圆进行筛选的方法进一步包括：
质量筛选，根据公式ρi＝#{pi：pi∈SI(e)}/β、
计算出的ρi与Si，删除在I*图像中不满足内点覆盖率与角度覆盖率的椭圆；内点覆盖率参数设置为0.1，角度覆盖率参数在单细胞中设定为1/3，多细胞中设定为1/6；得到候选椭圆集Ecandidate；
删除重叠椭圆，删除椭圆中内点覆盖较低的那个椭圆，具体步骤如下：
(I)遍历候选椭圆集Ecandidate，记所有椭圆为E1、E2、…、En两两组合，则会出现n*(n-1)/2种组合(E1，E2)(E1，E3)…(En-1,En)，通过以下公式计算出两个椭圆的重叠度S：
(II)由以下公式计算排除椭圆相互包含的情况：
cont＝H1∪H2
当cont等于H1或者H2的时候，就说明两个椭圆互相包含。
(III)当两个椭圆重叠度S高于55％或椭圆相互包含时，删除组合中内点覆盖率低的椭圆；
(IV)删除后的椭圆标记为假，下次不做判断；直至所有的组合都被验证，得到椭圆集合Eend；
(V)对初始椭圆集合Einitial进行mean-shift聚类，将椭圆圆心坐标聚类保存为Ce，然后以Eend中椭圆Ei圆心为中心，在半径为r的范围内寻找Ce中点的个数Ni，当Ni大于一定值时，则Ei选作真实的椭圆，直到遍历Eend中所有椭圆，被选作真实的椭圆为最后的结果。
8.一种实施权利要求1～7任意一项所述显微图像细胞计数与姿态识别方法的显微图像细胞计数与姿态识别系统，其特征在于，所述显微图像细胞计数与姿态识别系统包括：
数据预处理模块，在不同焦段下对目标拍摄，获得多张图像，并进行预处理；
边缘检测细化模块，在多张图像经预处理后的平均图像上检测边缘，并对边缘进行细化；
椭圆拟合模块，根据边缘图像拟合所有可能的椭圆；
椭圆筛选模块，利用聚类分析的方法对椭圆进行筛选。
9.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求1～7任意一项所述显微图像细胞计数与姿态识别方法，包括下列步骤：
步骤一，进行数据的预处理和准备，采用目标在不同焦段下拍摄的多张图像，并进行预处理；
步骤二，在多张图像经预处理后的平均图像上检测边缘，并对边缘进行细化；
步骤三，根据边缘图像拟合所有可能的椭圆；
步骤四，利用聚类分析的方法对椭圆进行筛选。
10.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求所述的权利要求1～7任意一项所述显微图像细胞计数与姿态识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010587160.6A CN111724378A (zh) | 2020-06-24 | 2020-06-24 | 一种显微图像细胞计数与姿态识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010587160.6A CN111724378A (zh) | 2020-06-24 | 2020-06-24 | 一种显微图像细胞计数与姿态识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111724378A true CN111724378A (zh) | 2020-09-29 |
Family
ID=72568714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010587160.6A Pending CN111724378A (zh) | 2020-06-24 | 2020-06-24 | 一种显微图像细胞计数与姿态识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111724378A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991306A (zh) * | 2021-03-25 | 2021-06-18 | 华南理工大学 | 一种基于图像处理的卵裂期胚胎细胞位置分割和计数方法 |
| CN115619811A (zh) * | 2022-12-16 | 2023-01-17 | 北京远舢智能科技有限公司 | 一种烟支数量的确定方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345748A (zh) * | 2013-06-26 | 2013-10-09 | 福建师范大学 | 一种人体组织细胞双光子显微图像的定位分割方法 |
| CN107301638A (zh) * | 2017-05-27 | 2017-10-27 | 东南大学 | 一种基于弧支持线段的椭圆检测方法 |
| CN107845145A (zh) * | 2017-11-29 | 2018-03-27 | 电子科技大学 | 一种电子显微场景下的三维重构系统及方法 |
| CN108052886A (zh) * | 2017-12-05 | 2018-05-18 | 西北农林科技大学 | 一种小麦条锈病菌夏孢子自动统计计数方法 |
| CN110490847A (zh) * | 2019-07-31 | 2019-11-22 | 浙江大学山东工业技术研究院 | 基于视觉的led芯片质量检测方法 |
| CN111028239A (zh) * | 2019-08-10 | 2020-04-17 | 杭州屏行视界信息科技有限公司 | 一种面向特制量体衣的椭圆精确识别方法 |
-
2020
- 2020-06-24 CN CN202010587160.6A patent/CN111724378A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345748A (zh) * | 2013-06-26 | 2013-10-09 | 福建师范大学 | 一种人体组织细胞双光子显微图像的定位分割方法 |
| CN107301638A (zh) * | 2017-05-27 | 2017-10-27 | 东南大学 | 一种基于弧支持线段的椭圆检测方法 |
| CN107845145A (zh) * | 2017-11-29 | 2018-03-27 | 电子科技大学 | 一种电子显微场景下的三维重构系统及方法 |
| CN108052886A (zh) * | 2017-12-05 | 2018-05-18 | 西北农林科技大学 | 一种小麦条锈病菌夏孢子自动统计计数方法 |
| CN110490847A (zh) * | 2019-07-31 | 2019-11-22 | 浙江大学山东工业技术研究院 | 基于视觉的led芯片质量检测方法 |
| CN111028239A (zh) * | 2019-08-10 | 2020-04-17 | 杭州屏行视界信息科技有限公司 | 一种面向特制量体衣的椭圆精确识别方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991306A (zh) * | 2021-03-25 | 2021-06-18 | 华南理工大学 | 一种基于图像处理的卵裂期胚胎细胞位置分割和计数方法 |
| CN112991306B (zh) * | 2021-03-25 | 2022-04-22 | 华南理工大学 | 一种基于图像处理的卵裂期胚胎细胞位置分割和计数方法 |
| CN115619811A (zh) * | 2022-12-16 | 2023-01-17 | 北京远舢智能科技有限公司 | 一种烟支数量的确定方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111724381B (zh) | 基于多视图交叉验证的显微图像细胞计数与姿态识别方法 | |
| CN111724379B (zh) | 基于组合视图的显微图像细胞计数与姿态识别方法及系统 | |
| CN109272492B (zh) | 一种细胞病理涂片的处理方法及系统 | |
| CN109325942B (zh) | 基于全卷积神经网络的眼底图像结构分割方法 | |
| Kowal et al. | Computer-aided diagnosis of breast cancer based on fine needle biopsy microscopic images | |
| George et al. | Automated cell nuclei segmentation for breast fine needle aspiration cytology | |
| CN109389129A (zh) | 一种图像处理方法、电子设备及存储介质 | |
| CN112991306B (zh) | 一种基于图像处理的卵裂期胚胎细胞位置分割和计数方法 | |
| CN111724378A (zh) | 一种显微图像细胞计数与姿态识别方法及系统 | |
| CN110736747A (zh) | 一种细胞液基涂片镜下定位的方法及系统 | |
| Khan et al. | Segmentation of developing human embryo in time-lapse microscopy | |
| CN110763677A (zh) | 甲状腺冰冻切片诊断方法及系统 | |
| CN111507932A (zh) | 高特异性的糖尿病性视网膜病变特征检测方法及存储设备 | |
| Antal et al. | A multi-level ensemble-based system for detecting microaneurysms in fundus images | |
| CN115049908A (zh) | 基于胚胎发育图像的多阶段智能分析方法及系统 | |
| JP2019058073A (ja) | 画像処理装置、細胞認識装置、細胞認識方法および細胞認識プログラム | |
| Athinarayanan et al. | COMPUTER AIDED DIAGNOSIS FOR DETECTION AND STAGE IDENTIFICATION OF CERVICAL CANCER BY USING PAP SMEAR SCREENING TEST IMAGES. | |
| CN112734743B (zh) | 一种胎儿头围自动测量方法及装置 | |
| CN111429461B (zh) | 一种新型的重叠脱落上皮细胞分割方法 | |
| CN113947599B (zh) | 一种胞浆型阳性免疫组化智能识别方法、系统及介质 | |
| Zheng et al. | Improvement of grayscale image segmentation based on pso algorithm | |
| CN112053355B (zh) | 细胞图像的分割方法 | |
| Subasinghe et al. | An accurate image processing algorithm for detecting FISH probe locations relative to chromosome landmarks on DAPI stained metaphase chromosome images | |
| El-Shenawy | Automatic detection and identification of cells in digital images of day 2 IVF embryos | |
| CN113607736A (zh) | 一种微型智能精子体外检测仪及其图像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200929 |