CN111724381B - 基于多视图交叉验证的显微图像细胞计数与姿态识别方法 - Google Patents
基于多视图交叉验证的显微图像细胞计数与姿态识别方法 Download PDFInfo
- Publication number
- CN111724381B CN111724381B CN202010588771.2A CN202010588771A CN111724381B CN 111724381 B CN111724381 B CN 111724381B CN 202010588771 A CN202010588771 A CN 202010588771A CN 111724381 B CN111724381 B CN 111724381B
- Authority
- CN
- China
- Prior art keywords
- ellipse
- image
- ellipses
- edge
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000002790 cross-validation Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000003708 edge detection Methods 0.000 claims abstract description 12
- 210000004027 cell Anatomy 0.000 claims description 127
- 238000012216 screening Methods 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 17
- 238000002474 experimental method Methods 0.000 claims description 15
- 238000012935 Averaging Methods 0.000 claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 10
- 210000001161 mammalian embryo Anatomy 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 210000002308 embryonic cell Anatomy 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 4
- 210000004204 blood vessel Anatomy 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000001000 micrograph Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 description 8
- 230000007547 defect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004720 fertilization Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000000338 in vitro Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000000509 infertility Diseases 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002207 metabolite Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明属于智能医疗辅助和计算机视觉技术领域，公开了一种基于多视图交叉验证的显微图像细胞计数与姿态识别方法，采用目标在不同焦段下拍摄的多张图像；通过人工观察，标注每张图像中包含的细胞个数，将其作为训练样本，训练一个深度神经网络；对多张图像进行去噪、对比度增强、感兴趣区域提取的预处理，在每张图像上利用深度卷积神经网络得到的特征检测边缘；在每张图像上根据边缘拟合椭圆，将所有图像上的椭圆收集起来作为候选集合；在多张图像的组合上对候选椭圆进行验证和筛选。本发明采用基于深度特征的边缘检测方法，挖掘了像素更高级的语义特征，比传统的边缘检测算子在表达目标边界上具备更好的性能，间接改善了椭圆拟合的质量。
Description
技术领域
本发明属于智能医疗辅助和计算机视觉技术领域，尤其涉及一种基于多视图交叉验证的显微图像细胞计数与姿态识别方法。
背景技术
目前，体外受精(IVF)是针对不孕不育症的有效治疗方法之一。为了保证体外受精质量，需要对多组胚胎样本进行质量评估优选。专业机构的医生可以通过显微镜对受精卵细胞的形态进行持续观察，并给出评估结果。这种方式简单直接，但需要相当专业的背景知识和大量的人工参与，门槛较高且效率低下。因此，许多研究者尝试用图像智能解译的方式来代替人工参与。
霍夫曼调制相衬(HMC)显微成像技术是最常用的透明目标无创图像采集方法。然而，由于培养皿中的细胞处于半透明和重叠状态、细胞代谢物和碎片等杂质干扰、成像光照条件和噪声带来的质量问题等因素，自动从图像中提取细胞的数量、姿态等信息仍然面临极大的挑战。现有的方案主要通过对图像中目标几何形状的拟合来实现细胞计数或定位功能，其重要假设是细胞的形态可以用近似圆或椭圆表示。Habibie I等人研究了基于粒子群算法的霍夫变换参数优化模型，实现对单胚胎的圆形拟合，但并未考虑分裂后有多个细胞的情况；Yun Tian等人提出了一种基于最小二乘法的多细胞计数方法，通过拟合圆形来检测培养过程中细胞的数量。然而，这类方法仅考虑圆形作为几何要素，对非圆形态的细胞并不适用。因此，一些研究者使用椭圆来获得更广泛的形状适应性。Charalambos等人提出基于Hough变换的椭圆检测方法来实现4细胞时期的检测任务；Amarjot Singh1等人通过等周图分割得到细胞边缘，再通过最小二乘法进行椭圆拟合。与圆形相比，椭圆的适用场景更加广泛，但是仅仅利用单幅图像提供的信息难以克服杂质、噪声、轮廓弱化、重叠等因素带来的挑战。为了解决这一问题，Giusti等人提出了一种使用Z-stack(即单细胞时期在不同聚焦水平下的一组图像)的细胞分割方法，提出了利用多焦段多视图融合增强的思想，但其应用仅限于单细胞时期。
通过上述分析，现有技术存在的问题及缺陷为：(1)现有技术对几何形状的拟合依赖的轮廓边缘信息，大多数是利用canny算子等方法通过分析图像梯度得到的，对噪声、遮挡和成像质量比较敏感，其结果对几何形状拟合的质量有决定性的影响。
(2)现有技术考虑单细胞、四细胞等时期的图像，细胞数量是已知的，如果图像中的细胞数量未知则无法适用。
(3)多焦段多视图的融合相比单视图有显著优势，但其应用目前仅限于单细胞时期，尚未扩展到多细胞时期。
(4)现有技术在确定最终椭圆位置时仅仅根据某种评分准则进行排序，取若干个最优的结果。这种方法没有考虑椭圆检测时候的分布特性，对单个椭圆拟合的质量比较敏感。
解决以上问题及缺陷的难度为：(1)通用的轮廓边缘提取算法难以克服本发明应用场景下噪声、遮挡和成像质量的影响，需要引入语义级的信息来提高轮廓的感知能力。
(2)当图像中包含细胞的数量未知时，需要求解一个数量估计和姿态估计的联合问题，相较于数量已知的情况，该问题的未知量更多、复杂性更高、难度也更大。
(3)多焦段多视图数据按照何种方式进行融合才能增强细胞计数和定位的效果，同时适应细胞数量未知的场景，尚无现有工作可以借鉴。
(4)设计何种准则度量椭圆检测的密度分布属性，并据此选择合适的密度中心作为最终椭圆的检测结果，，尚无现有工作可以借鉴。
解决以上问题及缺陷的意义为：融合高层语义信息可以提升轮廓感知的能力，降低传统方法边缘质量带来的不稳定性；通过解决细胞数量未知时的计数和定位问题，建立细胞数量和姿态联合估计的统一框架，方法的适用场景得到扩展；建立多视图融合增强的有效机制，克服单视图固有的缺陷，提升结果准确性；通过检测椭圆的分布密度信息实现椭圆的最终定位，能有效克服单个椭圆检测质量的不稳定性。
发明内容
针对现有技术存在的问题，本发明提供了一种基于多视图交叉验证的显微图像细胞计数与姿态识别方法。
本发明是这样实现的，一种基于多视图交叉验证的显微图像细胞计数与姿态识别方法，所述基于多视图交叉验证的显微图像细胞计数与姿态识别方法包括以下步骤：
步骤一，进行数据的预处理和准备。采用目标在不同焦段下拍摄的多张图像，而非仅仅利用特定焦段的一张图像。
步骤二，训练一个细胞个数预测模型。通过人工观察，标注每张图像中包含的细胞个数，将其作为训练样本，训练一个深度神经网络。该网络的输入是一张图像，输出是该图像中细胞的个数。
步骤三，对多张图像进行去噪、对比度增强、感兴趣区域提取的预处理，在每张图像上利用深度卷积神经网络得到的特征检测边缘。
步骤四，在每张图像上根据边缘拟合椭圆，将所有图像上的椭圆收集起来作为候选集合。
步骤五，在多张图像的组合上对候选椭圆进行验证和筛选。
进一步，步骤一中，数据采集与预处理的方法为：
(I)数据采集。利用霍夫曼调制相衬系统显微镜拍摄图像，间隔15分钟拍摄一组。每组为不同的焦距段拍摄出的7张图像，分别记为I1，I2，I3，I4，I5，I6，I7，对应的是-15，-30，-45，0，15，30，45焦距。
(II)数据预处理。首先分别对每幅图像进行去噪和对比度增强处理，通过检测每幅图像中镜筒边缘的圆环进行感兴趣区域提取，经过裁剪得到仅包含细胞区域的感兴趣图像。
(III)数据标注。通过人工观察，标注出一部分图像中包含的细胞的个数。
进一步，步骤二中，对细胞个数进行预测的方法为：
利用机器学习的方法训练一个预测模型，对图像中包含的细胞个数进行预测。优选类似AlexNet的网络，通过上述网络提取图像的高维特征，并利用已标注数据训练一个分类器对图像所包含的细胞数量进行分类。
进一步，步骤三中，细胞边缘的检测方法为：
采用基于深度学习的方法给每个像素学习一个高维的边缘属性特征，将边缘检测问题转化为一个基于上述特征的分类问题。具体的方法可使用基于深度卷积特征的RCF边缘预测方法，也可以选择基于U-Net的眼底图像血管分割算法。
进一步，步骤四中，所述初始椭圆拟合的方法为：根据设计的多种图像组合策略进行初始椭圆的拟合，具体包括以下步骤：
(a)图片组合策略
记某一时刻多张图像上的边缘图像为e1，e2，e3，e4，e5，e6，e7，分别对应-15，-30，-45，0，15，30，45焦距值。在焦距值为-15、-30、0、15时，检测出的边缘图像边界更加清晰，焦距值为30、45、-45时，胚胎边界更加模糊，通过组合不同焦距段的边缘图像。
(b)初始椭圆集生成
对于得到的待实验叠加边缘图像数据e1、e2、…、e16，在每一幅图像上找到由连通的边缘点构成的弧段，利用最小二乘法估计出由这些弧段可能构成的所有的椭圆。e1、e2、…、e16上检测到的所有可能椭圆构成初始椭圆集Einitial；
(c)椭圆评分
我们需要对得到的初始椭圆集Einitial中每个椭圆进行评分，为椭圆筛选作准备。评分越高，代表该椭圆为真实细胞的概率越大。作为评分的参照需要清晰的边缘，因此应用前述内容中组合得到的e11边缘图像作为评价参照。
进一步，步骤(a)中，所述图片组合策略的具体组合方案如下：
方案一：直接使用原始边缘图像e1，e2，e3，e4，e5，e6，e7；
方案二：将焦距值为-15和-30时检测出的边缘图像e1和e2进行叠加操作，记为e8；
方案三：将焦距值为-15和0时检测出的边缘图像e1和e4进行叠加操作，记为e9；
方案四：将焦距值为-15和15时检测出的边缘图像e1和e5进行叠加操作，记为e10；
方案五：将焦距值为-30和0时检测出的边缘图像e2和e4进行叠加操作，记为e11；
方案六：将焦距值为-30和15时检测出的边缘图像e2和e5进行叠加操作，记为e12；
方案七：将焦距值为0和15时检测出的边缘图像e4和e5进行叠加操作，记为e13；
方案八：将焦距值为-15、-30、0、15时检测出的边缘图像e1、e2、e4和e5进行叠加操作，记为e14；
方案九：将焦距值为-15、-30、0、15时检测出的边缘图像e1、e2、e4和e5进行求平均操作，记为e15；
方案十：将焦距值为-30、0时检测出的边缘图像e2和e4进行求平均操作，记为e16；
进一步，方案二～方案九中，所述叠加操作的具体步骤为：
对N张边缘图像I1,I2,…,IN,保存为白底黑边的图像，则位于边缘的像素值为0，非边缘的像素值为1；在标记为边缘的像素的坐标位置(xp，yp)取所有需要叠加图像中该位置像素的最小值，从而得到一张提取了所有被叠加图像的边缘信息的图像。
进一步，方案十～方案十一中，所述求平均操作的具体步骤为：
对N张边缘图像I1,I2,…,IN,进行求平均操作得到的图像就是1/N*I1+1/N*I2…+1/N*IN；
通过所述组合步骤，共得到16张待实验的边缘图像数据e1、e2、…、e16，接下来本发明将利用这些图像进行椭圆的检测和过滤。
进一步，步骤(c)中，所述进行椭圆评分的步骤如下：
利用canny算子对e14图像上的所有边缘像素进行标记，记为p；
遍历椭圆集Einitial中每个椭圆，记第i个椭圆在ei图像中覆盖的像素值的个数为pi(pi∈p)；则第i个椭圆的内点覆盖率记为：
ρi＝#{pi:pi∈SI(e)}/β；
其中，SI(e)代表第i个椭圆的内点，β代表的是椭圆的周长，由以下公式近似计算；
将第i个椭圆的角度覆盖率记为Si，可以由以下表达式计算：
其中，n为该椭圆中所包含的弧线段的个数，
为第i个椭圆第j弧线段的对应的角度。第i个椭圆评分的公式如下：
至此，对初始椭圆中每个椭圆进行了评分，并且根据分值进行从大到小的排序，得到排序后的椭圆集Einorder。
进一步，步骤五中，初始椭圆的筛选方法为：
(1)形态筛选
针对初始椭圆集Einitial包含图中可能出现的所有椭圆，许多椭圆无法表述胚胎细胞实际的大小，所以需要进一步进行形态筛选。
(2)质量筛选。根据计算出的ρi与Si，删除在e14图像中不满足内点覆盖率与角度覆盖率的椭圆。实验数据表明，内点覆盖率参数设置为0.1，角度覆盖率参数在单细胞中设定为1/3，多细胞中设定为1/6时效果较好。在这里，内点覆盖率、角度覆盖率的阈值参数是根据大量实验的平均表现得到的经验值。通过以上质量验证我们得到候选椭圆集Ecandidate。
(3)删除重叠椭圆。在实际情况中，很少出现细胞两两重叠度很高或相互包含的情况；由此当出现两个椭圆重叠度高于一定程度时，删除这两个椭圆中内点覆盖较低的那个椭圆。
(4)基于分布密度的椭圆中心定位。椭圆集合Eend中包含有一些不符合细胞实际位置的椭圆，提出一种用圆检测聚类来定位椭圆中心的方法，该方案可以有效的定位胚胎细胞图像中所有可能出现椭圆的位置。
进一步，步骤(1)中，所述形态筛选的方法为：
(1.1)细胞大小筛选
计算一个系数R，表示单个细胞占整个感兴趣区域的百分比。R的计算方法如下所示：
其中，H表示细胞大小，A表示图像感兴趣区域大小。根据大量的实验数据的分析，设置单个细胞的大小与胚胎大小的关系为：
其中，num为细胞的个数。在这里，R的取值范围是根据大量实验的平均表现得到的经验值。
(1.2)细胞形态筛选
在现实情况下，细胞图像中不应该出现曲率太大的椭圆，本发明设定细胞的曲率应该满足如下条件：
其中，a为椭圆的短半轴，c为椭圆的长半轴。
至此，本发明可以删除形态不满足条件的椭圆，得到符合形态特征的椭圆集合ER。
进一步，步骤(3)中，所述删除重叠椭圆的方法为：
(3.1)遍历候选椭圆集Ecandidate，记所有椭圆为E1、E2、…、En两两组合，则会出现n*(n-1)/2种组合(E1，E2)(E1，E3)…(En-1,En)，通过以下公式计算出两个椭圆的重叠度S：
(3.2)由以下公式计算可以排除椭圆相互包含的情况：
cont＝H1∪H2；
当cont等于H1或者H2的时候，就说明两个椭圆互相包含。
(3.3)当两个椭圆重叠度S高于55％或椭圆相互包含的时候，删除组合中内点覆盖率较低的那个椭圆；在这里，重叠度阈值参数是根据大量实验的平均表现得到的经验值。
(3.4)删除后的椭圆标记为假，下次不再做判断；直至所有的组合都被验证，得到椭圆集合Eend；
虽然Eend经过了一些过滤，但其中依然包含着错误的椭圆，仍需进一步验证。
进一步，步骤(4)中，所述基于分布密度的椭圆中心定位的方法如下：
(4.1)利用基于Hough变换的圆检测算法,检测出组合图像e1、e2、…、e16，上出现的所有圆；
(4.2)提取所有检测到的圆的圆心坐标，进行kmeans聚类，k值取深度神经网络预测的细胞个数，得到k个聚类中心点坐标；
(4.3)在第j(j＝1、…、k)个聚类中心附近，从椭圆集Eend中搜寻离该中心最近，且得分最高的那个椭圆；直到给所有k个聚类中心都找到k个椭圆；
(4.4)每个聚类中心应唯一对应一个椭圆，如果多个聚类中心对应于一个椭圆，则发生了重复，该策略失效。替代措施是选取Eend的前k个得分最高的椭圆作为补充；
进一步，所述步骤(4.1)包含以下的子步骤：
(4.1.1)用Hough变换检测所有可能的圆；
(4.1.2)对圆进行物理大小、内点覆盖率、角度覆盖率的筛选，由于圆的曲率恒定为1，不需要进行形态的筛选；设定角度覆盖率与前述方法相同，内点覆盖率设置为0.02；在这里，阈值参数是根据大量实验的平均表现得到的经验值。
步骤(4.3)包含以下的子步骤：
(4.3.1)提取椭圆集合Eend中n个圆心坐标，计算出第i(i∈n)个椭圆Ei到j(j∈k)个聚类中心的距离为Dij；
(4.3.2)为找到最能代表第j个聚类中心位置的椭圆，本发明在距离该聚类中心由近向远地寻找得分最高的椭圆作为最终的结果；
(4.3.3)按照上面的方法对所有k个聚类中心进行相同操作，最终得到k个椭圆；
进一步，所述步骤(4.4)包含以下的子步骤：
(4.4.1)若出现多个聚类中心对应于一个椭圆时，出现了重复现象，则用椭圆集Eend中得分最高的k个椭圆作为最终的结果；
(4.4.2)若每个聚类中心都唯一地对应于一个椭圆，则采用经过中心验证得到的结果作为最终的结果。
本发明另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
进行数据的预处理和准备：采用目标在不同焦段下拍摄的多张图像；
训练细胞个数预测模型：标注每张图像中包含的细胞个数，作为训练样本，训练深度神经网络；
对多张图像进行去噪、对比度增强、感兴趣区域提取的预处理，在每张图像上利用深度卷积神经网络得到的特征检测边缘；
在每张图像上根据边缘拟合椭圆，将所有图像上的椭圆收集起来作为候选集合；
在多张图像的组合上对候选椭圆进行验证和筛选。
本发明另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
进行数据的预处理和准备：采用目标在不同焦段下拍摄的多张图像；
训练细胞个数预测模型：标注每张图像中包含的细胞个数，作为训练样本，训练深度神经网络；
对多张图像进行去噪、对比度增强、感兴趣区域提取的预处理，在每张图像上利用深度卷积神经网络得到的特征检测边缘；
在每张图像上根据边缘拟合椭圆，将所有图像上的椭圆收集起来作为候选集合；
在多张图像的组合上对候选椭圆进行验证和筛选。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于多视图交叉验证的显微图像细胞计数与姿态识别方法，通过训练一个深度神经网络，用机器学习的方式对图像中包含的细胞个数进行自动预测，从而无需知道细胞处于什么阶段，扩展了该方法的适用场景。
本发明采用基于深度特征的边缘检测方法，挖掘了像素更高级的语义特征，因此比传统的边缘检测算子在表达目标边界上具备更好的性能，进而间接改善了椭圆拟合的质量。
本发明采用在多个焦段下拍摄的多张图像，并设计了相应的组合策略，与传统的使用单一图像的方法相比，能更充分地利用信息，改善边缘的清晰度和完整性，进而提高椭圆拟合的准确度。
本发明在多张图像的组合上对候选椭圆进行验证和筛选，可以有效克服显微图像的质量退化问题，改善椭圆拟合的质量，进而提升细胞计数和姿态识别的准确性。
本发明采用对椭圆分布密度挖掘的方式，通过圆形拟合和聚类的方法，精确定位到细胞的中心位置，减少了方法对单一椭圆拟合质量敏感的问题。
结合实验或试验数据和现有技术对比得到的效果和优点：本发明提出的方法可以通过学习的方式自适应地确定图像中包含的细胞数量，无需在已知的特定阶段拍摄图像，具有较广泛的适用范围；采用融合深度语义信息的轮廓提取方法，间接提升了椭圆拟合的质量；利用多焦段多视图的综合信息进行椭圆的拟合和验证，克服了单视图固有的缺陷，得到的椭圆参数更加准确；通过椭圆检测分布信息，采用聚类方法对最终细胞中心进行验证，进一步克服了算法对单个椭圆检测质量敏感的问题。
对比的技术效果或者实验效果包括：
图3给出了应用不同边缘提取算法进行椭圆拟合的对比效果；图4给出了直接根据椭圆评价得分选取以及按照本方案经过圆拟合和聚类密度分析对中心点进行定位后得到椭圆的对比结果；图5给出了本方案在一次实验中的完整流程图。
附图说明
图1是本发明实施例提供的基于多视图交叉验证的显微图像细胞计数与姿态识别方法流程图。
图2是本发明实施例提供的采集的7张图像样例，每一行为一个样本。
图3是本发明实施例提供的不同边缘提取方法对应的椭圆检测结果示意图；
图中：图(a)是原始图像；图(b)是otsu方法；图(c)是本发明所采用的方法。
图4是本发明实施例提供的经过圆拟合和聚类密度分析对中心点进行定位后的椭圆选择结果；
图中：图(a)是原始图像；图(b)是经过筛选但未经过密度聚类分析中心定位的椭圆结果；图(c)是直接根据椭圆得分取前四个椭圆的结果；图(d)是经过密度聚类分析对中心定位后的椭圆结果。
图5是本发明实施例提供的完整实验流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于多视图交叉验证的显微图像细胞计数与姿态识别方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于多视图交叉验证的显微图像细胞计数与姿态识别方法包括以下步骤：
S101，进行数据的预处理和准备。采用目标在不同焦段下拍摄的多张图像，而非仅仅利用特定焦段的一张图像。
S102，训练一个细胞个数预测模型。通过人工观察，标注每张图像中包含的细胞个数，将其作为训练样本，训练一个深度神经网络。该网络的输入是一张图像，输出是该图像中细胞的个数。
S103，对多张图像进行去噪、对比度增强、感兴趣区域提取的预处理，在每张图像上利用深度卷积神经网络得到的特征检测边缘。
S104，在每张图像上根据边缘拟合椭圆，将所有图像上的椭圆收集起来作为候选集合。
S105，在多张图像的组合上对候选椭圆进行验证和筛选。
下面结合实施例对本发明作进一步描述。
本发明实施例提供的基于多视图交叉验证的显微图像细胞计数与姿态识别方法包括：
首先，进行数据的预处理和准备。采用目标在不同焦段下拍摄的多张图像，而非仅仅利用特定焦段的一张图像。
然后，训练一个细胞个数预测模型。通过人工观察，标注每张图像中包含的细胞个数，将其作为训练样本，训练一个深度神经网络。该网络的输入是一张图像，输出是该图像中细胞的个数。
接下来，对多张图像进行去噪、对比度增强、感兴趣区域提取等预处理，在每张图像上利用深度卷积神经网络得到的特征检测边缘。
再者，在每张图像上根据边缘拟合椭圆，将所有图像上的椭圆收集起来作为候选集合。
最后，在多张图像的组合上对候选椭圆进行验证和筛选。该方案可以有效克服显微图像的质量退化问题，改善椭圆拟合的质量，进而提升细胞计数和姿态识别的准确性。
本发明实施例提供的基于组合视图的显微图像细胞计数与姿态识别方法具体包括：
(1)数据采集与预处理。
优选地，步骤(1)具体包括如下子步骤：
(1.1)数据采集。利用霍夫曼调制相衬系统显微镜拍摄图像，间隔15分钟拍摄一组。每组为不同的焦距段拍摄出的7张图像，分别记为I1，I2，I3，I4，I5，I6，I7，对应的是-15，-30，-45，0，15，30，45焦距。采集图像的样例如图2所示。
(1.2)数据预处理。首先分别对每幅图像进行去噪和对比度增强处理，通过检测每幅图像中镜筒边缘的圆环进行感兴趣区域提取，经过裁剪得到仅包含细胞区域的感兴趣图像。
(1.3)数据标注。通过人工观察，标注出一部分图像中包含的细胞的个数，以便在后面的过程中可以利用该信息训练一个可预测图像中包含细胞个数的模型。
(2)细胞个数预测。由于细胞所处的培养阶段未知，其包含的细胞的个数也是无法预先知道的。为此，本发明利用机器学习的方法训练一个预测模型，对图像中包含的细胞个数进行预测。所采用的深度神经网络的结构可以有多种，在本发明中，优选以一个类似AlexNet的网络为例进行说明。通过上述网络提取图像的高维特征，并利用已标注数据训练一个分类器对图像所包含的细胞数量进行分类，从而达到预测的目的。
(3)细胞边缘检测。由于实验数据图像梯度并不明显，且在多细胞相互重叠的区域会出现遮挡细胞边缘的情况，会使普通梯度信息的边缘检测方法检测出的胚胎边缘不清晰且出现边缘不连续的情况，给后续椭圆拟合带来困扰。为此，本发明采用基于深度学习的方法给每个像素学习一个高维的边缘属性特征，将边缘检测问题转化为一个基于上述特征的分类问题，以便提取更好的边缘信息，保证边缘的完整度和清晰度。具体的方法可使用基于深度卷积特征的RCF边缘预测方法，也可以选择基于U-Net的眼底图像血管分割算法。优选地，本发明以后者为例进行说明。图3展示了用不同的边缘检测结果直接拟合椭圆的效果。
(4)初始椭圆拟合。在该步骤中，根据本发明设计的多种图像组合策略进行初始椭圆的拟合，具体包括以下步骤：
(4.1)图片组合策略
记某一时刻多张图像上的边缘图像为e1，e2，e3，e4，e5，e6，e7，分别对应-15，-30，-45，0，15，30，45焦距值。通过大量实验数据观测发现，在焦距值为-15、-30、0、15时，检测出的边缘图像边界更加清晰，焦距值为30、45、-45时，胚胎边界更加模糊。通过组合不同焦距段的边缘图像，可以使不同焦距边缘相互补充，从而获取更加完整的边缘，进而改善椭圆检测的效果。具体的组合方案如下：
(4.1.1)方案一：直接使用原始边缘图像e1，e2，e3，e4，e5，e6，e7；
(4.1.2)方案二：将焦距值为-15和-30时检测出的边缘图像e1和e2进行叠加操作，记为e8；
(4.1.3)方案三：将焦距值为-15和0时检测出的边缘图像e1和e4进行叠加操作，记为e9；
(4.1.4)方案四：将焦距值为-15和15时检测出的边缘图像e1和e5进行叠加操作，记为e10；
(4.1.5)方案五：将焦距值为-30和0时检测出的边缘图像e2和e4进行叠加操作，记为e11；
(4.1.6)方案六：将焦距值为-30和15时检测出的边缘图像e2和e5进行叠加操作，记为e12；
(4.1.7)方案七：将焦距值为0和15时检测出的边缘图像e4和e5进行叠加操作，记为e13；
(4.1.8)方案八：将焦距值为-15、-30、0、15时检测出的边缘图像e1、e2、e4和e5进行叠加操作，记为e14；
上述叠加操作具体步骤为：
对N张边缘图像I1,I2,…,IN,保存为白底黑边的图像，则位于边缘的像素值为0，非边缘的像素值为1；在标记为边缘的像素的坐标位置(xp，yp)取所有需要叠加图像中该位置像素的最小值，从而得到一张提取了所有被叠加图像的边缘信息的图像。
(4.1.10)方案九：将焦距值为-15、-30、0、15时检测出的边缘图像e1、e2、e4和e5进行求平均操作，记为e15；
(4.1.11)方案十：将焦距值为-30、0时检测出的边缘图像e2和e4进行求平均操作，记为e16；
上述求平均操作具体步骤为：
对N张边缘图像I1,I2,…,IN,进行求平均操作得到的图像就是1/N*I1+1/N*I2…+1/N*IN；
通过上述组合步骤，共得到16张待实验的边缘图像数据e1、e2、…、e16，接下来本发明将利用这些图像进行椭圆的检测和过滤。
(4.2)初始椭圆集生成
对于得到的待实验叠加边缘图像数据e1、e2、…、e16，在每一幅图像上找到由连通的边缘点构成的弧段，利用最小二乘法估计出由这些弧段可能构成的所有的椭圆。e1、e2、…、e16上检测到的所有可能椭圆构成初始椭圆集Einitial；
(4.3)椭圆评分
我们需要对得到的初始椭圆集Einitial中每个椭圆进行评分，为椭圆筛选作准备。评分越高，代表该椭圆为真实细胞的概率越大。作为评分的参照需要清晰的边缘，因此应用前述内容中组合得到的e11边缘图像作为评价参照。进行椭圆评分的步骤如下：
(4.3.1)利用canny算子对e14图像上的所有边缘像素进行标记，记为p；
(4.3.2)遍历椭圆集Einitial中每个椭圆，记第i个椭圆在ei图像中覆盖的像素值的个数为pi(pi∈p)；则第i个椭圆的内点覆盖率记为：
ρi＝#{pi:pi∈SI(e)}/β (1)
其中，SI(e)代表第i个椭圆的内点，β代表的是椭圆的周长，由以下公式近似计算；
(4.3.3)将第i个椭圆的角度覆盖率记为Si，可以由以下表达式计算：
其中，n为该椭圆中所包含的弧线段的个数，
为第i个椭圆第j弧线段的对应的角度。第i个椭圆评分的公式如下：
至此，本发明对初始椭圆中每个椭圆进行了评分，并且根据分值进行从大到小的排序，得到排序后的椭圆集Einorder。
(5)初始椭圆筛选。
(5.1)形态筛选
针对初始椭圆集Einitial包含图中可能出现的所有椭圆，许多椭圆无法表述胚胎细胞实际的大小，所以需要进一步进行形态筛选。
(5.1.1)细胞大小筛选
计算一个系数R，表示单个细胞占整个感兴趣区域的百分比。R的计算方法如下所示：
其中，H表示细胞大小，A表示图像感兴趣区域大小。根据大量的实验数据的分析，本发明设置单个细胞的大小与胚胎大小的关系为：
其中，num为细胞的个数。在这里，R的取值范围是根据大量实验的平均表现得到的经验值。
(5.1.2)细胞形态筛选
在现实情况下，细胞图像中不应该出现曲率太大的椭圆，本发明设定细胞的曲率应该满足如下条件：
其中，a为椭圆的短半轴，c为椭圆的长半轴。
至此，本发明可以删除形态不满足条件的椭圆，得到符合形态特征的椭圆集合ER。
(5.2)质量筛选。根据公式(1)、(3)计算出的ρi与Si，删除在e14图像中不满足内点覆盖率与角度覆盖率的椭圆。实验数据表明，内点覆盖率参数设置为0.1，角度覆盖率参数在单细胞中设定为1/3，多细胞中设定为1/6时效果较好。在这里，内点覆盖率、角度覆盖率的阈值参数是根据大量实验的平均表现得到的经验值。通过以上质量验证我们得到候选椭圆集Ecandidate；
(5.3)删除重叠椭圆。在实际情况中，很少出现细胞两两重叠度很高或相互包含的情况；由此当出现两个椭圆重叠度高于一定程度时，本发明删除这两个椭圆中内点覆盖较低的那个椭圆，具体步骤如下：
(5.3.1)遍历候选椭圆集Ecandidate，记所有椭圆为E1、E2、…、En两两组合，则会出现n*(n-1)/2种组合(E1，E2)(E1，E3)…(En-1,En)，通过以下公式计算出两个椭圆的重叠度S：
(5.3.2)由以下公式计算可以排除椭圆相互包含的情况：
cont＝H1∪H2 (8)
当cont等于H1或者H2的时候，就说明两个椭圆互相包含。
(5.3.3)当两个椭圆重叠度S高于55％或椭圆相互包含的时候，删除组合中内点覆盖率较低的那个椭圆；在这里，重叠度阈值参数是根据大量实验的平均表现得到的经验值。
(5.3.4)删除后的椭圆标记为假，下次不再做判断；直至所有的组合都被验证，得到椭圆集合Eend；
虽然Eend经过了一些过滤，但其中依然包含着错误的椭圆，仍需进一步验证。
(5.4)基于分布密度的椭圆中心定位。椭圆集合Eend中包含有一些不符合细胞实际位置的椭圆，所以本发明提出一种用圆检测聚类来定位椭圆中心的方法，该方案可以有效的定位胚胎细胞图像中所有可能出现椭圆的位置，从而提高细胞定位的准确度。
该方案的具体步骤如下：
(5.4.1)利用基于Hough变换的圆检测算法,检测出组合图像e1、e2、…、e16，上出现的所有圆；
(5.4.2)提取所有检测到的圆的圆心坐标，进行kmeans聚类，k值取深度神经网络预测的细胞个数，得到k个聚类中心点坐标；
(5.4.3)在第j(j＝1、…、k)个聚类中心附近，从椭圆集Eend中搜寻离该中心最近，且得分最高的那个椭圆；直到给所有k个聚类中心都找到k个椭圆；
(5.4.4)每个聚类中心应唯一对应一个椭圆，如果多个聚类中心对应于一个椭圆，则发生了重复，该策略失效。替代措施是选取Eend的前k个得分最高的椭圆作为补充；
优选地，步骤(5.4.1)包含以下的子步骤：
(5.4.1.1)用Hough变换检测所有可能的圆；
(5.4.1.2)对圆进行物理大小、内点覆盖率、角度覆盖率的筛选，由于圆的曲率恒定为1，不需要进行形态的筛选；设定角度覆盖率与前述方法相同，内点覆盖率设置为0.02；在这里，阈值参数是根据大量实验的平均表现得到的经验值。
优选地，步骤(5.4.3)包含以下的子步骤：
(5.4.3.1)提取椭圆集合Eend中n个圆心坐标，计算出第i(i∈n)个椭圆Ei到j(j∈k)个聚类中心的距离为Dij；
(5.4.3.2)为找到最能代表第j个聚类中心位置的椭圆，本发明在距离该聚类中心由近向远地寻找得分最高的椭圆作为最终的结果；
(5.4.3.3)按照上面的方法对所有k个聚类中心进行相同操作，最终得到k个椭圆；
优选地，步骤(5.4.4)包含以下的子步骤：
(5.4.4.1)若出现多个聚类中心对应于一个椭圆时，出现了重复现象，则用椭圆集Eend中得分最高的k个椭圆作为最终的结果；
(5.4.4.2)若每个聚类中心都唯一地对应于一个椭圆，则采用经过中心验证得到的结果作为最终的结果；图4展示了经过圆拟合和聚类密度分析对中心点进行定位后的椭圆选择结果。
图5给出了本发明的一个完整实验流程。首先，以多个焦段拍摄的7张图像作为输入，分别在每张图像上利用深度神经网络得到的特征进行边缘检测。然后，对边缘图像进行叠加，在这一张叠加的边缘图像上进行椭圆的检测。接下来，在多张边缘图像的多种交叉组合策略上进行椭圆的评分，根据评分筛选出得分较高的椭圆。最后，根据事先预测的细胞个数进行基于聚类分析的中心验证，在验证后的中心附近选出最为合适的椭圆。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种基于多视图交叉验证的显微图像细胞计数与姿态识别方法，其特征在于，所述基于多视图交叉验证的显微图像细胞计数与姿态识别方法包括：
进行数据的预处理和准备：采用目标在不同焦段下拍摄的多张图像；
训练细胞个数预测模型：标注每张图像中包含的细胞个数，作为训练样本，训练深度神经网络；
对多张图像进行去噪、对比度增强、感兴趣区域提取的预处理，在每张图像上利用深度卷积神经网络得到的特征检测边缘；
在每张图像上根据边缘拟合椭圆，将所有图像上的椭圆收集起来作为候选集合；
在多张图像的组合上对候选椭圆进行验证和筛选；
在每张图像上利用深度卷积神经网络得到的特征检测边缘中，细胞边缘的检测方法为：
采用基于深度学习的方法给每个像素学习一个高维的边缘属性特征，将边缘检测问题转化为一个基于上述特征的分类问题；具体的方法使用基于深度卷积特征的RCF边缘预测方法，或选择基于U-Net的眼底图像血管分割算法；
在每张图像上根据边缘拟合椭圆，将所有图像上的椭圆收集起来作为候选集合中，初始椭圆拟合的方法为：根据设计的多种图像组合策略进行初始椭圆的拟合，包括：
(a)图片组合策略
记某一时刻多张图像上的边缘图像为e1，e2，e3，e4，e5，e6，e7，分别对应-15，-30，-45，0，15，30，45焦距值；在焦距值为-15、-30、0、15时，检测出的边缘图像边界更加清晰，焦距值为30、45、-45时，胚胎边界更加模糊，通过组合不同焦距段的边缘图像；
(b)初始椭圆集生成
对于得到的待实验叠加边缘图像数据e1、e2、…、e16，在每一幅图像上找到由连通的边缘点构成的弧段，利用最小二乘法估计出由这些弧段可能构成的所有的椭圆；e1、e2、…、e16上检测到的所有可能椭圆构成初始椭圆集Einitial；
(c)椭圆评分
需要对得到的初始椭圆集Einitial中每个椭圆进行评分，为椭圆筛选作准备；评分越高，代表该椭圆为真实细胞的概率越大；作为评分的参照需要清晰的边缘；
所述进行椭圆评分的步骤如下：
利用canny算子对e14图像上的所有边缘像素进行标记，记为p；
遍历椭圆集Einitial中每个椭圆，记第i个椭圆在ei图像中覆盖的像素值的个数为pi，pi∈p；则第i个椭圆的内点覆盖率记为：
ρi＝#{pi：pi∈SI(e)}/β；
其中，SI(e)代表第i个椭圆的内点，β代表的是椭圆的周长，由以下公式近似计算；
将第i个椭圆的角度覆盖率记为Si，可以由以下表达式计算：
其中，n为该椭圆中所包含的弧线段的个数，
为第i个椭圆第j弧线段的对应的角度；第i个椭圆评分的公式如下：
至此，对初始椭圆中每个椭圆进行了评分，并且根据分值进行从大到小的排序，得到排序后的椭圆集Einorder；
步骤(a)中，所述图片组合策略的具体组合方案包括：
方案一：直接使用原始边缘图像e1，e2，e3，e4，e5，e6，e7；
方案二：将焦距值为-15和-30时检测出的边缘图像e1和e2进行叠加操作，记为e8；
方案三：将焦距值为-15和0时检测出的边缘图像e1和e4进行叠加操作，记为e9；
方案四：将焦距值为-15和15时检测出的边缘图像e1和e5进行叠加操作，记为e10；
方案五：将焦距值为-30和0时检测出的边缘图像e2和e4进行叠加操作，记为e11；
方案六：将焦距值为-30和15时检测出的边缘图像e2和e5进行叠加操作，记为e12；
方案七：将焦距值为0和15时检测出的边缘图像e4和e5进行叠加操作，记为e13；
方案八：将焦距值为-15、-30、0、15时检测出的边缘图像e1、e2、e4和e5进行叠加操作，记为e14；
方案九：将焦距值为-15、-30、0、15时检测出的边缘图像e1、e2、e4和e5进行求平均操作，记为e15；
方案十：将焦距值为-30、0时检测出的边缘图像e2和e4进行求平均操作，记为e16；
方案一～方案八中，所述叠加操作的具体步骤为：
对N张边缘图像I1,I2,…,IN,保存为白底黑边的图像，则位于边缘的像素值为0，非边缘的像素值为1；在标记为边缘的像素的坐标位置(xp，yp)取所有需要叠加图像中该位置像素的最小值，从而得到一张提取了所有被叠加图像的边缘信息的图像；
方案九～方案十中，所述求平均操作的具体步骤为：
对N张边缘图像I1,I2,…,IN,进行求平均操作得到的图像就是1/N*I1+1/N*I2…+1/N*IN；
通过所述组合步骤，共得到16张待实验的边缘图像数据e1、e2、…、e16，接下来将利用这些图像进行椭圆的检测和过滤。
2.如权利要求1所述的基于多视图交叉验证的显微图像细胞计数与姿态识别方法，其特征在于，在进行数据的预处理中包括数据采集与预处理，数据采集与预处理的方法为：
(I)数据采集：利用霍夫曼调制相衬系统显微镜拍摄图像，间隔15分钟拍摄一组；每组为不同的焦距段拍摄出的7张图像，分别记为I1，I2，I3，I4，I5，I6，I7，对应的是-15，-30，-45，0，15，30，45焦距；
(II)数据预处理：分别对每幅图像进行去噪和对比度增强处理，通过检测每幅图像中镜筒边缘的圆环进行感兴趣区域提取，经过裁剪得到仅包含细胞区域的感兴趣图像；
(III)数据标注：通过人工观察，标注出一部分图像中包含的细胞的个数；
在训练细胞个数预测模型中，对细胞个数进行预测的方法为：
利用机器学习的方法训练一个预测模型，对图像中包含的细胞个数进行预测；选取AlexNet的网络，通过所述AlexNet的网络提取图像的高维特征，并利用已标注数据训练一个分类器对图像所包含的细胞数量进行分类。
3.如权利要求1所述的基于多视图交叉验证的显微图像细胞计数与姿态识别方法，其特征在于，在多张图像的组合上对候选椭圆进行筛选中，初始椭圆的筛选方法包括：
(1)形态筛选
针对初始椭圆集Einitial包含图中可能出现的所有椭圆，许多椭圆无法表述胚胎细胞实际的大小，所以需要进一步进行形态筛选；
(2)质量筛选：根据计算出的ρi与Si，删除在e14图像中不满足内点覆盖率与角度覆盖率的椭圆；所述内点覆盖率、角度覆盖率的阈值参数是根据大量实验的平均表现得到的经验值，通过所述质量验证得到候选椭圆集Ecandidate；
(3)删除重叠椭圆：当出现两个椭圆重叠度高于一定程度时，删除这两个椭圆中内点覆盖较低的那个椭圆；
(4)基于分布密度的椭圆中心定位：椭圆集合Eend中包含有一些不符合细胞实际位置的椭圆，提出一种用圆检测聚类来定位椭圆中心的方法，该方案可以有效的定位胚胎细胞图像中所有可能出现椭圆的位置。
4.如权利要求3所述的基于多视图交叉验证的显微图像细胞计数与姿态识别方法，其特征在于，步骤(1)中，所述形态筛选的方法为：
(1.1)细胞大小筛选
计算一个系数R，表示单个细胞占整个感兴趣区域的百分比；R的计算方法如下所示：
其中，H表示细胞大小，A表示图像感兴趣区域大小；根据大量的实验数据的分析，设置单个细胞的大小与胚胎大小的关系为：
其中，num为细胞的个数；R的取值范围是根据大量实验的平均表现得到的经验值；
(1.2)细胞形态筛选
在现实情况下，细胞图像中不应该出现曲率太大的椭圆，设定细胞的曲率应该满足如下条件：
其中，a为椭圆的短半轴，c为椭圆的长半轴；
至此，可删除形态不满足条件的椭圆，得到符合形态特征的椭圆集合ER；
步骤(3)中，所述删除重叠椭圆的方法为：
(3.1)遍历候选椭圆集Ecandidate，记所有椭圆为E1、E2、…、En两两组合，则会出现n*(n-1)/2种组合(E1，E2)(E1，E3)…(En-1,En)，通过以下公式计算出两个椭圆的重叠度S：
(3.2)由以下公式计算可以排除椭圆相互包含的情况：
cont＝H1∪H2；
当cont等于H1或者H2的时候，就说明两个椭圆互相包含；
(3.3)当两个椭圆重叠度S高于55％或椭圆相互包含的时候，删除组合中内点覆盖率较低的那个椭圆；重叠度阈值参数是根据大量实验的平均表现得到的经验值；
(3.4)删除后的椭圆标记为假，下次不再做判断；直至所有的组合都被验证，得到椭圆集合Eend；
步骤(4)中，所述基于分布密度的椭圆中心定位的方法包括：
(4.1)利用基于Hough变换的圆检测算法,检测出组合图像e1、e2、…、e16，上出现的所有圆；
(4.2)提取所有检测到的圆的圆心坐标，进行kmeans聚类，k值取深度神经网络预测的细胞个数，得到k个聚类中心点坐标；
(4.3)在第j个聚类中心附近，j＝1，…，k，从椭圆集Eend中搜寻离该中心最近，且得分最高的那个椭圆；直到给所有k个聚类中心都找到k个椭圆；
(4.4)每个聚类中心应唯一对应一个椭圆，如果多个聚类中心对应于一个椭圆，则发生了重复，该策略失效；替代措施是选取Eend的前k个得分最高的椭圆作为补充。
5.如权利要求4所述的基于多视图交叉验证的显微图像细胞计数与姿态识别方法，其特征在于，所述步骤(4.1)包含以下的子步骤：
(4.1.1)用Hough变换检测所有可能的圆；
(4.1.2)对圆进行物理大小、内点覆盖率、角度覆盖率的筛选，由于圆的曲率恒定为1，不需要进行形态的筛选；设定角度覆盖率与前述方法相同，内点覆盖率设置为0.02；在这里，阈值参数是根据大量实验的平均表现得到的经验值；
所述步骤(4.3)包含以下的子步骤：
(4.3.1)提取椭圆集合Eend中n个圆心坐标，计算出第i个椭圆Ei到j(j∈k)个聚类中心的距离为Dij，i∈n；
(4.3.2)为找到最能代表第j个聚类中心位置的椭圆，在距离该聚类中心由近向远地寻找得分最高的椭圆作为最终的结果；
(4.3.3)按照上面的方法对所有k个聚类中心进行相同操作，最终得到k个椭圆；
所述步骤(4.4)包含以下的子步骤：
(4.4.1)若出现多个聚类中心对应于一个椭圆时，出现了重复现象，则用椭圆集Eend中得分最高的k个椭圆作为最终的结果；
(4.4.2)若每个聚类中心都唯一地对应于一个椭圆，则采用经过中心验证得到的结果作为最终的结果。
6.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～5任意一项所述的基于多视图交叉验证的显微图像细胞计数与姿态识别方法。
7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～5任意一项所述的基于多视图交叉验证的显微图像细胞计数与姿态识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010588771.2A CN111724381B (zh) | 2020-06-24 | 2020-06-24 | 基于多视图交叉验证的显微图像细胞计数与姿态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010588771.2A CN111724381B (zh) | 2020-06-24 | 2020-06-24 | 基于多视图交叉验证的显微图像细胞计数与姿态识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111724381A CN111724381A (zh) | 2020-09-29 |
| CN111724381B true CN111724381B (zh) | 2022-11-01 |
Family
ID=72570012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010588771.2A Active CN111724381B (zh) | 2020-06-24 | 2020-06-24 | 基于多视图交叉验证的显微图像细胞计数与姿态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111724381B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112330610B (zh) * | 2020-10-21 | 2024-03-29 | 郑州诚优成电子科技有限公司 | 一种基于微血管位置角膜内皮细胞计数采集精确定位方法 |
| TWI746287B (zh) * | 2020-11-26 | 2021-11-11 | 宏碁股份有限公司 | 影像處理系統及影像處理方法 |
| CN113241154B (zh) * | 2020-12-28 | 2024-05-24 | 中国人民解放军陆军军医大学第二附属医院 | 一种人工智能血液涂片细胞标注系统及方法 |
| CN112435259B (zh) * | 2021-01-27 | 2021-04-02 | 核工业四一六医院 | 一种基于单样本学习的细胞分布模型构建及细胞计数方法 |
| CN113283353B (zh) * | 2021-05-31 | 2022-04-01 | 创芯国际生物科技(广州)有限公司 | 一种基于显微图像的类器官细胞计数方法及系统 |
| CN117649415B (zh) * | 2024-01-30 | 2024-04-30 | 武汉互创联合科技有限公司 | 基于光流图检测的细胞均衡度分析方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020626A (zh) * | 2011-09-28 | 2013-04-03 | 深圳市蓝韵实业有限公司 | 在图像中检测椭圆型目标的方法及系统 |
| WO2013087026A1 (zh) * | 2011-12-16 | 2013-06-20 | 北京天诚盛业科技有限公司 | 一种虹膜定位方法和定位装置 |
| CN109102515A (zh) * | 2018-07-31 | 2018-12-28 | 浙江杭钢健康产业投资管理有限公司 | 一种基于多列深浅卷积神经网络的细胞计数方法 |
| CN109558825A (zh) * | 2018-11-23 | 2019-04-02 | 哈尔滨理工大学 | 一种基于数字视频图像处理的瞳孔中心定位方法 |
| WO2019197509A1 (en) * | 2018-04-13 | 2019-10-17 | Ventana Medical Systems, Inc. | Systems for cell shape estimation |
| CN110544262A (zh) * | 2019-08-07 | 2019-12-06 | 上海师范大学 | 一种基于机器视觉的子宫颈细胞图像分割方法 |
| CN110598692A (zh) * | 2019-08-09 | 2019-12-20 | 清华大学 | 一种基于深度学习的椭圆识别方法 |
| CN111242940A (zh) * | 2020-01-19 | 2020-06-05 | 复旦大学 | 一种基于弱监督学习的舌体图像分割方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3616111B2 (ja) * | 1991-11-01 | 2005-02-02 | マサチューセッツ・インスティテュート・オブ・テクノロジー | 異なる焦点距離又は異なる視域の複数の像を使用した高解像度静止画像を得る方法及び装置 |
| WO2006104201A1 (ja) * | 2005-03-29 | 2006-10-05 | Olympus Corporation | 細胞画像解析方法、細胞画像解析プログラム、細胞画像解析装置、スクリーニング方法およびスクリーニング装置 |
| CN101216895B (zh) * | 2007-12-26 | 2010-11-03 | 北京航空航天大学 | 一种复杂背景图像中椭圆图像特征的自动提取方法 |
| US9508173B2 (en) * | 2013-10-30 | 2016-11-29 | Morpho, Inc. | Image processing device having depth map generating unit, image processing method and non-transitory computer redable recording medium |
-
2020
- 2020-06-24 CN CN202010588771.2A patent/CN111724381B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020626A (zh) * | 2011-09-28 | 2013-04-03 | 深圳市蓝韵实业有限公司 | 在图像中检测椭圆型目标的方法及系统 |
| WO2013087026A1 (zh) * | 2011-12-16 | 2013-06-20 | 北京天诚盛业科技有限公司 | 一种虹膜定位方法和定位装置 |
| WO2019197509A1 (en) * | 2018-04-13 | 2019-10-17 | Ventana Medical Systems, Inc. | Systems for cell shape estimation |
| CN109102515A (zh) * | 2018-07-31 | 2018-12-28 | 浙江杭钢健康产业投资管理有限公司 | 一种基于多列深浅卷积神经网络的细胞计数方法 |
| CN109558825A (zh) * | 2018-11-23 | 2019-04-02 | 哈尔滨理工大学 | 一种基于数字视频图像处理的瞳孔中心定位方法 |
| CN110544262A (zh) * | 2019-08-07 | 2019-12-06 | 上海师范大学 | 一种基于机器视觉的子宫颈细胞图像分割方法 |
| CN110598692A (zh) * | 2019-08-09 | 2019-12-20 | 清华大学 | 一种基于深度学习的椭圆识别方法 |
| CN111242940A (zh) * | 2020-01-19 | 2020-06-05 | 复旦大学 | 一种基于弱监督学习的舌体图像分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| Blastomere segmentation and3D morphology measurements of early embryos from Hoffman Modulation Contrastimage stacks;Giusti A,Corani G,Gambardella L,et al;《Biomedical Imaging:From Nano to Macro,2010 IEEEInternational Symposium on》;20100621;第1261-1264页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111724381A (zh) | 2020-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111724381B (zh) | 基于多视图交叉验证的显微图像细胞计数与姿态识别方法 | |
| CN111724379B (zh) | 基于组合视图的显微图像细胞计数与姿态识别方法及系统 | |
| CN109325942B (zh) | 基于全卷积神经网络的眼底图像结构分割方法 | |
| CN109272492B (zh) | 一种细胞病理涂片的处理方法及系统 | |
| CN107256558B (zh) | 一种无监督式的宫颈细胞图像自动分割方法及系统 | |
| CN108090906B (zh) | 一种基于区域提名的宫颈图像处理方法及装置 | |
| US20190156202A1 (en) | Model construction in a neural network for object detection | |
| CN110736747B (zh) | 一种细胞液基涂片镜下定位的方法及系统 | |
| US20130216118A1 (en) | Centromere Detector and Method for Determining Radiation Exposure From Chromosome Abnormalities | |
| CN109492706B (zh) | 一种基于循环神经网络的染色体分类预测装置 | |
| CN109389129A (zh) | 一种图像处理方法、电子设备及存储介质 | |
| CN112380900A (zh) | 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 | |
| CN110543912B (zh) | 自动获取胎儿关键切面超声视频中心动周期视频的方法 | |
| JP6733983B2 (ja) | 画像解析装置 | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
| CN111507932A (zh) | 高特异性的糖尿病性视网膜病变特征检测方法及存储设备 | |
| CN112288760B (zh) | 一种粘连细胞图像筛除方法、系统及细胞图像分析方法 | |
| CN114283407A (zh) | 一种自适应的白细胞自动分割、亚类检测方法及系统 | |
| Mohammad et al. | Texture analysis for the segmentation of optic disc in retinal images | |
| CN110400287B (zh) | 结直肠癌ihc染色图像肿瘤侵袭边缘和中心的检测系统及方法 | |
| CN111724378A (zh) | 一种显微图像细胞计数与姿态识别方法及系统 | |
| CN115393375A (zh) | 荧光显微成像中明场细胞图像分割方法和装置 | |
| CN113744195B (zh) | 一种基于深度学习的hRPE细胞微管自动检测方法 | |
| CN113935961A (zh) | 一种鲁棒性乳腺钼靶mlo视角图像胸肌分割方法 | |
| CN115176289A (zh) | 使用卷积神经网络的细胞系发育图像表征 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |