CN115049908B - 基于胚胎发育图像的多阶段智能分析方法及系统 - Google Patents
基于胚胎发育图像的多阶段智能分析方法及系统 Download PDFInfo
- Publication number
- CN115049908B CN115049908B CN202210978474.8A CN202210978474A CN115049908B CN 115049908 B CN115049908 B CN 115049908B CN 202210978474 A CN202210978474 A CN 202210978474A CN 115049908 B CN115049908 B CN 115049908B
- Authority
- CN
- China
- Prior art keywords
- image
- culture dish
- stage
- embryo
- dish
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于胚胎发育图像的多阶段智能分析方法及系统,所述方法用于分析在时差培养箱内胚胎图像的清晰度,所述胚胎图像为胚胎从单细胞发育到囊胚过程中采集的图像。本发明提供的基于胚胎发育图像的多阶段智能分析方法和系统可以实现对胚胎发育的全过程进行实时监控,针对不同胚胎图像的不同类别,根据不同的清晰度要求,分别构建合适的胚胎图像清晰度评分方法,帮助医生快速挑选出清晰图片,对胚胎做出判断。
Description
技术领域
本发明涉及人工智能技术领域,特别是涉及一种基于胚胎发育图像的多阶段智能分析方法及系统。
背景技术
体外受精-胚胎移植(IVF)经过长时间的发展,已经成为有效治疗不孕症的技术,其关键技术是对体外培养胚胎发育潜能评估。所以,选择具有发育潜能的胚胎并将其移植回母体内,对于提高IVF成功率至关重要。目前国内外医生主要是通过观察胚胎的形态学指标评估并选择胚胎。在获取胚胎形态学特征的过程中,由于设备要对同一个胚胎进行多焦距的拍摄,从中获取最清晰的胚胎图像是一个极其重要的步骤。因此,利用计算机建立视觉模型帮助医生快速准确地挑选出最清晰的胚胎图像,对于医生后续的诊断起着至关重要的作用。然而,目前获取最清晰的胚胎图像存在以下几个问题:
(1)胚胎图像清晰度是一个主观性较强的评价指标,并且拍摄所得胚胎图像包含细胞、囊胚以及空皿图像,不同类别的图像所要求的清晰特征不同,目前不存在一套通用的评分体系;
(2)拍摄所得胚胎图像的背景会对评分造成干扰,在评分前需要对胚胎细胞进行定位与分割。一些传统的图像分析方法准确率较低且实时性较差。如何有效地设计AI模型提升预测概率需要进一步深入的研究;
(3)时差胚胎培养箱内同时承载位于不同发育时期的多个培养皿,拍摄培养皿的CCD相机的焦平面会因为培养皿内胚胎形态变化而改变,目前采用人工手动对焦的方式,程序繁杂且容易出错。
发明内容
本发明针对不同类别的胚胎图像所要求的清晰特征不同,要求高清晰度的区域也不同的问题,提出了一种基于胚胎发育图像的多阶段智能分析方法及系统,旨在针对不同类别的图像构建合适的胚胎清晰度评价方法且实现CCD相机自动对焦。
为实现上述目的,本发明所设计的一种基于胚胎发育图像的多阶段智能分析方法,其特殊之处在于,所述方法用于分析在时差培养箱内胚胎图像的清晰度,所述胚胎图像为胚胎从单细胞发育到囊胚过程中采集的图像,包括如下步骤:
S1 CCD相机按指定时间间隔、指定步进位移采集时差培养箱内若干张培养皿图像;
S2将采集的培养皿图像输入至计算机分类模型,输出所述培养皿图像对应的发育期,所述培养皿图像对应空皿期转步骤S3,对应细胞卵裂期转步骤S4,对应囊胚期转步骤S5;
S3将若干张培养皿图像进行空皿期清晰度计算,选取采集图像中清晰度值最高的一张作为所述培养皿的空皿期胚胎图像,并记录该图像对应的拍摄时间,将该图像所对应的CCD相机高度设定为所述培养皿的空皿期焦平面,转步骤S6;
S4将若干张培养皿图像进行细胞卵裂期清晰度计算,选取采集图像中清晰度值最高的一张作为所述培养皿的细胞卵裂期胚胎图像,并记录该图像对应的拍摄时间,将该图像所对应的CCD相机高度设定为所述培养皿的细胞期焦平面,转步骤S6;
S5将若干张培养皿图像进行囊胚期清晰度计算,选取采集图像中清晰度值最高的一张作为所述培养皿的囊胚期胚胎图像,并记录该图像对应的拍摄时间,将该图像所对应的CCD相机高度设定为所述培养皿的囊胚期焦平面,转步骤S6;
S6将所述培养皿的空皿期胚胎图像、细胞卵裂期胚胎图像、囊胚期胚胎图像及其对应的拍摄时间、清晰度值整合输出基于胚胎发育图像的多阶段智能分析报告,并将所述培养皿的空皿期焦平面、细胞期焦平面、囊胚期焦平面信息传输至CCD相机控制器作为CCD相机在所述培养皿对应发育期的预设焦平面。
优选地,步骤S2中所述计算机分类模型采用YOLO网络实现,将输入至模型的培养皿图像进行分析计算,输出空皿期、细胞卵裂期、囊胚期的类别标签,对于具有细胞卵裂期、囊胚期标签的培养皿图像标注目标定位和分割,保留目标边框内的图像。
优选地,步骤S3中空皿期清晰度计算的方法为:
S31将培养皿图像进行限制对比度的自适应直方图均衡化处理以提高图像对比度;
S32采用Laplacian算子分别对每一张细胞图像进行处理:
对一个连续函数f(x,y),在位置(x,y)的拉普拉斯值为Laplacian(f);
S33计算图像的方差作为细胞卵裂期清晰度值:
式中,S2为图像方差,方差反映图像的高频部分,即对比度越大,方差越大,是评价图像清晰度的重要指标;n为图像像素总数;为图像平均灰度值。图像的方差是计算每个像元的灰度值减去图像平均灰度值的平方和除以总的像素个数;
S34选取评分最高的一张细胞图像作为空皿期胚胎图像。
优选地,步骤S4中对每张培养皿图像进行下述计算,选取细胞卵裂期清晰度值最高的图像作为培养皿的囊胚期胚胎图像,具体步骤包括:
S41对培养皿图像进行全局直方图均衡化以提高图像对比度;
S42用高斯滤波器进行滤波以平滑图像;
S44遍历所有像素,判断该像素的梯度大小G在该像素梯度方向θ上是否是其邻域中的局部最大值,是则转步骤S45,否则将该像素的梯度大小G置为0;
S45将该像素的梯度大小G与设置的两个阈值tmin和tmax相比较,遍历所有像素,梯度大小G大于阈值tmax的像素被归为确定边缘像素从而被保留;小于阈值tmin的像素被认为不属于边缘从而被丢弃,介于两个阈值之间的像素,如果连接到确定边缘像素则被保留,否则被丢弃;
S46计算图像的方差作为细胞卵裂期清晰度值:
优选地,步骤S5中对每张培养皿图像进行下述计算,选取囊胚期期清晰度值最高的图像作为培养皿的囊胚期胚胎图像,具体步骤包括:
S51对培养皿图像的囊胚中心区域进行掩膜处理:
S52采用Sobel卷积核提取水平和垂直方向的梯度值Gx、Gy,得到图像I在点(x,y)处的梯度值S(x,y)
S53计算培养皿图像的Ten值:
式中,n为图像像素总数,Ten值越高则图像清晰度越高。
优选地,所述时差培养箱内包括若干个培养皿,对于每一个培养皿,CCD相机按照指定时间间隔、指定步进遍历焦平面的不同位置拍摄该培养皿的图像,然后调整至下一个培养皿。
优选地,步骤S51进行掩膜处理时对囊胚图像中心20%到80%的区域进行全黑掩膜处理。
本发明还提出一种基于胚胎发育图像的多阶段智能分析系统,其特殊之处在于,包括计算机分类模型、定位分割模块、空皿期清晰度计算模块、细胞分裂期清晰度计算模块、囊胚期清晰度计算模块、输出模块和CCD相机:其中,
所述计算机分类模型:用于通过YOLO网络将输入至模型的培养皿图像输出空皿期、细胞卵裂期、囊胚期的类别标签,将具有细胞卵裂期、囊胚期类别标签的培养皿图像输出至定位分割模块、将具有空皿期类别标签的培养皿图像输出至空皿期清晰度计算模块;
所述定位分割模块:用于对具有细胞卵裂期、囊胚期标签的培养皿图像标注目标定位和分割,保留目标边框内的图像后分别输出至细胞分裂期清晰度计算模块、囊胚期清晰度计算模块;
所述空皿期清晰度计算模块:用于计算每张培养皿图像的空皿期清晰度,并选取空皿期清晰度值最高的一张作为所述培养皿的空皿期胚胎图像,发送至输出模块;
所述细胞分裂期清晰度计算模块:用于计算每张培养皿图像的细胞分裂期清晰度,并选取细胞分裂期清晰度值最高的一张作为所述培养皿的细胞卵裂期胚胎图像,发送至输出模块;
所述囊胚期清晰度计算模块:用于计算每张培养皿图像的囊胚期清晰度,并选取囊胚期清晰度值最高的一张作为所述培养皿的囊胚期胚胎图像,发送至输出模块;
所述输出模块:用于将所述培养皿的空皿期胚胎图像、细胞卵裂期胚胎图像、囊胚期胚胎图像及其对应的拍摄时间、清晰度值整合输出基于胚胎发育图像的多阶段智能分析报告,并将所述培养皿的空皿期焦平面、细胞期焦平面、囊胚期焦平面信息传输至CCD相机控制器;
所述CCD相机:用于采集时差培养箱内所有培养皿的胚胎图像,将采集的胚胎图像发送至计算机分类模型,并将所述培养皿的空皿期焦平面、细胞期焦平面、囊胚期焦平面信息作为CCD相机在所述培养皿对应发育期的预设焦平面。
进一步地,所述YOLO网络包括24层卷积层,4层池化层以及2层全连接层:
所述卷积层:用于将培养皿图像经过特征提取公式提取特征图:
conv(i,j)=X*W=∑m∑nx(i+m,j+n)w(m,n)
式中X表示输入的图像,W表示卷积核,conv(i,j)表示图像(i,j)点的卷积值,m,n用于遍历卷积核。
所述池化层:用于降低特征图的大小,保留更加有效的特征值,采用的池化公式为:
所述全连接层:用于输出维度为S*S*(C+B*5)、特征向量的各维度对应内容为S*S*C个物体类别概率值,S代表网格数,B代表边框数,C代表训练集包含的类别数。
基于上述方法,本发明还提出一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。
本发明的有益效果为:
1、本发明针对不同胚胎图像的不同类别,根据不同的清晰度要求,分别构建合适的胚胎图像清晰度评分方法。
2、本发明构建有效的胚胎定位、分割与分类的AI模型,能够自动地完成对胚胎特征提取、模型训练及预测,识别过程中无需人工干预,AI模型能够直接输出每组的清晰图像,top1准确率达到88%,top2准确率达到98%,远远超越了传统图像处理方法的准确率。
3、本发明提供的系统可以实现对胚胎发育的全过程进行实时监控。时差培养箱在拍摄胚胎的过程中不断地将拍摄到的每张胚胎图像上传至服务器,本发明提出的模型可以在0.07s时间内输出预测结果,实时高效,达到对胚胎发育整个过程的实时监控,可以帮助医生快速挑选出清晰图片,对胚胎做出判断。
附图说明
图1为本发明一种基于胚胎发育图像的多阶段智能分析方法的流程图。
图2为YOLO网络结构。
图3为细胞卵裂期、囊胚期、空皿期的目标检测样例示意图。
图4空皿期模糊图像示意图,其中,(a)为模糊图像,(b)为限制对比度自适应直方图均衡化处理后的图像,(c)为Laplacian算子处理后的图像。
图5空皿期清晰图像示意图,其中,(a)为清晰图像,(b)为限制对比度自适应直方图均衡化处理后的图像,(c)为Laplacian算子处理后的图像。
图6为细胞卵裂期模糊图像示意图,其中,(a)为模糊图像裁剪所得原图,(b)直方图均衡化处理后的图像,(c)canny边缘检测处理后的图像。
图7为细胞卵裂期清晰图像示意图,其中,(a)为清晰图像裁剪所得原图,(b)直方图均衡化处理后的图像,(c)canny边缘检测处理后的图像。
图8为不同焦距拍摄所得囊胚图像。
图9为经掩膜处理的囊胚图像。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
如图1所示,本发明一种基于胚胎发育图像的多阶段智能分析方法,用于分析在时差培养箱内胚胎图像的清晰度,胚胎图像为胚胎从单细胞发育到囊胚过程中采集的图像。具体包括如下步骤:
S1 CCD相机按指定时间间隔、指定步进位移采集时差培养箱内若干张培养皿图像;
S2将采集的培养皿图像输入至计算机分类模型,输出所述培养皿图像对应的发育期,所述培养皿图像对应空皿期转步骤S3,对应细胞卵裂期转步骤S4,对应囊胚期转步骤S5;
S3将若干张培养皿图像进行空皿期清晰度计算,选取采集图像中清晰度值最高的一张作为所述培养皿的空皿期胚胎图像,并记录该图像对应的拍摄时间,将该图像所对应的CCD相机高度设定为所述培养皿的空皿期焦平面,转步骤S6;
S4将若干张培养皿图像进行细胞卵裂期清晰度计算,选取采集图像中清晰度值最高的一张作为所述培养皿的细胞卵裂期胚胎图像,并记录该图像对应的拍摄时间,将该图像所对应的CCD相机高度设定为所述培养皿的细胞期焦平面,转步骤S6;
S5将若干张培养皿图像进行囊胚期清晰度计算,选取采集图像中清晰度值最高的一张作为所述培养皿的囊胚期胚胎图像,并记录该图像对应的拍摄时间,将该图像所对应的CCD相机高度设定为所述培养皿的囊胚期焦平面,转步骤S6;
S6将所述培养皿的空皿期胚胎图像、细胞卵裂期胚胎图像、囊胚期胚胎图像及其对应的拍摄时间、清晰度值整合输出基于胚胎发育图像的多阶段智能分析报告,并将所述培养皿的空皿期焦平面、细胞期焦平面、囊胚期焦平面信息传输至CCD相机控制器作为CCD相机在所述培养皿对应发育期下一时刻的预设焦平面。
时差培养箱内包括若干个培养皿,对于每一个培养皿,CCD相机按照指定时间间隔、指定步进遍历焦平面的不同位置拍摄该培养皿的图像,然后调整至下一个培养皿。
CCD相机拍摄所得胚胎图像包含细胞、囊胚以及空皿图像,不同类别的图像所要求的清晰特征不同,要求高清晰度的区域也不同。如何针对不同类别的图像分别构建合适的评分体系是本发明需要解决的关键问题。基于提出的关键问题,本发明的实施过程包括:
(1)收集不同形态的胚胎图像,组织专家指导分别完成对细胞、囊胚和空皿的定位标注。将标注好的图像划分为训练集、验证集和测试集;
(2)使用训练集中的胚胎图像进行训练,得到训练后的网络模型;
(3)利用训练模型对测试集胚胎数据进行定位与分割;
(4)使用建立好的评分模型分别对细胞、囊胚和空皿进行评分,输出得分最高的图像即为最清晰的胚胎图像。
1.数据收集与预处理阶段
本发明从不同生殖中心收集了大量授精后在时差培养箱中的胚胎图像,人工进行定位打上标签,将打上标签后的胚胎图像作为训练集。
2.网络模型构建与训练
本发明主要采用YOLO(you only look once)算法对胚胎进行定位与分割。该算法的核心思想是将一幅图像分成S*S个网格(grid cell),如果某个物体(object)的中心落在这个网格中,则这个网格就负责预测这个物体。每个网格要预测B个边框(bounding box),每个边框除了要回归自身的位置之外,还要附带预测一个置信度(confidence)。这个值代表了所预测的边框中含有物体的置信度和这个边框预测的准确度两重信息,其值为:
每个网格预测的类别(class)信息和边框预测的置信度相乘,就得到每个边框的类置信度(class-specific confidence score),之后再设置阈值,滤掉得分低的边框,对保留的边框进行非极大抑制(NMS)处理,就得到最终的检测结果。
该网络主要包括24层卷积层,4层池化层以及2层全连接层。如图2所示。
(1)在卷积层中,胚胎图像经过公式(1)可以提取到有效的特征信息得到特征图。多次运用公式(3)可以将特征图由局部视野逐渐扩张到全局视野,进而得到胚胎图像由不同局部组成的全局信息。
conv(i,j)=X*W=∑m∑nx(i+m,j+n)w(m,n) (3)
其中X表示输入的图像,W表示卷积核,conv(i,j)表示图像(i,j)点的卷积值,m,n用于遍历卷积核。
(2)池化层能够地降低特征图的大小,保留更加有效的特征值,从而降低计算量。本发明中采用的池化方法如公式(4)所示
(3)在全连接层中,S代表网格数,B代表边框数,C代表训练集包含的类别数。全连接层的输出维度为S*S*(C+B*5),输出特征向量的各维度对应内容为S*S*C个物体类别概率值,S*S*B个置信度值,S*S*B*4个坐标值,由此得到待检测的目标信息。在本发明中,类别分为细胞、囊胚、空皿3类,C取值为3,S、B值通过模型学习得到。目标检测样例如图3所示,其中(a)、(b)、(c)分别为细胞卵裂期、囊胚期、空皿期的目标检测样例。
网络模型构建完成后,利用专家标注的胚胎数据测试集进行训练,获取训练后的模型和参数。将训练集中的图像缩放至448×448,按照前向传播的方式,通过7×7的卷积并池化后,得到112×112的特征图,再经过3个包含有三个卷积的卷积块处理并池化后,可以得到56×56的特征图,依次再经过4、23、3个包含有三个卷积的卷积块并池化后,最终可以得到7×7的特征图。
3.定位与分割
将测试集中的胚胎图像作为输入,将输入至模型的培养皿图像进行分析计算,输出空皿期、细胞卵裂期、囊胚期的类别标签,对于具有细胞卵裂期、囊胚期标签的培养皿图像标注目标定位和分割,保留目标边框内的图像。因为模糊图像存在误判类别的情况,对于同时输入的一组图像,根据最大投票法则,由多数胚胎图像的类别决定一组图像属于细胞卵裂、囊胚还是空皿类型。
4.清晰度分析
(1)空皿期图像清晰度分析
当网络模型输出分类结果为空皿图像,先对空皿图像进行限制对比度的自适应直方图均衡化来提高图像对比度,再采用Laplacian算子对细胞图像进行处理。
空皿期模糊图像、清晰图像的处理过程分别如图4、图5所示,图4中,(a)为模糊图像,(b)为限制对比度自适应直方图均衡化处理后的图像,(c)为Laplacian算子处理后的图像。图5中,(a)为清晰图像,(b)为限制对比度自适应直方图均衡化处理后的图像,(c)为Laplacian算子处理后的图像。
Laplacian算子是n维欧几里德空间中的一个二阶微分算子。二阶导数可以用来进行检测边缘。
Laplacian算子的定义为
对一个连续函数f(x,y),在位置(x,y)的拉普拉斯值为Laplacian(f)。
在处理二维图像时,常体现为以该3×3的filter mask在原图上逐行移动,将mask中数值与其重合的像素相乘后求和,然后赋给与mask中心重合的像素,得到Laplacian算子处理后的图像,如图4、图5中(c)所示。
计算图像的方差作为细胞卵裂期清晰度值:
式中,S2为图像方差,方差反应图像的高频部分,即对比度越大,方差越大,是评价图像清晰度的重要指标;n为图像像素总数;为图像平均灰度值。图像的方差是计算每个像元的灰度值减去图像平均灰度值的平方和除以总的像素个数。
最后计算所得图像的方差作为评分,评分越高则图像清晰度越高,选取评分最高的一张细胞图像作为空皿期胚胎图像。
(2)细胞卵裂期图像清晰度分析
先对细胞图像(如图6、图7中(a)所示),进行全局直方图均衡化来提高图像对比度,如图6、图7中(b)所示。再根据Canny检测原理,采用Canny算子对细胞图像进行评分。Canny检测算法首先用5*5的高斯滤波器进行滤波来平滑图像,然后对平滑后的图像计算水平方向梯度Gx和竖直方向梯度Gy,再计算出每个像素的梯度大小梯度方向得到每个像素的梯度大小和方向后,遍历每个像素,判断该像素的梯度大小在该像素梯度方向上是否是其邻域中的局部最大值。如果是局部最大值则进入下一步,否则判断该像素不是边缘,该像素被置为0。最后设置两个阈值tmin和tmax,遍历所有像素,梯度大小大于tmax的像素被归为确定边缘像素从而被保留;小于tmin的像素被认为不属于边缘从而被丢弃。对于介于两者之间的像素,如果它们连接到确定边缘像素则被保留,否则也被丢弃。通过以上操作得到Canny边缘检测处理后的图像,如图6、图7中(c)所示。最后计算所得图像的方差作为评分。
评分越高则图像清晰度越高,将评分最高的图像作为细胞卵裂期胚胎图像。
(3)囊胚期图像清晰度分析
对于囊胚期的图像,相比与囊胚的中心区域,医生更需要囊胚细胞边缘胚腔的清晰度。以图8为例,(a)(b)为同一胚胎同一时期不同焦距下拍摄的图像,前者对于医生而言是更有参考价值的图像。
因此,本发明对囊胚图像中心20%到80%的区域进行全黑掩膜处理,经验证能获得最好的识别效果,设置掩膜如图9所示。后采用tenegrad算子进行评分,该算子采用Sobel卷积核Gx,Gy提取水平和垂直方向的梯度值,图像I在点(x,y)处的梯度值
定义该图像的tenegrad值为
其中n为图像像素总数。Ten值越高则图像清晰度越高。
对每组图像进行评分,将最清晰排名第一的图像作为囊胚期胚胎图像与准确率等信息一起输出。
时差培养箱内每个培养皿包括空皿期、细胞卵裂期和囊胚期,在每个发育期内,CCD相机采集很多个时刻拍摄的图像,每个时刻找到最清晰的位置都是下一个时刻拍照时的预设位置。空皿期胚胎图像、细胞卵裂期胚胎图像、囊胚期胚胎图像拍摄时所对应的CCD相机高度分别为该培养皿的空皿期焦平面、细胞期焦平面、囊胚期焦平面。将培养皿的空皿期焦平面、细胞期焦平面、囊胚期焦平面信息传输至CCD相机控制器作为CCD相机下一时刻在所述培养皿的预设焦平面。最后,将培养皿的空皿期胚胎图像、细胞卵裂期胚胎图像、囊胚期胚胎图像及其对应的拍摄时间、清晰度值整合输出基于胚胎发育图像的多阶段智能分析报告。
基于上述方法,本发明提出的一种基于胚胎发育图像的多阶段智能分析系统,包括计算机分类模型、定位分割模块、空皿期清晰度计算模块、细胞分裂期清晰度计算模块、囊胚期清晰度计算模块、输出模块和CCD相机:其中,
计算机分类模型:用于通过YOLO网络将输入至模型的培养皿图像输出空皿期、细胞卵裂期、囊胚期的类别标签,将具有细胞卵裂期、囊胚期类别标签的培养皿图像输出至定位分割模块、将具有空皿期类别标签的培养皿图像输出至空皿期清晰度计算模块。
定位分割模块:用于对具有细胞卵裂期、囊胚期标签的培养皿图像标注目标定位和分割,保留目标边框内的图像后分别输出至细胞分裂期清晰度计算模块、囊胚期清晰度计算模块。
空皿期清晰度计算模块:用于计算每张培养皿图像的空皿期清晰度,并选取空皿期清晰度值最高的一张作为所述培养皿的空皿期胚胎图像,发送至输出模块。
细胞分裂期清晰度计算模块:用于计算每张培养皿图像的细胞分裂期清晰度,并选取细胞分裂期清晰度值最高的一张作为所述培养皿的细胞卵裂期胚胎图像,发送至输出模块。
囊胚期清晰度计算模块:用于计算每张培养皿图像的囊胚期清晰度,并选取囊胚期清晰度值最高的一张作为所述培养皿的囊胚期胚胎图像,发送至输出模块。
输出模块:用于将所述培养皿的空皿期胚胎图像、细胞卵裂期胚胎图像、囊胚期胚胎图像及其对应的拍摄时间、清晰度值整合输出基于胚胎发育图像的多阶段智能分析报告,并将所述培养皿的空皿期焦平面、细胞期焦平面、囊胚期焦平面信息传输至CCD相机控制器。
CCD相机:用于采集时差培养箱内所有培养皿的胚胎图像,将采集的胚胎图像发送至计算机分类模型,并将所述培养皿的空皿期焦平面、细胞期焦平面、囊胚期焦平面信息作为CCD相机在所述培养皿对应发育期的预设焦平面。
本发明提供的胚胎清晰度识别模型可以实现对胚胎发育的全过程进行实时监控。时差培养箱在拍摄胚胎的过程中不断地将拍摄到的每张胚胎图像上传至服务器,模型可以在0.07s时间内输出预测结果,达到对胚胎发育整个过程的实时监控,可以帮助医生快速挑选出清晰图片,对胚胎做出判断。
本发明基于Laplacian算子的清晰度算法对空皿、细胞和囊胚图像都先进行限制对比度的直方图自适应均衡化,后采用Laplacian算子进行评分。由表1可知该算法在处理空皿图像时准确率最高,能达到98.5%,而在处理其他图像时准确率很不理想。基于Canny算子的清晰度算法对所有图像都先进行全局直方图均衡化后采用Canny算子进行评分,如表1所示,该算法对识别细胞图像准确率最高,能达到99.5%,处理其他图像时准确率同样不够理想。
表1不同算法所得最清晰图像的准确率比较
基于多阶段级联分析的清晰度算法首先将每组胚胎图像作为输入,然后通过YOLO网络对图像中的胚胎区域定位,对定位区域进行裁剪,并利用最大投票法则判断每一组属于哪一种细胞图像(单或多细胞、囊胚细胞、空皿),最后对不同类型的细胞图像采取不同的清晰度评价算法。处理空皿图像时采用了基于Laplacian算子的算法,准确率达到了98.5%;处理细胞图像时采用了基于Canny算子的算法,准确率达到了99.5%;而在处理囊胚图像时,先对图像进行掩膜处理,然后采用了Tenengrad算子进行评分,准确率达到了99.0%。从平均准确率可以看出,基于多阶段级联分析的清晰度算法显著优于使用单一方法的其他清晰度算法。
实验效果证明:
(1)本发明的AI模型能够直接输出每组的清晰图像,top1准确率达到98%,远远超越了传统图像处理方法的准确率;
(2)本文用于胚胎细胞清晰度识别的AI模型能够自动地完成胚胎图像的分类、定位和分割,对分类后的图像进行评分,识别过程中无需人工干预;
(3)实时高效,本文的AI模型于Intel(R)Core(TM)i7-8700 CPU@3.20GHz,16G内存,NVIDIA GeForce GTX1070的电脑上进行测试,单张图像的识别速度可以达到0.07s,识别效率远远优于传统图像处理方法,可以满足工业实时性要求。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (7)
1.一种基于胚胎发育图像的多阶段智能分析方法,其特征在于:所述方法用于分析在时差培养箱内胚胎图像的清晰度,所述胚胎图像为胚胎从单细胞发育到囊胚过程中采集的图像,包括如下步骤:
S1 CCD相机按指定时间间隔、指定步进位移采集时差培养箱内若干张培养皿图像;
S2将采集的培养皿图像输入至计算机分类模型,输出所述培养皿图像对应的发育期,所述培养皿图像对应空皿期转步骤S3,对应细胞卵裂期转步骤S4,对应囊胚期转步骤S5;
S3将若干张培养皿图像进行空皿期清晰度计算,选取采集图像中清晰度值最高的一张作为所述培养皿的空皿期胚胎图像,并记录该图像对应的拍摄时间,将该图像所对应的CCD相机高度设定为所述培养皿的空皿期焦平面,转步骤S6;
空皿期清晰度计算的方法为:
S31将培养皿图像进行限制对比度的自适应直方图均衡化处理以提高图像对比度;
S32采用Laplacian算子分别对每一张细胞图像进行处理,对于一个连续函数f(x,y),在位置(x,y)的拉普拉斯值为Laplacian(f):
S33计算图像的方差作为空皿期清晰度值:
式中,S2为图像方差,方差反映图像的高频部分,用于评价图像清晰度,即对比度越大,方差越大;n为图像像素总数;x%为图像平均灰度值,图像的方差是计算每个像元的灰度值减去图像平均灰度值的平方和除以总的像素个数;
S34选取评分最高的一张细胞图像作为空皿期胚胎图像;
S4将若干张培养皿图像进行细胞卵裂期清晰度计算,选取采集图像中清晰度值最高的一张作为所述培养皿的细胞卵裂期胚胎图像,并记录该图像对应的拍摄时间,将该图像所对应的CCD相机高度设定为所述培养皿的细胞期焦平面,转步骤S6;
对每张培养皿图像进行下述计算,具体步骤包括:
S41对培养皿图像进行全局直方图均衡化以提高图像对比度;
S42用高斯滤波器进行滤波以平滑图像;
S44遍历所有像素,判断该像素的梯度大小G在该像素梯度方向θ上是否是其邻域中的局部最大值,是则转步骤S45,否则将该像素的梯度大小G置为0;
S45将该像素的梯度大小G与设置的两个阈值tmin和tmax相比较,遍历所有像素,梯度大小G大于阈值tmax的像素被归为确定边缘像素从而被保留;小于阈值tmin的像素被认为不属于边缘从而被丢弃,介于两个阈值之间的像素,如果连接到确定边缘像素则被保留,否则被丢弃;
S46计算图像的方差作为细胞卵裂期清晰度值:
式中,S2为图像方差,方差反映图像的高频部分,用于评价图像清晰度,即对比度越大,方差越大;n为图像像素总数;x%为图像平均灰度值,图像的方差是计算每个像元的灰度值减去图像平均灰度值的平方和除以总的像素个数;
S5将若干张培养皿图像进行囊胚期清晰度计算,选取采集图像中清晰度值最高的一张作为所述培养皿的囊胚期胚胎图像,并记录该图像对应的拍摄时间,将该图像所对应的CCD相机高度设定为所述培养皿的囊胚期焦平面,转步骤S6;
对每张培养皿图像进行下述计算,选取囊胚期清晰度值最高的图像作为培养皿的囊胚期胚胎图像,具体步骤包括:
S51对培养皿图像的囊胚中心区域进行掩膜处理:
S52采用Sobel卷积核提取水平和垂直方向的梯度值Gx、Gy,得到图像I在点(x,y)处的梯度值S(x,y)
S53计算培养皿图像的Ten值:
式中,n为图像像素总数,Ten值越高则图像清晰度越高
S6将所述培养皿的空皿期胚胎图像、细胞卵裂期胚胎图像、囊胚期胚胎图像及其对应的拍摄时间、清晰度值整合输出基于胚胎发育图像的多阶段智能分析报告,并将所述培养皿的空皿期焦平面、细胞期焦平面、囊胚期焦平面信息传输至CCD相机控制器作为CCD相机在所述培养皿的对应发育期的预设焦平面。
2.根据权利要求1所述的基于胚胎发育图像的多阶段智能分析方法,其特征在于:步骤S2中所述计算机分类模型采用YOLO网络实现,将输入至模型的培养皿图像进行分析计算,输出空皿期、细胞卵裂期、囊胚期的类别标签,对于具有细胞卵裂期、囊胚期标签的培养皿图像标注目标定位和分割,保留目标边框内的图像。
3.根据权利要求1所述的基于胚胎发育图像的多阶段智能分析方法,其特征在于:所述时差培养箱内包括若干个培养皿,对于每一个培养皿,CCD相机按照指定时间间隔、指定步进遍历焦平面的不同位置拍摄该培养皿的图像,然后调整至下一个培养皿。
4.根据权利要求1所述的基于胚胎发育图像的多阶段智能分析方法,其特征在于:步骤S51进行掩膜处理时对囊胚图像中心20%到80%的区域进行全黑掩膜处理。
5.一种根据权利要求1~4中任一项所述的基于胚胎发育图像的多阶段智能分析方法的多阶段智能分析系统,其特征在于:包括计算机分类模型、定位分割模块、空皿期清晰度计算模块、细胞分裂期清晰度计算模块、囊胚期清晰度计算模块、输出模块和CCD相机:其中,
所述计算机分类模型:用于通过YOLO网络将输入至模型的培养皿图像输出空皿期、细胞卵裂期、囊胚期的类别标签,将具有细胞卵裂期、囊胚期类别标签的培养皿图像输出至定位分割模块、将具有空皿期类别标签的培养皿图像输出至空皿期清晰度计算模块;
所述定位分割模块:用于对具有细胞卵裂期、囊胚期标签的培养皿图像标注目标定位和分割,保留目标边框内的图像后分别输出至细胞分裂期清晰度计算模块、囊胚期清晰度计算模块;
所述空皿期清晰度计算模块:用于计算每张培养皿图像的空皿期清晰度,并选取空皿期清晰度值最高的一张作为所述培养皿的空皿期胚胎图像,发送至输出模块;
所述细胞分裂期清晰度计算模块:用于计算每张培养皿图像的细胞分裂期清晰度,并选取细胞分裂期清晰度值最高的一张作为所述培养皿的细胞卵裂期胚胎图像,发送至输出模块;
所述囊胚期清晰度计算模块:用于计算每张培养皿图像的囊胚期清晰度,并选取囊胚期清晰度值最高的一张作为所述培养皿的囊胚期胚胎图像,发送至输出模块;
所述输出模块:用于将所述培养皿的空皿期胚胎图像、细胞卵裂期胚胎图像、囊胚期胚胎图像及其对应的拍摄时间、清晰度值整合输出基于胚胎发育图像的多阶段智能分析报告,并将所述培养皿的空皿期焦平面、细胞期焦平面、囊胚期焦平面信息传输至CCD相机控制器;
所述CCD相机:用于采集时差培养箱内所有培养皿的胚胎图像,将采集的胚胎图像发送至计算机分类模型,并将所述培养皿的空皿期焦平面、细胞期焦平面、囊胚期焦平面信息作为CCD相机在所述培养皿对应发育期的预设焦平面。
6.根据权利要求5所述的基于胚胎发育图像的多阶段智能分析方法的多阶段智能分析系统,其特征在于:所述YOLO网络包括24层卷积层,4层池化层以及2层全连接层:
所述卷积层:用于将培养皿图像经过特征提取公式提取特征图:
conv(i,j)=X*W=∑m∑nx(i+m,j+n)w(m,n)
式中X表示输入的图像,W表示卷积核,conv(i,j)表示图像(i,j)点的卷积值,m,n用于遍历卷积核;
所述池化层:用于降低特征图的大小,保留更加有效的特征值,采用的池化公式为:
所述全连接层:用于输出维度为S*S*(C+B*5)、特征向量的各维度对应内容为S*S*C个物体类别概率值,S代表网格数,B代表边框数,C代表训练集包含的类别数。
7.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210978474.8A CN115049908B (zh) | 2022-08-16 | 2022-08-16 | 基于胚胎发育图像的多阶段智能分析方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210978474.8A CN115049908B (zh) | 2022-08-16 | 2022-08-16 | 基于胚胎发育图像的多阶段智能分析方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115049908A CN115049908A (zh) | 2022-09-13 |
CN115049908B true CN115049908B (zh) | 2022-11-08 |
Family
ID=83167537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210978474.8A Active CN115049908B (zh) | 2022-08-16 | 2022-08-16 | 基于胚胎发育图像的多阶段智能分析方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115049908B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115239715B (zh) * | 2022-09-22 | 2022-12-09 | 中南大学 | 一种囊胚发育结果预测方法、系统、设备及存储介质 |
CN116051560B (zh) * | 2023-03-31 | 2023-06-20 | 武汉互创联合科技有限公司 | 基于胚胎多维度信息融合的胚胎动力学智能预测系统 |
CN116778482B (zh) * | 2023-08-17 | 2023-10-31 | 武汉互创联合科技有限公司 | 胚胎图像卵裂球目标检测方法、计算机设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018093749A (ja) * | 2016-12-08 | 2018-06-21 | 大日本印刷株式会社 | 細胞品質評価システム、プログラム及び細胞品質評価方法 |
CN109100850A (zh) * | 2017-06-20 | 2018-12-28 | 深圳华因康基因科技有限公司 | 图像清晰度识别方法和自动聚焦方法 |
TW201913565A (zh) * | 2017-08-29 | 2019-04-01 | 宣捷生物科技股份有限公司 | 胚胎影像評價方法及系統 |
CN110784649A (zh) * | 2019-11-08 | 2020-02-11 | 武汉互创联合科技有限公司 | 一种胚胎成像对焦方法及装置 |
CN110793965A (zh) * | 2019-10-31 | 2020-02-14 | 湖南爱威医疗科技有限公司 | 图像采集方法和装置、显微镜系统、计算机可读存储介质 |
CN111369523A (zh) * | 2020-03-02 | 2020-07-03 | 上海杏脉信息科技有限公司 | 显微图像中细胞堆叠的检测方法、系统、设备及介质 |
CN111681209A (zh) * | 2020-05-15 | 2020-09-18 | 武汉互创联合科技有限公司 | 卵裂球分裂状态智能检测方法及系统 |
CN111951261A (zh) * | 2020-08-24 | 2020-11-17 | 郑州中普医疗器械有限公司 | 离体生物样本检查过程的控制方法、计算机设备和控制系统 |
CN112150446A (zh) * | 2020-09-27 | 2020-12-29 | 郑州中普医疗器械有限公司 | 显微镜镜检阅片扫描方法、计算机设备和系统 |
CN113378831A (zh) * | 2021-05-07 | 2021-09-10 | 太原理工大学 | 一种小鼠胚胎器官识别与评分方法与系统 |
CN114723719A (zh) * | 2022-04-15 | 2022-07-08 | 浙江大学温州研究院 | 基于自适应关键帧选择的胚胎视频成囊预测装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110075914A1 (en) * | 2009-09-30 | 2011-03-31 | General Electric Company | System and method for the quantitative assessment of digital histology images |
-
2022
- 2022-08-16 CN CN202210978474.8A patent/CN115049908B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018093749A (ja) * | 2016-12-08 | 2018-06-21 | 大日本印刷株式会社 | 細胞品質評価システム、プログラム及び細胞品質評価方法 |
CN109100850A (zh) * | 2017-06-20 | 2018-12-28 | 深圳华因康基因科技有限公司 | 图像清晰度识别方法和自动聚焦方法 |
TW201913565A (zh) * | 2017-08-29 | 2019-04-01 | 宣捷生物科技股份有限公司 | 胚胎影像評價方法及系統 |
CN110793965A (zh) * | 2019-10-31 | 2020-02-14 | 湖南爱威医疗科技有限公司 | 图像采集方法和装置、显微镜系统、计算机可读存储介质 |
CN110784649A (zh) * | 2019-11-08 | 2020-02-11 | 武汉互创联合科技有限公司 | 一种胚胎成像对焦方法及装置 |
CN111369523A (zh) * | 2020-03-02 | 2020-07-03 | 上海杏脉信息科技有限公司 | 显微图像中细胞堆叠的检测方法、系统、设备及介质 |
CN111681209A (zh) * | 2020-05-15 | 2020-09-18 | 武汉互创联合科技有限公司 | 卵裂球分裂状态智能检测方法及系统 |
CN111951261A (zh) * | 2020-08-24 | 2020-11-17 | 郑州中普医疗器械有限公司 | 离体生物样本检查过程的控制方法、计算机设备和控制系统 |
CN112150446A (zh) * | 2020-09-27 | 2020-12-29 | 郑州中普医疗器械有限公司 | 显微镜镜检阅片扫描方法、计算机设备和系统 |
CN113378831A (zh) * | 2021-05-07 | 2021-09-10 | 太原理工大学 | 一种小鼠胚胎器官识别与评分方法与系统 |
CN114723719A (zh) * | 2022-04-15 | 2022-07-08 | 浙江大学温州研究院 | 基于自适应关键帧选择的胚胎视频成囊预测装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115049908A (zh) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115049908B (zh) | 基于胚胎发育图像的多阶段智能分析方法及系统 | |
CN109800824B (zh) | 一种基于计算机视觉与机器学习的管道缺陷识别方法 | |
CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
CN113658132B (zh) | 基于计算机视觉的结构件焊缝检测方法 | |
CN107909081B (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
WO2021139258A1 (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、系统、设备和介质 | |
CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
CN110689519B (zh) | 基于yolo网络的雾滴沉积图像检测系统和方法 | |
CN109685045A (zh) | 一种运动目标视频跟踪方法及系统 | |
CN113408584B (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
CN110992378B (zh) | 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统 | |
CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
CN110176024A (zh) | 在视频中对目标进行检测的方法、装置、设备和存储介质 | |
CN113222959B (zh) | 一种基于高光谱图像卷积神经网络的鲜枣虫眼检测方法 | |
CN112862849A (zh) | 一种基于图像分割和全卷积神经网络的田间稻穗计数方法 | |
CN111968081A (zh) | 鱼群自动计数方法、装置、电子设备及存储介质 | |
CN116543386A (zh) | 一种基于卷积神经网络的农业病虫害图像识别方法 | |
Cai et al. | A deep learning-based algorithm for crop Disease identification positioning using computer vision | |
CN114898359A (zh) | 一种基于改进EfficientDet的荔枝病虫害检测方法 | |
CN107368847B (zh) | 一种作物叶部病害识别方法及系统 | |
Ding et al. | Classification of chromosome karyotype based on faster-rcnn with the segmatation and enhancement preprocessing model | |
CN112381774A (zh) | 一种基于多角度深度信息融合的奶牛体况评分方法及系统 | |
CN111738264A (zh) | 一种机房设备显示面板数据的智能采集方法 | |
CN117132802A (zh) | 一种田间小麦病虫害识别方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |