CN116385460A - 细胞图像处理方法、装置和计算机设备 - Google Patents

细胞图像处理方法、装置和计算机设备 Download PDF

Info

Publication number
CN116385460A
CN116385460A CN202310254698.9A CN202310254698A CN116385460A CN 116385460 A CN116385460 A CN 116385460A CN 202310254698 A CN202310254698 A CN 202310254698A CN 116385460 A CN116385460 A CN 116385460A
Authority
CN
China
Prior art keywords
contour
cytoplasmic
distance
cell
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310254698.9A
Other languages
English (en)
Inventor
王雪峰
郭亚仙
周文静
励红峰
史振志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huayuehang Medical Technology Co ltd
Original Assignee
Guangzhou Huayuehang Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huayuehang Medical Technology Co ltd filed Critical Guangzhou Huayuehang Medical Technology Co ltd
Priority to CN202310254698.9A priority Critical patent/CN116385460A/zh
Publication of CN116385460A publication Critical patent/CN116385460A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本申请涉及图像处理技术领域，提供一种细胞图像处理方法、装置和计算机设备，可以自动获取卵周间隙的距离。本申请中，确定细胞图像里的透明带内轮廓区域和细胞质轮廓区域；确定透明带内轮廓区域和细胞质轮廓区域间的非重叠区域；当非重叠区域为多个时，选择面积最大的区域为目标非重叠区域，确定目标非重叠区域的最小外接矩形的倾斜角度；根据倾斜角度与细胞中心点，得到直线方程；计算直线方程分别与细胞质轮廓和透明带内轮廓的交点，根据交点间的距离，得到卵周间隙的距离。

Description

细胞图像处理方法、装置和计算机设备
技术领域
本申请涉及图像处理技术领域，特别是涉及一种细胞图像处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
卵母细胞是决定IVF-ET(In Vitro Fertilization and Embryo Transfer，人工受精和体外受精-胚胎移植)妊娠率的关键因素，卵母细胞的质量可影响受精率、早期胚胎发育、妊娠维持和胎儿发育。为此，有必要对卵母细胞进行特征分析。
卵周间隙为卵母细胞或原核胚胎的细胞质区域与透明带内层间的狭窄空隙。卵周间隙在正常情况下距离应适中，无异物，卵周间隙过大往往伴随着卵子或原核胚胎异常。但是卵周间隙的距离的目前获取方式为人工获取，效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种细胞图像处理方法、装置、计算机设备、存储介质和计算机程序产品。
本申请提供一种细胞图像处理方法，所述方法包括：
确定细胞图像里的透明带内轮廓区域和细胞质轮廓区域；
获取所述透明带内轮廓区域和细胞质轮廓区域间的非重叠区域；
当所述非重叠区域为多个时，选择面积最大的区域为目标非重叠区域，确定所述目标非重叠区域的最小外接矩形的倾斜角度；
根据所述倾斜角度与细胞中心点，得到直线方程；
计算所述直线方程分别与细胞质轮廓和透明带内轮廓的交点，根据交点间的距离，得到卵周间隙的距离。
在一个实施例中，所述细胞图像可以是卵母细胞图像，也可以是原核胚胎图像。
在一个实施例中，在计算所述直线方程分别与细胞质轮廓和透明带内轮廓的交点之前，所述方法还包括：
对所述细胞图像进行分割，得到细胞掩膜；
对所述细胞掩膜进行轮廓提取，得到细胞质轮廓。
在一个实施例中，在对所述细胞掩膜进行轮廓提取，得到细胞质轮廓之后，所述方法还包括：
根据细胞质轮廓，得到细胞的周长和面积；
基于所述细胞的周长和面积，得到细胞的圆度。
在一个实施例中，在对所述细胞掩膜进行轮廓提取，得到细胞质轮廓之后，所述方法还包括：
获取轮廓像素点到细胞中心点的平均距离；所述轮廓像素点是细胞质轮廓上的像素点；
获取轮廓像素点到细胞中心点的距离与平均距离的偏差；
根据平均距离和偏差之间的关系，得到细胞的圆度。
在一个实施例中，所述方法还包括：
将所述细胞图像输入目标检测网络，得到极体预测框；
根据所述极体预测框的大小，计算极体的直径。
在一个实施例中，所述方法还包括：
从所述细胞图像里分割出透明带的掩膜；
当所述透明带的掩膜被完整分割时，检测得到透明带内轮廓和透明带外轮廓，并对所述透明带外轮廓进行采样，得到多个外轮廓采样点；
获取多个所述外轮廓采样点与所述透明带外轮廓的中心点间的连线，基于所述连线与所述透明带内轮廓的相交情况，得到与所述外轮廓采样点对应的内轮廓采样点；
基于所述外轮廓采样点与对应的所述内轮廓采样点间的距离，确定所述透明带的厚度。
在一个实施例中，基于所述外轮廓采样点与对应的所述内轮廓采样点间的距离，确定所述透明带的厚度之前，所述方法还包括：
当所述透明带的掩膜未被完整分割时，检测得到非完整透明带轮廓；
获取所述非完整透明带轮廓的中心点分别与方位角集合里的各方位角间的直线方程；
根据所述直线方程与所述非完整透明带轮廓产生的两个交点，确定相互对应的外轮廓采样点和内轮廓采样点。
本申请提供一种细胞图像处理装置，所述装置包括：
区域提取模块，用于确定细胞图像里的透明带内轮廓区域和细胞质轮廓区域；
非重叠区域获取模块，用于获取所述透明带内轮廓区域和细胞质轮廓区域间的非重叠区域；
角度确定模块，用于当所述非重叠区域为多个时，选择面积最大的区域为目标非重叠区域，确定所述目标非重叠区域的最小外接矩形的倾斜角度；
直线确定模块，用于根据所述倾斜角度与细胞中心点，得到直线方程；
卵周间距获取模块，用于计算所述直线方程分别与细胞质轮廓和透明带内轮廓的交点，根据交点间的距离，得到卵周间隙的距离。
本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述方法。
本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述方法。
本申请提供一种计算机程序产品，其上存储有计算机程序，所述计算机程序被处理器执行上述方法。
上述细胞图像处理方法、装置、计算机设备、存储介质和计算机程序产品中，确定细胞图像里的透明带内轮廓区域和细胞质轮廓区域；确定透明带内轮廓区域和细胞质轮廓区域间的非重叠区域；当非重叠区域为多个时，选择面积最大的区域为目标非重叠区域，确定目标非重叠区域的最小外接矩形的倾斜角度；根据倾斜角度与细胞中心点，得到直线方程；计算直线方程分别与细胞质轮廓和透明带内轮廓的交点，根据交点间的距离，自动得到卵周间隙的距离，无需人工介入，提高卵周间隙的距离的获取效率。
附图说明
图1为一个实施例中细胞图像处理方法的流程示意图；
图2为一个实施例中分析卵周间距涉及的相关图；
图3为一个实施例中FCN的网络结构图；
图4为一个实施例中细胞分割模型的网络结构图；
图5为一个实施例中细胞图像处理方法的流程示意图；
图6为一个实施例中极体的相关示意图；
图7(a)为一个实施例中被完整分割的透明带掩膜的示意图；
图7(b)为一个实施例中掩膜被完整分割情况下的轮廓采样示意图；
图8(a)为一个实施例中未被完整分割的透明带掩膜的示意图；
图8(b)为一个实施例中掩膜未被完整分割情况下的轮廓采样示意图；
图9为一个实施例中透明带厚度的波形图；
图10(a)为一个实施例中对应卵周间隙较小的胚胎图例；
图10(b)为一个实施例中对应卵周间隙较大的胚胎图例；
图10(c)为一个实施例中对应卵周间隙较小的卵母细胞ROI图例；
图10(d)为一个实施例中对应卵周间隙较大的卵母细胞ROI图例；
图10(e)为一个实施例中对应卵周间隙较小的卵周间隙图例；
图10(f)为一个实施例中对应卵周间隙较大的卵周间隙图例；
图11为一个实施例中细胞图像处理装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
以下对与本申请相关的技术术语进行介绍：
IVF-ET：(In Vitro Fertilization and Embryo Transfer)人工受精和体外受精-胚胎移植。
ZP：Zona Pellucida，透明带，透明带是在卵母细胞周围的一圈无结构、嗜酸性的明胶样物质，由卵母细胞及其外围的卵泡细胞于卵的生长发育过程中共同分泌而成。
ART：Assisted Reproductive Technology，辅助生殖技术，采用医疗辅助手段使不育夫妇妊娠的技术。
Oocytes：卵母细胞，在卵子发生过程中进行减数分裂的卵原细胞。
ICSI：intracytoplasmic sperm injection，卵胞浆内单精子显微注射技术，借助显微操作系统将单一精子注射入卵子内使其受精。
FCN：fully convolutional network，全卷积神经网络，全卷积神经网络，全卷积网络(Fully Convolutional Networks，FCN)用于图像语义分割的一种框架。
本申请提供的细胞图像处理方法主要是对卵母细胞或者胚胎进行特征分析，该特征分析包括：测量卵周间隙的距离。该方法包括图1示出的步骤：
步骤S101，确定细胞图像里的透明带内轮廓区域和细胞质轮廓区域。
其中，细胞图像可以是卵母细胞图像，可以是原核胚胎图像。通过透明带分割模型，从细胞图像提取出透明带掩膜，以确定细胞图像里的透明带内轮廓区域，如图2(a)所示；通过细胞分割模型，从细胞图像提取出细胞掩膜，以确定细胞图像里的细胞质轮廓区域，如图2(b)所示；当细胞图像为卵母细胞图像时，该细胞质轮廓区域为卵母细胞的轮廓区域，当细胞图像为原核胚胎图像时，该细胞质轮廓区域为原核胚胎的轮廓区域。
透明带分割模型可以基于deeplabV3、Unet、UneXt、FCN等网络构建。在本申请实施例中，透明带分割模型是基于图3所示的FCN网络构建的，FCN网络可接受任意尺寸的输入图像(Input_image)，采用反卷积对最后一个卷积层的特征图(Feature_map)进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测(Pixelwiseprediction)，同时保留了输入图像中的原始空间信息，最后在上采样的特征图上进行逐像素分类。
对于透明带的语义分割，为了获得良好的分割精度，可以对多种语义分割方法进行测试，其中包含了deeplabV3、Unet、UneXt、FCN-resnet50、FCN-resnet101等分割网络，FCN-Resnet101则更适合完成透明带的分割任务，均衡了特征提取对细节的要求和分类准确度。
为了得到透明带分割模型，可以进行分割训练，在进行分割训练时可以使用数据标注工具，选择细胞图像进行标记，标记分割区域，设置分类标签，标签可以分为两类：0：背景(背景无需标注)，1：透明带区域。将标记好的细胞图像数据集按照3：1的比率分为训练集和验证集，对输入的原始数据进行规划和数据增强处理，然后进行迭代训练获得透明带分割模型，再根据透明带分割模型获取透明带掩膜。
当细胞图像为卵母细胞图像时，细胞分割模型主要用于分割细胞图像里的卵母细胞，当细胞图像为原核胚胎图像时，细胞分割模型主要用于分割细胞图像里的原核胚胎，细胞分割模型可以采用实例分割网络，例如Solov2、BCnet、maskRCNN等方法，对细胞图像的细胞进行实例分割。在本申请实施例中，细胞分割模型采用MaskRCNN，MaskRCNN是基于Faster-RCNN的框架，在基础特征网络之后又加入了全连接的分割网络，由原来的两个任务(分类+回归)变为了三个任务(分类+回归+分割)。Mask R-CNN采用和Faster R-CNN相同的两个阶段，对FastRCNN的每个proposalbox都使用FCN进行语义分割。MaskRCNN的主干网络由ResNet50和FPN构成，残差网络结构确保再堆叠网络的过程中，网络不会出现退化，而FPN则同时利用了底层特征图的空间信息和高层特征图的语义信息。通过MaskRCNN网络模型的训练，输入原始的细胞图像，通过细胞分割模型推理可获取卵母细胞或者原核胚胎的细胞掩膜C_mask和细胞中心点O_c。与此同时可以根据卵母细胞或者原核胚胎的细胞掩膜C_mask提取细胞质轮廓C_p，如图4所示。
对于细胞实例分割，可以采用Solov2、BCnet、maskRCNN等方法进行测试，选择Mask-RCNN，使用Mask-RCNN不仅能处理物体检测问题，还能处理语义分割问题，同时，对于Faster RCNN的ROI pooling layer两次量化，无法将feature map与原像素精准对齐的问题，Mask RCNN将ROI pooling替换为ROIAlign。ROIAlign能将像素对齐，满足了图像语义分割的准确度要求。
步骤S102，获取透明带内轮廓区域和细胞质轮廓区域间的非重叠区域。
将所得到的如图2(a)所示的透明带内轮廓区域记为Region1，将所得到的如图2(b)所示的细胞质轮廓区域记为Region2，计算Region1和Region2间的差集，得到Region1和Region2之间的非重叠区域，记为Uor，如图2(c)所示。
步骤S103，当非重叠区域为多个时，选择面积最大的区域为目标非重叠区域，确定目标非重叠区域的最小外接矩形的倾斜角度。
可以看出图2(c)的非重叠区域有多个，其中有一些边界零散独立的非重叠区域，为了去除这部分非重叠区域，可以从多个非重叠区域中选择面积最大的非重叠区域，得到如图2(d)所示的目标非重叠区域。
接着，确定目标非重叠区域的最小外接矩形，确定该最小外接矩形的倾斜角度，该倾斜角度由最小外接矩形的斜率确定。
步骤S104，根据倾斜角度与细胞中心点，得到直线方程；
当细胞图像为卵母细胞图像时，该细胞中心点为卵母细胞的中心点，当细胞图像为原核胚胎图像时，该细胞中心点为为原核胚胎的中心点。
步骤S105，计算直线方程分别与细胞质轮廓和透明带内轮廓的交点，根据交点间的距离，得到卵周间隙的距离。
其中，上述直线方程的形式可以是点方向式，即为：
Figure BDA0004131577980000071
(u,v)是直线方程的方向向量。在得到直线方程后，可以确定直线方程与目标非重叠区域的交点，该交点为两个，在这两个交点中靠近细胞中心点的交点为：点方向式直线方程与细胞质轮廓的交点，记为P1(Xp1，Yp1)；远离细胞中心点的交点为：点方向式直线方程与透明带内轮廓的交点，记为P2(Xp2，Yp2)。接着，将上述两个交点间的距离/>
Figure BDA0004131577980000072
作为卵周间隙的距离，如图2(e)所示。
进一步地，卵周间隙的距离的参考区间为(8.5～12.3μm)，当测量卵周间隙的距离大于15μm(阈值设定可依据临床经验和胚胎发育共识进行调整)时可判定为卵周间隙的距离过大。
上述细胞图像处理方法中，确定细胞图像里的透明带内轮廓区域和细胞质轮廓区域；确定透明带内轮廓区域和细胞质轮廓区域间的非重叠区域；当非重叠区域为多个时，选择面积最大的区域为目标非重叠区域，确定目标非重叠区域的最小外接矩形的倾斜角度；根据倾斜角度与细胞中心点，得到直线方程；计算直线方程分别与细胞质轮廓和透明带内轮廓的交点，根据交点间的距离，自动得到卵周间隙的距离，无需人工介入，提高卵周间隙的距离的获取效率。
在一个实施例中，在计算直线方程分别与细胞质轮廓和透明带内轮廓的交点之前，本申请提供的方法还包括：对细胞图像进行分割，得到细胞掩膜；对细胞掩膜进行轮廓提取，得到细胞质轮廓。
具体来说，可以利用细胞分割模型，对细胞图像进行分割，得到细胞掩膜，接着对细胞掩膜进行轮廓提取，得到细胞质轮廓。
上述实施例中，先对细胞图像进行分割，得到细胞掩膜；然后对细胞掩膜进行轮廓提取，得到细胞质轮廓，使得轮廓更加精准。
在一个实施例中，如图5所示，对胚胎进行的特征分析还可以包括：计算细胞的圆度，具体包括如下步骤：根据细胞质轮廓，得到细胞的周长和面积；基于细胞的周长和面积，得到细胞的圆度。
本实施例主要是获取细胞圆度，通过对细胞圆度Ri的判断，检测胚胎是否出现细胞形态异常的现象。
在计算细胞的圆度时，可以获取细胞的周长Li和面积Si，利用公式
Figure BDA0004131577980000081
得到细胞的圆度。利用该方式得到的圆度，结果在[0,1]之间，计算值越接近1，细胞的圆度越大。
上述实施例中，通过细胞的周长和面积，得到细胞的圆度，以辅助检测胚胎是否出现细胞形态异常的现象。
关于细胞的圆度，本申请提供另一个实施方式，具体包括如下步骤：获取轮廓像素点到细胞中心点的平均距离；轮廓像素点是细胞质轮廓上的像素点；获取轮廓像素点到细胞中心点的距离与平均距离的偏差；根据平均距离和偏差之间的关系，得到细胞的圆度。
将细胞中心点记为p；将轮廓像素点记为p_i；F为细胞质轮廓所围成的图像区域的面积，可以通过细胞质轮廓内像素点数表征。
Figure BDA0004131577980000091
Figure BDA0004131577980000092
Figure BDA0004131577980000093
其中，Dis表示轮廓像素点到细胞中心点的平均距离，Sigma为轮廓像素点到细胞中心点的距离与平均距离的偏差。Roundness则表示平均距离与偏差之间的关系，可用于衡量细胞圆度。利用Roundness得到的圆度评估结果在[0,1]之间，计算值越接近1，细胞的圆度越大。
上述实施例中，获取轮廓像素点到细胞中心点的平均距离，以及获取轮廓像素点到细胞中心点的距离与平均距离的偏差，根据平均距离和偏差之间的关系，得到细胞的圆度，在不用借助细胞周长和面积的情况下，也能得到细胞的圆度，提高计算的灵活性。
在一个实施例中，如图5所示，特征分析还可以包括：极体检测；极体检测的目的在于找出极体所在的位置、个数和测量极体的直径，通过极体的直径判断极体是否过大，降低巨大极体的异常现象对胚胎发育的影响，另外，极体的排除也是胚胎发育进程的重要标志，通常第一极体的排出被作为卵母细胞成熟的标志，而第二极体的排出则代表了胚胎受精成功。
本申请提供的方法还包括：将细胞图像输入目标检测网络，得到极体预测框；根据极体预测框的大小，计算极体的直径。
目标检测网络可以包括yolov5和Faster-RCNN。通过目标检测网络实现对卵母细胞排出极体的检测与计数，如图6所示，601表示标记时的矩形框，602表示推理识别到的极体。通过目标检测网络的推理，可以得到极体预测框bbox[x1,y1,x2,y2]，从而根据公式D_pa＝(abs(x2-x1)+abs(y2-y1))/2，计算出极体的直径D_pa。
其中，对于极体检测，本实施例选择了yolov5和fastercnn进行测试，测试结果表明单级网络模型yolov5更适合极体检测需求。
上述实施例中，通过目标检测网络对极体的直径进行自动分析预测，无需人工介入，提高处理效率。
在一个实施例中，如图5所示，特征分析还可以包括：透明带厚度分析。透明带包裹着卵母细胞，透明带的厚度测量不光可以用于卵母细胞质量的评估，同时也是胚胎学家在选择治疗手段的一项指标，厚度在10-31μm，透明带的厚度与卵母细胞的受精效果有关，因此对卵母细胞的计算有助于胚胎专家对胚胎的分析和处理提供参考数值。
本申请提供的方法还包括如下步骤：
步骤S1，从细胞图像里分割出透明带的掩膜。
其中，细胞图像可以是卵母细胞图像，也可以是原核胚胎图像。
步骤S2，当透明带的掩膜被完整分割时，检测得到透明带内轮廓和透明带外轮廓，并对透明带外轮廓进行采样，得到多个外轮廓采样点。
本步骤可以基于Opencv中的findContours函数实现，检测模式设为RETR_TREE，提取所有轮廓并重建网络结构，检索所有轮廓并重建嵌套轮廓的完整层次结构，轮廓逼近方法的枚举器选择：CHAIN_APPROX_SIMPLE。findContours函数在检测模式设置为RETR_TREE模式。透明带的掩膜被完整分割，表征透明带在细胞图像里未被遮挡以及未发生缺失。此时，透明带环状结构为闭环状态，可以检测到透明带的内外两条轮廓，如图7(a)所示，其中，透明带外轮廓可以记为ZP_Polygon_out，透明带内轮廓可以记为ZP_Polygon_in。
步骤S3，获取多个外轮廓采样点与透明带外轮廓的中心点间的连线，基于连线与透明带内轮廓的相交情况，得到与外轮廓采样点对应的内轮廓采样点。
当检测到透明带的内外两条轮廓时，本步骤主要是先对透明带外轮廓进行采样，然后基于所得到的外轮廓采样点，对透明带内轮廓进行采样，得到内轮廓采样点。
具体来说，可以通过轮廓近似方法对透明带外轮廓进行提取，其原理是将透明带外轮廓近似为另一个顶点数量较少的轮廓，使得它们之间的距离小于或等于指定的精度，通过approxPolyDP()来实现。第二个参数用于轮廓近似的精度，表示原始轮廓与其近似轮廓的最大距离，值越小，近似轮廓越拟合原轮廓。第三个参数指定近似轮廓是否是闭合的。由此，得到外轮廓采样点集合，可设定为：C_n。
遍历外轮廓采样点集合C_n中的外轮廓采样点，当遍历到第i个外轮廓采样点(C_i_nx,C_i_ny)时，可以计算该外轮廓采样点(C_i_nx,C_i_ny)与透明带外轮廓的中心点O_z的直线方程，并记为L_a[i]。
计算直线方程L_a[i]与透明带内轮廓ZP_Polygon_in的交点(C_i_mx,C_i_my)，将该交点作为内轮廓采样点，并将(C_i_mx,C_i_my)存入C_m中。
需说明的是，上述外轮廓采样点(C_i_nx,C_i_ny)和内轮廓采样点(C_i_mx,C_i_my)是相互对应的。
在遍历完外轮廓采样点集合C_n中的外轮廓采样点后，可以确定各外轮廓采样点所对应的内轮廓采样点，如图7(b)所示。
步骤S4，基于外轮廓采样点与对应的内轮廓采样点间的距离，分析透明带的厚度。
示例性地，在得到第i个外轮廓采样点(C_i_nx,C_i_ny)与其相对应的内轮廓采样点(C_i_mx,C_i_my)后，可以得到这两个采样点间的距离，该距离可以称为点间距离，可记为k__nm[i]。根据{k__nm[1]、k__nm[2]、…、k__nm[i]}，分析透明带的厚度。
上述实施例中，从细胞图像里分割出透明带的掩膜，当透明带的掩膜被完整分割时，检测得到透明带内轮廓和透明带外轮廓，并对透明带外轮廓进行采样，得到多个外轮廓采样点，获取多个外轮廓采样点与透明带外轮廓的中心点间的连线，基于各连线与透明带内轮廓的相交情况，得到与外轮廓采样点相对应的内轮廓采样点，基于相互对应的外轮廓采样点和内轮廓采样点间的距离，自动分析透明带的厚度，无需人工标记计算，提高效率。
在一个实施例中，基于外轮廓采样点与对应的内轮廓采样点间的距离，分析透明带的厚度之前，本申请提供的方法还包括：当透明带的掩膜未被完整分割时，检测得到非完整透明带轮廓；获取非完整透明带轮廓的中心点分别与方位角集合里的各方位角间的直线方程；根据直线方程与非完整透明带轮廓产生的两个交点，确定相互对应的外轮廓采样点和内轮廓采样点。
本实施例可以基于Opencv中的findContours函数实现，检测模式设为RETR_TREE，提取所有轮廓并重建网络结构，检索所有轮廓并重建嵌套轮廓的完整层次结构，轮廓逼近方法的枚举器选择：CHAIN_APPROX_SIMPLE。findContours函数在检测模式设置为RETR_TREE模式。透明带的掩膜未被完整分割，表征透明带在细胞图像里被遮挡或发生缺失。此时，透明带环状结构被破坏，只能检测到一条轮廓，该轮廓称为非完整透明带轮廓，如图8(a)所示，其中，非完整透明带轮廓可以记为ZP_Polygon。
在检测到一条轮廓的情况下，可以采用方位角的方式，从非完整透明带轮廓中提取出外轮廓采样点及其对应的内轮廓采样点。
在设定方位角集合An_s为{An_s[1],An_s[2],…,An_s[i]}的情况下，遍历到第i个方位角An_s[i]时，可以获取该方位角与非完整透明带轮廓ZP_Polygon的中心点的直线方程，记为L_b[i]。接着，计算该直线方程L_b[i]与非完整透明带轮廓ZP_Polygon的交点，此时该直线方程L_b[i]会与非完整透明带轮廓ZP_Polygon产生两个交点，如图8(b)所示，这两个交点是相互对应的外轮廓采样点和内轮廓采样点；其中，在这两个交点中，靠近非完整透明带轮廓ZP_Polygon的中心点为内轮廓采样点，并记为(C_i_mx,C_i_my)，加入内轮廓采样点集合C_m中，远离非完整透明带轮廓ZP_Polygon的中心点为外轮廓采样点，并记为(C_i_nx,C_i_ny)，加入外轮廓采样点集合C_n中。
本实施例中，根据透明带的掩膜是否被完整分割，选择相应的轮廓采样方式，考虑到了卵母期的细胞图像中透明带出现遮挡的情况，进一步适配了计算机设备所需要实现的功能和算法的普适性。在透明带掩膜被完整分割时，采用如步骤S2和S3的轮廓采样方式，在利用该方法时，可以通过设置采用系数δ来进行对采样稀疏和密集的灵活调节；在透明带掩膜未被完整分割时，采用上述方位角的轮廓采样方式。
进一步地，获取非完整透明带轮廓的中心点，包括：获取非完整透明带轮廓所围成的图像区域的零阶空间矩、关于横轴的一阶空间矩以及关于纵轴的一阶空间矩；根据关于横轴的一阶空间矩与零阶空间矩的比值，以及关于纵轴的一阶空间矩与零阶空间矩的比值，在横轴方向和纵轴方向上，确定非完整透明带轮廓的中心点。
本实施例中，可以确定非完整透明带轮廓所围成的图像区域，计算该图像区域的零阶空间矩m00、关于横轴的一阶空间矩m01以及关于纵轴的一阶空间矩m10。
空间矩的计算公式为：
Figure BDA0004131577980000131
其中，array(x，y)是像素(x，y)处的像素值。当i＝j＝0时，对应于零阶空间矩；当i＝0且j＝1时，对应于关于横轴的一阶空间矩；当i＝1且j＝0时，对应于关于纵轴的一阶空间矩。
对于二值化的图像，零阶空间矩m00即为非完整透明带轮廓所围成的图像区域的面积。
接着，可以获取关于横轴的一阶空间矩m01与零阶空间矩m00的比值，获取纵轴的一阶空间矩m10与零阶空间矩的比值m00，从而得到非完整透明带轮廓的中心点OT的坐标
Figure BDA0004131577980000132
其中，/>
Figure BDA0004131577980000133
上述实施例中，从图像空间矩的角度出发，根据关于横轴的一阶空间矩与零阶空间矩的比值，以及关于纵轴的一阶空间矩与零阶空间矩的比值，在横轴方向和纵轴方向上，准确地确定非完整透明带轮廓的中心点。
进一步地，方位角集合里的方位角是在0°至360°取值的，属于等差数列，也即，方位角集合An_s中，相邻两个方位角间的差值是固定的，差值可以是45°，相应方位角集合An_s可以是{0,45,90,135,180,225,270,315}。
上述实施例中，方位角集合里的方位角是在0°至360°取值的，属于等差数列，实现对非完整透明带轮廓的均匀采样，保证透明带厚度分析的准确性。
在一个实施例中，基于外轮廓采样点与对应的内轮廓采样点间的距离，分析透明带的厚度，包括：基于外轮廓采样点与对应的内轮廓采样点，得到点间距离；按照形成采样点的采样次序，将相应的点间距离映射至坐标系，得到波形；根据波形，分析透明带的厚度。
示例性地，在得到相互对应的外轮廓采样点(C_i_nx,C_i_ny)和内轮廓采样点(C_i_mx,C_i_my)之后，可以得到这两个采样点间的距离，该距离可以称为点间距离，记为k__nm[i]。形成上述两个采样点的采样次序为i，按照该采样次序，将点间距离k__nm[i]映射至坐标系，得到波形，如图9所示，并根据波形，分析透明带的厚度。
进一步地，根据波形，分析透明带的厚度，包括：根据波形里的波峰以及波峰对应的采样次序，确定透明带上最厚的位置；根据波形里的波谷以及波谷对应的采样次序，确定透明带上最薄的位置。
本实施例中，对透明带的“最厚”和“最薄”进行定位，可以通过波峰确定透明带上较厚的位置，通过波谷确定透明带上较薄的位置，在对胚胎进行激光薄膜的过程中，自动分析定位出透明带较薄的区域，为操作医生提供参考破膜点。
本申请提供的方法应用至实际场景时，细胞图像可以是从胚胎延时培养箱获取到的，实际场景的相关数据参见表1。
Figure BDA0004131577980000141
表1
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图11所示，提供了一种细胞图像处理装置，包括：
区域提取模块1101，用于确定细胞图像里的透明带内轮廓区域和细胞质轮廓区域；
非重叠区域获取模块1102，用于获取所述透明带内轮廓区域和细胞质轮廓区域间的非重叠区域；
角度确定模块1103，用于当所述非重叠区域为多个时，选择面积最大的区域为目标非重叠区域，确定所述目标非重叠区域的最小外接矩形的倾斜角度；
直线确定模块1104，用于根据所述倾斜角度与细胞中心点，得到直线方程；
卵周间距获取模块1105，用于计算所述直线方程分别与细胞质轮廓和透明带内轮廓的交点，根据交点间的距离，得到卵周间隙的距离。
在一个实施例中，所述装置还包括轮廓提取模块，用于对所述细胞图像进行分割，得到细胞掩膜；对所述细胞掩膜进行轮廓提取，得到细胞质轮廓。
在一个实施例中，所述装置还包括圆度计算模块，用于根据细胞质轮廓，得到细胞的周长和面积；基于所述细胞的周长和面积，得到细胞的圆度。
在一个实施例中，圆度计算模块，还用于获取轮廓像素点到细胞中心点的平均距离；所述轮廓像素点是细胞质轮廓上的像素点；获取轮廓像素点到细胞中心点的距离与平均距离的偏差；根据平均距离和偏差之间的关系，得到细胞的圆度。
在一个实施例中，所述装置还包括极体直径计算模块，用于将所述细胞图像输入目标检测网络，得到极体预测框；根据所述极体预测框的大小，计算极体的直径。
在一个实施例中，所述装置还包括透明带厚度分析模块，用于从所述细胞图像里分割出透明带的掩膜；当所述透明带的掩膜被完整分割时，检测得到透明带内轮廓和透明带外轮廓，并对所述透明带外轮廓进行采样，得到多个外轮廓采样点；获取多个所述外轮廓采样点与所述透明带外轮廓的中心点间的连线，基于所述连线与所述透明带内轮廓的相交情况，得到与所述外轮廓采样点相对应的内轮廓采样点；基于所述外轮廓采样点与对应的所述内轮廓采样点间的距离，确定所述透明带的厚度。
在一个实施例中，所述装置还包括非完整透明带轮廓采样模块，用于当所述透明带的掩膜未被完整分割时，检测得到非完整透明带轮廓；获取所述非完整透明带轮廓的中心点分别与方位角集合里的各方位角间的直线方程；根据所述直线方程与所述非完整透明带轮廓产生的两个交点，确定相互对应的外轮廓采样点和内轮廓采样点。
关于细胞图像处理装置的具体限定可以参见上文中对于细胞图像处理方法的限定，在此不再赘述。上述细胞图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机设备还包括输入输出接口，输入输出接口是处理器与外部设备之间交换信息的连接电路，它们通过总线与处理器相连，简称I/O接口。该计算机程序被处理器执行时以实现一种细胞图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，其上存储有计算机程序，所述计算机程序被处理器执行上述各个方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上的实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种细胞图像处理方法，其特征在于，所述方法包括：
确定细胞图像里的透明带内轮廓区域和细胞质轮廓区域；
获取所述透明带内轮廓区域和细胞质轮廓区域间的非重叠区域；
当所述非重叠区域为多个时，选择面积最大的区域为目标非重叠区域，确定所述目标非重叠区域的最小外接矩形的倾斜角度；
根据所述倾斜角度与细胞中心点，得到直线方程；
计算所述直线方程分别与细胞质轮廓和透明带内轮廓的交点，根据交点间的距离，得到卵周间隙的距离。
2.根据权利要求1所述的方法，其特征在于，在计算所述直线方程分别与细胞质轮廓和透明带内轮廓的交点之前，所述方法还包括：
对所述细胞图像进行分割，得到细胞掩膜；
对所述细胞掩膜进行轮廓提取，得到细胞质轮廓。
3.根据权利要求2所述的方法，其特征在于，在对所述细胞掩膜进行轮廓提取，得到细胞质轮廓之后，所述方法还包括：
根据细胞质轮廓，得到细胞的周长和面积；
基于所述细胞的周长和面积，得到细胞的圆度。
4.根据权利要求2所述的方法，其特征在于，在对所述细胞掩膜进行轮廓提取，得到细胞质轮廓之后，所述方法还包括：
获取轮廓像素点到细胞中心点的平均距离；所述轮廓像素点是细胞质轮廓上的像素点；
获取轮廓像素点到细胞中心点的距离与所述平均距离的偏差；
根据所述平均距离和所述偏差之间的关系，得到细胞的圆度。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述细胞图像输入目标检测网络，得到极体预测框；
根据所述极体预测框的大小，计算极体的直径。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从所述细胞图像里分割出透明带的掩膜；
当所述透明带的掩膜被完整分割时，检测得到透明带内轮廓和透明带外轮廓，并对所述透明带外轮廓进行采样，得到多个外轮廓采样点；
获取多个所述外轮廓采样点与所述透明带外轮廓的中心点间的连线，基于所述连线与所述透明带内轮廓的相交情况，得到与所述外轮廓采样点对应的内轮廓采样点；
基于所述外轮廓采样点与对应的所述内轮廓采样点间的距离，确定所述透明带的厚度。
7.根据权利要求6所述的方法，其特征在于，基于所述外轮廓采样点与对应的所述内轮廓采样点间的距离，确定所述透明带的厚度之前，所述方法还包括：
当所述透明带的掩膜未被完整分割时，检测得到非完整透明带轮廓；
获取所述非完整透明带轮廓的中心点分别与方位角集合里的各方位角间的直线方程；
根据所述直线方程与所述非完整透明带轮廓产生的两个交点，确定相互对应的外轮廓采样点和内轮廓采样点。
8.一种细胞图像处理装置，其特征在于，所述装置包括：
区域提取模块，用于确定细胞图像里的透明带内轮廓区域和细胞质轮廓区域；
非重叠区域获取模块，用于获取所述透明带内轮廓区域和细胞质轮廓区域间的非重叠区域；
角度确定模块，用于当所述非重叠区域为多个时，选择面积最大的区域为目标非重叠区域，确定所述目标非重叠区域的最小外接矩形的倾斜角度；
直线确定模块，用于根据所述倾斜角度与细胞中心点，得到直线方程；
卵周间距获取模块，用于计算所述直线方程分别与细胞质轮廓和透明带内轮廓的交点，根据交点间的距离，得到卵周间隙的距离。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
CN202310254698.9A 2023-03-15 2023-03-15 细胞图像处理方法、装置和计算机设备 Pending CN116385460A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310254698.9A CN116385460A (zh) 2023-03-15 2023-03-15 细胞图像处理方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310254698.9A CN116385460A (zh) 2023-03-15 2023-03-15 细胞图像处理方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN116385460A true CN116385460A (zh) 2023-07-04

Family

ID=86964850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310254698.9A Pending CN116385460A (zh) 2023-03-15 2023-03-15 细胞图像处理方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN116385460A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113528583A (zh) * 2021-07-15 2021-10-22 澳门大学 自动化显微注射方法、装置、系统、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113528583A (zh) * 2021-07-15 2021-10-22 澳门大学 自动化显微注射方法、装置、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111179230B (zh) 遥感影像对比变化检测方法、装置、存储介质及电子设备
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
WO2021093451A1 (zh) 病理切片图像的处理方法、装置、系统及存储介质
CN110853005A (zh) 一种免疫组化膜染色切片诊断方法及装置
CN111785375B (zh) 胚胎分裂过程分析及妊娠率智能预测方法及系统
CN110930414A (zh) 医学影像的肺部区域阴影标记方法、装置、服务器及存储介质
CN113269257A (zh) 一种图像分类方法、装置、终端设备及存储介质
CN116385460A (zh) 细胞图像处理方法、装置和计算机设备
CN116342599B (zh) 缺陷检测设备的点检方法、装置、设备和存储介质
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN114463637A (zh) 一种基于深度学习的冬小麦遥感识别分析方法和系统
CN115239705A (zh) 子宫内膜浆细胞数量的统计方法、装置、设备和存储介质
Deng et al. ELMGAN: A GAN-based efficient lightweight multi-scale-feature-fusion multi-task model
CN114972202A (zh) 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN113409255A (zh) 一种基于Mask R-CNN的斑马鱼形态学分类方法
CN116137061B (zh) 数量统计模型的训练方法、装置、电子设备及存储介质
CN111199188B (zh) 遥感影像差异图的像素处理方法、装置、存储介质及设备
CN116385484A (zh) 囊胚期胚胎特征分析方法、装置和分析系统
CN116205918B (zh) 基于图卷积的多模态融合半导体检测方法、装置及介质
CN115908363B (zh) 肿瘤细胞统计方法、装置、设备和存储介质
CN116416257A (zh) 透明带厚度确定方法、装置和计算机设备
CN115526855A (zh) 电池片隐裂缺陷检测方法、装置、计算机设备和存储介质
CN112614104B (zh) 一种红细胞重叠的分割计数方法及终端
CN114299055A (zh) 血管中心线确定方法、装置、计算机设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination