CN116778481B - 一种基于关键点检测的卵裂球图像识别方法及系统 - Google Patents

一种基于关键点检测的卵裂球图像识别方法及系统 Download PDF

Info

Publication number
CN116778481B
CN116778481B CN202311035635.0A CN202311035635A CN116778481B CN 116778481 B CN116778481 B CN 116778481B CN 202311035635 A CN202311035635 A CN 202311035635A CN 116778481 B CN116778481 B CN 116778481B
Authority
CN
China
Prior art keywords
image
blastomere
key point
embryo
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311035635.0A
Other languages
English (en)
Other versions
CN116778481A (zh
Inventor
谭威
陈长胜
闻庆伟
彭松林
熊祥
云新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Mutual United Technology Co ltd
Original Assignee
Wuhan Mutual United Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Mutual United Technology Co ltd filed Critical Wuhan Mutual United Technology Co ltd
Priority to CN202311035635.0A priority Critical patent/CN116778481B/zh
Publication of CN116778481A publication Critical patent/CN116778481A/zh
Application granted granted Critical
Publication of CN116778481B publication Critical patent/CN116778481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于关键点检测的卵裂球图像识别方法及系统，所述方法包括：S1将时差培养箱拍摄的胚胎图像提取胚胎图像中卵裂球的特征图；S2采用深度卷积神经网络提取所述特征图中关键点信息；S3从胚胎图像原图中裁剪出每个卵裂球区域的分割掩码，再将分割掩码与其他细胞的掩码重叠在原图上，并基于分割掩码对原图中卵裂球的个数进行识别；S4输出胚胎图像中卵裂球的个数和对应的位置信息。本发明构建有效的卵裂球个数预测模型，自动地完成对不同时期的卵裂球高层次特征提取、模型训练及预测，可以更好地捕捉图像中单个目标的特征和信息，同时也能有效地解决胚胎图像中细胞重叠的检测分割问题。

Description

一种基于关键点检测的卵裂球图像识别方法及系统
技术领域
本发明涉及人工智能技术领域，具体地指一种基于关键点检测的卵裂球图像识别方法及系统。
背景技术
随着不孕不育患者的指数增长，胚胎的体外培养技术作用与日俱增，利用时差培养箱进行体外胚胎培养已经成为一种重要手段。胚胎学家通过观察时差培养箱中拍摄的胚胎图像对胚胎的质量进行评估，选择优质胚胎进行移植。胚胎发育过程中卵裂球个数的变化是胚胎学家评判胚胎的优劣的重要特征之一，因此，如何运用计算机技术快速准确地识别胚胎中卵裂球的个数具有重要的意义。
胚胎在分裂过程中，卵裂球的个数在不断地增加，在大多数胚胎图像中，卵裂球之间会出现互相重叠的现象，大大提高了卵裂球识别的难度。因此，如何有效地设计AI模型提升重叠卵裂球的个数识别概率需要进一步深入的研究。
发明内容
本发明针对现有技术的不足之处，提出一种基于关键点检测的卵裂球图像识别系统，能够避免细胞图像中卵裂球重叠现象导致的识别差错问题。
为实现上述目的，本发明设计的一种基于关键点检测的卵裂球图像识别方法，其特殊之处在于，所述方法包括步骤：
S1将时差培养箱拍摄的胚胎图像经过预处理后提取胚胎图像中卵裂球的特征图；
S2采用深度卷积神经网络提取所述特征图中关键点信息，所述关键点信息包括卵裂球的左上角、右上角、左下角、右下角和中心五个关键点和对应的矩形框；
S3根据所述关键点信息从胚胎图像原图中裁剪出每个卵裂球区域的分割掩码，再将分割掩码与其他细胞的掩码重叠在原图上，并基于分割掩码对原图中卵裂球的个数进行识别；
S4输出胚胎图像中卵裂球的个数和对应的位置信息。
优选地，步骤S2中提取关键点信息的步骤包括：
a.使用最大滤波器对特征图进行处理，得到一个二维数组，只保留局部最大值的原来置信度值，其他位置都被置为零；
b.找出所述二维数组中所有非零元素的坐标，得到该通道对应的关键点位置；
c.对于每个关键点位置，创建一个字典对象，包含三个键值对：编号、坐标和置信度；
d.将所述字典对象添加到关键点列表中；
e.过滤掉置信度小于峰值阈值的关键点，并返回关键点列表；
所述关键点列表中存储的是预测的关键点的坐标，每个关键点的坐标是一个二维向量，表示该关键点在图像上的横纵坐标。
优选地，步骤S3中裁剪出每个卵裂球区域的分割掩码的方法为：对切割的图像区域做实例分割：
其中，是特征图的列表，/>是边界框的列表，每个边界框包含5个坐标和1个得分，/>是一个掩码的列表，每个掩码是一个2维的张量。
优选地， 所述特征图的列表F包含了不同尺度的特征图，每个特征图都是一个四维张量，第一维表示批次大小，第二维表示通道数，第三维和第四维表示高度和宽度，特征图由所述特征提取模块提取出来，包含了图像中不同层次的信息；所述边界框的列表B包含了每个图像中检测到的细胞的位置和得分，每个边界框都是一个一维张量，包含了5个坐标和一个得分，5个坐标五个关键点的位置信息，得分表示了边界框属于细胞类别的概率，边界框是由关键点检测模块生成；所述掩码的列表M包含了每个边界框内部的分割结果，每个掩码都是一个二维张量，形状和边界框相同，每个元素表示了该位置属于细胞内部或外部的概率。
本发明还提出一种基于关键点检测的卵裂球图像识别系统，特殊之处在于，所述系统包括特征提取模块、关键点检测模块、卵裂球分割计数模块和识别输出模块；
所述特征提取模块：采用深度卷积神经网络提取胚胎图像中卵裂球的特征图；
所述关键点检测模块：采用深度卷积神经网络提取所述特征图中关键点信息，所述关键点信息包括卵裂球的左上角、右上角、左下角、右下角和中心五个关键点和对应的矩形框；
所述卵裂球分割计数模块：用于根据所述关键点信息从胚胎图像原图中裁剪出每个卵裂球区域的分割掩码，再将分割掩码与其他细胞的掩码重叠在原图上，并基于分割掩码对原图中卵裂球的个数进行识别；
所述识别输出模块：用于输出胚胎图像中卵裂球的个数和对应的位置信息。
进一步地，所述关键点检测模块采用ResNet-101残差网络结构，包括输出层、四个阶段的残差块和输出层。
更进一步地，所述关键点检测模块提取关键点信息的具体步骤包括；
a.使用最大滤波器对热图进行处理，得到一个二维数组，只保留局部最大值的原来置信度值，其他位置都被置为零；
b.找出所述二维数组中所有非零元素的坐标，得到该通道对应的关键点位置；
c.对于每个关键点位置，创建一个字典对象，包含三个键值对：编号、坐标和置信度；
d.将所述字典对象添加到关键点列表中；
e.过滤掉置信度小于峰值阈值的关键点，并返回关键点列表；
所述关键点列表中存储的是预测的关键点的坐标，每个关键点的坐标是一个二维向量，表示该关键点在图像上的横纵坐标。
更进一步地，所述关键点检测模块中深度卷积神经网络使用胚胎图像原图和卵裂球掩码标签图进行训练，每一张胚胎图像原图对应多个卵裂球掩码标签图，掩码标签图的个数与原图中卵裂球细胞的个数一致。
更进一步地，所述卵裂球分割计数模块将分割掩码经过双线性插值，恢复到原始尺寸，再与其他细胞的掩码重叠在原图上。
本发明另外提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的卵裂球重叠图像识别方法及系统。
本发明提出的一种基于关键点检测的卵裂球图像识别方法及系统，其有益效果包括：
1、本发明能够避免细胞图像中卵裂球重叠现象导致的识别差错问题，直接输出胚胎个数的分类结果以及准确的位置信息，胚胎个数预测准确率较高，远远超越了传统图像处理方法的准确率；
2、本发明将图像中的每一个目标单独制作一个掩码标签。这样做可以更好地捕捉图像中单个目标的特征和信息，同时也能有效地解决胚胎图像中细胞重叠的检测分割问题；
3、本发明会根据关键点给出的位置信息对每个卵裂球进行单独的分割，然后将单个分割得到的卵裂球掩码叠加到原始图像中，不仅可以有效消除邻近卵裂球的干扰，而且还可以更好的处理重叠卵裂球的检测和计数；
4、本发明提出的AI模型为端到端模型，能够自动地完成卵裂球个数预测，预测过程中无需人工干预。
附图说明
图1为本发明基于关键点检测的卵裂球图像识别系统的整体结构图；
图2为特征提取模块的整体结构图；
图3为特征提取模块第一阶段结构图；
图4为特征提取模块第二阶段结构图；
图5为特征提取模块第三阶段结构图；
图6为特征提取模块第四阶段结构图；
图7为常规掩码标签制作过程中出现欠分割的示意图；
图8为对图像中的每个卵裂球单独制作一张掩码标签的示意图；
图9为本发明基于关键点检测的卵裂球图像识别系统训练阶段流程图；
图10为本发明基于关键点检测的卵裂球图像识别系统测试阶段流程图；
图11为系统输出效果图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
本发明提出一种基于关键点检测的卵裂球图像识别方法，包括如下步骤：
S1将时差培养箱拍摄的胚胎图像经过预处理后提取胚胎图像中卵裂球的特征图；
S2采用深度卷积神经网络提取所述特征图中关键点信息，包括卵裂球的左上角、右上角、左下角、右下角和中心五个关键点和对应的矩形框；
S3根据所述关键点从胚胎图像原图中裁剪出每个卵裂球区域的分割掩码，再将分割掩码与其他细胞的掩码重叠在原图上，并基于分割掩码对原图中卵裂球的个数进行识别；
S4输出胚胎图像中卵裂球的个数和对应的位置信息。
本发明还提出一种基于关键点检测的卵裂球图像识别系统，如图1所示，系统包括特征提取模块、关键点检测模块、卵裂球分割计数模块和识别输出模块；其中，
特征提取模块：采用深度卷积神经网络提取胚胎图像中卵裂球的特征图；
关键点检测模块：采用深度卷积神经网络提取所述特征图中关键点信息，关键点信息包括卵裂球的左上角、右上角、左下角、右下角和中心五个关键点和对应的矩形框；
卵裂球分割计数模块：用于根据关键点信息从胚胎图像原图中裁剪出卵裂球区域的分割掩码，再将分割掩码与其他细胞的掩码重叠在原图上，并基于分割掩码对原图中卵裂球的个数进行识别；
识别输出模块：用于输出胚胎图像中卵裂球的个数和对应的位置信息。
下面对基于关键点检测的卵裂球图像识别系统各模块的构建过程及识别方法的实现过程进行说明。
（一）构建图像数据集：
收集D1-D3包含卵裂球个数的胚胎图像，组织多名胚胎学家指导完成胚胎图像的标注。将标注好的图像划分为训练集、验证集和测试集，对训练集中的胚胎图像进行翻转，放大，缩小，平移等预处理操作，扩充测试集。
时差培养箱在胚胎发育过程中会间隔一定的时间对胚胎进行拍摄，并将获取的图像传至服务器中的网络模型。在实际的拍摄过程中，时差培养箱为拍摄提供光源条件偶尔会出现波动，造成拍摄的图像出现忽明忽暗，为了解决这一实际问题，在将图像送入网络模型之前，对每张图像进行了Z-score归一化操作。
（二）构建特征提取模块：
特征提取模块采用深度卷积神经网络提取胚胎图像中卵裂球的特征图，深度卷积神经网络的类型包括ResNet、VGG、GoogleNet等。
在本实施例中，采用ResNet-101网络提取重叠卵裂球的图像特征。ResNet-101是一种深度卷积神经网络。ResNet-101的特点是使用了残差连接（residual connection），即在每个卷积块中，将输入和输出相加，从而缓解了梯度消失（gradient vanishing）和退化问题（degradation problem）。
ResNet101网络有4个阶段，即4个残差块，其所提取的特征分别用resnet_out1，resnet_out2，resnet_out3，resnet_out4表示。ResNet101网络每个残差块的输出会被上采样。首先resnet_out4会被上采样到和resnet_out3一样的尺寸，结果可以用upsample4表示，之后再将upsample4和resnet_out3做拼接，结果用cat_out3表示。同理cat_out3会被上采样和resnet_out2一样的尺寸，结果记为upsample3，之后再将upsample3和resnet_out2做拼接，结果用cat_out2表示。之后，cat_out2会被上采样和resnet_out1一样的尺寸，结果记为upsample2，接着再将upsample2和resnet_out1做拼接，结果用cat_out1表示。cat_out1会被上采样成原图经过第一次卷积的结果特征图x_cov1一样的尺寸，结果记为upsample1，之后再将upsample1和x_cov1做拼接，结果输出用cat_out0表示。cat_out0为一个通道为5，尺寸和原图相同的3维张量，即为关键点热图。
本实施例中提出的ResNet-101网络包括输出层、四个阶段的残差块和输出层，如图2所示。输入层包含一个卷积层和池化层，其接收一个512×512×3的图像，进行一个7×7的卷积操作，步长为2，输出256×256×64的特征图，然后进行最大池化操作，核大小为3×3，步长为2，输出128×128×64的特征图。该特征图会被送入第一阶段的残差块进行处理。
如图3所示，在第一阶段中，其包含3个残差块。这一阶段的输出特征图大小为128×128×256。该特征图会被送入第二阶段的残差块进行处理。
如图4所示，在第二阶段中，包含4个残差块，每个残差块由三个卷积层组成，分别是1×1、3×3和1×1。第一个残差块需要进行下采样，所以将第二个卷积层的步长设为2来匹配维度。这一阶段的输出特征图大小为64×64×512。该特征图会被送入第三阶段的残差块进行处理。
如图5所示，第三阶段包含23个残差块，每个残差块由三个卷积层组成，分别是1×1、3×3和1×1，输出通道数分别是256、256和1024。第一个残差块需要进行下采样，所以将步长设为2来匹配维度。这一阶段的输出特征图大小为32×32×1024。该特征图会被送入第四阶段的残差块进行处理。
如图6所示，第四阶段包含3个残差块，每个残差块由三个卷积层组成，分别是1×1、3×3和1×1，输出通道数分别是512、512和2048。第一个残差块需要进行下采样，所以将步长设为2来匹配维度。这一阶段的输出特征图大小为16×16×2048。该特征图会被送入关键点识别模块，用于确定卵裂球的位置。
（三）构建关键点检测模块：
关键点检测模块用于提取关键点信息的多尺度特征图，不同尺度的特征图对应不同大小的卵裂球。
深度卷积神经网络可以采用yolov7，SSD，FasterRCNN等任一网络结构实现，用于检测特征图中卵裂球细胞的五个关键点和对应的矩形框，五个关键点分别是左上角、右上角、左下角、右下角和中心点，从而确定每个特征图中卵裂球的位置信息。
在本实施例中，关键点检测模块设计了一个函数，函数输入是提取到的特征图，输出是五张关键点热图。热图是一个三维张量，它表示了不同的关键点在图像上的置信度分布。每个通道对应一个关键点，每个像素对应一个置信度值。热图中的高值表示该位置有较高的可能是一个关键点。热图用于表明图像中对应位置被预测成关键点的概率大小。
在这个函数中，对于每个关键点通道：
初始化一个空的关键点列表，并在这个函数中，对于每个关键点通道执行：
a.使用最大滤波器对热图进行处理，得到一个二维数组，其中只有局部最大值保留了原来的置信度值，其他位置都被置为零。
b.找出这个数组中所有非零元素的坐标，它们就是该通道对应的关键点位置。
c.对于每个关键点位置，创建一个字典对象，包含三个键值对：编号（即通道索引），坐标（即位置），置信度（即热图中对应的值）。
d.将这些字典对象添加到关键点列表中。
e.过滤掉那些置信度小于峰值阈值的关键点，并返回关键点列表。
其中，关键点列表中存储的是预测的关键点的坐标。每个关键点的坐标是一个二维向量，表示该关键点在图像上的横纵坐标。
（四）构建卵裂球分割计数模块：
卵裂球分割计数模块根据关键点信息从胚胎图像原图中裁剪出卵裂球区域的分割掩码，再将分割掩码与其他细胞的掩码重叠在原图上，并基于分割掩码对原图中卵裂球的个数进行识别。具体来说，对于每个定位的细胞，本发明首先对细胞进行裁剪和缩放，将其尺寸转化为128×128×3。然后，特征图经过一个全卷积网络，输出一个64×64的分割掩码。最后，分割掩码经过双线性插值，恢复到原始尺寸，并与其他细胞的掩码重叠在原图上，从而实现卵裂球的检测、分割以及计数。
具体来说，卵裂球分割计数模块对边界框中的图像区域做切割，然后对切割的图像区域做实例分割，这一部分的数学表达式如下：
其中，是一个特征图的列表。
是一个边界框的列表，每个边界框包含5个坐标和1个得分。是一个掩码的列表，每个掩码是一个2维的张量，表示分割结果。
以下是每个变量的具体含义：
F是一个特征图的列表，它包含了不同尺度的特征图，每个特征图都是一个四维张量，第一维表示批次大小，第二维表示通道数，第三维和第四维表示高度和宽度。特征图是由模型的ResNet101提取出来的，它们包含了图像中不同层次的信息。
B是一个边界框的列表，它包含了每个图像中检测到的细胞的位置和得分。每个边界框都是一个一维张量，包含了5个坐标和一个得分。5个坐标表示了边界框在原始图像中的左上角,左下角，右上角，右下角以及中心点的位置，得分表示了边界框属于细胞类别的概率。边界框是由模型的关键点检测部分生成的。
M是一个掩码的列表，它包含了每个边界框内部的分割结果。每个掩码都是一个二维张量，它的形状和边界框相同，每个元素表示了该位置属于细胞内部或外部的概率。掩码是由模型的分割头部分生成的。
如图1所示，在获得了每个卵裂球的实例分割掩码之后，本发明将每个卵裂球的掩码叠加到原图上，从而完成最终卵裂球的检测分割以及计数。
（五）模型训练和测试：
在模型预训练阶段，用ImageNet自然图像数据集对本文的网络模型进行初始化训练，获取初始化模型及其参数；将训练集图像中的每张胚胎图像制作掩码标签，使用胚胎图像原图和卵裂球掩码标签图进行训练，得到精训练后的网络模型，每一张胚胎图像原图对应多个卵裂球掩码标签图，掩码标签图的个数与原图中卵裂球细胞的个数一致；利用精训练模型对测试集胚胎数据进行预测，并完成测试集预测结果统计。
在制作训练集的阶段，与其他深度学习模型不同的是，本发明不是将图像中所有物体的掩码图都叠加在同一张标签图上，而是把图像中的每一个目标单独制作一个掩码标签。
之所以采取这种制作数据集的方式，是因为在训练阶段，本发明所引入的网络模型需要单个卵裂球的位置信息，位置信息由5个关键点来表达，这5个关键点分别是目标卵裂球的左上角点，左下角点，右上角点，右下角点以及中心点。而这个5个关键点的信息是由于细胞的掩码标签图得到。
如图7所示，对于现在比较常见制作目标掩码标签的方式，由于在制作重叠卵裂球标签的时候，需要给重叠卵裂球的掩码都打上相同的“cell”标签，这会导致在标签掩码图中，将两个或者多个卵裂球的掩码合并在一起。这种现象称为欠分割。
欠分割是一种图像分割中常见的问题，其指的是将图像分割成的区域太少，导致一些本应该分开的物体被合并在一起。欠分割的结果可能会影响后续的图像分析和识别任务，比如目标检测和实例分割。欠分割的原因可能有多种，比如图像中的物体有重叠、遮挡、相似的颜色或纹理等。
因此，传统制作标志掩码图的方法会使得模型无法区分不同的卵裂球实例，从而导致网络模型在训练阶段无法准确地获取到单个卵裂球的位置信息。同时，这种制作掩码的方法不仅不适合重叠卵裂球的检测和计数，而且还会干扰非重叠卵裂球或重叠度很小的卵裂球计数。
如图8所示，本发明把图像中的每一个目标单独制作一个掩码标签，不仅完整的保留目标区域的图像信息，而且会对后续模型关键点的识别有帮助，从而可以有效地解决物体重叠的检测分割问题。
基于前面的步骤中，生成了关键点和实例掩码，但是这只是用于训练阶段，训练初始模型给出的关键点和实例掩码并不能完全和标签相符，因此必须要进行损失的计算以及训练的迭代。在经过足够多的迭代之后，损失接近于0，表明网络模型已经训练成熟，训练阶段流程如图9所述。
在模型测试阶段，测试流程相对于训练流程中丢弃了单个卵裂球掩码标签图制作、预定义关键点生成以及损失函数迭代这个这个三个部分。并在图像分割之后添加了分割掩码叠加和计数部分。实例分割之后，会得到图像中卵裂球对应的掩码。有多少个掩码，就确定了有多少个卵裂球。这样即完成了卵裂球的计数任务。其他部分和训练阶段相同。此处不再赘述，只给出流程图如图10所述。
（六）图像识别：
胚胎图像的原图和掩码标签在经过特征提取模块和关键点检测模块之后，会得到卵裂球的相应位置信息，即卵裂球的5个关键点和对应的矩形框，卵裂球分割计数模块根据相应的位置信息从原图中裁剪出对应的卵裂球图像区域，然后对每个裁剪出的卵裂球区域进行单独的分割。系统输出结果如图11所示。这种操作不仅可以有效消除邻近卵裂球的干扰，而且还可以更好的处理重叠卵裂球的检测和计数。
本发明还提出一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的基于关键点检测的卵裂球图像识别系统。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，尽管参照较佳实施例对本专利进行了详细说明，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。

Claims (6)

1.一种基于关键点检测的卵裂球图像识别方法，其特征在于：所述方法包括步骤：
S1将时差培养箱拍摄的胚胎图像经过预处理后提取胚胎图像中卵裂球的特征图；
S2采用深度卷积神经网络提取所述特征图中关键点信息，所述关键点信息包括卵裂球的左上角、右上角、左下角、右下角和中心五个关键点和对应的矩形框；提取关键点信息的步骤包括：
a.使用最大滤波器对特征图进行处理，得到一个二维数组，只保留局部最大值的原来置信度值，其他位置都被置为零；
b.找出所述二维数组中所有非零元素的坐标，得到对应通道对应的关键点位置；
c.对于每个关键点位置，创建一个字典对象，包含三个键值对：编号、坐标和置信度；
d.将所述字典对象添加到关键点列表中；
e.过滤掉置信度小于峰值阈值的关键点，并返回关键点列表；
所述关键点列表中存储的是预测的关键点的坐标，每个关键点的坐标是一个二维向量，表示该关键点在图像上的横纵坐标；
S3根据所述关键点信息从胚胎图像原图中裁剪出每个卵裂球区域的分割掩码，再将分割掩码与其他细胞的掩码重叠在原图上，并基于分割掩码对原图中卵裂球的个数进行识别；裁剪出每个卵裂球区域的分割掩码的方法为：对切割的图像区域做实例分割：
其中，是特征图的列表，/>是边界框的列表，每个边界框包含5个坐标和1个得分，/>是一个掩码的列表，每个掩码是一个2维的张量；
所述特征图的列表F包含了不同尺度的特征图，每个特征图都是一个四维张量，第一维表示批次大小，第二维表示通道数，第三维和第四维表示高度和宽度，特征图由特征提取模块提取出来，包含了图像中不同层次的信息；所述边界框的列表B包含了每个图像中检测到的细胞的位置和得分，每个边界框都是一个一维张量，包含了5个坐标和一个得分，5个坐标五个关键点的位置信息，得分表示了边界框属于细胞类别的概率，边界框是由关键点检测模块生成；所述掩码的列表M包含了每个边界框内部的分割结果，每个掩码都是一个二维张量，形状和边界框相同，每个元素表示了该位置属于细胞内部或外部的概率；
S4输出胚胎图像中卵裂球的个数和对应的位置信息。
2.一种基于关键点检测的卵裂球图像识别系统，用于实现权利要求1所述的基于关键点检测的卵裂球图像识别方法，其特征在于：所述系统包括特征提取模块、关键点检测模块、卵裂球分割计数模块和识别输出模块；
所述特征提取模块：采用深度卷积神经网络提取胚胎图像中卵裂球的特征图；
所述关键点检测模块：采用深度卷积神经网络提取所述特征图中关键点信息，所述关键点信息包括卵裂球的左上角、右上角、左下角、右下角和中心五个关键点和对应的矩形框；
所述卵裂球分割计数模块：用于根据所述关键点信息从胚胎图像原图中裁剪出每个卵裂球区域的分割掩码，再将分割掩码与其他细胞的掩码重叠在原图上，并基于分割掩码对原图中卵裂球的个数进行识别；
所述识别输出模块：用于输出胚胎图像中卵裂球的个数和对应的位置信息。
3.根据权利要求2所述的基于关键点检测的卵裂球图像识别系统，其特征在于：所述关键点检测模块采用ResNet-101残差网络结构，包括输出层、四个阶段的残差块和输出层。
4.根据权利要求2所述的基于关键点检测的卵裂球图像识别系统，其特征在于：所述关键点检测模块中深度卷积神经网络使用胚胎图像原图和卵裂球掩码标签图进行训练，每一张胚胎图像原图对应多个卵裂球掩码标签图，掩码标签图的个数与原图中卵裂球细胞的个数一致。
5.根据权利要求2所述的基于关键点检测的卵裂球图像识别系统，其特征在于：所述卵裂球分割计数模块将分割掩码经过双线性插值，恢复到原始尺寸，再与其他细胞的掩码重叠在原图上。
6.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1所述的基于关键点检测的卵裂球图像识别方法或权利要求2至5中任一项所述的基于关键点检测的卵裂球图像识别系统。
CN202311035635.0A 2023-08-17 2023-08-17 一种基于关键点检测的卵裂球图像识别方法及系统 Active CN116778481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311035635.0A CN116778481B (zh) 2023-08-17 2023-08-17 一种基于关键点检测的卵裂球图像识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311035635.0A CN116778481B (zh) 2023-08-17 2023-08-17 一种基于关键点检测的卵裂球图像识别方法及系统

Publications (2)

Publication Number Publication Date
CN116778481A CN116778481A (zh) 2023-09-19
CN116778481B true CN116778481B (zh) 2023-10-31

Family

ID=87989779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311035635.0A Active CN116778481B (zh) 2023-08-17 2023-08-17 一种基于关键点检测的卵裂球图像识别方法及系统

Country Status (1)

Country Link
CN (1) CN116778481B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018174787A (ja) * 2017-04-11 2018-11-15 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成システム、画像生成方法及びプログラム
CN111563452A (zh) * 2020-05-06 2020-08-21 南京师范大学镇江创新发展研究院 一种基于实例分割的多人体姿态检测及状态判别方法
CN111681209A (zh) * 2020-05-15 2020-09-18 武汉互创联合科技有限公司 卵裂球分裂状态智能检测方法及系统
CN111814741A (zh) * 2020-07-28 2020-10-23 四川通信科研规划设计有限责任公司 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法
CN113111817A (zh) * 2021-04-21 2021-07-13 中山大学 语义分割的人脸完整度度量方法、系统、设备及存储介质
CN113906472A (zh) * 2019-04-04 2022-01-07 普雷萨根私人有限公司 用于选择胚胎的方法和系统
CN115731160A (zh) * 2021-09-01 2023-03-03 株式会社斯库林集团 图像处理方法、计算机程序及记录介质
CN115861616A (zh) * 2022-12-09 2023-03-28 复旦大学 面向医学图像序列的语义分割系统
CN116091421A (zh) * 2022-12-16 2023-05-09 中山大学 一种体外受精胚胎卵裂球图像自动分割及面积计算的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2875038A1 (en) * 2012-05-31 2013-12-05 Auxogyn, Inc. In vitro embryo blastocyst prediction methods
US20200341017A1 (en) * 2017-10-20 2020-10-29 Université Du Luxembourg 3d cell culture
GB201810634D0 (en) * 2018-06-28 2018-08-15 Vitrolife As Methods and apparatus for assessing embryo development

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018174787A (ja) * 2017-04-11 2018-11-15 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成システム、画像生成方法及びプログラム
CN113906472A (zh) * 2019-04-04 2022-01-07 普雷萨根私人有限公司 用于选择胚胎的方法和系统
CN111563452A (zh) * 2020-05-06 2020-08-21 南京师范大学镇江创新发展研究院 一种基于实例分割的多人体姿态检测及状态判别方法
CN111681209A (zh) * 2020-05-15 2020-09-18 武汉互创联合科技有限公司 卵裂球分裂状态智能检测方法及系统
CN111814741A (zh) * 2020-07-28 2020-10-23 四川通信科研规划设计有限责任公司 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法
CN113111817A (zh) * 2021-04-21 2021-07-13 中山大学 语义分割的人脸完整度度量方法、系统、设备及存储介质
CN115731160A (zh) * 2021-09-01 2023-03-03 株式会社斯库林集团 图像处理方法、计算机程序及记录介质
CN115861616A (zh) * 2022-12-09 2023-03-28 复旦大学 面向医学图像序列的语义分割系统
CN116091421A (zh) * 2022-12-16 2023-05-09 中山大学 一种体外受精胚胎卵裂球图像自动分割及面积计算的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic Blastomere Recognition from a Single Embryo Image;Yun Tian等;《Computational and Mathematical Methods in Medicine》;第1-7页 *
基于时序图像的胚胎卵裂期特征识别系统设计与实现;梅克进;《中国优秀硕士学位论文全文数据库医药卫生科技辑》(第1期);第E068-684页 *

Also Published As

Publication number Publication date
CN116778481A (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
Karlekar et al. SoyNet: Soybean leaf diseases classification
CN102651128B (zh) 一种基于采样的图像集分割方法
CN111612008A (zh) 基于卷积网络的图像分割方法
CN112036231B (zh) 一种基于车载视频的车道线和路面指示标志检测与识别方法
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
CN110059656B (zh) 基于卷积对抗生成神经网络的白细胞分类方法及系统
CN111968138B (zh) 基于3d动态边缘不敏感性损失函数的医学图像分割方法
CN114092487A (zh) 目标果实实例分割方法及系统
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
Morel et al. Segmentation of unbalanced and in-homogeneous point clouds and its application to 3D scanned trees
CN113449806A (zh) 基于层次结构的二阶段林业害虫识别与检测系统及方法
CN112287935B (zh) 一种基于显著性先验的图像语义分割方法及系统
Albahli et al. DCNet: DenseNet-77-based CornerNet model for the tomato plant leaf disease detection and classification
Hati et al. Image co-segmentation using maximum common subgraph matching and region co-growing
CN113269224A (zh) 一种场景图像分类方法、系统及存储介质
CN116311310A (zh) 一种结合语义分割和序列预测的通用表格识别方法和装置
Patel Deep learning models for image segmentation
Chen et al. Improved fast r-cnn with fusion of optical and 3d data for robust palm tree detection in high resolution uav images
Mirande et al. A graph-based approach for simultaneous semantic and instance segmentation of plant 3D point clouds
CN110287970B (zh) 一种基于cam与掩盖的弱监督物体定位方法
CN116778481B (zh) 一种基于关键点检测的卵裂球图像识别方法及系统
CN111950544A (zh) 一种确定病理图像中感兴趣区域的方法及装置
CN115775226B (zh) 基于Transformer的医学图像分类方法
CN110853052A (zh) 一种基于深度学习的土家织锦图案图元的分割方法
Sadati et al. An improved image classification based in feature extraction from convolutional neural network: application to flower classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant