CN116758539A - 一种基于数据增强的胚胎图像卵裂球识别方法 - Google Patents
一种基于数据增强的胚胎图像卵裂球识别方法 Download PDFInfo
- Publication number
- CN116758539A CN116758539A CN202311035638.4A CN202311035638A CN116758539A CN 116758539 A CN116758539 A CN 116758539A CN 202311035638 A CN202311035638 A CN 202311035638A CN 116758539 A CN116758539 A CN 116758539A
- Authority
- CN
- China
- Prior art keywords
- image
- embryo
- blastomere
- data set
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001161 mammalian embryo Anatomy 0.000 title claims abstract description 87
- 210000001109 blastomere Anatomy 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000003776 cleavage reaction Methods 0.000 claims abstract description 28
- 230000007017 scission Effects 0.000 claims abstract description 28
- 210000004027 cell Anatomy 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims 2
- 230000002401 inhibitory effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 238000002507 cathodic stripping potentiometry Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000013020 embryo development Effects 0.000 description 3
- 210000002257 embryonic structure Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000000338 in vitro Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 1
- 208000019888 Circadian rhythm sleep disease Diseases 0.000 description 1
- 208000001456 Jet Lag Syndrome Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002308 embryonic cell Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000009027 insemination Effects 0.000 description 1
- 208000033915 jet lag type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000001850 reproductive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开了一种基于数据增强的胚胎图像卵裂球识别方法，包括步骤：S1收集含有卵裂球的胚胎图像，构建原始胚胎图像数据集G1；S2分割出数据集G1中卵裂球所在区域；S3使用随机擦除算法，得到数据集G2，提取与卵裂球所在区域图像同等大小的细胞边缘图像，融合到数据集G1，将细胞边缘图像的透明度设置为f，得到新的数据集G3，将数据集G1、G2、G3合并为训练数据集G；S4构建胚胎图像卵裂识别网络模型，通过提取胚胎图像中的特征图，识别卵裂球个数；S5使用训练数据集G对胚胎图像卵裂识别网络模型进行训练、测试和评估；S6获得卵裂球个数识别结果。本发明提出了一种改进的随机擦除方案来解决网络对于重叠目标识别出现的过拟合问题。
Description
技术领域
本发明涉及人工智能技术领域，具体地指一种基于数据增强的胚胎图像卵裂球识别方法。
背景技术
随着不孕不育患者的指数增长，胚胎的体外培养技术作用与日俱增，利用时差培养箱进行体外胚胎培养已经成为一种重要手段。胚胎学家通过观察时差培养箱中拍摄的胚胎图像对胚胎的质量进行评估，选择优质胚胎进行移植。胚胎发育过程中卵裂球个数的变化是胚胎学家评判胚胎的优劣的重要特征之一，因此，如何运用计算机技术快速准确地识别胚胎中卵裂球的个数具有重要的意义。
胚胎在分裂过程中，卵裂球的个数在不断地增加，在大多数胚胎图像中，卵裂球之间会出现互相重叠的现象，大大提高了卵裂球识别的难度。对于一些传统的图像识别模型，训练集往往是筛选后的优质图像且难以覆盖各种重叠分布类型，在面对新的重叠分布时往往会出现过拟合现象，导致识别准确率较低。因此，如何构建更加有效且更具泛化性的AI模型，完成对卵裂球高层次特征提取、模型训练及结果预测是需要解决的关键问题之一。
发明内容
本发明针对现有技术的不足之处，提出一种基于数据增强的胚胎图像卵裂球识别方法，提出了一种改进的随机擦除方案来解决网络对于重叠目标识别出现的过拟合问题。
为实现上述目的，本发明设计的一种基于数据增强的胚胎图像卵裂球识别方法，其特殊之处在于，包括如下步骤：
S1收集含有卵裂球的胚胎图像，对每一张胚胎图像中的卵裂球进行标注，构建原始胚胎图像数据集G1；
S2对数据集G1中每张图像进行胚胎细胞定位，得到定位后的胚胎图像，分割出卵裂球所在的区域；
S3对分割出的卵裂球所在区域图像使用随机擦除算法，得到数据集G2，同时提取与卵裂球所在区域图像同等大小的细胞边缘图像，融合到数据集G1对应每张图片被擦除的区域，再将细胞边缘图像的透明度设置为f，得到新的数据集G3，将数据集G1、G2、G3合并为训练数据集G；
S4构建胚胎图像卵裂识别网络模型，通过提取胚胎图像中的特征图，识别卵裂球个数；
S5使用训练数据集G对胚胎图像卵裂识别网络模型进行训练、测试和评估；
S6将待检测胚胎图像输入至经过训练的胚胎图像卵裂识别网络模型，获得卵裂球个数识别结果。
优选地，步骤S3中由数据集G2得到数据集G3的算法表达式为：
其中为数据集G3中的卵裂球区域图像数据，f为设置的透明度，D为随机擦除的区域范围，/>为数据集G2中的卵裂球区域图像数据，/>为提取的等大小细胞边缘区域。
优选地，步骤S3中随机擦除算法具体为：
设定输入原始图像为A，图像尺寸为a×b，擦除概率为p，擦除部位宽独占比为s，高度占比为h，擦除区域为D，擦除起始点（x,y）距离图像中心长度范围为；对擦除概率p、系数k1、系数k2进行初始化，当擦除概率p大于预设阈值时，对原始图像A内的任意一点，判断是否满足：
是则令，其中I表示该位置的灰度值，否则将原始图像A赋值为擦除处理后图像B。
优选地，步骤4中所述胚胎图像卵裂识别网络模型采用深度卷积神经网络实现，包括Yolov5网络、CenterNet网络、Faster RCNN网络中的一种或若干个结合。
优选地，所述胚胎图像卵裂识别网络模型包括输入端、backbone部分、neck部分和输出端，具有标注标签的胚胎图像中的卵裂球在经过预处理后，被送入backbone部分，进行特征提取；提取到的特征被送入neck部分，经过检测之后由输出端输出得到结果。
优选地，输入端包括三种结构：Mosaic数据增强、自适应锚框计算和自适应图片缩放；其中，Mosaic数据增强：通过随机缩放、随机裁剪、随机排布的方式进行数据增强；自适应锚框计算：在训练期间，根据数据集中目标的大小和分布，自适应地调整锚框的大小和数量以提高检测准确率和运算效率；自适应图片缩放：用于统一输入图片尺寸。
优选地，所述backbone部分是由Focus结构和CSP结构组成，Focus结构进行切片操作，CSP结构用于增强网络的学习能力。
优选地，所述neck部分采用FPN+PAN的结构，FPN通过上采样操作，将高层的特征信息和低层特征进行融合，计算出预测的特征图；两个PAN 结构通过下采样操作，将低层的特征信息和高层特征进行融合，输出预测的特征图。
优选地，所述输出端包含预测边界框损失函数和非极大值抑制，预测边界框损失函数用于衡量目标检测中预测边界框与真实边界框之间的差异，非极大值抑制用于抑制多余的边界框。
本发明另外提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种基于数据增强的胚胎图像卵裂球识别方法。
本发明提出的一种基于数据增强的胚胎图像卵裂球识别方法，其有益效果包括：
1、本发明根据胚胎细胞重叠的特殊性，分析出网络对于高度重叠目标难以识别的原因在于模型缺乏对各类卵裂球重叠分布的泛化性，由此提出了一种改进的随机擦除方案来解决网络对于重叠目标识别出现的过拟合问题；
2、本发明提出的方案从下面三个角度解决了模型对于高度重叠目标难以识别的问题：
（1）极大增加了数据集规模，有效解决了模型过拟合的问题；
（2）参考神经网络里的dropout，在数据集上进行随机擦除，使用正则化的方案解决过拟合问题；
（3）通过提取细胞边缘区域块融合到随机擦除部位，丰富了卵裂球重叠的分布类型，有效提高了模型的泛化性。
附图说明
图1为本发明一种基于数据增强的胚胎图像卵裂球识别方法的流程图；
图2为卵裂球重叠的特殊性示意图；
图3为改进的随机擦除方案操作步骤示意图。
图4为Yolov5网络结构示意图。
图5为Focus结构示意图。
图6为原始图像与网络模型预测结果示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
如图1所示，本发明提出的一种基于数据增强的胚胎图像卵裂球识别方法，包括步骤：
S1收集含有卵裂球的胚胎图像，对每一张胚胎图像中的卵裂球进行标注，构建原始胚胎图像数据集G1；
S2对数据集G1中每张图像进行胚胎细胞定位，得到定位后的胚胎图像，分割出卵裂球所在的区域；
S3对分割出的卵裂球所在区域图像使用随机擦除算法，得到数据集G2，同时提取与卵裂球所在区域图像同等大小的细胞边缘图像，融合到数据集G1对应每张图片被擦除的区域，再将细胞边缘图像的透明度设置为f，得到新的数据集G3，将数据集G1、G2、G3合并为训练数据集G；
S4构建胚胎图像卵裂识别网络模型，通过提取胚胎图像中的特征图，识别卵裂球个数；
S5使用训练数据集G对胚胎图像卵裂识别网络模型进行训练、测试和评估；
S6将待检测胚胎图像输入至经过训练的胚胎图像卵裂识别网络模型，获得卵裂球个数识别结果。
本发明提供的卵裂球边缘增强模型可以实现对胚胎发育的全过程进行实时监控。时差培养箱在拍摄胚胎的过程中不断地将拍摄到的D1-D3时期的每张胚胎图像上传至服务器，本发明可以迅速检测各个类型卵裂球，达到对胚胎发育整个过程的实时监控，可以为后续胚胎计数、质量评价等打下基础。虽然一些传统的图像分析方法也已经应用到了卵裂球识别的任务中，但这些方法只是通过提取简单的人工特征来完成对卵裂球识别，其准确率较低，且实时性较差。
考虑胚胎细胞重叠的特殊性，与常规的重叠问题不同，常规的重叠中物体B对物体A的遮挡是完全遮挡，我们无法透过遮挡部分看到物体A的任何特征信息，也就是说传统的遮挡造成了严重的特征丢失。而胚胎细胞之间的重叠具有特殊性，与其他不同的是，如图2所示，胚胎细胞是透明的，细胞D遮挡住细胞C并不会造成细胞C特征的丢失，其轮廓等特征依旧清晰可见。对此，重叠部分我们可以看作是一种噪声，不同的重叠分布类型更类似于不同位置、不同稀疏程度的噪声，这些噪声对我们模型的识别进行干扰。
对于高度重叠的胚胎图像，传统的模型往往会出现识别的置信度较低、漏检甚至错检等问题，这是由于传统方案训练集往往是筛选后的优质图像且难以覆盖各种重叠分布类型，在面对新的重叠分布时往往会出现模型过拟合现象。如何构建更加有效且更具泛化性的AI模型，防止模型的过拟合，完成对卵裂球高层次特征提取、模型训练及结果预测是需要解决的关键问题之一。
对于神经网络，为了避免模型的过拟合，网络中往往会添加dropout把神经网络单元概率性丢弃，本发明借鉴了该思想，但与其不同的是，本发明将其应用到数据集图像之中，对数据集图像进行随机擦除，如图3步骤2所示。
随机擦除其算法过程如表1所示如下：首先对擦除概率p、系数k1、系数k2进行初始化，当擦除概率p大于预设阈值时，对原始图像A内的任意一点，判断是否满足：
是则令，其中I表示该位置的灰度值，否则将原始图像A赋值为擦除处理后图像B。
表1 随机擦除算法
考虑到细胞重叠的特殊性，上述随机擦除破坏了卵裂球的原有特征，由于卵裂球重叠现象的特殊性，从光学上看，卵裂球多为透明或半透明的，单个卵裂球的图像特征和图像信息可以被有效的保留下来。为了符合实际场景中的重叠，且增加数据集中重叠分布的种类，本发明采用提取等大小细胞边缘部分融合到原图片随机擦除的位置来替代原始的随机擦除方案，同时给融入的细胞边缘部分图像设置透明度，以避免原图像卵裂球轮廓等重要特征的丢失，如图3步骤3、4所示。
其中f为设置的透明度，D为随机擦除的区域范围，为原始图像的该区域，为提取的等大小细胞边缘区域。
本实施例中，Yolov5网络为例阐述如何构建胚胎图像卵裂识别网络模型，并通过提取胚胎图像中的特征图，识别卵裂球个数。Yolov5网络并不是实现胚胎图像卵裂识别网络模型的唯一方式，CenterNet、Faster RCNN等网络结构都可以实现本发明提出的胚胎图像卵裂识别网络模型。
本实施例中采用的Yolov5网络包含输入端、backbone、neck、prediction这四个部分。该网络对数据的处理流程如下：首先，被设定标签的图片在经过预处理后，被送入backbone部分进行特征提取；随后，提取到的特征会被送入neck部分，经过检测之后输出得到结果。图4是Yolov5的基本结构图。
1）输入端
Yolov5的输入端主要包括三种结构，Mosaic数据增强：通过随机缩放、随机裁剪、随机排布的方式进行数据增强；自适应锚框计算：在训练期间，根据数据集中目标的大小和分布，自适应地调整锚框的大小和数量来提高检测准确率和运算效率；自适应图片缩放：统一输入图片尺寸。
2）backbone部分
Yolov5中backbone网络是主要由Focus结构和CSP结构组成，Focus结构中关键的是切片操作，例如下图5切片操作演示过程所示，将4×4×3的特征图经过切片处理，变成2×2×12的特征图。Yolov5中有两种结构的CSP，CSP1_X结构在backbone主干网络中，另一种CSP2_X结构在neck中,主要用于增强网络的学习能力，使得训练出的模型既能保持轻量化，又能有较高的准确性同时降低计算瓶颈和内存成本。
3）neck部分
Yolov5的neck采用FPN+PAN的结构，FPN 是自顶向下的，通过上采样操作，将高层的特征信息和低层特征进行融合，计算出预测的特征图。Yolov5网络结构中在FPN层后面，还添加了一个特征金字塔，自下向上，其中有两个PAN 结构，通过下采样操作，将低层的特征信息和高层特征进行融合，输出预测的特征图。通过自顶向下的FPN层，传达强语义特征，以及自底向上的特征金字塔，传达强定位特征，从不同的主干层，对不同的检测层，进行参数聚合。
4）输出端
Yolov5中输出端包含着边界框损失函数和非极大值抑制，前者用于衡量目标检测中预测边界框与真实边界框之间的差异，最小化预测边界框与真实边界框之间的距离，优化目标检测模型的精度。后者通过非极大值抑制来抑制多余的边界框，从而提高目标检测的精度和效率。
本方法测试验证过程如下：
1. 数据收集与预处理阶段
本发明从不同生殖中心收集了10多万张授精后在时差培养箱中D1-D3含有卵裂球的胚胎图像，并通过改进的随机擦除方案得到了30多万张D1-D3含有卵裂球的胚胎图像。考虑到时差培养箱中拍摄的图像长宽比相同，且胚胎在孔中摆放的位置各不相同，可以通过图像处理中旋转，翻转的技术对图像进行扩充，丰富胚胎姿态的多样性；考虑到时差培养箱在拍摄时会受到灯光环境的影响，调整图像的亮度、对比度以扩充数据集，增强对训练模型对不同光照环境下胚胎图像的识别能力。通过随机采用不同的处理方法，最终得到60多万张的图像作为本发明的训练集，每一张图像根据多名胚胎专家的评定结果，采用投票数最多的作为该张图像的标签。
2. 模型训练阶段
（1） 特征提取
将训练集中的图像缩放至448×448，送入Yolov5网络中，在网络中通过其中的backbone部分提取层级特征图。
（2）模型训练
对收集的胚胎图像数据集进行划分，按照8：1：1的比例分配给训练集、验证集和测试集。利用我们已标注的胚胎数据测试集对预训练的网络模型进行精训练，获取精训练后的网络和参数。
3.模型预测阶段
将测试集中的胚胎图像作为精训练网络的输入，模型会输出重叠卵裂球的识别效果图，统计测试集中每张图像的预测结果，并计算出预测概率。
由图6可以看出本发明所提出的随机擦除方案，能有效改善模型遇到新的重叠分布类型时出现的过拟合问题，提高了模型的泛化性。使得其在识别精度和置信度上都得到了一定幅度的提高。
本发明还提出一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的一种基于数据增强的胚胎图像卵裂球识别方法。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，尽管参照较佳实施例对本专利进行了详细说明，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。
Claims (10)
1.一种基于数据增强的胚胎图像卵裂球识别方法，其特征在于：包括如下步骤：
S1收集含有卵裂球的胚胎图像，对每一张胚胎图像中的卵裂球进行标注，构建原始胚胎图像数据集G1；
S2对数据集G1中每张图像进行胚胎细胞定位，得到定位后的胚胎图像，分割出卵裂球所在的区域；
S3对分割出的卵裂球所在区域图像使用随机擦除算法，得到数据集G2，同时提取与卵裂球所在区域图像同等大小的细胞边缘图像，融合到数据集G1对应每张图片被擦除的区域，再将细胞边缘图像的透明度设置为f，得到新的数据集G3，将数据集G1、G2、G3合并为训练数据集G；
S4构建胚胎图像卵裂识别网络模型，通过提取胚胎图像中的特征图，识别卵裂球个数；
S5使用训练数据集G对胚胎图像卵裂识别网络模型进行训练、测试和评估；
S6将待检测胚胎图像输入至经过训练的胚胎图像卵裂识别网络模型，获得卵裂球个数识别结果。
2.根据权利要求1所述的一种基于数据增强的胚胎图像卵裂球识别方法，其特征在于：步骤S3中由数据集G2得到数据集G3的算法表达式为：
其中为数据集G3中的卵裂球区域图像数据，f为设置的透明度，D为随机擦除的区域范围，/>为数据集G2中的卵裂球区域图像数据，/>为提取的等大小细胞边缘区域。
3.根据权利要求1所述的一种基于数据增强的胚胎图像卵裂球识别方法，其特征在于：步骤S3中具体为：
设定输入原始图像为A，图像尺寸为a×b，擦除概率为p，擦除部位宽独占比为s，高度占比为h，擦除区域为D，擦除起始点（x,y）距离图像中心长度范围为；对擦除概率p、系数k1、系数k2进行初始化，当擦除概率p大于预设阈值时，对原始图像A内的任意一点，判断是否满足：
是则令，其中I表示该位置的灰度值，否则将原始图像A赋值为擦除处理后图像B。
4.根据权利要求1所述的一种基于数据增强的胚胎图像卵裂球识别方法，其特征在于：步骤4中所述胚胎图像卵裂识别网络模型采用深度卷积神经网络实现，包括Yolov5网络、CenterNet网络、Faster RCNN网络中的一种或若干个结合。
5.根据权利要求4所述的一种基于数据增强的胚胎图像卵裂球识别方法，其特征在于：所述胚胎图像卵裂识别网络模型包括输入端、backbone部分、neck部分和输出端，具有标注标签的胚胎图像中的卵裂球在经过预处理后，被送入backbone部分进行特征提取；提取到的特征被送入neck部分，经过检测之后由输出端输出得到结果。
6.根据权利要求5所述的一种基于数据增强的胚胎图像卵裂球识别方法，其特征在于：输入端包括三种结构：Mosaic数据增强、自适应锚框计算和自适应图片缩放；其中，Mosaic数据增强：通过随机缩放、随机裁剪、随机排布的方式进行数据增强；自适应锚框计算：在训练期间，根据数据集中目标的大小和分布，自适应地调整锚框的大小和数量以提高检测准确率和运算效率；自适应图片缩放：用于统一输入图片尺寸。
7.根据权利要求5所述的一种基于数据增强的胚胎图像卵裂球识别方法，其特征在于：所述backbone部分是由Focus结构和CSP结构组成，Focus结构进行切片操作，CSP结构用于增强网络的学习能力。
8.根据权利要求5所述的一种基于数据增强的胚胎图像卵裂球识别方法，其特征在于：所述neck部分采用FPN+PAN的结构，FPN通过上采样操作，将高层的特征信息和低层特征进行融合，计算出预测的特征图；两个PAN 结构通过下采样操作，将低层的特征信息和高层特征进行融合，输出预测的特征图。
9.根据权利要求5所述的一种基于数据增强的胚胎图像卵裂球识别方法，其特征在于：所述输出端包含预测边界框损失函数和非极大值抑制，预测边界框损失函数用于衡量目标检测中预测边界框与真实边界框之间的差异，非极大值抑制用于抑制多余的边界框。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的一种基于数据增强的胚胎图像卵裂球识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311035638.4A CN116758539B (zh) | 2023-08-17 | 2023-08-17 | 一种基于数据增强的胚胎图像卵裂球识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311035638.4A CN116758539B (zh) | 2023-08-17 | 2023-08-17 | 一种基于数据增强的胚胎图像卵裂球识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116758539A true CN116758539A (zh) | 2023-09-15 |
| CN116758539B CN116758539B (zh) | 2023-10-31 |
Family
ID=87955487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311035638.4A Active CN116758539B (zh) | 2023-08-17 | 2023-08-17 | 一种基于数据增强的胚胎图像卵裂球识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116758539B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649660A (zh) * | 2024-01-29 | 2024-03-05 | 武汉互创联合科技有限公司 | 基于全局信息融合的细胞分裂均衡度评估方法及终端 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100041090A1 (en) * | 2006-06-16 | 2010-02-18 | Unisense Fertilitech A/S | Embryo quality assessment based on blastomere division and movement |
| US20200125818A1 (en) * | 2018-10-23 | 2020-04-23 | The Chinese University Of Hong Kong | Method and apparatus for segmenting cellular image |
| CN111681209A (zh) * | 2020-05-15 | 2020-09-18 | 武汉互创联合科技有限公司 | 卵裂球分裂状态智能检测方法及系统 |
| CN111785375A (zh) * | 2020-06-18 | 2020-10-16 | 武汉互创联合科技有限公司 | 胚胎分裂过程分析及妊娠率智能预测方法及系统 |
| CN111814741A (zh) * | 2020-07-28 | 2020-10-23 | 四川通信科研规划设计有限责任公司 | 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法 |
| US20230063443A1 (en) * | 2021-09-01 | 2023-03-02 | SCREEN Holdings Co., Ltd. | Image processing method and recording medium |
| JP2023035517A (ja) * | 2021-09-01 | 2023-03-13 | 株式会社Ｓｃｒｅｅｎホールディングス | 画像処理方法、受精卵の評価方法、コンピュータープログラムおよび記録媒体 |
| CN115937082A (zh) * | 2022-09-30 | 2023-04-07 | 湘潭大学 | 基于深度学习的胚胎质量智能评估系统及评估方法 |
| CN116012288A (zh) * | 2022-11-09 | 2023-04-25 | 爱辅科技(上海)有限公司 | 一种用于支持辅助生殖决策的信息处理系统 |
| CN116091421A (zh) * | 2022-12-16 | 2023-05-09 | 中山大学 | 一种体外受精胚胎卵裂球图像自动分割及面积计算的方法 |
| JP2023066991A (ja) * | 2021-10-29 | 2023-05-16 | 株式会社Ｓｃｒｅｅｎホールディングス | 画像処理方法、受精卵の評価方法、コンピュータープログラムおよび記録媒体 |
-
2023
- 2023-08-17 CN CN202311035638.4A patent/CN116758539B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100041090A1 (en) * | 2006-06-16 | 2010-02-18 | Unisense Fertilitech A/S | Embryo quality assessment based on blastomere division and movement |
| US20200125818A1 (en) * | 2018-10-23 | 2020-04-23 | The Chinese University Of Hong Kong | Method and apparatus for segmenting cellular image |
| CN111681209A (zh) * | 2020-05-15 | 2020-09-18 | 武汉互创联合科技有限公司 | 卵裂球分裂状态智能检测方法及系统 |
| CN111785375A (zh) * | 2020-06-18 | 2020-10-16 | 武汉互创联合科技有限公司 | 胚胎分裂过程分析及妊娠率智能预测方法及系统 |
| CN111814741A (zh) * | 2020-07-28 | 2020-10-23 | 四川通信科研规划设计有限责任公司 | 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法 |
| US20230063443A1 (en) * | 2021-09-01 | 2023-03-02 | SCREEN Holdings Co., Ltd. | Image processing method and recording medium |
| JP2023035517A (ja) * | 2021-09-01 | 2023-03-13 | 株式会社Ｓｃｒｅｅｎホールディングス | 画像処理方法、受精卵の評価方法、コンピュータープログラムおよび記録媒体 |
| JP2023066991A (ja) * | 2021-10-29 | 2023-05-16 | 株式会社Ｓｃｒｅｅｎホールディングス | 画像処理方法、受精卵の評価方法、コンピュータープログラムおよび記録媒体 |
| CN115937082A (zh) * | 2022-09-30 | 2023-04-07 | 湘潭大学 | 基于深度学习的胚胎质量智能评估系统及评估方法 |
| CN116012288A (zh) * | 2022-11-09 | 2023-04-25 | 爱辅科技(上海)有限公司 | 一种用于支持辅助生殖决策的信息处理系统 |
| CN116091421A (zh) * | 2022-12-16 | 2023-05-09 | 中山大学 | 一种体外受精胚胎卵裂球图像自动分割及面积计算的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649660A (zh) * | 2024-01-29 | 2024-03-05 | 武汉互创联合科技有限公司 | 基于全局信息融合的细胞分裂均衡度评估方法及终端 |
| CN117649660B (zh) * | 2024-01-29 | 2024-04-19 | 武汉互创联合科技有限公司 | 基于全局信息融合的细胞分裂均衡度评估方法及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116758539B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021139069A1 (zh) | 自适应注意力指导机制的一般性目标检测方法 | |
| Jia et al. | Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot | |
| CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| CN111723786B (zh) | 一种基于单模型预测的安全帽佩戴检测方法及装置 | |
| CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
| CN107742099A (zh) | 一种基于全卷积网络的人群密度估计、人数统计的方法 | |
| CN114241548A (zh) | 一种基于改进YOLOv5的小目标检测算法 | |
| CN116758539B (zh) | 一种基于数据增强的胚胎图像卵裂球识别方法 | |
| CN104680193B (zh) | 基于快速相似性网络融合算法的在线目标分类方法与系统 | |
| CN110781882A (zh) | 一种基于yolo模型的车牌定位和识别方法 | |
| CN110991257B (zh) | 基于特征融合与svm的极化sar溢油检测方法 | |
| CN113643228B (zh) | 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法 | |
| CN110599459A (zh) | 基于深度学习的地下管网风险评估云系统 | |
| CN113361533A (zh) | 重叠遮挡的目标物的分割识别方法及系统 | |
| CN114937179A (zh) | 垃圾图像分类方法、装置、电子设备及存储介质 | |
| CN115063664A (zh) | 用于工业视觉检测的模型学习方法、训练方法及系统 | |
| CN111339950B (zh) | 一种遥感图像目标检测方法 | |
| CN111881803A (zh) | 一种基于改进YOLOv3的畜脸识别方法 | |
| CN116740495A (zh) | 路桥隧道的病害检测模型的训练方法和病害检测方法 | |
| CN113192108B (zh) | 一种针对视觉跟踪模型的人在回路训练方法及相关装置 | |
| CN115019039A (zh) | 一种结合自监督和全局信息增强的实例分割方法及系统 | |
| Kiruthika et al. | Classification of metaphase chromosomes using deep learning neural network | |
| Wan et al. | One-shot unsupervised domain adaptation for object detection | |
| CN110533030A (zh) | 基于深度学习的太阳胶片图像时间戳信息提取方法 | |
| Kalyani et al. | Remembrance of Monocotyledons Using Residual Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |