CN116051560A - 基于胚胎多维度信息融合的胚胎动力学智能预测系统 - Google Patents

基于胚胎多维度信息融合的胚胎动力学智能预测系统 Download PDF

Info

Publication number
CN116051560A
CN116051560A CN202310332124.9A CN202310332124A CN116051560A CN 116051560 A CN116051560 A CN 116051560A CN 202310332124 A CN202310332124 A CN 202310332124A CN 116051560 A CN116051560 A CN 116051560A
Authority
CN
China
Prior art keywords
embryo
image
images
state
dynamics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310332124.9A
Other languages
English (en)
Other versions
CN116051560B (zh
Inventor
谭威
陈长胜
云新
彭松林
熊祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Mutual United Technology Co ltd
Original Assignee
Wuhan Mutual United Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Mutual United Technology Co ltd filed Critical Wuhan Mutual United Technology Co ltd
Priority to CN202310332124.9A priority Critical patent/CN116051560B/zh
Publication of CN116051560A publication Critical patent/CN116051560A/zh
Application granted granted Critical
Publication of CN116051560B publication Critical patent/CN116051560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于胚胎多维度信息融合的胚胎动力学智能预测系统，包括图像采集模块、胚胎空间维度特征识别模块、胚胎时间维度特征识别模块、动力学参数预测模块；图像采集模块采集时差培养箱拍摄的培养皿中的胚胎图像；胚胎空间维度特征识别模块输出每帧图像中胚胎在图像中的坐标以及胚胎状态的类别；胚胎时间维度特征识别模块计算各帧图像的相邻两帧图像的ROI区域相似度值；动力学参数预测模块计算相似度度量值，根据状态序列输出胚胎动力学参数。本发明有效提取了图像中胚胎的高层次特征，降低了时差培养箱拍照环境的影响以及胚胎图像中杂质的干扰，有效地定位到胚胎在发育过程中的不同状态。

Description

基于胚胎多维度信息融合的胚胎动力学智能预测系统
技术领域
本发明涉及人工智能技术领域，具体地指一种基于胚胎多维度信息融合的胚胎动力学智能预测系统。
背景技术
胚胎动力学参数是胚胎学家评判胚胎好坏的一组基础且十分重要的胚胎指标。胚胎动力学参数是指胚胎在发育过程中状态改变所对应分裂时刻，其本质反映了胚胎发育迟缓与否。根据国内外专家共识，通过对比胚胎的动力学参数，胚胎学家可以快速地捕获胚胎在不同时刻的状态，筛除发育过快以及过慢的异常胚胎，更好地完成优质胚胎的筛选，进而提升患者的妊娠率。时差培养箱不仅可为胚胎提供稳定的体外培养环境，其同时具备周期性不断获取胚胎在体外发育的全过程图像。结合时差培养箱中记录的胚胎拍照时间，胚胎学家需要根据自身的胚胎评估经验对每一张胚胎图像进行判别，获取胚胎的动力学参数，大大地增加了胚胎学家的工作量，因此，如何借助于计算机视觉方法，辅助胚胎学家快速地检测胚胎发育过程中的动力学参数具有十分重要的研究意义。目前，虽然存在一些胚胎形态学方法和光流的方法来计算胚胎的动力学参数，然而，胚胎动力学参数的智能预测在实际应用中仍存在以下几个问题：
（1）在胚胎分裂过程中，利用光流法计算图像中每个像素点灰度值的变化可以量化胚胎发育过程中的变化剧烈程度，获得胚胎动力学参数，但受到胚胎发育过程中产生的碎片以及时差培养箱中光源强度的不稳定等因素，导致光流计算结果产生偏差，不能获取准确的胚胎动力学参数；
（2）利用图形学方法计算胚胎的动力学参数也是一种常见的技术路径。然而，在胚胎发育过程中，胚胎代谢会产生一定数量的碎片以及卵裂球之间的相互重叠，降低了形态学方法对胚胎图像识别的准确率，影响了胚胎动力学参数的预测。
因此，如何提升胚胎动力学参数预测准确率是目前急需解决的关键问题。
发明内容
本发明针对现有技术的不足之处，提出一种基于胚胎多维度信息融合的胚胎动力学智能预测系统，有效地结合胚胎空间维度信息与时间维度信息以提升胚胎动力学参数预测准确率。
为实现上述目的，本发明设计的一种基于胚胎多维度信息融合的胚胎动力学智能预测系统，其特殊之处在于，所述系统包括图像采集模块、胚胎空间维度特征识别模块、胚胎时间维度特征识别模块、动力学参数预测模块；其中，
所述图像采集模块：用于采集时差培养箱拍摄的培养皿中的胚胎图像，捕获胚胎在发育过程中的不同发育时长、不同状态以及状态间变化的空间维度信息；
所述胚胎空间维度特征识别模块：用于检测胚胎图像中的位置信息和初分状态，输出每帧图像中胚胎在图像中的坐标以及胚胎状态的类别；
所述胚胎时间维度特征识别模块：用于对按照胚胎发育时长排列的胚胎图像逐帧对比计算，输出各帧图像的相邻两帧图像的ROI区域相似度值；
所述动力学参数预测模块：用于以滑动窗口逐帧对窗口内各帧图像的相似度值进行相似度度量值计算，通过阈值判定得到按胚胎发育时长依次排列的状态序列，并根据状态序列输出胚胎动力学参数，所述胚胎的动力学参数为状态序列中发生状态跳变时对应的发育时长组成的序列。
进一步地，所述胚胎空间特征识别模块以ResNet50网络作为基础网络，结合Detection Transformer网络框架，检测图像中胚胎的状态以及位置信息，由ResNet50网络提取图像中胚胎的高层次特征信息，运用卷积压缩至二维序列数据，同时引入图像每个区块的位置信息，拼接后输入到编码器中学习图片中的全局特征，进而由解码器生成胚胎的预测框，最终由前馈网络输出胚胎在图像中的坐标以及胚胎状态的类别。
更进一步地，所述胚胎空间特征识别模块经过训练后实现识别功能，训练的步骤包括：
S1收集胚胎发育全过程中的胚胎图像，标注每一张图像中胚胎所处的状态，将标注好的图像划分为训练集、验证集和测试集，对训练集中的胚胎图像进行翻转、旋转、平移等预处理操作，扩充数据集；
S2利用COCO自然图像数据集对网络模型进行预训练，并采用标注的训练集对预训练模型进行精训练；
S3根据模型在验证集上的准确率变化，调整模型的超参数，最终保存在测试集上表现最佳的网络模型；
S4运用保存的网络模型检测时差培养箱拍摄的第k张图像，输出预测结果中置信度最高的胚胎状态和位置。
更进一步地，所述胚胎时间维度特征识别模块根据网络模型输出图像中胚胎的位置，截取胚胎的ROI区域图像，按照胚胎发育时长依次排列，将发育时长为Tl的胚胎ROI区域图像调整到上一帧ROI区域图像的大小，运用余弦相似度算法，计算这两帧ROI区域图像之间的相似度值。
更进一步地，所述余弦相似度算法的计算公式如下：
       （1）
式中，表示胚胎发育时长为Tl与上一帧图像的相似度，与表示胚胎发育时长为Tl-1与Tl的ROI区域图像，表示图像的范数，表示Tl-1时刻的ROI区域图像在坐标点（i，j）处的灰度值，表示Tl时刻的ROI区域图像在坐标点（j，k）处的灰度值。
更进一步地，所述动力学参数预测模块进行阈值判定的方法为：判断当前帧图像的相似度度量值是否超过设定阈值，超过则认为发生了状态变化，将当前帧的胚胎状态类别替换为窗口内出现次数最多的胚胎状态类别；若未超过阈值则保留当前帧的胚胎状态类别，直至遍历所有图像，得到按胚胎发育时长依次排列的状态序列。
更进一步地，所述动力学参数预测模块进行相似度度量值计算的计算公式如下：
  （2）
式中，表示根据加权平均公式计算得到第k张胚胎图像与相邻l帧内的相似度度量值，Tk与分别表示第k与第张胚胎图像对应的胚胎发育时长，l表示滑动窗口的大小，i表示在滑动窗口的下标，表示向上取整函数，表示在胚胎在计算得到的ROI区域相似度值，与分别表示与Tk的胚胎状态，表示取绝对值，αi表示第i个加权系数，βki表示滑动窗口内第i张图像与Tk时刻下胚胎的状态差值。
更进一步地，所述胚胎的状态差值βki的计算公式为：
    (3)
式中，与表示状态与状态在状态列表S中的索引值。
更进一步地，所述动力学参数预测模块进行胚胎状态调整的计算方式为：
        (4)
式中，表示Tk时刻调整后的胚胎状态，表示胚胎发育到Tk时网络模型识别的胚胎状态，Sm表示滑动窗口内出现次数最多的胚胎状态，表示滑动窗口内胚胎相似度度量值，θ表示需要调整胚胎状态的阈值。
本发明还提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于胚胎多维度信息融合的胚胎动力学智能预测系统。
本发明提出的基于胚胎多维度信息融合的胚胎动力学智能预测系统，其有益效果包括：
1、本发明通过运用神经网络模型有效地提取了图像中胚胎的高层次特征，降低了时差培养箱拍照环境的影响以及胚胎图像中杂质的干扰，有效地定位到胚胎在发育过程中的不同状态；
2、本发明通过融合胚胎在空间维度以及时间维度上的特征信息，可以实现胚胎动力学参数的智能预测，为胚胎学家挑选优质胚胎提供了数据支撑；
3、本发明提出以滑动窗口逐帧对窗口内各帧图像的相似度值进行相似度度量值计算，通过阈值判定得到按胚胎发育时长依次排列的状态序列，并根据状态序列输出胚胎动力学参数，对胚胎动力学参数预测的准确率有较大程度上的提高。
附图说明
图1为本发明基于胚胎多维度信息融合的胚胎动力学智能预测系统的结构框图；
图2为图1中胚胎空间特征识别模块的网络架构图；
图3为图1中胚胎空间特征识别模块训练过程示意图；
图4为利用本发明进行胚胎动力学参数预测流程图；
图5为图1中胚胎空间特征识别模块输出结果示意图；
图6为图1中胚胎空间特征识别模块输出的胚胎不同状态下ROI区域图像示意图；
图7为本发明输出的胚胎动力学参数预测结果图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
本发明提出的基于胚胎多维度信息融合的胚胎动力学智能预测系统，如图1所示，系统包括图像采集模块、胚胎空间维度特征识别模块、胚胎时间维度特征识别模块、动力学参数预测模块；其中，
图像采集模块：用于采集时差培养箱拍摄的培养皿中的胚胎图像，捕获胚胎在发育过程中的不同发育时长、不同状态以及状态间变化的空间维度信息；
胚胎空间维度特征识别模块：用于检测胚胎图像中的位置信息和初分状态，输出每帧图像中胚胎在图像中的坐标以及胚胎状态的类别；
胚胎时间维度特征识别模块：用于对按照胚胎发育时长排列的胚胎图像逐帧对比计算，输出各帧图像的相邻两帧图像的ROI区域相似度值；
动力学参数预测模块：用于以滑动窗口逐帧对窗口内各帧图像的相似度值进行相似度度量值计算，通过阈值判定得到按胚胎发育时长依次排列的状态序列，并根据状态序列输出胚胎动力学参数，所述胚胎的动力学参数为状态序列中发生状态跳变时对应的发育时长组成的序列。
图像采集模块通过调整时差培养箱的参数，每15分钟可以采集一张胚胎图像，以捕获胚胎在发育过程中的不同状态以及状态间变化的空间维度信息，进一步运用人工智能技术提取胚胎的高层次特征，检测图像中胚胎所处的状态以及在图像中的位置。设定时差培养箱拍摄胚胎的图像张数为n，Ti,i=1,2,…,n分别对应于第i张图像所对应的胚胎发育时长。
如图2所示，在本实施例中，胚胎空间特征识别模块以ResNet50网络作为基础网络，结合Detection Transformer网络框架，检测图像中胚胎的状态以及位置信息，由ResNet50网络提取图像中胚胎的高层次特征信息，运用1×1的卷积压缩至2维序列数据，同时引入图像每个区块的位置信息，拼接后输入到Transformer的编码器中学习图片中的全局特征，进而由Transformer解码器生成胚胎的预测框，最终由前馈网络输出胚胎在图像中的坐标以及胚胎状态的类别。
如图3所示，胚胎空间特征识别模块训练的具体步骤如下：
S1收集胚胎发育全过程中的胚胎图像，标注每一张图像中胚胎所处的状态，将标注好的图像划分为训练集、验证集和测试集，对训练集中的胚胎图像进行翻转、旋转、平移等预处理操作，扩充数据集；
S2利用COCO自然图像数据集对网络模型进行预训练，并采用标注的训练集对预训练模型进行精训练；
S3根据模型在验证集上的准确率变化，调整模型的超参数，最终保存在测试集上表现最佳的网络模型；
S4运用保存的网络模型检测时差培养箱拍摄的第k张图像，输出预测结果中置信度最高的胚胎状态和位置。特别地，本发明中将胚胎分为12种状态，按照胚胎发育顺序依次标记为1细胞，2细胞，3细胞，4细胞，5细胞，6细胞，7细胞，8细胞，9+细胞，桑葚期细胞，融合期胚胎，囊胚期胚胎，胚胎发育到Tk时刻，网络模型识别输出的胚胎状态记为。
时差培养箱周期性地拍摄胚胎图像记录了胚胎在发育过程中胚胎状态的改变，而胚胎状态的改变导致了图像中胚胎区域像素值发生了剧烈的变化，大大地降低了胚胎区域的相似度。因此，利用图像处理技术，计算相邻两帧图像中胚胎区域的相似度，可以记录胚胎在时间维度上的特征。
在本实施例中，胚胎时间维度特征识别模块根据网络模型输出图像中胚胎的位置，截取胚胎的ROI区域图像，按照胚胎发育时长依次排列，将发育时长为Tl的胚胎ROI区域图像调整到上一帧ROI区域图像的大小，运用余弦相似度算法，计算这两帧ROI区域图像之间的相似度值。
具体地，余弦相似度算法的计算公式如下：
  （1）
式中，表示胚胎发育时长为Tl与上一帧图像的相似度，与表示胚胎发育时长为Tl-1与Tl的ROI区域图像，表示图像的范数，表示 Tl-1时刻的ROI区域图像在坐标点（i，j）处的灰度值，表示Tl时刻的ROI区域图像在坐标点（j，k）处的灰度值。
如图4所示，动力学参数预测模块进行胚胎动力学参数的精确预测的步骤如下：
（1）以长度为l的滑动窗口，按照公式2计算发育时长为Tl的胚胎在窗口内的相似度度量值，若该值超过阈值θ，则认为滑动窗口中心帧的图像发生了状态的变化，以窗口右侧区域内出现最多的状态值替换该帧状态值，反之，则保持该帧图像中的胚胎状态不变。本发明中，将l设定为7，θ设定为12；
（2）将步骤（1）中计算得到状态按照胚胎发育时长依次排列为S1,S2,…,Sn，逐步对比相邻时刻的状态。若胚胎的状态在Si处发生跳变，则输出胚胎的动力学参数为Ti，最终依次地比对状态值，输出胚胎的动力学参数。具体地，若胚胎图像在第300张所对应的胚胎发育时长为60h，根据步骤（1）计算得到的状态为6细胞，胚胎图像在第301张所对应的胚胎发育时长为60.3h，根据步骤（1）计算得到的状态是8细胞，则输出胚胎的动力学参数t8为60.3h。
本发明中，根据辅助生殖领域内对胚胎状态划分，将胚胎的状态按照胚胎发育的顺序分为12种，分别为{1细胞，2细胞，3细胞，4细胞，5细胞，6细胞，7细胞，8细胞，9+细胞，桑葚期细胞，融合期胚胎，囊胚期胚胎}，将这12种状态的顺序集合记作S。
在本实施例中，滑动窗口内胚胎相似度度量值计算方法为：
      （2）
式中，表示根据加权平均公式计算得到第k张胚胎图像与相邻l帧内的相似度度量值，Tk与分别表示第k与第张胚胎图像对应的胚胎发育时长，l表示滑动窗口的大小，i表示在滑动窗口的下标，表示向上取整函数，表示在胚胎在计算得到的ROI区域相似度值，与分别表示与Tk的胚胎状态，表示取绝对值，αi表示第i个加权系数，βki表示滑动窗口内第i张图像与Tk时刻下胚胎的状态差值。
上式中，胚胎的状态差值βki的计算公式为：
    (3)
式中，与表示状态与状态在状态列表S中的索引值。
动力学参数预测模块进行胚胎状态调整的计算方式为：
          (4)
式中，表示Tk时刻调整后的胚胎状态，表示胚胎发育到Tk时网络模型识别的胚胎状态，Sm表示滑动窗口内出现次数最多的胚胎状态，表示滑动窗口内胚胎相似度度量值，θ表示需要调整胚胎状态的阈值。
本发明的实施过程如下：
1. 标准数据库的构建
本发明从不同生殖中心收集了时差培养箱中拍摄的发育全过程的胚胎图像，为了消除数据分布不均匀的因素，同时保障数据的多样性，本发明对从不同的胚胎序列中随机抽取了胚胎图像，并保证胚胎不同状态的图像均不低于3000张。对每一张胚胎图像，邀请多名胚胎专家进行标注，采用投票数最多的作为该张图像的最终标签。为了进一步提高胚胎的位置、形态等多样性，本发明针对训练集中的图像采用了翻转、旋转等方式扩充图像数据集，以增强模型对胚胎状态预测的泛化性。
2. 胚胎动力学参数预测
（1）网络模型预测
将胚胎发育序列中的图像输入到训练好的DERT模型中，输出图像中胚胎的状态与位置，如图5所示；
（2）胚胎相似度计算
根据第一步中模型预测的胚胎位置，截取每张图像中对应的胚胎的ROI区域，如图6所示。按照胚胎的发育顺序依次排列胚胎的ROI区域图像，并采用余弦相似度算法计算相邻两帧胚胎ROI区域图像的相似度值；
（3）根据胚胎相似度调整胚胎状态
按照胚胎的发育顺序依次排列胚胎的相似度值，使用固定大小的滑动窗计算胚胎在此窗口内的相似度度量值，若该值高于设定阈值，则调整滑动中心对应的胚胎状态为滑动窗口内最多次数的状态，反之，则保留胚胎原始的状态；
（4）胚胎动力学参数的计算
依次对比（3）中调整后的胚胎状态，当胚胎状态出现跳变时，记录胚胎跳变后的状态以及对应的时间，即为胚胎的动力学参数。对比所有的胚胎状态，输出胚胎所有的动力学参数值，如图7所示。
3. 胚胎动力学参数预测实验结果对比
本发明收集了418组未加入到模型数据集中的胚胎发育序列，由资深的胚胎学家对胚胎的动力学参数进行标注，采用图形学方法、光流法以及本发明的方法分别对胚胎的动力学参数进行计算。为了统计不同方法的准确度，通过两个层面衡量计算结果。若计算的每个动力学参数值与胚胎学家标注的结果均一致，则认为算法识别的完全正确，若计算的动力学参数值与胚胎学家标注的结果相差在1h内，则认为算法识别的几乎正确。按照这两个不同的标准进行准确率的统计，根据统计结果显示，本发明提出的方法对胚胎动力学参数预测的准确率有较大程度上的提高，具体结果如表1所示。
表1 胚胎动力学参数预测结果
本发明还提出一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的的基于胚胎多维度信息融合的胚胎动力学智能预测系统。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，尽管参照较佳实施例对本专利进行了详细说明，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。

Claims (10)

1.一种基于胚胎多维度信息融合的胚胎动力学智能预测系统，其特征在于：所述系统包括图像采集模块、胚胎空间维度特征识别模块、胚胎时间维度特征识别模块、动力学参数预测模块；其中，
所述图像采集模块：用于采集时差培养箱拍摄的培养皿中的胚胎图像，捕获胚胎在发育过程中的不同发育时长、不同状态以及状态间变化的空间维度信息；
所述胚胎空间维度特征识别模块：用于检测胚胎图像中的位置信息和初分状态，输出每帧图像中胚胎在图像中的坐标以及胚胎状态的类别；
所述胚胎时间维度特征识别模块：用于对按照胚胎发育时长排列的胚胎图像逐帧对比计算，输出各帧图像的相邻两帧图像的ROI区域相似度值；
所述动力学参数预测模块：用于以滑动窗口逐帧对窗口内各帧图像的相似度值进行相似度度量值计算，通过阈值判定得到按胚胎发育时长依次排列的状态序列，并根据状态序列输出胚胎动力学参数，所述胚胎的动力学参数为状态序列中发生状态跳变时对应的发育时长组成的序列。
2.根据权利要求1所述的一种基于胚胎多维度信息融合的胚胎动力学智能预测系统，其特征在于：所述胚胎空间特征识别模块以ResNet50网络作为基础网络，结合DetectionTransformer网络框架，检测图像中胚胎的状态以及位置信息，由ResNet50网络提取图像中胚胎的高层次特征信息，运用卷积压缩至二维序列数据，同时引入图像每个区块的位置信息，拼接后输入到编码器中学习图片中的全局特征，进而由解码器生成胚胎的预测框，最终由前馈网络输出胚胎在图像中的坐标以及胚胎状态的类别。
3.根据权利要求2所述的一种基于胚胎多维度信息融合的胚胎动力学智能预测系统，其特征在于：所述胚胎空间特征识别模块经过训练后实现识别功能，训练的步骤包括：
S1收集胚胎发育全过程中的胚胎图像，标注每一张图像中胚胎所处的状态，将标注好的图像划分为训练集、验证集和测试集，对训练集中的胚胎图像进行翻转、旋转、平移等预处理操作，扩充数据集；
S2利用COCO自然图像数据集对网络模型进行预训练，并采用标注的训练集对预训练模型进行精训练；
S3根据模型在验证集上的准确率变化，调整模型的超参数，最终保存在测试集上表现最佳的网络模型；
S4运用保存的网络模型检测时差培养箱拍摄的第k张图像，输出预测结果中置信度最高的胚胎状态和位置。
4.根据权利要求1所述的一种基于胚胎多维度信息融合的胚胎动力学智能预测系统，其特征在于：所述胚胎时间维度特征识别模块根据网络模型输出图像中胚胎的位置，截取胚胎的ROI区域图像，按照胚胎发育时长依次排列，将发育时长为Tl的胚胎ROI区域图像调整到上一帧ROI区域图像的大小，运用余弦相似度算法，计算这两帧ROI区域图像之间的相似度值。
5.根据权利要求4所述的一种基于胚胎多维度信息融合的胚胎动力学智能预测系统，其特征在于：所述余弦相似度算法的计算公式如下：
      （1）
式中，表示胚胎发育时长为Tl与上一帧图像的相似度，与表示胚胎发育时长为Tl-1与Tl的ROI区域图像，表示图像的范数，表示Tl-1时刻的ROI区域图像在坐标点（i，j）处的灰度值，表示Tl时刻的ROI区域图像在坐标点（j，k）处的灰度值。
6.根据权利要求1所述的一种基于胚胎多维度信息融合的胚胎动力学智能预测系统，其特征在于：所述动力学参数预测模块进行阈值判定的方法为：判断当前帧图像的相似度度量值是否超过设定阈值，超过则认为发生了状态变化，将当前帧的胚胎状态类别替换为窗口内出现次数最多的胚胎状态类别；若未超过阈值则保留当前帧的胚胎状态类别，直至遍历所有图像，得到按胚胎发育时长依次排列的状态序列。
7.根据权利要求1所述的一种基于胚胎多维度信息融合的胚胎动力学智能预测系统，其特征在于：所述动力学参数预测模块进行相似度度量值计算的计算公式如下：
   （2）
式中，表示根据加权平均公式计算得到第k张胚胎图像与相邻l帧内的相似度度量值，Tk与分别表示第k与第
张胚胎图像对应的胚胎发育时长，l表示滑动窗口的大小，i表示在滑动窗口的下标，表示向上取整函数，表示在胚胎在计算得到的ROI区域相似度值，与分别表示与Tk的胚胎状态，表示取绝对值，αi表示第i个加权系数，βki表示滑动窗口内第i张图像与Tk时刻下胚胎的状态差值。
8.根据权利要求7所述的一种基于胚胎多维度信息融合的胚胎动力学智能预测系统，其特征在于：所述胚胎的状态差值βki的计算公式为：
   (3)
式中，与表示状态与状态在状态列表S中的索引值。
9.根据权利要求6所述的一种基于胚胎多维度信息融合的胚胎动力学智能预测系统，其特征在于：所述动力学参数预测模块进行胚胎状态调整的计算方式为：
          (4)
式中，表示Tk时刻调整后的胚胎状态，表示胚胎发育到Tk时网络模型识别的胚胎状态，Sm表示滑动窗口内出现次数最多的胚胎状态，表示滑动窗口内胚胎相似度度量值，θ表示需要调整胚胎状态的阈值。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的基于胚胎多维度信息融合的胚胎动力学智能预测系统。
CN202310332124.9A 2023-03-31 2023-03-31 基于胚胎多维度信息融合的胚胎动力学智能预测系统 Active CN116051560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310332124.9A CN116051560B (zh) 2023-03-31 2023-03-31 基于胚胎多维度信息融合的胚胎动力学智能预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310332124.9A CN116051560B (zh) 2023-03-31 2023-03-31 基于胚胎多维度信息融合的胚胎动力学智能预测系统

Publications (2)

Publication Number Publication Date
CN116051560A true CN116051560A (zh) 2023-05-02
CN116051560B CN116051560B (zh) 2023-06-20

Family

ID=86131662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310332124.9A Active CN116051560B (zh) 2023-03-31 2023-03-31 基于胚胎多维度信息融合的胚胎动力学智能预测系统

Country Status (1)

Country Link
CN (1) CN116051560B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757967A (zh) * 2023-08-18 2023-09-15 武汉互创联合科技有限公司 胚胎图像碎片去除方法、计算机设备及可读存储介质
CN116823831A (zh) * 2023-08-29 2023-09-29 武汉互创联合科技有限公司 基于循环特征推理的胚胎图像碎片去除系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003088150A1 (en) * 2002-04-09 2003-10-23 University Of Iowa Research Foundation Reconstruction and motion analysis of an embryo
CN102960265A (zh) * 2012-12-05 2013-03-13 华中科技大学 一种非侵入式蛋胚存活状态检测方法及装置
US20140087415A1 (en) * 2011-05-31 2014-03-27 Unisense Fertilitech A/S Embryo quality assessment based on blastomere cleavage and morphology
CN109214375A (zh) * 2018-11-07 2019-01-15 浙江大学 一种基于分段采样视频特征的胚胎妊娠结果预测装置
WO2020157761A1 (en) * 2019-01-31 2020-08-06 Amnon Buxboim Automated evaluation of embryo implantation potential
US20200311915A1 (en) * 2017-11-29 2020-10-01 Optim Corporation Growth status prediction system and method and computer-readable program
CN111783854A (zh) * 2020-06-18 2020-10-16 武汉互创联合科技有限公司 胚胎妊娠状态智能预测方法及系统
CN112990319A (zh) * 2021-03-18 2021-06-18 武汉互创联合科技有限公司 基于深度学习的染色体整倍性预测系统、方法、终端、介质
CN113469958A (zh) * 2021-06-18 2021-10-01 中山大学附属第一医院 一种胚胎发育潜能预测方法、系统、设备及存储介质
WO2022012110A1 (zh) * 2020-07-17 2022-01-20 中山大学 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质
CN115036021A (zh) * 2022-06-10 2022-09-09 湘潭市中心医院 一种基于空间动力学参数的胚胎发育监控方法
CN115049908A (zh) * 2022-08-16 2022-09-13 武汉互创联合科技有限公司 基于胚胎发育图像的多阶段智能分析方法及系统
WO2022240851A1 (en) * 2021-05-10 2022-11-17 Kang Zhang System and method for outcome evaluations on human ivf-derived embryos
US20220392062A1 (en) * 2019-12-20 2022-12-08 Alejandro Chavez Badiola Method based on image conditioning and preprocessing for human embryo classification
CN115641335A (zh) * 2022-12-22 2023-01-24 武汉互创联合科技有限公司 基于时差培养箱的胚胎异常多级联智能综合分析系统
CN115641364A (zh) * 2022-12-22 2023-01-24 武汉互创联合科技有限公司 基于胚胎动力学参数的胚胎分裂周期智能预测系统及方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003088150A1 (en) * 2002-04-09 2003-10-23 University Of Iowa Research Foundation Reconstruction and motion analysis of an embryo
US20140087415A1 (en) * 2011-05-31 2014-03-27 Unisense Fertilitech A/S Embryo quality assessment based on blastomere cleavage and morphology
CN102960265A (zh) * 2012-12-05 2013-03-13 华中科技大学 一种非侵入式蛋胚存活状态检测方法及装置
US20200311915A1 (en) * 2017-11-29 2020-10-01 Optim Corporation Growth status prediction system and method and computer-readable program
CN109214375A (zh) * 2018-11-07 2019-01-15 浙江大学 一种基于分段采样视频特征的胚胎妊娠结果预测装置
WO2020157761A1 (en) * 2019-01-31 2020-08-06 Amnon Buxboim Automated evaluation of embryo implantation potential
US20220392062A1 (en) * 2019-12-20 2022-12-08 Alejandro Chavez Badiola Method based on image conditioning and preprocessing for human embryo classification
CN111783854A (zh) * 2020-06-18 2020-10-16 武汉互创联合科技有限公司 胚胎妊娠状态智能预测方法及系统
WO2022012110A1 (zh) * 2020-07-17 2022-01-20 中山大学 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质
CN112990319A (zh) * 2021-03-18 2021-06-18 武汉互创联合科技有限公司 基于深度学习的染色体整倍性预测系统、方法、终端、介质
WO2022240851A1 (en) * 2021-05-10 2022-11-17 Kang Zhang System and method for outcome evaluations on human ivf-derived embryos
CN113469958A (zh) * 2021-06-18 2021-10-01 中山大学附属第一医院 一种胚胎发育潜能预测方法、系统、设备及存储介质
CN115036021A (zh) * 2022-06-10 2022-09-09 湘潭市中心医院 一种基于空间动力学参数的胚胎发育监控方法
CN115049908A (zh) * 2022-08-16 2022-09-13 武汉互创联合科技有限公司 基于胚胎发育图像的多阶段智能分析方法及系统
CN115641335A (zh) * 2022-12-22 2023-01-24 武汉互创联合科技有限公司 基于时差培养箱的胚胎异常多级联智能综合分析系统
CN115641364A (zh) * 2022-12-22 2023-01-24 武汉互创联合科技有限公司 基于胚胎动力学参数的胚胎分裂周期智能预测系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BO HUANG 等: "An artificial intelligence model (euploid prediction algorithm) can predict embryo ploidy status based on time-lapse data", 《REPROD BIOL ENDOCRINOL》, pages 1 - 10 *
邹曜宇;徐彦;谷瑞环;李志超;伏静;孙贻娟;: "胚胎形态动力学参数与胚胎整倍性的关系", 生殖医学杂志, no. 10, pages 1275 - 1279 *
郑爱燕;丁洁;蒲艳;廖桂芝;孟庆霞;王馥新;李红;王玮;: "利用胚胎实时监测形态动力学参数预测胚胎种植结局", 中国生育健康杂志, no. 02, pages 161 - 164 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757967A (zh) * 2023-08-18 2023-09-15 武汉互创联合科技有限公司 胚胎图像碎片去除方法、计算机设备及可读存储介质
CN116757967B (zh) * 2023-08-18 2023-11-03 武汉互创联合科技有限公司 胚胎图像碎片去除方法、计算机设备及可读存储介质
CN116823831A (zh) * 2023-08-29 2023-09-29 武汉互创联合科技有限公司 基于循环特征推理的胚胎图像碎片去除系统
CN116823831B (zh) * 2023-08-29 2023-11-14 武汉互创联合科技有限公司 基于循环特征推理的胚胎图像碎片去除系统

Also Published As

Publication number Publication date
CN116051560B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN116051560B (zh) 基于胚胎多维度信息融合的胚胎动力学智能预测系统
CN113537106B (zh) 一种基于YOLOv5的鱼类摄食行为识别方法
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN111540006B (zh) 基于深度迁移学习的植物气孔智能检测与识别方法及系统
CN111797683A (zh) 一种基于深度残差注意力网络的视频表情识别方法
CN115641364B (zh) 基于胚胎动力学参数的胚胎分裂周期智能预测系统及方法
CN113688889A (zh) 异常检测方法、装置、电子设备及计算机可读存储介质
CN110598638A (zh) 模型训练方法、人脸性别预测方法、设备及存储介质
EP3485458A1 (en) Information processing device, information processing method, and information processing system
CN114463843A (zh) 一种基于深度学习的多特征融合鱼类异常行为检测方法
JP2019088243A (ja) 画像解析装置
US20210380910A1 (en) Cell counting and culture interpretation method and application thereof
CN112270404A (zh) 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法
CN115641335B (zh) 基于时差培养箱的胚胎异常多级联智能综合分析系统
CN116052211A (zh) 一种基于知识蒸馏的YOLOv5s轻量级羊只品种识别方法及系统
CN116884036A (zh) 基于YOLOv5DA的生猪姿态检测方法、装置、设备及介质
CN116091786A (zh) 猪只估重的全息体尺自编码方法、系统、设备及存储介质
CN115908843A (zh) 过热度识别模型训练方法、识别方法、设备及存储介质
CN113569737A (zh) 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质
CN113971825A (zh) 基于人脸感兴趣区域贡献度的跨数据集微表情识别方法
CN115512174A (zh) 应用二次IoU损失函数的无锚框目标检测方法
CN117649660B (zh) 基于全局信息融合的细胞分裂均衡度评估方法及终端
CN114066934B (zh) 一种面向靶向微操作的抗遮挡细胞追踪方法
US11972542B2 (en) Optical correction via machine learning
CN114863545B (zh) 基于DeepLabCut的自动眨眼检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant