CN116524545A - 一种基于人工智能的胚胎分级方法及系统 - Google Patents

一种基于人工智能的胚胎分级方法及系统 Download PDF

Info

Publication number
CN116524545A
CN116524545A CN202310790558.3A CN202310790558A CN116524545A CN 116524545 A CN116524545 A CN 116524545A CN 202310790558 A CN202310790558 A CN 202310790558A CN 116524545 A CN116524545 A CN 116524545A
Authority
CN
China
Prior art keywords
time
video
probability
grading
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310790558.3A
Other languages
English (en)
Other versions
CN116524545B (zh
Inventor
宋宁
高博宇
崔广林
刘子韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
First Affiliated Hospital of Zhengzhou University
Original Assignee
Jinan University
First Affiliated Hospital of Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University, First Affiliated Hospital of Zhengzhou University filed Critical Jinan University
Priority to CN202310790558.3A priority Critical patent/CN116524545B/zh
Publication of CN116524545A publication Critical patent/CN116524545A/zh
Application granted granted Critical
Publication of CN116524545B publication Critical patent/CN116524545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种基于人工智能的胚胎分级方法,获取胚胎培育过程中的视频,根据设置的时间节点从视频中抽取帧,建立帧和相对时间的关系,所述相对时间为抽取的帧在所述视频中的时间减去所述视频的第一帧的时间;构建与所述时间节点对应的ViT网络,对每个时间节点对应的ViT网络进行训练,得到训练后的ViT网络;将抽取的帧分别作为对应的ViT网络的输入,得到不同时间节点的class token、每个分级对应的概率;对时间节点编码,将时间编码结果和对应的class token相加,作为Transformer的输入,将Transformer的输出作为整个视频每个分级的概率;根据不同时间节点的每个分级对应的概率、整个视频每个分级的概率得到胚胎分级结果。本发明提高了对胚胎进行分级的准确性。

Description

一种基于人工智能的胚胎分级方法及系统
技术领域
本发明涉及人工智能领域,尤其涉及基于人工智能的胚胎分级方法及系统。
背景技术
优质的胚胎可以显著提高妊娠成功的机会,并且提高胚胎移植的效率和成功率,减少多胎妊娠的风险,胚胎分级是指根据胚胎的外观特征和发育状态,将胚胎分为不同的等级的过程。这一过程通常在生殖医学和胚胎学中使用,用于评估胚胎的质量、发育潜力和选择适合移植的胚胎。通过观察胚胎的形态、细胞数量、细胞结构等特征可以对胚胎进行分级,常见的胚胎分级指标有细胞数量、细胞结构和对称性、胚胎囊胚的形态、胚胎细胞的碎裂和凝聚情况等。传统的胚胎分级主要是采用手动胚胎分级,手动胚胎分级又称为人工胚胎分级,这严重依赖人的主观观察和判断,不同的医生有不同的主观偏好和标准,导致分级结果的一致性差异,而且人眼观察和分辨细微的胚胎特征存在局限性,特别是对于小细胞团或细胞结构的评估。这可能导致无法准确获知一些关键的发育特征,限制了分级结果的精确性和可靠性。采用人工智能的胚胎分级方法,避免了分级时人为主观因素的的干扰,提高工作效率,而且能够获得更为精确的信息。但是现有的基于人工智能的胚胎分级方法准确性仍然不满足要求,在自动分级后,医生还需要进一步确认。
发明内容
为了解决上述问题,在第一个方面,本发明一种基于人工智能的胚胎分级方法,所述方法包括以下步骤:
获取胚胎培育过程中的视频,根据设置的时间节点从视频中抽取帧,建立帧和相对时间的关系,所述相对时间为抽取的帧在所述视频中的时间减去所述视频的第一帧的时间;
构建与所述时间节点对应的ViT网络,对每个时间节点对应的ViT网络进行训练,得到训练后的ViT网络;将抽取的帧分别作为对应的ViT网络的输入,得到不同时间节点的class token、每个分级对应的概率;
对时间节点编码,将时间编码结果和对应的class token相加,作为Transformer的输入,将Transformer的输出作为整个视频每个分级的概率;根据不同时间节点的每个分级对应的概率、整个视频每个分级的概率得到胚胎分级结果。
优选地,所述时间节点的确定方法具体为:
在受精后12、24小时分别设置一个时间节点,在受精后24-72小时内每隔四个小时设置一个时间节点,在受精后72-120小时内每隔六个小时设置一个时间节点;或者,
在受精后每隔12个小时设置一个时间节点到达预设时间为止。
优选地,所述根据设置的时间节点从视频中抽取帧,具体为:
获得与所述时间节点相差N分钟内的待选视频帧,再加上所述时间节点的视频帧得到2N+1个视频帧,计算2N+1个视频帧的清晰度,将清晰度最高的一帧作为最终抽取帧;其中,所述待选视频帧在视频中的时间与时间节点的差值为整分钟的倍数,N为正整数。
优选地,所述对每个时间节点对应的ViT网络进行训练,具体为:
获取训练视频以及对应时间节点的标注,并获取所述训练视频在所述对应时间节点的所述待选视频帧,并采用所述标注对所述待选视频帧进行标注,采用标注后的待选视频帧和时间节点对应的视频帧对时间节点对应的ViT网络进行训练。
优选地,所述根据不同时间节点的每个分级对应的概率、整个视频每个分级的概率得到胚胎分级结果,具体为:
按照所述相对时间计算权重,且所有时间节点对应的权重之和为1;
对于每个时间节点,计算权重与分级对应的概率的乘积,将所述乘积作为时间节点的每个分级的加权概率;
对于每个分级,将所有节点对应分级的加权概率之和作为分级的第一概率,将整个视频对应分级的概率和对应分级的第一概率之和作为胚胎对应分级的概率,进而得到胚胎分级结果。
此外,本发明还提供了一种基于人工智能的胚胎分级系统,所述系统包括以下模块:
帧抽取模块,用于获取胚胎培育过程中的视频,根据设置的时间节点从视频中抽取帧,建立帧和相对时间的关系,所述相对时间为抽取的帧在所述视频中的时间减去所述视频的第一帧的时间;
特征提取模块,用于构建与所述时间节点对应的ViT网络,对每个时间节点对应的ViT网络进行训练,得到训练后的ViT网络;将抽取的帧分别作为对应的ViT网络的输入,得到不同时间节点的class token、每个分级对应的概率;
分级模块,用于对时间节点编码,将时间编码结果和对应的class token相加,作为Transformer的输入,将Transformer的输出作为整个视频每个分级的概率;根据不同时间节点的每个分级对应的概率、整个视频每个分级的概率得到胚胎分级结果。
优选地,所述时间节点的确定方法具体为:
在受精后12、24小时分别设置一个时间节点,在受精后24-72小时内每隔四个小时设置一个时间节点,在受精后72-120小时内每隔六个小时设置一个时间节点;或者,
在受精后每隔12个小时设置一个时间节点到达预设时间为止。
优选地,所述根据设置的时间节点从视频中抽取帧,具体为:
获得与所述时间节点相差N分钟内的待选视频帧,再加上所述时间节点的视频帧得到2N+1个视频帧,计算2N+1个视频帧的清晰度,将清晰度最高的一帧作为最终抽取帧;其中,所述待选视频帧在视频中的时间与时间节点的差值为整分钟的倍数,N为正整数。
优选地,所述对每个时间节点对应的ViT网络进行训练,具体为:
获取训练视频以及对应时间节点的标注,并获取所述训练视频在所述对应时间节点的所述待选视频帧,并采用所述标注对所述待选视频帧进行标注,采用标注后的待选视频帧和时间节点对应的视频帧对时间节点对应的ViT网络进行训练。
优选地,所述根据不同时间节点的每个分级对应的概率、整个视频每个分级的概率得到胚胎分级结果,具体为:
按照所述相对时间计算权重,且所有时间节点对应的权重之和为1;
对于每个时间节点,计算权重与分级对应的概率的乘积,将所述乘积作为时间节点的每个分级的加权概率;
对于每个分级,将所有节点对应分级的加权概率之和作为分级的第一概率,将整个视频对应分级的概率和对应分级的第一概率之和作为胚胎对应分级的概率,进而得到胚胎分级结果。
另外,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序在被处理器执行时实现如第一个方面所述的方法。
此外,本发明还提供了一种计算机设备,所述计算机设备包括处理器、存储器,所述存储器上存储有计算机程序,所述计算机程序在被处理器执行时实现如第一个方面所述的方法。
针对现有的胚胎分级多依赖人工以及现有依靠人工智能的胚胎分级准确性低的问题,本发明提供的胚胎分级方法,不仅利用了胚胎发育的最后图像信息,还参考了胚胎发育整个过程的动态变化,此外,本发明提供的方法在不同时间节点分别设置有ViT模型,对每个时间节点分别设置ViT模型,解决了统一模型造成识别误差高的问题,最后又对整个过程不同时间节点的classtoken进一步识别,使得识别的准确性大幅提升。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为实施例一的流程图;
图2为实施例二的结构示意图。
具体实施方式
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
第一实施例
本发明一种基于人工智能的胚胎分级方法,如图1所示,所述方法包括以下步骤:
步骤一,获取胚胎培育过程中的视频,根据设置的时间节点从视频中抽取帧,建立帧和相对时间的关系,所述相对时间为抽取的帧在所述视频中的时间减去所述视频的第一帧的时间;
胚胎的发育过程从受精卵开始,从受精卵到发育成可以移植的胚胎是一个动态过程,这个动态过程包含了受精卵到移植胚胎的整个过程的信息,本发明从受精卵开始持续获取胚胎的发育过程视频,然后从视频中抽取帧。由于视频中帧的数量很多,每个帧又有很多像素数据,对整个视频(通常为3或4天)都进行处理是不太可能的,本发明采用关键时间节点的帧对胚胎进行分级,具体地,设置时间节点,在每个时间节点抽取一帧或多帧,然后对所有帧进行处理,这可以大大减少数据的处理量,而且获得的信息相比仅仅依靠移植前胚胎的图像更多。
胚胎分级是评估胚胎质量的重要指标,对于胚胎分级主要是依据胚胎分裂的细胞数、细胞的均匀性、细胞分裂过程中的碎片等,一般将胚胎分为四个等级,其中一级胚胎,细胞分裂均匀,没有明显碎片;二级胚胎,细胞分裂均匀,有少许碎片;三级胚胎,细胞分裂不均匀,较少碎片;四级胚胎,细胞分裂不均匀,有较多碎片。其中一级和二级属于优质胚胎,在进行移植时,优选的一级胚胎,在没有一级胚胎的情况下,可以选择二级胚胎。三级和四级不推荐移植。当然也可以分的更细,对于胚胎的具体级别本发明不作具体限定。
其中所述相对时间为从视频开始到抽取的帧这一段时间,也可以成为视频到抽取帧播放的时间,例如视频的第一帧记为0,每分钟60帧,则第600帧的相对时间为10min。
步骤二,构建与所述时间节点对应的ViT网络,对每个时间节点对应的ViT网络进行训练,得到训练后的ViT网络;将抽取的帧分别作为对应的ViT网络的输入,得到不同时间节点的class token、每个分级对应的概率;
ViT模型是基于Transformer结构的图像分类模型,具有很好的分类效果。本发明对每个时间节点构建一个ViT模型,在一个具体实施例中,所有ViT模型的EncoderBlock的个数相同。在另外一个实施例中,将ViT模型的EncoderBlock作为超参数,对每个时间节点设置不同的EncoderBlock个数,具体的个数根据时间节点对应ViT的测试结果缺点,如果使用较少的EncoderBlock即可获得很好的准确率,则设置较少的EncoderBlock,反之亦然。假设设置了10个时间节点,分别为12h、24h、36h、…、120h,则每个时间节点设置一个ViT网络,采用第12h的帧对第一个ViT网络进行训练,采用第24h的帧对第二个ViT网络进行训练,依次类推,训练所有时间节点对应的ViT网络。
在进行胚胎分类时,选取对应时间节点的帧,并输入到时间节点对应的ViT得到classtoken和分级以及分级对应的概率。例如将胚胎分为四级,在第一个时间节点的ViT中,第一分级对应概率为0.8,第二分级对应的概率为0.1,第三分级的概率为0.06,第四分级的概率为0.04,则分级及分级对应的概率为<第一分级,0.8>、<第二分级,0.1>、<第三分级,0.06>、<第四分级,0.04>。同样地,可以获得第二时间节点的分级及分级概率
其中,class token是ViT(Vision Transformer)中的概念,class token连接全连接层,完成分类,class token包含了整个帧的信息,也即代表了整个帧。
为了减少ViT网络的数量,在一个具体实施例中,所述构建与所述时间节点对应的ViT网络,具体为:
根据时间节点确定时间节点所属的阶段,对于每个阶段构建一个ViT网络作为基础网络,设置训练样本,所述训练样本包括多个视频,在视频中从所述阶段的开始到结束随机选取视频帧,对每个阶段的基础网络进行训练;
在完成基础网络训练后,对每个时间节点对应的ViT网络进行训练,得到每个时间节点的ViT网络;
采用测试样本对每个时间节点对应的ViT网络进行测试,判断同一阶段时间节点对应的ViT网络测试结果的一致性,如果一致性高于预设值,则将其中准确度低的至少一个时间节点丢弃,并将所述至少一个时间节点对应的ViT网络丢弃;如果一致性不高于预设值,则提醒用户继续训练这一阶段的所有时间节点对应的ViT网络;
将保留的时间节点作为新的时间节点,并将新的时间节点对应ViT网络作为时间节点对应的ViT网络。
步骤三,对时间节点编码,将时间编码结果和对应的class token相加,作为Transformer的输入,将Transformer的输出作为整个视频每个分级的概率;根据不同时间节点的每个分级对应的概率、整个视频每个分级的概率得到胚胎分级结果。
由于胚胎的发育是一个动态过程,不同时间节点的胚胎图像不同,本发明采用对时间节点编码的方式将时间信息融合到class token中,具体地时间编码方式不做限定,例如采用one-hot编码等,需要注意的是,时间节点编码后的维度要和class token相同。如果有十个时间节点,这就得到了时间embdding后的class token,然后将其作为Transformer的输入,进而进一步结合了时间信息对胚胎进行分级。
最后,根据每个时间节点的分级结果和对整个视频的分级结果得到胚胎的分级结果。
如上所述,胚胎的发育过程是一个动态过程,时间节点的确定对于最后的分级至关重要,如果分的太细,则整个过程的计算量较大,如果分的太宽,则有些信息获取不到,在一个实施例中,所述时间节点的确定方法具体为:
在受精后12、24小时分别设置一个时间节点,在受精后24-72小时内每隔四个小时设置一个时间节点,在受精后72-120小时内每隔六个小时设置一个时间节点;
在另外一个实施例中,在受精后每隔12个小时设置一个时间节点到达预设时间为止。
从视频中,尤其是长视频中,含有众多的帧,在一个实施例中,所述根据设置的时间节点从视频中抽取帧,具体为:
获得与所述时间节点相差N分钟内的待选视频帧,再加上所述时间节点的视频帧得到2N+1个视频帧,计算2N+1个视频帧的清晰度,将清晰度最高的一帧作为最终抽取帧;其中,所述待选视频帧在视频中的时间与时间节点的差值为整分钟的倍数,N为正整数。
例如N设置为2,则在抽取时间节点为12h对应的帧时,分别抽取第12h-2min、12h-1min、12h、12h+1min、12h+2min的帧,然后计算这5帧的清晰度,将清晰度最高的一帧作为该时间节点对应的帧。其中,清晰度的计算有多种方式,例如采用梯度或者根据傅里叶变换后高频成分确定,本发明对此不做具体限定。
在进行模型训练中,尤其是每个时间节点对应的ViT进行训练时,除了普通的增强方法外,本发明还采用时间节点周围的帧对时间节点对应的ViT进行训练,具体地:
获取训练视频以及对应时间节点的标注,并获取所述训练视频在所述对应时间节点的所述待选视频帧,并采用所述标注对所述待选视频帧进行标注,采用标注后的待选视频帧和时间节点对应的视频帧对时间节点对应的ViT网络进行训练。
例如时间节点为12h,在训练视频中,对12h对应的帧的标注为1级,进一步获取在对应时间时间预设范围内的视频帧,将这些视频帧作为待选视频帧,对这些视频帧也采用与时间节点相同的标注,实现对ViT的训练。
每个时间节点的ViT输出的分级信息和整个视频输出的分级信息都含有胚胎发育过程中的信息,本发明综合考虑了二者,在一个具体实施例中,所述根据不同时间节点的每个分级对应的概率、整个视频每个分级的概率得到胚胎分级结果,具体为:
按照所述相对时间计算权重,且所有时间节点对应的权重之和为1;
在一个具体实施例中,采用等比数列方式确定每个时间节点的权重,例如第一个时间节点的权重为0.01,则第二、三个时间节点的权重为0.02、0.04,以此类推,但是要保证所有时间节点对应的权重之和为1。
在另外一个具体实施例中,根据时间节点与12的比值,确定所述权重,例如一个时间节点为30h,则其对应的权重为12h的权重的30/12倍。
对于每个时间节点,计算权重与分级对应的概率的乘积,将所述乘积作为时间节点的每个分级的加权概率;
每个时间节点都会有分级对应的概率,仍以4个分级为例,4个分级分别对应一个概率。所有的时间节点都是如此。根据时间节点对应的权重和每个分级的概率得到该时间节点每个分级的加权概率;
对于每个分级,将所有节点对应分级的加权概率之和作为分级的第一概率,将整个视频对应分级的概率和对应分级的第一概率之和作为胚胎对应分级的概率,进而得到胚胎分级结果。
由于所有节点分级的个数是相同的,将所有时间节点的相同的分级的加权概率求和即可得到第一概率,例如,1级对应的第一概率为所有时间节点1级的加权概率之和。此外,在Transformer中会输出整个视频的每个分级的概率,将第一概率和整个视频对应概率的和作为最终分级的概率。例如1-4级对应的第一概率分别为:A1、B1、C1和D1,整个视频1-4级对应的概率分别为A2、B2、C2和D2,则胚胎分级结果为:1-4级对应的概率分别为:A1+A2、B1+B2、C1+C2、D1+D2。选取最大的即可得到最终分级结果。
第二实施例
本发明还提供了一种基于人工智能的胚胎分级系统100,所述系统包括以下模块:
帧抽取模块101,用于获取胚胎培育过程中的视频,根据设置的时间节点从视频中抽取帧,建立帧和相对时间的关系,所述相对时间为抽取的帧在所述视频中的时间减去所述视频的第一帧的时间;
特征提取模块102,用于构建与所述时间节点对应的ViT网络,对每个时间节点对应的ViT网络进行训练,得到训练后的ViT网络;将抽取的帧分别作为对应的ViT网络的输入,得到不同时间节点的class token、每个分级对应的概率;
分级模块103,用于对时间节点编码,将时间编码结果和对应的class token相加,作为Transformer的输入,将Transformer的输出作为整个视频每个分级的概率;根据不同时间节点的每个分级对应的概率、整个视频每个分级的概率得到胚胎分级结果。
优选地,所述时间节点的确定方法具体为:
在受精后12、24小时分别设置一个时间节点,在受精后24-72小时内每隔四个小时设置一个时间节点,在受精后72-120小时内每隔六个小时设置一个时间节点;或者,
在受精后每隔12个小时设置一个时间节点到达预设时间为止。
优选地,所述根据设置的时间节点从视频中抽取帧,具体为:
获得与所述时间节点相差N分钟内的待选视频帧,再加上所述时间节点的视频帧得到2N+1个视频帧,计算2N+1个视频帧的清晰度,将清晰度最高的一帧作为最终抽取帧;其中,所述待选视频帧在视频中的时间与时间节点的差值为整分钟的倍数,N为正整数。
优选地,所述对每个时间节点对应的ViT网络进行训练,具体为:
获取训练视频以及对应时间节点的标注,并获取所述训练视频在所述对应时间节点的所述待选视频帧,并采用所述标注对所述待选视频帧进行标注,采用标注后的待选视频帧和时间节点对应的视频帧对时间节点对应的ViT网络进行训练。
优选地,所述根据不同时间节点的每个分级对应的概率、整个视频每个分级的概率得到胚胎分级结果,具体为:
按照所述相对时间计算权重,且所有时间节点对应的权重之和为1;
对于每个时间节点,计算权重与分级对应的概率的乘积,将所述乘积作为时间节点的每个分级的加权概率;
对于每个分级,将所有节点对应分级的加权概率之和作为分级的第一概率,将整个视频对应分级的概率和对应分级的第一概率之和作为胚胎对应分级的概率,进而得到胚胎分级结果。
第三实施例
本发明提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序在被处理器执行时实现如第一实施例所述的方法。
第四实施例
本发明还提供了一种计算机设备,所述计算机设备包括处理器、存储器,所述存储器上存储有计算机程序,所述计算机程序在被处理器执行时实现如第一实施例所述的方法。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于人工智能的胚胎分级方法,其特征在于,所述方法包括以下步骤:
获取胚胎培育过程中的视频,根据设置的时间节点从视频中抽取帧,建立帧和相对时间的关系,所述相对时间为抽取的帧在所述视频中的时间减去所述视频的第一帧的时间;
构建与所述时间节点对应的ViT网络,对每个时间节点对应的ViT网络进行训练,得到训练后的ViT网络;将抽取的帧分别作为对应的ViT网络的输入,得到不同时间节点的classtoken、每个分级对应的概率;
对时间节点编码,将时间编码结果和对应的class token相加,作为Transformer的输入,将Transformer的输出作为整个视频每个分级的概率;根据不同时间节点的每个分级对应的概率、整个视频每个分级的概率得到胚胎分级结果。
2.如权利要求1所述的方法,其特征在于,所述时间节点的确定方法具体为:
在受精后12、24小时分别设置一个时间节点,在受精后24-72小时内每隔四个小时设置一个时间节点,在受精后72-120小时内每隔六个小时设置一个时间节点;或者,在受精后每隔12个小时设置一个时间节点到达预设时间为止。
3.如权利要求1所述的方法,其特征在于,所述根据设置的时间节点从视频中抽取帧,具体为:
获得与所述时间节点相差N分钟内的待选视频帧,再加上所述时间节点的视频帧得到2N+1个视频帧,计算2N+1个视频帧的清晰度,将清晰度最高的一帧作为最终抽取帧;其中,所述待选视频帧在视频中的时间与时间节点的差值为整分钟的倍数,N为正整数。
4.如权利要求3所述的方法,其特征在于,所述对每个时间节点对应的ViT网络进行训练,具体为:
获取训练视频以及对应时间节点的标注,并获取所述训练视频在所述对应时间节点的所述待选视频帧,并采用所述标注对所述待选视频帧进行标注,采用标注后的待选视频帧和时间节点对应的视频帧对时间节点对应的ViT网络进行训练。
5.如权利要求1所述的方法,其特征在于,所述根据不同时间节点的每个分级对应的概率、整个视频每个分级的概率得到胚胎分级结果,具体为:
按照所述相对时间计算权重,且所有时间节点对应的权重之和为1;
对于每个时间节点,计算权重与分级对应的概率的乘积,将所述乘积作为时间节点的每个分级的加权概率;
对于每个分级,将所有节点对应分级的加权概率之和作为分级的第一概率,将整个视频对应分级的概率和对应分级的第一概率之和作为胚胎对应分级的概率,进而得到胚胎分级结果。
6.一种基于人工智能的胚胎分级系统,其特征在于,所述系统包括以下模块:
帧抽取模块,用于获取胚胎培育过程中的视频,根据设置的时间节点从视频中抽取帧,建立帧和相对时间的关系,所述相对时间为抽取的帧在所述视频中的时间减去所述视频的第一帧的时间;
特征提取模块,用于构建与所述时间节点对应的ViT网络,对每个时间节点对应的ViT网络进行训练,得到训练后的ViT网络;将抽取的帧分别作为对应的ViT网络的输入,得到不同时间节点的class token、每个分级对应的概率;
分级模块,用于对时间节点编码,将时间编码结果和对应的class token相加,作为Transformer的输入,将Transformer的输出作为整个视频每个分级的概率;根据不同时间节点的每个分级对应的概率、整个视频每个分级的概率得到胚胎分级结果。
7.如权利要求6所述的系统,其特征在于,所述时间节点的确定方法具体为:
在受精后12、24小时分别设置一个时间节点,在受精后24-72小时内每隔四个小时设置一个时间节点,在受精后72-120小时内每隔六个小时设置一个时间节点;或者,在受精后每隔12个小时设置一个时间节点到达预设时间为止。
8.如权利要求6所述的系统,其特征在于,所述根据设置的时间节点从视频中抽取帧,具体为:
获得与所述时间节点相差N分钟内的待选视频帧,再加上所述时间节点的视频帧得到2N+1个视频帧,计算2N+1个视频帧的清晰度,将清晰度最高的一帧作为最终抽取帧;其中,所述待选视频帧在视频中的时间与时间节点的差值为整分钟的倍数,N为正整数。
9.如权利要求8所述的系统,其特征在于,所述对每个时间节点对应的ViT网络进行训练,具体为:
获取训练视频以及对应时间节点的标注,并获取所述训练视频在所述对应时间节点的所述待选视频帧,并采用所述标注对所述待选视频帧进行标注,采用标注后的待选视频帧和时间节点对应的视频帧对时间节点对应的ViT网络进行训练。
10.如权利要求6所述的系统,其特征在于,所述根据不同时间节点的每个分级对应的概率、整个视频每个分级的概率得到胚胎分级结果,具体为:
按照所述相对时间计算权重,且所有时间节点对应的权重之和为1;
对于每个时间节点,计算权重与分级对应的概率的乘积,将所述乘积作为时间节点的每个分级的加权概率;
对于每个分级,将所有节点对应分级的加权概率之和作为分级的第一概率,将整个视频对应分级的概率和对应分级的第一概率之和作为胚胎对应分级的概率,进而得到胚胎分级结果。
CN202310790558.3A 2023-06-30 2023-06-30 一种基于人工智能的胚胎分级方法及系统 Active CN116524545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310790558.3A CN116524545B (zh) 2023-06-30 2023-06-30 一种基于人工智能的胚胎分级方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310790558.3A CN116524545B (zh) 2023-06-30 2023-06-30 一种基于人工智能的胚胎分级方法及系统

Publications (2)

Publication Number Publication Date
CN116524545A true CN116524545A (zh) 2023-08-01
CN116524545B CN116524545B (zh) 2023-09-15

Family

ID=87397969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310790558.3A Active CN116524545B (zh) 2023-06-30 2023-06-30 一种基于人工智能的胚胎分级方法及系统

Country Status (1)

Country Link
CN (1) CN116524545B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078172A1 (en) * 2012-10-17 2016-03-17 Celmatix Inc. Systems and methods for determining the probability of a pregnancy at a selected point in time
CN106795474A (zh) * 2014-10-03 2017-05-31 尤尼森斯繁殖技术公司 胚胎评定
CN109214375A (zh) * 2018-11-07 2019-01-15 浙江大学 一种基于分段采样视频特征的胚胎妊娠结果预测装置
CN111279421A (zh) * 2017-09-29 2020-06-12 布里格姆妇女医院 人类胚胎的自动评价
CN111783854A (zh) * 2020-06-18 2020-10-16 武汉互创联合科技有限公司 胚胎妊娠状态智能预测方法及系统
CN114723719A (zh) * 2022-04-15 2022-07-08 浙江大学温州研究院 基于自适应关键帧选择的胚胎视频成囊预测装置
CN115240100A (zh) * 2022-06-21 2022-10-25 有米科技股份有限公司 基于视频帧的模型训练方法及装置
CN115511813A (zh) * 2022-09-19 2022-12-23 河南青牛思源生物科技有限公司 一种辅助胚胎分级智能系统及存储介质
CN115937082A (zh) * 2022-09-30 2023-04-07 湘潭大学 基于深度学习的胚胎质量智能评估系统及评估方法
CN116168329A (zh) * 2023-03-27 2023-05-26 南京大学 基于关键帧筛选像素块的视频动作检测方法、设备及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078172A1 (en) * 2012-10-17 2016-03-17 Celmatix Inc. Systems and methods for determining the probability of a pregnancy at a selected point in time
CN106795474A (zh) * 2014-10-03 2017-05-31 尤尼森斯繁殖技术公司 胚胎评定
CN111279421A (zh) * 2017-09-29 2020-06-12 布里格姆妇女医院 人类胚胎的自动评价
CN109214375A (zh) * 2018-11-07 2019-01-15 浙江大学 一种基于分段采样视频特征的胚胎妊娠结果预测装置
CN111783854A (zh) * 2020-06-18 2020-10-16 武汉互创联合科技有限公司 胚胎妊娠状态智能预测方法及系统
CN114723719A (zh) * 2022-04-15 2022-07-08 浙江大学温州研究院 基于自适应关键帧选择的胚胎视频成囊预测装置
CN115240100A (zh) * 2022-06-21 2022-10-25 有米科技股份有限公司 基于视频帧的模型训练方法及装置
CN115511813A (zh) * 2022-09-19 2022-12-23 河南青牛思源生物科技有限公司 一种辅助胚胎分级智能系统及存储介质
CN115937082A (zh) * 2022-09-30 2023-04-07 湘潭大学 基于深度学习的胚胎质量智能评估系统及评估方法
CN116168329A (zh) * 2023-03-27 2023-05-26 南京大学 基于关键帧筛选像素块的视频动作检测方法、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
焦芸云 等: "异位妊娠患者行不同级别D3胚胎和D5囊胚新鲜移植后妊娠结局分析", 《医学研究杂志》, vol. 52, no. 3, pages 27 - 31 *

Also Published As

Publication number Publication date
CN116524545B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN109086799A (zh) 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法
CN107247971B (zh) 一种超声甲状腺结节风险指标的智能分析方法及系统
Zhou et al. Convnets vs. transformers: Whose visual representations are more transferable?
CN110490239B (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
CN114846507A (zh) 用于使用人工智能(ai)模型进行非侵入性基因检测的方法和系统
CN112819821B (zh) 一种细胞核图像检测方法
CN112115967B (zh) 一种基于数据保护的图像增量学习方法
CN110110610A (zh) 一种用于短视频的事件检测方法
CN113657449A (zh) 一种含噪标注数据的中医舌象腐腻分类方法
CN114240874A (zh) 基于深度卷积神经网络和特征融合的骨龄评定方法、设备及计算机可读存储介质
CN116029953A (zh) 一种基于自监督学习和Transformer的无参考图像质量评价方法
CN115170874A (zh) 一种基于解耦蒸馏损失的自蒸馏实现方法
CN116524545B (zh) 一种基于人工智能的胚胎分级方法及系统
CN112862076B (zh) 提高黄羽肉种鸡合格种蛋数的选育方法、模型及选育系统
CN111612021B (zh) 一种错误样本识别方法、装置及终端
CN115701868B (zh) 一种适用多种视觉任务的领域自适应增强方法
CN112086198B (zh) 一种基于深度学习技术建立年龄评估模型的系统及方法
CN115511813A (zh) 一种辅助胚胎分级智能系统及存储介质
CN113919983A (zh) 试题画像方法、装置、电子设备和存储介质
EP4352691A1 (en) Methods and systems for embryo classification
CN109545375A (zh) 一种用于临检细胞骨髓专业的多功能试验平台
CN108537244A (zh) 一种面向实时系统的渐进式深度学习方法
Liu et al. Bone age assessment by deep convolutional neural networks combined with clinical TW3-RUS
CN117893786B (zh) 基于自监督主动学习的图像分类方法、装置、设备及存储介质
CN116562337A (zh) 一种基于多尺度一致性信息建模的网络对齐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant