CN116757979A - 胚胎图像融合方法、装置、电子设备及存储介质 - Google Patents

胚胎图像融合方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116757979A
CN116757979A CN202310693024.9A CN202310693024A CN116757979A CN 116757979 A CN116757979 A CN 116757979A CN 202310693024 A CN202310693024 A CN 202310693024A CN 116757979 A CN116757979 A CN 116757979A
Authority
CN
China
Prior art keywords
image
fusion
images
target
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310693024.9A
Other languages
English (en)
Inventor
王雪峰
崔晓锋
史振志
周文静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huayuehang Medical Technology Co ltd
Original Assignee
Guangzhou Huayuehang Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huayuehang Medical Technology Co ltd filed Critical Guangzhou Huayuehang Medical Technology Co ltd
Priority to CN202310693024.9A priority Critical patent/CN116757979A/zh
Publication of CN116757979A publication Critical patent/CN116757979A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种胚胎图像融合方法、装置、电子设备及存储介质，涉及深度学习技术领域。本方法针对不同发育时期的胚胎的特性，从多个原始焦平面图像中选择发育时期对应的各焦平面图像作为待处理平面图像，无需将所有原始焦平面图像均作为待处理平面图像进行图像融合，从而一定程度上减少了数据处理量，提高了图像融合效率，均衡了图像融合的时间。而针对不同发育时期，根据不同发育时期的特征分析需求，采用发育时期所对应的图像融合策略对待处理平面图像进行融合处理，实现了个性化图像融合处理，且使得得到的融合图像尽可能的包含更加丰富的胚胎特征，以提升后续基于融合图像进行胚胎识别的准确性。

Description

胚胎图像融合方法、装置、电子设备及存储介质
技术领域
本申请涉及深度学习技术领域，具体而言，涉及一种胚胎图像融合方法、装置、电子设备及存储介质。
背景技术
在胚胎延时培养系统中，大多成像系统是通过霍夫曼调制对比度(HMC)显微镜来获取多焦平面的胚胎图像，通常能够获取到7-11焦平面图像数据。
目前的胚胎图像观测和分析过程中主要还是依赖于F0焦平面的图像，其他焦平面的特征信息并没有被合理的使用，其中，F0焦平面可理解为接近胚胎赤道面的最佳清晰层。
因此在胚胎多焦平面中的丰富特征信息如何被运用到胚胎的选择和评估中这一问题亟待解决。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种胚胎图像融合方法、装置、电子设备及存储介质，以便于提升图像融合的精确性，使得融合图像能够更好的用于进行图像分析。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种胚胎图像融合方法，包括：
根据获取的胚胎的多个原始焦平面图像，预测所述胚胎所处的目标发育时期；
根据所述目标发育时期，从所述多个原始焦平面图像中确定与所述目标发育时期对应的各待处理平面图像；
采用所述目标发育时期对应的目标图像融合策略对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像，其中，所述目标图像融合策略包括：图像通道融合策略或者基于图像融合模型的融合策略，所述图像融合模型预先基于多组由胚胎的原始焦平面图像组成的训练样本训练得到。
可选地，所述根据所述目标发育时期，从所述多个原始焦平面图像中确定与所述目标发育时期对应的各待处理平面图像，包括：
根据所述目标发育时期以及预先创建的发育时期与待处理平面图像之间的对应关系，从所述多个原始焦平面图像中确定与所述目标发育时期对应的各待处理平面图像。
可选地，胚胎的发育时期包括：原核期、卵裂一期、卵裂二期、融合期和囊胚期；所述多个原始焦平面图像分别包括：F-45焦平面图像、F-30焦平面图像、F-15焦平面图像、F0焦平面图像、F15焦平面图像、F30焦平面图像、F45焦平面图像；
所述根据所述目标发育时期，从所述多个原始焦平面图像中确定与所述目标发育时期对应的各待处理平面图像，包括：
若所述目标发育时期为所述原核期，则从所述多个原始焦平面图像中确定所述F0焦平面图像为所述待处理平面图像；
若所述目标发育时期为所述卵裂一期，则从所述多个原始焦平面图像中确定所述F-30焦平面图像、所述F0焦平面图像以及所述F30焦平面图像为所述待处理平面图像；
若所述目标发育时期为所述卵裂二期或者所述融合期或者所述囊胚期，则确定所述多个原始焦平面图像为所述待处理平面图像。
可选地，所述采用所述目标发育时期对应的目标图像融合策略对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像，包括：
若所述目标发育时期为所述卵裂一期，则采用所述图像通道融合策略对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像；
若所述目标发育时期为所述卵裂二期或者所述融合期或者所述囊胚期，则采用所述图像融合模型对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像。
可选地，所述采用图像通道融合策略对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像，包括：
采用通道融合算法，对各待处理平面图像进行通道合并，生成目标RGB三通道图像；
将所述目标RGB三通道图像作为所述胚胎对应的融合图像。
可选地，所述采用所述图像融合模型对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像之前，包括：
采用通道融合算法，分别对各待处理平面图像进行通道合并，生成各待处理平面图像对应的RGB三通道图像；
对各待处理平面图像对应的RGB三通道图像分别进行颜色模型转换处理，生成各待处理平面图像对应的YCrCb图像；
所述采用所述图像融合模型对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像，包括：
将各待处理平面图像对应的YCrCb图像输入所述图像融合模型进行图像融合处理，得到所述胚胎对应的融合图像。
可选地，所述图像融合模型包括：特征提取模块，所述特征提取模块包括：第一特征提取层、第二特征提取层及第三特征提取层；
所述将各待处理平面图像对应的YCrCb图像输入所述图像融合模型进行图像融合处理，得到所述胚胎对应的融合图像，包括：
将各待处理平面图像对应的YCrCb图像输入所述特征提取模块，通过所述第一特征提取层、第二特征提取层进行卷积和池化处理，得到第一浅层特征信息和第二浅层特征信息；
将所述第一浅层特征信息和第二浅层特征信息输入所述第三特征提取层进行卷积处理后，分别得到第三浅层特征信息、第四浅层特征信息及第五浅层特征信息；
分别对所述第三浅层特征信息、第四浅层特征信息及第五浅层特征信息进行全连接处理，输出目标第三浅层特征信息、目标第四浅层特征信息及目标第五浅层特征信息；
将所述第一浅层特征信息、所述第二浅层特征信息、所述目标第三浅层特征信息、所述目标第四浅层特征信息及所述目标第五浅层特征信息作为所述特征提取模块输出的特征信息进行信息度量。
可选地，所述采用所述目标发育时期对应的目标图像融合策略对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像之前，包括：
对各待处理平面图像中的目标图像进行图像轮廓补偿，得到补偿后的目标图像；所述目标图像包括：F0焦以上的各待处理的平面图像；
对补偿后的目标图像进行对比度增强，得到增强后的目标图像；
对增强后的目标图像进行噪音滤波处理，生成降噪后的目标图像；
对降噪后的目标图像进行图像增晰处理，生成各待处理平面图像对应的处理后的图像。
可选地，所述图像融合模型的输入数据通道包括多个；所述图像融合模型采用下述方法训练得到：
采集多组训练样本图像，每组训练样本图像包括一胚胎对应的多个原始焦平面图像；
对各组训练样本图像分别进行图像预处理，得到处理后的各组训练样本图像；
对处理后的各组训练样本图像分别进行通道融合处理，生成各组目标训练样本图像；
将各组目标训练样本图像输入初始的图像融合模型中进行模型训练，生成所述图像融合模型。
可选地，所述将各组目标训练样本图像输入初始的图像融合模型中进行模型训练，生成所述图像融合模型，包括：
采用所述初始的图像融合模型分别对各组目标训练样本图像进行特征提取，得到每组目标训练样本图像中各原始焦平面图像的多个特征信息；
根据每组目标训练样本图像中各原始焦平面图像的多个特征信息进行信息度量，生成度量结果，所述度量结果用于表征从各原始焦平面图像中所提取到的特征信息的程度；
根据所述度量结果生成图像的融合权重；
根据每组目标训练样本图像中各原始焦平面图像的融合权重，计算所述初始的图像融合模型的损失；
根据损失，对所述初始的图像融合模型进行迭代优化，生成所述图像融合模型。
可选地，所述方法还包括：
根据目标胚胎的原始F0焦平面图像以及所述目标胚胎对应的融合图像，采用至少一种性能指标算法，计算获取所述图像融合模型的性能指标；所述性能指标用于对所述图像融合模型的融合性能进行评估；所述性能指标算法包括：基于梯度的融合性能算法、图像均方差算法、结构相似度算法及峰值信噪比算法。
第二方面，本申请实施例还提供了一种胚胎图像融合装置，包括：预测模块、确定模块、处理模块；
所述预测模块，用于根据获取的胚胎的多个原始焦平面图像，预测所述胚胎所处的目标发育时期；
所述确定模块，用于根据所述目标发育时期，从所述多个原始焦平面图像中确定与所述目标发育时期对应的各待处理平面图像；
所述处理模块，用于采用所述目标发育时期对应的目标图像融合策略对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像，其中，所述目标图像融合策略包括：图像通道融合策略或者基于图像融合模型的融合策略，所述图像融合模型预先基于多组由胚胎的原始焦平面图像组成的训练样本训练得到。
可选地，所述确定模块，具体用于根据所述目标发育时期，从所述多个原始焦平面图像中确定与所述目标发育时期对应的各待处理平面图像。
可选地，胚胎的发育时期包括：原核期、卵裂一期、卵裂二期、融合期和囊胚期；所述多个原始焦平面图像分别包括：F-45焦平面图像、F-30焦平面图像、F-15焦平面图像、F0焦平面图像、F15焦平面图像、F30焦平面图像、F45焦平面图像；
所述确定模块，具体用于
若所述目标发育时期为所述原核期，则从所述多个原始焦平面图像中确定所述F0焦平面图像为所述待处理平面图像；
若所述目标发育时期为所述卵裂一期，则从所述多个原始焦平面图像中确定所述F-30焦平面图像、所述F0焦平面图像以及所述F30焦平面图像为所述待处理平面图像；
若所述目标发育时期为所述卵裂二期或者所述融合期或者所述囊胚期，则确定所述多个原始焦平面图像为所述待处理平面图像。
可选地，所述处理模块，具体用于
若所述目标发育时期为所述卵裂一期，则采用所述图像通道融合策略对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像；
若所述目标发育时期为所述卵裂二期或者所述融合期或者所述囊胚期，则采用所述图像融合模型对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像。
可选地，所述处理模块，具体用于
采用通道融合算法，对各待处理平面图像进行通道合并，生成目标RGB三通道图像；
将所述目标RGB三通道图像作为所述胚胎对应的融合图像。
可选地，所述装置还包括：通道融合模块；
所述通道融合模块，用于采用通道融合算法，分别对各待处理平面图像进行通道合并，生成各待处理平面图像对应的RGB三通道图像；
对各待处理平面图像对应的RGB三通道图像分别进行颜色模型转换处理，生成各待处理平面图像对应的YCrCb图像；
所述处理模块，具体用于将各待处理平面图像对应的YCrCb图像输入所述图像融合模型进行图像融合处理，得到所述胚胎对应的融合图像。
可选地，所述图像融合模型包括：特征提取模块，所述特征提取模块包括：第一特征提取层、第二特征提取层及第三特征提取层；
所述处理模块，具体用于将各待处理平面图像对应的YCrCb图像输入所述特征提取模块，通过所述第一特征提取层、第二特征提取层进行卷积和池化处理，得到第一浅层特征信息和第二浅层特征信息；
将所述第一浅层特征信息和第二浅层特征信息输入所述第三特征提取层进行卷积处理后，分别得到第三浅层特征信息、第四浅层特征信息及第五浅层特征信息；
分别对所述第三浅层特征信息、第四浅层特征信息及第五浅层特征信息进行全连接处理，输出目标第三浅层特征信息、目标第四浅层特征信息及目标第五浅层特征信息；
将所述第一浅层特征信息、所述第二浅层特征信息、所述目标第三浅层特征信息、所述目标第四浅层特征信息及所述目标第五浅层特征信息作为所述特征提取模块输出的特征信息进行信息度量。
可选地，所述装置还包括：预处理模块；
所述预处理模块，用于对各待处理平面图像中的目标图像进行图像轮廓补偿，得到补偿后的目标图像；所述目标图像包括：F0焦以上的各待处理的平面图像；
对补偿后的目标图像进行对比度增强，得到增强后的目标图像；
对增强后的目标图像进行噪音滤波处理，生成降噪后的目标图像；
对降噪后的目标图像进行图像增晰处理，生成各待处理平面图像对应的处理后的图像。
可选地，所述图像融合模型的输入数据通道包括多个；所述装置还包括：训练模块；
所述训练模块，用于
采集多组训练样本图像，每组训练样本图像包括一胚胎对应的多个原始焦平面图像；
对各组训练样本图像分别进行图像预处理，得到处理后的各组训练样本图像；
对处理后的各组训练样本图像分别进行通道融合处理，生成各组目标训练样本图像；
将各组目标训练样本图像输入初始的图像融合模型中进行模型训练，生成所述图像融合模型。
可选地，所述训练模块，具体用于
采用所述初始的图像融合模型分别对各组目标训练样本图像进行特征提取，得到每组目标训练样本图像中各原始焦平面图像的多个特征信息；
根据每组目标训练样本图像中各原始焦平面图像的多个特征信息进行信息度量，生成度量结果，所述度量结果用于表征从各原始焦平面图像中所提取到的特征信息的程度；
根据所述度量结果生成图像的融合权重；
根据每组目标训练样本图像中各原始焦平面图像的融合权重，计算所述初始的图像融合模型的损失；
根据损失，对所述初始的图像融合模型进行迭代优化，生成所述图像融合模型。
可选地，所述装置还包括：评估模块；
所述评估模块，用于根据目标胚胎的原始F0焦平面图像以及所述目标胚胎对应的融合图像，采用至少一种性能指标算法，计算获取所述图像融合模型的性能指标；所述性能指标用于对所述图像融合模型的融合性能进行评估；所述性能指标算法包括：基于梯度的融合性能算法、图像均方差算法、结构相似度算法及峰值信噪比算法。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以实现如第一方面中提供的胚胎图像融合方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面提供的胚胎图像融合方法。
本申请的有益效果是：
本申请提供一种胚胎图像融合方法、装置、电子设备及存储介质，该方法通过胚胎发育时期预测网络对输入的多个原始焦平面图像进行分类预测，以判断胚胎多处的发育时期，从而根据所处的发育时期可从多个原始焦平面图像中选择与发育时期对应的各焦平面图像作为待处理平面图像，并且采用与发育时期所对应的图像融合策略对待处理平面图像进行融合处理，最终得到融合图像。本方法针对不同发育时期的胚胎的特性，从多个原始焦平面图像中选择发育时期对应的各焦平面图像作为待处理平面图像，无需将所有原始焦平面图像均作为待处理平面图像进行图像融合，从而一定程度上减少了数据处理量，提高了图像融合效率，均衡了图像融合的时间。而针对不同发育时期，根据不同发育时期的特征分析需求，采用发育时期所对应的图像融合策略对待处理平面图像进行融合处理，实现了个性化图像融合处理，且使得得到的融合图像尽可能的包含更加丰富的胚胎特征，以提升后续基于融合图像进行胚胎识别的准确性。
其次，本申请基于现有的融合网络进行输入层和特征提取层的改进，一方面使得训练得到的图像融合模型可以适用于多张输入的处理，另一方面，提取到的特征更加丰富，使得图像融合结果更加理想。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种胚胎图像融合方法的流程框架示意图；
图2为本申请实施例提供的胚胎图像融合方法的流程示意图一；
图3为本申请实施例提供的一种胚胎发育时期的时序图谱；
图4为本申请实施例提供的胚胎图像融合方法的流程示意图二；
图5为本申请实施例提供的胚胎图像融合方法的流程示意图三；
图6为本申请实施例提供的一种特征提取模块的示意图；
图7为本申请实施例提供的胚胎图像融合方法的流程示意图四；
图8为本申请实施例提供的胚胎图像融合方法的流程示意图五；
图9为本申请实施例提供的一种图像预处理过程展示示意图；
图10为本申请实施例提供的另一种图像预处理示意图；
图11为本申请实施例提供的一种图像预处理结果展示示意图；
图12为本申请实施例提供的胚胎图像融合方法的流程示意图六；
图13为本申请实施例提供的胚胎图像融合方法的流程示意图七；
图14为本申请实施例提供的一种图像融合结果示意图；
图15为本申请实施例提供的另一种图像融合结果示意图；
图16为本申请实施例提供的一种胚胎图像融合装置的示意图；
图17为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
首先，对本方案所涉及的相关背景技术进行简单说明：
本方案主要运用于辅助生殖领域，在胚胎延时培养系统中，大多成像系统是通过霍夫曼调制对比度(HMC)显微镜来获取多焦平面的胚胎图片，通常能够获取到7-11焦平面图像数据。
在目前的胚胎图像观测和分析过程中，胚胎的观测和分析主要还是依赖于F0焦平面(F0焦平面可理解为接近胚胎赤道面的最佳清晰层)的图像，其他焦平面的特征信息并没有被合理的使用。绝大多数对多焦平面数据的使用主要是通过人眼的直接观测和鉴别，增加了人为审阅图像的工作量。
由于霍曼成像系统的特殊性，在多焦平面的数据中都会存在局部虚焦和上下层伪影重叠的现象，并且获取多焦平面数据的初衷是为了能够让胚胎学家更清晰和立体的观察到不同深度的胚胎生长情况和获取更全面的胚胎特征数据，而对于自动胚胎分析系统11层焦平面数据则意味着庞大的计算量，为了尽可能的利用获取的7或11焦平面图像的全部特征信息进行胚胎观测和分析，本方案提出通过图像融合策略对获取的各焦平面图像进行融合，以得到包含更多丰富特征信息的融合图像，融合图像则用于后期的胚胎识别中。
由于胚胎在发育的不同时期呈现不同的形态差异，对应了不同的特征分析需求，基于此，本方案则根据特征分析需求，对处于不同发育时期的胚胎图像设计了不同的图像融合策略执行图像融合操作，这样既能够均衡图像融合的时间又可提升图像融合结果的精确性。
图1为本申请实施例提供的一种胚胎图像融合方法的流程框架示意图。如图1所示，整体流程主要分为以下几个步骤：
首先输入胚胎的多个原始焦平面图像，本实施例中以原始焦平面图像分别为F-45焦平面图像、F-30焦平面图像、F-15焦平面图像、F0焦平面图像、F15焦平面图像、F30焦平面图像、F45焦平面图像为例对方案展开说明。但是值得注意的是，在实际应用中，本方案所说的原始焦平面图像并不限于所列举的这七焦图像，也可以是更多焦，例如：F-75、F75等。这是由于timelapse培养箱的成像系统通常能够获取到11个焦平面数据，由于成像系统的特点，离0焦平面越远，失焦现象越明显，图像也越模糊，尤其是上焦平面(F15～F45)的这几层焦平面，除了失焦还伴随有伪影重叠，因此去除失焦严重的(F75，F-75，F60，F-60)，选择靠近F0焦平面的7焦平面。
但是值得注意的是，随着成像技术的发展，在实际应用中，本方案所说的原始焦平面图像并不限于所列举的这七焦图像，也可以是更多焦，例如：F-75焦、F75焦等。
采用预先训练的胚胎发育时期预测网络对输入的胚胎的多个原始焦平面图像进行预测，以判断胚胎多处的发育时期。本方案中采用了基于inceptionV3分类模型框架，将胚胎的发育时期分为了原核期(胚胎未发生分裂)、卵裂一期(C2-C4)、卵裂二期(C5-C8)、融合期和囊胚期。
根据胚胎所处发育时期的不同，可采用与发育时期对应的图像融合策略进行图像融合。如图1所示，当胚胎处于原核期时，则不对胚胎图像进行融合处理，可直接将F0焦平面图像用于进行特征提取以做胚胎的分析。
当胚胎处于卵裂一期时，则可从7焦平面图像中选择F-30焦平面图像、F0焦平面图像以及F30焦平面图像进行图像融合处理。在卵裂一期时，可基于图像通道融合策略进行图像融合处理，也即直接对F-30焦平面图像、F0焦平面图像以及F30焦平面图像进行通道融合，其原理是通过三张单通道灰度图像，通过通道合并的方式合成一张RGB的三通道图像。
而当胚胎处于卵裂二期或者融合期或者囊胚期任一发育时期时，则可采用预先训练的图像融合模型对各原始焦平面(7焦平面图像)图像进行图像融合处理，得到融合图像。
而得到的融合图像则用于后期的胚胎特征提取或者卵裂球分割中，以进行胚胎的观测和分析。
图2为本申请实施例提供的胚胎图像融合方法的流程示意图一；本方法的执行主体可以是计算机设备或者服务器。如图2所示，该方法可包括：
S201、根据获取的胚胎的多个原始焦平面图像，预测胚胎所处的目标发育时期。
可以采用霍夫曼调制对比度(HMC)显微镜来对培养皿中的胚胎进行图像拍摄，以获取胚胎的多个原始焦平面图像。将各原始焦平面图像作为输入数据输入胚胎发育时期预测网络中进行分类预测，以预测当前的胚胎所处的目标发育时期。
S202、根据目标发育时期，从多个原始焦平面图像中确定与目标发育时期对应的各待处理平面图像。
本实施例中，针对不同的目标发育时期，可从多个原始焦平面图像中适应性的选择目标发育时期所对应的各待处理平面图像执行后续的图像融合操作。也即，无需在每个发育时期均采用全部的原始焦平面图像进行融合处理，可根据各发育时期的一些胚胎特性，从多个原始焦平面图像中选择具有融合意义的一些焦平面图像作为待处理平面图像。
S203、采用目标发育时期对应的目标图像融合策略对各待处理平面图像进行融合处理，生成胚胎对应的融合图像，其中，目标图像融合策略包括：图像通道融合策略或者基于图像融合模型的融合策略，图像融合模型预先基于多组由胚胎的原始焦平面图像组成的训练样本训练得到。
而由于胚胎在不同的发育时期会呈现不同的形态差异，对应了不同的特征分析需求，基于此，本实施例还可根据胚胎所处发育时期的不同，采用发育时期所对应的目标融合策略进行图像融合，这样既能够均衡图像融合的时间且得到的融合图像能够尽可能的包含更加丰富的胚胎特征，以提高后续胚胎分析的准确性。
在一些实施例中，本方案可提供两种图像融合策略，也即分别包括：图像通道融合策略以及基于图像融合模型的融合策略，可根据所判断的胚胎的目标发育时期，选择与目标发育时期对应的图像融合策略执行图像融合操作，从而实现了个性化的图像融合处理。
综上，本实施例提供的胚胎图像融合方法，通过胚胎发育时期预测网络对输入的多个原始焦平面图像进行分类预测，以判断胚胎多处的发育时期，从而根据所处的发育时期可从多个原始焦平面图像中选择与发育时期对应的各焦平面图像作为待处理平面图像，并且采用与发育时期所对应的图像融合策略对待处理平面图像进行融合处理，最终得到融合图像。本方法针对不同发育时期的胚胎的特性，从多个原始焦平面图像中选择发育时期对应的各焦平面图像作为待处理平面图像，无需将所有原始焦平面图像均作为待处理平面图像进行图像融合，从而一定程度上减少了数据处理量，提高了图像融合效率，均衡了图像融合的时间。而针对不同发育时期，根据不同发育时期的特征分析需求，采用发育时期所对应的图像融合策略对待处理平面图像进行融合处理，实现了个性化图像融合处理，且使得得到的融合图像尽可能的包含更加丰富的胚胎特征，以提升后续基于融合图像进行胚胎识别的准确性。
可选地，步骤S202中，根据目标发育时期，从多个原始焦平面图像中确定与目标发育时期对应的各待处理平面图像，可以包括：根据目标发育时期以及预先创建的发育时期与待处理平面图像之间的对应关系，从多个原始焦平面图像中确定与目标发育时期对应的各待处理平面图像。
在一些实施例中，可以根据实验或者经验分析，预先构建胚胎的发育时期与待处理的平面图像之间的对应关系，该对应关系用于指示胚胎所处的发育时期与对该发育时期的胚胎图像进行图像融合处理时所需采用的待处理的平面图像为哪些焦平面图像之间的关系。
基于所构建的对应关系，在确定了目标发育时期后，则可根据目标发育时期，查找对应关系，确定出与目标发育时期对应的各待处理平面图像。
可选地，在一种可实现的方式中，胚胎的发育时期包括：原核期、卵裂一期、卵裂二期、融合期和囊胚期；这里，以多个原始焦平面图像包括七焦图像为例，实际不限于七焦，也不限于所列举出的这七焦；假设多个原始焦平面图像分别包括：F-45焦平面图像、F-30焦平面图像、F-15焦平面图像、F0焦平面图像、F15焦平面图像、F30焦平面图像、F45焦平面图像。
图3为本申请实施例提供的一种胚胎发育时期的时序图谱。
胚胎发育时期预测网络：可通过time lapse培养箱(时差培养箱)获取到的胚胎的多个原始焦平面图像进行发育时期判断，并根据胚胎发育的阶段进行了五分类，本实施例中采用了基于inceptionV3分类模型框架，将胚胎的发育时期分为了原核期(胚胎未发生分裂)、卵裂一期(C2-C4)、卵裂二期(C5-C8)、融合期和囊胚期，如图3中所示，为胚胎发育时期的时序图谱，横轴表示胚胎自受精以来的发育时间，纵轴表示胚胎发育五个时期的分类标签，0：表示原核期，1：表示卵裂一期(C2-C4)，2：表示卵裂二期(C5-C8)，3：表示融合期，4：表示囊胚期。
可选地，步骤S202中，根据目标发育时期，从多个原始焦平面图像中确定与目标发育时期对应的各待处理平面图像，可以包括：
若目标发育时期为原核期，则从多个原始焦平面图像中确定F0焦平面图像为待处理平面图像。
当为原核期时，则可直接将F0焦平面图像确定为待处理平面图像，而由于在这个时期，待处理平面图像仅包含F0焦平面图像，本身只有一张图像，则无需进行图像融合处理，也即可直接将F0焦平面图像用于后续的胚胎分析中，通过从F0焦平面图像中提取特征进行胚胎分析。
若目标发育时期为卵裂一期，则从多个原始焦平面图像中确定F-30焦平面图像、F0焦平面图像以及F30焦平面图像为待处理平面图像。
当为卵裂一期时，此时胚胎结构并不复杂，可选择F-30焦平面图像、F0焦平面图像以及F30焦平面图像作为待处理平面图像。
若目标发育时期为卵裂二期或者融合期或者囊胚期，则确定多个原始焦平面图像为待处理平面图像。
当为卵裂二期时，卵裂球增大，图像复杂度提升，卵裂球数量判断依赖于更多层图像分析，此时，则可将多个原始焦平面图像(也即7焦平面图像)均作为待处理平面图像。
当为融合期时，多焦平面的融合图像更便于观察胚胎的致密程度，多焦平面融合后的图像具有丰富的细节信息和颗粒感，同样是将多个原始焦平面图像均作为待处理平面图像。
当为囊胚期时，为了方便提取滋养层和内细胞团的特征，需要图像具备清晰的图像边缘特征，在囊胚期的形态评估过程中，胚胎学家通常只能参考赤道面上滋养层特征，本实施例中，同样将多个原始焦平面图像均作为待处理平面图像，当对囊胚图像进行融合后，能够获得更清晰和细节特征更丰富的图像。
可选地，步骤S203中，采用目标发育时期对应的目标图像融合策略对各待处理平面图像进行融合处理，生成胚胎对应的融合图像，可以包括：
若目标发育时期为卵裂一期，则采用图像通道融合策略对各待处理平面图像进行融合处理，生成胚胎对应的融合图像。
在一些实施例中，当目标发育时期为原核期时，无需进行图像融合处理，故忽略。
而当目标发育时期为卵裂一期时，待处理平面图像包括3个，此时可采用图像通道融合策略，对3个待处理平面图像进行通道融合处理，生成融合后的RGB三通道融合图像。
若目标发育时期为卵裂二期或者融合期或者囊胚期，则采用图像融合模型对各待处理平面图像进行融合处理，生成胚胎对应的融合图像。
而当目标发育时期为卵裂二期或者融合期或者囊胚期时，由于待处理平面图像较多，且为了得到包含更多图像细节特征的融合图像，则可采用预先训练的图像融合模型对待处理平面图像进行融合处理，生成融合图像。
图4为本申请实施例提供的胚胎图像融合方法的流程示意图二；可选地，上述步骤中，采用图像通道融合策略对各待处理平面图像进行融合处理，生成胚胎对应的融合图像，可以包括：
S401、采用通道融合算法，对各待处理平面图像进行通道合并，生成目标RGB三通道图像。
本实施例对处于卵裂一期时，采用图像通道融合策略进行图像融合的方式进行说明。由于各待处理平面图像为单通道灰度图像，主要表征为图像的亮度，那么，可采用通道融合算法，对各待处理平面图像进行通道合并，也即进行RGB三通道的填充。
这里，可以采用opencv中的现有算法进行实现，例如：可以采用RGB_merge函数进行通道融合，将3张待处理平面图像融合为一张目标RGB三通道图像。
S402、将目标RGB三通道图像作为胚胎对应的融合图像。
那么，融合后得到的目标RGB三通道图像则为卵裂一期时的胚胎所对应的融合图像。
图5为本申请实施例提供的胚胎图像融合方法的流程示意图三；可选地，上述步骤采用图像融合模型对各待处理平面图像进行融合处理，生成胚胎对应的融合图像之前，本方法还可包括：
S501、采用通道融合算法，分别对各待处理平面图像进行通道合并，生成各待处理平面图像对应的RGB三通道图像。
本实施例中则对于采用图像融合模型执行图像融合处理的方式进行说明。由于各待处理平面图像均为单通道的灰度图像，而采用图像融合模型进行图像融合处理时，输入图像融合模型中的需要为YCrCb图像，那么，可先采用通道融合算法对各待处理平面图像进行通道合并，也即先将各待处理平面图像填充为RGB三通道图像。
S502、对各待处理平面图像对应的RGB三通道图像分别进行颜色模型转换处理，生成各待处理平面图像对应的YCrCb图像。
而针对各待处理平面图像对应的RGB三通道图像，还需要进行颜色模型转换，将RGB颜色模型转换为YCrCb，其中，Y通道表示灰阶值，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异，而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。
从而，步骤采用图像融合模型对各待处理平面图像进行融合处理，生成胚胎对应的融合图像，可以包括：
S503、将各待处理平面图像对应的YCrCb图像输入图像融合模型进行图像融合处理，得到胚胎对应的融合图像。
在得到各待处理平面图像对应的YCrCb图像之后，由于图像融合模型主要是针对Y通道进行融合，这是由于胚胎图像的结构细节和亮度变化都体现在Y通道图像数据中，而Cr和Cb则通过常规的加权融合进行。
那么，图像融合模型可先对各待处理平面图像对应的YCrCb图像进行通道拆分，提取出Y通道图像数据，再对Y通道图像数据进行图像融合处理，结合Cr和Cb通过常规的加权融合处理后的信息，得到胚胎对应的融合图像。
可选地，上述的图像融合模型可以包括：特征提取模块。图6为本申请实施例提供的一种特征提取模块的示意图。如图6所示，特征提取模块可包括：第一特征提取层、第二特征提取层、第三特征提取层。
图7为本申请实施例提供的胚胎图像融合方法的流程示意图四；上述步骤S503中，将各待处理平面图像对应的YCrCb图像输入图像融合模型进行图像融合处理，得到胚胎对应的融合图像，可以包括：
S701、将各待处理平面图像对应的YCrCb图像输入特征提取模块，通过第一特征提取层、第二特征提取层进行卷积和池化处理，得到第一浅层特征信息和第二浅层特征信息。
可选地，各待处理平面图像对应的YCrCb图像可作为特征提取模块的输入，通过第一特征提取层、第二特征提取层分别进行特征提取后，可分别得到第一浅层特征信息和第二浅层特征信息，而再分别对第一浅层特征信息和第二浅层特征信息进行卷积操作，可得到卷积处理后的第一浅层特征信息和卷积处理后的第二浅层特征信息。
S702、将第一浅层特征信息和第二浅层特征信息输入第三特征提取层进行卷积处理后，分别得到第三浅层特征信息、第四浅层特征信息及第五浅层特征信息。
分别将卷积处理后的第一浅层特征信息和卷积处理后的第二浅层特征信息作为第三特征提取层的输入，第三特征提取层对其进行卷积处理后可分别生成第三浅层特征信息、第四浅层特征信息及第五浅层特征信息。其中，第三浅层特征信息、第四浅层特征信息及第五浅层特征信息均为三层的特征张量。
S703、分别对第三浅层特征信息、第四浅层特征信息及第五浅层特征信息进行全连接处理，输出目标第三浅层特征信息、目标第四浅层特征信息及目标第五浅层特征信息。
进一步地，通过对第三浅层特征信息、第四浅层特征信息及第五浅层特征信息进行全连接处理，可分别将第三浅层提取的特征信息的三层特征张量合并为一层特征张量(也即目标第三浅层特征信息)进行输出，将第四浅层提取的特征信息的三层特征张量合并为一层特征张量(目标第四浅层特征信息)进行输出，将第五浅层提取的特征信息的三层特征张量合并为一层特征张量(目标第五浅层特征信息)进行输出。
S704、将第一浅层特征信息、第二浅层特征信息、目标第三浅层特征信息、目标第四浅层特征信息及目标第五浅层特征信息作为特征提取模块输出的特征信息进行信息度量。
而由第一特征提取层和第二特征提取层所提取到的第一浅层特征信息和第二浅层特征信息以及这里所输出的目标第三浅层特征信息、目标第四浅层特征信息及目标第五浅层特征信息则合起来作为特征提取模块所提取到的特征信息输出至图像融合模型中的信息度量模块进行信息度量处理。
本方法采用上述特征提取模块进行特征提取，相比于现有的特征提取网络而言，减少了深层特征提取层，新增了第三特征提取层，侧重于对胚胎浅层特征信息的提取，从而提取到胚胎的纹理和细节信息进行胚胎融合和胚胎分析。
在另一些实施例中，本方案还可基于Unet网络进行图像的特征提取，该网络以Unet编解码网络作为主干网络，Unet网络结构为全卷积的对称网络结构，左侧结构的卷积层组成的下采样层，右侧结构为反卷积组成的上采样层，将各待处理的平面图像输入Unet网络，分别以下采样层以及上采样层的前三层的输出作为特征提取的结果，从而得到特征提取结果，其优点在于能够保留小目标和图像的细节特征，在胚胎特征提取中有较好的效果。
图8为本申请实施例提供的胚胎图像融合方法的流程示意图五；可选地，步骤S203中，采用目标发育时期对应的目标图像融合策略对各待处理平面图像进行融合处理，生成胚胎对应的融合图像之前，可以包括：
S601、对各待处理平面图像中的目标图像进行图像轮廓补偿，得到补偿后的目标图像；目标图像包括：F0焦以上的各待处理的平面图像。
本实施对于各待处理平面图像的预处理操作进行说明，在根据胚胎的发育时期从多个原始焦平面图像中选择出各待处理平面图像之后，还可先对各待处理平面图像中的指定目标图像进行图像预处理。
那么，在采用目标发育时期对应的目标图像融合策略对各待处理平面图像进行融合处理时，则是将预处理后的各待处理平面图像作为输入，执行图像融合策略。
由于在成像过程中，相机是在下方，拍摄胚胎赤道面上层图片时会存在下层成像的伪影叠加，不利于特征提取，因此需要选择其中的上焦平面图像，也即F0焦以上的各待处理的平面图像，例如上述所示例的：F15焦平面图像、F30焦平面图像、F45焦平面图像进行图像预处理，使其能够更好的用于进行图像融合。
图9为本申请实施例提供的一种图像预处理过程展示示意图。以对F45焦平面图像的预处理过程为例：
如图9中的(a)为未处理前的F45焦平面图像；先采用冲击滤波器，对图像的轮廓进行补偿，增加图像的边缘及灰度跳变，增加胚胎图像上细胞边缘的轮廓和一些线性目标要素的特征。如图9中的(b)为冲击滤波器处理后得到的补偿后的图像。
S602、对补偿后的目标图像进行对比度增强，得到增强后的目标图像。
然后使用对比度增强，对增强的边缘轮廓进行进一步的放大，如图9中的(c)为对比度增强后的图像。
S603、对增强后的目标图像进行噪音滤波处理，生成降噪后的目标图像。
然后再使用高斯滤波进行去噪处理，降低图像融合过程中可能引入的噪声干扰，如图9中的(d)为降噪后的图像。
S604、对降噪后的目标图像进行图像增晰处理，生成各待处理平面图像对应的处理后的图像。
图10为本申请实施例提供的另一种图像预处理示意图。如图10所示，对降噪后的图像进行反卷积操作，提高图像清晰度，然后对图像进行边缘增强和直方图均衡化处理，得到处理后的图像。
图11为本申请实施例提供的一种图像预处理结果展示示意图。如图11所示，为11个焦平面图像经过图像边缘增强和灰度直方图均衡化处理后的结果展示。
可选地，本方案上述实施例中所使用的图像融合模型的输入数据通道可以包括多个；
本实施例中所采用的图像融合模型是在U2Fusion的网络模型的基础上进行了输入层和特征提取层的修改得到的模型。首先，在原有实现的基础上修改了输入数据通道，由原有的两张图像输入，变为了现在的多张焦平面图像输入。
而对于特征提取层的修改可参照上述对于特征提取模块的说明进行理解，此处不再赘述。
图12为本申请实施例提供的胚胎图像融合方法的流程示意图六；图像融合模型可采用下述方法训练得到：
S1001、采集多组训练样本图像，每组训练样本图像包括一胚胎对应的多个原始焦平面图像。
可选地，可从数据库中随机的采集多组训练样本图像，其中，每组训练样本图像可包括一胚胎对应的多个原始焦平面图像，可以是同一胚胎在不同发育时期的多个原始焦平面图像，也可以是不同胚胎的多个原始焦平面图像。
S1002、对各组训练样本图像分别进行图像预处理，得到处理后的各组训练样本图像。
可选地，对于训练样本图像可采用如上述步骤S601-S604的预处理方式，对每组训练样本图像中的F0焦以上的各待处理的平面图像均进行相同的预处理，得到处理后的各组训练样本图像。
S1003、对处理后的各组训练样本图像分别进行通道融合处理，生成各组目标训练样本图像。
而对于处理后的各组训练样本图像，则可采用如步骤S501-S502的通道融合处理方法，对处理后的各组训练样本图像中的每个图像进行通道融合处理，生成各组目标训练样本图像，各组目标训练样本图像均为满足图像融合模型输入需求的YCrCb图像。
S1004、将各组目标训练样本图像输入初始的图像融合模型中进行模型训练，生成图像融合模型。
可选地，将各组目标训练样本图像作为输入数据输入初始的图像融合模型中，进行模型训练后，则可生成图像融合模型。其中，初始的图像融合模型可以模型参数为初始化参数时的模型，经过模型训练，使得模型具有所需的网络参数，从而得到图像融合模型。
图13为本申请实施例提供的胚胎图像融合方法的流程示意图七；可选地，步骤S1004中，将各组目标训练样本图像输入初始的图像融合模型中进行模型训练，生成图像融合模型，可以包括：
S1101、采用初始的图像融合模型分别对各组目标训练样本图像进行特征提取，得到每组目标训练样本图像中各原始焦平面图像的多个特征信息。
可选地，针对每组目标训练样本图像中的每一原始焦平面图像而言，通过Unet特征提取层均可对应生成一组特征信息，包括：f1(I1)、f2(I1)…f6(I1)，那么，每组目标训练样本图像则可对应生成多组特征信息。
S1102、根据每组目标训练样本图像中各原始焦平面图像的多个特征信息进行信息度量，生成度量结果，度量结果用于表征从各原始焦平面图像中所提取到的特征信息的程度。
信息度量过程则是通过梯度算子对提取到的特征信息进行度量，为了确保源图像中的信息不失真。
那么，可采用信息度量计算公式，根据上述提取到的特征信息计算度量结果，其中，可生成由gI1和gI2两个参数所表示的度量结果。具体可采用如下公式计算得到度量结果：
其中，表示低j层的特征图，k表示Dj个通道的第k个通道中的特征图，/>表示拉普拉斯算子。
需要说明的是，度量结果用于表征特征提取层所提取到的特征信息的程度，也即指信息保留度，也就是可以从原图像中所学习到的特征信息的多少，当度量结果越大时，则可表征所提取到的特征信息更加丰富。
S1103、根据度量结果生成图像的融合权重。
可选地，基于上述生成的度量结果gI1和gI2，可进一步地计算图像的融合权重：
其中，softmax表示归一化处理，C为常数，通过调整C值进行缩放以获得更好的权重，本实施例中C值可取0.01，ω1和ω2分别表示两个权重。
S1104、根据每组目标训练样本图像中各原始焦平面图像的融合权重，计算初始的图像融合模型的损失。
本实施例中，可采用如下公式计算得到模型的损失：
其中，表示模型的损失值，SSIM为图像结构相似度，MES为图像均方差。
S1105、根据损失，对初始的图像融合模型进行迭代优化，生成图像融合模型。
可选地，模型的训练过程是通过不断迭代执行的，在每轮迭代的过程中，均可计算当前轮的损失，若当前轮的损失满足损失精度，则停止迭代，并将当前训练得到的模型作为所述图像融合模型，而若当前轮的损失不满足损失精度，则继续按照上述方式进行下一轮的训练，计算新的损失，直至新的损失满足损失精度则停止。
图14为本申请实施例提供的一种图像融合结果示意图，如图14所示为基于本方案所训练得到的图像融合模型，对卵裂二期的胚胎图像进行图像融合处理后得到的融合图像。可看出胚胎卵裂球的立体感较强，边缘更加清晰。
图15为本申请实施例提供的另一种图像融合结果示意图，如图15所示为基于本方案所训练得到的图像融合模型，对囊胚期的胚胎图像进行图像融合处理后得到的融合图像。可看出不同景深之间的清晰区域叠加，使得囊胚的内部结构能够观察到的细节更多。
可选地，本申请的方法还可包括：根据目标胚胎的原始F0焦平面图像以及目标胚胎对应的融合图像，采用至少一种性能指标算法，计算获取图像融合模型的性能指标；性能指标用于对图像融合模型的融合性能进行评估；性能指标算法包括：基于梯度的融合性能算法、图像均方差算法、结构相似度算法及峰值信噪比算法。
在一些实施例中，对于上述训练得到的图像融合模型，本方案还采用了至少一种性能指标计算方式以对图像融合模型的性能进行评估。
其中，可分别包括以下几种性能指标：QUtil(基于梯度的融合性能)，图像均方差(RMES)，结构相似度SSIM，峰值信噪比(PSNR)。
可选地，在进行性能指标计算时，可以选择一张原始图像和融合后的新图像进行融合质量评估，其中，原始图像可以选择多个原始焦平面图像中的F0焦平面图像，融合后的新图像也即通过图像融合模型融合处理后生成的融合图像。
各性能指标的计算方式可参照现有的公式进行计算，此处不再过多赘述。
综上所述，本实施例提供的胚胎图像融合方法，通过胚胎发育时期预测网络对输入的多个原始焦平面图像进行分类预测，以判断胚胎多处的发育时期，从而根据所处的发育时期可从多个原始焦平面图像中选择与发育时期对应的各焦平面图像作为待处理平面图像，并且采用与发育时期所对应的图像融合策略对待处理平面图像进行融合处理，最终得到融合图像。本方法针对不同发育时期的胚胎的特性，从多个原始焦平面图像中选择发育时期对应的各焦平面图像作为待处理平面图像，无需将所有原始焦平面图像均作为待处理平面图像进行图像融合，从而一定程度上减少了数据处理量，提高了图像融合效率，均衡了图像融合的时间。而针对不同发育时期，根据不同发育时期的特征分析需求，采用发育时期所对应的图像融合策略对待处理平面图像进行融合处理，实现了个性化图像融合处理，且使得得到的融合图像尽可能的包含更加丰富的胚胎特征，以提升后续基于融合图像进行胚胎识别的准确性。
其次，本申请基于现有的融合网络进行输入层和特征提取层的改进，一方面使得训练得到的图像融合模型可以适用于多张输入的处理，另一方面，提取到的特征更加丰富，使得图像融合结果更加理想。
下述对用以执行本申请所提供的胚胎图像融合方法的装置、设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。
图16为本申请实施例提供的一种胚胎图像融合装置的示意图，该胚胎图像融合装置实现的功能对应上述方法执行的步骤。该装置可以理解为上述的计算机设备或者服务器，或服务器的处理器，也可以理解为独立于上述服务器或处理器之外的在服务器控制下实现本申请功能的组件，如图16所示，该装置可包括：预测模块140、确定模块141、处理模块142；
预测模块140，用于根据获取的胚胎的多个原始焦平面图像，预测胚胎所处的目标发育时期；
确定模块141，用于根据目标发育时期，从多个原始焦平面图像中确定与目标发育时期对应的各待处理平面图像；
处理模块142，用于采用目标发育时期对应的目标图像融合策略对各待处理平面图像进行融合处理，生成胚胎对应的融合图像，其中，目标图像融合策略包括：图像通道融合策略或者基于图像融合模型的融合策略，图像融合模型预先基于多组由胚胎的原始焦平面图像组成的训练样本训练得到。
可选地，确定模块141，具体用于根据目标发育时期，从多个原始焦平面图像中确定与目标发育时期对应的各待处理平面图像。
可选地，胚胎的发育时期包括：原核期、卵裂一期、卵裂二期、融合期和囊胚期；多个原始焦平面图像分别包括：F-45焦平面图像、F-30焦平面图像、F-15焦平面图像、F0焦平面图像、F15焦平面图像、F30焦平面图像、F45焦平面图像；
确定模块141，具体用于
若目标发育时期为原核期，则从多个原始焦平面图像中确定F0焦平面图像为待处理平面图像；
若目标发育时期为卵裂一期，则从多个原始焦平面图像中确定F-30焦平面图像、F0焦平面图像以及F15焦平面图像为待处理平面图像；
若目标发育时期为卵裂二期或者融合期或者囊胚期，则确定多个原始焦平面图像为待处理平面图像。
可选地，处理模块142，具体用于
若目标发育时期为卵裂一期，则采用图像通道融合策略对各待处理平面图像进行融合处理，生成胚胎对应的融合图像；
若目标发育时期为卵裂二期或者融合期或者囊胚期，则采用图像融合模型对各待处理平面图像进行融合处理，生成胚胎对应的融合图像。
可选地，处理模块142，具体用于
采用通道融合算法，对各待处理平面图像进行通道合并，生成目标RGB三通道图像；
将目标RGB三通道图像作为胚胎对应的融合图像。
可选地，装置还包括：通道融合模块；
通道融合模块，用于采用通道融合算法，分别对各待处理平面图像进行通道合并，生成各待处理平面图像对应的RGB三通道图像；
对各待处理平面图像对应的RGB三通道图像分别进行颜色模型转换处理，生成各待处理平面图像对应的YCrCb图像；
处理模块142，具体用于将各待处理平面图像对应的YCrCb图像输入图像融合模型进行图像融合处理，得到胚胎对应的融合图像。
可选地，图像融合模型包括：特征提取模块，特征提取模块包括：第一特征提取层、第二特征提取层及第三特征提取层；
处理模块142，具体用于将各待处理平面图像对应的YCrCb图像输入特征提取模块，通过第一特征提取层、第二特征提取层进行卷积和池化处理，得到第一浅层特征信息和第二浅层特征信息；
将第一浅层特征信息和第二浅层特征信息输入第三特征提取层进行卷积处理后，分别得到第三浅层特征信息、第四浅层特征信息及第五浅层特征信息；
分别对第三浅层特征信息、第四浅层特征信息及第五浅层特征信息进行全连接处理，输出目标第三浅层特征信息、目标第四浅层特征信息及目标第五浅层特征信息；
将第一浅层特征信息、第二浅层特征信息、目标第三浅层特征信息、目标第四浅层特征信息及目标第五浅层特征信息作为特征提取模块输出的特征信息进行信息度量。
可选地，装置还包括：预处理模块；
预处理模块，用于对各待处理平面图像中的目标图像进行图像轮廓补偿，得到补偿后的目标图像；目标图像包括：F0焦以上的各待处理的平面图像；
对补偿后的目标图像进行对比度增强，得到增强后的目标图像；
对增强后的目标图像进行噪音滤波处理，生成降噪后的目标图像；
对降噪后的目标图像进行图像增晰处理，生成各待处理平面图像对应的处理后的图像。
可选地，图像融合模型的输入数据通道包括多个；装置还包括：训练模块；
训练模块，用于
采集多组训练样本图像，每组训练样本图像包括一胚胎对应的多个原始焦平面图像；
对各组训练样本图像分别进行图像预处理，得到处理后的各组训练样本图像；
对处理后的各组训练样本图像分别进行通道融合处理，生成各组目标训练样本图像；
将各组目标训练样本图像输入初始的图像融合模型中进行模型训练，生成图像融合模型。
可选地，训练模块，具体用于
采用初始的图像融合模型分别对各组目标训练样本图像进行特征提取，得到每组目标训练样本图像中各原始焦平面图像的多个特征信息；
根据每组目标训练样本图像中各原始焦平面图像的多个特征信息进行信息度量，生成度量结果，度量结果用于表征从各原始焦平面图像中所提取到的特征信息的程度；
根据度量结果生成图像的融合权重；
根据每组目标训练样本图像中各原始焦平面图像的融合权重，计算初始的图像融合模型的损失；
根据损失，对初始的图像融合模型进行迭代优化，生成图像融合模型。
可选地，装置还包括：评估模块；
评估模块，用于根据目标胚胎的原始F0焦平面图像以及目标胚胎对应的融合图像，采用至少一种性能指标算法，计算获取图像融合模型的性能指标；性能指标用于对图像融合模型的融合性能进行评估；性能指标算法包括：基于梯度的融合性能算法、图像均方差算法、结构相似度算法及峰值信噪比算法。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接，或其任意组合。两个或更多个模块可以组合为单个模块，并且任何一个模块可以分成两个或更多个单元。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。
图17为本申请实施例提供的一种电子设备的结构示意图；该设备包括：处理器801、存储介质802。
存储介质802用于存储程序，处理器801调用存储介质802存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
其中，存储介质802存储有程序代码，当程序代码被处理器801执行时，使得处理器801执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的胚胎图像融合方法中的各种步骤。
处理器801可以是通用处理器，例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储介质802作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储介质可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储介质、随机访问存储介质(Random AccessMemory，RAM)、静态随机访问存储介质(Static Random Access Memory，SRAM)、可编程只读存储介质(Programmable Read Only Memory，PROM)、只读存储介质(Read Only Memory，ROM)、带电可擦除可编程只读存储介质(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储介质、磁盘、光盘等等。存储介质是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储介质802还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
可选地，本申请还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储介质(英文：Read-Only Memory，简称：ROM)、随机存取存储介质(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种胚胎图像融合方法，其特征在于，包括：
根据获取的胚胎的多个原始焦平面图像，预测所述胚胎所处的目标发育时期；
根据所述目标发育时期，从所述多个原始焦平面图像中确定与所述目标发育时期对应的各待处理平面图像；
采用所述目标发育时期对应的目标图像融合策略对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像，其中，所述目标图像融合策略包括：图像通道融合策略或者基于图像融合模型的融合策略，所述图像融合模型预先基于多组由胚胎的原始焦平面图像组成的训练样本训练得到。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标发育时期，从所述多个原始焦平面图像中确定与所述目标发育时期对应的各待处理平面图像，包括：
根据所述目标发育时期以及预先创建的发育时期与待处理平面图像之间的对应关系，从所述多个原始焦平面图像中确定与所述目标发育时期对应的各待处理平面图像。
3.根据权利要求1所述的方法，其特征在于，胚胎的发育时期包括：原核期、卵裂一期、卵裂二期、融合期和囊胚期；所述多个原始焦平面图像包括：F-45焦平面图像、F-30焦平面图像、F-15焦平面图像、F0焦平面图像、F15焦平面图像、F30焦平面图像、F45焦平面图像；
所述根据所述目标发育时期，从所述多个原始焦平面图像中确定与所述目标发育时期对应的各待处理平面图像，包括：
若所述目标发育时期为所述原核期，则从所述多个原始焦平面图像中确定所述F0焦平面图像为所述待处理平面图像；
若所述目标发育时期为所述卵裂一期，则从所述多个原始焦平面图像中确定所述F-30焦平面图像、所述F0焦平面图像以及所述F30焦平面图像为所述待处理平面图像；
若所述目标发育时期为所述卵裂二期或者所述融合期或者所述囊胚期，则确定所述多个原始焦平面图像为所述待处理平面图像。
4.根据权利要求3所述的方法，其特征在于，所述采用所述目标发育时期对应的目标图像融合策略对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像，包括：
若所述目标发育时期为所述卵裂一期，则采用所述图像通道融合策略对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像；
若所述目标发育时期为所述卵裂二期或者所述融合期或者所述囊胚期，则采用所述图像融合模型对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像。
5.根据权利要求4所述的方法，其特征在于，所述采用所述图像融合模型对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像之前，包括：
采用通道融合算法，分别对各待处理平面图像进行通道合并，生成各待处理平面图像对应的RGB三通道图像；
对各待处理平面图像对应的RGB三通道图像分别进行颜色模型转换处理，生成各待处理平面图像对应的YCrCb图像；
所述采用所述图像融合模型对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像，包括：
将各待处理平面图像对应的YCrCb图像输入所述图像融合模型进行图像融合处理，得到所述胚胎对应的融合图像。
6.根据权利要求1-5任一所述的方法，其特征在于，所述图像融合模型包括：特征提取模块，所述特征提取模块包括：第一特征提取层、第二特征提取层及第三特征提取层；
所述将各待处理平面图像对应的YCrCb图像输入所述图像融合模型进行图像融合处理，得到所述胚胎对应的融合图像，包括：
将各待处理平面图像对应的YCrCb图像输入所述特征提取模块，通过所述第一特征提取层、第二特征提取层进行卷积和池化处理，得到第一浅层特征信息和第二浅层特征信息；
将所述第一浅层特征信息和第二浅层特征信息输入所述第三特征提取层进行卷积处理后，分别得到第三浅层特征信息、第四浅层特征信息及第五浅层特征信息；
分别对所述第三浅层特征信息、第四浅层特征信息及第五浅层特征信息进行全连接处理，输出目标第三浅层特征信息、目标第四浅层特征信息及目标第五浅层特征信息；
将所述第一浅层特征信息、所述第二浅层特征信息、所述目标第三浅层特征信息、所述目标第四浅层特征信息及所述目标第五浅层特征信息作为所述特征提取模块输出的特征信息进行信息度量。
7.根据权利要求1所述的方法，其特征在于，所述采用所述目标发育时期对应的目标图像融合策略对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像之前，包括：
对各待处理平面图像中的目标图像进行图像轮廓补偿，得到补偿后的目标图像；所述目标图像包括：F0焦以上的各待处理的平面图像；
对补偿后的目标图像进行对比度增强，得到增强后的目标图像；
对增强后的目标图像进行噪音滤波处理，生成降噪后的目标图像；
对降噪后的目标图像进行图像增晰处理，生成各待处理平面图像对应的处理后的图像。
8.根据权利要求1所述的方法，其特征在于，所述图像融合模型的输入数据通道包括多个；所述图像融合模型采用下述方法训练得到：
采集多组训练样本图像，每组训练样本图像包括一胚胎对应的多个原始焦平面图像；
对各组训练样本图像分别进行图像预处理，得到处理后的各组训练样本图像；
对处理后的各组训练样本图像分别进行通道融合处理，生成各组目标训练样本图像；
将各组目标训练样本图像输入初始的图像融合模型中进行模型训练，生成所述图像融合模型。
9.根据权利要求8所述的方法，其特征在于，所述将各组目标训练样本图像输入初始的图像融合模型中进行模型训练，生成所述图像融合模型，包括：
采用所述初始的图像融合模型分别对各组目标训练样本图像进行特征提取，得到每组目标训练样本图像中各原始焦平面图像的多个特征信息；
根据每组目标训练样本图像中各原始焦平面图像的多个特征信息进行信息度量，生成度量结果，所述度量结果用于表征从各原始焦平面图像中所提取到的特征信息的程度；
根据所述度量结果生成图像的融合权重；
根据每组目标训练样本图像中各原始焦平面图像的融合权重，计算所述初始的图像融合模型的损失；
根据损失，对所述初始的图像融合模型进行迭代优化，生成所述图像融合模型。
10.一种胚胎图像融合装置，其特征在于，包括：预测模块、确定模块、处理模块；
所述预测模块，用于根据获取的胚胎的多个原始焦平面图像，预测所述胚胎所处的目标发育时期；
所述确定模块，用于根据所述目标发育时期，从所述多个原始焦平面图像中确定与所述目标发育时期对应的各待处理平面图像；
所述处理模块，用于采用所述目标发育时期对应的目标图像融合策略对所述各待处理平面图像进行融合处理，生成所述胚胎对应的融合图像，其中，所述目标图像融合策略包括：图像通道融合策略或者基于图像融合模型的融合策略，所述图像融合模型预先基于多组由胚胎的原始焦平面图像组成的训练样本训练得到。
11.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以实现如权利要求1至9任一所述的胚胎图像融合方法。
12.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时以实现如权利要求1至9任一所述的胚胎图像融合方法。
CN202310693024.9A 2023-06-12 2023-06-12 胚胎图像融合方法、装置、电子设备及存储介质 Pending CN116757979A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310693024.9A CN116757979A (zh) 2023-06-12 2023-06-12 胚胎图像融合方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310693024.9A CN116757979A (zh) 2023-06-12 2023-06-12 胚胎图像融合方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116757979A true CN116757979A (zh) 2023-09-15

Family

ID=87958301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310693024.9A Pending CN116757979A (zh) 2023-06-12 2023-06-12 胚胎图像融合方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116757979A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117692795A (zh) * 2024-02-04 2024-03-12 苏州苏映视图像软件科技有限公司 景深图像融合系统和方法
CN118379288A (zh) * 2024-06-21 2024-07-23 武汉互创联合科技有限公司 基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117692795A (zh) * 2024-02-04 2024-03-12 苏州苏映视图像软件科技有限公司 景深图像融合系统和方法
CN117692795B (zh) * 2024-02-04 2024-05-03 苏州苏映视图像软件科技有限公司 景深图像融合系统和方法
CN118379288A (zh) * 2024-06-21 2024-07-23 武汉互创联合科技有限公司 基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法
CN118379288B (zh) * 2024-06-21 2024-09-06 武汉互创联合科技有限公司 基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法

Similar Documents

Publication Publication Date Title
CN109191476B (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN110648334A (zh) 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN116757979A (zh) 胚胎图像融合方法、装置、电子设备及存储介质
CN111754446A (zh) 一种基于生成对抗网络的图像融合方法、系统及存储介质
CN106295613A (zh) 一种无人机目标定位方法及系统
CN109102498B (zh) 一种宫颈涂片图像中簇型细胞核分割的方法
CN109389585A (zh) 一种基于全卷积神经网络的脑组织提取方法
CN113393443B (zh) 一种he病理图像细胞核分割方法及系统
CN111079807B (zh) 一种地物分类方法及装置
CN113256494B (zh) 一种文本图像超分辨率方法
CN113449691A (zh) 一种基于非局部注意力机制的人形识别系统及方法
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
CN114612664A (zh) 一种基于双边分割网络的细胞核分割方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN112819096A (zh) 一种基于复合卷积神经网络的化石图像分类模型的构建方法
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
CN116563606A (zh) 一种基于双分支空谱全局特征提取网络的高光谱图像分类方法
CN113763300B (zh) 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法
CN118154984A (zh) 融合引导滤波的无监督邻域分类超像素生成方法及系统
CN117876530A (zh) 一种基于参考图像的红外图像彩色化方法及系统
CN116342628B (zh) 病理图像分割方法、装置和计算机设备
CN112529828A (zh) 参考数据非敏感的遥感影像时空融合模型构建方法
Liang et al. Multi-perspective feature collaborative perception learning network for non-destructive detection of pavement defects
CN113222887A (zh) 基于深度学习的纳米铁标记神经干细胞示踪的方法
CN115035377A (zh) 基于双流编码和交互解码的显著性检测网络系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination