CN112635060B - 一种生存力评估方法、装置、评估设备及存储介质 - Google Patents

一种生存力评估方法、装置、评估设备及存储介质 Download PDF

Info

Publication number
CN112635060B
CN112635060B CN202011598984.XA CN202011598984A CN112635060B CN 112635060 B CN112635060 B CN 112635060B CN 202011598984 A CN202011598984 A CN 202011598984A CN 112635060 B CN112635060 B CN 112635060B
Authority
CN
China
Prior art keywords
feature
viability
features
fusion
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011598984.XA
Other languages
English (en)
Other versions
CN112635060A (zh
Inventor
张冀聪
武广
王�华
胡静斐
曹朝辉
王海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Innovation Research Institute of Beihang University
Original Assignee
Hefei Innovation Research Institute of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Innovation Research Institute of Beihang University filed Critical Hefei Innovation Research Institute of Beihang University
Priority to CN202011598984.XA priority Critical patent/CN112635060B/zh
Publication of CN112635060A publication Critical patent/CN112635060A/zh
Priority to PCT/CN2021/142681 priority patent/WO2022143811A1/zh
Application granted granted Critical
Publication of CN112635060B publication Critical patent/CN112635060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种生存力评估方法、装置、评估设备及存储介质。该方法包括：获取观测数据中的关键帧；通过图像分割模型对各所述关键帧进行图像分割，得到分割图像，所述分割图像中包含不同特征尺度的融合特征；通过评估模型，根据各所述分割图像的融合特征评估观测目标的生存力。上述技术方案利用图像分割模型和评估模型评估观测目标的生存力，其中图像分割模型和评估模型具备相应的功能，能够实现生存力的自动评估，提高了生存力评估的效率，并且通过分割图像并融合不同特征尺度的特征，提高了特征提取能力以及评估的可靠性。

Description

一种生存力评估方法、装置、评估设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种生存力评估方法、装置、评估设备及存储介质。
背景技术
在生物和医学领域，通常需要对细胞、胚胎等进行观测，以评估其对温度、湿度、压力、营养供给等的适应性和生存力。例如，为提高怀孕成功率，需要选取生存力强的胚胎进行着床。目前需要胚胎学家根据每个胚胎的外观和关键发育检查点的时间进行人工评估，费时费力，并且评估结果依赖于胚胎学家的主观判断，可靠性低。也有一些胚胎分级系统可以实现生存力评估，例如加德纳囊胚分级系统(Gardner Blastocyst Grading System)以及基于胚胎热力图的时序决策系统，但实现复杂，效率有待提高。
发明内容
本发明提供了一种生存力评估方法、装置、评估设备及存储介质，以提高生存力评估的效率和可靠性。
第一方面，本发明实施例提供了一种生存力评估方法，包括：
获取观测数据中的关键帧；
通过图像分割模型对各所述关键帧进行图像分割，得到分割图像，所述分割图像中包含不同特征尺度的融合特征；
通过评估模型，根据各所述分割图像的融合特征评估观测目标的生存力。
可选的，所述图像分割模型包括聚合交互模块和自交互模块；
所述通过图像分割模型对各所述关键帧进行图像分割，得到分割图像，包括：
通过所述聚合交互模块提取各所述关键帧在不同特征尺度下的交互特征；
通过所述自交互模块融合各所述关键帧在不同特征尺度下的交互特征，并根据融合特征输出各所述关键帧的分割图像。
可选的，通过所述聚合交互模块提取各所述关键帧在不同特征尺度下的交互特征，包括：
对各所述关键帧进行特征尺度变换；
对于每个关键帧的每种特征尺度，将该特征尺度的特征与相邻的特征尺度的特征聚合，得到各所述关键帧在每种特征尺度下的交互特征。
可选的，通过所述自交互模块融合各所述关键帧不同特征尺度下的交互特征，包括：
对于边界的特征尺度，根据该特征尺度下的交互特征与该交互特征的特征尺度变换结果得到各所述关键帧在该特征尺度下的融合特征；
对于非边界的每种特征尺度，将该特征尺度下的交互特征与相邻的一种特征尺度下的融合特征的上采样结果对位相加并进行特征尺度变换和融合，得到各所述关键帧在该特征尺度下的融合特征。
可选的，所述评估模型包括上分支网络和下分支网络；
所述通过评估模型，根据各所述分割图像的融合特征评估观测目标的生存力，包括：
通过所述上分支网络根据各所述分割图像的融合特征得到第一生存力评分；
通过所述下分支网络根据所述观测目标的形态学特征矩阵矫正所述分割图像，并根据各矫正后的分割图像的融合特征得到第二生存力评分；
根据所述第一生存力评分和所述第二生存力评分确定所述观测目标的综合生存力评分。
可选的，还包括：
通过所述下分支网络为各所述分割图像分配区域权重。
可选的，在通过图像分割模型对各所述关键帧进行图像分割之前，还包括：
基于样本数据集，训练所述图像分割模型和所述评估模型；
其中，训练所述图像分割模型采用自适应矩估计(Adaptive Moment Estimation，Adam)优化器，损失函数为平衡交叉熵(Balance Cross Entropy，BCE)损失函数；
训练所述评估模型采用随机梯度下降随机梯度下降(Stochastic GradientDescent，SGD)优化器，损失函数为最小二乘损失函数。
第二方面，本发明实施例提供了一种生存力评估装置，包括：
获取模块，用于获取观测数据中的关键帧；
分割模块，用于通过图像分割模型对各所述关键帧进行图像分割，得到分割图像，所述分割图像中包含不同特征尺度的融合特征；
评估模块，用于通过评估模型，根据各所述分割图像的融合特征评估观测目标的生存力。
第三方面，本发明实施例提供了一种评估设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的生存力评估方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的生存力评估方法。
本发明实施例提供了一种生存力评估方法、装置、评估设备及存储介质。该方法包括：获取观测数据中的关键帧；通过图像分割模型对各所述关键帧进行图像分割，得到分割图像，所述分割图像中包含不同特征尺度的融合特征；通过评估模型，根据各所述分割图像的融合特征评估观测目标的生存力。上述技术方案利用图像分割模型和评估模型评估观测目标的生存力，其中图像分割模型和评估模型具备相应的功能，能够实现生存力的自动评估，提高了生存力评估的效率，并且通过分割图像并融合不同特征尺度的特征，提高了特征提取能力以及评估的可靠性。
附图说明
图1为本发明实施例一提供的一种生存力评估方法的流程图；
图2为本发明实施例一提供的一种关键帧图像分割的示意图；
图3为本发明实施例二提供的一种生存力评估方法的流程图；
图4为本发明实施例二提供的一种图像分割模型的示意图；
图5为本发明实施例二提供的一种评估模型的示意图；
图6为本发明实施例二提供的一种聚合交互模块提取不同特征尺度下的交互特征的示意图；
图7为本发明实施例二提供的一种自交互模块融合不同特征尺度下的交互特征的示意图；
图8为本发明实施例二提供的一种图像分割模型的工作原理的示意图；
图9为本发明实施例三提供的一种生存力评估装置的结构示意图；
图10为本发明实施例四提供的一种评估设备的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
需要注意，本发明实施例中提及的“第一”、“第二”等概念仅用于对不同的装置、模块、单元或其他对象进行区分，并非用于限定这些装置、模块、单元或其他对象所执行的功能的顺序或者相互依存关系。
实施例一
图1为本发明实施例一提供的一种生存力评估方法的流程图，本实施例可适用于根据关键帧评估观测目标的生存力的情况。具体的，该生存力评估方法可以由生存力评估装置执行，该生存力评估装置可以通过软件和/或硬件的方式实现，并集成在评估设备中。进一步的，评估设备包括但不限定于：台式计算机、笔记本电脑、智能手机、服务器、时差培养箱以及胚胎监测设备等。
如图1所示，该方法具体包括如下步骤：
S110、获取观测数据中的关键帧。
具体的，观测数据是针对观测目标采集到的、包含多帧图像的数据。观测数据可以通过图像传感器采集，其形式可以为按照时序的先后排列的图像或者视频等，用于记录观测目标的变化过程。以胚胎培养为例，利用时差培养箱可以为胚胎提供稳定安全的培养环境，并利用时差记录功能对胚胎的发育过程进行连续拍摄，得到观测数据。关键帧是从观测数据中抽取的，本实施例提取关键帧的特征作为图像分割的依据，对关键帧进行特征提取的过程相当于编码过程，根据提取到的特征进行图像分割的过程相当于解码过程。
可选的，按照以下方式之一从观测数据中获取关键帧：按照设定时间间隔或者设定帧数间隔，从观测数据中抽取得到关键帧；或者，将与上一个关键帧之间的特征变化程度超过一定阈值的帧作为关键帧；或者，将与上一个关键帧之间的特征相似度低于一定阈值的帧作为关键帧。
S120、通过图像分割模型对各所述关键帧进行图像分割，得到分割图像，所述分割图像中包含不同特征尺度的融合特征。
具体的，图像分割模型是一种经过训练的、具备图像分割能力的网络模型，可基于深度神经网络构建。通过图像分割模型提取各关键帧中的特征并据此对关键帧进行图像分割，得到显著且易于观察和分析的分割图像。
本实施例中，对各关键帧进行特征尺度变换，得到的分割图像中包含不同特征尺度的融合特征。示例性的，将多个关键帧输入图像分割模型，通过图像分割模型对各关键帧按照不同特征尺度进行上采样变换和/或下采样变换，再将原尺度的特征与变换后的各种特征尺度的特征融合，然后再对融合特征进行上采样；在上采样阶段，不同特征尺度下的特征共同参与，在此基础上解码得到个关键帧的分割图像，从而提高图像分割模型的特征提取和复用能力。
图2为本发明实施例一提供的一种关键帧图像分割的示意图。在单色相机获取的胚胎图像中，胚胎的核心部位是不会被凸显出来的，但是在分割图像中，胚胎的核心部位将会被凸显出来，从而得到显著且容易被观察的胚胎分割图像。需要说明的是，特征提取、特征融合或图像分割的目的是得到丰富的、显著的特征，可以理解为数据增强的过程。在评估胚胎的生存力时，由于胚胎的观测图像是在显微条件下拍摄得到的，特征很细微，需要精确处理，通过数据增强可以提高胚胎生存力评估的鲁棒性。
S130、通过评估模型，根据各所述分割图像的融合特征评估观测目标的生存力。
具体的，评估模型是一种经过训练的、具备评估能力的网络模型，可基于深度神经网络构建，例如由卷积神经网络的下采样层构成。通过评估模型，可以综合各关键帧的分割图像中不同特征尺度的融合特征，以分析观测目标的形态是否符合时序规律等，据此评估观测目标的生存力。可以理解的是，评估网络用于对各关键帧的分割图像进行特征压缩和生存力评分。可选的，评估网络的输出层以Sigmoid函数作为激活函数，输出的生存力评分取值范围为[0,1]。
本发明实施例一提供的一种生存力评估方法，利用图像分割模型和评估模型评估观测目标的生存力，其中图像分割模型和评估模型具备相应的功能，能够实现生存力的自动评估，提高了生存力评估的效率，并且通过分割图像并融合不同特征尺度的特征，提高了特征提取能力以及评估的可靠性。
实施例二
图3为本发明实施例二提供的一种生存力评估方法的流程图，本实施例是在上述实施例的基础上进行优化，对图像分割模型和评估模型的训练过程以及生存力评估的具体实现过程进行描述。需要说明的是，未在本实施例中详尽描述的技术细节可参见上述任意实施例。
具体的，如图3所示，该方法具体包括如下步骤：
S210、基于样本数据集，训练图像分割模型和评估模型。
具体的，样本数据集包括已知关键帧以及相应的标签数据，标签数据包括已知关键帧对应的真实的生存力评分，还可以包括已知关键帧对应的标准的分割图像。标签数据可来自于专家的人工标记、临床数据或数据库等。基于样本数据集对图像分割模型和评估模型进行大量的训练，使图像分割模型学习到由关键帧得到分割图像的规律，评估模型学习到根据分割图像中的融合特征输出正确的生存力评分的规律，图像分割模型和评估模型协同实现对观测目标的生存力评估。其中，图像分割模型和评估模型可以同时训练，也可以在图像分割模型训练完成之后训练评估模型。
可选的，样本数据集按照设定比例划分为训练数据和测试数据，其中，训练数据用于训练图像分割模型和评估模型；测试数据用于对经过训练的图像分割模型和评估模型进行测试，如果测试结果满足设定条件，则图像分割模型和评估模型的训练完成。示例性的，设定条件包括：针对测试数据中的已知关键帧，评估模型输出的生存力评分与该已知关键帧对应的真实的生存力评分之间的误差小于设定阈值；还可以包括：图像分割模型输出的分割图像与该已知关键帧对应的标准的分割图像之间的一致性大于预定阈值等。
在一实施例中，图像分割模型的训练采用Adam优化器，损失函数为平衡交叉熵损失函数；评估模型的训练采用SGD优化器，损失函数为最小二乘损失函数。
具体的，采用Adam优化器训练图像分割模型，在训练过程中可以利用梯度的一阶矩估计和二阶矩估计动态调整图像分割模型中每个网络参数的学习率，从而实现对训练数据的数据增强。可选的，在图像分割模型的训练过程中，每隔预定数量的训练周期将学习率更新为原学习率的1/2，例如，共训练1000个周期，每10个训练周期调整一次学习率。
图像分割模型的损失函数为平衡交叉熵损失函数，表示为：Lossseg＝-[βy log f(x)+(1-β)(1-y)log(1-f(x))]，其中，x表示输入至图像分割模型的关键帧，f(x)表示图像分割模型输出的分割图像，y表示标准的分割图像，β表示平衡超参数。
评估模型实质是一个回归分析模型，采用SGD优化器训练评估模型，在训练过程中利用解析法求出当损失函数达到最小值时评估模型中的所有网络参数。可选的，初始学习率为0.001，每隔预定数量的训练周期将学习率更新为原学习率的1/2，共训练300个周期。
评估模型的损失函数为最小二乘损失函数，表示为：其中，/>表示图像分割模型输出的分割结果，/>表示评估模型输出的生存力评分，S表示真实的生存力得分，训练数据的数量为m，i表示训练数据的索引。
经过训练的图像分割模型和评估模型在实际应用时将不再需要任何的标注信息，对于输入的任意实际观测到的关键帧，都可快速输出对应的分割图像和生存力评分，提高了评估效率。
S220、获取观测数据中的关键帧。
S230、通过聚合交互模块提取各关键帧在不同特征尺度下的交互特征。
S240、通过自交互模块融合各关键帧在不同特征尺度下的交互特征，并根据融合特征输出各关键帧的分割图像。
本实施例中，图像分割模型包括聚合交互模块和自交互模块；其中，聚合交互模块用于提取各关键帧在不同特征尺度下的交互特征；自交互模块用于融合各关键帧在不同特征尺度下的交互特征，并根据融合特征输出各关键帧的分割图像。
图4为本发明实施例二提供的一种图像分割模型的示意图。输入的关键帧首先经过卷积层下采样和聚合交互模块，得到相应的特征表示；然后经过卷积层上采样和自交互模块，得到分割图像。图像分割模型中的卷积层的尺寸和的卷积核深度可根据实际需求设定。
S250、通过上分支网络根据各分割图像的融合特征得到第一生存力评分。
S260、通过下分支网络根据观测目标的形态学特征矩阵矫正分割图像。
S270、根据各矫正后的分割图像的融合特征得到第二生存力评分。
S280、根据第一生存力评分和第二生存力评分确定观测目标的综合生存力评分。
本实施例中，评估模型包括上分支网络和下分支网络；其中，上分支网络用于根据各分割图像的融合特征得到第一生存力评分；下分支网络用于根据观测目标的形态学特征矩阵矫正分割图像，并根据各矫正后的分割图像的融合特征得到第二生存力评分；根据第一生存力评分和第二生存力评分确定观测目标的综合生存力评分。
图5为本发明实施例二提供的一种评估模型的示意图。如图5所示，评估模型分为上下两个分支，将分割图像输入上分支网络，可实现初步的生存力评估，得到第一生存力评分；将分割图像输入下分支网络，可通过形态学特征矩阵矫正分割图像，使分割图像更符合观测目标的形态，并根据矫正后的分割图像重新进行评估，得到第二生存力评分；结合初步的生存力评分以及矫正后的生存力评分，通过加权等方式可得到最后的胚胎生存力评估得分。其中，形态学特征包括培养特征、细胞形态及其染色特效型、特殊的细胞结构和运动型等。
可选的，下分支网络还用于为各分割图像分配区域权重，例如，对于相邻关键帧中变化明显的区域所对应的分割图像赋予较大的权重，变化微弱的区域所对应的分割图像赋予较小的权重，从而突出观测目标的变化部位，提高评估的有效性。
在一实施例中，通过聚合交互模块提取各关键帧在不同特征尺度下的交互特征，包括：对各关键帧进行特征尺度变换；对于每个关键帧的每种特征尺度，将该特征尺度的特征与相邻的特征尺度的特征聚合，得到各关键帧在每种特征尺度下的交互特征。
具体的，对于每个关键帧，通过特征尺度变换可以得到多种尺度下的特征图。以五种特征尺度变换为例，将特征尺度变换得到的特征记为E0、E1、E2、E3、E4。通过聚合交互模块，将每种特征尺度的特征都与相邻的特征尺度的特征聚合，得到相应的交互特征E0’、E1’、E2’、E3’、E4’。需要说明的是，在首尾阶段，仅需要考虑两种特征尺度，即，对于E0，只需将E0和E1的特征交互得到E0’；对于E4，只需将E3和E4的特征交互得到E4’；而对于中间阶段，则需要考虑三种特征尺度，即，对于E1，需将E0、E1和E2的特征交互得到E1’，对于E2，需将E1、E2和E3的特征交互得到E2’，对于E3，需将E2、E3和E4的特征交互得到E3’。
图6为本发明实施例二提供的一种聚合交互模块提取不同特征尺度下的交互特征的示意图。如图6所示，以中间阶段的特征交互为例，每组方格的数量表示相应的特征尺度大小。将三种特征尺度由高到低分别记为Sh、Sm、Sl。对高尺度的Sh进行原尺度和下采样变换，对中间尺度的Sm进行上采样、原尺度和下采样变换，对低尺度Sl进行上采样和原尺度变换。对于Sh、Sm、Sl经过特征尺度变换后的特征，将相同特征尺度的对应位置的特征相加，然后将各相加结果再对位相加，并将特征尺度统一为中间尺度Sm。在此基础上，再与原Sm的特征相加，从而通过不同尺度下的交互连接实现多种特征尺度的特征压缩和聚合。
在一实施例中，通过自交互模块融合各关键帧不同特征尺度下的交互特征，包括：对于边界的特征尺度，根据该特征尺度下的交互特征与该交互特征的特征尺度变换结果得到各关键帧在该在该特征尺度下的融合特征；对于非边界的每种特征尺度，将该特征尺度下的交互特征与相邻的一种特征尺度下的融合特征的上采样结果对位相加并进行特征尺度变换和融合，得到各关键帧在该特征尺度下的融合特征。
具体的，自交互模块用于对每种特征尺度下的交互特征进行融合，并对融合特征进行高低尺度下的拆分和再次融合，其原理与聚合交互模块类似，都是利用不同特征尺度的变换，提高特征复用能力，提高分割图像的质量。
图7为本发明实施例二提供的一种自交互模块融合不同特征尺度下的交互特征的示意图。如图7所示，每组方格的数量表示相应的特征尺度大小。对于一种特征尺度的交互特征，对其进行一层或多层的原尺度、上采样和/或下采样变换，对于经过特征尺度变换后的特征，将相同特征尺度的对应位置的特征相加，然后将特征尺度统一为原特征尺度，在此基础上，再与特征尺度特征相加，作为该种特征尺度的输出。需要说明的是，如果原特征尺度为非边界的特征尺度，还需要与相邻的一种特征尺度下的融合特征的上采样结果叠加后再做进一步的特征自交互。
示例性的，对于边界的特征尺度E4’，对其进行下采样，再将E4’与其下采样结果中相应位置的特征相加，得到F4。对于非边界的特征尺度，例如对于E3’，将E3’与F4的上采样结果叠加，然后再通过下采样和特征尺度统一等进行融合，得到F3；对于E2’，将E2’与F3的上采样结果叠加，然后再通过下采样和特征尺度统一等进行融合，得到F2，以此类推，根据E0’与F1的上采样结果，最终得到不同特征尺度下的融合特征，据此输出分割图像。
图8为本发明实施例二提供的一种图像分割模型的工作原理的示意图。如图8所示，以五种特征尺度的变换为例，输入的关键帧的特征尺度为H*W*3(高度*宽度*通道数)，特征尺度变换得到的特征图记为E0、E1、E2、E3、E4，特征尺度分别为H*W*C0、通常情况下，C4＝C3＝2C2＝4C1＝8C0。通过聚合交互模块，将每种特征尺度的特征都与相邻的特征尺度的特征聚合，得到相应的交互特征图E0’、E1’、E2’、E3’、E4’。其中，E0’为E0和E1的融合结果；E1’为E0、E1和E2的融合结果；E2’为E1、E2和E3的融合结果；E3’为E2、E3和E4的融合结果；E4’为E3和E4的融合结果。
通过自交互模块，将不同特征尺度的交互特征融合。其中，根据E4’及其下采样结果进行特征自交互得到D4，特征尺度为根据E3’及D4的上采样结果，进行特征自交互(包括下采样、对位相加等)得到D3，特征尺度为/>根据E2’及D3的上采样结果，进行特征自交互得到D2，特征尺度为/>根据E1’及D2的上采样结果，进行特征自交互得到D1，特征尺度为/>根据E0’及D1的上采样结果，最终得到关键帧在E0’下的融合特征，据此输出分割图像，输出的分割图像的特征尺度为H*W*C。通常情况下，CⅡ＝2CⅠ，C＝1。示例性的，H＝512，W＝512，则C0＝64，CⅠ＝32。
本发明实施例二提供的一种生存力评估方法，在上述实施例的基础上进行优化，通过在观测数据中抽取关键帧，并根据关键帧的分割图像在卷积下采样网络中进行初步的生存力评估，再结合形态学特征对结果进行矫正，从而高效、准确地输出生存力得分；通过合理设置损失函数，提高了训练图像分割模型和评估模型的可靠性；通过聚合交互模块和自交互模块实现特征融合，得到显著且易于观察的分割结果，提高了模型的特征复用能力，实现数据增强，提高了图像分割模型的鲁棒性。
实施例三
图9为本发明实施例三提供的一种生存力评估装置的结构示意图。如图9所示，本实施例提供的生存力评估装置包括：
获取模块310，用于获取观测数据中的关键帧；
分割模块320，用于通过图像分割模型对各所述关键帧进行图像分割，得到分割图像，所述分割图像中包含不同特征尺度的融合特征；
评估模块330，用于通过评估模型，根据各所述分割图像的融合特征评估观测目标的生存力。
本发明实施例三提供的一种生存力评估装置，利用图像分割模型和评估模型评估观测目标的生存力，其中图像分割模型和评估模型具备相应的功能，能够实现生存力的自动评估，提高了生存力评估的效率，并且通过分割图像并融合不同特征尺度的特征，提高了特征提取能力以及评估的可靠性。
在上述实施例的基础上，所述图像分割模型包括聚合交互模块和自交互模块；
分割模块320，包括：
提取单元，用于通过所述聚合交互模块提取各所述关键帧在不同特征尺度下的交互特征；
融合单元，用于通过所述自交互模块融合各所述关键帧在不同特征尺度下的交互特征，并根据融合特征输出各所述关键帧的分割图像。
在上述实施例的基础上，提取单元，用于：
对各所述关键帧进行特征尺度变换；
对于每个关键帧的每种特征尺度，将该特征尺度的特征与相邻的特征尺度的特征聚合，得到各所述关键帧在每种特征尺度下的交互特征。
在上述实施例的基础上，融合单元，用于：
对于边界的特征尺度，根据该特征尺度下的交互特征与该交互特征的特征尺度变换结果得到各所述关键帧在该特征尺度下的融合特征；
对于非边界的每种特征尺度，将该特征尺度下的交互特征与相邻的一种特征尺度下的融合特征的上采样结果对位相加并进行特征尺度变换和融合，得到各所述关键帧在该特征尺度下的融合特征。
在上述实施例的基础上，所述评估模型包括上分支网络和下分支网络；
评估模块330，包括：
第一评估单元，用于通过所述上分支网络根据各所述分割图像的融合特征得到第一生存力评分；
矫正单元，用于通过所述下分支网络根据所述观测目标的形态学特征矩阵矫正所述分割图像，并根据各矫正后的分割图像的融合特征得到第二生存力评分；
第二评估单元，用于根据所述第一生存力评分和所述第二生存力评分确定所述观测目标的综合生存力评分。
在上述实施例的基础上，矫正单元，还用于：
通过所述下分支网络为各所述分割图像分配区域权重。
在上述实施例的基础上，还包括：
训练模块，用于在通过图像分割模型对各所述关键帧进行图像分割之前，基于样本数据集，训练所述图像分割模型和所述评估模型；
其中，训练所述图像分割模型采用Adam优化器，损失函数为平衡交叉熵损失函数；
训练所述评估模型采用SGD优化器，损失函数为最小二乘损失函数。
本发明实施例三提供的生存力评估装置可以用于执行上述任意实施例提供的生存力评估方法，具备相应的功能和有益效果。
实施例四
图10为本发明实施例四提供的一种评估设备的硬件结构示意图。进一步的，评估设备包括但不限定于：台式计算机、笔记本电脑、智能手机、服务器、时差培养箱以及胚胎监测设备等。如图10所示，本申请提供的评估设备，包括存储器42、处理器41以及存储在存储器上并可在处理器上运行的计算机程序，处理器41执行所述程序时实现上述的生存力评估方法。
评估设备还可以包括存储器42；该评估设备中的处理器41可以是一个或多个，图10中以一个处理器41为例；存储器42用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如本申请实施例中所述的生存力评估方法。
评估设备还包括：输入装置44和输出装置45。
评估设备中的处理器41、存储器42、输入装置44和输出装置45可以通过总线或其他方式连接，图10中以通过总线连接为例。
输入装置44可用于接收输入的数字或字符信息，以及产生与评估设备的用户设置以及功能控制有关的按键信号输入。输出装置45可包括显示屏等显示设备。
存储器42作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序以及模块，如本申请实施例所述生存力评估方法对应的程序指令/模块(例如，生存力评估装置中的获取模块310、分割模块320、评估模块330)。存储器42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据评估设备的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至评估设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在上述实施例的基础上，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被生存力评估装置执行时实现本发明上述任意实施例中的生存力评估方法，该方法包括：获取观测数据中的关键帧；通过图像分割模型对各所述关键帧进行图像分割，得到分割图像，所述分割图像中包含不同特征尺度的融合特征；通过评估模型，根据各所述分割图像的融合特征评估观测目标的生存力。
本发明实施例所提供的一种包含计算机可执行指令的存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的生存力评估方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种生存力评估方法，其特征在于，包括：
获取观测数据中的关键帧；
通过图像分割模型对各所述关键帧进行图像分割，得到分割图像，所述分割图像中包含不同特征尺度的融合特征；
通过评估模型，根据各所述分割图像的融合特征评估观测目标的生存力；
所述图像分割模型包括聚合交互模块和自交互模块；
所述通过图像分割模型对各所述关键帧进行图像分割，得到分割图像，包括：
通过所述聚合交互模块提取各所述关键帧在不同特征尺度下的交互特征；
通过所述自交互模块融合各所述关键帧在不同特征尺度下的交互特征，并根据融合特征输出各所述关键帧的分割图像；
通过所述自交互模块融合各所述关键帧不同特征尺度下的交互特征，包括：
对于边界的特征尺度，根据该特征尺度下的交互特征与该交互特征的特征尺度变换结果得到各所述关键帧在该特征尺度下的融合特征；
对于非边界的每种特征尺度，将该特征尺度下的交互特征与相邻的一种特征尺度下的融合特征的上采样结果对位相加并进行特征尺度变换和融合，得到各所述关键帧在该特征尺度下的融合特征。
2.根据权利要求1所述的方法，其特征在于，通过所述聚合交互模块提取各所述关键帧在不同特征尺度下的交互特征，包括：
对各所述关键帧进行特征尺度变换；
对于每个关键帧的每种特征尺度，将该特征尺度的特征与相邻的特征尺度的特征聚合，得到各所述关键帧在每种特征尺度下的交互特征。
3.根据权利要求1所述的方法，其特征在于，所述评估模型包括上分支网络和下分支网络；
所述通过评估模型，根据各所述分割图像的融合特征评估观测目标的生存力，包括：
通过所述上分支网络根据各所述分割图像的融合特征得到第一生存力评分；
通过所述下分支网络根据所述观测目标的形态学特征矩阵矫正所述分割图像，并根据各矫正后的分割图像的融合特征得到第二生存力评分；
根据所述第一生存力评分和所述第二生存力评分确定所述观测目标的综合生存力评分。
4.根据权利要求3所述的方法，其特征在于，还包括：
通过所述下分支网络为各所述分割图像分配区域权重。
5.根据权利要求1所述的方法，其特征在于，在通过图像分割模型对各所述关键帧进行图像分割之前，还包括：
基于样本数据集，训练所述图像分割模型和所述评估模型；
其中，训练所述图像分割模型采用自适应矩估计Adam优化器，损失函数为平衡交叉熵损失函数；
训练所述评估模型采用随机梯度下降SGD优化器，损失函数为最小二乘损失函数。
6.一种生存力评估装置，其特征在于，包括：
获取模块，用于获取观测数据中的关键帧；
分割模块，用于通过图像分割模型对各所述关键帧进行图像分割，得到分割图像，所述分割图像中包含不同特征尺度的融合特征；
评估模块，用于通过评估模型，根据各所述分割图像的融合特征评估观测目标的生存力；
所述图像分割模型包括聚合交互模块和自交互模块；
所述分割模块，包括：
提取单元，用于通过所述聚合交互模块提取各所述关键帧在不同特征尺度下的交互特征；
融合单元，用于通过所述自交互模块融合各所述关键帧在不同特征尺度下的交互特征，并根据融合特征输出各所述关键帧的分割图像；
所述融合单元，具体用于：
对于边界的特征尺度，根据该特征尺度下的交互特征与该交互特征的特征尺度变换结果得到各所述关键帧在该特征尺度下的融合特征；
对于非边界的每种特征尺度，将该特征尺度下的交互特征与相邻的一种特征尺度下的融合特征的上采样结果对位相加并进行特征尺度变换和融合，得到各所述关键帧在该特征尺度下的融合特征。
7.一种评估设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的生存力评估方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的生存力评估方法。
CN202011598984.XA 2020-12-29 2020-12-29 一种生存力评估方法、装置、评估设备及存储介质 Active CN112635060B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011598984.XA CN112635060B (zh) 2020-12-29 2020-12-29 一种生存力评估方法、装置、评估设备及存储介质
PCT/CN2021/142681 WO2022143811A1 (zh) 2020-12-29 2021-12-29 一种生存力评估方法、装置、评估设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011598984.XA CN112635060B (zh) 2020-12-29 2020-12-29 一种生存力评估方法、装置、评估设备及存储介质

Publications (2)

Publication Number Publication Date
CN112635060A CN112635060A (zh) 2021-04-09
CN112635060B true CN112635060B (zh) 2023-11-14

Family

ID=75286517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011598984.XA Active CN112635060B (zh) 2020-12-29 2020-12-29 一种生存力评估方法、装置、评估设备及存储介质

Country Status (2)

Country Link
CN (1) CN112635060B (zh)
WO (1) WO2022143811A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112635060B (zh) * 2020-12-29 2023-11-14 北京航空航天大学合肥创新研究院 一种生存力评估方法、装置、评估设备及存储介质
CN117058498B (zh) * 2023-10-12 2024-02-06 腾讯科技（深圳）有限公司 分割图评估模型的训练方法、分割图的评估方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363780A (zh) * 2019-07-23 2019-10-22 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机可读存储介质和计算机设备
CN111028246A (zh) * 2019-12-09 2020-04-17 北京推想科技有限公司 一种医学图像分割方法、装置、存储介质及电子设备
CN111785375A (zh) * 2020-06-18 2020-10-16 武汉互创联合科技有限公司 胚胎分裂过程分析及妊娠率智能预测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020251045A1 (en) * 2019-04-04 2021-11-11 Presagen Pty Ltd Method and system for selecting embryos
CN112635060B (zh) * 2020-12-29 2023-11-14 北京航空航天大学合肥创新研究院 一种生存力评估方法、装置、评估设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363780A (zh) * 2019-07-23 2019-10-22 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机可读存储介质和计算机设备
CN111028246A (zh) * 2019-12-09 2020-04-17 北京推想科技有限公司 一种医学图像分割方法、装置、存储介质及电子设备
CN111785375A (zh) * 2020-06-18 2020-10-16 武汉互创联合科技有限公司 胚胎分裂过程分析及妊娠率智能预测方法及系统

Also Published As

Publication number Publication date
CN112635060A (zh) 2021-04-09
WO2022143811A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
CN111860573B (zh) 模型训练方法、图像类别检测方法、装置和电子设备
CN111291755B (zh) 对象检测模型训练及对象检测方法、装置、计算机设备和存储介质
CN110458107B (zh) 用于图像识别的方法和装置
US10902334B2 (en) Automated image analysis to assess reproductive potential of human oocytes and pronuclear embryos
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN111598881A (zh) 基于变分自编码器的图像异常检测方法
JP2022532460A (ja) モデル訓練方法、装置、端末及びプログラム
CN110490242B (zh) 图像分类网络的训练方法、眼底图像分类方法及相关设备
CN110490239B (zh) 图像质控网络的训练方法、质量分类方法、装置及设备
CN112635060B (zh) 一种生存力评估方法、装置、评估设备及存储介质
CN110135231A (zh) 动物面部识别方法、装置、计算机设备和存储介质
CN114445670B (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN106503723A (zh) 一种视频分类方法及装置
CN110598620A (zh) 模型训练方法和装置、目标检测方法和装置
CN112819821B (zh) 一种细胞核图像检测方法
CN113487614B (zh) 胎儿超声标准切面图像识别网络模型的训练方法和装置
US11417096B2 (en) Video format classification and metadata injection using machine learning
CN112001399B (zh) 基于局部特征显著化的图像场景分类方法和装置
WO2021148961A1 (en) Methods and systems for embryo classification using morpho-kinetic signatures
CN109416836A (zh) 信息处理设备、信息处理方法、以及信息处理系统
CN117152459B (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN113780584A (zh) 标签预测方法、设备、存储介质及程序产品
CN114399108A (zh) 一种基于多模态信息的茶园产量预测方法
CN113177554B (zh) 甲状腺结节识别与分割方法、系统、存储介质及设备
CN112801940B (zh) 模型评测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant