CN115205262A - 显微图像的处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请公开了一种显微图像的处理方法、装置、计算机设备及存储介质，属于图像处理技术领域。本申请通过对显微图像中包含的目标对象进行实例分割，以确定出来每个目标对象的实例图像即单实例分割结果，并在单实例分割结果上提取出来骨架形态信息，以在骨架形态信息的基础上进行运动分析和运动成分分解，能够将每个目标对象的当前所具有的复杂骨架形态，分解成多个预设的运动状态之间的组合，整体处理流程无需人工干预，机器能够自动化实现，极大了降低了人力成本、提升了分析效率。

Description

显微图像的处理方法、装置、计算机设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种显微图像的处理方法、装置、计算机设备及存储介质。

背景技术

线虫是一种经典的、生命周期较短的多细胞生物，由于具有个体小、易培养、可如微生物一样进行大批量操作、构成身体的细胞数量较少等特点，因此存在对线虫的形态和谱系的研究需求。

对于培养皿中的线虫，通常会在显微镜下进行观察，并通过显微镜上的CCD(Charge-Coupled Device，电荷耦合元件)图像传感器来对线虫进行成像分析，以输出线虫的显微图像。传统研究方式下，主要依赖于人工对显微图像进行分析，比如，人工对显微图像中出现的线虫进行计数、分割、形态学测量和运动学分析，上述对显微图像的人工分析方式显然耗费的人力成本高、分析效率低。

发明内容

本申请实施例提供了一种显微图像的处理方法、装置、计算机设备及存储介质，能够节约显微图像分析的人力成本、提升显微图像的分析效率。该技术方案如下：

一方面，提供了一种显微图像的处理方法，该方法包括：

对显微图像进行实例分割，得到包含所述显微图像中目标对象的实例图像；

对所述实例图像中的目标对象进行骨架提取，得到所述目标对象的骨架形态信息，所述骨架形态信息表征所述目标对象的骨架所处的形态；

基于所述骨架形态信息，对所述目标对象进行运动分析，得到所述目标对象的运动成分信息，所述运动成分信息是指对所述骨架形态信息进行运动分解所得的作为主成分的多种运动状态各自的特征信息。

一方面，提供了一种显微图像的处理装置，该装置包括：

实例分割模块，用于对显微图像进行实例分割，得到包含所述显微图像中目标对象的实例图像；

骨架提取模块，用于对所述实例图像中的目标对象进行骨架提取，得到所述目标对象的骨架形态信息，所述骨架形态信息表征所述目标对象的骨架所处的形态；

运动分析模块，用于基于所述骨架形态信息，对所述目标对象进行运动分析，得到所述目标对象的运动成分信息，所述运动成分信息是指对所述骨架形态信息进行运动分解所得的作为主成分的多种运动状态各自的特征信息。

在一些实施例中，所述实例图像包括所述目标对象的轮廓图和掩膜图；

所述实例分割模块包括：

确定子模块，用于从所述显微图像中，确定包含所述目标对象的感兴趣区域ROI；

分割子模块，用于对所述ROI进行实例分割，得到所述显微图像中包含的至少一个所述目标对象各自的轮廓图和掩膜图。

在一些实施例中，在所述ROI中包含互相重叠的多个目标对象的情况下，所述分割子模块包括：

提取单元，用于提取所述ROI的局部图像特征；

处理单元，用于将所述局部图像特征输入到双图层实例分割模型中，通过所述双图层实例分割模型对所述局部图像特征进行处理，输出所述ROI中多个所述目标对象各自的轮廓图和掩膜图，所述双图层实例分割模型用于对不同对象分别建立图层来获取每个对象各自的实例分割结果。

在一些实施例中，所述ROI中包含互相重叠的遮挡对象和被遮挡对象；

所述双图层实例分割模型包括遮挡物图层网络和被遮挡物图层网络，所述遮挡物图层网络用于提取位于顶层的遮挡物的轮廓和掩膜，所述被遮挡物图层网络用于提取位于底层的被遮挡物的轮廓和掩膜；

所述处理单元包括：

第一提取子单元，用于将所述局部图像特征输入所述遮挡物图层网络，提取得到所述ROI中位于顶层的遮挡对象的第一感知特征，所述第一感知特征表征所述遮挡对象在实例分割任务上的图像特征；

获取子单元，用于基于所述第一感知特征，获取所述遮挡对象的轮廓图和掩膜图；

第二提取子单元，用于将所述局部图像特征和所述第一感知特征融合所得的融合特征输入到所述被遮挡物图层网络，提取得到所述ROI中位于底层的被遮挡对象的第二感知特征，所述第二感知特征表征所述被遮挡对象在实例分割任务上的图像特征；

所述获取子单元，还用于基于所述第二感知特征，获取所述被遮挡对象的轮廓图和掩膜图。

在一些实施例中，所述第一提取子单元用于：

将所述局部图像特征输入到所述遮挡物图层网络的第一卷积层中，通过所述第一卷积层对所述局部图像特征进行卷积操作，得到初始感知特征；

将所述初始感知特征输入到所述遮挡物图层网络的第一图卷积层中，通过所述第一图卷积层中非局部算子对所述初始感知特征进行卷积操作，得到图卷积特征；

将所述图卷积特征输入到所述遮挡物图层网络的第二卷积层中，通过所述第二卷积层对所述图卷积特征进行卷积操作，得到所述第一感知特征。

在一些实施例中，所述第二提取子单元用于：

将所述融合特征输入到所述被遮挡物图层网络的第三卷积层中，通过所述第三卷积层对所述融合特征进行卷积操作，得到感知交互特征；

将所述感知交互特征输入到所述被遮挡物图层网络的第二图卷积层中，通过所述第二图卷积层中非局部算子对所述感知交互特征进行卷积操作，得到图卷积交互特征；

将所述图卷积交互特征输入到所述被遮挡物图层网络的第四卷积层中，通过所述第四卷积层对所述图卷积交互特征进行卷积操作，得到所述第二感知特征。

在一些实施例中，所述获取子单元用于：

对所述第一感知特征进行上采样操作，得到所述遮挡对象的轮廓图和掩膜图；

所述获取子单元还用于：

对所述第二感知特征进行上采样操作，得到所述被遮挡对象的轮廓图和掩膜图。

在一些实施例中，所述双图层实例分割模型基于多个合成样本图像训练得到，所述合成样本图像中包含多个所述目标对象，所述合成样本图像基于多个仅包含单目标对象的原始图像合成得到。

在一些实施例中，在所述目标对象比原始图像中的背景暗的情况下，所述合成样本图像中每个像素的像素值等于用于合成所述合成样本图像的多个原始图像中相同位置像素中的最低像素值；或，在所述目标对象比原始图像中的背景亮的情况下，所述合成样本图像中每个像素的像素值等于所述多个原始图像中相同位置像素中的最高像素值。

在一些实施例中，所述骨架提取模块包括：

骨架提取子模块，用于对所述ROI中的任一目标对象，将所述实例图像输入到骨架提取模型中，通过所述骨架提取模型来对所述目标对象进行骨架提取，输出所述骨架形态图像，所述骨架提取模型用于基于目标对象的实例图像来预测目标对象的骨架形态；

识别子模块，用于基于所述骨架形态图像，识别得到所述目标对象的骨架形态中的头部端点和尾部端点；

信息确定子模块，用于将所述骨架形态图像、所述头部端点和所述尾部端点确定为所述骨架形态信息。

在一些实施例中，所述骨架提取子模块用于：

将所述实例图像输入到所述骨架提取模型的多个卷积层中，通过所述多个卷积层对所述实例图像进行卷积操作，输出所述骨架形态图像；

其中，所述骨架提取模型基于包含目标对象的样本图像和对所述目标对象标注的骨架形态标签信息训练得到。

在一些实施例中，所述骨架形态标签信息包括对所述样本图像中目标对象的骨架形态进行采样的多个采样点各自的骨架切向角，所述骨架切向角表征在从头部端点指向尾部端点的有向骨架形态上以所述采样点作为切点所对应切线与水平线之间的夹角；

所述骨架提取模型在训练阶段的损失函数值基于所述多个采样点各自的骨架切向角和预测切向角之间的误差确定得到，其中，所述预测切向角基于所述骨架提取模型对所述样本图像预测得到的骨架形态图像采样得到。

在一些实施例中，所述识别子模块包括：

截取单元，用于在所述骨架形态图像中，截取得到位于骨架一端的第一端点局部区域和位于骨架另一端的第二端点局部区域；

特征提取单元，用于基于所述第一端点局部区域，提取所述骨架一端的第一方向梯度直方图HOG特征；

所述特征提取单元，还用于基于所述第二端点局部区域，提取所述骨架另一端的第二HOG特征；

识别单元，用于基于所述第一HOG特征和所述第二HOG特征，分别对所述骨架一端和所述骨架另一端进行识别，得到所述头部端点和所述尾部端点。

在一些实施例中，所述识别单元用于：

将所述第一HOG特征输入到头尾识别模型中，通过所述头尾识别模型对所述第一HOG特征进行二分类，得到对所述骨架一端的第一识别结果，所述第一识别结果用于表征所述骨架一端是头部端点还是尾部端点；

将所述第二HOG特征输入到所述头尾识别模型中，通过所述头尾识别模型对所述第二HOG特征进行二分类，得到对所述骨架另一端的第二识别结果，所述第二识别结果用于表征所述骨架另一端是头部端点还是尾部端点；

基于所述第一识别结果和所述第二识别结果，确定得到所述头部端点和所述尾部端点；

其中，所述头尾识别模型用于根据端点局部区域的HOG特征来判断目标对象的骨架中的端点是属于头部端点还是尾部端点。

在一些实施例中，所述运动分析模块包括：

采样子模块，用于基于所述骨架形态信息，对所述目标对象的骨架形态进行采样，得到多个采样点各自的骨架切向角所构成的特征向量，所述骨架切向角表征在从头部端点指向尾部端点的有向骨架形态上以所述采样点作为切点所对应切线与水平线之间的夹角；

分解子模块，用于基于多种预设运动状态，对由所述特征向量所表示的有向骨架形态进行运动成分分解，得到所述运动成分信息。

在一些实施例中，所述运动成分信息包括所述多种预设运动状态各自的多个特征值；

所述分解子模块用于：

对所述多种预设运动状态所指示的预设骨架形态分别进行采样，得到所述多种预设运动状态各自的预设特征向量；

将所述特征向量分解成多个所述预设特征向量与多个特征值各自的乘积之间的和值，将所述多个特征值所构成的特征值序列确定为所述运动成分信息。

在一些实施例中，所述运动分析模块还用于：

将所述特征值序列中包含的所述多个特征值按照从大到小的顺序进行排序，将所述排序中位于前目标位的特征值所对应的预设运动状态确定为运动主成分；

基于所述运动主成分，对所述目标对象在观测时间段内的运动进行分析，得到所述目标对象在所述观测时间段内的运动学特征。

一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条计算机程序，该至少一条计算机程序由该一个或多个处理器加载并执行以实现如上述显微图像的处理方法。

一方面，提供了一种存储介质，该存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现如上述显微图像的处理方法。

一方面，提供一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括一条或多条程序代码，所述一条或多条程序代码存储在计算机可读存储介质中。计算机设备的一个或多个处理器能够从计算机可读存储介质中读取所述一条或多条程序代码，所述一个或多个处理器执行所述一条或多条程序代码，使得计算机设备能够执行上述显微图像的处理方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过对显微图像中包含的目标对象进行实例分割，以确定出来每个目标对象的实例图像即单实例分割结果，并在单实例分割结果上提取出来骨架形态信息，以在骨架形态信息的基础上进行运动分析和运动成分分解，能够将每个目标对象的当前所具有的复杂骨架形态，分解成多个预设的运动状态之间的组合，整体处理流程无需人工干预，机器能够自动化实现，极大了降低了人力成本、提升了分析效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其他的附图。

图1是本申请实施例提供的一种圆形目标的分割方法的原理性流程图；

图2是本申请实施例提供的一种传统骨架提取方法的原理性流程图；

图3是本申请实施例提供的一种线虫泳动频率的分析示意图；

图4是本申请实施例提供的一种显微图像的处理方法的实施环境示意图；

图5是本申请实施例提供的一种显微图像的处理方法的流程图；

图6是本申请实施例提供的一种显微图像的处理方法的流程图；

图7是本申请实施例提供的一种双图层实例分割模型的分割原理示意图；

图8是本申请实施例提供的一种对两个目标对象的实例分割方式的流程图；

图9是本申请实施例提供的双图层实例分割模型的原理性示意图；

图10是本申请实施例提供的一种合成样本图像的合成流程图；

图11是本申请实施例提供的一种骨架提取模型的训练和预测阶段的原理性示意图；

图12是本申请实施例涉及的一种识别头部端点和尾部端点的方法流程图；

图13是本申请实施例提供的一种截取端点局部区域的示意图；

图14是本申请实施例提供的一种对目标对象进行运动分析的流程图；

图15是本申请实施例提供的一种目标对象的运动分析原理图；

图16是本申请实施例提供的一种显微图像的处理方法的原理性流程图；

图17是本申请实施例提供的一种显微图像的处理装置的结构示意图；

图18是本申请实施例提供的一种终端的结构示意图；

图19是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。

本申请中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上，例如，多个第一位置是指两个或两个以上的第一位置。

本申请中术语“包括A或B中至少一项”涉及如下几种情况：仅包括A，仅包括B，以及包括A和B两者。

本申请中涉及到的用户相关的信息(包括但不限于用户的设备信息、个人信息、行为信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，当以本申请实施例的方法运用到具体产品或技术中时，均为经过用户许可、同意、授权或者经过各方充分授权的，且相关信息、数据以及信号的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的经过观测得到的显微图像都是在充分授权的情况下获取的。

本申请实施例涉及人工智能领域内的图像分割技术，因此在介绍本申请实施例之前，首先引入一些人工智能领域内的基本概念，下面进行介绍。

人工智能(Artificial Intelligence，AI)：人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(computer vision，CV)：在AI领域内，计算机视觉技术是一个正在快速发展的分支，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机等机器代替人眼对目标进行识别和测量等操作，并进一步做图形处理，使机器处理得到更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉通常包括图像分割、图像识别、图像检索、视频语义理解、视频内容/行为识别、三维物体重建、光学字符识别(optical character recognition，OCR)、视频处理、3D(3dimensions，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术。

机器学习(Machine Learning，ML)：机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

图像分割(Image Segmentation)：图像分割是计算机视觉的核心问题之一，对于场景理解的重要性日渐突出。在图像分割任务中，将图像表示为物理上有意义的连通区域的集合，也就是根据目标与背景的先验知识，对图像中的目标和背景分别进行标记、定位，然后将目标从背景或其他伪目标中分离出来。图像分割在目标识别、行为分析等图像理解应用中起承上启下的作用，使得其后的图像分析和识别等处理过程中所要处理的数据量大大减少了，同时又保留了有关图像结构特征的信息。目前，图像分割主要有三个研究方向，分别是语义分割、实例分割和全景分割。

实例分割(Instance Segmentation)：图像实例分割是在语义检测(SemanticSegmentation)的基础上进一步细化，分离对象的前景与背景，实现像素级别的对象分离。需要说明的是，图像的语义分割与图像的实例分割是两个不同的概念，语义分割仅仅会区别分割出不同类别的物体，而实例分割则会进一步的分割出同一个类中的不同实例的物体，换言之，实例分割关注主要事物，无关事物不标注，主要事物中的同类对象不同实例用不同颜色标注。比如，针对一张包含两只猫的图像，在语义分割任务上会将两只猫划分到同一语义标签“动物”中，而在实例分割任务上则会分割出来两只猫各自的轮廓(Contour)和掩膜(Mask)，因为两只猫虽然都属于同一类，但两者互为不同的实例。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。本申请实施例提供的技术方案涉及一种基于深度学习的显微图像分析方法，能够对显微镜CCD上获取到的显微图像(如线虫图像)进行分析，下面进行说明。

以下，对本申请实施例涉及的术语进行解释说明：

线虫：本申请涉及的目标对象的一种示例，线虫是一种经典的模式生物，作为一种生命周期短的多细胞生物，其个体小、容易培养，可以如同微生物一样进行大批量操作，且构成线虫身体的细胞数量相对较少，可以对构成细胞的形态和谱系进行穷尽性研究。线虫的上皮层的上方可形成一层主要由胶原、脂质、糖蛋白组成的表皮(Cuticle)，这一层表皮是线虫具有保护作用的外骨架(Exoskeleton)，是其维持形态所必需的结构。

OSTU算法：是由日本学者大津(Nobuyuki Otsu)于1979年提出的一种自适合于双峰情况的自动求取阈值的方法，又叫大津法、最大类间方差法、最大方差自动取阈值法等。OSTU算法按图像的灰度特性，将图像分成背景和目标两部分，背景和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为背景或部分背景错分为目标时，都会导致两部分差别变小，因此，使类间方差最大的分割意味着错分概率最小。

分水岭算法(Watershed Algorithm)：也称分水岭分割方法，是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明。在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭。

距离变换(Distance Transform)：对于二值图像，将前景像素的值转化为该点到最近的背景点的距离，或将背景像素的值转化为该点到最近的前景点的距离。

骨架提取算法：图像领域的骨架提取算法，实际上就是提取目标在图像上的中心像素轮廓。换言之，以目标中心为准，对目标进行细化，一般细化后的目标都是单层像素宽度。目前的骨架提取算法可划分为迭代算法和非迭代算法，以迭代算法为例，通常针对二值图像(如掩膜)进行操作，通过从目标外围往目标中心，利用以待检测像素为中心的3×3尺寸的像素窗口的特征，对目标不断腐蚀细化，直至腐蚀到不能再腐蚀(单层像素宽度)，就得到了图像的骨架。

感兴趣区域(Region Of Interest，ROI)：在机器视觉、图像处理领域中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为ROI。在对显微图像的处理场景下，ROI是指显微图像中包含待观测的目标对象的区域，比如，以矩形框的方式框出的包含目标对象的矩形区域，或者还可以以圆形框、椭圆形框或者其他不规则多边形框来圈定ROI，ROI是本次图像分析所关注的重点(即仅关心包含目标对象的前景区域，对其余背景区域不关心)。

方向梯度直方图(Histogram of Oriented Gradient，HOG)特征：HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。HOG特征的主要思想是：在一幅图像中，局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述，其本质为：梯度的统计信息，而梯度主要存在于边缘的地方。在本申请实施例中，涉及到运用骨架端点的HOG特征来进行端点的头尾识别(或头尾分类、头尾检测)，即判断当前端点是线虫的头部端点还是尾部端点。

支持向量机(Support Vector Machine，SVM)：SVM是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。SVM使用铰链损失函数(Hinge Loss)来计算经验风险(Empirical Risk)，并在求解系统中加入了正则化项以优化结构风险(Structural Risk)，是一个具有稀疏性和稳健性的分类器。在本申请实施例中，涉及到利用SVM来对骨架端点的HOG特征进行二分类识别，以判断当前端点是线虫的头部端点还是尾部端点。

尺度：信号的尺度空间是指通过一系列单参数、宽度递增的高斯滤波器将原始信号滤波得到一组低频信号，而图像特征的尺度空间则是指以针对图像提取到的图像特征作为上述原始信号。图像特征的金字塔化能高效地对图像特征进行多尺度的表达，通常，会从一个最底层的特征(即原始尺度特征)进行向上采样，将采样得到的一系列特征与该底层特征进行融合，能够得到高分辨率、强语义的特征(即加强了特征的提取)。

在相关技术中，对于培养皿中的线虫，通常会在显微镜下进行观察，并通过显微镜上的CCD图像传感器来对线虫进行成像分析，以输出线虫的显微图像。传统研究方式下，主要依赖于人工对显微图像进行分析，比如，人工对显微图像中出现的线虫进行计数、分割、形态学测量和运动学分析，上述对显微图像的人工分析方式显然耗费的人力成本高、分析效率低。

传统的线虫分割方法如图1所示，图1是本申请实施例提供的一种圆形目标的分割方法的原理性流程图，在通过显微镜CCD图像传感器采集到原图101之后，通常利用OSTU算法来提取目标前景，以得到前景分割图102，接着，在前景分割图102中做距离变换，以得到每个目标的中心点，形成经过距离变换的图像103，接着，在经过距离变换的图像103的基础上，以这些中心点为种子执行分水岭算法，实现多目标分割任务，得到实例分割结果104，这里以原始101中的每个目标均为圆形目标为例进行说明。

上述传统的线虫分割方法，对图像质量的要求比较高，要求图像中没有什么干扰的杂质，并且对显微镜采集的CCD图像的图像信噪比的要求也比较高，在信噪比低或者杂质较多的情况下，分割准确率会大大降低，并且，OSTU算法和距离变换都有较多的可选参数需要技术人员进行人工调试，因此所需人力成本较高、分析效率较低，此外，这一线虫分割方法无法处理存在重叠(即两个线虫目标之间存在交叠部分)或者卷曲(单个线虫目标由于卷曲形成不同身体部分的自我重叠)等复杂线虫目标，而线虫作为一种软体生物，本身在观测过程中又很容易形成自我重叠或卷曲的形状，但传统线虫分割方法在重叠区域是无法处理的。

传统的骨架提取算法如图2所示，图2是本申请实施例提供的一种传统骨架提取方法的原理性流程图，在实例分割结果的基础上，可以从显微镜采集到的原图中裁剪得到仅包含单个线虫目标的单实例原图201，接着，对单实例原图201执行骨架提取算法，得到单个线虫目标的骨架图202，再对骨架图202进行剪枝等后处理，剪枝掉一些细小分叉，即可得到表征线虫头尾之间的骨架的骨架图203。

上述传统的骨架提取算法，强烈依赖于目标的先验知识应用，如线虫是一种长条形的软体目标，相应的骨架提取就需要把这一先验知识融合进去，并且，传统的骨架提取算法容易产生较多毛刺等噪音骨架，需要进行后处理，处理效率较低，耗费处理资源较多。

传统的运动学参数分析方式，通常会分析线虫泳动频率和身体弯曲频率，主要依赖于技术人员肉眼计数进行统计，线虫泳动频率是指线虫在1min(分钟)的时间内头部摆动的次数(指线虫头部从一侧摆向另一侧后再摆回来，定义为1次头部摆动)，身体弯曲频率是指相对于身体长轴方向上的1个波长移动定义为1次身体弯曲。如图3所示，图3是本申请实施例提供的一种线虫泳动频率的分析示意图，技术人员在显微镜下观测线虫运动时，可以从观测图像301中寻找线虫的头尾等关键节点，接着，将线虫从图像302中的形态A运动到图像303中的形态B的过程，视为线虫实现1次头部摆动，从而由技术人员在一段时间内人工对线虫的头部摆动次数进行统计，再将头部摆动次数除以统计耗费的分钟数即可得到线虫泳动频率。

上述传统的运动学参数分析方式，由于线虫运动速度较快，因此人工判断计数时容易产生误计数等问题，所需人力成本极高，分析效率较低，并且线虫泳动频率和身体弯曲频率仅能够对线虫进行简单的运动评估，而不能分析深层次的形态学测量和运动学分析，分析精度也比较差。

有鉴于此，本申请实施例提供一种基于深度学习的显微图像分析方法，尤其针对通过显微镜CCD获取到的包含目标对象(如线虫)的显微图像，设计了从多目标(如多线虫)的实例分割，到骨架提取，再到基于主成分分析的一整套基于深度学习的图像分析方式，其中间步骤不需要技术人员进行人工操作，从而为后续的计数、分割、形态学测量和运动学分析提供了快速高效的基础结果。以目标对象为线虫为例进行说明：

一方面，本申请实施例提出一整套基于深度学习的线虫图像分析框架，其中间步骤不需要技术人员手工操作，极大降低了人力成本，提升了分析效率；另一方面，在整体图像分析框架中，涉及一种能够处理重叠多线虫的实例分割方法，能够优化多线虫重叠情况下的实例分割效果，且实例分割完毕后还能够同步进行线虫计数；另一方面，在整体图像分析框架中，涉及一种基于深度学习的骨架提取方法，能够直接输出不带毛刺、分叉等噪音的骨架图，同时能够处理线虫卷曲等情况下的骨架提取，并且基于提取到的骨架图还能够由机器自动化区分线虫的头部和尾部；另一方面，在整体图像分析框架中，涉及一种基于主成分分析的方法，主成分分析能够对提取的线虫骨架进行主成分分解，并通过主成分系数即特征值来快速方便的分析线虫的运动学参数等。总体而言，本申请实施例提供的方法，通过优化了传统针对线虫显微图像的各个流程，能够自动化处理线虫显微图像，从而为后续的计数、分割、形态学测量和运动学分析等下游任务提供快速高效的基础结果。

图4是本申请实施例提供的一种显微图像的处理方法的实施环境示意图。参见图4，该实施环境包括显微镜401、图像采集设备402和计算机设备403，下面进行说明。

显微镜401可以是数码显微镜即视频显微镜，能够将显微镜401观测到的实物图像通过数模转换，使其成像在显微镜401自带的屏幕上或显微镜401外接的计算机设备403上。数码显微镜是将精锐的光学显微镜技术、先进的光电转换技术、液晶屏幕技术完美地结合在一起而开发研制成功的一项产品。

通常，显微镜401包括目镜模组、物镜模组、载物台和反光镜等，目镜模组中包括一套目镜，物镜模组中包括一套物镜。目镜和物镜都是凸透镜，焦距不同。物镜的凸透镜焦距小于目镜的凸透镜的焦距。物镜相当于投影仪的镜头，物体通过物镜成倒立、放大的实像。目镜相当于普通的放大镜，该实像又通过目镜成正立、放大的虚像。经显微镜到人眼的物体都成倒立放大的虚像。反光镜用来反射，照亮被观察的物体。反光镜一般有两个反射面：一个是平面镜，在光线较强时使用；一个是凹面镜，在光线较弱时使用，可会聚光线。

图像采集设备402用于采集显微镜401所观测到的实物图像，比如，当待观测对象是目标对象时，图像采集设备402会采集到包含目标对象的显微图像，以目标对象为线虫为例进行说明，由于培养皿中的线虫是批量培养的，因此通过显微镜401观测线虫时，很可能在目镜视野下包含多个线虫，且这些线虫之间可能会存在重叠的部分，并且单个线虫也可能会由于卷曲而导致自我重叠。

图像采集设备402通常会包含与显微镜401相连接的CCD图像传感器，CCD图像传感器也称为CCD感光元件，CCD是一种半导体器件，能够将显微镜401观测到的光学影像转化成为数字信号，换言之，通过光学系统(例如显微镜物镜和目镜的镜头)在CCD的光接收面上形成从被摄体(即目标对象)发出的光束，将图像的明暗程度光电转换为电荷量，然后顺序将其读取为电信号。CCD上植入的微小光敏物质称作像素(Pixel)。一块CCD上包含的像素数越多，其提供的画面分辨率也就越高。CCD的作用就像胶片一样，但它是把图像像素转换成数字信号。CCD上有许多排列整齐的电容，能感应光线，并将影像转变成数字信号。经由外部电路的控制，每个小电容能将其所带的电荷转给它相邻的电容。

计算机设备403与图像采集设备402或携带图像采集设备402的显微镜401相连接，计算机设备403可以是终端，终端上安装和运行有支持显示显微图像的应用程序，终端接收图像采集设备401所采集到的显微图像，并将显微图像显示在终端的显示屏上。

在一些实施例中，终端接收并显示显微图像之后，终端本地就支持本申请实施例涉及的显微图像的处理方法，从而终端能够在本地对显微图像进行处理，并显示对显微图像的处理结果。

在另一些实施例中，终端本地不支持本申请实施例涉及的显微图像的处理方法，这时终端可以通过有线或无线通信方式与服务器进行直接或间接地连接，本申请实施例在此不对连接方式进行限制。接着，终端将图像采集设备402发送来的显微图像发送到服务器，由服务器来对显微图像进行处理，并将处理结果返回给终端，终端在显示屏上显示接收到的处理结果。

在一些实施例中，服务器承担主要图像处理工作，终端承担次要图像处理工作；或者，服务器承担次要图像处理工作，终端承担主要图像处理工作；或者，服务器和终端两者之间采用分布式计算架构进行协同图像处理。

在一个示例性场景中，服务器训练本申请实施例的显微图像的处理方法所需要使用的双图层实例分割模型、骨架提取模型、头尾识别模型等，接着，将训练完毕的双图层实例分割模型、骨架提取模型、头尾识别模型下发到终端上，以使得终端能够本地支持上述显微图像的处理方法。

在一些实施例中，上述服务器包括一台服务器、多台服务器、云计算平台或者虚拟化中心中的至少一种。比如，服务器是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。

在一些实施例中，上述终端是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、电子书阅读器等，但并不局限于此。

本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。

以下，对本申请实施例涉及的显微图像的处理方法的基本流程进行介绍。

图5是本申请实施例提供的一种显微图像的处理方法的流程图。参见图5，该显微图像的处理方法由计算机设备执行，以计算机设备为终端为例进行说明，该实施例包括下述步骤：

501、终端对显微图像进行实例分割，得到包含该显微图像中目标对象的实例图像。

终端是用于存储和处理显微图像的计算机设备，本申请实施例以计算机设备是终端为例进行说明，可选地，计算机设备也可以被提供为服务器，本申请实施例对此不进行具体限定。

显微图像是指显微镜的CCD图像传感器采集到的对待观测对象进行观测的光学影像，比如，显微镜携带CCD图像传感器，CCD图像传感器作为图像采集设备的一种示例性说明，能够将显微镜观测到的光学影像转化成电信号，并形成可被终端读取并显示的显微图像，CCD图像传感器生成显微图像之后，将显微图像发送至终端。

在一些实施例中，终端接收显微镜的CCD图像传感器发送的显微图像，这一显微图像可以是指CCD图像传感器发送来的单张显微图像，也可以是指CCD图像传感器发送来的连续的观测视频流中的任一图像帧，本申请实施例对显微图像的类型不进行具体限定。

需要说明的是，由于显微镜对目标对象的观测可能是一个连续的动作，因此CCD图像传感器可能会采集到一段连续的图像帧(构成一段观测视频流)，接着将采集到的各个图像帧发送到终端，发送时可以是逐帧依次传输，也可以是分成多个视频片段分段传输，本申请实施例对传输方式不进行具体限定。

在一些实施例中，终端除了直接获取显微镜的CCD图像传感器发送来的显微图像之外，还可以对本地存储的显微图像进行处理，或者，对从服务器中下载的显微图像进行处理，本申请实施例对显微图像的来源不进行具体限定。

在一些实施例中，终端获取到显微图像之后，显微图像是指使用显微镜对待观测的目标对象进行观测的光学影像，因此显微图像中必然包含一个或多个目标对象，为了对目标对象进行深入分析，终端在显微图像的基础上，对显微图像进行实例分割，以将显微图像中包含的每个目标对象都分割出来，得到包含单个目标对象的实例图像，作为对显微图像的单实例分割结果，比如，每个目标对象的实例图像包括该目标对象的一张轮廓图和一张掩膜图，其中，目标对象的轮廓图用于指示单个目标对象在显微图像中所具有的边缘和形状，目标对象的掩膜图是指用于指示单个目标对象的显微图像中所处位置和所占区域。

以目标对象为线虫为例进行说明，由于培养皿中的线虫是批量培养的，因此通过显微镜观测培养皿中的线虫时，很可能在目镜视野下会观测到多个线虫，且这些线虫之间可能会存在重叠的部分，并且单个线虫也可能会由于卷曲而导致自我重叠，而本申请实施例在进行实例分割时，能够针对多目标对象重叠或单目标对象卷曲的复杂场景，都具有很好的实例分割效果，具体实例分割方式将在下一实施例中详细说明，这里不做赘述。

502、终端对该实例图像中的目标对象进行骨架提取，得到该目标对象的骨架形态信息，该骨架形态信息表征该目标对象的骨架所处的形态。

在一些实施例中，终端针对显微图像中的每个目标对象都进行实例分割之后，可以对每个目标对象都输出实例图像，可选地，每个目标对象的实例图像包括一张轮廓图和一张掩膜图，针对每个目标对象的掩膜图可以进行骨架提取，以通过骨架提取算法，来获取到当前的目标对象的骨架形态信息，在涉及多个目标对象的情况下，需要对每个目标对象都分别提取到各自的骨架形态信息。比如，轮廓图和掩膜图都是二值图像，在轮廓图中轮廓像素点和非轮廓像素点具有不同的取值，在掩膜图中属于本目标对象的像素点和不属于本目标对象的像素点具有不同的取值。

示意性地，在轮廓图中，取值为1的像素点是轮廓像素点、取值为0的像素点是非轮廓像素点，又或者取值为0的像素点是轮廓像素点、取值为1的像素点是非轮廓像素点，本申请实施例对此不进行具体限定。轮廓像素点是指用于表征目标对象的轮廓(即边缘)的像素点，而非轮廓像素点即用于表示不是目标对象的轮廓的像素点。

示意性地，在掩膜图中，取值为1的像素点是属于本目标对象的像素点，取值为0的像素点是不属于本目标对象的像素点(可能是背景像素点，或者其他目标对象的像素点)，又或者，取值为0的像素点是属于本目标对象的像素点，取值为1的像素点是不属于本目标对象的像素点，本申请实施例对此不进行具体限定。

在一些实施例中，终端对每个目标对象，都在该目标对象的掩膜图上运行骨架提取算法，以输出该目标对象的骨架形态信息，可选地，该骨架形态信息至少包括一张基于该掩膜图生成的骨架形态图像，在该骨架形态图像中的目标对象的骨架具有单层像素宽度，例如，该骨架形态图像也是一张二值图像，在骨架形态图像中骨架像素点和非骨架像素点具体不同的取值。

示意性地，在骨架形态图像中，取值为1的像素点是骨架像素点、取值为0的像素点是非骨架像素点，又或者取值为0的像素点是骨架像素点、取值为1的像素点是非骨架像素点，本申请实施例对此不进行具体限定。骨架像素点是指用于表征目标对象的骨架的像素点，非骨架像素点即用于表征不是目标对象的骨架的像素点。

在这种情况下，骨架形态图像中的骨架像素点能够形成一条单层像素宽度的目标对象的骨架，这一骨架所具有的形态代表了目标对象在该显微图像中所呈现的骨架形态。

在本申请实施例中，通过在实例分割结果的基础上，对每个分割所得的目标对象的实例图像，都应用骨架提取算法来提取到骨架形态图像，这样方便了在目标对象的骨架形态图像上进行运动学分析，能够提升运动学分析的分析效率，而无需人工参与或肉眼计数。

503、终端基于该骨架形态信息，对该目标对象进行运动分析，得到该目标对象的运动成分信息，该运动成分信息是指对该骨架形态信息进行运动分解所得的作为主成分的多种运动状态各自的特征信息。

在一些实施例中，终端在上述步骤502获取到的每个目标对象的骨架形态信息，至少包括每个目标对象的骨架形态图像，接着，在该骨架形态图像上来进行运动分析，这样能够将目标对象当前的骨架形态，分解成为多种预设的运动状态的组合，并对每种预设运动状态可以确定用于表征这种运动状态在分解时所贡献的特征值，这一特征值代表了要合成目标对象当前的骨架形态，需要对这种运动状态施加多大的加权系数，特征值比较大的运动状态可以作为当前的骨架形态的主成分，而作为主成分的每种运动状态的特征值能够形成一个特征值序列，这个特征值序列即可作为目标对象的运动成分信息。详细运动学分析方式将在下一实施例中进行说明，这里不做赘述。

在本申请实施例中，通过在每个目标对象的骨架形态图像上，进行运动学分析，能够将目标对象当前的骨架形态，分解成为多种预设的运动状态的组合，从而能够将任意形状的骨架形态，都表示为使用多个特征值来分别对多种预设运动状态进行加权后合成的运动，这样能够对目标对象进行更加深层次和细致的运动学分析，尤其是针对目标对象是线虫的情况，并不局限于人工肉眼计数来分析线虫泳动频率或身体弯曲频率，而是能够对线虫进行更加准确、效率更高且无需人工干预的运动学分析。

上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本申请实施例提供的方法，通过对显微图像中包含的目标对象进行实例分割，以确定出来每个目标对象的实例图像即单实例分割结果，并在单实例分割结果上提取出来骨架形态信息，以在骨架形态信息的基础上进行运动分析和运动成分分解，能够将每个目标对象的当前所具有的复杂骨架形态，分解成多个预设的运动状态之间的组合，整体处理流程无需人工干预，机器能够自动化实现，极大了降低了人力成本、提升了分析效率。此外，基于输出的运动成分信息还能够进行深层的形态学测量和运动学分析，因此也提升了对目标对象进行分析的精准程度。

以下，对本申请实施例涉及的显微图像的处理方法的详细流程进行介绍。

图6是本申请实施例提供的一种显微图像的处理方法的流程图，参见图6，该显微图像的处理方法由计算机设备执行，以计算机设备为终端为例进行说明，该实施例包括下述步骤：

601、终端从显微图像中，确定该显微图像中所包含的目标对象所在的ROI，该ROI中包含互相重叠的多个目标对象。

在一些实施例中，终端通过上述步骤501中描述的方式来获取显微图像，在获取到显微图像之后，对任一显微图像，终端可以将该显微图像还输入到一个对象检测模型中，通过对象检测模型来对该显微图像中的各个目标对象进行对象检测(也称为物体检测或目标检测)，对象检测模型输出该显微图像中ROI的候选框的位置信息，比如，该位置信息包括：候选框的左上角顶点坐标(x，y)以及候选框的宽度w和高度h，即，该位置信息是一个形如(x，y，w，h)的四元组数据，或者，还可以使用左下角顶点坐标、右上角顶点坐标、右下角顶点坐标来定位候选框，本申请实施例对此不进行具体限定。

在一些实施例中，上述对象检测模型可以是任一支持对象检测的机器学习模型，比如，该对象检测模型可以是：R-CNN(Region with CNN features，基于CNN的区域对象检测，其中，CNN是指Convolutional Neural Network，即卷积神经网络)、Fast R-CNN(快速R-CNN)、Faster R-CNN(更快速R-CNN)或者FCOS(Fully Convolutional One-Stage，全卷积一阶段)等，本申请实施例对该对象检测模型的结构不进行具体限定。

在上述过程中，通过从显微图像中提取出来包含目标对象的ROI，能够仅针对包含目标对象的ROI执行后续的实例分割、骨架提取和运动分析，这样对于一些背景区域，或者不包含目标对象的区域，则无需执行上述实例分割、骨架提取和运动分析，这样不但能够避免非ROI区域所带来的噪声干扰，提升对ROI区域的处理精度，而且还能够节约对非ROI区域的处理操作所占用的处理资源，且能够缩短对显微图像的处理时长，提升对显微图像的处理效率。

需要说明的是，由于目标对象很可能是微生物或线虫等活体研究对象，ROI中有可能会包含一个或多个目标对象，而单个目标对象的处理流程是比较简单的，可以直接通过一些传统的实例分割算法(如先后运行OSTU算法、距离变换和分水岭算法)就能够分割出来单实例的目标对象，而多个目标对象的处理流程则是比较复杂的，因为多个目标对象很可能会存在互相重叠的情况，因此，本申请实施例以ROI中包含多个目标对象为例进行说明。此外，即使ROI中仅包含单个目标对象，也可能会由于单个目标对象发生卷曲，导致产生自我重叠的情况，而传统的实例分割算法针对自我重叠的情况实例分割准确度较差，本申请实施例提供的处理流程不但能够提升在多目标对象互相重叠场景下的实例分割准确度，而且还能够提升在单目标对象自我重叠场景下的实例分割准确度。

602、终端提取该ROI的局部图像特征。

在一些实施例中，终端可以将显微图像输入到一个特征提取模型中，通过特征提取模型来提取显微图像的全局图像特征。接着，利用上述步骤601中获取到的ROI的位置信息，能够从该全局图像特征中确定出来ROI的局部图像特征，比如，ROI的位置信息为(x，y，w，h)时，假设(x，y)是左上角顶点坐标，这时只需要将全局图像特征先缩放到与显微图像相同的尺寸(如果特征提取模型直接输出的是相同尺寸的全局图像特征，那么无需执行这一缩放步骤)，然后从全局图像特征中找到坐标为(x，y)的特征点，再以该特征点作为左上角顶点，确定一个宽度为w、高度为h的ROI候选框，接着，从该全局图像特征中被ROI候选框所选中的区域包含的各个特征点确定为ROI的局部图像特征，换言之，基于该ROI候选框，能够从全局图像特征中裁剪得到ROI所覆盖区域的局部图像特征。

示意性地，上述特征提取模型包括一个残差网络(Residual Networks，Resnet)和一个特征金字塔网络(Feature Pyramid Networks，FPN)，该残差子网络用于提取输入图像的像素相关特征，该特征金字塔子网络则用于提取输入图像在不同尺度空间下的图像金字塔特征。

可选地，在残差网络中包括多个隐藏层，该多个隐藏层之间采取残差连接，比如，在所有相邻隐藏层均残差连接时，当前隐藏层的输出将会与当前隐藏层的输入在拼接后一起输入到下一个隐藏层中，例如第二个隐藏层的输出会与第二个隐藏层的输入(即第一个隐藏层的输出)在拼接后一起输入到第三个隐藏层中，又比如，在每间隔一个隐藏层进行一次残差连接时，当前隐藏层的输出会与上一个隐藏层的输入在拼接后一起输入到下一个隐藏层中，例如第三个隐藏层的输出会与第二个隐藏层的输入(即第一个隐藏层的输出)在拼接后一起输入到第四个隐藏层中，本申请实施例对残差子网络的结构不进行具体限定。在一个示例中，残差子网络可以是Resnet-34网络、Resnet-50网络、Resnet-101网络等深度残差网络。

可选地，在使用残差网络提取得到原始图像特征之后，将该原始图像特征输入到特征金字塔网络中，通过该特征金字塔网络来从该原始图像特征开始逐级进行向上采样，得到一系列不同尺度空间下的特征金字塔，再将特征金字塔中包含的不同尺度的特征进行融合，即可得到最终的全局图像特征。

在上述过程中，通过对残差网络提取到的原始图像特征进行金字塔化，能够得到一系列不同尺度的特征，再将不同尺度的特征进行融合，得到的全局图像特征能够将高层(即尺度最小)的特征传递到原始图像特征中，补充底层(即尺度最大)的原始图像特征的语义，这样能够得到高分辨率、强语义的全局图像特征，有利于进行线虫等小目标的检测。

在一些实施例中，也可以仅使用残差网络来提取全局图像特征，换言之，特征提取模型就是残差网络本身，将残差网络提取到的原始图像特征直接作为全局图像特征，再从全局图像特征中裁剪得到局部图像特征，这样能够简化全局图像特征提取流程，节约终端的处理资源。

在上述过程中，通过特征提取模型来提取到全局图像特征，再从全局图像特征中裁剪得到局部图像特征，能够较好的保留ROI区域中边缘部分的图像特征，因为边缘部分的图像特征是与临近的非ROI区域的像素点息息相关的，因此能够提取到表达能力较好的局部图像特征。

在另一些实施例中，在通过上述步骤601获取到ROI的位置信息，还可以先从显微图像中裁剪得到ROI区域，接着，仅将ROI区域输入到特征提取模型中，通过特征提取模型来直接提取ROI区域的局部图像特征，即，这样可以仅对ROI区域来进行特征提取，从而无需提取整张显微图像的全局图像特征，能够极大节约终端的处理资源。

603、终端将该局部图像特征输入到双图层实例分割模型中，通过该双图层实例分割模型对该局部图像特征进行处理，输出该ROI中多个目标对象各自的轮廓图和掩膜图。

其中，该双图层实例分割模型用于对不同对象分别建立图层来获取每个对象各自的实例分割结果，换言之，该双图层实例分割模型用于对不同对象分别建立图层来获取每个对象的实例图像，其中，每个对象的实例图像包括该对象的轮廓图和掩膜图。

在一些实施例中，终端在通过上述步骤602提取到ROI区域的局部图像特征之后，将局部图像特征输入到双图层实例分割模型中，若ROI中包含多个目标对象，双图层实例分割模型会对不同的目标对象分别建立图层，以对每个目标对象分别输出各自的实例图像(即实例分割结果)，可选地，每个目标对象的实例图像包括每个目标对象的轮廓图和掩膜图，从而来表征每个目标对象所具有的轮廓和所占据的掩膜。

在一些实施例中，上述轮廓图和掩膜图均为二值图像，在轮廓图中轮廓像素点和非轮廓像素点具有不同的取值，在掩膜图中属于本目标对象的像素点和不属于本目标对象的像素点具有不同的取值。

示意性地，在轮廓图中，取值为1的像素点是轮廓像素点、取值为0的像素点是非轮廓像素点，又或者取值为0的像素点是轮廓像素点、取值为1的像素点是非轮廓像素点，本申请实施例对此不进行具体限定。

示意性地，在掩膜图中，取值为1的像素点是属于本目标对象的像素点，取值为0的像素点是不属于本目标对象的像素点(可能是背景像素点，或者其他目标对象的像素点)，又或者，取值为0的像素点是属于本目标对象的像素点，取值为1的像素点是不属于本目标对象的像素点，本申请实施例对此不进行具体限定。

在本申请实施例中，为了方便说明，以ROI中包含互相重叠的两个目标对象为例来介绍实例分割流程，为了区分ROI中涉及的两个目标对象，将位于顶层的目标对象称为遮挡对象，将位于底层的目标对象称为被遮挡对象，显然，在两个目标对象的重叠区域，遮挡对象位于顶层并遮盖住了位于底层的被遮挡对象的躯体的一部分。

在一些实施例中，该双图层实例分割模型包括遮挡物图层网络和被遮挡物图层网络，该遮挡物图层网络用于提取位于顶层的遮挡物的轮廓和掩膜，该被遮挡物图层网络用于提取位于底层的被遮挡物的轮廓和掩膜。

图7是本申请实施例提供的一种双图层实例分割模型的分割原理示意图，如图7所示，针对任一输入图像701(例如，输入图像是指：显微图像，或者显微图像的ROI区域)，在ROI区域中包含互相重叠的两个目标对象的情况下，双图层实例分割模型会针对位于顶层的遮挡对象和位于底层的被遮挡对象分别建立图层来进行实例分割，比如，在顶层(TopLayer)图层7021中提取遮挡对象(Occluder)的轮廓图和掩膜图，在底层(Bottom Layer)图层7022中提取被遮挡对象(Occludee)的轮廓图和掩膜图，顶层图层7021和底层图层7022能够实现对遮挡对象和被遮挡对象的双图层分离(Bilayer Decoupling)，从而最终分别对不同的目标对象(即不同实例)来输出各自的实例分割结果即实例图像703，比如，对遮挡对象输出轮廓图和掩膜图，以及对被遮挡对象也输出轮廓图和掩膜图。

在具有上述结构的双图层实例分割模型的基础上，对两个目标对象的实例分割方式进行如下说明，图8是本申请实施例提供的一种对两个目标对象的实例分割方式的流程图，如图8所示，这一实例分割方式包括下述步骤6031-6034：

6031、终端将该局部图像特征输入该遮挡物图层网络，提取得到该ROI中位于顶层的遮挡对象的第一感知特征。

其中，该第一感知特征表征该遮挡对象在实例分割任务上的图像特征。

在一些实施例中，该遮挡物图层网络用于对ROI内的遮挡对象的轮廓和掩膜进行显式建模，可选地，该遮挡物图层网络中包括至少一个第一卷积层、至少一个第一图卷积(Graph Convolutional Network，GCN)层和至少一个第二卷积层，上述第一卷积层、第一图卷积层和第二卷积层的相邻层之间串联连接，串联连接是指上一层输出的特征作为当前层的输入信号。基于上述结构的遮挡物图层网络，上述步骤6031可通过下述步骤A1-A3来实现：

A1、终端将该局部图像特征输入到该遮挡物图层网络的第一卷积层中，通过该第一卷积层对该局部图像特征进行卷积操作，得到初始感知特征。

在一些实施例中，针对将上述步骤602提取到的ROI的局部图像特征，输入到双图层实例分割模型的遮挡物图层网络的第一卷积层中，通过该第一卷积层对该局部图像特征进行卷积操作，比如，以尺寸为3×3的卷积核来对该局部图像特征进行卷积操作，输出该遮挡对象的初始感知特征。

A2、终端将该初始感知特征输入到该遮挡物图层网络的第一图卷积层中，通过该第一图卷积层中非局部算子对该初始感知特征进行卷积操作，得到图卷积特征。

在一些实施例中，针对上述步骤A1输出的初始感知特征，将该初始感知特征再输入到遮挡物图层网络的第一图卷积层中，在该第一图卷积层中通过非局部算子(Non-LocalOperator)来实现图卷积层，比如，在第一图卷积层中涉及到3个卷积核大小为1×1的卷积层以及1个Softmax(指数归一化)算子，为了便于说明，将上述3个卷积层分别称为φ卷积层、θ卷积层和β卷积层，将初始感知特征分别输入到φ卷积层、θ卷积层和β卷积层中，每个卷积层中都使用尺寸为1×1的卷积核对初始感知特征进行卷积操作，接着，将φ卷积层输出的特征图和θ卷积层输出的特征图进行按元素相乘，得到融合特征图，再使用Softmax算子对融合特征图进行指数归一化处理，得到归一化特征图，再将归一化特征图与β卷积层输出的特征图进行按元素相乘，得到目标特征图，接着将目标特征图和该初始感知特征再进行按元素相加，即可得到第一图卷积层的输出结果即图卷积特征。

在上述过程中，在第一图卷积层中通过非局部算子来实现图卷积操作，能够减少图卷积部分的模型参数量，在基于非局部算子的图卷积层中，能够将图像空间中的像素点根据对应特征向量的相似度有效关联起来，实现输入目标区域特征的重新聚合，能够较好地解决同一个对象的像素点在空间上被遮挡截断导致不连续的问题。

A3、终端将该图卷积特征输入到该遮挡物图层网络的第二卷积层中，通过该第二卷积层对该图卷积特征进行卷积操作，得到该第一感知特征。

在一些实施例中，针对上述步骤A2输出的图卷积特征，将该图卷积特征输入到一个或多个串连的第二卷积层中，通过第二卷积层来对该图卷积特征进行进一步地卷积操作，比如，以尺寸为3×3的卷积核来对该图卷积特征进行卷积操作，输出该遮挡对象的第一感知特征。

图9是本申请实施例提供的双图层实例分割模型的原理性示意图，如图9所示，在双图层实例分割模型900中，涉及到遮挡物图层网络910和被遮挡物图层网络920，其中，遮挡物图层网络910中包括1个第一卷积层911、1个第一图卷积层912和2个第二卷积层913-914，第一卷积层911、第一图卷积层912、第二卷积层913-914之间串联连接。假设上述步骤602提取到的ROI的局部图像特征使用符号x来表征，那么先将局部图像特征x输入到遮挡物图层网络910中，依次通过第一卷积层911提取到初始感知特征，通过第一图卷积层912提取到图卷积特征，通过第二卷积层913-914提取到第一感知特征，换言之，由第二卷积层914输出该第一感知特征。

上述双图层实例分割模型900，在Mask RCNN的基础上，添加了一个处理重叠目标的双图层(Overlapping Bi-Layers)模块，针对任一实例分割所得到的单个目标对象，提取到ROI的局部图像特征x(相当于对原始的显微图像进行了ROI池化)，再通过双图层模块来建模遮挡对象和被遮挡对象之间的关系，并将遮挡对象的第一感知特征引入到对被遮挡对象的第二感知特征的计算过程中，从而能够更好地学习遮挡对象和被遮挡对象之间的相互关系，最终输出较好的在多目标重叠情况下分割结果。

6032、终端基于该第一感知特征，获取该遮挡对象的轮廓图和掩膜图。

在一些实施例中，终端在通过遮挡物图层网络提取到遮挡对象的第一感知特征之后，可以对该第一感知特征进行上采样操作，得到该遮挡对象的轮廓图和掩膜图。比如，对该第一感知特征进行上采样，以得到一张与ROI区域尺寸相同的轮廓图和一张与ROI区域尺寸相同的掩膜图，又或者，对该第一感知特征进行上采样，以得到一张与显微图像尺寸相同的轮廓图和一张与显微图像尺寸相同的掩膜图，本申请实施例对此不进行具体限定。

在一些实施例中，该遮挡物图层网络还包括一个第一反卷积层，终端将第一感知特征输入到该第一反卷积层中，在该第一反卷积层中对该第一感知特征进行反卷积操作，以得到该遮挡对象的轮廓图和掩膜图。这里仅以通过反卷积操作来进行上采样为例进行说明，还可以通过其他方式来实现上采样，本申请实施例对此不进行具体限定。

仍以图9为例继续进行说明，在遮挡物图层网络910中还包括第一反卷积层915，将第二卷积层914输出的该第一感知特征输入到第一反卷积层915中，将会输出一张遮挡对象的轮廓图916和一张遮挡对象的掩膜图917。

6033、终端将该局部图像特征和该第一感知特征融合所得的融合特征输入到该被遮挡物图层网络，提取得到该ROI中位于底层的被遮挡对象的第二感知特征。

其中，该第二感知特征表征该被遮挡对象在实例分割任务上的图像特征。

在一些实施例中，该被遮挡物图层网络用对ROI内的被遮挡对象的轮廓和掩膜进行显式建模，可选地，该被遮挡物图层网络中包括至少一个第三卷积层、至少一个第二图卷积层和至少一个第四卷积层，上述第三卷积层、第二图卷积层和第四卷积层的相邻层之间串联连接，基于上述结构的被遮挡物图层网络，上述步骤6033可通过下述步骤B1-B4来实现：

B1、终端将该局部图像特征和该第一感知特征进行融合，得到融合特征。

在一些实施例中，终端将该局部图像特征和该第一感知特征进行按元素相加，得到该融合特征。仍以图9为例进行说明，将ROI的局部图像特征x和第二卷积层914所输出的第一感知特征进行按元素相加，得到该融合特征。

在另一些实施例中，除了按元素相加以外，还可以采用按元素相乘、拼接、双线性汇合等融合方式，本申请实施例对融合方式不进行具体限定。

B2、终端将该融合特征输入到该被遮挡物图层网络的第三卷积层中，通过该第三卷积层对该融合特征进行卷积操作，得到感知交互特征。

在一些实施例中，针对将上述步骤B1获取到的融合特征，输入到双图层实例分割模型的被遮挡物图层网络的第三卷积层中，通过该第三卷积层对该融合特征进行卷积操作，比如，以尺寸为3×3的卷积核来对该融合特征进行卷积操作，输出该被遮挡对象的感知交互特征。

在上述过程中，由于被遮挡物图层网络的输入信号，不但包含了局部图像特征，还包含了遮挡对象的第一感知特征，因此能够实现对遮挡对象和被遮挡对象的感知交互，即，结合已提取到的遮挡对象的信息和原始的局部图像特征，来共同作用于对被遮挡对象的轮廓和掩膜的建模。通过将遮挡与被遮挡关系同时考虑进来，以进行交互感知，能够有效地区分遮挡对象和被遮挡对象的相邻实例边界，以提升对被遮挡对象的实例分割准确度。

B3、终端将该感知交互特征输入到该被遮挡物图层网络的第二图卷积层中，通过该第二图卷积层中非局部算子对该感知交互特征进行卷积操作，得到图卷积交互特征。

在一些实施例中，针对上述步骤B2输出的感知交互特征，将该感知交互特征再输入到被遮挡物图层网络的第二图卷积层中，在该第二图卷积层中通过非局部算子来实现图卷积层，比如，在第二图卷积层中涉及到3个卷积核大小为1×1的卷积层以及1个Softmax(指数归一化)算子，为了便于说明，将上述3个卷积层分别称为φ卷积层、θ卷积层和β卷积层，将感知交互特征分别输入到φ卷积层、θ卷积层和β卷积层中，每个卷积层中都使用尺寸为1×1的卷积核对感知交互特征进行卷积操作，接着，将φ卷积层输出的特征图和θ卷积层输出的特征图进行按元素相乘，得到融合特征图，再使用Softmax算子对融合特征图进行指数归一化处理，得到归一化特征图，再将归一化特征图与β卷积层输出的特征图进行按元素相乘，得到目标特征图，接着将目标特征图和该感知交互特征再进行按元素相加，即可得到第二图卷积层的输出结果即图卷积交互特征。

在上述过程中，在第二图卷积层中通过非局部算子来实现图卷积操作，能够减少图卷积部分的模型参数量，在基于非局部算子的图卷积层中，能够将图像空间中的像素点根据对应特征向量的相似度有效关联起来，实现输入目标区域特征的重新聚合，能够较好地解决同一个对象的像素点在空间上被遮挡截断导致不连续的问题。

B4、终端将该图卷积交互特征输入到该被遮挡物图层网络的第四卷积层中，通过该第四卷积层对该图卷积交互特征进行卷积操作，得到该第二感知特征。

在一些实施例中，针对上述步骤B3输出的图卷积交互特征，将该图卷积交互特征输入到一个或多个串连的第四卷积层中，通过第四卷积层来对该图卷积交互特征进行进一步地卷积操作，比如，以尺寸为3×3的卷积核来对该图卷积交互特征进行卷积操作，输出该被遮挡对象的第二感知特征。

仍以图9为例继续进行说明，被遮挡物图层网络920中包括1个第三卷积层921、1个第二图卷积层922和2个第四卷积层923-924，第三卷积层921、第二图卷积层922、第四卷积层923-924之间串联连接。假设上述步骤602提取到的ROI的局部图像特征使用符号x来表征，那么先将局部图像特征x和遮挡物图层网络910中第二卷积层914输出的第一感知特征进行按元素相加，得到融合特征，再将该融合特征输入到被遮挡物图层网络920中，依次通过第三卷积层921提取到感知交互特征，通过第二图卷积层922提取到图卷积交互特征，通过第四卷积层923-924提取到第二感知特征，换言之，由第四卷积层924输出该第二感知特征。

6034、终端基于该第二感知特征，获取该被遮挡对象的轮廓图和掩膜图。

在一些实施例中，终端在通过被遮挡物图层网络提取到被遮挡对象的第二感知特征之后，可以对该第二感知特征进行上采样操作，得到该被遮挡对象的轮廓图和掩膜图。比如，对该第二感知特征进行上采样，以得到一张与ROI区域尺寸相同的轮廓图和一张与ROI区域尺寸相同的掩膜图，又或者，对该第二感知特征进行上采样，以得到一张与显微图像尺寸相同的轮廓图和一张与显微图像尺寸相同的掩膜图，本申请实施例对此不进行具体限定。

在一些实施例中，该被遮挡物图层网络还包括一个第二反卷积层，终端将第二感知特征输入到该第二反卷积层中，在该第二反卷积层中对该第二感知特征进行反卷积操作，以得到该被遮挡对象的轮廓图和掩膜图。这里仅以通过反卷积操作来进行上采样为例进行说明，还可以通过其他方式来实现上采样，本申请实施例对此不进行具体限定。

仍以图9为例继续进行说明，在被遮挡物图层网络920中还包括第二反卷积层925，将第四卷积层924输出的该第二感知特征输入到第二反卷积层925中，将会输出一张被遮挡对象的轮廓图926和一张被遮挡对象的掩膜图927。

在上述步骤602-603中，提供了终端对该ROI进行实例分割，以确定出该显微图像中包含的至少一个该目标对象各自的轮廓图和掩膜图的一种可能实施方式，即，利用预先训练得到的双图层实例分割模型，来对ROI进行实例分割，以在显微图像中区分出来不同的目标对象实例，以目标对象为线虫为例，需要说明的是，本申请实施例仅以ROI中包含互相重叠的多个目标对象的情况为例进行说明，但在观测过程中也可能ROI中仅包含单个目标对象，此时可以用上述步骤602-603涉及的实例分割方式，也可以采用一些传统图像分割算法进行实例分割，本申请实施例对此不进行具体限定。

在一些实施例中，该双图层实例分割模型基于多个合成样本图像训练得到，该合成样本图像中包含多个该目标对象，该合成样本图像基于多个仅包含单目标对象的原始图像合成得到，换言之，为了提升双图层实例分割模型的分割准确度，在训练阶段就通过包含多个目标对象的合成样本图像来进行训练，这样能够极大提升双图层实例分割模型针对目标对象这类目标的分割准确度，并且能够处理多实例互相重叠，或者单实例自身卷曲导致自我重叠等各类复杂情况，而无需技术人员手工操作。

在一些实施例中，由于手动采集包含多个目标对象的样本图像是比较耗时耗力的，而且还需要技术人员人工添加一些标签信息，因此，可以直接利用多个仅包含单目标对象的原始图像，来合成一张包含多个目标对象的合成样本图像，并且，通过不同的排列组合方式，还可以合成任意形态重叠、包含任意数量个实例的合成样本图像，这样能够在原始图像构成的训练集上，以数据增强方式来合成训练质量更好、训练效果更佳的合成样本图像，从而能够有利于训练得到实例分割效果更好、精度更高的双图层实例分割模型。

在一些实施例中，在使用多个原始图像合成一个合成样本图像时，可以采取如下合成方式：在该目标对象比原始图像中的背景暗的情况下，将该多个原始图像中相同位置像素中的最低像素值，赋值给该合成样本图像中的相同位置像素，换言之，该合成样本图像中每个像素的像素值等于用于合成该合成样本图像的多个原始图像中相同位置像素中的最低像素值，例如，在线虫比背景暗(更靠近黑色)的情况下，假设原始图像包括图像1和图像2，则通过逐像素取min(图像1，图像2)的方式来合成一张合成样本图像。

图10是本申请实施例提供的一种合成样本图像的合成流程图，如图10所示，以目标对象为线虫为例进行说明，假设已有2张原始图像1001和1002，通过逐像素取min(原始图像1001，原始图像1002)的方式，能够合成一张合成样本图像1003，且保证合成样本图像1003中每个像素的像素值，均等于原始图像1001和1002中相同位置像素中的最低像素值。比如，原始图像1001中坐标(10，21)的像素的像素值为245，原始图像1002中坐标(10，21)的像素的像素值为200，则在合成样本图像1003中将坐标(10，21)的像素的像素值赋值为min(245，200)＝200，即，在合成样本图像1003中将坐标(10，21)的像素的像素值赋值为原始图像1001和原始图像1002中坐标(10，21)的像素的像素值中的最小值(即最低像素值)。

在另一些实施例中，在使用多个原始图像合成一个合成样本图像时，还可以采取如下合成方式：在该目标对象比原始图像中的背景亮的情况下，将该多个原始图像中相同位置像素中的最高像素值，赋值给该合成样本图像中的相同位置像素，换言之，该合成样本图像中每个像素的像素值等于该多个原始图像中相同位置像素中的最高像素值，例如，在线虫比背景亮(更靠近白色)的情况下，假设原始图像包括图像1和图像2，则通过逐像素取max(图像1，图像2)的方式来合成一张合成样本图像。

通过上述合成样本图像的获取方式，能够通过有限的仅包含单个目标对象的原始图像，来合成大量包含重叠的多个目标对象的训练数据即合成样本图像，这样在合成样本图像构成的增强训练集上训练双图层实例分割模型时，有利于训练得到实例分割效果更好、精度更高的双图层实例分割模型。

在上述步骤601-603中，提供了对显微图像进行实例分割，得到包含该显微图像中目标对象的实例图像的一种可能实施方式，其中，该实例图像包含目标对象的轮廓图和掩膜图，即，以先从显微图像中提取ROI，再针对ROI进行实例分割为例进行说明，这样无需对整张显微图像都运行实例分割算法，能够节约终端的计算资源。在另一些实施例中，终端也可以对整张显微图像进行实例分割，能够避免在提取ROI时遗漏掉部分体积较小的目标对象。

604、对该ROI中的任一目标对象，终端将该目标对象的掩膜图输入到骨架提取模型中，通过该骨架提取模型来对该目标对象进行骨架提取，输出该目标对象的骨架形态图像。

上述步骤604中，由于目标对象的实例图像包括轮廓图和掩膜图，终端将每个目标对象的实例图像中的掩膜图输入到骨架提取模型中，通过该骨架提取模型来对目标对象进行骨架提取，输出目标对象的骨架形态图像，其中，该骨架提取模型用于基于目标对象的实例图像中的掩膜图来预测目标对象的骨架形态。

在一些实施例中，对ROI中包含的每个目标对象，都可以通过本步骤604来提取到该目标对象的骨架形态图像。可选地，该骨架提取模型是一个包含多个卷积层的CNN模型，终端将该目标对象的掩膜图输入到该骨架提取模型的多个卷积层中，通过该多个卷积层对该目标对象的掩膜图进行卷积操作，输出该骨架形态图像。比如，终端将遮挡对象或被遮挡对象的掩膜图输入到骨架提取模型中，通过该骨架提取模型中串连的该多个卷积层，来对该掩膜图进行卷积操作，由最后一个卷积层输出该骨架形态图像，在该骨架形态图像中的目标对象的骨架具有单层像素宽度。

可选地，该骨架形态图像是一张二值图像，在骨架形态图像中骨架像素点和非骨架像素点具体不同的取值。示意性地，在骨架形态图像中，取值为1的像素点是骨架像素点、取值为0的像素点是非骨架像素点，又或者取值为0的像素点是骨架像素点、取值为1的像素点是非骨架像素点，本申请实施例对此不进行具体限定。

在这种情况下，骨架形态图像中的骨架像素点能够形成一条单层像素宽度的目标对象的骨架，这一骨架所具有的形态代表了目标对象在该显微图像中所呈现的骨架形态。

在本申请实施例中，通过在实例分割结果即实例图像的基础上，对每个分割所得的目标对象的实例，都应用骨架提取算法来提取到骨架形态图像，这样方便了在目标对象的骨架形态图像上进行运动学分析，能够提升运动学分析的分析效率，而无需人工参与或肉眼计数。

在一些实施例中，该骨架提取模型基于包含目标对象的样本图像和对该目标对象标注的骨架形态标签信息训练得到。可选地，该骨架形态标签信息包括对该样本图像中目标对象的骨架形态进行采样的多个采样点各自的骨架切向角，该骨架切向角表征在从头部端点指向尾部端点的有向骨架形态上以该采样点作为切点所对应切线与水平线之间的夹角，换言之，对任一包含目标对象的样本图像，可由技术人员标注好目标图像的骨架形态以及骨架形态上的头部端点和尾部端点，这样能够形成一条从头部端点指向尾部端点的有向骨架形态，接着，针对已标注的有向骨架形态进行采样，先确定该有向骨架形态上的多个采样点，再对每个采样点，都在该有向骨架形态上都生成一条以该采样点作为切点的一条切线，将该切线与水平线之间的夹角确定为该采样点的骨架切向角，重复执行上述操作，即可得到多个采样点各自的骨架切向角，将多个采样点各自的骨架切向角确定为对该样本图像的骨架形态标签信息，对每个样本图像都执行上述操作，即可获取到每个样本图像的骨架形态标签信息。

在上述过程中，通过使用多个采样点各自的骨架切向角来作为每个样本图像的骨架形态标签信息，这样能够方便对骨架形态的预测准确度进行量化，方便比较骨架提取模型预测出来的骨架形态和样本图像中实际的骨架形态之间的误差，从而便于训练出来针对目标对象更适用的骨架提取模型。

在一些实施例中，该骨架提取模型在训练阶段的损失函数值基于该多个采样点各自的骨架切向角和预测切向角之间的误差确定得到，其中，该预测切向角基于该骨架提取模型对该样本图像预测得到的骨架形态图像采样得到。

换言之，在训练阶段，在任一次迭代中，会将当前的样本图像输入到该骨架提取模型中，通过该骨架提取模型中串连的该多个卷积层，来对该样本图像进行卷积操作，由最后一个卷积层输出该样本图像的预测骨架图像，接着，按照与样本图像相同的采样方式，从预测骨架图像中也确定多个采样点，并获取到每个采样点各自的预测切向角，预测切向角的获取方式与骨架切向角的获取方式类似，这里不做赘述，接着，可以基于该多个采样点各自的骨架切向角和预测切向角之间的误差，获取当前的样本图像的预测误差，预测误差可以是各个采样点各自的骨架切向角和预测切向角的误差的和值、算术平均值或加权平均值，这里不做具体限定，在本轮迭代中会对每个样本图像都执行上述操作，能够获取到所有样本图像各自的预测误差，基于所有样本图像各自的预测误差，即可确定得到骨架提取模型在本轮迭代中的损失函数值，接着判断迭代次数或损失函数值是否满足停止训练条件，比如在迭代次数大于次数阈值或损失函数值小于损失阈值时，认为满足停止训练条件，对骨架提取模型停止训练(即调整参数)，得到训练完毕的骨架提取模型；否则，在迭代次数小于或等于次数阈值且损失函数值大于或等于损失阈值时，认为不满足停止训练条件，继续对骨架提取模型进行迭代调参，其中，次数阈值是任一大于或等于1的整数，损失阈值是任一大于0的数值。

图11是本申请实施例提供的一种骨架提取模型的训练和预测阶段的原理性示意图，如图11所示，在训练阶段1101中，先由技术人员针对样本图像标注好骨架形态，再基于已标注的骨架形态生成骨架形态标签信息(即多个采样点的骨架切向角)，接着，可在标签数据的基础上，进行形变、翻转、尺寸变换等数据增强方式，来合成更多更丰富的训练数据集，最后，在训练数据集上训练骨架提取模型，并在真实的样本图像上来评估训练完毕的骨架提取模型的骨架提取性能。在预测阶段1102中，针对包含多个目标对象的显微图像，通过实例分割方式，能够从显微图像中定位到单实例即单个目标对象，并生成单个目标对象的掩膜图，接着，将该掩膜图输入到训练完毕的骨架提取模型中，通过骨架提取模型来对目标对象进行骨架提取，得到目标对象的骨架形态图像。

在上述过程中，通过基于标注好的目标对象，确定多个采样点并获取其骨架切向角作为骨架形态标签信息，能够对骨架提取模型预测的骨架形态和样本图像实际标注的骨架形态进行精准量化，便于比较预测骨架和标注骨架之间的误差，从而能够训练得到对目标对象具有精准骨架提取功能的骨架提取模型，并且在实例分割结果中仍然存在自我卷曲等复杂情况，仍然具有良好的骨架提取效果。

605、终端基于该骨架形态图像，识别得到该目标对象的骨架形态中的头部端点和尾部端点。

在一些实施例中，终端可以直接从骨架形态图像中识别出来头部端点和尾部端点，即，训练一个端点识别模型，该端点识别模型的输入是骨架形态图像，输出则是头部端点和尾部端点各自的端点坐标。

在另一些实施例中，终端还可以先从骨架形态图像中，截取出来骨架一端和骨架另一端各自的端点局部区域，进而再对截取到的每个端点局部区域分别进行二分类，即，训练一个用于二分类的头尾识别模型，用于判断输入的端点局部区域是头部端点还是尾部端点，这样能够减少头尾识别过程的计算量，提升头尾识别过程的识别效率。以这种情况为例进行说明，图12是本申请实施例涉及的一种识别头部端点和尾部端点的方法流程图，如图12所示，上述步骤605可以通过下述步骤6051-6054来实现：

6051、终端在该骨架形态图像中，截取得到位于骨架一端的第一端点局部区域和位于骨架另一端的第二端点局部区域。

在一些实施例中，由于骨架形态图像中的骨架像素点能够形成一条单像素宽度的骨架，因此很容易找到骨架的两个端点，接着，可以使用每个端点作为截取中心，在骨架形态图像中确定出来一个以该端点为中心点的端点候选框，接着，可以直接从骨架形态图像中找到端点候选框所圈定的端点局部区域，这里为例方便区分两个端点各自的端点局部区域，将位于骨架一端的截取区域称为第一端点局部区域，将位于骨架另一端的截取区域称为第二端点局部区域。

6052、终端基于该第一端点局部区域，提取该骨架一端的第一HOG特征。

在一些实施例中，终端从骨架形态图像中截取得到第一端点局部区域之后，可以从原始的显微图像中找到与该第一端点局部区域位置相同的原始局部图像，接着，可以针对该原始局部图像提取到该第一HOG特征。可选地，将该原始局部图像划分成多个细胞单元，细胞单元是指图像中较小的连通区域，接着，采集每个细胞单元中各个像素点的梯度或边缘的方向直方图，再将这些直方图组合起来构成细胞单元的特征描述符，重复上述操作直到得到整个原始局部图像的第一HOG特征。

6053、终端基于该第二端点局部区域，提取该骨架另一端的第二HOG特征。

上述步骤6053与上述步骤6052类似，这里不做赘述。

6054、终端基于该第一HOG特征和该第二HOG特征，分别对该骨架一端和该骨架另一端进行识别，得到该头部端点和该尾部端点。

在一些实施例中，终端可以利用头尾识别模型来进行头部端点和尾部端点的识别/分类，其中，该头尾识别模型用于根据端点局部区域的HOG特征来判断目标对象的骨架中的端点是属于头部端点还是尾部端点，在此基础上，上述步骤6054可以通过下述步骤C1-C3实现：

C1、终端将该第一HOG特征输入到头尾识别模型中，通过该头尾识别模型对该第一HOG特征进行二分类，得到对该骨架一端的第一识别结果。

其中，该第一识别结果用于表征该骨架一端是头部端点还是尾部端点。

在一些实施例中，头尾识别模型包括头部识别模型和尾部识别模型两个二分类模型，利用一些预先标注了头部端点的端点局部区域的HOG特征训练得到一个针对头部端点进行二分类的头部识别模型，同时，利用一些预先标注了尾部端点的端点局部区域的HOG特征训练得到一个针对尾部端点进行二分类的头部识别模型。接着，将该第一HOG特征输入到训练得到的头部识别模型中，通过该头部识别模型对该骨架一端进行是否为头部端点的二分类处理，输出该骨架一端是否为头部端点的第一识别结果。

示意性地，以头部识别模型是SVM二分类模型为例进行说明，将该第一HOG特征输入到SVM二分类模型之后，SVM二分类模型会对该第一HOG特征进行二分类，从而输出该骨架一端是否为头部端点的第一识别结果，例如，SVM二分类模型会基于第一HOG特征预测得到该骨架一端属于头部端点的识别概率，在该识别概率大于分类阈值的情况下，将第一识别结果设置为“Y(Yes，是)”，代表该骨架一端是头部端点，否则，将第一识别结果设置为“N(No，否)”，代表该骨架一端不是头部端点，其中，该分类阈值是任一大于或等于0且小于或等于1的数值。

在另一些实施例中，头尾识别模型就是一个整体的用于判断骨架端点是头部端点还是尾部端点的多分类模型，这样利用一些预先标注了头部端点及尾部端点的端点局部区域的HOG特征训练得到一个针对头部端点/尾部端点进行多分类的头尾识别模型。接着，将该第一HOG特征输入到训练得到的头尾识别模型中，通过该头尾识别模型对该骨架一端进行多分类处理，输出该骨架一端是头部端点/尾部端点/既不是头部端点也不是尾部端点的第一识别结果。

示意性地，以头尾识别模型是SVM多分类模型为例进行说明，将该第一HOG特征输入到SVM多分类模型之后，SVM多分类模型会对该第一HOG特征进行多分类，从而输出该骨架一端是头部端点/尾部端点/既不是头部端点也不是尾部端点的第一识别结果，即，SVM多分类模型可以配置有3个类别标签：“头部端点”、“尾部端点”和“既不是头部端点也不是尾部端点”，SVM多分类模型会基于第一HOG特征预测得到该骨架一端属于每种类别标签的分类概率，接着，在该分类概率最高的类别标签确定为对该骨架一端的第一识别结果。

C2、终端将该第二HOG特征输入到该头尾识别模型中，通过该头尾识别模型对该第二HOG特征进行二分类，得到对该骨架另一端的第二识别结果。

其中，该第二识别结果用于表征该骨架另一端是头部端点还是尾部端点。

在一些实施例中，若头尾识别模型包括头部识别模型和尾部识别模型两个二分类模型，在上述步骤C1获取到的第一识别结果指示该骨架一端是头部端点的情况下，在本步骤C2中可以调用尾部识别模型来对第二HOG特征进行二分类处理，以输出该骨架另一端是否为尾部端点的第二识别结果。

示意性地，以尾部识别模型是SVM二分类模型为例进行说明，将该第二HOG特征输入到SVM二分类模型之后，SVM二分类模型会对该第二HOG特征进行二分类，从而输出该骨架另一端是否为尾部端点的第二识别结果，例如，SVM二分类模型会基于第二HOG特征预测得到该骨架另一端属于尾部端点的识别概率，在该识别概率大于分类阈值的情况下，将第二识别结果设置为“Y(Yes，是)”，代表该骨架另一端是尾部端点，否则，将第二识别结果设置为“N(No，否)”，代表该骨架另一端不是尾部端点。

在一些实施例中，若头尾识别模型包括头部识别模型和尾部识别模型两个二分类模型，在上述步骤C1获取到的第一识别结果指示该骨架一端不是头部端点的情况下，那么可以继续调用头部识别模型来对第二HOG特征进行二分类处理，以输出该骨架另一端是否为头部端点的第二识别结果，同时，再调用尾部识别模型来对第一HOG特征进行二分类处理，以判断该骨架一端是否为尾部端点。

在另一些实施例中，若头尾识别模型是一个多分类模型，那么可以将该第二HOG特征也输入到训练得到的头尾识别模型中，通过该头尾识别模型对该骨架另一端进行多分类处理，输出该骨架另一端是头部端点/尾部端点/既不是头部端点也不是尾部端点的第二识别结果。

示意性地，以头尾识别模型是SVM多分类模型为例进行说明，将该第二HOG特征输入到SVM多分类模型之后，SVM多分类模型会对该第二HOG特征进行多分类，从而输出该骨架另一端是头部端点/尾部端点/既不是头部端点也不是尾部端点的第二识别结果，即，SVM多分类模型可以配置有3个类别标签：“头部端点”、“尾部端点”和“既不是头部端点也不是尾部端点”，SVM多分类模型会基于第二HOG特征预测得到该骨架另一端属于每种类别标签的分类概率，接着，在该分类概率最高的类别标签确定为对该骨架另一端的第二识别结果。

C3、终端基于该第一识别结果和该第二识别结果，确定得到该头部端点和该尾部端点。

在一些实施例中，如果第一识别结果和第二识别结果指示了骨架一端是头部端点、骨架另一端是尾部端点，或者指示了骨架一端是尾部端点、骨架另一端是头部端点，即，有一个端点是头部端点，另一个端点是尾部端点，那么代表识别结果无异常，继续后续流程。

在一些实施例中，如果第一识别结果和第二识别结果指示了两个端点都是头部端点，或者两个端点都是尾部端点，或者两个端点判断为“既不是头部端点也不是尾部端点”，这时可以仅一定程度上的自动修正，比如，如果头部识别模型将两个端点都分类成头部端点，则选择识别概率最大的端点作为头部端点，并将剩余端点作为尾部端点，此时再利用尾部识别模型进行验证，如果剩余端点被识别成尾部端点的概率大于选定的头部端点被识别为尾部端点的概率，代表验证通过，或，如果尾部识别模型将两个端点都分类成尾部端点，也可以以这一修正方式进行类推，或者，还可以直接上报给技术人员进行人工排查，本申请实施例对此不进行具体限定。

图13是本申请实施例提供的一种截取端点局部区域的示意图，如图13所示，以目标对象是线虫为例说明，根据第一端点局部区域和第二端点局部区域，可以在显微图像1301中采样到对应的两个原始局部图像1311和1312，接着通过头尾识别模型能够分别判断原始局部图像1311和1312中各自包含的骨架端点是头部端点还是尾部端点。对于线虫来说，线虫头部和尾部在形态学上的差异比较明显，如1302所示，给出了几种示例性的线虫头部的局部图像，可以看出来，线虫的头部边缘比较圆润，如1303所示，给出了几种示例性的线虫尾部的局部图像，可以看出来，线虫的尾部边缘比较尖锐，通过针对两个原始局部图像分别提取HOG特征，HOG特征能够很好描述不同方向统计后的梯度特征，从而能够明显区分出来圆润的边缘和尖锐的边缘，这样再使用HOG特征和SVM分类器结合之后，能够对线虫的头部和尾部具有很高的识别精度。

在上述过程中，通过在提取到的骨架形态图像的基础上，针对骨架的两个端点分别截取一个局部图像区域，这一局部图像区域中的骨架端点进行分类，要么是头部端点要么是尾部端点。在一个示例中，对每个骨架端点都提取128维度的HOG特征，这种情况下针对线虫头尾的识别准确率高达98％，能够很好地平衡头尾识别速度和识别准确率。

606、终端将该骨架形态图像、该头部端点和该尾部端点确定为该目标对象的骨架形态信息。

其中，该骨架形态信息表征该目标对象的骨架所处的形态。

在一些实施例中，通过骨架形态图像能够确定出一条目标对象当前的骨架形态，通过识别出来的头部端点、尾部端点能够确定出来这条骨架形态的走向，即，能够形成一条完整的有方向的(从头部端点指向尾部端点)的有向骨架形态，这一有向骨架形态就是目标对象的骨架形态信息。

在上述步骤604-606中，提供了对该实例图像中的目标对象进行骨架提取，得到该目标对象的骨架形态信息的一种可能实施方式，即，先通过骨架提取模型来提取到骨架形态图像，再利用头尾识别模型来识别出来头部端点和尾部端点，这样能够得到一条从头部端点指向尾部端点的有向骨架形态，在有向骨架形态的基础上能够对目标对象进行更加丰富深层的运动学分析，在另一些实施例中，也可以仅将骨架形态图像中的无向骨架形态作为骨架形态信息，本申请实施例对此不进行具体限定。

607、终端基于该骨架形态信息，对该目标对象的骨架形态进行采样，得到多个采样点各自的骨架切向角所构成的特征向量。

其中，该骨架切向角表征在从头部端点指向尾部端点的有向骨架形态上以该采样点作为切点所对应切线与水平线之间的夹角。

在一些实施例中，终端在从头部端点指向尾部端点的有向骨架形态上，选取多个采样点，接着，对每个采样点，都在该有向骨架形态上都生成一条以该采样点作为切点的一条切线(因为骨架形态是有方向的，因此切线是顺着骨架形态方向的射线，而非无向的直线)，接着，将该切线与水平线之间的夹角确定为该采样点的骨架切向角，重复执行上述操作，即可得到多个采样点各自的骨架切向角，上述该多个采样点各自的骨架切向角能够形成一个特征向量，特征向量的维度等于采样点的数量，特征向量中每个元素是一个采样点的骨架切向角。

608、终端基于多种预设运动状态，对由该特征向量所表示的有向骨架形态进行运动成分分解，得到该目标对象的运动成分信息。

其中，该运动成分信息是指对该骨架形态信息进行运动分解所得的作为主成分的多种运动状态各自的特征信息。

在一些实施例中，技术人员预先定义多种预设运动状态之后，每种预设运动状态实际表征了一个预设骨架形态，对预设骨架形态运用上述步骤607类似的方式进行采样，也能够得到预设骨架形态所对应的预设特征向量，再将上述步骤607获取到的特征向量分解成多个预设特征向量的加权和，从而能够根据每种预设特征向量在分解时所占的权值系数(即特征值)，来获取目标对象的运动成分信息，这样能够将任意的骨架形态都分解成多种预设运动状态的组合，极大方便了对目标对象的运动学分析。

在一些实施例中，该运动成分信息包括该多种预设运动状态各自的多个特征值，这一特征值代表了在进行运动成分分解时对应预设运动状态所具有的权值系数。在这种情况下，图14是本申请实施例提供的一种对目标对象进行运动分析的流程图，如图14所示，上述步骤608可以通过如下步骤6081-6083来实现：

6081、终端对该多种预设运动状态所指示的预设骨架形态分别进行采样，得到该多种预设运动状态各自的预设特征向量。

在一些实施例中，对每种预设运动状态，从该预设运动状态所指示的有向的预设骨架形态上，选取多个采样点，需要说明的是，从预设骨架形态上对采样点的选取方式，需要与步骤607中的采样点的选取方式保持一致；接着，对每个采样点，都在该预设骨架形态上生成一条以该采样点作为切点的一条切线(因为预设骨架形态也是有方向的，因此切线是顺着预设骨架形态方向的射线，而非无向的直线)；接着，将该切线与水平线之间的夹角确定为该采样点的骨架切向角，重复执行上述操作，即可得到多个采样点各自的骨架切向角，上述该多个采样点各自的骨架切向角能够形成一个预设特征向量，预设特征向量的维度等于采样点的数量，预设特征向量中每个元素是一个采样点的骨架切向角，需要说明的是，由于步骤607和步骤6081的采样方式保持一致，代表了采样点数量一致，因此特征向量和预设特征向量是具有相同维度的。

6082、终端将该特征向量分解成多个该预设特征向量与多个特征值各自的乘积之间的和值。

在一些实施例中，对该特征向量进行分解，分解成多个预设特征向量与多个特征值各自的乘积之间的和值，换言之，假设特征向量是一个K维向量，相当于用K个采样点的骨架切向角来描述目标对象的骨架形态，那么显然预设特征向量也是一个K维向量，假设共设定了K个预设运动状态，那么可得到N个预设特征向量(每个预设特征向量都是K维向量)，即所有预设运动状态的预设特征向量组成了一个N×K矩阵，对N×K矩阵提取协方差，可以得到一个K×K矩阵，再基于该K×K的协方差矩阵，进行特征值和K维特征向量的分解，即可得到N个预设特征向量各自对应的N个特征值，N个特征值满足如下条件：将N个预设特征向量分别与对应的N个特征值相乘，得到N个乘积，将这N个乘积相加恰好等于K维特征向量。

6083、终端将该多个特征值所构成的特征值序列确定为该运动成分信息。

上述步骤6083中分解得到了多个特征值，例如，N个特征值，此时能够确定一个特征值序列，比如，假设包含了5个预设运动状态，求解得到了5个特征值：a1，a2，a3，a4和a5，那么特征值序列{a1，a2，a3，a4，a5}即可作为该目标对象的运动成分信息。

在另一些实施例中，还可以将该特征值序列中包含的该多个特征值按照从大到小的顺序进行排序，将该排序中位于前目标位的特征值所对应的预设运动状态确定为运动主成分，接着，可以仅将运动主成分的特征值作为目标对象的运动成分信息，即仅关注对目标对象当前的骨架形态具有决定性作用的主成分，而忽略掉一些占比较小的副成分。例如，将特征值序列中的N个特征值按照从大到小的顺序进行排序，仅选取top5个特征值对应的5个预设运动状态作为运动主成分，并将这top5个特征值构成的特征值子序列作为目标对象的运动成分信息，可选地，还可以选取top3、top10等特征值作为运动主成分，本申请实施例对此不进行具体限定。

在获取到运动主成分的基础上，还可以基于该运动主成分，对该目标对象在观测时间段内的运动进行分析，得到该目标对象在该观测时间段内的运动学特征。比如，对某一线虫的骨架形态，采用上述分析方式得到了10个特征值，选取在从大到小的排序中位于top5(前5位)的特征值{a1，a2，a3，a4，a5}所对应的5种预设运动状态作为运动主成分，这5个运动主成分能够很好地描述线虫的运动状态。

图15是本申请实施例提供的一种目标对象的运动分析原理图，如图15所示，以目标对象为线虫为例进行说明，在主成分分析过程中，虽然线虫形态各异、难以预料，但线虫形态通常会有其固有规律，通过上述步骤6081-6083的运动分析方式，能够分解得到线虫的运动主成分，以总共分析了5个预设运动状态，并选取了特征值最大的top2个预设运动状态作为运动主成分为例进行说明，这时原始的特征值序列为{a1，a2，a3，a4，a5}，运动主成分的特征值子序列为{a1，a2}，即特征值a1和a2各自对应的两种预设运动状态是运动主成分。这样，通过在一段观测时间段内，对同一条线虫采集得到包含该线虫的连续的多个显微图像帧，对每个显微图像帧都执行上述运动分析流程，能够绘制出来同一条线虫在观测时间段内的特征值a1和a2所构成的运动分析概率图1501，在运动分析概率图1501中，横坐标是特征值a1的取值，纵坐标是特征值a2的取值，而图中各个坐标点的颜色深浅，则代表了线虫处于这一坐标点所决定的特征值a1和a2所合成的骨架形态的概率。进一步的，在运动分析概率图1501的基础上，还可以分析特征值a1和a2的坐标值所构成的角度相位值，这一角度相位值是将特征值a1和a2构成的坐标值转换成三角函数之后，再经过反三角函数变换取到的角度相位值，这样能够描述线虫摆动前进的运动学特征。如运动相位分析图1502所示，假设对同一条线虫采集到了8个时刻下的显微图像帧，这8个时刻下线虫的骨架形态依次从左至右排开，经过分析可知，t＝1时刻时角度相位值φ＝-π，t＝5时刻时角度相位值φ＝0，t＝8时刻时角度相位值

在上述步骤607-608中，示出了终端基于该骨架形态信息，对该目标对象进行运动分析，得到该目标对象的运动成分信息的一种可能实施方式，即通过对有向骨架形态进行采样，以采样点的骨架切向角来构建特征向量，从而能够针对特征向量进行量化分解，从而能够对提取到的骨架形态进行自动化分解运动主成分，进而方便地通过运动主成分来分析目标对象的各类运动学参数，极大提升了对目标对象的分析效率。

图16是本申请实施例提供的一种显微图像的处理方法的原理性流程图，如图16所示，以目标对象为线虫为例，这一处理方法可应用于线虫分析的各个领域，如计数、分割、形态学测量和运动学分析，具有极度广泛的应用场景。针对显微镜CCD图像传感器采集到的原始的线虫图像1601，包括单线虫和多线虫两种情况，单线虫可能会出现自我卷曲，而多线虫可能会发生互相重叠，因此，将线虫图像1601输入到一个能够处理重叠目标的实例分割模型(即双图层实例分割模型)中，得到线虫实例分割后的结果1602；接着，将实例分割所得的每个的单线虫目标实例，都输入到骨架提取模型中进行骨架提取，得到骨架提取结果1603，此外还需要对单线虫的头部端点和尾部端点进行识别；接着，在骨架提取和头尾识别后，应用骨架切向角来描述线虫的运动状态，如骨架提取结果1603所示，针对放大的一段骨架弧形上设置了5个采样点，其中第3个采样点的切线t_i与水平线之间的夹角θ_i即为这一采样点的骨架切向角；接着，再通过运动主成分分析的方式，来将使用多个采样点的骨架切向角构成的特征向量来进行运动主成分的分解，将分解得到的各个运动主成分的特征值投入到后续的运动学参数分析中，可以自动输出线虫的运动速度、角向速度、轴向速度等，如状态描述图1604所示，假设将多个采样点的序号进行归一化之后，绘制出来归一化后的采样点序号与骨架切向角之间的关系图，横坐标表示了归一化之后的采样点序列，纵坐标则表示了这一序号对应采样点的骨架切向角的取值，如主成分分析模块1605所示，将某个线虫的骨架形态可以分解成4个预设运动形态的加权和，4个预设运动形态各自的权值即特征值分别为{a1，a2，a3，a4}；最后，可以基于Eigenworm(蠕动本征)模式来进行更深层次的运动学分析，如分析线虫的运动速度、角向速度、轴向速度等。

上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本申请实施例提供的方法，通过对显微图像中包含的目标对象进行实例分割，以确定出来每个目标对象的实例图像即单实例分割结果，并在单实例分割结果上提取出来骨架形态信息，以在骨架形态信息的基础上进行运动分析和运动成分分解，能够将每个目标对象的当前所具有的复杂骨架形态，分解成多个预设的运动状态之间的组合，整体处理流程无需人工干预，机器能够自动化实现，极大了降低了人力成本、提升了分析效率。此外，基于输出的运动成分信息还能够进行深层的形态学测量和运动学分析，因此也提升了对目标对象进行分析的精准程度。

图17是本申请实施例提供的一种显微图像的处理装置的结构示意图，如图17所示，该装置包括：

实例分割模块1701，用于对显微图像进行实例分割，得到包含该显微图像中目标对象的实例图像；

骨架提取模块1702，用于对该实例图像中的目标对象进行骨架提取，得到该目标对象的骨架形态信息，该骨架形态信息表征该目标对象的骨架所处的形态；

运动分析模块1703，用于基于该骨架形态信息，对该目标对象进行运动分析，得到该目标对象的运动成分信息，该运动成分信息是指对该骨架形态信息进行运动分解所得的作为主成分的多种运动状态各自的特征信息。

本申请实施例提供的装置，通过对显微图像中包含的目标对象进行实例分割，以确定出来每个目标对象的实例图像即单实例分割结果，并在单实例分割结果上提取出来骨架形态信息，以在骨架形态信息的基础上进行运动分析和运动成分分解，能够将每个目标对象的当前所具有的复杂骨架形态，分解成多个预设的运动状态之间的组合，整体处理流程无需人工干预，机器能够自动化实现，极大了降低了人力成本、提升了分析效率。

在一些实施例中，基于图17的装置组成，该实例图像包括该目标对象的轮廓图和掩膜图，该实例分割模块1701包括：

确定子模块，用于从该显微图像中，确定包含该目标对象的感兴趣区域ROI；

分割子模块，用于对该ROI进行实例分割，以确定出该显微图像中包含的至少一个该目标对象各自的轮廓图和掩膜图。

在一些实施例中，在该ROI中包含互相重叠的多个目标对象的情况下，基于图17的装置组成，该分割子模块包括：

提取单元，用于提取该ROI的局部图像特征；

处理单元，用于将该局部图像特征输入到双图层实例分割模型中，通过该双图层实例分割模型对该局部图像特征进行处理，输出该ROI中多个该目标对象各自的轮廓图和掩膜图，该双图层实例分割模型用于对不同对象分别建立图层来获取每个对象各自的实例分割结果。

在一些实施例中，该ROI中包含互相重叠的遮挡对象和被遮挡对象；

该双图层实例分割模型包括遮挡物图层网络和被遮挡物图层网络，该遮挡物图层网络用于提取位于顶层的遮挡物的轮廓和掩膜，该被遮挡物图层网络用于提取位于底层的被遮挡物的轮廓和掩膜；

基于图17的装置组成，该处理单元包括：

第一提取子单元，用于将该局部图像特征输入该遮挡物图层网络，提取得到该ROI中位于顶层的遮挡对象的第一感知特征，该第一感知特征表征该遮挡对象在实例分割任务上的图像特征；

获取子单元，用于基于该第一感知特征，获取该遮挡对象的轮廓图和掩膜图；

第二提取子单元，用于将该局部图像特征和该第一感知特征融合所得的融合特征输入到该被遮挡物图层网络，提取得到该ROI中位于底层的被遮挡对象的第二感知特征，该第二感知特征表征该被遮挡对象在实例分割任务上的图像特征；

该获取子单元，还用于基于该第二感知特征，获取该被遮挡对象的轮廓图和掩膜图。

在一些实施例中，该第一提取子单元用于：

将该局部图像特征输入到该遮挡物图层网络的第一卷积层中，通过该第一卷积层对该局部图像特征进行卷积操作，得到初始感知特征；

将该初始感知特征输入到该遮挡物图层网络的第一图卷积层中，通过该第一图卷积层中非局部算子对该初始感知特征进行卷积操作，得到图卷积特征；

将该图卷积特征输入到该遮挡物图层网络的第二卷积层中，通过该第二卷积层对该图卷积特征进行卷积操作，得到该第一感知特征。

在一些实施例中，该第二提取子单元用于：

将该融合特征输入到该被遮挡物图层网络的第三卷积层中，通过该第三卷积层对该融合特征进行卷积操作，得到感知交互特征；

将该感知交互特征输入到该被遮挡物图层网络的第二图卷积层中，通过该第二图卷积层中非局部算子对该感知交互特征进行卷积操作，得到图卷积交互特征；

将该图卷积交互特征输入到该被遮挡物图层网络的第四卷积层中，通过该第四卷积层对该图卷积交互特征进行卷积操作，得到该第二感知特征。

在一些实施例中，该获取子单元用于：

对该第一感知特征进行上采样操作，得到该遮挡对象的轮廓图和掩膜图；

该获取子单元还用于：

对该第二感知特征进行上采样操作，得到该被遮挡对象的轮廓图和掩膜图。

在一些实施例中，该双图层实例分割模型基于多个合成样本图像训练得到，该合成样本图像中包含多个该目标对象，该合成样本图像基于多个仅包含单目标对象的原始图像合成得到。

在一些实施例中，在该目标对象比原始图像中的背景暗的情况下，该合成样本图像中每个像素的像素值等于用于合成该合成样本图像的多个原始图像中相同位置像素中的最低像素值；或，在该目标对象比原始图像中的背景亮的情况下，该合成样本图像中每个像素的像素值等于该多个原始图像中相同位置像素中的最高像素值。

在一些实施例中，基于图17的装置组成，该骨架提取模块1702包括：

骨架提取子模块，用于对该ROI中的任一目标对象，将该实例图像输入到骨架提取模型中，通过该骨架提取模型来对该目标对象进行骨架提取，输出该骨架形态图像，该骨架提取模型用于基于目标对象的实例图像来预测目标对象的骨架形态；

识别子模块，用于基于该骨架形态图像，识别得到该目标对象的骨架形态中的头部端点和尾部端点；

信息确定子模块，用于将该骨架形态图像、该头部端点和该尾部端点确定为该骨架形态信息。

在一些实施例中，该骨架提取子模块用于：

将该实例图像输入到该骨架提取模型的多个卷积层中，通过该多个卷积层对该实例图像进行卷积操作，输出该骨架形态图像；

其中，该骨架提取模型基于包含目标对象的样本图像和对该目标对象标注的骨架形态标签信息训练得到。

在一些实施例中，该骨架形态标签信息包括对该样本图像中目标对象的骨架形态进行采样的多个采样点各自的骨架切向角，该骨架切向角表征在从头部端点指向尾部端点的有向骨架形态上以该采样点作为切点所对应切线与水平线之间的夹角；

该骨架提取模型在训练阶段的损失函数值基于该多个采样点各自的骨架切向角和预测切向角之间的误差确定得到，其中，该预测切向角基于该骨架提取模型对该样本图像预测得到的骨架形态图像采样得到。

在一些实施例中，基于图17的装置组成，该识别子模块包括：

截取单元，用于在该骨架形态图像中，截取得到位于骨架一端的第一端点局部区域和位于骨架另一端的第二端点局部区域；

特征提取单元，用于基于该第一端点局部区域，提取该骨架一端的第一方向梯度直方图HOG特征；

该特征提取单元，还用于基于该第二端点局部区域，提取该骨架另一端的第二HOG特征；

识别单元，用于基于该第一HOG特征和该第二HOG特征，分别对该骨架一端和该骨架另一端进行识别，得到该头部端点和该尾部端点。

在一些实施例中，该识别单元用于：

将该第一HOG特征输入到头尾识别模型中，通过该头尾识别模型对该第一HOG特征进行二分类，得到对该骨架一端的第一识别结果，该第一识别结果用于表征该骨架一端是头部端点还是尾部端点；

将该第二HOG特征输入到该头尾识别模型中，通过该头尾识别模型对该第二HOG特征进行二分类，得到对该骨架另一端的第二识别结果，该第二识别结果用于表征该骨架另一端是头部端点还是尾部端点；

基于该第一识别结果和该第二识别结果，确定得到该头部端点和该尾部端点；

其中，该头尾识别模型用于根据端点局部区域的HOG特征来判断目标对象的骨架中的端点是属于头部端点还是尾部端点。

在一些实施例中，基于图17的装置组成，该运动分析模块1703包括：

采样子模块，用于基于该骨架形态信息，对该目标对象的骨架形态进行采样，得到多个采样点各自的骨架切向角所构成的特征向量，该骨架切向角表征在从头部端点指向尾部端点的有向骨架形态上以该采样点作为切点所对应切线与水平线之间的夹角；

分解子模块，用于基于多种预设运动状态，对由该特征向量所表示的有向骨架形态进行运动成分分解，得到该运动成分信息。

在一些实施例中，该运动成分信息包括该多种预设运动状态各自的多个特征值；

该分解子模块用于：

对该多种预设运动状态所指示的预设骨架形态分别进行采样，得到该多种预设运动状态各自的预设特征向量；

将该特征向量分解成多个该预设特征向量与多个特征值各自的乘积之间的和值，将该多个特征值所构成的特征值序列确定为该运动成分信息。

在一些实施例中，该运动分析模块1703还用于：

将该特征值序列中包含的该多个特征值按照从大到小的顺序进行排序，将该排序中位于前目标位的特征值所对应的预设运动状态确定为运动主成分；

基于该运动主成分，对该目标对象在观测时间段内的运动进行分析，得到该目标对象在该观测时间段内的运动学特征。

上述所有可选技术方案，能够采用任意结合形成本公开的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的显微图像的处理装置在处理显微图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，能够根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的显微图像的处理装置与显微图像的处理方法实施例属于同一构思，其具体实现过程详见显微图像的处理方法实施例，这里不再赘述。

图18是本申请实施例提供的一种终端的结构示意图，终端1800是计算机设备的一种示例性说明。可选地，该终端1800的设备类型包括：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1800包括有：处理器1801和存储器1802。

可选地，处理器1801包括一个或多个处理核心，比如4核心处理器、8核心处理器等。可选地，处理器1801采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable LogicArray，可编程逻辑阵列)中的至少一种硬件形式来实现。在一些实施例中，处理器1801包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1801集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1801还包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

在一些实施例中，存储器1802包括一个或多个计算机可读存储介质，可选地，该计算机可读存储介质是非暂态的。可选地，存储器1802还包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1802中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器1801所执行以实现本申请中各个实施例提供的显微图像的处理方法。

在一些实施例中，终端1800还可选包括有：外围设备接口1803和至少一个外围设备。处理器1801、存储器1802和外围设备接口1803之间能够通过总线或信号线相连。各个外围设备能够通过总线、信号线或电路板与外围设备接口1803相连。具体地，外围设备包括：射频电路1804、显示屏1805、摄像头组件1806、音频电路1807和电源1808中的至少一种。

外围设备接口1803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1801和存储器1802。在一些实施例中，处理器1801、存储器1802和外围设备接口1803被集成在同一芯片或电路板上；在一些其他实施例中，处理器1801、存储器1802和外围设备接口1803中的任意一个或两个在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。可选地，射频电路1804通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1804还包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1805用于显示UI(User Interface，用户界面)。可选地，该UI包括图形、文本、图标、视频及其它们的任意组合。当显示屏1805是触摸显示屏时，显示屏1805还具有采集在显示屏1805的表面或表面上方的触摸信号的能力。该触摸信号能够作为控制信号输入至处理器1801进行处理。可选地，显示屏1805还用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1805为一个，设置终端1800的前面板；在另一些实施例中，显示屏1805为至少两个，分别设置在终端1800的不同表面或呈折叠设计；在一些实施例中，显示屏1805是柔性显示屏，设置在终端1800的弯曲表面上或折叠面上。甚至，可选地，显示屏1805设置成非矩形的不规则图形，也即异形屏。可选地，显示屏1805采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件1806用于采集图像或视频。可选地，摄像头组件1806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1806还包括闪光灯。可选地，闪光灯是单色温闪光灯，或者是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，用于不同色温下的光线补偿。

在一些实施例中，音频电路1807包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1801进行处理，或者输入至射频电路1804以实现语音通信。出于立体声采集或降噪的目的，麦克风为多个，分别设置在终端1800的不同部位。可选地，麦克风是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1801或射频电路1804的电信号转换为声波。可选地，扬声器是传统的薄膜扬声器，或者是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅能够将电信号转换为人类可听见的声波，也能够将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1807还包括耳机插孔。

电源1808用于为终端1800中的各个组件进行供电。可选地，电源1808是交流电、直流电、一次性电池或可充电电池。当电源1808包括可充电电池时，该可充电电池支持有线充电或无线充电。该可充电电池还用于支持快充技术。

在一些实施例中，终端1800还包括有一个或多个传感器1810。该一个或多个传感器1810包括但不限于：加速度传感器1811、陀螺仪传感器1812、压力传感器1813、光学传感器1814以及接近传感器1815。

在一些实施例中，加速度传感器1811检测以终端1800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1811用于检测重力加速度在三个坐标轴上的分量。可选地，处理器1801根据加速度传感器1811采集的重力加速度信号，控制显示屏1805以横向视图或纵向视图进行用户界面的显示。加速度传感器1811还用于游戏或者用户的运动数据的采集。

在一些实施例中，陀螺仪传感器1812检测终端1800的机体方向及转动角度，陀螺仪传感器1812与加速度传感器1811协同采集用户对终端1800的3D动作。处理器1801根据陀螺仪传感器1812采集的数据，实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

可选地，压力传感器1813设置在终端1800的侧边框和/或显示屏1805的下层。当压力传感器1813设置在终端1800的侧边框时，能够检测用户对终端1800的握持信号，由处理器1801根据压力传感器1813采集的握持信号进行左右手识别或快捷操作。当压力传感器1813设置在显示屏1805的下层时，由处理器1801根据用户对显示屏1805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

光学传感器1814用于采集环境光强度。在一个实施例中，处理器1801根据光学传感器1814采集的环境光强度，控制显示屏1805的显示亮度。具体地，当环境光强度较高时，调高显示屏1805的显示亮度；当环境光强度较低时，调低显示屏1805的显示亮度。在另一个实施例中，处理器1801还根据光学传感器1814采集的环境光强度，动态调整摄像头组件1806的拍摄参数。

接近传感器1815，也称距离传感器，通常设置在终端1800的前面板。接近传感器1815用于采集用户与终端1800的正面之间的距离。在一个实施例中，当接近传感器1815检测到用户与终端1800的正面之间的距离逐渐变小时，由处理器1801控制显示屏1805从亮屏状态切换为息屏状态；当接近传感器1815检测到用户与终端1800的正面之间的距离逐渐变大时，由处理器1801控制显示屏1805从息屏状态切换为亮屏状态。

本领域技术人员能够理解，图18中示出的结构并不构成对终端1800的限定，能够包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图19是本申请实施例提供的一种计算机设备的结构示意图，该计算机设备1900可因配置或性能不同而产生比较大的差异，该计算机设备1900包括一个或一个以上处理器(Central Processing Units，CPU)1901和一个或一个以上的存储器1902，其中，该存储器1902中存储有至少一条计算机程序，该至少一条计算机程序由该一个或一个以上处理器1901加载并执行以实现上述各个实施例提供的显微图像的处理方法。可选地，该计算机设备1900还具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备1900还包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条计算机程序的存储器，上述至少一条计算机程序可由终端中的处理器执行以完成上述各个实施例中的显微图像的处理方法。例如，该计算机可读存储介质包括ROM(Read-Only Memory，只读存储器)、RAM(Random-Access Memory，随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory，只读光盘)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，包括一条或多条程序代码，该一条或多条程序代码存储在计算机可读存储介质中。计算机设备的一个或多个处理器能够从计算机可读存储介质中读取该一条或多条程序代码，该一个或多个处理器执行该一条或多条程序代码，使得计算机设备能够执行以完成上述实施例中的显微图像的处理方法。

本领域普通技术人员能够理解实现上述实施例的全部或部分步骤能够通过硬件来完成，也能够通过程序来指令相关的硬件完成，可选地，该程序存储于一种计算机可读存储介质中，可选地，上述提到的存储介质是只读存储器、磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种显微图像的处理方法，其特征在于，所述方法包括：

对显微图像进行实例分割，得到包含所述显微图像中目标对象的实例图像；

对所述实例图像中的目标对象进行骨架提取，得到所述目标对象的骨架形态信息，所述骨架形态信息表征所述目标对象的骨架所处的形态；

基于所述骨架形态信息，对所述目标对象进行运动分析，得到所述目标对象的运动成分信息，所述运动成分信息是指对所述骨架形态信息进行运动分解所得的作为主成分的多种运动状态各自的特征信息。

2.根据权利要求1所述的方法，其特征在于，所述实例图像包括所述目标对象的轮廓图和掩膜图；

所述对显微图像进行实例分割，得到包含所述显微图像中目标对象的实例图像包括：

从所述显微图像中，确定包含所述目标对象的感兴趣区域ROI；

对所述ROI进行实例分割，得到所述显微图像中包含的至少一个所述目标对象各自的轮廓图和掩膜图。

3.根据权利要求2所述的方法，其特征在于，在所述ROI中包含互相重叠的多个目标对象的情况下，所述对所述ROI进行实例分割，得到所述显微图像中包含的至少一个所述目标对象各自的轮廓图和掩膜图包括：

提取所述ROI的局部图像特征；

将所述局部图像特征输入到双图层实例分割模型中，通过所述双图层实例分割模型对所述局部图像特征进行处理，输出所述ROI中多个所述目标对象各自的轮廓图和掩膜图，所述双图层实例分割模型用于对不同对象分别建立图层来获取每个对象各自的实例分割结果。

4.根据权利要求3所述的方法，其特征在于，所述ROI中包含互相重叠的遮挡对象和被遮挡对象；

所述双图层实例分割模型包括遮挡物图层网络和被遮挡物图层网络，所述遮挡物图层网络用于提取位于顶层的遮挡物的轮廓和掩膜，所述被遮挡物图层网络用于提取位于底层的被遮挡物的轮廓和掩膜；

所述将所述局部图像特征输入到双图层实例分割模型中，通过所述双图层实例分割模型对所述局部图像特征进行处理，输出所述ROI中多个所述目标对象各自的轮廓图和掩膜图包括：

将所述局部图像特征输入所述遮挡物图层网络，提取得到所述ROI中位于顶层的遮挡对象的第一感知特征，所述第一感知特征表征所述遮挡对象在实例分割任务上的图像特征；

基于所述第一感知特征，获取所述遮挡对象的轮廓图和掩膜图；

将所述局部图像特征和所述第一感知特征融合所得的融合特征输入到所述被遮挡物图层网络，提取得到所述ROI中位于底层的被遮挡对象的第二感知特征，所述第二感知特征表征所述被遮挡对象在实例分割任务上的图像特征；

基于所述第二感知特征，获取所述被遮挡对象的轮廓图和掩膜图。

5.根据权利要求4所述的方法，其特征在于，所述将所述局部图像特征输入所述遮挡物图层网络，提取得到所述ROI中位于顶层的遮挡对象的第一感知特征包括：

将所述局部图像特征输入到所述遮挡物图层网络的第一卷积层中，通过所述第一卷积层对所述局部图像特征进行卷积操作，得到初始感知特征；

将所述初始感知特征输入到所述遮挡物图层网络的第一图卷积层中，通过所述第一图卷积层中非局部算子对所述初始感知特征进行卷积操作，得到图卷积特征；

将所述图卷积特征输入到所述遮挡物图层网络的第二卷积层中，通过所述第二卷积层对所述图卷积特征进行卷积操作，得到所述第一感知特征。

6.根据权利要求4所述的方法，其特征在于，所述将所述局部图像特征和所述第一感知特征融合所得的融合特征输入到所述被遮挡物图层网络，提取得到所述ROI中位于底层的被遮挡对象的第二感知特征包括：

将所述融合特征输入到所述被遮挡物图层网络的第三卷积层中，通过所述第三卷积层对所述融合特征进行卷积操作，得到感知交互特征；

将所述感知交互特征输入到所述被遮挡物图层网络的第二图卷积层中，通过所述第二图卷积层中非局部算子对所述感知交互特征进行卷积操作，得到图卷积交互特征；

将所述图卷积交互特征输入到所述被遮挡物图层网络的第四卷积层中，通过所述第四卷积层对所述图卷积交互特征进行卷积操作，得到所述第二感知特征。

7.根据权利要求4所述的方法，其特征在于，所述基于所述第一感知特征，获取所述遮挡对象的轮廓图和掩膜图包括：

对所述第一感知特征进行上采样操作，得到所述遮挡对象的轮廓图和掩膜图；

所述基于所述第二感知特征，获取所述被遮挡对象的轮廓图和掩膜图包括：

对所述第二感知特征进行上采样操作，得到所述被遮挡对象的轮廓图和掩膜图。

8.根据权利要求3所述的方法，其特征在于，所述双图层实例分割模型基于多个合成样本图像训练得到，所述合成样本图像中包含多个所述目标对象，所述合成样本图像基于多个仅包含单目标对象的原始图像合成得到。

9.根据权利要求8所述的方法，其特征在于，在所述目标对象比原始图像中的背景暗的情况下，所述合成样本图像中每个像素的像素值等于用于合成所述合成样本图像的多个原始图像中相同位置像素中的最低像素值；或，

在所述目标对象比原始图像中的背景亮的情况下，所述合成样本图像中每个像素的像素值等于所述多个原始图像中相同位置像素中的最高像素值。

10.根据权利要求1所述的方法，其特征在于，所述对所述实例图像中的目标对象进行骨架提取，得到所述目标对象的骨架形态信息包括：

对所述ROI中的任一目标对象，将所述实例图像输入到骨架提取模型中，通过所述骨架提取模型来对所述目标对象进行骨架提取，输出所述目标对象的骨架形态图像，所述骨架提取模型用于基于目标对象的实例图像来预测目标对象的骨架形态；

基于所述骨架形态图像，识别得到所述目标对象的骨架形态中的头部端点和尾部端点；

将所述骨架形态图像、所述头部端点和所述尾部端点确定为所述骨架形态信息。

11.根据权利要求10所述的方法，其特征在于，所述将所述实例图像输入到骨架提取模型中，通过所述骨架提取模型来对所述目标对象进行骨架提取，输出所述目标对象的骨架形态图像包括：

将所述实例图像输入到所述骨架提取模型的多个卷积层中，通过所述多个卷积层对所述实例图像进行卷积操作，输出所述骨架形态图像；

其中，所述骨架提取模型基于包含目标对象的样本图像和对所述目标对象标注的骨架形态标签信息训练得到。

12.根据权利要求11所述的方法，其特征在于，所述骨架形态标签信息包括对所述样本图像中目标对象的骨架形态进行采样的多个采样点各自的骨架切向角，所述骨架切向角表征在从头部端点指向尾部端点的有向骨架形态上以所述采样点作为切点所对应切线与水平线之间的夹角；

所述骨架提取模型在训练阶段的损失函数值基于所述多个采样点各自的骨架切向角和预测切向角之间的误差确定得到，其中，所述预测切向角基于所述骨架提取模型对所述样本图像预测得到的骨架形态图像采样得到。

13.根据权利要求10所述的方法，其特征在于，所述基于所述骨架形态图像，识别得到所述目标对象的骨架形态中的头部端点和尾部端点包括：

在所述骨架形态图像中，截取得到位于骨架一端的第一端点局部区域和位于骨架另一端的第二端点局部区域；

基于所述第一端点局部区域，提取所述骨架一端的第一方向梯度直方图HOG特征；

基于所述第二端点局部区域，提取所述骨架另一端的第二HOG特征；

基于所述第一HOG特征和所述第二HOG特征，分别对所述骨架一端和所述骨架另一端进行识别，得到所述头部端点和所述尾部端点。

14.根据权利要求13所述的方法，其特征在于，所述基于所述第一HOG特征和所述第二HOG特征，分别对所述骨架一端和所述骨架另一端进行识别，得到所述头部端点和所述尾部端点包括：

将所述第一HOG特征输入到头尾识别模型中，通过所述头尾识别模型对所述第一HOG特征进行二分类，得到对所述骨架一端的第一识别结果，所述第一识别结果用于表征所述骨架一端是头部端点还是尾部端点；

将所述第二HOG特征输入到所述头尾识别模型中，通过所述头尾识别模型对所述第二HOG特征进行二分类，得到对所述骨架另一端的第二识别结果，所述第二识别结果用于表征所述骨架另一端是头部端点还是尾部端点；

基于所述第一识别结果和所述第二识别结果，确定得到所述头部端点和所述尾部端点；

其中，所述头尾识别模型用于根据端点局部区域的HOG特征来判断目标对象的骨架中的端点是属于头部端点还是尾部端点。

15.根据权利要求1所述的方法，其特征在于，所述基于所述骨架形态信息，对所述目标对象进行运动分析，得到所述目标对象的运动成分信息包括：

基于所述骨架形态信息，对所述目标对象的骨架形态进行采样，得到多个采样点各自的骨架切向角所构成的特征向量，所述骨架切向角表征在从头部端点指向尾部端点的有向骨架形态上以所述采样点作为切点所对应切线与水平线之间的夹角；

基于多种预设运动状态，对由所述特征向量所表示的有向骨架形态进行运动成分分解，得到所述运动成分信息。

16.根据权利要求15所述的方法，其特征在于，所述运动成分信息包括所述多种预设运动状态各自的多个特征值；

所述基于多种预设运动状态，对由所述特征向量所表示的有向骨架形态进行运动成分分解，得到所述运动成分信息包括：

对所述多种预设运动状态所指示的预设骨架形态分别进行采样，得到所述多种预设运动状态各自的预设特征向量；

将所述特征向量分解成多个所述预设特征向量与多个特征值各自的乘积之间的和值，将所述多个特征值所构成的特征值序列确定为所述运动成分信息。

17.根据权利要求16所述的方法，其特征在于，所述方法还包括：

将所述特征值序列中包含的所述多个特征值按照从大到小的顺序进行排序，将所述排序中位于前目标位的特征值所对应的预设运动状态确定为运动主成分；

基于所述运动主成分，对所述目标对象在观测时间段内的运动进行分析，得到所述目标对象在所述观测时间段内的运动学特征。

18.一种显微图像的处理装置，其特征在于，所述装置包括：

实例分割模块，用于对显微图像进行实例分割，得到包含所述显微图像中目标对象的实例图像；

骨架提取模块，用于对所述实例图像中的目标对象进行骨架提取，得到所述目标对象的骨架形态信息，所述骨架形态信息表征所述目标对象的骨架所处的形态；

运动分析模块，用于基于所述骨架形态信息，对所述目标对象进行运动分析，得到所述目标对象的运动成分信息，所述运动成分信息是指对所述骨架形态信息进行运动分解所得的作为主成分的多种运动状态各自的特征信息。

19.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求17任一项所述的显微图像的处理方法。

20.一种存储介质，其特征在于，所述存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求17任一项所述的显微图像的处理方法。

Images