CN110675354B - 发育生物学的图像处理方法、系统及存储介质 - Google Patents

Abstract

本发明涉及一种发育生物学的图像处理方法、系统及存储介质，该方法包括以下步骤：S1、分别将同一视角、不同照明方向的两组胚胎图像进行融合；S2、对融合图像的背景区域进行处理，分别提取胚胎细胞所在的图像区域；S3、双视角融合，获得单时间点的完整胚胎图像；S4、对不同时间点的完整胚胎图像的总体位移进行校正，得到胚胎在原始位置的长时间发育数据。本发明能够获得单细胞水平的完整斑马鱼胚胎图像，去除了不同时间点间的胚胎整体位移，能够获得胚胎在原始位置的长时间发育数据。

Description

发育生物学的图像处理方法、系统及存储介质

技术领域

本发明是关于一种发育生物学的图像处理方法、系统及存储介质，涉及发育生物学成像技术领域。

背景技术

光片荧光显微镜在成像时，采用一层薄片层光将生物样本选择性照明，激发样本中的荧光蛋白发出荧光进行成像。光片即在一个维度压缩，在另外两维度扩展的光。这样，可以确保样本只有一个片层被照亮，进而减小了除该层之外光照的干扰。在照明的同时，观察物镜从与光片垂直的方向接收样本发出的荧光，进而获得该层样本的细胞分布、细胞形态等信息。上述方式的优点在于，在拍摄时样本仅有被成像的部分被照明，整体曝光时间短，因此具有低光毒性、低光漂白性的优点，能够保证样本的长时间拍摄。另外，由于拍摄时会同时拍摄整个平面，比起一次成像一个点的双光子显微镜、共聚焦显微镜的速度有明显提升。综上，光片荧光显微镜特别适合进行发育生物学的成像。

现有技术中，尚无能够基于光片显微成像技术在单细胞水平上获得整个斑马鱼胚胎的长时间发育图像的研究方法。

发明内容

针对上述问题，本发明的目的是提供一种能够将多角度拍摄的光片图像进行融合、提取、配准的发育生物学的图像处理方法、系统及存储介质。

为实现上述目的，本发明采取以下技术方案：

本发明实施例的第一方面，提供一种发育生物学的图像处理方法，包括以下步骤：

S1、分别将同一视角、不同照明方向的两组胚胎图像进行融合；

S2、对融合图像的背景区域进行处理，分别提取胚胎细胞所在的图像区域；

S3、双视角融合，获得单时间点的完整胚胎图像；

S4、对不同时间点的完整胚胎图像的总体位移进行校正，得到胚胎在原始位置的长时间发育数据。

进一步地，上述步骤S1之前还包括获取不同时间点双视角图像的步骤，具体为：采用双视角检测，每个视角从左右方分别照明的方式拍摄，每个时间点将获得四组图像。

进一步地，图像拍摄时采用的是从左右两个方向分别照明，并采用0°和180°分别拍摄，对于单时间点胚胎的完整图像，采用四组图像完整记录，分别为：左方照明0°拍摄、右方照明0°拍摄、左方照明180°拍摄以及右方照明180°拍摄四组。

进一步地，上述步骤S1的具体过程为：设置图像中间某部分作为过渡区域，在过渡区域内，采用加权融合的方式，使得图像在从清晰到模糊的过程中，在最终获得结果图像中所占权重逐渐降低，在过渡区域外，仅保留清晰一侧的图像。

进一步地，上述步骤S2的具体过程为：

S21、采用顶帽变换对图像背景区域进行处理；

S22、将去除背景的图像进行二值化；

S23、对二值图像进行图像开操作；

S24、将所述S23开操作后的二值图像和所述S21去除背景的图像进行点乘，获得胚胎细胞所在的图像区域。

进一步地，上述步骤S3的具体过程为：

S31、配准z方向位移：选择结构相似性作为判定标准，在0°视角图像，选择一张图像A，将其与180°视角的全部图像进行匹配，将图像A与180°视角中每一张图像求结构相似性，在获得的SSIM分布结果中，对应SSIM最大值的图像序号，其对应的图像即为图像A’，获得了两个视角在沿z方向的平移量；

S32、配准x和/或y方向位移：从0°视角和180°视角两组图像中选取清晰度最为接近的一层，将其重叠可以看到其存在x和/或y方向的位移，采用傅里叶-梅林变换进行配准，获得沿x和/或y方向的位移量，将180°视角的图像组按照该位移量进行平移，即可将两组图像对齐，其中，采用图像的平均亮度作为清晰度的表征，当平均亮度差最小时，认为该层在两个视角中的两张图像清晰度最接近；

S33、图像堆对齐取二者的最大值，即可获得融合完成后的单时间点全景图像堆，其中包含一个完整胚胎的全部信息。

进一步地，上述步骤S4的过程为：

S41、对时间点1获得的胚胎图像进行主视图与左视图投影，对时间点2获得的胚胎图像进行同样的主视图与左视图投影；

S42、将两主视图进行傅里叶-梅林变换，可获得两时间点之间xy方向的胚胎平移量；

S43、将两左视图进行傅里叶-梅林变换，可获得两时间点之间yz方向的胚胎平移量；

S44、将偏移量应用于整个图像组进行校正，得到胚胎在原始位置的长时间发育数据。

本发明实施例的第二方面，提供一种发育生物学的图像处理系统，该系统包括：

图像融合模块，用于分别将同一视角、不同照明方向的两组胚胎图像进行融合；

背景处理模块，用于对融合图像的背景区域进行处理，分别提取胚胎细胞所在的图像区域；

双视角融合模块，用于双视角融合，获得单时间点的完整胚胎图像；

位移矫正模块，用于对不同时间点的完整胚胎图像的总体位移进行校正，得到胚胎在原始位置的长时间发育数据。

本发明实施例的第三方面，提供一种计算机程序，包括计算机程序指令，其中，所述程序指令被处理器执行时用于实现所述的发育生物学的图像处理方法对应的步骤。

本发明实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，其中，所述程序指令被处理器执行时用于实现所述的发育生物学的图像处理方法对应的步骤。

本发明由于采取以上技术方案，其具有以下优点：采用本发明的图像处理方法处理后，获得的图像不仅能够获得单细胞水平的完整斑马鱼胚胎图像；而且图像总体大小被大幅压缩，仅为原始数据的1/10以内；另外，去除了不同时间点间的胚胎整体位移，能够获得胚胎在原始位置的长时间发育数据。

附图说明

图1为本实施例1拍摄的单组三维图像堆示意，并给出了xyz方向的定义；

图2为本实施例1展示的是4组图像沿y方向的最大值投影，图中，每张投影上水平方向的箭头指示了该组图像拍摄时的照明方向，竖直方向的箭头指示了该组图像拍摄时的拍摄方向，Scale bar：50μm；

图3为本实施例1的胚胎的整体位移示意图，圆球为斑马鱼胚胎形状示意，长方体框画出了视场范围，较深的球为胚胎在移动前所在的空间位置，比较接近视场边缘，较浅的球为胚胎在移动后所在的空间位置，接近视场中央；

图4为本实施例1的同一视野的同一平面从左右分别照明获得的图像，图像在远离照明方向的一侧较为模糊；

图5为本实施例1的左右融合中使用的权重分布示意；

图6为本实施例1左右融合步骤中，加权融合与最大值融合、均值融合效果的对比，加权融合能够有效防止对比度降低，Scale bar：50μm；

图7为本实施例1展示了减背景与提取信号区域一步中，减背景、形态学操作的具体操作，以及最终获得的结果，Scale bar：50μm；

图8为本实施例1经过左右融合后获得的2组图像沿y方向的最大值投影，竖直方向的箭头指示了该组图像拍摄时的拍摄方向，Scale bar：50μm；

图9为本实施例1的0°视角获得的图像组中靠近中央的一张图像与180°图像组中所有图像计算结构相似性获得的结果；

图10为本实施例1的0°与180°两组图像经过z方向配准后，清晰度最接近的层在两组图像中分别的图像，与其重合展示结果，Scale bar：50μm；

图11为本实施例1展示了经过上面过程后获得的单时间点完整胚胎图像；

图12为不同时间点之间的胚胎图像位移校正过程。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

光片照明时，由于生物个体均存在一定的厚度，由于光的散射，单侧照明能够清晰照明的样品部分十分有限，而同时照明又会造成模糊影像与清晰影像的叠加，成像分辨率下降。随着接收光路深度的增加，成像质量也会快速下降。为了尽可能保留清晰的样本图像，本实施例采用双视角检测，每个视角从左右方分别照明的方式拍摄，由此，对于每个时间点将获得四组图像，每组图像为一三维图像堆。为了方便描述，规定单张图像为xy轴延伸方向，图像堆方向为z轴延伸方向，如图1所示。

图像拍摄时采用的是从左右两个方向分别照明、从0°和180°分别拍摄的，所以对于单时间点胚胎的完整图像，需要用4组图像来完整记录，如图2所示，即：左方照明0°拍摄(图2a)、右方照明0°拍摄(图2b)、左方照明180°拍摄(图2c)、右方照明180°(图2d)拍摄四组。可以看出，每组图片只有1/4的部分是清晰的，这样就需要用行之有效的方法将它们融合成一个完整的、全方位清晰的图像。

由于本实施例获得的原始图像是逐像素记录、完全无压缩的16位位深图像，所以每张1920*1920图像的体积就为16bits÷8bits/B*1920*1920÷1024B/KB÷1024KB/MB＝7.03MB大小，在z方向，每个胚胎使用了260张图像进行拍摄，即使按照融合后的结果计算，单个时间点的图像堆总大小为7.03MB*260＝1827MB，即为存储单个时间点，就需要1.8GB的空间，这无疑给存储、传输都造成了巨大的压力。同时，图像中的背景面积远远大于真正需要的信号，即胚胎细胞所在的面积，而在背景部分，因为相机采集时的随机噪声等原因，也有着轻微的亮度波动，虽然对于人眼来说像是全黑的，但对于计算机来说也需要当成不同的像素对待，不仅浪费了空间，尤其是在后期计算的时候会浪费大量算力。所以，在图像处理中仅提取出胚胎细胞所在的区域，将其他归为背景部分的亮度全部舍弃，结合图像压缩领域通用的行程长度压缩方式，在这里体现为tif图像的紧缩位编码，能够极大地减小图像体积。

此外，由于视场大小的限制，在拍摄过程中，可能会人为引入胚胎的整体位移，如图3所示。由于胚胎的发育，胚胎所在的位置逐渐接近视场边缘，如图中的深灰色球体位置，为了防止其长出视场，保持对完整胚胎的采集，需要将胚胎平移到接近视场中央的位置，如图中浅灰色球体的位置，这便引入了胚胎的整体位移。因为人为引入胚胎整体位移的目的是使视场完整覆盖胚胎样本，所以此处的位移仅存在于平移。为了实现对单细胞的追踪分析，首先需要确保发育过程中，胚胎整体保持在相同的空间位置上。所以，后期图像处理的过程中，同样需要对这里造成的胚胎整体位移进行处理，即将不同时间点的胚胎图像对齐。

基于上述原理，本实施例提供的发育生物学的图像处理方法，包括以下步骤：

S1、左右照明融合，用于将同一视角拍摄，不同照明方向两组的图像，如图2a和图2b融合为一组图像。

在成像时，左右照明切换的过程中光片的位置、样本的位置和成像物镜的位置都是保持不动的，所以左右照明获得的图像可以认为是同一视野的同一平面所成，例如图4a和图4b为某时间点拍摄的胚胎图像其中一层，图4a为左侧照明，图4b为右侧照明。本步骤的目的就是将其融合为单张，并将同样的方法应用在整组图像上，最终将左右两组图像融合为一组。

由于图像在远离照明方向的一侧较为模糊，希望保留图像清晰的部分，并避免在过渡中产生突变。因此，取一段接近中央的部分作为过渡区域(具体选择根据需要即可，在此不做限定)，在过渡区域内，采用加权融合的方式，使得图像在从清晰到模糊的过程中，在最终获得结果图像中所占权重逐渐降低，在过渡区域外，仅保留清晰一侧的图像，权重分布如图5所示。其中，权重分布的含义为，沿水平方向(即照明方向)，左方照明获得的图像像素在加权图像中的如图5中的权重，加权融合的具体过程为，比如，“左侧照明权重”的第998个值是0.8，则在左方照明获得的图像中，第998列的图像亮度就变为原来的0.8倍，对于每一列都是这样操作，右方照明获得的图像，按“右侧照明权重”的权重加权，同理操作。将权重应用到两个方向照明的图像中之后，将二者相加，即可获得最终的加权图像。

与直接取两图像的最大值(图6b)、直接取两图像的平均值相比(图6c)，加权融合(图6a)能够防止图片对比度的降低。值得注意的是，如果简单取平均值，就相当于两侧同时照明的效果，图6d展示了沿图6a、图6b、图6c中沿划线的亮度分布。

S2、减背景，提取信号区域，用于获得真正需要的信号，即胚胎细胞所在的图像区域。

具体地，首先使用图像处理领域中减背景的经典方法，顶帽变换减去图片背景，结构元素选取为方形，边长为预估最大细胞的直径的1.25倍，例如：预估最大的细胞直径约为30个像素，则选取结构元素为边长为38像素的方形，减背景后获得的图像如图7a。

由于样本信号的亮度一般大于100，选择50(以此为例，不限于此)作为阈值，将图像二值化，如图7b。

为了去除背景中仍存在的部分噪点，可以选用半径为2(以此为例，不限于此)的圆盘形结构元素对二值图像进行图像开操作，如图7c。

之后将二值图像(图7c)和减背景后获得的图像(图7a)进行点乘，即获得了去除背景，仅保留了样本信号的图像，如图7d。

经过左右照明融合和减背景与信号区域提取，最终将单时间点的4组图像融合为了2组，具体地，将图2a、图2b融合为了图8a，图2c、图2d融合为了图8b。

S3、双视角融合，用于获得单时间点的完整胚胎。

经过左右照明融合和信号区域提取后，每个时间点将有2组图像(图8)，分别为从0°视角(图8a)与180°视角(图8b)探测获得的图像，且二者的位移仅存在于平移。二者分别在z较大(0°)和较小(180°)的时候图像较为清晰，另一端较为模糊。

由于拍摄时采用对样本进行旋转的方式，而样本旋转的转轴不一定与视野中央重合，所以旋转后的胚胎一般不在视野的原位，0°和180°两组图像间存在空间上的位移。

为了配准2组图像在空间上的位移，具体为：因为两个视角拍摄的时间间隔很短，远远快于胚胎发育的速度，可以认为是同一时间拍摄，胚胎没有变化。如果180°视角图像组中的某一层图像A，和0°视角图像组中的某一层图像A’十分相似，即可认为这两张图片拍摄的是同一物理层，进而依据这两张图像的位移，就可以获得两组图像的相对位移。在选取作为对照的图像层的时候需要注意，A和A’的清晰度应大体相似，否则，如果一张图特别清晰，另一张图只有一个模糊的虚影，显然它们不可能良好匹配。

为了表征相似程度，选择结构相似性(Structural Similarity Index，SSIM)作为判定的标准。在0°视角的开始由清晰变得模糊的，靠近中央的区域中，选择一张图像A，将其与180°视角的全部图像进行匹配。将图像A与180°视角中每一张图像求结构相似性，获得的SSIM分布的结果(图9)中，对应SSIM最大值的图像序号，其对应的图像即为图像A’。这样就获得了两个视角在沿z方向的平移量。例如，如果选取的0°视角中的图像A序号为110，对应180°视角图像中的SSIM最大的图像序号为115，则180°视角的图像组应沿z方向平移5张图像，即舍弃前5张，则平移后180°视角中原本第6张图像变为了第1张，第7张变为第2张…以此类推，经过上面的步骤，首先配准了z方向的位移。

接着，为了配准x和/或y方向的位移，从两组图像中选取清晰度最为接近的一层。采用图像的平均亮度作为清晰度的表征，当平均亮度差最小时，认为该层在两个视角中的两张图像清晰度最接近。选取的图像如图10a(0°)，图10b(180°)所示，将其重叠可以看到其存在x方向的位移(图10c)，因为样本在旋转过程中，旋转轴沿y方向，所以不存在y方向位移，仅需要配准x方向。这里的位移采用傅里叶-梅林变换进行配准，获得沿x方向的位移量，如果使用其他拍摄方式，存在y方向位移，采用同样的傅里叶-梅林变换步骤即可同时进行配准，将180°视角的图像组按照该位移量进行平移，即可将两组图像对齐。

由于之前已经完成了图像的提取步骤，除了有用的信号以外的像素都已经归0，所以，图像堆对齐后，只需取二者的最大值，即可获得融合完成后完整的单时间点全景图像堆，其中包含一个完整胚胎的全部信息，如图11。

S4、不同时间点的总体位移校正，用于校正人为引入的胚胎的整体位移，得到胚胎在原始位置的长时间发育数据。

如图3所示，在不同时间点的位移校正中，以存在人为引入位移的两临近时间点为例进行说明。

首先对时间点1获得的胚胎图像进行主视图(图12a)与左视图投影(图12b)，对时间点2获得的胚胎图像进行同样的主视图(图12c)与左视图投影(图12d)。

其次，将两主视图进行傅里叶-梅林变换，可获得两时间点之间xy方向的胚胎平移量；

然后，将两左视图进行傅里叶-梅林变换，可获得两时间点之间yz方向的胚胎平移量，这样就获得了胚胎向xyz三个方向的总体位移。

最后，将偏移量应用于整个图像组，即可进行校正。

经校正后，两时间点图像主视图(图12e)和左视图(图12f)重合，说明两时间点的图像中，胚胎在同一空间位置，由此获得了可用于进一步追踪分析的单细胞水平、高对比、低冗余、小体积的，整个斑马鱼胚胎的长时间发育图像。

实施例2：

本实施例提供一种发育生物学的图像处理系统，该系统包括：

图像融合模块，用于分别将同一视角、不同照明方向的两组胚胎图像进行融合；

背景处理模块，用于对融合图像的背景区域进行处理，分别提取胚胎细胞所在的图像区域；

双视角融合模块，用于双视角融合，获得单时间点的完整胚胎图像；

位移矫正模块，用于对不同时间点的完整胚胎图像的总体位移进行校正，得到胚胎在原始位置的长时间发育数据。

实施例3：

本实施例提供一种计算机程序，包括计算机程序指令，其中，所述程序指令被处理器执行时用于实现所述的发育生物学的图像处理方法对应的步骤，其中，本实施例基于MathWorks公司的产品MATLAB2018b写成。

实施例4：

本实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，其中，所述程序指令被处理器执行时用于实现所述的发育生物学的图像处理方法对应的步骤。

最后应当说明的是：以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制，尽管参照上述实施例对本申请进行了详细的说明,所属领域的普通技术人员应当理解：本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在申请待批的权利要求保护范围之内。

Claims (9)

1.一种发育生物学的图像处理方法，其特征在于包括以下步骤：

S1、分别将同一视角、不同照明方向的两组胚胎图像进行融合；

S2、对融合图像的背景区域进行处理，分别提取胚胎细胞所在的图像区域；

S3、双视角融合，获得单时间点的完整胚胎图像；

S4、对不同时间点的完整胚胎图像的总体位移进行校正，得到胚胎在原始位置的长时间发育数据，具体过程包括：

S41、对时间点1获得的胚胎图像进行主视图与左视图投影，对时间点2获得的胚胎图像进行同样的主视图与左视图投影；

S42、将两主视图进行傅里叶-梅林变换，可获得两时间点之间xy方向的胚胎平移量；

S43、将两左视图进行傅里叶-梅林变换，可获得两时间点之间yz方向的胚胎平移量；

S44、将偏移量应用于整个图像组进行校正，得到胚胎在原始位置的长时间发育数据。

2.根据权利要求1所述的图像处理方法，其特征在于，上述步骤S1之前还包括获取不同时间点双视角图像的步骤，具体为：采用双视角检测，每个视角从左右方分别照明的方式拍摄，每个时间点将获得四组图像。

3.根据权利要求2所述的图像处理方法，其特征在于，图像拍摄时采用的是从左右两个方向分别照明，并采用0°和180°分别拍摄，对于单时间点胚胎的完整图像，采用四组图像完整记录，分别为：左方照明0°拍摄、右方照明0°拍摄、左方照明180°拍摄以及右方照明180°拍摄四组。

4.根据权利要求1～3任一项所述的图像处理方法，其特征在于，上述步骤S1的具体过程为：

设置图像中间某部分作为过渡区域，在过渡区域内，采用加权融合的方式，使得图像在从清晰到模糊的过程中，在最终获得结果图像中所占权重逐渐降低，在过渡区域外，仅保留清晰一侧的图像。

5.根据权利要求1～3任一项所述的图像处理方法，其特征在于，上述步骤S2的具体过程为：

S21、采用顶帽变换对图像背景区域进行处理；

S22、将去除背景的图像进行二值化；

S23、对二值图像进行图像开操作；

S24、将所述S23开操作后的二值图像和所述S21去除背景的图像进行点乘，获得胚胎细胞所在的图像区域。

6.根据权利要求1～3任一项所述的图像处理方法，其特征在于，上述步骤S3的具体过程为：

S31、配准z方向位移：选择结构相似性作为判定标准，在0°视角图像，选择一张图像A，将其与180°视角的全部图像进行匹配，将图像A与180°视角中每一张图像求结构相似性，在获得的SSIM分布结果中，对应SSIM最大值的图像序号，其对应的图像即为图像A’，获得了两个视角在沿z方向的平移量；

S32、配准x和/或y方向位移：从0°视角和180°视角两组图像中选取清晰度最为接近的一层，将其重叠可以看到其存在x和/或y方向的位移，采用傅里叶-梅林变换进行配准，获得沿x和/或y方向的位移量，将180°视角的图像组按照该位移量进行平移，即可将两组图像对齐，其中，采用图像的平均亮度作为清晰度的表征，当平均亮度差最小时，认为该层在两个视角中的两张图像清晰度最接近；

S33、图像堆对齐取二者的最大值，即可获得融合完成后的单时间点全景图像堆，其中包含一个完整胚胎的全部信息。

7.一种发育生物学的图像处理系统，其特征在于，该系统包括：

图像融合模块，用于分别将同一视角、不同照明方向的两组胚胎图像进行融合；

背景处理模块，用于对融合图像的背景区域进行处理，分别提取胚胎细胞所在的图像区域；

双视角融合模块，用于双视角融合，获得单时间点的完整胚胎图像；

位移矫正模块，用于对不同时间点的完整胚胎图像的总体位移进行校正，得到胚胎在原始位置的长时间发育数据，具体过程包括：

对时间点1获得的胚胎图像进行主视图与左视图投影，对时间点2获得的胚胎图像进行同样的主视图与左视图投影；

将两主视图进行傅里叶-梅林变换，可获得两时间点之间xy方向的胚胎平移量；

将两左视图进行傅里叶-梅林变换，可获得两时间点之间yz方向的胚胎平移量；

将偏移量应用于整个图像组进行校正，得到胚胎在原始位置的长时间发育数据。

8.一种计算机设备，其特征在于，包括计算机程序指令，其中，所述程序指令被处理器执行时用于实现权利要求1～6任一项所述的发育生物学的图像处理方法对应的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，其中，所述程序指令被处理器执行时用于实现权利要求1～6任一项所述的发育生物学的图像处理方法对应的步骤。

Images