CN115079396B - 一种基于100倍物镜的染色体核型分析显微拍摄装置及方法 - Google Patents

Abstract

本发明提供一种基于100倍物镜的染色体核型分析显微拍摄装置及方法，该装置包括均连接于分析控制中心的搭载窄带滤波片的全景相机、高信噪比工业相机、设置100倍物镜的显微镜和电机，所述搭载窄带滤波片的全景相机和所述噪比工业相机均固定设置在所述100倍物镜与待测玻片之间，所述电机与所述显微镜的运动平台连接以控制该运动平台的移动；通过对焦区域的多次划分，基于图像融合技术和深度学习轻量级旋转框检测网络，获得用于核型分析的染色体数目、群落散度，同时获得染色体群落分布坐标并进行调整，获得易于染色体核型分析的核型中期分裂相，更便于后续医生进行染色体核型分析。

Description

一种基于100倍物镜的染色体核型分析显微拍摄装置及方法

技术领域

本发明涉及细胞显微拍摄技术领域，具体涉及一种基于100倍物镜的染色体核型分析显微拍摄装置及方法。

背景技术

现有设备在拍摄100倍显微物镜图像时，通常是根据10倍物镜排序拍摄固定数量的图像（通常是100张），但由于10倍物镜拍摄的核型群落较小，只能进行较粗粒度的群落中染色体数量估计，以及群落分散程度等打分排序，精确性很有限，而实际核型分析需求中要求，根据100倍物镜下拍摄图像进行“计数+排序”，如通用的规则为“排序5张+计数20张”，当20张计数中出现一些图像有明显数目异常时，如有2张以上计数非46条，则需追加分析图像20张，如果仍有问题，则需计数100张，以确定是否存在嵌合体；

而由于现有设备根据10倍镜排序不准确，造成实际拍摄的100倍物镜图像中可用于核型分析的图像往往少于100张，因此对于医生在进行核型分析时如果在已拍摄的100张图中遇到疑似嵌合体，往往需要手动追加拍摄以确定是否嵌合以及具体的嵌合比例。

现有设备在拍摄100倍显微物镜图像时，根据的是10倍物镜下群落检测获得的坐标信息，由于实际物理设备的精度误差和检测误差等，往往会出现染色体核型群落偏离视野中心的情况，一方面导致视野中核型群落染色体无法拍摄完全，造成该图片无法进行核型分析，另一方面若偏移过大还会导致相邻群落的游离染色体进入视野内，导致仅根据当前核型图片无法判断游离染色体所归属的群落，因此无法进行染色体核型计数分析。

另外，现有设备在拍摄100倍显微物镜图像时，背景通常包含一些面积较大的细胞核和杂质等，而我们关注的染色体及其带纹信息相比而言十分微小，因此直接以全局视野为“对焦区域”往往拍出的带纹不够清晰，甚至在背景杂乱比较严重情况下，染色体通常呈现比较模糊的状态，不利于后续医生进行染色体核型分析。

发明内容

为了克服现有技术中存在的不足，本发明提供一种基于100倍物镜的染色体核型分析显微拍摄装置及方法。

为实现上述目的，本发明提供一种基于100倍物镜的染色体核型分析显微拍摄装置，其包括均电性连接于分析控制中心的显微镜和电机，所述分析控制中心用于数据接收、处理，所述显微镜设置载物台和物镜，所述物镜上设置相机，待分析玻片设置在所述载物台上，所述电机与所述载物台连接且所述电机与所述待分析玻片之间无竖直方向上的相对位移，通过所述电机控制所述物镜与所述待分析玻片之间的相对运动；所述电机通过推拉件调整所述待分析玻片在水平方向的移动。

本发明还提供一种基于100倍物镜的染色体核型分析显微拍摄装置的拍摄方法，其包括①通过在图像级，染色体区域级和染色体带纹级”三个层级进行染色体中期分裂相清晰度调整，获取清晰的染色体图像，记录z值和对应的坐标信息；

②基于轻量级旋转框检测网络完成图像中染色体自动计数和各染色体的坐标信息，基于染色体打分规则综合染色体数目信息、染色体散度信息、染色体长度信息和染色体交叉情况，进行排序；

③根据轻量级旋转框检测网络得到染色体群落的外接框

，通过计算 与图像中心坐标(

以及图像边缘的距离判断是否需要移动拍摄中心进行坐标纠偏， 其中

分别为染色体群落外接框的中心点坐标以及长边短边值；所述的轻量级 旋转框检测网络包括特征提取层、特征融合层和检测层，其中所述特征融合层通过自下而 上特征融合和自上而下特征融合共同实现；

④基于步骤②中排序结果以及步骤③坐标纠偏后得到的染色体中期分裂相图像，进行染色体自动计数，当染色体数据异常时进行自动补拍。

所述的轻量级旋转框检测网络包括特征提取层、特征融合层和检测层，其中所述特征融合层通过自下而上特征融合和自上而下特征融合共同实现。

优选的，所述检测层的检测框回归分支利用检测框

，从而直接支持旋 转框的回归，其中

染色体旋转框的中心点坐标以及长边短边值，

为染色体 旋转框长边与水平轴右侧的夹角值。

优选的，步骤②中，所述的染色体打分规则包括计算群落分散程度分数

，具体为，先计算获得染色体群落的中心坐标

，

，

其中x_i、y_i分别表示编号为i的染色体单体横坐标和纵坐标，n表示染色体群落中的染色体单体数目；

再计算获得染色体的散度分数Score _divergence ：

，

其中x_i、y_i分别表示编号为i的染色体单体横坐标和纵坐标，n为染色体群落中的染 色体单体数目，

染色体群落的中心坐标。

优选的，步骤②中，所述的染色体打分规则包括计算群落中染色体长度

，即，

，

其中w_i、y_i表示染色体单体的宽度和高度，i表示染色体单体的编号。

优选的，步骤②中，所述的染色体打分规则包括计算染色体交叉分数

：

其中i表示染色体单体的编号，n表示染色体单体数目。

优选的，步骤④中，所述自动计数还包括统计图像中嵌合体数目，当嵌合体数目异常时，则继续追加拍摄染色体分裂相图像。

本发明的有益效果如下：

1、通过100倍物镜下自适应对焦区域的对焦方法，可以使得染色体带纹拍摄更为清晰，更便于后续医生进行染色体核型分析；

2.通过100倍物镜下轻量级旋转框检测方法，可以准确获得染色体数目和群落散度等信息，通过优选适合染色体核型分析的图像便于医生进行核型分析，同时对于可能存在的染色体嵌合体情况，通过拍摄过程中即时自动计数，对于可能存在的嵌合体进行自动追加拍摄图像，免去医生后续需手动追加拍摄染色体核型群落；

3.通过100倍物镜下轻量级旋转框检测方法，可以获得染色体群落分布情况，对于可能存在的核型群落偏移视野中心情况，可以即时计算偏离纠正的移动方式，然后调用电机移动并重新拍摄。

附图说明

图1为本发明所述的基于深度学习的轻量级旋转框检测网络表示特征提取层、特征融合层和检测层之间的逻辑关系；

图2为本发明步骤①中默认对焦区域A和染色体级别对焦区域B的选取示意图；

图3为本发明所述的IOU计算公式图示；

图4为本发明所述的清晰度评测算法逻辑示意图；

图5为本发明目标检测网络中旋转框检测方式（右）和普通检测框（左）对染色体检测结果对比图；

图6为本发明所述的基于100倍物镜的染色体核型分析显微拍摄装置整体结构示意图。

具体实施方式

为更好的说明本发明的目的、技术方案和优点，下面将结合具体实施例对本申请作进一步说明。

实施例1：

本发明提供了一种用于染色体核型诊断分析器械的可在100倍显微物镜下优选拍摄核型中期分裂相的装置。如图6，该装置包括均电性连接于分析控制中心100的显微镜200和电机300，分析控制中心100用于显微拍摄诊断器械的图像接收、清晰度分析和电机300竖向坐标的数据接收、处理，如MetaSight(®)全自动细胞显微图像扫描系统，显微镜200设置载物台201和物镜202，待分析玻片设置在载物台201上，物镜202上设置相机实现对待分析玻片的拍摄，电机300与载物台201连接且电机300与待分析玻片之间无竖直方向上的相对位移，电机300控制载物台201的竖向移动实现调节物镜202与待分析玻片之间的相对位移，优选的，电机300选择步进电机，待分析玻片的规格为75mm×25mm×1.1mm。电机300还与推拉件连接，并通过推拉件实现对待分析玻片的水平方向移动控制，推拉件的设置参见CN112859316 A。

该装置实现方法可概况为以下过程：

①优化染色体显微拍摄图像的清晰状态：通过在“图像级”，“染色体区域级”和“染色体带纹级”三个层级进行染色体中期分裂相清晰度调整的策略：

Ⅰ.拍摄“默认对焦区域A”的显微图像并测评

步进电机以粗粒度（步长为0.01微米）变动显微镜的载物台纵向坐标z值，在100倍物镜视野下用相机（Basler MED ace 12.3 MP 30 mono）连续拍摄多张染色体分裂相（视野整体大小即图像分辨率为1200, 900），以原点为视野中心，选取大小为(600, 450)的矩形区域为“默认对焦区域A”，通过清晰度评测算法获得该聚焦区域下，即“图像级别最清晰图像”A及对应z值坐标信息z^a；如图2左图。

如图4，以上清晰度评测算法可概括为如下过程：通过对待评测图像进行一次高斯模糊处理，得到该图像的退化图像，然后再比较原图像和退化图像相邻像素值的变化情况，根据变化的大小确定清晰度值的高低，计算结果越小表明图像越清晰，反之越模糊。

Ⅱ.拍摄“对焦区域B”的显微图像并测评

在获得的最清晰图像A中通过轻量级旋转框检测网络获得各染色体的最小外接矩 形，从而定位染色体核型区域，并将所有外接矩形区域合并为“对焦区域B”， “对焦区域B” 相较于默认对焦区域A能够更加准的定位到染色体群落，如图2右图。在显微镜的载物台纵 向坐标z^a值附近（

0.025微米）以较粗粒度（0.005微米）变动z值并连续拍摄多张染色体核 型中期分裂相，通过清晰度评测算法获得该聚焦区域下，即“染色体区域级别最清晰图像”B 及对应z值坐标信息z^b；

Ⅲ. 拍摄“对焦区域C”的显微图像并测评

在获得的最清晰图像B中通过二值化方法获得各染色体的近似前景区域，此二值化方法可概括为：计算最小外接矩形中像素均值mean与标准差std，然后以mean+0.1×std作为二值化阈值从而得到染色体近似前景区域。

将所有染色体近似前景区域区域合并为“对焦区域C”，在z^b值附近（

0.01微米）以 细粒度（0.001微米）变动z值并连续拍摄多张染色体核型中期分裂相，通过清晰度评测算法 获得该聚焦区域下，即“染色体带纹级别最清晰图像”C及对应z值坐标信息z^c；

②获取染色体的坐标信息和“染色体打分规则”：根据“染色体带纹级别最清晰图像”C基于轻量级旋转框检测网络完成图像中染色体自动计数为n，并自动对于百倍镜下拍摄的每一张图进行计数，排除数量过少（n<43）和过多（n>49）染色体图像，同时根据各染色体的坐标信息和“染色体打分规则”，综合染色体数目信息、染色体散度信息、染色体长度信息和染色体交叉情况，每个维度的分值求和，作为整体分值，优选获得易于染色体核型分析的核型中期分裂相。

“染色体打分规则”可概括为如下过程：

假设当前染色体分裂相图像中染色体自动计数为n，每个染色体的旋转框表示为

，其中x_i,y_i,w_i,h_i为染色体旋转框的中心点坐标以及长边短边值，

为染色 体旋转框长边与水平轴右侧的夹角值。

Ⅰ.计算染色体散度分数

：

首先计算获得染色体群落的“中心坐标”

，据此可计 算获得染色体的散度分数：

Ⅱ.染色体长度分数

：

Ⅲ.染色体交叉分数

：

为了便于染色体是否交叉的快速近似计算，需要将染色体的最小外接框转为外接矩形，即将染色体的旋转框转为竖直外接框，这样可以解决原来计算量过高，且无直接可用的加速算法，计算过于耗时的问题，然后根据竖直外接框计算图像中每个染色体与其他染色体IOU值之和，若IOU为0则表示无交叉，若非0则表示有交叉，其中IOU计算公式如图3所示：

当计数过程中存在疑似嵌合体数目异常时，则自动追加拍摄染色体核型图像；

③染色体群落中心坐标纠偏规则：根据上述轻量级旋转框检测网络得到的各染色 体的最小外接旋转框，根据所有最小外接旋转框获得最小外接框，获得染色体群落的外接 框

，其中

为染色体群落外接框的中心点坐标以及长边短边值， 通过计算与图像中心坐标(

以及图像边缘的距离判断是否需要移动拍摄中心，具体 规则如下（以水平方向为例）：

Ⅰ.判断规则：在水平方向上，距离左侧和右侧图像边界的“安全距离”阈值

，其中w为图像整体宽度，因此若

，则需要进行调整。更进一步地，若

，则此染色体群落在水平方向理论上可通过调整电机坐标重新拍摄；

Ⅱ.移动规则：直接根据染色体群落外接框中心坐标

与图像中心坐标

计算所需移动距离，使得两中心重合即可

④嵌合体自动补拍规则：根据上述步骤②中百倍镜打分排序以及坐标纠偏后得到默认地100张百倍镜下拍摄的染色体中期分裂相。通过对这100张图像通过轻量级旋转框检测网络完成图像中染色体自动计数，则需补拍的判断规则为：

统计染色体自动计数数目的分布情况，统计“计数46”，“计数45”，“计数47”的图像 数量

，

，

，若

，则需补 拍至少50张染色体核型中期分裂相。

⑤轻量级旋转框检测网络：上述基于深度学习的目标检测网络，一方面需要减少密集遮挡场景下染色体的交叉检测带来的漏检问题，另一方面需要大幅提高检测网络的检测速度，以提升器械的拍摄速度。

为了降低密集染色体的漏检率，本发明的目标检测网络主要采取旋转框检测方式，这是因为基于普通检测框网络在密集场景下，由于检测网络中通用的NMS（非极大值抑制算法）的原因，会抑制掉两个IOU较高的检测结果，如图5左图所示（虽然检测框检测到不同的染色体，但两个检测框几乎重叠），而如果基于旋转框检测则可以有效规避这个问题。同时为了提升网络的检测速度，本发明将Anchor-free的网络FCOS的检测框修改为旋转框，由于不需要基于Anchor（锚框）进行检测结果的微调，相比于Anchor-based的无论是双阶段还是单阶段网络，所需计算量都大幅降低。

具体地，旋转框检测网络通过轻量级主干网络mobilenet_v3作为特征提取层，得到主干网络中靠近输出层的三个stage对应的输出特征图。同时在特征融合层，通过自下而上的过程通过上采样的方式将下层的小特征图放大到上一个stage的特征图一样的大小。这样的好处是通过将下层较强的语义特征（利于分类）融合进上层的特征图中，从而增强各个stage的特征图上的语义表达，上采样的方法可以用最近邻差值实现。更进一步地，本发明在“自下而上特征融合”的基础上增加了“自上而下特征融合”过程，将上层的高分辨率信息（利于定位）融合进下层的特征图，从而也增强了各个stage的特征图上的定位信息。

在经过特征融合层后，对于每个stage的特征图上每个像素(x,y)，将其映射到原输入图像，在映射后的该点直接回归目标框，而不是把这个点看成目标框的中心点（映射到原输入图像上会有一定的偏移）。相当于把每个点看作训练的样本，而在训练过程中，对于每个点(x,y)，如果它落在某一gt（真实目标框）里面，并且类别和真实目标框的类别是一样的，那么就看成正样本，反之则是负样本，所以可以利用更多的前景样本，而不像Anchor-based的检测器，只把和gt有高IOU的proposals候选框当作正样本。

而在旋转框检测网络的检测头部分，除了保留“中心预测层”，即表示的是(x,y)距 目标中心的标准化后的距离，从而抑制过多的低质量离目标中心远的检测框，以及通用的 分类层得到分类是否为染色体的类别信息，本发明修改了FCOS中的检测框回归分支，即将 预测坐标（x, y, w, h）修改为预测

，从而直接支持旋转框的回归。

最后所应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (6)

1.一种基于100倍物镜的染色体核型分析显微拍摄装置的显微拍摄方法，其特征在于：包括均电性连接于分析控制中心的显微镜和电机，所述分析控制中心用于数据接收、处理，所述显微镜设置载物台和物镜，所述物镜上设置相机，待分析玻片设置在所述载物台上，所述电机与所述载物台连接且所述电机与所述待分析玻片之间无竖直方向上的相对位移，通过所述电机控制所述物镜与所述待分析玻片之间的相对运动；所述电机通过推拉件调整所述待分析玻片在水平方向的移动；

所述的基于100倍物镜的染色体核型分析显微拍摄装置的显微拍摄方法，其包括以下步骤，

①通过在图像级，染色体区域级和染色体带纹级三个层级进行染色体中期分裂相清晰度调整，获取清晰的染色体图像，记录载物台纵向坐标z值和对应的坐标信息；

②基于轻量级旋转框检测网络完成图像中染色体自动计数和各染色体的坐标信息，基于染色体打分规则综合染色体数目信息、染色体散度信息、染色体长度信息和染色体交叉情况，进行排序；

③根据轻量级旋转框检测网络得到染色体群落的外接框

，通过计算与图 像中心坐标(

以及图像边缘的距离判断是否需要移动拍摄中心进行坐标纠偏，其中

分别为染色体群落外接框的中心点坐标以及长边短边值；所述的轻量级旋转 框检测网络包括特征提取层、特征融合层和检测层，其中所述特征融合层通过自下而上特 征融合和自上而下特征融合共同实现；

④基于步骤②中排序结果以及步骤③坐标纠偏后得到的染色体中期分裂相图像，进行染色体自动计数，当染色体数据异常时进行自动补拍。

2.根据权利要求1所述的基于100倍物镜的染色体核型分析显微拍摄装置的显微拍摄 方法，其特征在于：所述检测层的检测框回归分支利用检测框

，从而直接支持 旋转框的回归，其中

染色体旋转框的中心点坐标以及长边短边值，

为染色 体旋转框长边与水平轴右侧的夹角值。

3.根据权利要求1所述的基于100倍物镜的染色体核型分析显微拍摄装置的显微拍摄 方法，其特征在于：步骤②中，所述的染色体打分规则包括计算群落分散程度分数

，具体为，先计算获得染色体群落的中心坐标

，

，

其中x_i、y_i分别表示编号为i的染色体单体横坐标和纵坐标，n表示染色体群落中的染色体单体数目；

再计算获得染色体的散度分数Score _divergence ：

，

其中x_i、y_i分别表示编号为i的染色体单体横坐标和纵坐标，n为染色体群落中的染色体 单体数目，

染色体群落的中心坐标。

4.根据权利要求1所述的基于100倍物镜的染色体核型分析显微拍摄装置的显微拍摄 方法，其特征在于：步骤②中，所述的染色体打分规则包括计算群落中染色体长度

，即，

，

其中w_i、h_i表示染色体单体的宽度和高度，i表示染色体单体的编号，n为染色体单体数目。

5.根据权利要求1所述的基于100倍物镜的染色体核型分析显微拍摄装置的显微拍摄 方法，其特征在于：步骤②中，所述的染色体打分规则包括计算染色体交叉分数

：

，

其中i表示染色体单体的编号，n表示染色体单体数目。

6.根据权利要求1所述的基于100倍物镜的染色体核型分析显微拍摄装置的显微拍摄方法，其特征在于：步骤④中，所述自动计数还包括统计图像中嵌合体数目，当嵌合体数目异常时，则继续追加拍摄染色体分裂相图像。

Images