CN115079393B - 一种基于10倍物镜的染色体核型分析显微拍摄装置及方法 - Google Patents

一种基于10倍物镜的染色体核型分析显微拍摄装置及方法 Download PDF

Info

Publication number
CN115079393B
CN115079393B CN202210999077.9A CN202210999077A CN115079393B CN 115079393 B CN115079393 B CN 115079393B CN 202210999077 A CN202210999077 A CN 202210999077A CN 115079393 B CN115079393 B CN 115079393B
Authority
CN
China
Prior art keywords
chromosome
community
image
objective lens
scoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210999077.9A
Other languages
English (en)
Other versions
CN115079393A (zh
Inventor
韦然
宋宁
晏青
吕明
马伟旗
唐悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Daigens Biotech Ltd
Original Assignee
Hangzhou Daigens Biotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Daigens Biotech Ltd filed Critical Hangzhou Daigens Biotech Ltd
Priority to CN202210999077.9A priority Critical patent/CN115079393B/zh
Publication of CN115079393A publication Critical patent/CN115079393A/zh
Application granted granted Critical
Publication of CN115079393B publication Critical patent/CN115079393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明提供一种基于10倍物镜的染色体核型分析显微拍摄装置及方法,其智能分析系统与搭载特定波段窄带滤波片的全景相机、科研级显微镜、高信噪比工业相机和电机之间电性连接;在相同对焦情况下分别获取10倍物镜和100倍物镜的拍摄图像,对图像进行、yolov5目标检测神经网络、特征点匹配算法对邻接的拍摄图像进行自动转换与对齐和自适应合并,对各个染色体群落进行群落分散程度、群落中染色体数量、群落中染色体长度三个维度的深度学习打分,从而获得染色体群落质量水平,避免了核型群落因为未拍摄完全往往存在漏检,或检测不完全的情况,直接得到真正适合用于核型分析的固定数量的染色体核型群落,便于医生定量检测诊断。

Description

一种基于10倍物镜的染色体核型分析显微拍摄装置及方法
技术领域
本发明涉及染色体图像分析技术领域,具体涉及一种基于10倍物镜的染色体核型分析显微拍摄装置及方法。
背景技术
染色体图像分析系统通过摄像机将显微镜下观察到的染色体实时图像拍摄下来并传输到电脑上,再利用染色体图像分析软件进行图像调节处理、分割粘连和重叠的染色体、核型识别与排列、报告设计等操作,最后经检验医生确认后即可打印出图文并茂,清晰直观的染色体检查报告。
现有设备根据确定的焦平面,10倍物镜下遍历扫描,这会带来两个问题:①每个视野内的边缘存在一些染色体群落,这些群落因为未拍摄完全往往存在漏检,或检测不完全的情况;②每个图像中检测到的群落图像坐标为相对于所在图片左上角坐标,虽然可以根据图片对应全局坐标获得对应群落图像全局坐标,但由于实际设备电机距离和载物平台存在一定误差,导致群落全局坐标直接转换存在一定的误差,进而导致后续100倍镜下对应群落拍摄存在偏离中心,甚至群落边缘不在视野内的情况;这是一种明显可见的误差被放大的情况。
现有设备下进行传统的检测群落坐标的方法,也会带来2个问题:①级联检测器速度慢,由于背景复杂,核型群落漏检误检问题多;②检测框“嵌套问题”,“检测框iou较大”,导致后续100倍物镜拍摄时同视野下多次重复检测。
传统的排序往往根据检测框的置信度直接排序,更多的是反映“是否”为染色体群落的置信度,无法准确反映染色体群落质量的好坏,这与核型群落拍摄的本质需求关联度低,核型群落拍摄首先要求染色体数量要足够,核型群落分散程度适中,群落中染色体长度较长,这导致传统的群落打分排序又带来2个问题:①100倍物镜拍摄可用于核型分析的有效图像少,不便于定量检测诊断,医生往往会需要重新手动补拍;②对于固定数量(如100个核型群落)拍摄方法,其中可用图像过少会使得低比例嵌合群落漏检风险高。
发明内容
为了克服现有技术中存在的不足,本发明提供一种基于10倍物镜的染色体核型分析显微拍摄装置及方法。
为实现上述目的,本发明提供一种基于10倍物镜的染色体核型分析显微拍摄装置,其包括均电性连接于分析控制中心的显微镜和电机,所述分析控制中心用于数据接收、处理,所述显微镜设置载物台和物镜,所述物镜上设置相机,待分析玻片设置在所述载物台上,所述电机与所述载物台连接且所述电机与所述待分析玻片之间无竖直方向上的相对位移,通过所述电机控制所述物镜与所述待分析玻片之间的相对运动;所述电机通过推拉件调整所述待分析玻片在水平方向的移动。
本发明提供一种基于10倍物镜的染色体核型分析显微拍摄装置的拍摄方法,其包括以下步骤:
①根据对焦需要控制所述电机调整所述载物台的纵坐标z值,进行全玻片扫描获取10倍物镜下拍摄图像,通过yolov5目标检测神经网络自动获得所有染色体群落相对于所在图片左上角的坐标及坐标区间;
③从群落分散程度、群落中染色体数量、群落中染色体长度三个维度对步骤①得到的拍摄图像进行量化打分,采用深度学习打分模型对所述拍摄图像进行打分评价,获得染色体群落质量水平;
其中步骤③中,所述的量化打分包括计算群落分散程度分数
Figure DEST_PATH_IMAGE001
,具体 为,
先计算获得染色体群落的中心坐标
Figure 885017DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
其中xi、yi 分别表示编号为i的染色体单体横坐标和纵坐标,n表示染色体群落中的染色体单体数目;
再计算获得染色体的散度分数Score divergence
Figure 360998DEST_PATH_IMAGE004
其中xi、yi 分别表示编号为i的染色体单体横坐标和纵坐标,n为染色体群落中的 染色体单体数目,
Figure DEST_PATH_IMAGE005
染色体群落的中心坐标。
优选的,步骤③中,所述的量化打分包括计算群落中染色体长度
Figure 569606DEST_PATH_IMAGE006
,即,
先对群落中染色体单体计算染色体宽度
Figure DEST_PATH_IMAGE007
Figure 636788DEST_PATH_IMAGE008
其中19、20表示第19号染色体单体、第20号染色体单体,j表示染色体单体的编号;
再基于群落中染色体单体计算染色体掩膜面积:由Area()函数执行,通过直接对染色体单体掩膜像素点个数求和实现;
最后计算染色体长度分数
Figure 871461DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE009
其中1、2、3分别表示第1号染色体单体、第2号染色体单体、第3号染色体单体。
优选的,步骤③中,所述的量化打分包括计算群落染色体数目分数
Figure 151132DEST_PATH_IMAGE010
,根 据n的取值采用不同的函数计算,具体为,
Figure DEST_PATH_IMAGE011
其中,n为染色体群落中的染色体单体数目。
优选的,所述计算染色体长度分数
Figure 217177DEST_PATH_IMAGE006
过程中,选择1,2,3、19、20号染色体 进行,具体如下,
a).获得1,2,3号染色体的掩膜面积;
b).获得19,20号染色体的染色体最小外接框坐标
Figure 861785DEST_PATH_IMAGE012
,求 得染色体宽度
Figure DEST_PATH_IMAGE013
,其中x,y,w,h为染色体旋转框的中心点坐标以及长边短边值,
Figure 632689DEST_PATH_IMAGE014
为染色体 旋转框长边与水平轴右侧的夹角值;
c).用步骤a)获取的染色体各自掩膜面积除以步骤b)获得的染色体宽度wi,得到1,2,3号染色体的染色体长度。
本发明提供一种基于10倍物镜的染色体核型分析显微拍摄装置的拍摄方法,其包括以下步骤:
①根据对焦需要控制所述电机调整所述载物台的纵坐标z值,进行全玻片扫描获取10倍物镜下拍摄图像,通过yolov5目标检测神经网络自动获得所有染色体群落相对于所在图片左上角的坐标及坐标区间;
②筛选染色体群落处于视野边缘的邻接的拍摄图片,以染色体群落的坐标及坐标区间为检测子,采用基于SIFT图像特征点匹配算法对邻接的拍摄图像进行自动转换与对齐,并根据每张邻接图像检测到的图像边缘的群落坐标及坐标区间进行自适应合并,通过合并邻接的单视野下的群落检测结果获得群落的完整坐标,并根据完整坐标从对应图像中截取出相应的完整染色体群落图像用于后续的基于深度学习的打分模型进行打分;
③对得到的所述完整染色体群落图像,从群落分散程度、群落中染色体数量、群落中染色体长度三个维度进行量化打分,再采用深度学习打分模型对所述完整染色体群落图像进行打分评价,获得染色体群落质量水平。
优选的,步骤②中,所述自适应合并的具体步骤为:以两检测框中最小的检测框作为IOU计算的分母,进行计算,
1)当图像A边缘检测到的群落与图像B检测到的群落存在包含关系时,直接取图像B检测到的群落坐标;
2)在图像A和图像B的公共交集部分,当图像A检测到的群落与图像B检测到的群落交并比较大时,取两者并集作为保留下的群落坐标。
优选的,所述筛选染色体群落处于视野边缘的邻接的拍摄图像,其为通过深度学习实例分割模型MaskRCNN对于拍摄图像进行实例分割,获得每条染色体的掩码以及对应染色体类别。
优选的,所述的深度学习打分模型包括特征提取部分、权重配置部分和多打分维度预测部分;
所述权重配置部分包括特征加权部分、多打分维度分支加权部分,所述的多打分维度预测部分对群落分散程度、群落中染色体数量和群落中染色体长度三个维度进行分别打分;所述的特征加权部分引入通道注意力权重和空间注意力权重进行加权融合到原始特征图中。
优选的,所述的多打分维度分支加权部分通过同一特征提取器及输入特征矩阵的方式结合多分支的注意力机制,以自适应地将不同分支之间获得的特征图进行加权融合,从而获得更有利于后续对应分支预测的特征矩阵。
本发明的有益效果如下:
1.通过对于全玻片扫描邻接图像进行特征点匹配,递归获得当前图像中群落坐标相对于玻片上特定位置(如左上角)原点的全局坐标,通过与直接获得的全局坐标进行校对,所获得的坐标会更加精准,避免了后续100倍物镜下拍摄图像不居中的问题;
2.通过不同邻接图像的检测框合并策略,避免了核型群落因为未拍摄完全往往存在漏检,或检测不完全的情况;
3.通过真实量化得到的10倍镜下染色体群落对应“群落分散程度”,“群落中染色体数量”,“群落中染色体长度”的三个打分维度标签进行打分模型的学习,可在10倍镜直接得到真正适合用于核型分析的固定数量的染色体核型群落,便于医生定量检测诊断。
附图说明
图1为本发明所述的邻接图像边缘的群落进行自适应合并的示意图;
图2为IOU计算公式示意图;
图3为本发明通过IOU算法将存在并集关系的不同群落进行合并的示意图;
图4为本发明涉及的打分模型结构关系图;
图5为染色体1号和19号形态图像;
图6为现有技术中获得的玻片拍摄图像视野边缘的染色体核型群落状态;
图7为本发明所述的基于10倍物镜的染色体核型分析显微拍摄装置整体示意图。
具体实施方式
为更好的说明本发明的目的、技术方案和优点,下面将结合具体实施例对本申请作进一步说明。
实施例1:
本发明提供了一种用于染色体核型诊断分析器械的可在10倍显微物镜下优选拍摄核型群落的装置。如图7,该装置包括均电性连接于分析控制中心100的显微镜200和电机300,分析控制中心100用于显微拍摄诊断器械的图像接收、清晰度分析和电机300竖向坐标的数据接收、处理,如MetaSight(®)全自动细胞显微图像扫描系统,显微镜200设置载物台201和物镜202,待分析玻片设置在载物台201上,物镜202上设置相机实现对待分析玻片的拍摄,电机300与载物台201连接且电机300与待分析玻片之间无竖直方向上的相对位移,电机300控制载物台201的竖向移动实现调节物镜202与待分析玻片之间的相对位移,优选的,电机300选择步进电机,待分析玻片的规格为75mm×25mm×1.1mm。电机300还与推拉件连接,并通过推拉件实现对待分析玻片的水平方向移动控制,推拉件的设置参见CN112859316 A。
该装置实现方法可概况为以下过程:
①根据确定的焦平面获得的z值,全玻片扫描获取10倍物镜下拍摄图片(一般分辨率为1600x1100,相邻的10倍镜拍摄区域需保证有至少1/4面积公共部分),并通过yolov5目标检测神经网络自动获得所有核型群落相对于所在图片左上角的坐标及范围;
②获取每对邻接的10倍物镜下拍摄的图像A和B,基于SIFT图像特征点匹配算法完成不同邻接拍摄图片的对应坐标关系进行自动转换与对齐,并根据每张单视野图像检测到的图像边缘的群落坐标与另一邻接图像检测到的对应群落进行“自适应”合并,以减少单个拍摄图像边缘由于拍摄不全损失的核型群落,通过合并邻接的单视野下的群落检测结果获得群落的完整坐标并根据完整坐标从对应图像中截取出相应的完整染色体群落图像用于后续的基于深度学习的打分模型进行打分。合并方法可概况为:
1).当图像A边缘检测到的群落与图像B检测到的群落存在包含关系时,直接取图像B检测到的群落坐标;
2).在图像A和图像B的公共交集部分,当图像A检测到的群落与图像B检测到的群落交并比(IOU)大于某一阈值(默认取0.9)时,取两者并集作为保留下的群落坐标;其中IOU计算公式如图A所示。
为了便于快速检测不同群落之间的“包含关系”,本发明通过改造通用的IOU算法实现此过程,即本发明将IOU计算的分母(对应两检测框的并集部分)修改为两检测框中最小的检测框。因此当两检测框存在包含关系时,变种的IOU值计算为1。
③通过自研深度学习打分模型基于“群落分散程度”,“群落中染色体数量”,“群落中染色体长度”等三个维度进行打分评价,以从中智能优选出适合染色体核型诊断分析的群落,用于后续的高倍镜拍摄及分析。
(1).训练前染色体群落打分量化标注算法:
在样本标注阶段从群落分散程度、群落中染色体数量、群落中染色体长度三个维度进行量化,具体包括以下:根据10倍物镜下的拍摄图像中染色体群落对应的坐标转为100倍物镜下进行拍摄,获得拍摄图像后通过深度学习实例分割模型MaskRCNN进行实例分割以获得每个染色体的具体掩码以及对应染色体类别。染色体的具体掩码以及对应染色体类别作为后续计算的基础。具体的打分标注规则可概况为如下过程:
假设当前染色体分裂相图像中通过MaskRCNN模型得到n条染色体的掩码矩阵及对 应的最小外接框(即旋转框),每个染色体的旋转框表示为
Figure DEST_PATH_IMAGE015
,其中x,y,w,h为 染色体旋转框的中心点坐标以及长边短边值,
Figure 919313DEST_PATH_IMAGE014
为染色体旋转框长边与水平轴右侧的夹角 值。
在10倍物镜下进行基于“群落分散程度”,“群落中染色体数量”,“群落中染色体长度”等三个维度进行打分主要难点在于:(1). 10倍镜下染色体群落较小,无法直接获取群落中单体染色体的详细信息,一般染色体群落大小仅为约80×80像素左右,单体染色体大小仅为约8×2像素;(2). 对于检测到的染色体群落,在无法直接获取染色体单体情况下,很难量化评价“群落分散程度”,“群落中染色体数量”,“群落中染色体长度”信息等。即使是人类专家,也只能通过估计的方法来打分,这又会带来不同打分人标准不统一,打分难度大等种种问题。因此本发明一方面将小目标图像的量化打分需求转为间接的基于深度学习模型的打分问题,另一方面在模型训练前的打分标注阶段,用百倍镜图像替换十倍镜图像作为标注对象,同时通过基于深度学习实例分割模型MaskRCNN得到的单体染色体结果,制定统一的量化打分算法进行标注,从而间接得到原始的十倍镜下染色体图像的量化打分评价信息,然后通过打分模型直接学习从而解决此问题。
用百倍镜图像替换十倍镜图像作为标注对象进行标注完成后,进行打分模型学习训练,其中三个维度的打分策略如下,
Ⅰ.群落分散程度分数
Figure 777548DEST_PATH_IMAGE001
首先计算获得染色体群落的“中心坐标”
Figure 593057DEST_PATH_IMAGE003
,据此可计 算获得染色体的散度分数:
Figure 536743DEST_PATH_IMAGE016
Ⅱ.群落染色体长度分数
Figure 358549DEST_PATH_IMAGE006
由于染色体群落中染色体数量有多条(一般为23对染色体,46条染色体单体),其中以A组染色体长度最长,而不同群落的染色体长度差异程度最明显也体现在A组染色体,因此选用A组染色体作为该群落染色体长度分数量化标准最为合适。但同时由于A组染色体长度较长,容易与其他染色体发生弯曲及交叉遮挡,因此直接获取染色体长度较为困难,本发明采取的方法可概况如下:
a).获得A组染色体(对应染色体1,2,3号)的掩膜面积,因为不同带型染色体长度 主要差异即体现在同细胞中较长的染色体,选用多个染色体也降低了单个染色体的偶然误 差影响; b).获得F组染色体(对应染色体19,20号)的染色体最小外接框
Figure 336870DEST_PATH_IMAGE015
宽 度
Figure 651176DEST_PATH_IMAGE013
,因为该组染色体较为短小不会弯曲,且同细胞中不同号染色体宽度近似一致,因此可 以通过F组染色体求得染色体宽度; c).根据A组染色体各自掩膜面积除以F组染色体获得 的近似染色体宽度,进而得到A组染色体近似的染色体长度;
具体地,对于群落中19号和20号染色体单体(2对4条),染色体宽度
Figure DEST_PATH_IMAGE017
Figure 613316DEST_PATH_IMAGE018
对于群落中1号,2号和3号染色体(3对6条),染色体掩膜面积计算方法由Area()函 数代理,实际中可通过直接对染色体单体掩膜像素点个数求和实现,因此染色体长度分数
Figure 976164DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE019
Ⅲ.群落染色体数目分数
Figure 605729DEST_PATH_IMAGE010
若染色体群落中数目少于43条,或大于49条,则可认为此染色体群落染色体数目过少或过多,无分析意义,因此分值赋予一个很大的负值,保证此染色体群落在最终打分排序中排在最后。若染色体数目在可接受范围,染色体数目越接近46条,则分值越大。
Figure 497461DEST_PATH_IMAGE011
(2).深度学习染色体打分模型
本发明设计的打分模型主要分为四部分:
Ⅰ.特征提取部分:通过输入10倍物镜下获得的单个染色体群落图像(分辨率为80x80),特征提取主干网络选用轻量级卷积模型mobileNetv3,获得输出高层次语义特征图512×7×7,其中512为通道维度大小,7×7为空间维度大小。
Ⅱ.特征加权部分:由于本发明使用场景为染色体群落图像,其中包含多条染色体单体,最终预测的各打分维度也需要获得群落中多条染色体图像之间的几何关系等特征,因此直接使用分类模型进行打分预测,无法充分挖掘群落图像中不同染色体单体之间的空间关系特征,因此本发明一方面通过引入“空间注意力”机制,显式地计算获得特征图中不同空间位置地响应并加权融合到原始特征图中。另一方面,在特征图中的同一位置(对应原始输入图中几何空间区域),本发明所关注的不同打分维度需要获取同一位置的不同特征,这些特征之间的重要性是不一致的,因此本发明也通过引入“通道注意力”机制,显式地计算获得不同通道之间的“重要性”并加权融合到原始特征图中。
具体地,“通道注意力”分支部分,通过在空间维度引入全局平均池化和全局最大池化,用以同时捕获全局平均响应特征和全局极值响应特征,然后将得到的特征图直接concat并输入全连接层,在经过SoftMax归一化后得到每个通道的权重;“空间注意力”分支部分,通过在通道维度引入平均值池化和最大值池化得到各自空间特征图并进行concat,然后经过1x1通道维度卷积,在经过SoftMax归一化后得到每个空间位置的权重。
Ⅲ.多打分维度分支加权部分:
本发明涉及的群落质量评价打分涉及到“群落分散程度”,“群落染色体长度”和“群落染色体数目”等多个维度,即对应到模型中多个分支。为了提高计算利用率并加快模型打分速度,本发明采用多打分维度共用同一特征提取器及输入特征矩阵的方式,而在实际打分过程中,虽然不同打分维度反映群落不同特性,但对应到不同打分维度所需打分的特征时,往往需要一些公用的以及需要相互参考的特征,如在同视野下拍摄的图片,计算“群落分散程度”时,也需参考“群落染色体数目”,“群落染色体长度”两个维度,因为染色体数目越多,染色体长度越长,往往意味着染色体之间越容易交叉遮挡,即体现到最终染色体群落分散程度较低。因此本发明在多个分支分别预测不同打分维度分值的基础上,引入了多分支的注意力机制,以自适应地将不同分支之间获得的特征图进行加权融合,从而获得更有利于后续对应分支预测的特征矩阵。
具体地,在获得基础多分支共用地特征矩阵后,通过复制并分别进行卷积获得不同分支不同的特征矩阵,然后将不同分支矩阵直接求和并按通道进行全局池化,从而获得不同通道的特征响应值,然后输入全连接层并经过SoftMax归一化后得到每个通道对应多分支的权重值,然后根据权重值从而进行加权融合。
Ⅳ.多打分维度分值预测部分:
不同分支对应不同打分维度,通过打分模型前面各部分获得对应分支的特征矩阵,该分支可直接通过分类器进行对应打分维度的分值进行预测。
最后所应当说明的是,以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。

Claims (9)

1.一种基于10倍物镜的染色体核型分析显微拍摄装置的拍摄方法,其特征在于: 包括均电性连接于分析控制中心的显微镜和电机,所述分析控制中心用于数据接收、处理,所述显微镜设置载物台和物镜,所述物镜上设置相机,待分析玻片设置在所述载物台上,所述电机与所述载物台连接且所述电机与所述待分析玻片之间无竖直方向上的相对位移,通过所述电机控制所述物镜与所述待分析玻片之间的相对运动;所述电机通过推拉件调整所述待分析玻片在水平方向的移动;
所述的基于10倍物镜的染色体核型分析显微拍摄装置的拍摄方法,其包括以下步骤,
①根据对焦需要控制所述电机调整所述载物台的纵坐标z值,进行全玻片扫描获取10倍物镜下拍摄图像,通过yolov5目标检测神经网络自动获得所有染色体群落相对于所在图片左上角的坐标及坐标区间;
②筛选染色体群落处于视野边缘的邻接的拍摄图片,以染色体群落的坐标及坐标区间为检测子,采用基于图像特征点匹配算法对邻接的拍摄图像进行自动转换与对齐,并根据每张邻接图像检测到的图像边缘的群落坐标及坐标区间进行自适应合并,通过合并邻接的单视野下的群落检测结果获得群落的完整坐标,并根据完整坐标从对应图像中截取出相应的完整染色体群落图像用于后续的基于深度学习的打分模型进行打分;
③对得到的所述完整染色体群落图像,从群落分散程度、群落中染色体数量、群落中染色体长度三个维度进行量化打分,再采用深度学习打分模型对所述完整染色体群落图像进行打分评价,获得染色体群落质量水平。
2.如权利要求1所述的基于10倍物镜的染色体核型分析显微拍摄装置的拍摄方法,其特征在于:步骤②中,所述自适应合并的具体步骤为:以两检测框中最小的检测框作为IOU计算的分母,进行计算,
1)当图像A边缘检测到的群落与图像B检测到的群落存在包含关系时,直接取图像B检测到的群落坐标;
2)在图像A和图像B的公共交集部分,当图像A检测到的群落与图像B检测到的群落交并比较大时,取两者并集作为保留下的群落坐标。
3.如权利要求1所述的基于10倍物镜的染色体核型分析显微拍摄装置的拍摄方法,其特征在于:所述筛选染色体群落处于视野边缘的邻接的拍摄图像,其为通过深度学习实例分割模型MaskRCNN对于拍摄图像进行实例分割,获得每条染色体的掩码以及对应染色体类别。
4.如权利要求1所述的基于10倍物镜的染色体核型分析显微拍摄装置的拍摄方法,其特征在于:所述的深度学习打分模型包括特征提取部分、权重配置部分和多打分维度预测部分;
所述权重配置部分包括特征加权部分、多打分维度分支加权部分,所述的多打分维度预测部分对群落分散程度、群落中染色体数量和群落中染色体长度三个维度进行分别打分;所述的特征加权部分引入通道注意力权重和空间注意力权重进行加权融合到原始特征图中。
5.如权利要求4所述的基于10倍物镜的染色体核型分析显微拍摄装置的拍摄方法,其特征在于:所述的多打分维度分支加权部分通过同一特征提取器及输入特征矩阵的方式结合多分支的注意力机制,以自适应地将不同分支之间获得的特征图进行加权融合,从而获得更有利于后续对应分支预测的特征矩阵。
6.权利要求1所述的基于10倍物镜的染色体核型分析显微拍摄装置的拍摄方法,其特征在于:步骤③中,所述的量化打分包括计算群落分散程度分数
Figure 782075DEST_PATH_IMAGE001
,具体为,
先计算获得染色体群落的中心坐标
Figure 102198DEST_PATH_IMAGE002
Figure 859938DEST_PATH_IMAGE003
其中xi、yi分别表示编号为i的染色体单体横坐标和纵坐标,n表示染色体群落中的染色体单体数目;
再计算获得染色体的散度分数Score divergence
Figure 930924DEST_PATH_IMAGE004
其中xi、yi分别表示编号为i的染色体单体横坐标和纵坐标,n为染色体群落中的染色体单体数目,
Figure 658578DEST_PATH_IMAGE005
染色体群落的中心坐标。
7.如权利要求1所述的基于10倍物镜的染色体核型分析显微拍摄装置的拍摄方法,其特征在于:步骤③中,所述的量化打分包括计算群落中染色体长度
Figure 865831DEST_PATH_IMAGE006
,即,
先对群落中染色体单体计算染色体宽度
Figure 997735DEST_PATH_IMAGE007
Figure 788973DEST_PATH_IMAGE008
其中19、20表示第19号染色体单体、第20号染色体单体,j表示染色体单体的编号;
再基于群落中染色体单体计算染色体掩膜面积:由Area()函数执行,通过直接对染色体单体掩膜像素点个数求和实现;
最后计算染色体长度
Figure 930104DEST_PATH_IMAGE006
Figure 991864DEST_PATH_IMAGE009
其中1、2、3分别表示第1号染色体单体、第2号染色体单体、第3号染色体单体。
8.如权利要求1所述的基于10倍物镜的染色体核型分析显微拍摄装置的拍摄方法,其特征在于:步骤③中,所述的量化打分包括计算群落染色体数目分数
Figure 560248DEST_PATH_IMAGE010
,根据n的取值采用不同的函数计算,具体为,
Figure 838783DEST_PATH_IMAGE011
其中,n为染色体群落中的染色体单体数目,且n不等于46。
9.如权利要求7所述的基于10倍物镜的染色体核型分析显微拍摄装置的拍摄方法,其特征在于:所述计算群落中染色体长度
Figure 252447DEST_PATH_IMAGE006
过程中,选择1,2,3、19、20号染色体进行,具体如下,
a).获得1,2,3号染色体的掩膜面积;
b).获得19,20号染色体的染色体最小外接框坐标
Figure 401668DEST_PATH_IMAGE012
,求得染色体宽度
Figure 958596DEST_PATH_IMAGE013
,其中x,y,w,h为染色体旋转框的中心点坐标以及长边短边值,
Figure 990006DEST_PATH_IMAGE014
为染色体旋转框长边与水平轴右侧的夹角值;
c).用步骤a)获取的染色体各自掩膜面积除以步骤b)获得的染色体宽度wi,得到1,2,3号染色体的染色体长度。
CN202210999077.9A 2022-08-19 2022-08-19 一种基于10倍物镜的染色体核型分析显微拍摄装置及方法 Active CN115079393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210999077.9A CN115079393B (zh) 2022-08-19 2022-08-19 一种基于10倍物镜的染色体核型分析显微拍摄装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210999077.9A CN115079393B (zh) 2022-08-19 2022-08-19 一种基于10倍物镜的染色体核型分析显微拍摄装置及方法

Publications (2)

Publication Number Publication Date
CN115079393A CN115079393A (zh) 2022-09-20
CN115079393B true CN115079393B (zh) 2022-12-27

Family

ID=83245199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210999077.9A Active CN115079393B (zh) 2022-08-19 2022-08-19 一种基于10倍物镜的染色体核型分析显微拍摄装置及方法

Country Status (1)

Country Link
CN (1) CN115079393B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152147B (zh) * 2023-10-31 2024-02-09 杭州德适生物科技有限公司 一种在线染色体协同分析方法、系统及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5719024A (en) * 1993-08-18 1998-02-17 Applied Spectral Imaging Ltd. Method for chromosome classification by decorrelation statistical analysis and hardware therefore
US6337472B1 (en) * 1998-10-19 2002-01-08 The University Of Texas System Board Of Regents Light imaging microscope having spatially resolved images
DE10221439B3 (de) * 2002-05-15 2004-02-05 Stefanie Geisbusch Apparatur zur automatischen Aufbereitung biologischen Materials in der humangenetischen Diagnostik
EP2047251A2 (en) * 2006-08-04 2009-04-15 Ikonisys, Inc. Image processing method for a microscope system
CN101526669B (zh) * 2008-12-31 2010-12-15 广东威创视讯科技股份有限公司 一种可用于染色体和病理玻片的显微镜拍摄成像装置及其成像方法
CN110211629A (zh) * 2018-02-11 2019-09-06 中国科学院昆明动物研究所 一种评估微生物群落宏基因(或普通生物群落宏遗传)多样性和相似性的概念和方法
CN109239900B (zh) * 2018-11-07 2020-10-16 华东师范大学 一种用于显微数字图像大视野采集的全自动快速聚焦方法
CN110533684B (zh) * 2019-08-22 2022-11-25 杭州德适生物科技有限公司 一种染色体核型图像切割方法
CN111505816B (zh) * 2020-04-09 2022-05-31 揽华智慧医疗科技(江苏)有限公司 高通量电子显微镜成像方法及系统
CN115047610B (zh) * 2022-08-17 2022-12-27 杭州德适生物科技有限公司 一种自动拟合显微对焦平面的染色体核型分析装置及方法

Also Published As

Publication number Publication date
CN115079393A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
US6091842A (en) Cytological specimen analysis system with slide mapping and generation of viewing path information
CN109714519B (zh) 一种自动调整图像画面的方法和系统
CN108427961B (zh) 基于卷积神经网络的合成孔径聚焦成像深度评估方法
EP1215626A1 (en) Automatically producing an image of a portion of a photographic image
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
CN109085113B (zh) 一种用于宫颈脱落细胞检测装置的自动对焦方法和装置
CN115079393B (zh) 一种基于10倍物镜的染色体核型分析显微拍摄装置及方法
CN111753707B (zh) 颗粒状农作物不完善粒检测方法及系统
CN111932542B (zh) 一种基于多焦距的图像识别方法及装置、存储介质
WO2024051067A1 (zh) 红外图像处理方法、装置及设备、存储介质
CN115047610B (zh) 一种自动拟合显微对焦平面的染色体核型分析装置及方法
CN110837809A (zh) 血液自动分析方法、系统、血细胞分析仪及存储介质
CN109001902A (zh) 基于图像融合的显微镜聚焦方法
CN111474103B (zh) 一种骨髓细胞载玻片自动聚焦扫描方法及系统
CN115359264A (zh) 一种密集型分布的粘连细胞深度学习识别方法
CN114627090A (zh) 一种基于注意力机制的卷积神经网络光学镜片缺陷检测方法
CN109658405B (zh) 一种农作物实景观测中图像数据质量控制方法及系统
CN117058232A (zh) 一种改进YOLOv8模型的养殖鱼群中鱼类目标个体的位置检测方法
CN112839168B (zh) 一种自动调整aoi检测系统中相机成像分辨率的方法
CN114384681A (zh) 显微镜快速精准自动对焦方法、系统、计算机设备及介质
CN114387308A (zh) 一种机器视觉特征跟踪系统
CN113744352B (zh) 视觉空间标定方法、设备及存储介质
CN112257514A (zh) 一种用于设备故障巡检的红外视觉智检的拍摄方法
CN117649367B (zh) 一种图像方位的校正方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant