CN114782372A - Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统 - Google Patents

Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统 Download PDF

Info

Publication number
CN114782372A
CN114782372A CN202210442247.3A CN202210442247A CN114782372A CN 114782372 A CN114782372 A CN 114782372A CN 202210442247 A CN202210442247 A CN 202210442247A CN 114782372 A CN114782372 A CN 114782372A
Authority
CN
China
Prior art keywords
fish
bcr
image
fluorescence
abl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210442247.3A
Other languages
English (en)
Other versions
CN114782372B (zh
Inventor
陈武龙
陈欣
魏彩霞
吴鹏春
郅宏芳
曾敬富
章辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming Kingmed Diagnostics Laboratory Co ltd
Original Assignee
Kunming Kingmed Diagnostics Laboratory Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming Kingmed Diagnostics Laboratory Co ltd filed Critical Kunming Kingmed Diagnostics Laboratory Co ltd
Priority to CN202210442247.3A priority Critical patent/CN114782372B/zh
Publication of CN114782372A publication Critical patent/CN114782372A/zh
Application granted granted Critical
Publication of CN114782372B publication Critical patent/CN114782372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像分析技术领域，公开了一种DNA荧光原位杂交BCR/ABL融合状态检测方法、检测系统，利用CNN识别模型从相差图像中生成细胞的伪核染色，对FISH的细胞核进行定位与分类；再对每个单独的荧光信号定位并分类，将每张照片中的同一分类的显色点数除以该照片中显示点总数，得到BCR/ABL融合比率。本发明提供了一种通过分析荧光原位杂交(FISH)图像，计算与所有分类细胞核相关的异常细胞核数目的图像比值，作为分类相应肿瘤样本BCR/ABL基因融合状态的指标，进行细胞核和BCR/ABL基因融合水平检测的系统。本发明检测方法检测效率高，检测结果准确，且能够实现自动化检测。

Description

DNA荧光原位杂交BCR/ABL融合状态检测方法、检测系统
技术领域
本发明属于图像分析技术领域，具体涉及一种DNA荧光原位杂交BCR/ABL融合状态检测方法、检测系统。
背景技术
目前，DNA荧光原位杂交(FISH)是研究基因组融合、重排及扩增工具之一，因为它直接可视化基因位点在细胞3D空间中的位置。传统的DNA FISH使用酶标记的荧光探针，以特定的序列方式与感兴趣的基因组区域杂交。
病理学家通过与对照样本的评估来分析血液肿瘤样本的BCR/ABL基因融合状态。检测标准定义为BCR/ABL阳性状态，当(在肿瘤区域内观察到相当于连续且均一的肿瘤细胞核的>10％)根据该区域内至少200个核的计数有证据表明BCR/ABL基因融合。通过对来自FISH切片不同区域的至少200个视野间期细胞核进行计数和分类，可以对BCR/ABL基因融合的阳性或阴性状态及其BCR/ABL级别(低或高)做出诊断决定。诊断依赖于每个细胞核中BCR/ABL患者中Red与Green信号的空间分布。在此基础上对相应的肿瘤样本进行后续分类。
在临床实践中，分析是由病理学家通过使用荧光显微镜观察FISH片来进行的。原位杂交允许计数间期细胞核中的染色体异常。这个过程称为点计数。为了估计每个细胞的染色体分布，必须分析大量细胞，特别是当异常细胞的频率很低时。需要自动化点数计数，因为手动计数是乏味、疲劳和耗时的。
虽然有许多经典的方法可以从显微图像中自动提取特征，如斑点检测等，但在过去的几年中，越来越多的基于深度学习的应用被开发出来，用于病理显微图像的分类任务，并在广泛的应用领域中成功运用。深度学习已成为无需人类专家支持的图像分割的突破性工具。其中，图像分类任务通常涉及卷积神经网络(CNN)的应用，其依赖于输入数据的卷积和非线性变换的堆栈来创建高级抽象分类。人们已经在病理图像分类、肿瘤分类、成像质谱数据、转移癌区域识别以及病理图像注释等方面采用了CNN等深度学习方法。在FISH图像的背景下，CNN已被用于分割多色FISH图像中的染色体以及检测和计数细胞核中的荧光信号(SpotLearn)。SpotLearn包括两个有监督的基于机器学习的分析工作流程，用于从具有三个独立荧光显微镜通道的图像中高精度检测FISH信号。然而，BCR/ABL基因融合的FISH信号是使用分级过滤器捕获的，不同的BCR/ABL基因Red和Green信号在一个步骤中被记录下来。因此，生成的单通道图像无法通过SpotLearn进行区分。虽然计算机辅助诊断(computer-aided diagnosis，CAD)的研究日益增多，但临床上常规使用的CAD系统却很少。一个主要的原因可能是用传统的机器学习方法开发的CAD工具可能没有达到高性能，可以满足医生的需要。
通过上述分析，现有技术存在的问题及缺陷为：
传统人工计数诊断BCR/ABL融合状态检测方法耗时且缓慢；
目前基于CNN神经网络自动化的BCR/ABL融合状态检测方法检测因其设备等限制无法应用于实际场景中。
发明内容
针对现有技术存在的问题，本发明提供了一种DNA荧光原位杂交BCR/ABL融合状态检测方法。
本发明是这样实现的，一种DNA荧光原位杂交BCR/ABL融合状态检测方法，包括：
利用CNN RetinanNet识别模型从相差图像中生成细胞的伪核染色，对FISH的细胞核进行定位与分类；再对每个单独的荧光信号定位并分类，将每张照片中的同一分类的显色点数除以该照片中显示点总数，得到BCR/ABL融合比率；
步骤如下：
步骤一，进行玻片制备和探针杂交；并利用荧光显微镜进行荧光原位探针即FISH图像的采集；图像预处理及细胞边界切割；
步骤二，构建包含两个用于目标定位的卷积神经网络的CNN RetinanNet识别模型，并对所述构建的CNN RetinanNet识别模型进行训练；
步骤三，将新的待检测的图像输入检测系统，利用训练好的CNN RetinanNet识别模型基于采集的FISH图像进行细胞核、FISH信号的定位和分类；
步骤四，对所述细胞核、荧光信号的定位和分类结果进行后处理得到BCR/ABL融合状态。
进一步的，步骤一中，所述利用荧光显微镜进行FISH图像的采集具体为：
利用荧光显微镜使用分级滤光片获取BCR/ABL基因Red信号、Green信号和DAPI信号；以40倍的放大倍数拍摄图像并进行处理；得到所述FISH图像。
进一步的，步骤一中：所述细胞边界分割包括：
1).通过种子分水岭算法分割最大强度投影DAPI通道上的核进行细胞边界分割：
(1.1)构建有监督的二值RF分类器；
(1.2)利用交互式的KNIM工作流对被分割的对象进行注释；
2).利用来源于KNIME图像处理特征计算器节点的2D几何特征集，为每个标记对象提取14个形态特征；
3).基于所述提取的特征和类标签对构建的二值RF分类器进行训练，优化FISH点检测相关参数；
4).利用训练好的有监督的二值RF分类器从点检测中过滤假阳性的FISH点，以及训练和验证基于CNN的完全有监督的点分割算法。
进一步的，所述步骤二CNN RetinanNet识别模型包括：
基于RetinaNet的细胞核探测器网络，用于基于整个FISH图像进行细胞核定位，并将所述细胞核划分为低级别或高级别；
基于RetinaNet的荧光信号检测网络，用于基于细胞核定位结果进行单个点状荧光信号的定位，并将所述荧光信号划分为Red、Green、Fusion信号；
识别每个细胞/每片融合类型(纳入计算细胞数量及比例按照诊疗指南变化)，计算识别细胞BCR/ABL融合比率。
进一步的，步骤二中，所述对构建的CNN RetinanNet识别模型进行训练包括：
1)获取训练数据，并对所述训练数据进行标注；利用旋转、随机作物、平移、剪切、缩放以及水平和垂直翻转对所述训练数据进行增强；
2)利用增强处理后的训练数据对基于RetinaNet的细胞核探测器网络与基于RetinaNet的荧光信号检测网络的进行训练；并确定基于RetinaNet的细胞核探测器网络与基于RetinaNet的荧光信号检测网络的损失函数和超参数。
进一步的，步骤1)中，所述获取训练数据，并对所述训练数据进行标注具体为：
获取专业数据库中存储的慢性粒细胞白血病FISH BCR/ABL基因融合状况的检测图像；为获取的图像中的每个核心提供边界框和类标签：对FISH图像进行人工注释，将细胞核分为低级、高级、不确定和伪影共五类；同时对每个FISH信号的单个细胞核图像人工标注边界框和分类标签，分为Red、Green、Fusion群；得到初始训练数据。
进一步的，步骤四中，所述对细胞核、荧光信号的定位和分类结果进行后处理得到BCR/ABL融合状态具体为：
基于细胞核的定位、分类结果计算低级核数目除以所有检测到的核数目的比值以及高级核数目除以所有检测到的核数目的比值；
将所述比值作为分类相应肿瘤样本BCR/ABL基因融合状态的指标，将FISH图像划分为低等级图像以及高等级图像，确定BCR/ABL基因融合状态。
一种实施上述任一方法的DNA荧光原位杂交BCR/ABL融合状态检测系统，其特征在于，所述系统包括：
FISH图像采集模块，用于利用荧光显微镜进行荧光原位探针即FISH图像的采集；
细胞边界分割模块，用于通过种子分水岭算法分割最大强度投影DAPI通道上的核进行细胞边界分割；
识别模型构建与训练模块，构建包含两个用于目标定位的卷积神经网络的CNNRetinanNet识别模型，并对所述构建的CNN RetinanNet识别模型进行训练；
FISH信号定位和分类模块，用于利用训练好的CNN RetinanNet识别模型基于采集的FISH图像进行细胞核、FISH信号的定位和分类；
融合状态获取模块，对所述细胞核、荧光信号的定位和分类结果进行后处理得到BCR/ABL融合状态。
一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一项所述DNA荧光原位杂交BCR/ABL融合状态检测方法。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述任一项所述DNA荧光原位杂交BCR/ABL融合状态检测方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
1、本发明方法诊断BCR/ABL融合状态检测方法高效便捷，采用系统代替人工。
2、本发明方法便于在医院等诊疗机构中结合系统设备使用，对后期诊疗仪器的变革有很大的促进作用。
3、本发明提供了一种通过分析荧光原位杂交(FISH)图像，计算与所有分类细胞核相关的异常细胞核数目的图像比值，作为分类相应肿瘤样本BCR/ABL基因融合状态的指标，进行细胞核和BCR/ABL基因融合水平检测的计算机辅助诊断程序插件。
4、本发明首次集中于单一病种，以识别图像所需复杂程度(数据维度)较低为切入点，该疾病检测标准明确清晰，图像阳性信号具有易识别、低背景噪音等特点使得检测诊断较以往所需设备成本降低。
5、本发明能够为病理学家提供一个用于慢性粒细胞白血病分析中BCR/ABL融合状态检测的日常诊断的辅助平台。本发明可用于协助病理学家通过自动分析高质量的FISH图像分析慢性粒细胞白血病样本的BCR/ABL基因融合阶段、进行自动筛查；
6、本发明检测方法检测效率高，检测结果准确，且能够实现自动化检测。同时本发明可以一次分析一个FISH图片的所有细胞核，使得基于整个FISH切片注释的BCR/ABL融合状态识别成为可能。
附图说明
图1是本发明实施例提供的基于CNN RetinanNet识别模型的DNA荧光原位杂交BCR/ABL融合状态检测方法流程图。
图2镜下整张玻片扫描图(×40)；
图3细胞边界分割后的细胞核；
图4荧光信号点的定位；
图5A为原始采集图像；B中绿色方框内为red荧光信号识别；C中蓝色方框为Fusion荧光信号识别；D中黄色方框为green荧光信号识别。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于CNN RetinanNet识别模型的DNA荧光原位杂交BCR/ABL融合状态检测方法，下面结合附图对本发明作详细的描述。
本发明实施例提供的一种DNA荧光原位杂交BCR/ABL融合状态检测方法，包括：
利用CNN RetinanNet识别模型从相差图像中生成细胞的伪核染色，对FISH的细胞核进行定位与分类；再对每个单独的荧光信号定位并分类，将每张照片中的同一分类的显色点数除以该照片中显示点总数，得到BCR/ABL融合比率；
步骤如下：
步骤一，进行玻片制备和探针杂交；并利用荧光显微镜进行荧光原位探针即FISH图像的采集；图像预处理及细胞边界切割；
步骤二，构建包含两个用于目标定位的卷积神经网络的CNN RetinanNet识别模型，并对所述构建的CNN RetinanNet识别模型进行训练；
步骤三，将新的待检测的图像输入检测系统，利用训练好的CNN RetinanNet识别模型基于采集的FISH图像进行细胞核、FISH信号的定位和分类；
步骤四，对所述细胞核、荧光信号的定位和分类结果进行后处理得到BCR/ABL融合状态。
进一步的，步骤一中，所述利用荧光显微镜进行FISH图像的采集具体为：
利用荧光显微镜使用分级滤光片获取BCR/ABL基因Red信号、Green信号和DAPI信号；以40倍的放大倍数拍摄图像并进行处理；得到所述FISH图像。
进一步的，步骤一中：所述细胞边界分割包括：
1).通过种子分水岭算法分割最大强度投影DAPI通道上的核进行细胞边界分割：
(1.1)构建有监督的二值RF分类器；
(1.2)利用交互式的KNIM工作流对被分割的对象进行注释；
2).利用来源于KNIME图像处理特征计算器节点的2D几何特征集，为每个标记对象提取14个形态特征；
3).基于所述提取的特征和类标签对构建的二值RF分类器进行训练，优化FISH点检测相关参数；
4).利用训练好的有监督的二值RF分类器从点检测中过滤假阳性的FISH点，以及训练和验证基于CNN的完全有监督的点分割算法。
进一步的，所述步骤二CNN RetinanNet识别模型包括：
基于RetinaNet的细胞核探测器网络，用于基于整个FISH图像进行细胞核定位，并将所述细胞核划分为低级别或高级别；
基于RetinaNet的荧光信号检测网络，用于基于细胞核定位结果进行单个点状荧光信号的定位，并将所述荧光信号划分为Red、Green、Fusion信号；
识别每个细胞/每片融合类型(纳入计算细胞数量及比例按照诊疗指南变化)，计算识别细胞BCR/ABL融合比率。
进一步的，步骤二中，所述对构建的CNN RetinanNet识别模型进行训练包括：
1)获取训练数据，并对所述训练数据进行标注；利用旋转、随机作物、平移、剪切、缩放以及水平和垂直翻转对所述训练数据进行增强；
2)利用增强处理后的训练数据对基于RetinaNet的细胞核探测器网络与基于RetinaNet的荧光信号检测网络的进行训练；并确定基于RetinaNet的细胞核探测器网络与基于RetinaNet的荧光信号检测网络的损失函数和超参数。
进一步的，步骤1)中，所述获取训练数据，并对所述训练数据进行标注具体为：
获取专业数据库中存储的慢性粒细胞白血病FISH BCR/ABL基因融合状况的检测图像；为获取的图像中的每个核心提供边界框和类标签：对FISH图像进行人工注释，将细胞核分为低级、高级、不确定和伪影共五类；同时对每个FISH信号的单个细胞核图像人工标注边界框和分类标签，分为Red、Green、Fusion群；得到初始训练数据。
进一步的，步骤四中，所述对细胞核、荧光信号的定位和分类结果进行后处理得到BCR/ABL融合状态具体为：
基于细胞核的定位、分类结果计算低级核数目除以所有检测到的核数目的比值以及高级核数目除以所有检测到的核数目的比值；
将所述比值作为分类相应肿瘤样本BCR/ABL基因融合状态的指标，将FISH图像划分为低等级图像以及高等级图像，确定BCR/ABL基因融合状态。
一种实施上述任一方法的DNA荧光原位杂交BCR/ABL融合状态检测系统，其特征在于，所述系统包括：
FISH图像采集模块，用于利用荧光显微镜进行荧光原位探针即FISH图像的采集；
细胞边界分割模块，用于通过种子分水岭算法分割最大强度投影DAPI通道上的核进行细胞边界分割；
识别模型构建与训练模块，构建包含两个用于目标定位的卷积神经网络的CNNRetinanNet识别模型，并对所述构建的CNN RetinanNet识别模型进行训练；
FISH信号定位和分类模块，用于利用训练好的CNN RetinanNet识别模型基于采集的FISH图像进行细胞核、FISH信号的定位和分类；
融合状态获取模块，对所述细胞核、荧光信号的定位和分类结果进行后处理得到BCR/ABL融合状态。
一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一项所述DNA荧光原位杂交BCR/ABL融合状态检测方法。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述任一项所述DNA荧光原位杂交BCR/ABL融合状态检测方法。
下面结合具体实施例对本发明的技术方案做进一步说明。
实施例：
材料和方法
玻片制备、探针杂交和图像采集。
骨髓样本来自某医学检验所。
玻片制备和探针杂交如下：
1.将标本上下颠倒混匀，取2ml至15mlEP管中，2200rpm离心4min，(若血不够2ml则不用离心，直接加37度预热好的0.075N kcl溶液8ml至EP管中，加的时候洗一洗采血管,用吸管吹打混匀，吹100次左右)。
2.吸弃上清，加37度预热好的0.075N kcl溶液8ml至EP管，用吸管吹打混匀(100次左右)，放37℃水浴箱中低渗处理40min。
3.加2ml固定液(固定液配制为冰乙酸：甲醇＝1:3)，吹打混匀(40次左右)，2200rpm离心7min。
4.弃上清，加8ml固定液，吹打混匀(40次左右)，2200rpm离心7min。
5.弃上清，加8ml固定液，吹打混匀(40次左右)，若有杂质则需要去除杂质，2200rpm离心7min。
6.弃上清，加8ml固定液，吹打混匀(40次左右)，若有杂质则需要去除杂质，2200rpm离心7min。
7.将处理好的骨髓标本过2×SSC 3min(过两次)，过70％、80％、100％乙醇各3min进行梯度脱水，晾干标本，加探针杂交过夜。(Vysis LSI BCR/ABL1 Dual Color,DualFusion Translocation Probe探针1.5ul探针+15ulbuffer)。
图像采集。
使用荧光显微镜(Imger2，蔡司公司)拍摄图像。使用分级滤光片(滤光片组23(488023-0000-000)，发射：515-530nm+580-630nm，蔡司公司)，一次记录BCR/ABL基因Red信号、Green信号和DAPI信号。以40倍的放大倍数拍摄图像并进行处理。使用Image-J软件保存为JPEG文件格式，大小为1200×1600像素。
图像预处理。
为了增加网络识别的图像数量，对数据执行了增强操作。使用ImageDataGenerator类的flow_from_directory(directory)的方法在训练期间执行随机裁剪、旋转图像等变换，通过实时数据增强生成张量图像数据批次，数据将按批次不断循环，网络会看到同一图像的不同变化，提高实验的准确性，增强模型泛化能力。
细胞边界分割。
使用种子分水岭算法seeded watershed algorithm(Vincent and Soille 1991)对最大强度投影DAPI通道上的核进行分割。为了从后续分析中过滤掉重叠的核，以及剩余的过度分割的核，本发明使用有监督的RF分类器supervised RF classifier(Ho 1998)；(Breiman 2001)训练过滤误分割和/或重叠核，优化FISH点检测算法的参数，训练有监督的RF分类器从点检测中过滤假阳性的FISH点，以及训练和验证基于CNN的完全有监督的点分割算法。使用二值RF分类器(Good and Bad)。为了生成RF分类器的训练数据，本发明使用一个交互式的KNIME(Berthold et al.2008)工作流来注释被分割的对象。使用来自KNIME图像处理(KNIP)特征计算器节点Feature Calculator Node(Dietz and Berthold 2016)的2D几何特征集，为每个标记对象提取14个形态特征(如圆度、实心度、面积、周长)。利用所提取的特征和类标签，该监督分类器的目标是从核分割中过滤出重叠和错误分割的对象。这些图像是训练用于斑点过滤的RF分类器的注释斑点数据的子集：只有那些所有DNA FISH信号都被注释为Good FISH的细胞核被保留用于CNN训练。
卷积神经网络结构。
本发明的自动化由两个用于目标定位的卷积神经网络(CNN)组成。“细胞核探测器网络”以整个FISH图像为输入，并定位细胞核。“荧光信号检测网络”将已经检测到的细胞核周围的图像区域作为输入，定位其中单个点状荧光信号，并将它们分为Red、Green、Fusion信号。这两种检测器网络具有基于RetinaNet的相同结构，并且具有相同的训练过程。Retinanet是一个先进的物体定位卷积神经网络(CNN)。RetinaNet网络预测提高了一步探测器网络的准确性，尤其是对于小型物体。
图像标注。
高质量的FISH图像选自2019-2021年间在某医学研究所收藏的慢性粒细胞白血病FISH BCR/ABL基因融合状况的诊断图像。数据具有真实性和应用价值。通过为这些图像中的每个核心提供边界框和类标签，对FISH图像(n＝300)进行了人工注释。细胞核被分为五类:低级、高级、不确定和伪影。此外，每个FISH信号的单个细胞核(n＝309)图像被人工标注上边界框和分类标签，分为Red、Green、Fusion群。后一类被引入来表示一组BCR/ABL信号。注释是由病理学家使用labelimg手工完成的。使得分类具有可靠性和专业性，每个步骤分别进行训练和验证(随机选择所有图像的10％)。
训练程序。
除输入数据和注释外，两个网络的训练采用了相同的训练步骤、损失函数和超参数。使用keras RetinaNet包提供的增强实现，使用旋转、随机作物、平移、剪切、缩放以及水平和垂直翻转对图像数据进行增强。本发明用焦点丢失进行分类，用平滑L1丢失进行边界框回归,其固定的学习率为10-4，由于GPU内存的限制，批量大小为1。
后处理。
为了将细胞核探测器网络和荧光信号探测器网络的定位和分类结果转化为核级和图像级的预测，作为自动化的一部分实现了探测器特定的后处理步骤。具体地说，利用核探测器的结果计算了两个比值:
1是低级核数目除以所有检测到的核数目；
2是高级核数目除以所有检测到的核数目。
当比值-1至少为0.2时，FISH图像被定义为低等级图像；当比值-2至少为0.4时，FISH图像被定义为高等级图像。根据这些文件，为每张FISH图像生成了详细的报告，描述了最终图像范围的分类，以及图像所依据的核心和信号级分类细节。
完成训练集及参数调整后对训练器检验能力进行验证，随机抽取n＝100图像输入本CNN训练集，对比识别精确度并对参数进一步调整。
在本发明病理研究所建立的经过认证的常规诊断流程中，本发明开发了一种基于CNN RetinanNet的自动检测FISH图像中BCR/ABL融合状态的自动化计算机程序，该方法使用深度学习从相差图像中生成细胞的伪核染色。本发明在不需要分割的情况下对细胞核和FISH信号进行定位和分类，并另外提供关于样本中BCR/ABL融合状态的详细报告。
具体RetinanNet是一种用于对象定位先进的CNN。该管道由两个独立训练和验证的对象定位网络组成。在第一步中，对整个FISH图像中的细胞核进行定位，并将其分类为低级别或高级别。随后，对于每个检测到的核，第二网络将每个单独的荧光信号定位并分类为Red、Green、Fusion，由此计算BCR/ABL融合比率。
1.本发明证明，这个两步过程提供了融合状态的每个核的分类准确性，整个FISH图像的分类精度与病理学家团队几乎完全一致。通过对每个细胞核进行两次分类，本发明的自动化本质上提供了双重读数，以揭示预测的不确定性，这在临床应用中是必不可少的。
2.本发明的检测系统通过提供FISH图像中每个细胞核的放大状态的详细报告，产生了可解释的结果。这使病理学家能够理解本发明的深度学习系统的决定，这是对该决定提出批判性质疑以及手动重新评估可疑或不确定病例的先决条件。
3.在临床实践中，本发明的深度学习系统可以为病理学家提供一个辅助平台，用于慢性粒细胞白血病分析中BCR/ABL融合状态检测的日常诊断。此外，可以一次分析一个FISH图片的所有细胞核，使得基于整个FISH切片注释的BCR/ABL融合状态识别成为可能。
4.总之，在荧光原位杂交(FISH)图像中，本发明开发了一种基于深度学习的检测、定位和分类间期细胞核的插件，该插件依赖于间期细胞核的BCR/ABL基因融合状态。
下面结合仿真实验对本发明的技术效果做进一步说明。
具体实验如下：
1、材料与方法
选取120例诊断为慢性粒细胞白血病的骨髓标本，男性75例，女性45例，年龄中位数35岁。将处理好的骨髓标本过2×SSC 3min和梯度乙醇各3min进行梯度脱水，晾干标本，加探针杂交过夜。(Vysis LSI BCR/ABL1 Dual Color,Dual Fusion Translocation Probe探针1.5ul探针+15ulbuffer)。
2、扫片和细胞边界分割
2.1采用蔡司ImagerZ2荧光显微镜自动扫片系统，对120张片子进行40倍镜下整片扫描(图2)。
2.2通过种子分水岭算法分割最大强度投影DAPI通道上的核进行细胞边界分割，最终每张片子获取5000个细胞核(图3)。
2.3基于RetinaNet的细胞核探测器网络，对整个玻片进行细胞核定位，并将所述细胞核划分为低级别或高级别，最终选取1000例高级别细胞核用于接下来荧光信号点的定位和分类(图4)；
3、利用训练好的CNN RetinanNet识别模型中荧光信号的定位和分类(图5)；
4、对所述细胞核、荧光信号的定位和分类结果进行后处理得到BCR/ABL融合状态，与三位病理学家的注释进行了比较。
4.1选择三种常见的阴性模式：2G2R、3G2R、2G3R；两种常见的阳性模式：2G2R1F、1G1R2F。T1代表AI判读的结果，T2代表三位病理学家判读的结果。
Figure BDA0003614426390000191
Figure BDA0003614426390000201
Figure BDA0003614426390000211
Figure BDA0003614426390000221
4.2、在没有明确的真实数据集的情况下，本发明计算一致系数κ的算术平均值来反映核检测器的性能。本发明发现细胞核探测器获得的平均κnd＝0.647，代表了探测器与病理学家之间的一致性。为了将这个结果与病理学家之间的一致性进行比较，本发明计算了三位病理学家所获得的注释之间的一致性，这些注释使用了成对的Cohen’s Kappa的平均值，得出κpatho＝0.642。这表明在人类病理学家中有类似的分类可靠性，也反映了阅读FISH图像时固有的模糊性。
为了验证核检测网络在常规诊断中的适用性和可靠性，对某医学新检测的120张高质量FISH图像进行了全图像核检测和分类，并与3位病理学家的注释进行了比较。一个由三名病理学家组成的小组一方面对4314个细胞核进行了独立评估，另一方面对细胞核探测器进行了评估。本发明采用三位病理学家和深度物体探测器网络对120张FISH图像中的每一个细胞核进行定位和分类。分类结果以混淆矩阵的形式收集，通过加权Cohen’s Kappa系数κ计算出细胞核检测器与病理学家之间的评分员间的一致性，反映了独立观察者之间的一致性和类别的序号性质。在没有明确的真实数据集的情况下，本发明计算一致系数κ的算术平均值来反映核检测器的性能。本发明发现细胞核探测器获得的平均κnd＝0.647，代表了探测器与病理学家之间的一致性。为了将这个结果与病理学家之间的一致性进行比较，本发明计算了三位病理学家所获得的注释之间的一致性，这些注释使用了成对的Cohen’sKappa的平均值，得出κpatho＝0.642。这表明在人类病理学家中有类似的分类可靠性，也反映了阅读FISH图像时固有的模糊性。

Claims (10)

1.一种DNA荧光原位杂交BCR/ABL融合状态检测方法，其特征在于，包括：
利用CNN RetinanNet识别模型从相差图像中生成细胞的伪核染色，对FISH的细胞核进行定位与分类；再对每个单独的荧光信号定位并分类，将每张照片中的同一分类的显色点数除以该照片中显示点总数，得到BCR/ABL融合比率；
步骤如下：
步骤一，进行玻片制备和探针杂交；并利用荧光显微镜进行荧光原位探针即FISH图像的采集；图像预处理及细胞边界切割；
步骤二，构建包含两个用于目标定位的卷积神经网络的CNN RetinanNet识别模型，并对所述构建的CNN RetinanNet识别模型进行训练；
步骤三，将新的待检测的图像输入检测系统，利用训练好的CNN RetinanNet识别模型基于采集的FISH图像进行细胞核、FISH信号的定位和分类；
步骤四，对所述细胞核、荧光信号的定位和分类结果进行后处理得到BCR/ABL融合状态。
2.如权利要求1所述的方法，其特征在于，步骤一中，所述利用荧光显微镜进行FISH图像的采集具体为：
利用荧光显微镜使用分级滤光片获取BCR/ABL基因Red信号、Green信号和DAPI信号；以40倍的放大倍数拍摄图像并进行处理；得到所述FISH图像。
3.如权利要求1所述的方法，其特征在于，步骤一中：所述细胞边界分割包括：
1).通过种子分水岭算法分割最大强度投影DAPI通道上的核进行细胞边界分割：
(1.1)构建有监督的二值RF分类器；
(1.2)利用交互式的KNIM工作流对被分割的对象进行注释；
2).利用来源于KNIME图像处理特征计算器节点的2D几何特征集，为每个标记对象提取14个形态特征；
3).基于所述提取的特征和类标签对构建的二值RF分类器进行训练，优化FISH点检测相关参数；
4).利用训练好的有监督的二值RF分类器从点检测中过滤假阳性的FISH点，以及训练和验证基于CNN的完全有监督的点分割算法。
4.如权利要求1所述的方法，其特征在于，所述步骤二CNN RetinanNet识别模型包括：
基于RetinaNet的细胞核探测器网络，用于基于整个FISH图像进行细胞核定位，并将所述细胞核划分为低级别或高级别；
基于RetinaNet的荧光信号检测网络，用于基于细胞核定位结果进行单个点状荧光信号的定位，并将所述荧光信号划分为Red、Green、Fusion信号；
识别每个细胞/每片融合类型(纳入计算细胞数量及比例按照诊疗指南变化)，计算识别细胞BCR/ABL融合比率。
5.如权利要求1所述的方法，其特征在于，步骤二中，所述对构建的CNN RetinanNet识别模型进行训练包括：
1)获取训练数据，并对所述训练数据进行标注；利用旋转、随机作物、平移、剪切、缩放以及水平和垂直翻转对所述训练数据进行增强；
2)利用增强处理后的训练数据对基于RetinaNet的细胞核探测器网络与基于RetinaNet的荧光信号检测网络的进行训练；并确定基于RetinaNet的细胞核探测器网络与基于RetinaNet的荧光信号检测网络的损失函数和超参数。
6.如权利要求5所述的方法，其特征在于，步骤1)中，所述获取训练数据，并对所述训练数据进行标注具体为：
获取专业数据库中存储的慢性粒细胞白血病FISH BCR/ABL基因融合状况的检测图像；为获取的图像中的每个核心提供边界框和类标签：对FISH图像进行人工注释，将细胞核分为低级、高级、不确定和伪影共五类；同时对每个FISH信号的单个细胞核图像人工标注边界框和分类标签，分为Red、Green、Fusion群；得到初始训练数据。
7.如权利要求1所述的方法，其特征在于，步骤四中，所述对细胞核、荧光信号的定位和分类结果进行后处理得到BCR/ABL融合状态具体为：
基于细胞核的定位、分类结果计算低级核数目除以所有检测到的核数目的比值以及高级核数目除以所有检测到的核数目的比值；
将所述比值作为分类相应肿瘤样本BCR/ABL基因融合状态的指标，将FISH图像划分为低等级图像以及高等级图像，确定BCR/ABL基因融合状态。
8.一种实施权利要求1～7任一项方法的DNA荧光原位杂交BCR/ABL融合状态检测系统，其特征在于，所述系统包括：
FISH图像采集模块，用于利用荧光显微镜进行荧光原位探针即FISH图像的采集；
细胞边界分割模块，用于通过种子分水岭算法分割最大强度投影DAPI通道上的核进行细胞边界分割；
识别模型构建与训练模块，构建包含两个用于目标定位的卷积神经网络的CNNRetinanNet识别模型，并对所述构建的CNN RetinanNet识别模型进行训练；
FISH信号定位和分类模块，用于利用训练好的CNN RetinanNet识别模型基于采集的FISH图像进行细胞核、FISH信号的定位和分类；
融合状态获取模块，对所述细胞核、荧光信号的定位和分类结果进行后处理得到BCR/ABL融合状态。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～7任一项所述DNA荧光原位杂交BCR/ABL融合状态检测方法。
10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～7任一项所述DNA荧光原位杂交BCR/ABL融合状态检测方法。
CN202210442247.3A 2022-04-25 2022-04-25 Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统 Active CN114782372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210442247.3A CN114782372B (zh) 2022-04-25 2022-04-25 Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210442247.3A CN114782372B (zh) 2022-04-25 2022-04-25 Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统

Publications (2)

Publication Number Publication Date
CN114782372A true CN114782372A (zh) 2022-07-22
CN114782372B CN114782372B (zh) 2023-04-18

Family

ID=82433654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210442247.3A Active CN114782372B (zh) 2022-04-25 2022-04-25 Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统

Country Status (1)

Country Link
CN (1) CN114782372B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035518A (zh) * 2022-08-11 2022-09-09 珠海横琴圣澳云智科技有限公司 细胞核图像中荧光染色信号点的识别方法和装置
CN116188463A (zh) * 2023-04-24 2023-05-30 中国科学院长春光学精密机械与物理研究所 Fish图像信号自动检测分析方法、装置、设备以及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103409505A (zh) * 2013-06-26 2013-11-27 武汉康录生物技术有限公司 一种用于检测bcr/abl融合基因不含重复序列的fish探针、试剂盒及其检测方法
CN107227349A (zh) * 2017-06-09 2017-10-03 苏州达麦迪生物医学科技有限公司 一种快速检测bcr/abl基因融合的探针组、试剂盒及方法
EP3576011A1 (en) * 2018-05-29 2019-12-04 Chang Gung Memorial Hospital, Linkou Classification system and classification method of autoantibody immunofluorescence image
CN110580699A (zh) * 2019-05-15 2019-12-17 徐州医科大学 基于改进Faster RCNN算法的病理图像细胞核检测方法
CN112819821A (zh) * 2021-03-01 2021-05-18 南华大学 一种细胞核图像检测方法
CN113628157A (zh) * 2020-05-06 2021-11-09 德克萨斯大学体系董事会 利用病理图像来表征肿瘤微环境的系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103409505A (zh) * 2013-06-26 2013-11-27 武汉康录生物技术有限公司 一种用于检测bcr/abl融合基因不含重复序列的fish探针、试剂盒及其检测方法
CN107227349A (zh) * 2017-06-09 2017-10-03 苏州达麦迪生物医学科技有限公司 一种快速检测bcr/abl基因融合的探针组、试剂盒及方法
EP3576011A1 (en) * 2018-05-29 2019-12-04 Chang Gung Memorial Hospital, Linkou Classification system and classification method of autoantibody immunofluorescence image
CN110580699A (zh) * 2019-05-15 2019-12-17 徐州医科大学 基于改进Faster RCNN算法的病理图像细胞核检测方法
CN113628157A (zh) * 2020-05-06 2021-11-09 德克萨斯大学体系董事会 利用病理图像来表征肿瘤微环境的系统和方法
CN112819821A (zh) * 2021-03-01 2021-05-18 南华大学 一种细胞核图像检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035518A (zh) * 2022-08-11 2022-09-09 珠海横琴圣澳云智科技有限公司 细胞核图像中荧光染色信号点的识别方法和装置
CN115035518B (zh) * 2022-08-11 2022-11-01 珠海横琴圣澳云智科技有限公司 细胞核图像中荧光染色信号点的识别方法和装置
WO2024032623A1 (zh) * 2022-08-11 2024-02-15 珠海圣美生物诊断技术有限公司 细胞核图像中荧光染色信号点的识别方法和装置
CN116188463A (zh) * 2023-04-24 2023-05-30 中国科学院长春光学精密机械与物理研究所 Fish图像信号自动检测分析方法、装置、设备以及介质

Also Published As

Publication number Publication date
CN114782372B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US11836950B2 (en) Quality metrics for automatic evaluation of dual ISH images
Wang et al. Deep learning for bone marrow cell detection and classification on whole-slide images
US20200388033A1 (en) System and method for automatic labeling of pathology images
JP7197584B2 (ja) デジタル病理学分析結果の格納および読み出し方法
CN113454733A (zh) 用于预后组织模式识别的多实例学习器
US8391575B2 (en) Automatic image analysis and quantification for fluorescence in situ hybridization
JP2021506022A (ja) 生体画像における連帯的細胞および領域分類のための深層学習システムならびに方法
CN114782372B (zh) Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统
JP7422235B2 (ja) 腫瘍検出および分析を支援するための非腫瘍セグメンテーション
US8542899B2 (en) Automatic image analysis and quantification for fluorescence in situ hybridization
JP2023512560A (ja) 機械学習アルゴリズムを訓練し、患者のプライバシーを維持するための連合学習システム
JP2010540931A (ja) 生物検体を処理するための複数の波長を用いる方法およびシステム
Anari et al. Computer-aided detection of proliferative cells and mitosis index in immunohistichemically images of meningioma
US11222194B2 (en) Automated system and method for creating and executing a scoring guide to assist in the analysis of tissue specimen
US11908130B2 (en) Apparatuses and methods for digital pathology
US20240170165A1 (en) Systems and methods for the detection and classification of biological structures
Grzeszczyk et al. Segmentation of the veterinary cytological images for fast neoplastic tumors diagnosis
Blahova et al. Blood Smear Leukocyte Identification Using an Image Segmentation Approach
Sabata Digital pathology imaging-The next frontier in medical imaging
Santamaria-Pang et al. Epithelial cell segmentation via shape ranking
Zhang et al. Automated Scoring System of HER2 in Pathological Images under the Microscope
Jyash et al. EFFICIENT MACHINE LEARNING ALGORITHM FOR CANCER DETECTION USING BIOMEDICAL IMAGE
Selcuk et al. Automated HER2 Scoring in Breast Cancer Images Using Deep Learning and Pyramid Sampling
Seesawad et al. PseudoCell: Hard Negative Mining as Pseudo Labeling for Deep Learning-Based Centroblast Cell Detection
Aiswarya et al. CANCER DETECTION USING HISTOPATHOLOGY IMAGES

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant