CN111739010B - 一种检测循环异常细胞的方法及装置 - Google Patents

一种检测循环异常细胞的方法及装置 Download PDF

Info

Publication number
CN111739010B
CN111739010B CN202010585145.8A CN202010585145A CN111739010B CN 111739010 B CN111739010 B CN 111739010B CN 202010585145 A CN202010585145 A CN 202010585145A CN 111739010 B CN111739010 B CN 111739010B
Authority
CN
China
Prior art keywords
image
convolution
characteristic image
cell
cell nucleus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010585145.8A
Other languages
English (en)
Other versions
CN111739010A (zh
Inventor
范献军
蓝兴杰
叶莘
张义
李丛胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Zhuhai Livzon Cynvenio Diagnostics Ltd
Original Assignee
Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Zhuhai Livzon Cynvenio Diagnostics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Hengqin Shengao Yunzhi Technology Co ltd, Zhuhai Livzon Cynvenio Diagnostics Ltd filed Critical Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Priority to CN202010585145.8A priority Critical patent/CN111739010B/zh
Publication of CN111739010A publication Critical patent/CN111739010A/zh
Priority to JP2022580447A priority patent/JP7449420B2/ja
Priority to EP20941819.3A priority patent/EP4170583A4/en
Priority to PCT/CN2020/133954 priority patent/WO2021258651A1/zh
Priority to US18/012,585 priority patent/US11880974B2/en
Application granted granted Critical
Publication of CN111739010B publication Critical patent/CN111739010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种检测循环异常细胞的方法及装置，其中，该检测循环异常细胞的方法包括：利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜图像中包含的细胞核分别进行分割和标记；将标记细胞核的多个探针通道的暗视野显微镜图像输入预先构建的循环异常细胞检测模型，得到每一探针通道的暗视野显微镜图像中每个标记的细胞核包含的染色信号数；针对每个标记的细胞核，基于得到的每一探针通道的暗视野显微镜图像中，该标记的细胞核包含的染色信号数，确定该标记的细胞核是否属于循环异常细胞。可以有效提高检测循环异常细胞的可靠性。

Description

一种检测循环异常细胞的方法及装置
技术领域
本发明涉及细胞检测技术领域，具体而言，涉及一种检测循环异常细胞(CACs，Circulating Abnormal Cells)的方法及装置。
背景技术
循环肿瘤细胞(CTCs，Circulating Tumor Cells)是在肿瘤转移过程中，从原发肿瘤脱落并在远处器官部位形成继发肿瘤的细胞。大量研究表明，血液中的CTCs数量可以预测疾病进展并表明肿瘤对化疗药物的反应，因而，通过采集一定量的外周血液，从外周血液中对CTCs进行检测，并监测CTCs在血液中含量的变化，可用于分析肿瘤的发病过程、评估患者的预后，了解患者接受治疗后临床状况的改善情况、耐药情况等。
近年来，循环遗传异常细胞(CACs,Circulating genetically abnormal cells)被报道在非小细胞肺癌(NSCLC,Non Small Cell Lung Cancer)病人的外周血中被发现.这是一类被认为参与了肺癌的发生、发展和转移的细胞，包括从肿瘤中脱落进入外周血循环系统的CTCs。针对于外周血中CACs的检测可以更早的预测到肿瘤存在。这一方法无疑具有广阔的应用前景。
目前，对CACs进行检测的方法，是通过采集外周血液的暗视野(DF，Dark Field)显微镜图像，利用CACs的形态学信息，例如，形状、大小，并基于人工干预，标记DF显微镜图像中的CACs，对标记的CACs进行计数，依据计数结果确定CACs在血液中的含量。但该检测CACs的方法，依据CACs的形态学信息并结合人工干预进行CACs的检测、确认和计数，检测的主观性较强、可靠性不高，且由于需要人工参与，检测的效率较低、检测成本较高。
发明内容
有鉴于此，本发明的目的在于提供检测循环异常细胞的方法及装置，以提高检测循环异常细胞的可靠性。
第一方面，本发明实施例提供了检测循环异常细胞的方法，包括：
利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜图像中包含的细胞核分别进行分割和标记；
将标记细胞核的多个探针通道的暗视野显微镜图像输入预先构建的循环异常细胞检测模型，得到每一探针通道的暗视野显微镜图像中每个标记的细胞核包含的染色信号数；
针对每个标记的细胞核，基于得到的每一探针通道的暗视野显微镜图像中，该标记的细胞核包含的染色信号数，确定该标记的细胞核是否属于循环异常细胞。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，构建所述循环异常细胞检测模型，包括：
利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜样本图像中包含的细胞核分别进行分割和标记，对标记细胞核的探针通道的暗视野显微镜样本图像进行分割，得到多个细胞核样本图像；
针对每一细胞核样本图像，对该细胞核样本图像进行多次卷积处理，分别得到第一特征图像、第二特征图像、第三特征图像以及第四特征图像；
对第四特征图像进行卷积处理，得到第五特征图像，对第五特征图像进行上采样，得到第六特征图像；
对第三特征图像和第六特征图像进行卷积处理，得到第七特征图像，对第七特征图像进行上采样，得到第八特征图像；
对第二特征图像和第八特征图像进行卷积处理，得到第九特征图像，对第九特征图像进行上采样，得到第十特征图像；
对第一特征图像和第十特征图像进行卷积处理，得到第十一特征图像；
每一细胞核样本图像作为深度学习网络的输入，将第七特征图像、第九特征图像以及第十一特征图像作为深度学习网络的输出的三个尺度的预测结果进行融合，最终将细胞核样本图像中标记的细胞核包含的染色信号数作为深度学习网络的输出，对深度学习网络进行训练和测试，得到循环异常细胞检测模型。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述对该细胞核样本图像进行多次卷积处理，分别得到第一特征图像、第二特征图像、第三特征图像以及第四特征图像，包括：
对细胞核样本图像依次进行第一卷积层、第二卷积层、第三卷积层以及第四卷积层的卷积处理，得到第一特征图像；
对第一特征图像进行第五卷积层以及第六卷积层的卷积处理，得到第二特征图像；
对第二特征图像进行第七卷积层以及第八卷积层的卷积处理，得到第三特征图像；
对第三特征图像进行第九卷积层以及第十卷积层的卷积处理，得到第四特征图像。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述对细胞核样本图像依次进行第一卷积层、第二卷积层、第三卷积层以及第四卷积层的卷积处理，得到第一特征图像，包括：
所述细胞核样本图像大小为320*320，第一卷积层的卷积核数为32，卷积核大小为3*3、步长为1，输出的特征图像大小为320*320；
第二卷积层包括第一卷积子层及第二卷积子层，第一卷积子层采用卷积核数为32，卷积核大小为3*3、步长为2，输出的特征图像大小为160*160，第二卷积子层的卷积核数为64，卷积核大小为1*1、步长为1，输出的特征图像大小为160*160；
第三卷积层包括第三卷积子层及第四卷积子层，第三卷积子层采用卷积核数为64，卷积核大小为3*3、步长为1，输出的特征图像大小为160*160，第四卷积子层的卷积核数为128，卷积核大小为1*1、步长为2，输出的特征图像大小为80*80；
第四卷积层包括第五卷积子层及第六卷积子层，第五卷积子层采用卷积核数为128，卷积核大小为3*3、步长为1，输出的特征图像大小为80*80，第六卷积子层的卷积核数为128，卷积核大小为1*1、步长为1，输出的特征图像大小为80*80，第六卷积子层输出的特征图像为第一特征图像。
结合第一方面、第一方面的第一种可能的实施方式至第三种可能的实施方式中的任一种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜图像中包含的细胞核分别进行分割和标记，包括：
针对每一探针通道的暗视野显微镜图像，对该暗视野显微镜图像进行高斯核滤波，得到去噪图像；
对去噪图像进行连通域标记，获取标记的连通区域；
利用形态学算法，对获取的连通区域进行分割，并对分割得到的区域进行标记，得到标记的细胞核。
结合第一方面、第一方面的第一种可能的实施方式至第三种可能的实施方式中的任一种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述将标记细胞核的多个探针通道的暗视野显微镜图像输入预先构建的循环异常细胞检测模型，得到每一探针通道的暗视野显微镜图像中每个标记的细胞核包含的染色信号数，包括：
将标记细胞核的探针第一通道暗视野显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第一通道暗视野显微镜图像中，每个标记的细胞核包含的染色信号第一计数；
将标记细胞核的探针第二通道暗视野显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第二通道暗视野显微镜图像中，每个标记的细胞核包含的染色信号第二计数；
将标记细胞核的探针第三通道暗视野显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第三通道暗视野显微镜图像中，每个标记的细胞核包含的染色信号第三计数；
将标记细胞核的探针第四通道暗视野显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第四通道暗视野显微镜图像中，每个标记的细胞核包含的染色信号第四计数。
结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述针对每个标记的细胞核，基于得到的每一探针通道的暗视野显微镜图像中，该标记的细胞核包含的染色信号数，确定该标记的细胞核是否属于循环异常细胞，包括：
获取标记细胞核的探针第一通道的暗视野显微镜图像中，标记的第一细胞核包含的染色信号第一计数；
获取标记细胞核的探针第二通道的暗视野显微镜图像中，所述标记的第一细胞核包含的染色信号第二计数；
获取标记细胞核的探针第三通道的暗视野显微镜图像中，所述标记的第一细胞核包含的染色信号第三计数；
获取标记细胞核的探针第四通道的暗视野显微镜图像中，所述标记的第一细胞核包含的染色信号第四计数；
依据所述染色信号第一计数、染色信号第二计数、染色信号第三计数以及染色信号第四计数，确定所述标记的第一细胞核是否属于循环异常细胞。
第二方面，本发明实施例还提供了一种检测循环异常细胞的装置，包括：
细胞核标记模块，用于利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜图像中包含的细胞核分别进行分割和标记；
染色信号数获取模块，用于将标记细胞核的多个探针通道的暗视野显微镜图像输入预先构建的循环异常细胞检测模型，得到每一探针通道的暗视野显微镜图像中每个标记的细胞核包含的染色信号数；
细胞类型判定模块，用于针对每个标记的细胞核，基于得到的每一探针通道的暗视野显微镜图像中，该标记的细胞核包含的染色信号数，确定该标记的细胞核是否属于循环异常细胞。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。
本发明实施例提供的检测循环异常细胞的方法及装置，通过利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜图像中包含的细胞核分别进行分割和标记；将标记细胞核的多个探针通道的暗视野显微镜图像输入预先构建的循环异常细胞检测模型，得到每一探针通道的暗视野显微镜图像中每个标记的细胞核包含的染色信号数；针对每个标记的细胞核，基于得到的每一探针通道的暗视野显微镜图像中，该标记的细胞核包含的染色信号数，确定该标记的细胞核是否属于循环异常细胞。这样，利用图像处理算法和形态学算法对细胞核进行标记，能够实现对小尺寸细胞核的标记，避免主观性的影响，而利用循环异常细胞检测模型对标记的细胞核包含的染色信号进行检测，染色信号的检测可靠性和精度高，从而能够有效提升检测CTCs的可靠性和精度。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的检测循环异常细胞的方法流程示意图；
图2示出了本发明实施例构建循环异常细胞检测模型的卷积处理示意图；
图3示出了本发明实施例构建循环异常细胞检测模型的方法流程示意图；
图4示出了本发明实施例所提供的检测循环异常细胞的装置结构示意图；
图5为本申请实施例提供的一种计算机设备500的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有检测循环异常细胞的方法，是在采集外周血液细胞的DF显微镜图像后，利用CACs的形态学信息并结合人工干预来识别CACs，并基于血液中识别出的CACs进行计数，从而依据计数结果确定CACs在血液中的含量以作为后续诊断和治疗的参考。由于是依据CACs的形态学信息并结合人工干预进行CACs识别并计数，使得检测(识别)CACs的可靠性不高，检测的效率较低。本发明实施例中，从利用荧光原位杂交(FISH，Fluorescence in SituHybridization)技术得到的DF显微镜图像中，自动分割细胞核，利用预设的CACs检测模型，对细胞核内的染色(荧光)信号进行计数，并基于量化判定规则以及计数来检测和识别CACs。
本发明实施例提供了一种检测循环异常细胞的方法及装置，下面通过实施例进行描述。
图1示出了本发明实施例所提供的检测循环异常细胞的方法流程示意图。如图1所示，该方法包括：
步骤101，利用图像处理算法和形态学算法，对多个探针通道的DF显微镜图像中包含的细胞核分别进行分割和标记；
本发明实施例中，DF显微镜图像为利用荧光原位杂交(FISH，Fluorescence inSitu Hybridization)技术得到的经DAPI或其他的细胞核染色染料染色后的细胞图像。其中，DAPI为4',6-二脒基-2-苯基吲哚(4',6-diamidino-2-phenylindole)，是一种能够与脱氧核糖核酸(DNA，DeoxyriboNucleic Acid)强力结合的荧光染料，可以透过完整的细胞膜，用于细胞的染色。
本发明实施例中，作为一可选实施例，DF显微镜图像可以是包含各种细胞，例如，正常细胞、循环异常细胞、单扩增细胞等的图像，分辨率为2448*2048像素，一张DF显微镜图像可以包含数百个不同种类的细胞。
本发明实施例中，进行多探针通道的图像拍摄。作为一可选实施例，探针通道包括：探针第一通道、探针第二通道、探针第三通道以及探针第四通道，相对应地，多个探针通道的DF显微镜图像包括：探针第一通道DF显微镜图像、探针第二通道DF显微镜图像、探针第三通道DF显微镜图像以及探针第四通道DF显微镜图像，并分别从四个探针通道的DF显微镜图像中分割出每个细胞核各探针通道的染色图像。
本发明实施例中，作为一可选实施例，利用图像处理算法和形态学算法，对多个探针通道的DF显微镜图像中包含的染色信号分别进行分割和标记，包括：
A11，针对每一探针通道的暗视野显微镜图像，对该暗视野显微镜图像进行高斯核滤波，得到去噪图像；
本发明实施例中，通过对暗视野显微镜图像进行高斯核滤波，可以去除暗视野显微镜图像中的噪声，得到去噪图像。其中，作为一可选实施例，高斯核滤波包括但不限于：高斯核函数、自适应高斯滤波器、伽玛变换及顶帽变换。
本发明实施例中，作为一可选实施例，在对该暗视野显微镜图像进行高斯核滤波之前或之后，以对该暗视野显微镜图像进行高斯核滤波之前为例，该方法还可以包括：
对该暗视野显微镜图像进行分割。
本发明实施例中，将暗视野显微镜图像分割为128*128块子图像，每一子图像的分辨率为19*16。
A12，对去噪图像进行连通域标记，获取标记的连通区域；
本发明实施例中，利用连接域生成器算法，对去噪图像进行连通域标记。
A13，利用形态学算法，对获取的连通区域进行分割，并对分割得到的区域进行标记，得到标记的细胞核。
本发明实施例中，形态学算法包括但不限于：霍夫(Hough)圆检测算法、闭运算、开运算。例如，对于分割得到的连通区域中的重叠细胞或粘连细胞，利用霍夫(Hough)圆检测算法，计算重叠细胞或粘连细胞中的每个细胞的核心，从而将重叠细胞或粘连细胞分割为多个单个细胞。再例如，对连通区域进行闭运算，再进行开运算。这样，通过形态学运算，可以分离相邻细胞核，得到相互独立的细胞核并进行标记，使得DF显微镜图像中包含的每一细胞核都能被标记出来，从而避免依据CACs的形态学信息进行标记而导致的遗漏细胞核的情形出现。
本发明实施例中，如前所述，以多个探针通道的DF显微镜图像包括四个探针通道的DF显微镜图像为例，因而，对于一个细胞，分别对应四个探针通道的DF显微镜图像中的细胞核，四个探针通道的DF显微镜图像之间相互关联。
本发明实施例中，作为一可选实施例，在得到去噪图像之后，对去噪图像进行连通域标记之前，该方法还包括：
依据二值分割算法对去噪图像进行分割，得到二值图像，以基于二值图像进行连通域标记。
本发明实施例中，二值分割算法包括但不限于：大津法(Otsu)自适应阈值分割算法，通过对去噪图像进行二值分割，得到包含前景色和背景色的二值图像。
步骤102，将标记细胞核的多个探针通道的暗视野显微镜图像输入预先构建的循环异常细胞检测模型，得到每一探针通道的暗视野显微镜图像中每个标记的细胞核包含的染色信号数；
本发明实施例中，使用标定工具对标记细胞核的多个探针通道的暗视野显微镜图像进行细胞类型的人工标定；将标定细胞类型的图像作为训练集，利用深度学习YOLO-v3-MobileNet算法进行有监督训练，再利用训练好的模型在测试库上进行染色(荧光)信号检测测试，得到最终的循环异常细胞检测模型。
本发明实施例中，若多个探针通道的DF显微镜图像包括：探针第一通道DF显微镜图像、探针第二通道DF显微镜图像、探针第三通道DF显微镜图像以及探针第四通道DF显微镜图像，作为一可选实施例，将标记细胞核的多个探针通道的暗视野显微镜图像输入预先构建的循环异常细胞检测模型，得到每一探针通道的暗视野显微镜图像中每个标记的细胞核包含的染色信号数，包括：
将标记细胞核的探针第一通道DF显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第一通道DF显微镜图像中，每个标记的细胞核包含的染色信号第一计数；
将标记细胞核的探针第二通道DF显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第二通道DF显微镜图像中，每个标记的细胞核包含的染色信号第二计数；
将标记细胞核的探针第三通道DF显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第三通道DF显微镜图像中，每个标记的细胞核包含的染色信号第三计数；
将标记细胞核的探针第四通道DF显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第四通道DF显微镜图像中，每个标记的细胞核包含的染色信号第四计数。
本发明实施例中，循环异常细胞检测模型对四个探针通道DF显微镜图像中，每个细胞核中包含的染色信号进行检测并对染色信号的数量进行计数(染色信号数)。
步骤103，针对每个标记的细胞核，基于得到的每一探针通道的暗视野显微镜图像中，该标记的细胞核包含的染色信号数，确定该标记的细胞核是否属于循环异常细胞。
本发明实施例中，作为一可选实施例，针对每个标记的细胞核，基于得到的每一探针通道的暗视野显微镜图像中，该标记的细胞核包含的染色信号数，确定该标记的细胞核是否属于循环异常细胞，包括：
获取标记细胞核的探针第一通道的暗视野显微镜图像中，标记的第一细胞核包含的染色信号第一计数；
获取标记细胞核的探针第二通道的暗视野显微镜图像中，所述标记的第一细胞核包含的染色信号第二计数；
获取标记细胞核的探针第三通道的暗视野显微镜图像中，所述标记的第一细胞核包含的染色信号第三计数；
获取标记细胞核的探针第四通道的暗视野显微镜图像中，所述标记的第一细胞核包含的染色信号第四计数；
依据所述染色信号第一计数、染色信号第二计数、染色信号第三计数以及染色信号第四计数，确定所述标记的第一细胞核是否属于循环异常细胞。
本发明实施例中，作为一可选实施例，依据所述染色信号第一计数、染色信号第二计数、染色信号第三计数以及染色信号第四计数，确定所述标记的第一细胞核是否属于循环异常细胞，包括：
若所述染色信号第一计数、染色信号第二计数、染色信号第三计数以及染色信号第四计数中，计数不小于2的个数大于2，确定所述标记的第一细胞核属于循环异常细胞。
本发明实施例中，作为另一可选实施例，该方法还包括：
对于所述染色信号第一计数、染色信号第二计数、染色信号第三计数以及染色信号第四计数，若有任一计数小于2，确定所述标记的第一细胞核属于缺失细胞；若只有一计数大于2，确定所述标记的第一细胞核属于单扩增细胞；若染色信号成对出现，确定所述标记的第一细胞核属于正常细胞。
本发明实施例中，对于不能确定为循环异常细胞、缺失细胞、单扩增细胞或正常细胞的细胞，确定其为其它细胞或未知细胞。
本发明实施例的检测循环异常细胞的方法，利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜图像中包含的细胞核分别进行分割和标记；将标记细胞核的多个探针通道的暗视野显微镜图像输入预先构建的循环异常细胞检测模型，得到每一探针通道的暗视野显微镜图像中每个标记的细胞核包含的染色信号数；针对每个标记的细胞核，基于得到的每一探针通道的暗视野显微镜图像中，该标记的细胞核包含的染色信号数，确定该标记的细胞核是否属于循环异常细胞。这样，利用图像处理算法和形态学算法对细胞核进行标记，能够实现对小尺寸细胞核的标记，避免主观性的影响，而利用循环异常细胞检测模型对标记的细胞核包含的染色信号进行检测，染色信号的检测可靠性和精度高，从而有效提升了基于量化判定规则以及计数识别的CTCs的可靠性和精度。
图2示出了本发明实施例构建循环异常细胞检测模型的卷积处理示意图；
图3示出了本发明实施例构建循环异常细胞检测模型的方法流程示意图。
如图2和图3所示，该方法包括：
步骤301，利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜样本图像中包含的细胞核分别进行分割和标记，对标记细胞核的探针通道的暗视野显微镜样本图像进行分割，得到多个细胞核样本图像；
本发明实施例中，对标记细胞核的探针通道的暗视野显微镜样本图像进行分割，得到多个细胞核样本图像。作为以可选时尚，细胞核样本图像为320*320。
本发明实施例中，分割出的细胞核样本图像中，包含正常细胞、单扩增细胞、缺失细胞、循环异常细胞以及其它细胞。
步骤302，针对每一细胞核样本图像，对该细胞核样本图像进行多次卷积处理，分别得到第一特征图像、第二特征图像、第三特征图像以及第四特征图像；
本发明实施例中，作为一可选实施例，针对每一320*320的细胞核样本图像，通过卷积层，对细胞核样本图像进行卷积处理以提取细胞核样本图像中包含的特征，经过卷积处理后输出的图像作为下一卷积层的输入。
本发明实施例中，作为一可选实施例，若细胞核样本图像大小为320*320，分别输出80*80、40*40、20*20和10*10四个尺度的特征图像，即第一特征图像大小为80*80、第二特征图像大小为40*40、第三特征图像大小为20*20、以及，第四特征图像大小为10*10。这样，输出的特征图像既可以兼顾高层语义特征，又能包含可以用于识别的染色信号的细节特征。
本发明实施例中，作为一可选实施例，对该细胞核样本图像进行多次卷积处理，分别得到第一特征图像、第二特征图像、第三特征图像以及第四特征图像，包括：
A21，对细胞核样本图像依次进行第一卷积层、第二卷积层、第三卷积层以及第四卷积层的卷积处理，得到第一特征图像；
本发明实施例中，作为一可选实施例，对细胞核样本图像依次进行第一卷积层、第二卷积层、第三卷积层以及第四卷积层的卷积处理，得到第一特征图像，包括：
所述细胞核样本图像大小为320*320，第一卷积层的卷积核数(Filters)为32，卷积核大小(Size)为3*3、步长为1，输出(Output)的特征图像大小为320*320；
第二卷积层包括第一卷积子层及第二卷积子层，第一卷积子层采用深度分离卷积(Conv dw)，卷积核数为32，卷积核大小为3*3、步长为2，输出的特征图像大小为160*160，第二卷积子层的卷积核数为64，卷积核大小为1*1、步长为1，输出的特征图像大小为160*160；
第三卷积层包括第三卷积子层及第四卷积子层，第三卷积子层采用深度分离卷积，卷积核数为64，卷积核大小为3*3、步长为1，输出的特征图像大小为160*160，第四卷积子层的卷积核数为128，卷积核大小为1*1、步长为2，输出的特征图像大小为80*80；
第四卷积层包括第五卷积子层及第六卷积子层，第五卷积子层采用深度分离卷积，卷积核数为128，卷积核大小为3*3、步长为1，输出的特征图像大小为80*80，第六卷积子层的卷积核数为128，卷积核大小为1*1、步长为1，输出的特征图像大小为80*80，第六卷积子层输出的特征图像为第一特征图像。
本发明实施例中，经过步长为1的卷积层处理后，该卷积层输出的图像大小与输入图像大小相同；经过步长为2的卷积层处理后，该卷积层输出的图像大小为输入图像大小的一半。
A22，对第一特征图像进行第五卷积层以及第六卷积层的卷积处理，得到第二特征图像；
本发明实施例中，第五卷积层包括第七卷积子层及第八卷积子层，第七卷积子层采用空间卷积，卷积核数为128，卷积核大小为3*3、步长为1，输出的特征图像大小为80*80，第八卷积子层的卷积核数为256，卷积核大小为1*1、步长为2，输出的特征图像大小为40*40；
第六卷积层包括第九卷积子层及第十卷积子层，第九卷积子层采用空间卷积，卷积核数为256，卷积核大小为3*3、步长为1，输出的特征图像大小为40*40，第十卷积子层的卷积核数为256，卷积核大小为1*1、步长为1，输出的特征图像大小为40*40，第十卷积子层输出的特征图像为第二特征图像。
A23，对第二特征图像进行第七卷积层以及第八卷积层的卷积处理，得到第三特征图像；
本发明实施例中，第七卷积层包括第十一卷积子层及第十二卷积子层，第十一卷积子层采用深度分离卷积，卷积核数为256，卷积核大小为3*3、步长为1，输出的特征图像大小为40*40，第十二卷积子层的卷积核数为512，卷积核大小为1*1、步长为2，输出的特征图像大小为20*20；
第八卷积层包括第十三卷积子层及第十四卷积子层，第十三卷积子层采用深度分离卷积，卷积核数为512，卷积核大小为3*3、步长为1，输出的特征图像大小为20*20，第十四卷积子层的卷积核数为512，卷积核大小为1*1、步长为1，输出的特征图像大小为20*20，第十四卷积子层输出的特征图像为第三特征图像。
A24，对第三特征图像进行第九卷积层以及第十卷积层的卷积处理，得到第四特征图像。
本发明实施例中，第九卷积层包括第十五卷积子层及第十六卷积子层，第十五卷积子层采用深度分离卷积，卷积核数为512，卷积核大小为3*3、步长为1，输出的特征图像大小为20*20，第十六卷积子层的卷积核数为1024，卷积核大小为1*1、步长为2，输出的特征图像大小为10*10；
第十卷积层包括第十七卷积子层及第十八卷积子层，第十七卷积子层采用深度分离卷积，卷积核数为1024，卷积核大小为3*3、步长为1，输出的特征图像大小为10*10，第十八卷积子层的卷积核数为1024，卷积核大小为1*1、步长为1，输出的特征图像大小为10*10，第十八卷积子层输出的特征图像为第四特征图像。
步骤303，对第四特征图像进行卷积处理，得到第五特征图像，对第五特征图像进行上采样，得到第六特征图像；
步骤304，对第三特征图像和第六特征图像进行卷积处理，得到第七特征图像，对第七特征图像进行上采样，得到第八特征图像；
步骤305，对第二特征图像和第八特征图像进行卷积处理，得到第九特征图像，对第九特征图像进行上采样，得到第十特征图像；
步骤306，对第一特征图像和第十特征图像进行卷积处理，得到第十一特征图像；
步骤307，每一细胞核样本图像作为深度学习网络的输入，将第七特征图像、第九特征图像以及第十一特征图像作为深度学习网络的输出的三个尺度的预测结果进行融合，最终将细胞核样本图像中标记的细胞核包含的染色信号数作为深度学习网络的输出，对深度学习网络进行训练和测试，得到循环异常细胞检测模型。
本发明实施例中，作为一可选实施例，将细胞核样本图像随机划分为训练集和测试集。其中，作为一可选实施例，训练集占细胞核样本图像总数的90％，测试集占细胞核样本图像总数的10％。
本发明实施例中，作为一可选实施例，对于训练集，采用5折交叉验证法分别对采用多种机器学习算法的深度学习网络进行训练，从中选取训练精度最高的深度学习网络作为最终的循环异常细胞检测模型。
本发明实施例中，对于细胞核样本图像中标记的每一细胞核，其对应的细胞类型已预先标定，例如，该细胞核是正常细胞、循环异常细胞、单扩增细胞还是缺失细胞，且每一类型的细胞在四探针通道对应的细胞核样本图像中包含的染色信号数也是预先标定的，例如，对于第一探针通道细胞核样本图像中标记的第一细胞核，标定为缺失细胞，包含的染色信号数为1，相对应地，对于第二探针通道细胞核样本图像中标记的该第一细胞核，包含的染色信号数为2，对于第三探针通道细胞核样本图像中标记的该第一细胞核，包含的染色信号数为1，对于第四探针通道细胞核样本图像中标记的该第一细胞核，包含的染色信号数为3，这样，以第一细胞核为例，以第一探针通道细胞核样本图像中的第一细胞核图像作为深度学习网络的输入，以该第一细胞核包含的染色信号数为1作为深度学习网络的输出，以第二探针通道细胞核样本图像中的第一细胞核图像作为深度学习网络的输入，以该第一细胞核包含的染色信号数为2作为深度学习网络的输出，以第三探针通道细胞核样本图像中的第一细胞核图像作为深度学习网络的输入，以该第一细胞核包含的染色信号数为1作为深度学习网络的输出，以及，以第四探针通道细胞核样本图像中的第一细胞核图像作为深度学习网络的输入，以该第一细胞核包含的染色信号数为3作为深度学习网络的输出，对深度学习网络进行训练。
本发明实施例中，作为一可选实施例，可以使用Labelme等标定工具对10万+多探针通道细胞核图像进行人工精准标定，确保每个细胞核和染色信号点的边界、形态清晰准确，得到细胞核样本图像。然后使用已标定的细胞核样本图像作为训练集和测试集进行有监督训练。
本发明实施例中，深度学习网络按照预设的规则对输入的细胞核图像进行识别，并融合了第七特征图像、第九特征图像以及第十一特征图像的多尺度特征图进行细胞核识别，将识别出的细胞核对应的染色信号数作为该深度学习网络的输出，对该深度学习网络进行训练，最后得到循环异常细胞检测模型，该循环异常细胞检测模型输入为细胞核样本图像，输出为该细胞核样本图像中每一细胞核分别包含的染色信号数。
本发明实施例中，通过对输出的10*10的特征图像(第四特征图像)与20*20的特征图像(第三特征图像)分别进行上采样处理，使其尺寸扩大一倍，进而分别与第八卷积层输出的20*20的特征图像和第六卷积层输出的40*40的特征图像进行融合，可以进一步增加输出的特征图像的多样性。
本发明实施例中，由于染色信号图像在DF显微镜图像中的大小偏小，现有基于形态学的检测算法，存在小目标染色信号图像容易漏检的情形。因而，本发明实施例针对染色信号图像的特点，通过增加80*80的特征图像以进行优化，该特征图像可以丰富更多的纹理和轮廓信息，从而能够检测出小目标染色信号图像。
本发明实施例中，深度学习算法为基于深度学习YOLO-v3算法改进的深度学习YOLO-v3-MobileNet算法，相对于深度学习YOLO-v3算法框架输出的3个尺度的尺度特征(特征图像)，增加了一个大尺度的尺度特征，且剪去了最小尺度特征输出，增加大尺度特征输出，从而保持三个输出尺度特征不变。此外，最小尺度特征通过上采样与其他尺度特征融合，最终的检测结果为三个输出尺度特征结果的融合，兼顾了高层语义特征与底层细节特征。
本发明实施例的循环异常细胞检测模型，在10000+的测试集上进行了对比试验，获得了95.3％的正确检出率，相比深度学习YOLO-v3算法的90.6％的正确检出率有显著提高，具有较高的灵敏度和特异性。
图4示出了本发明实施例所提供的检测循环异常细胞的装置结构示意图。如图4所示，该装置包括：
细胞核标记模块401，用于利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜图像中包含的细胞核分别进行分割和标记；
本发明实施例中，DF显微镜图像为利用FISH技术得到的经DAPI染色后的细胞图像。探针通道包括：探针第一通道、探针第二通道、探针第三通道以及探针第四通道，相对应地，多个探针通道的DF显微镜图像包括：探针第一通道DF显微镜图像、探针第二通道DF显微镜图像、探针第三通道DF显微镜图像以及探针第四通道DF显微镜图像，并分别从四个探针通道的DF显微镜图像中分割出每个细胞核的图像。
本发明实施例中，作为一可选实施例，细胞核标记模块401包括：
滤波单元(图中未示出)，用于针对每一探针通道的暗视野显微镜图像，对该暗视野显微镜图像进行高斯核滤波，得到去噪图像；
连通标记单元，用于对去噪图像进行连通域标记，获取标记的连通区域；
细胞核标记单元，用于利用形态学算法，对获取的连通区域进行分割，并对分割得到的区域进行标记，得到标记的细胞核。
染色信号数获取模块402，用于将标记细胞核的多个探针通道的暗视野显微镜图像输入预先构建的循环异常细胞检测模型，得到每一探针通道的暗视野显微镜图像中每个标记的细胞核包含的染色信号数；
本发明实施例中，作为一可选实施例，染色信号数获取模块402包括：
第一计数获取单元(图中未示出)，用于将标记细胞核的探针第一通道暗视野显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第一通道暗视野显微镜图像中，每个标记的细胞核包含的染色信号第一计数；
第二计数获取单元，用于将标记细胞核的探针第二通道暗视野显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第二通道暗视野显微镜图像中，每个标记的细胞核包含的染色信号第二计数；
第三计数获取单元，用于将标记细胞核的探针第三通道暗视野显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第三通道暗视野显微镜图像中，每个标记的细胞核包含的染色信号第三计数；
第四计数获取单元，用于将标记细胞核的探针第四通道暗视野显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第四通道暗视野显微镜图像中，每个标记的细胞核包含的染色信号第四计数。
细胞类型判定模块403，用于针对每个标记的细胞核，基于得到的每一探针通道的暗视野显微镜图像中，该标记的细胞核包含的染色信号数，确定该标记的细胞核是否属于循环异常细胞。
本发明实施例中，作为一可选实施例，细胞类型判定模块403包括：
探针第一通道计数单元(图中未示出)，用于获取标记细胞核的探针第一通道的暗视野显微镜图像中，标记的第一细胞核包含的染色信号第一计数；
探针第二通道计数单元，用于获取标记细胞核的探针第二通道的暗视野显微镜图像中，所述标记的第一细胞核包含的染色信号第二计数；
探针第三通道计数单元，用于获取标记细胞核的探针第三通道的暗视野显微镜图像中，所述标记的第一细胞核包含的染色信号第三计数；
探针第四通道计数单元，用于获取标记细胞核的探针第四通道的暗视野显微镜图像中，所述标记的第一细胞核包含的染色信号第四计数；
判定单元，用于依据所述染色信号第一计数、染色信号第二计数、染色信号第三计数以及染色信号第四计数，确定所述标记的第一细胞核是否属于循环异常细胞。
本发明实施例中，作为一可选实施例，判定单元具体用于：
若所述染色信号第一计数、染色信号第二计数、染色信号第三计数以及染色信号第四计数中，计数不小于2的个数大于2，确定所述标记的第一细胞核属于循环异常细胞。
本发明实施例中，作为另一可选实施例，判定单元还具体用于：
对于所述染色信号第一计数、染色信号第二计数、染色信号第三计数以及染色信号第四计数，若有任一计数小于2，确定所述标记的第一细胞核属于缺失细胞；若只有一计数大于2，确定所述标记的第一细胞核属于单扩增细胞；若染色信号成对出现，确定所述标记的第一细胞核属于正常细胞。
本发明实施例中，作为一可选实施例，该装置还包括：
检测模型构建模块(图中未示出)，用于利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜样本图像中包含的细胞核分别进行分割和标记，对标记细胞核的探针通道的暗视野显微镜样本图像进行分割，得到多个细胞核样本图像；
针对每一细胞核样本图像，对该细胞核样本图像进行多次卷积处理，分别得到第一特征图像、第二特征图像、第三特征图像以及第四特征图像；
对第四特征图像进行卷积处理，得到第五特征图像，对第五特征图像进行上采样，得到第六特征图像；
对第三特征图像和第六特征图像进行卷积处理，得到第七特征图像，对第七特征图像进行上采样，得到第八特征图像；
对第二特征图像和第八特征图像进行卷积处理，得到第九特征图像，对第九特征图像进行上采样，得到第十特征图像；
对第一特征图像和第十特征图像进行卷积处理，得到第十一特征图像；
每一细胞核样本图像作为网络的输入，将第七特征图像、第九特征图像以及第十一特征图像作为深度学习网络的输出的三个尺度的预测结果进行融合，最终将细胞核样本图像中标记的细胞核包含的染色信号数作为深度学习网络的输出，对深度学习网络进行训练和测试，得到循环异常细胞检测模型。
本发明实施例中，作为一可选实施例，所述对该细胞核样本图像进行多次卷积处理，分别得到第一特征图像、第二特征图像、第三特征图像以及第四特征图像，包括：
对细胞核样本图像依次进行第一卷积层、第二卷积层、第三卷积层以及第四卷积层的卷积处理，得到第一特征图像；
对第一特征图像进行第五卷积层以及第六卷积层的卷积处理，得到第二特征图像；
对第二特征图像进行第七卷积层以及第八卷积层的卷积处理，得到第三特征图像；
对第三特征图像进行第九卷积层以及第十卷积层的卷积处理，得到第四特征图像。
本发明实施例中，作为一可选实施例，所述对细胞核样本图像依次进行第一卷积层、第二卷积层、第三卷积层以及第四卷积层的卷积处理，得到第一特征图像，包括：
所述细胞核样本图像大小为320*320，第一卷积层的卷积核数为32，卷积核大小为3*3、步长为1，输出的特征图像大小为320*320；
第二卷积层包括第一卷积子层及第二卷积子层，第一卷积子层采用深度分离卷积，卷积核数为32，卷积核大小为3*3、步长为2，输出的特征图像大小为160*160，第二卷积子层的卷积核数为64，卷积核大小为1*1、步长为1，输出的特征图像大小为160*160；
第三卷积层包括第三卷积子层及第四卷积子层，第三卷积子层采用深度分离卷积，卷积核数为64，卷积核大小为3*3、步长为1，输出的特征图像大小为160*160，第四卷积子层的卷积核数为128，卷积核大小为1*1、步长为2，输出的特征图像大小为80*80；
第四卷积层包括第五卷积子层及第六卷积子层，第五卷积子层采用深度分离卷积，卷积核数为128，卷积核大小为3*3、步长为1，输出的特征图像大小为80*80，第六卷积子层的卷积核数为128，卷积核大小为1*1、步长为1，输出的特征图像大小为80*80，第六卷积子层输出的特征图像为第一特征图像。
如图5所示，本申请一实施例提供了一种计算机设备500，用于执行图1中的检测循环异常细胞的方法，该设备包括存储器501、处理器502及存储在该存储器501上并可在该处理器502上运行的计算机程序，其中，上述处理器502执行上述计算机程序时实现上述检测循环异常细胞的方法的步骤。
具体地，上述存储器501和处理器502能够为通用的存储器和处理器，这里不做具体限定，当处理器502运行存储器501存储的计算机程序时，能够执行上述检测循环异常细胞的方法。
对应于图1中的检测循环异常细胞的方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述检测循环异常细胞的方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述检测循环异常细胞的方法。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种检测循环异常细胞的方法，其特征在于，包括：
利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜图像中包含的细胞核分别进行分割和标记；
将标记细胞核的多个探针通道的暗视野显微镜图像输入预先构建的循环异常细胞检测模型，得到每一探针通道的暗视野显微镜图像中每个标记的细胞核包含的染色信号数；
针对每个标记的细胞核，基于得到的每一探针通道的暗视野显微镜图像中，该标记的细胞核包含的染色信号数，确定该标记的细胞核是否属于循环异常细胞；
构建所述循环异常细胞检测模型，包括：
利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜样本图像中包含的细胞核分别进行分割和标记，对标记细胞核的探针通道的暗视野显微镜样本图像进行分割，得到多个细胞核样本图像；
针对每一细胞核样本图像，对该细胞核样本图像进行多次卷积处理，分别得到第一特征图像、第二特征图像、第三特征图像以及第四特征图像；
对第四特征图像进行卷积处理，得到第五特征图像，对第五特征图像进行上采样，得到第六特征图像；
对第三特征图像和第六特征图像进行卷积处理，得到第七特征图像，对第七特征图像进行上采样，得到第八特征图像；
对第二特征图像和第八特征图像进行卷积处理，得到第九特征图像，对第九特征图像进行上采样，得到第十特征图像；
对第一特征图像和第十特征图像进行卷积处理，得到第十一特征图像；
每一细胞核样本图像作为深度学习网络的输入，将第七特征图像、第九特征图像以及第十一特征图像作为深度学习网络的输出的三个尺度的预测结果进行融合，最终将细胞核样本图像中标记的细胞核包含的染色信号数作为深度学习网络的输出，对深度学习网络进行训练和测试，得到循环异常细胞检测模型；
所述对该细胞核样本图像进行多次卷积处理，分别得到第一特征图像、第二特征图像、第三特征图像以及第四特征图像，包括：
对细胞核样本图像依次进行第一卷积层、第二卷积层、第三卷积层以及第四卷积层的卷积处理，得到第一特征图像；
对第一特征图像进行第五卷积层以及第六卷积层的卷积处理，得到第二特征图像；
对第二特征图像进行第七卷积层以及第八卷积层的卷积处理，得到第三特征图像；
对第三特征图像进行第九卷积层以及第十卷积层的卷积处理，得到第四特征图像。
2.根据权利要求1所述的方法，其特征在于，所述对细胞核样本图像依次进行第一卷积层、第二卷积层、第三卷积层以及第四卷积层的卷积处理，得到第一特征图像，包括：
所述细胞核样本图像大小为320*320，第一卷积层的卷积核数为32，卷积核大小为3*3、步长为1，输出的特征图像大小为320*320；
第二卷积层包括第一卷积子层及第二卷积子层，第一卷积子层采用卷积核数为32，卷积核大小为3*3、步长为2，输出的特征图像大小为160*160，第二卷积子层的卷积核数为64，卷积核大小为1*1、步长为1，输出的特征图像大小为160*160；
第三卷积层包括第三卷积子层及第四卷积子层，第三卷积子层采用卷积核数为64，卷积核大小为3*3、步长为1，输出的特征图像大小为160*160，第四卷积子层的卷积核数为128，卷积核大小为1*1、步长为2，输出的特征图像大小为80*80；
第四卷积层包括第五卷积子层及第六卷积子层，第五卷积子层采用卷积核数为128，卷积核大小为3*3、步长为1，输出的特征图像大小为80*80，第六卷积子层的卷积核数为128，卷积核大小为1*1、步长为1，输出的特征图像大小为80*80，第六卷积子层输出的特征图像为第一特征图像。
3.根据权利要求1或2所述的方法，其特征在于，所述利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜图像中包含的细胞核分别进行分割和标记，包括：
针对每一探针通道的暗视野显微镜图像，对该暗视野显微镜图像进行高斯核滤波，得到去噪图像；
对去噪图像进行连通域标记，获取标记的连通区域；
利用形态学算法，对获取的连通区域进行分割，并对分割得到的区域进行标记，得到标记的细胞核。
4.根据权利要求1或2所述的方法，其特征在于，所述将标记细胞核的多个探针通道的暗视野显微镜图像输入预先构建的循环异常细胞检测模型，得到每一探针通道的暗视野显微镜图像中每个标记的细胞核包含的染色信号数，包括：
将标记细胞核的探针第一通道暗视野显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第一通道暗视野显微镜图像中，每个标记的细胞核包含的染色信号第一计数；
将标记细胞核的探针第二通道暗视野显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第二通道暗视野显微镜图像中，每个标记的细胞核包含的染色信号第二计数；
将标记细胞核的探针第三通道暗视野显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第三通道暗视野显微镜图像中，每个标记的细胞核包含的染色信号第三计数；
将标记细胞核的探针第四通道暗视野显微镜图像输入循环异常细胞检测模型，得到该标记细胞核的探针第四通道暗视野显微镜图像中，每个标记的细胞核包含的染色信号第四计数。
5.根据权利要求4所述的方法，其特征在于，所述针对每个标记的细胞核，基于得到的每一探针通道的暗视野显微镜图像中，该标记的细胞核包含的染色信号数，确定该标记的细胞核是否属于循环异常细胞，包括：
获取标记细胞核的探针第一通道的暗视野显微镜图像中，标记的第一细胞核包含的染色信号第一计数；
获取标记细胞核的探针第二通道的暗视野显微镜图像中，所述标记的第一细胞核包含的染色信号第二计数；
获取标记细胞核的探针第三通道的暗视野显微镜图像中，所述标记的第一细胞核包含的染色信号第三计数；
获取标记细胞核的探针第四通道的暗视野显微镜图像中，所述标记的第一细胞核包含的染色信号第四计数；
依据所述染色信号第一计数、染色信号第二计数、染色信号第三计数以及染色信号第四计数，确定所述标记的第一细胞核是否属于循环异常细胞。
6.一种检测循环异常细胞的装置，其特征在于，包括：
细胞核标记模块，用于利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜图像中包含的细胞核分别进行分割和标记；
染色信号数获取模块，用于将标记细胞核的多个探针通道的暗视野显微镜图像输入预先构建的循环异常细胞检测模型，得到每一探针通道的暗视野显微镜图像中每个标记的细胞核包含的染色信号数；
细胞类型判定模块，用于针对每个标记的细胞核，基于得到的每一探针通道的暗视野显微镜图像中，该标记的细胞核包含的染色信号数，确定该标记的细胞核是否属于循环异常细胞；
构建所述循环异常细胞检测模型，包括：
利用图像处理算法和形态学算法，对多个探针通道的暗视野显微镜样本图像中包含的细胞核分别进行分割和标记，对标记细胞核的探针通道的暗视野显微镜样本图像进行分割，得到多个细胞核样本图像；
针对每一细胞核样本图像，对该细胞核样本图像进行多次卷积处理，分别得到第一特征图像、第二特征图像、第三特征图像以及第四特征图像；
对第四特征图像进行卷积处理，得到第五特征图像，对第五特征图像进行上采样，得到第六特征图像；
对第三特征图像和第六特征图像进行卷积处理，得到第七特征图像，对第七特征图像进行上采样，得到第八特征图像；
对第二特征图像和第八特征图像进行卷积处理，得到第九特征图像，对第九特征图像进行上采样，得到第十特征图像；
对第一特征图像和第十特征图像进行卷积处理，得到第十一特征图像；
每一细胞核样本图像作为深度学习网络的输入，将第七特征图像、第九特征图像以及第十一特征图像作为深度学习网络的输出的三个尺度的预测结果进行融合，最终将细胞核样本图像中标记的细胞核包含的染色信号数作为深度学习网络的输出，对深度学习网络进行训练和测试，得到循环异常细胞检测模型；
所述对该细胞核样本图像进行多次卷积处理，分别得到第一特征图像、第二特征图像、第三特征图像以及第四特征图像，包括：
对细胞核样本图像依次进行第一卷积层、第二卷积层、第三卷积层以及第四卷积层的卷积处理，得到第一特征图像；
对第一特征图像进行第五卷积层以及第六卷积层的卷积处理，得到第二特征图像；
对第二特征图像进行第七卷积层以及第八卷积层的卷积处理，得到第三特征图像；
对第三特征图像进行第九卷积层以及第十卷积层的卷积处理，得到第四特征图像。
7.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至5任一所述的检测循环异常细胞的方法的步骤。
8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至5任一所述的检测循环异常细胞的方法的步骤。
CN202010585145.8A 2020-06-23 2020-06-23 一种检测循环异常细胞的方法及装置 Active CN111739010B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010585145.8A CN111739010B (zh) 2020-06-23 2020-06-23 一种检测循环异常细胞的方法及装置
JP2022580447A JP7449420B2 (ja) 2020-06-23 2020-12-04 循環異常細胞を検出する方法及び装置
EP20941819.3A EP4170583A4 (en) 2020-06-23 2020-12-04 METHOD AND DEVICE FOR DETECTING CIRCULATING ABNORMAL CELLS
PCT/CN2020/133954 WO2021258651A1 (zh) 2020-06-23 2020-12-04 一种检测循环异常细胞的方法及装置
US18/012,585 US11880974B2 (en) 2020-06-23 2020-12-04 Method and device for detecting circulating abnormal cells

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010585145.8A CN111739010B (zh) 2020-06-23 2020-06-23 一种检测循环异常细胞的方法及装置

Publications (2)

Publication Number Publication Date
CN111739010A CN111739010A (zh) 2020-10-02
CN111739010B true CN111739010B (zh) 2022-06-24

Family

ID=72650824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010585145.8A Active CN111739010B (zh) 2020-06-23 2020-06-23 一种检测循环异常细胞的方法及装置

Country Status (5)

Country Link
US (1) US11880974B2 (zh)
EP (1) EP4170583A4 (zh)
JP (1) JP7449420B2 (zh)
CN (1) CN111739010B (zh)
WO (1) WO2021258651A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739010B (zh) 2020-06-23 2022-06-24 珠海圣美生物诊断技术有限公司 一种检测循环异常细胞的方法及装置
CN114066818B (zh) * 2021-10-23 2023-04-07 广州市艾贝泰生物科技有限公司 细胞检测分析方法、装置、计算机设备和存储介质
CN114049330A (zh) * 2021-11-16 2022-02-15 长春理工大学 一种荧光原位杂交图像中荧光特征融合方法及系统
CN114085911B (zh) * 2022-01-19 2022-05-17 珠海圣美生物诊断技术有限公司 一种检测肿瘤细胞或肿瘤细胞碎片的方法
CN114739970B (zh) * 2022-06-09 2022-09-16 珠海横琴圣澳云智科技有限公司 荧光信号点断裂判定方法和装置
CN115035518B (zh) * 2022-08-11 2022-11-01 珠海横琴圣澳云智科技有限公司 细胞核图像中荧光染色信号点的识别方法和装置
CN115100648B (zh) * 2022-08-25 2022-11-29 珠海横琴圣澳云智科技有限公司 细胞显微图像中多通道荧光杂质的滤除方法和装置
CN115201092B (zh) * 2022-09-08 2022-11-29 珠海圣美生物诊断技术有限公司 细胞扫描图像的获取方法和装置
CN116188463A (zh) * 2023-04-24 2023-05-30 中国科学院长春光学精密机械与物理研究所 Fish图像信号自动检测分析方法、装置、设备以及介质
CN116309543B (zh) * 2023-05-10 2023-08-11 北京航空航天大学杭州创新研究院 基于图像的循环肿瘤细胞检测设备
CN117496512B (zh) * 2024-01-02 2024-03-22 广州锟元方青医疗科技有限公司 宫颈tct切片的多类型细胞核标注及多任务处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270307A (zh) * 2011-06-24 2011-12-07 福州大学 肿瘤癌变细胞fish基因状态自动检测方法
CN106296635A (zh) * 2015-05-29 2017-01-04 厦门鹭佳生物科技有限公司 一种荧光原位杂交(fish)图像并行处理与分析方法
CN109991205A (zh) * 2019-05-05 2019-07-09 中国科学院重庆绿色智能技术研究院 一种循环肿瘤细胞的计数算法及应用
CN111126162A (zh) * 2019-11-28 2020-05-08 东软集团股份有限公司 一种识别图像中炎症细胞的方法、装置及存储介质
CN111175267A (zh) * 2020-01-18 2020-05-19 珠海圣美生物诊断技术有限公司 基于fish技术的细胞判读方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100317002A1 (en) 2007-10-11 2010-12-16 Bioview Ltd. Methods and kits for diagnosing lung cancer
CN102682305B (zh) 2012-04-25 2014-07-02 深圳市迈科龙医疗设备有限公司 宫颈液基细胞学自动筛查方法和系统
AU2017229088B2 (en) 2016-03-07 2021-05-13 X-Zell Inc. Compositions and methods for identifying rare cells
JP7198577B2 (ja) * 2017-11-17 2023-01-04 シスメックス株式会社 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
CN109523520B (zh) 2018-10-25 2020-12-18 北京大学第三医院 一种基于深度学习的染色体自动计数方法
CN110501278B (zh) * 2019-07-10 2021-04-30 同济大学 一种基于YOLOv3和密度估计的细胞计数方法
CN115398472A (zh) * 2019-12-23 2022-11-25 健肺生命人工智能公司 使用机器学习设计对显微血细胞图像进行准确荧光原位杂交探针检测的系统和方法
CN111739010B (zh) * 2020-06-23 2022-06-24 珠海圣美生物诊断技术有限公司 一种检测循环异常细胞的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270307A (zh) * 2011-06-24 2011-12-07 福州大学 肿瘤癌变细胞fish基因状态自动检测方法
CN106296635A (zh) * 2015-05-29 2017-01-04 厦门鹭佳生物科技有限公司 一种荧光原位杂交(fish)图像并行处理与分析方法
CN109991205A (zh) * 2019-05-05 2019-07-09 中国科学院重庆绿色智能技术研究院 一种循环肿瘤细胞的计数算法及应用
CN111126162A (zh) * 2019-11-28 2020-05-08 东软集团股份有限公司 一种识别图像中炎症细胞的方法、装置及存储介质
CN111175267A (zh) * 2020-01-18 2020-05-19 珠海圣美生物诊断技术有限公司 基于fish技术的细胞判读方法和系统

Also Published As

Publication number Publication date
US20230306588A1 (en) 2023-09-28
US11880974B2 (en) 2024-01-23
CN111739010A (zh) 2020-10-02
JP2023532483A (ja) 2023-07-28
WO2021258651A1 (zh) 2021-12-30
JP7449420B2 (ja) 2024-03-13
EP4170583A1 (en) 2023-04-26
EP4170583A4 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
CN111739010B (zh) 一种检测循环异常细胞的方法及装置
EP3486836B1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
US8111897B2 (en) Evaluation system, evaluation method, and recording medium
US8320655B2 (en) Process and system for analyzing the expression of biomarkers in cells
CN111448584A (zh) 计算肿瘤空间和标记间异质性的方法
WO2017106359A1 (en) Methods and systems for assessing cell morphology
CN110148126B (zh) 基于颜色分量组合和轮廓拟合的血液白细胞分割方法
US20230041229A1 (en) Systems and methods for designing accurate fluorescence in-situ hybridization probe detection on microscopic blood cell images using machine learning
CN107735838A (zh) 在多种设置下用于医学样品的异常检测
CN114235539A (zh) 基于深度学习的pd-l1病理切片自动判读方法及系统
CN116665210B (zh) 基于多通道信息融合的细胞分类方法和装置
CN116542978B (zh) Fish探针的质量检测方法和装置
EP3757872A1 (en) Scanning/pre-scanning quality control of slides
Kuo et al. Automated assessment in HER-2/neu immunohistochemical expression of breast cancer
Del Bimbo et al. Accurate evaluation of HER-2 amplification in FISH images
CN116310531A (zh) 基于细胞荧光图像的细胞分类方法
KR102496468B1 (ko) 이미지 기반의 혈소판 카운팅 방법 및 카운팅 정보 출력방법
CN110647945B (zh) 液基宫颈细胞涂片分类方法、系统和实现装置
CN110795965B (zh) 一种真菌显微图像中致病相的自动识别方法及系统
JP6592854B2 (ja) ｃ−ＭＹＣ遺伝子転座の判定方法
Blahova et al. Blood Smear Leukocyte Identification Using an Image Segmentation Approach
Padfield et al. Cancer tissue classification using nuclear feature measurements from dapi stained images
Renukalatha et al. Determination of Hemoglobin Percentage Through K-Means Algorithm and Image Processing for White Blood Cell Diagnosis
CN116868229A (zh) 用于数字化病理学样本中的生物标志物检测的系统和方法
Phapale Automated Differential Blood Count System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant