CN116309543B - 基于图像的循环肿瘤细胞检测设备 - Google Patents

基于图像的循环肿瘤细胞检测设备 Download PDF

Info

Publication number
CN116309543B
CN116309543B CN202310517964.2A CN202310517964A CN116309543B CN 116309543 B CN116309543 B CN 116309543B CN 202310517964 A CN202310517964 A CN 202310517964A CN 116309543 B CN116309543 B CN 116309543B
Authority
CN
China
Prior art keywords
feature
image
fish
circulating tumor
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310517964.2A
Other languages
English (en)
Other versions
CN116309543A (zh
Inventor
高阳
韩改净
李玉霞
杨尚
赵玉亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Innovation Research Institute of Beihang University
Original Assignee
Hangzhou Innovation Research Institute of Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Innovation Research Institute of Beihang University filed Critical Hangzhou Innovation Research Institute of Beihang University
Priority to CN202310517964.2A priority Critical patent/CN116309543B/zh
Publication of CN116309543A publication Critical patent/CN116309543A/zh
Application granted granted Critical
Publication of CN116309543B publication Critical patent/CN116309543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于图像的循环肿瘤细胞检测设备，其获取由荧光显微镜采集的FISH图像；采用基于深度学习的人工智能技术，挖掘所述FISH图像中关于循环肿瘤细胞的隐含特征信息，以此来对于循环肿瘤细胞进行自动检测，从而对于肿瘤细胞的数量进行确定，以实现对循环肿瘤细胞的自动检测。

Description

基于图像的循环肿瘤细胞检测设备
技术领域
本申请涉及智能化检测技术领域，并且更具体地，涉及一种基于图像的循环肿瘤细胞检测设备。
背景技术
循环肿瘤细胞(CTC)是由原发或转移病灶脱落进入外周血的肿瘤细胞，其作为一种实时“液体活检”手段反映了肿瘤是否发生侵袭转移，大量研究结果提示，血液中血环肿瘤细胞与癌症的发生发展都有直接关系，检测和分析外周血中的单个或少量循环肿瘤细胞簇，对肿瘤的早期诊断、肿瘤诊断的分期和分型、手术前评估和手术后辅助性治疗的指导与评价、评估患者对治疗(化疗药物和放疗)反应、预测肿瘤的复发和转移、对肿瘤治疗效果的实施监测、指导肿瘤个体化精准治疗、肿瘤耐药性的监控、预后判断和预测的准确性和有效性的评估非常关键。
但是，相比较外周血中存在的大量白细胞，循环肿瘤细胞仅为外周血中的稀有细胞，检测起来非常困难。目前，CTCs的检测和鉴定方法众多，包括各种荧光原位杂交技术和流式细胞术、聚合酶链反应和逆转录聚合酶链反应及其各种改进的技术等等。
荧光原位杂交技术是利用荧光标记的特异核酸探针与细胞内相应的靶DNA分子或RNA分子杂交，通过在荧光显微镜观察荧光信号，来确定与特异探针杂交后被染色的细胞或细胞器的形态和分布。然而，目前荧光原位杂交技术检测方法需要通过人工观察计数的方式来检测，人工观察的方式不方便，成本高，而且不确定因素多，对人员的要求高，人为误差极大，难以实现临床批量和精准检测、以及标准化检测，极大地限制了其实际临床应用。
因此，期望一种优化的基于图像的循环肿瘤细胞检测设备。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于图像的循环肿瘤细胞检测设备，其获取由荧光显微镜采集的FISH图像；采用基于深度学习的人工智能技术，挖掘所述FISH图像中关于循环肿瘤细胞的隐含特征信息，以此来对于循环肿瘤细胞进行自动检测，从而对于肿瘤细胞的数量进行确定，以实现对循环肿瘤细胞的自动检测。
第一方面，提供了一种基于图像的循环肿瘤细胞检测设备，其包括：
图像数据采集模块，用于获取由荧光显微镜采集的FISH图像；
图像分块模块，用于对所述FISH图像进行图像分块处理以得到FISH图像块的序列；
图像特征提取模块，用于将所述FISH图像块的序列中的各个FISH图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个FISH图像块特征矩阵；
动态滤波模块，用于将所述多个FISH图像块特征矩阵分别通过基于卷积核的动态滤波器以得到多个滤波后FISH图像块特征矩阵；
全局图像特征关联模块，用于将所述多个滤波后FISH图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型以得到全局FISH特征矩阵；
特征优化模块，用于对所述全局FISH特征矩阵进行特征分布优化以得到优化全局FISH特征矩阵；以及
图像语义分割模块，用于对所述优化全局FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。
在上述基于图像的循环肿瘤细胞检测设备中，所述图像特征提取模块，包括：浅层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；深层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的深层提取多个深层特征图；融合单元，用于使用所述包含深浅特征融合模块的卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述多个深层特征图以得到多个融合特征图；以及，均值池化单元，用于将所述多个融合特征图沿着通道维度进行全局均值池化以得到所述多个FISH图像块特征矩阵。
在上述基于图像的循环肿瘤细胞检测设备中，所述全局图像特征关联模块，用于：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、沿通道维度的池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述全局FISH特征矩阵，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述二维特征矩阵。
在上述基于图像的循环肿瘤细胞检测设备中，所述特征优化模块，用于：以如下优化公式对所述二维特征矩阵和所述全局FISH特征矩阵进行基于尺度认知的高斯联合密度融合以得到所述优化全局FISH特征矩阵；其中，所述优化公式为：
和/>
其中，和/>分别表示所述二维特征矩阵和所述全局FISH特征矩阵，/>和/>分别是所述二维特征矩阵和所述全局FISH特征矩阵中各个位置的特征值，/>和/>分别是所述二维特征矩阵和所述全局FISH特征矩阵的所有特征值的特征集合的均值和方差，/>和/>分别是特征矩阵的宽度和高度，且/>是所述优化全局FISH特征矩阵的各个位置特征值，/>表示计算以数值为幂的自然指数函数值。
在上述基于图像的循环肿瘤细胞检测设备中，所述图像语义分割模块，包括：语义分割单元，用于对所述优化全局FISH特征矩阵进行图像语义分割以得到循环肿瘤细胞预测图；像素全连接编码单元，用于将所述循环肿瘤细胞预测图通过第一全连接层以得到循环肿瘤细胞全连接特征向量；深层特征排列单元，用于将所述多个深层特征图按照所述图像分块的位置排列为全局深层特征图；深度特征全连接编码单元，用于将所述全局深层特征图通过第二全连接层以得到FISH深度特征向量；细胞特征融合单元，用于融合所述循环肿瘤细胞全连接特征向量和所述FISH深度特征向量以得到融合特征向量；以及，计数单元，用于将所述融合特征向量通过计数模块以得到所述FISH图像中所包含的循环肿瘤细胞的数量。
在上述基于图像的循环肿瘤细胞检测设备中，所述像素全连接编码单元，包括：图像像素展开子单元，用于将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量；以及，全连接关联编码子单元，用于使用所述第一全连接层对所述细胞预测一维像素特征向量进行全连接编码以得到所述循环肿瘤细胞全连接特征向量。
在上述基于图像的循环肿瘤细胞检测设备中，所述计数单元，用于：使用所述计数模块以如下解码公式对所述融合特征向量进行解码回归以得到所述FISH图像中所包含的循环肿瘤细胞的数量；其中，所述解码公式为：，其中，/>表示所述融合特征向量，/>表示所述FISH图像中所包含的循环肿瘤细胞的数量，/>表示权重矩阵，/>表示偏置向量，/>表示矩阵乘。
与现有技术相比，本申请提供的基于图像的循环肿瘤细胞检测设备，其获取由荧光显微镜采集的FISH图像；采用基于深度学习的人工智能技术，挖掘所述FISH图像中关于循环肿瘤细胞的隐含特征信息，以此来对于循环肿瘤细胞进行自动检测，从而对于肿瘤细胞的数量进行确定，以实现对循环肿瘤细胞的自动检测。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例的基于图像的循环肿瘤细胞检测设备的应用场景图。
图2为根据本申请实施例的基于图像的循环肿瘤细胞检测设备的框图。
图3为根据本申请实施例的基于图像的循环肿瘤细胞检测设备中所述图像特征提取模块的框图。
图4为根据本申请实施例的基于图像的循环肿瘤细胞检测设备中所述图像语义分割模块的框图。
图5为根据本申请实施例的基于图像的循环肿瘤细胞检测设备中所述像素全连接编码单元的框图。
图6为根据本申请实施例的基于图像的循环肿瘤细胞检测方法的流程图。
图7为根据本申请实施例的基于图像的循环肿瘤细胞检测方法的系统架构的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
如上所述，目前荧光原位杂交技术检测方法需要通过人工观察计数的方式来检测，人工观察的方式不方便，成本高，而且不确定因素多，对人员的要求高，人为误差极大，难以实现临床批量和精准检测、以及标准化检测，极大地限制了其实际临床应用。因此，期望一种优化的基于图像的循环肿瘤细胞检测设备。
相应地，考虑到荧光原位杂交（FISH）是一种常用的细胞分子生物学技术，其通过对目标DNA序列进行荧光标记，可以在细胞内直接观察到该序列的位置和数量。因此，在实际进行循环肿瘤细胞检测的过程中，期望通过荧光显微镜采集的FISH图像作为输入数据，以对输入数据进行分析来实现对循环肿瘤细胞的自动检测。但是，由于所述FISH图像中存在有较多的信息量，而关于循环肿瘤细胞的特征信息在图像中为小尺度的隐含特征，难以通过传统的方式进行捕捉获取。因此，在此过程中，难点在于如何挖掘所述FISH图像中关于循环肿瘤细胞的隐含特征信息，以此来对于循环肿瘤细胞进行自动检测，从而对于肿瘤细胞的数量进行确定。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述FISH图像中关于循环肿瘤细胞的隐含特征信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，通过荧光显微镜采集FISH图像。应可以理解，通过荧光显微镜采集的FISH图像可以直接反映目标细胞中的循环肿瘤细胞数量，具有较高的可靠性和准确性。因此，在本申请的技术方案中，选择所述荧光显微镜采集的FISH图像作为输入数据，以实现对循环肿瘤细胞的自动检测。
接着，考虑到由于所述FISH图像中关于循环肿瘤细胞的特征信息在图像中为小尺度的细微特征，为了能够提高所述FISH图像中关于循环肿瘤细胞特征的表达能力，以此来提高对于所述循环肿瘤细胞数量检测的精准度，在本申请的技术方案中，对所述FISH图像进行图像分块处理以得到FISH图像块的序列。应可以理解，所述FISH图像块的序列中的各个FISH图像块的尺度相较于原图像被缩减，因此，所述FISH图像中关于小尺寸的目标对象隐含特征在所述各个FISH图像块中不再是小尺寸对象，以便于后续进行图像中关于循环肿瘤细胞隐含特征的提取。
然后，使用在隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述FISH图像块的序列中的各个FISH图像块进行特征挖掘，特别地，考虑到在进行所述各个FISH图像块的特征提取时，不仅需要关注于所述图像块中关于循环肿瘤细胞的深层语义特征，还应关注于所述循环肿瘤细胞的浅层基本细节特征和边缘特征，这样有利于后续进行循环肿瘤细胞的数量统计。因此，在本申请的技术方案中，将所述FISH图像块的序列中的各个FISH图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个FISH图像块特征矩阵。特别地，这里，所述包含深浅特征融合模块的卷积神经网络模型的最后一个卷积层输出的特征图为深度特征图。应可以理解，这里，使用包含深浅特征融合模块的卷积神经网络模型以提取出所述各个FISH图像块中关于循环肿瘤细胞的细节边缘和纹理等浅层特征信息，有利于后续对于循环肿瘤细胞进行边缘区域的框定，并提取出所述各个FISH图像块中关于循环肿瘤细胞的深层语义特征信息，有利于后续对于循环肿瘤细胞的检测判断，从而得到深层特征图。也就是说，在进行所述各个FISH图像块的特征挖掘时，在提取出所述各个FISH图像块中关于循环肿瘤细胞的深层丰富语义特征的同时，保留其在浅层的基础细节边缘特征，进而有利于后续进行循环肿瘤细胞的检测以及对于循环肿瘤细胞的数量估计。
在实际进行循环肿瘤细胞检测以及数量估计时，所述各个FISH图像块中关于循环肿瘤细胞的特征信息会受到各种因素的干扰，因此，在本申请的技术方案中，为了能够提升对于循环肿瘤细胞检测的鲁棒性和抗干扰能力，将所述多个FISH图像块特征矩阵分别通过基于卷积核的动态滤波器中进行滤波以得到多个滤波后FISH图像块特征矩阵。
进一步地，考虑到所述各个FISH图像块中关于循环肿瘤细胞的隐含深浅融合特征之间具有着关于所述FISH图像整体的语义关联特征，为了能够对于所述循环肿瘤细胞特征进行充分表达，以提高后续对于循环肿瘤细胞数据检测的精准度，在本申请的技术方案中，进一步将所述多个滤波后FISH图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型中进行特征挖掘，以提取出所述各个FISH图像块中关于所述循环肿瘤细胞的隐含语义关联特征信息，从而得到全局FISH特征图。
然后，对所述全局FISH特征矩阵进行图像语义分割，以在检测到循环肿瘤细胞位置区域后进行相应地掩码操作，从而得到图像语义分割结果，即循环肿瘤细胞预测图。并且，基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。也就是，在得到所述循环肿瘤细胞预测图后，将所述循环肿瘤细胞预测图与所述肿瘤细胞的深层语义特征联合输入到计数模块，得到所述FISH图像中所包含的循环肿瘤细胞的数量。应可以理解，所述多个深层特征图按照所述图像分块位置排列的全局深层特征图具有肿瘤细胞的全局高维语义关联特征信息，融合此特征能够对循环肿瘤细胞的数量进行有效的统计。
更具体地，在将所述循环肿瘤细胞预测图中的循环肿瘤细胞特征与所述全局深度特征图进行特征融合来输入所述计数模块时，考虑到由于所述循环肿瘤细胞预测图中的各个像素之间都具有着关于所述循环肿瘤细胞的像素关联特征信息。因此，在本申请的技术方案中，在将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量后，使用全连接层来进行编码，以提取出所述循环肿瘤细胞预测图中的各个像素值之间的关联特征分布信息，从而得到循环肿瘤细胞全连接特征向量。接着，对于所述全局深层特征图来说，也将其通过全连接层进行编码，以此来提取出所述全局深层特征图中的各个特征值之间的关联特征信息，从而得到FISH深度特征向量，这样有利于后续对于循环肿瘤细胞数量的检测。然后，融合所述循环肿瘤细胞全连接特征向量和所述FISH深度特征向量以得到融合特征向量，并将所述融合特征向量通过计数模块以得到所述FISH图像中所包含的循环肿瘤细胞的数量。特别地，这里，在将循环肿瘤细胞预测图进行全连接特征提取后与所述FISH图像的高层次特征拼接融合，得到各自的拼接特征，再经过一层全连接和ReLU激活函数确保预测统计的数量大于0。
特别地，在本申请的技术方案中，这里，在将所述多个滤波后FISH图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型得到所述全局FISH特征矩阵时，为了充分利用基于卷积核的动态滤波器得到的图像块滤波特征，可以考虑将所述多个滤波后FISH图像块特征矩阵排列得到的二维特征矩阵与所述全局FISH特征矩阵融合。
并且，基于所述作为特征提取器的卷积神经网络模型的卷积核在卷积核的局部特征关联尺度上的特征提取，为了提升所述二维特征矩阵与作为其进一步的局部关联尺度上的特征表达的所述全局FISH特征矩阵的各自尺度下的特征融合效果，对所述二维特征矩阵，例如记为和所述全局FISH特征矩阵，例如记为/>进行基于尺度认知的高斯联合密度融合，以得到优化后的全局FISH特征矩阵，具体表示为：
和/>
和/>分别是/>的特征集合（即，所述二维特征矩阵/>和所述全局FISH特征矩阵/>的所有特征值的特征集合）的均值和方差，/>和/>分别是特征矩阵的宽度和高度，且/>是优化后的全局FISH特征矩阵/>的特征值。
这里，所述基于尺度认知的高斯联合密度融合考虑到待融合特征的尺度最优表达特性，为了提高特征融合的有效性和相对于待融合特征的泛化性能，将具有尺度认知的高斯联合密度作为优势函数，来对基于均值和方差的特征分布的回归表现差异进行策略表达，从而提升特征融合的特征-尺度自依赖性。这样，优化后的全局FISH特征矩阵就可以充分表达所述二维特征矩阵与作为其进一步的局部关联尺度上的特征表达的所述全局FISH特征矩阵的基于不同尺度的融合特征，从而提升了优化后的全局FISH特征矩阵/>的特征表达效果，继而提升所述全局FISH特征矩阵的图像语义分割的准确性。这样，能够对于循环肿瘤细胞进行智能检测，从而对于肿瘤细胞的数量进行确定。
图1为根据本申请实施例的基于图像的循环肿瘤细胞检测设备的应用场景图。如图1所示，在该应用场景中，首先，获取由荧光显微镜（例如，如图1中所示意的N）采集的FISH图像（例如，如图1中所示意的D）；然后，将获取的FISH图像输入至部署有基于图像的循环肿瘤细胞检测算法的服务器（例如，如图1中所示意的S）中，其中所述服务器能够基于图像的循环肿瘤细胞检测算法对所述FISH图像进行处理，以基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
在本申请的一个实施例中，图2为根据本申请实施例的基于图像的循环肿瘤细胞检测设备的框图。如图2所示，根据本申请实施例的基于图像的循环肿瘤细胞检测设备100，包括：图像数据采集模块110，用于获取由荧光显微镜采集的FISH图像；图像分块模块120，用于对所述FISH图像进行图像分块处理以得到FISH图像块的序列；图像特征提取模块130，用于将所述FISH图像块的序列中的各个FISH图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个FISH图像块特征矩阵；动态滤波模块140，用于将所述多个FISH图像块特征矩阵分别通过基于卷积核的动态滤波器以得到多个滤波后FISH图像块特征矩阵；全局图像特征关联模块150，用于将所述多个滤波后FISH图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型以得到全局FISH特征矩阵；特征优化模块160，用于对所述全局FISH特征矩阵进行特征分布优化以得到优化全局FISH特征矩阵；以及，图像语义分割模块170，用于对所述优化全局FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。
具体地，在本申请实施例中，所述图像数据采集模块110，用于获取由荧光显微镜采集的FISH图像。如上所述，目前荧光原位杂交技术检测方法需要通过人工观察计数的方式来检测，人工观察的方式不方便，成本高，而且不确定因素多，对人员的要求高，人为误差极大，难以实现临床批量和精准检测、以及标准化检测，极大地限制了其实际临床应用。因此，期望一种优化的基于图像的循环肿瘤细胞检测设备。
相应地，考虑到荧光原位杂交（FISH）是一种常用的细胞分子生物学技术，其通过对目标DNA序列进行荧光标记，可以在细胞内直接观察到该序列的位置和数量。因此，在实际进行循环肿瘤细胞检测的过程中，期望通过荧光显微镜采集的FISH图像作为输入数据，以对输入数据进行分析来实现对循环肿瘤细胞的自动检测。但是，由于所述FISH图像中存在有较多的信息量，而关于循环肿瘤细胞的特征信息在图像中为小尺度的隐含特征，难以通过传统的方式进行捕捉获取。因此，在此过程中，难点在于如何挖掘所述FISH图像中关于循环肿瘤细胞的隐含特征信息，以此来对于循环肿瘤细胞进行自动检测，从而对于肿瘤细胞的数量进行确定。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述FISH图像中关于循环肿瘤细胞的隐含特征信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，通过荧光显微镜采集FISH图像。应可以理解，通过荧光显微镜采集的FISH图像可以直接反映目标细胞中的循环肿瘤细胞数量，具有较高的可靠性和准确性。因此，在本申请的技术方案中，选择所述荧光显微镜采集的FISH图像作为输入数据，以实现对循环肿瘤细胞的自动检测。
具体地，在本申请实施例中，所述图像分块模块120，用于对所述FISH图像进行图像分块处理以得到FISH图像块的序列。接着，考虑到由于所述FISH图像中关于循环肿瘤细胞的特征信息在图像中为小尺度的细微特征，为了能够提高所述FISH图像中关于循环肿瘤细胞特征的表达能力，以此来提高对于所述循环肿瘤细胞数量检测的精准度，在本申请的技术方案中，对所述FISH图像进行图像分块处理以得到FISH图像块的序列。应可以理解，所述FISH图像块的序列中的各个FISH图像块的尺度相较于原图像被缩减，因此，所述FISH图像中关于小尺寸的目标对象隐含特征在所述各个FISH图像块中不再是小尺寸对象，以便于后续进行图像中关于循环肿瘤细胞隐含特征的提取。
具体地，在本申请实施例中，所述图像特征提取模块130，用于将所述FISH图像块的序列中的各个FISH图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个FISH图像块特征矩阵。然后，使用在隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述FISH图像块的序列中的各个FISH图像块进行特征挖掘。
特别地，考虑到在进行所述各个FISH图像块的特征提取时，不仅需要关注于所述图像块中关于循环肿瘤细胞的深层语义特征，还应关注于所述循环肿瘤细胞的浅层基本细节特征和边缘特征，这样有利于后续进行循环肿瘤细胞的数量统计。因此，在本申请的技术方案中，将所述FISH图像块的序列中的各个FISH图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个FISH图像块特征矩阵。特别地，这里，所述包含深浅特征融合模块的卷积神经网络模型的最后一个卷积层输出的特征图为深度特征图。
应可以理解，这里，使用包含深浅特征融合模块的卷积神经网络模型以提取出所述各个FISH图像块中关于循环肿瘤细胞的细节边缘和纹理等浅层特征信息，有利于后续对于循环肿瘤细胞进行边缘区域的框定，并提取出所述各个FISH图像块中关于循环肿瘤细胞的深层语义特征信息，有利于后续对于循环肿瘤细胞的检测判断，从而得到深层特征图。也就是说，在进行所述各个FISH图像块的特征挖掘时，在提取出所述各个FISH图像块中关于循环肿瘤细胞的深层丰富语义特征的同时，保留其在浅层的基础细节边缘特征，进而有利于后续进行循环肿瘤细胞的检测以及对于循环肿瘤细胞的数量估计。
图3为根据本申请实施例的基于图像的循环肿瘤细胞检测设备中所述图像特征提取模块的框图，如图3所示，所述图像特征提取模块130，包括：浅层提取单元131，用于从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；深层提取单元132，用于从所述包含深浅特征融合模块的卷积神经网络模型的深层提取多个深层特征图； 融合单元133，用于使用所述包含深浅特征融合模块的卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述多个深层特征图以得到多个融合特征图；以及，均值池化单元134，用于将所述多个融合特征图沿着通道维度进行全局均值池化以得到所述多个FISH图像块特征矩阵。
应可以理解，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留所述各个反应监控关键帧的反应液状态的浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高对于所述FISH图像块的序列的结果准确性。同时，深度神经网络的结构往往比较复杂，需要大量的样本数据来训练和调整，而深度网络的训练时间较长，容易过拟合。因此，在神经网络模型的设计中，通常采用浅层网络和深层网络的结合，通过深浅特征融合，可以在一定程度上降低网络的复杂度和过拟合的风险，同时提高模型的特征提取能力和泛化能力。
在使用卷积神经网络模型对所述FISH图像块的序列进行编码的过程中，首先从所述第一卷积神经网络模型的浅层提取出浅层特征图（例如，所述浅层指的是第一层至第六层），并从所述卷积神经网络模型的深层提取深层特征图（例如，所述卷积神经网络模型的最后一层），然后，通过融合所述浅层特征图和所述深层特征图以得到包含浅层特征和深层特征的特征表示。在具体编码过程中，所述浅层特征图的提取位置由所述卷积神经网络模型的整体网络深度所决定，例如，当网络深度是30时，从所述卷积神经网络模型的第3层，当网络深度是40时，从所述卷积神经网络模型的第4层，对此，并不为本申请所局限。同样地，所述深层特征图的提取位置也并不为本申请所局限，其可以是最后一层，也可以是倒数最二层，也可以是同时从最后一层和倒数第二层。
具体地，在本申请实施例中，所述动态滤波模块140，用于将所述多个FISH图像块特征矩阵分别通过基于卷积核的动态滤波器以得到多个滤波后FISH图像块特征矩阵。在实际进行循环肿瘤细胞检测以及数量估计时，所述各个FISH图像块中关于循环肿瘤细胞的特征信息会受到各种因素的干扰，因此，在本申请的技术方案中，为了能够提升对于循环肿瘤细胞检测的鲁棒性和抗干扰能力，将所述多个FISH图像块特征矩阵分别通过基于卷积核的动态滤波器中进行滤波以得到多个滤波后FISH图像块特征矩阵。
具体地，在本申请实施例中，所述全局图像特征关联模块150，用于将所述多个滤波后FISH图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型以得到全局FISH特征矩阵。
进一步地，考虑到所述各个FISH图像块中关于循环肿瘤细胞的隐含深浅融合特征之间具有着关于所述FISH图像整体的语义关联特征，为了能够对于所述循环肿瘤细胞特征进行充分表达，以提高后续对于循环肿瘤细胞数据检测的精准度，在本申请的技术方案中，进一步将所述多个滤波后FISH图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型中进行特征挖掘，以提取出所述各个FISH图像块中关于所述循环肿瘤细胞的隐含语义关联特征信息，从而得到全局FISH特征矩阵。
其中，所述全局图像特征关联模块150，用于：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、沿通道维度的池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述全局FISH特征矩阵，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述二维特征矩阵。
卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。
卷积神经网络模型利用卷积核作为特征过滤因子在图像局部特征提取方面具有非常优异的性能表现，且相较于传统的基于统计或者基于特征工程的图像特征提取算法，所述卷积神经网络模型具有更强的特征提取泛化能力和拟合能力。
具体地，在本申请实施例中，所述特征优化模块160，用于对所述全局FISH特征矩阵进行特征分布优化以得到优化全局FISH特征矩阵。特别地，在本申请的技术方案中，这里，在将所述多个滤波后FISH图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型得到所述全局FISH特征矩阵时，为了充分利用基于卷积核的动态滤波器得到的图像块滤波特征，可以考虑将所述多个滤波后FISH图像块特征矩阵排列得到的二维特征矩阵与所述全局FISH特征矩阵融合。
并且，基于所述作为特征提取器的卷积神经网络模型的卷积核在卷积核的局部特征关联尺度上的特征提取，为了提升所述二维特征矩阵与作为其进一步的局部关联尺度上的特征表达的所述全局FISH特征矩阵的各自尺度下的特征融合效果，对所述二维特征矩阵，例如记为和所述全局FISH特征矩阵，例如记为/>进行基于尺度认知的高斯联合密度融合，以得到优化后的全局FISH特征矩阵，具体表示为：以如下优化公式对所述二维特征矩阵和所述全局FISH特征矩阵进行基于尺度认知的高斯联合密度融合以得到所述优化全局FISH特征矩阵；其中，所述优化公式为：
和/>
其中，和/>分别表示所述二维特征矩阵和所述全局FISH特征矩阵，/>和/>分别是所述二维特征矩阵和所述全局FISH特征矩阵中各个位置的特征值，/>和/>分别是所述二维特征矩阵和所述全局FISH特征矩阵的所有特征值的特征集合的均值和方差，/>和/>分别是特征矩阵的宽度和高度，且/>是所述优化全局FISH特征矩阵的各个位置特征值，/>表示计算以数值为幂的自然指数函数值。
这里，所述基于尺度认知的高斯联合密度融合考虑到待融合特征的尺度最优表达特性，为了提高特征融合的有效性和相对于待融合特征的泛化性能，将具有尺度认知的高斯联合密度作为优势函数，来对基于均值和方差的特征分布的回归表现差异进行策略表达，从而提升特征融合的特征-尺度自依赖性。这样，优化后的全局FISH特征矩阵就可以充分表达所述二维特征矩阵与作为其进一步的局部关联尺度上的特征表达的所述全局FISH特征矩阵的基于不同尺度的融合特征，从而提升了优化后的全局FISH特征矩阵/>的特征表达效果，继而提升所述全局FISH特征矩阵的图像语义分割的准确性。这样，能够对于循环肿瘤细胞进行智能检测，从而对于肿瘤细胞的数量进行确定。
具体地，在本申请实施例中，所述图像语义分割模块170，用于对所述优化全局FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。然后，对所述全局FISH特征矩阵进行图像语义分割，以在检测到循环肿瘤细胞位置区域后进行相应地掩码操作，从而得到图像语义分割结果，即循环肿瘤细胞预测图。并且，基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。
也就是，在得到所述循环肿瘤细胞预测图后，将所述循环肿瘤细胞预测图与所述肿瘤细胞的深层语义特征联合输入到计数模块，得到所述FISH图像中所包含的循环肿瘤细胞的数量。应可以理解，所述多个深层特征图按照所述图像分块位置排列的全局深层特征图具有肿瘤细胞的全局高维语义关联特征信息，融合此特征能够对循环肿瘤细胞的数量进行有效的统计。
图4为根据本申请实施例的基于图像的循环肿瘤细胞检测设备中所述图像语义分割模块的框图，如图4所示，所述图像语义分割模块170，包括：语义分割单元171，用于对所述优化全局FISH特征矩阵进行图像语义分割以得到循环肿瘤细胞预测图；像素全连接编码单元172，用于将所述循环肿瘤细胞预测图通过第一全连接层以得到循环肿瘤细胞全连接特征向量；深层特征排列单元173，用于将所述多个深层特征图按照所述图像分块的位置排列为全局深层特征图；深度特征全连接编码单元174，用于将所述全局深层特征图通过第二全连接层以得到FISH深度特征向量；细胞特征融合单元175，用于融合所述循环肿瘤细胞全连接特征向量和所述FISH深度特征向量以得到融合特征向量；以及，计数单元176，用于将所述融合特征向量通过计数模块以得到所述FISH图像中所包含的循环肿瘤细胞的数量。
更具体地，在将所述循环肿瘤细胞预测图中的循环肿瘤细胞特征与所述全局深度特征图进行特征融合来输入所述计数模块时，考虑到由于所述循环肿瘤细胞预测图中的各个像素之间都具有着关于所述循环肿瘤细胞的像素关联特征信息。因此，在本申请的技术方案中，在将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量后，使用全连接层来进行编码，以提取出所述循环肿瘤细胞预测图中的各个像素值之间的关联特征分布信息，从而得到循环肿瘤细胞全连接特征向量。
接着，对于所述全局深层特征图来说，也将其通过全连接层进行编码，以此来提取出所述全局深层特征图中的各个特征值之间的关联特征信息，从而得到FISH深度特征向量，这样有利于后续对于循环肿瘤细胞数量的检测。然后，融合所述循环肿瘤细胞全连接特征向量和所述FISH深度特征向量以得到融合特征向量，并将所述融合特征向量通过计数模块以得到所述FISH图像中所包含的循环肿瘤细胞的数量。特别地，这里，在将循环肿瘤细胞预测图进行全连接特征提取后与所述FISH图像的高层次特征拼接融合，得到各自的拼接特征，再经过一层全连接和ReLU激活函数确保预测统计的数量大于0。
图5为根据本申请实施例的基于图像的循环肿瘤细胞检测设备中所述像素全连接编码单元的框图，如图5所示，所述像素全连接编码单元172，包括：图像像素展开子单元1721，用于将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量；以及，全连接关联编码子单元1722，用于使用所述第一全连接层对所述细胞预测一维像素特征向量进行全连接编码以得到所述循环肿瘤细胞全连接特征向量。
进一步地，所述计数单元176，用于：使用所述计数模块以如下解码公式对所述融合特征向量进行解码回归以得到所述FISH图像中所包含的循环肿瘤细胞的数量；其中，所述解码公式为：，其中，/>表示所述融合特征向量，/>表示所述FISH图像中所包含的循环肿瘤细胞的数量，/>表示权重矩阵，/>表示偏置向量，/>表示矩阵乘。
综上，基于本申请实施例的基于图像的循环肿瘤细胞检测设备100被阐明，其获取由荧光显微镜采集的FISH图像；采用基于深度学习的人工智能技术，挖掘所述FISH图像中关于循环肿瘤细胞的隐含特征信息，以此来对于循环肿瘤细胞进行自动检测，从而对于肿瘤细胞的数量进行确定，以实现对循环肿瘤细胞的自动检测。
在本申请的一个实施例中，图6为根据本申请实施例的基于图像的循环肿瘤细胞检测方法的流程图。如图6所示，根据本申请实施例的基于图像的循环肿瘤细胞检测方法，其包括：210，用于获取由荧光显微镜采集的FISH图像；220，用于对所述FISH图像进行图像分块处理以得到FISH图像块的序列；230，用于将所述FISH图像块的序列中的各个FISH图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个FISH图像块特征矩阵；240，用于将所述多个FISH图像块特征矩阵分别通过基于卷积核的动态滤波器以得到多个滤波后FISH图像块特征矩阵；250，用于将所述多个滤波后FISH图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型以得到全局FISH特征矩阵；260，用于对所述全局FISH特征矩阵进行特征分布优化以得到优化全局FISH特征矩阵；以及，270，用于对所述优化全局FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。
图7为根据本申请实施例的基于图像的循环肿瘤细胞检测方法的系统架构的示意图。如图7所示，在所述基于图像的循环肿瘤细胞检测方法的系统架构中，首先，用于获取由荧光显微镜采集的FISH图像；然后，用于对所述FISH图像进行图像分块处理以得到FISH图像块的序列；接着，用于将所述FISH图像块的序列中的各个FISH图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个FISH图像块特征矩阵；然后，用于将所述多个FISH图像块特征矩阵分别通过基于卷积核的动态滤波器以得到多个滤波后FISH图像块特征矩阵；接着，用于将所述多个滤波后FISH图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型以得到全局FISH特征矩阵；然后，用于对所述全局FISH特征矩阵进行特征分布优化以得到优化全局FISH特征矩阵；以及，最后，用于对所述优化全局FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量。
在一个具体示例中，在上述基于图像的循环肿瘤细胞检测方法中，将所述FISH图像块的序列中的各个FISH图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个FISH图像块特征矩阵，包括：从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；从所述包含深浅特征融合模块的卷积神经网络模型的深层提取多个深层特征图； 使用所述包含深浅特征融合模块的卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述多个深层特征图以得到多个融合特征图；以及，将所述多个融合特征图沿着通道维度进行全局均值池化以得到所述多个FISH图像块特征矩阵。
在一个具体示例中，在上述基于图像的循环肿瘤细胞检测方法中，将所述多个滤波后FISH图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型以得到全局FISH特征矩阵，包括：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、沿通道维度的池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述全局FISH特征矩阵，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述二维特征矩阵。
在一个具体示例中，在上述基于图像的循环肿瘤细胞检测方法中，对所述全局FISH特征矩阵进行特征分布优化以得到优化全局FISH特征矩阵，包括：以如下优化公式对所述二维特征矩阵和所述全局FISH特征矩阵进行基于尺度认知的高斯联合密度融合以得到所述优化全局FISH特征矩阵；其中，所述优化公式为：
/>
和/>
其中，和/>分别表示所述二维特征矩阵和所述全局FISH特征矩阵，/>和/>分别是所述二维特征矩阵和所述全局FISH特征矩阵中各个位置的特征值，/>和/>分别是所述二维特征矩阵和所述全局FISH特征矩阵的所有特征值的特征集合的均值和方差，/>和/>分别是特征矩阵的宽度和高度，且/>是所述优化全局FISH特征矩阵的各个位置特征值，/>表示计算以数值为幂的自然指数函数值。
在一个具体示例中，在上述基于图像的循环肿瘤细胞检测方法中，对所述优化全局FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量，包括：对所述优化全局FISH特征矩阵进行图像语义分割以得到循环肿瘤细胞预测图；将所述循环肿瘤细胞预测图通过第一全连接层以得到循环肿瘤细胞全连接特征向量；将所述多个深层特征图按照所述图像分块的位置排列为全局深层特征图；将所述全局深层特征图通过第二全连接层以得到FISH深度特征向量；融合所述循环肿瘤细胞全连接特征向量和所述FISH深度特征向量以得到融合特征向量；以及，将所述融合特征向量通过计数模块以得到所述FISH图像中所包含的循环肿瘤细胞的数量。
在一个具体示例中，在上述基于图像的循环肿瘤细胞检测方法中，将所述循环肿瘤细胞预测图通过第一全连接层以得到循环肿瘤细胞全连接特征向量，包括：将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量；以及，使用所述第一全连接层对所述细胞预测一维像素特征向量进行全连接编码以得到所述循环肿瘤细胞全连接特征向量。
在一个具体示例中，在上述基于图像的循环肿瘤细胞检测方法中，将所述融合特征向量通过计数模块以得到所述FISH图像中所包含的循环肿瘤细胞的数量，包括：使用所述计数模块以如下解码公式对所述融合特征向量进行解码回归以得到所述FISH图像中所包含的循环肿瘤细胞的数量；其中，所述解码公式为：，其中，/>表示所述融合特征向量，/>表示所述FISH图像中所包含的循环肿瘤细胞的数量，/>表示权重矩阵，/>表示偏置向量，/>表示矩阵乘。
本领域技术人员可以理解，上述基于图像的循环肿瘤细胞检测方法中的各个步骤的具体操作已经在上面参考图1到图5的基于图像的循环肿瘤细胞检测设备的描述中得到了详细介绍，并因此，将省略其重复描述。
本申请还提供了一种计算机程序产品，所述计算机程序产品包括指令，当所述指令被执行时，以使得装置执行对应于上述方法中的操作。
在本申请的一个实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。
应可以理解，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等) 上实施的计算机程序产品的形式。
本申请实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或方框、以及流程图和/或框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的步骤。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (5)

1.一种基于图像的循环肿瘤细胞检测设备，其特征在于，包括：
图像数据采集模块，用于获取由荧光显微镜采集的FISH图像；
图像分块模块，用于对所述FISH图像进行图像分块处理以得到FISH图像块的序列；
图像特征提取模块，用于将所述FISH图像块的序列中的各个FISH图像块分别通过包含深浅特征融合模块的卷积神经网络模型以得到多个FISH图像块特征矩阵；
动态滤波模块，用于将所述多个FISH图像块特征矩阵分别通过基于卷积核的动态滤波器以得到多个滤波后FISH图像块特征矩阵；
全局图像特征关联模块，用于将所述多个滤波后FISH图像块特征矩阵按照所述图像分块的位置排列为二维特征矩阵后通过作为特征提取器的卷积神经网络模型以得到全局FISH特征矩阵；
特征优化模块，用于对所述全局FISH特征矩阵进行特征分布优化以得到优化全局FISH特征矩阵；以及
图像语义分割模块，用于对所述优化全局FISH特征矩阵进行图像语义分割以得到图像语义分割结果，并基于所述图像语义分割结果确定所述FISH图像中所包含的循环肿瘤细胞的数量；
其中，所述特征优化模块，用于：以如下优化公式对所述二维特征矩阵和所述全局FISH特征矩阵进行基于尺度认知的高斯联合密度融合以得到所述优化全局FISH特征矩阵；
其中，所述优化公式为：
和 />
其中，和/>分别表示所述二维特征矩阵和所述全局FISH特征矩阵，/>和/>分别是所述二维特征矩阵和所述全局FISH特征矩阵中各个位置的特征值，/>和/>分别是所述二维特征矩阵和所述全局FISH特征矩阵的所有特征值的特征集合的均值和方差，/>和/>分别是特征矩阵的宽度和高度，且/>是所述优化全局FISH特征矩阵的各个位置特征值，/>表示计算以数值为幂的自然指数函数值；
其中，所述图像语义分割模块，包括：
语义分割单元，用于对所述优化全局FISH特征矩阵进行图像语义分割以得到循环肿瘤细胞预测图；
像素全连接编码单元，用于将所述循环肿瘤细胞预测图通过第一全连接层以得到循环肿瘤细胞全连接特征向量；
深层特征排列单元，用于将多个深层特征图按照所述图像分块的位置排列为全局深层特征图；
深度特征全连接编码单元，用于将所述全局深层特征图通过第二全连接层以得到FISH深度特征向量；
细胞特征融合单元，用于融合所述循环肿瘤细胞全连接特征向量和所述FISH深度特征向量以得到融合特征向量；以及
计数单元，用于将所述融合特征向量通过计数模块以得到所述FISH图像中所包含的循环肿瘤细胞的数量。
2.根据权利要求1所述的基于图像的循环肿瘤细胞检测设备，其特征在于，所述图像特征提取模块，包括：
浅层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；
深层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的深层提取多个深层特征图；
融合单元，用于使用所述包含深浅特征融合模块的卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述多个深层特征图以得到多个融合特征图；以及
均值池化单元，用于将所述多个融合特征图沿着通道维度进行全局均值池化以得到所述多个FISH图像块特征矩阵。
3.根据权利要求2所述的基于图像的循环肿瘤细胞检测设备，其特征在于，所述全局图像特征关联模块，用于：使用所述作为特征提取器的卷积神经网络模型的各层在层的正向传递中对输入数据分别进行卷积处理、沿通道维度的池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络模型的最后一层的输出为所述全局FISH特征矩阵，其中，所述作为特征提取器的卷积神经网络模型的第一层的输入为所述二维特征矩阵。
4.根据权利要求3所述的基于图像的循环肿瘤细胞检测设备，其特征在于，所述像素全连接编码单元，包括：
图像像素展开子单元，用于将所述循环肿瘤细胞预测图展开为细胞预测一维像素特征向量；以及
全连接关联编码子单元，用于使用所述第一全连接层对所述细胞预测一维像素特征向量进行全连接编码以得到所述循环肿瘤细胞全连接特征向量。
5.根据权利要求4所述的基于图像的循环肿瘤细胞检测设备，其特征在于，所述计数单元，用于：使用所述计数模块以如下解码公式对所述融合特征向量进行解码回归以得到所述FISH图像中所包含的循环肿瘤细胞的数量；
其中，所述解码公式为：，其中，/>表示所述融合特征向量，/>表示所述FISH图像中所包含的循环肿瘤细胞的数量，/>表示权重矩阵，/>表示偏置向量，/>表示矩阵乘。
CN202310517964.2A 2023-05-10 2023-05-10 基于图像的循环肿瘤细胞检测设备 Active CN116309543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310517964.2A CN116309543B (zh) 2023-05-10 2023-05-10 基于图像的循环肿瘤细胞检测设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310517964.2A CN116309543B (zh) 2023-05-10 2023-05-10 基于图像的循环肿瘤细胞检测设备

Publications (2)

Publication Number Publication Date
CN116309543A CN116309543A (zh) 2023-06-23
CN116309543B true CN116309543B (zh) 2023-08-11

Family

ID=86790836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310517964.2A Active CN116309543B (zh) 2023-05-10 2023-05-10 基于图像的循环肿瘤细胞检测设备

Country Status (1)

Country Link
CN (1) CN116309543B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748256A (zh) * 2017-10-11 2018-03-02 上海医盈网络科技有限公司 一种循环肿瘤细胞的液体活检检测方法
CN110632069A (zh) * 2019-08-20 2019-12-31 西人马帝言(北京)科技有限公司 循环肿瘤细胞检测方法、装置、设备及介质
CN111739010A (zh) * 2020-06-23 2020-10-02 珠海圣美生物诊断技术有限公司 一种检测循环异常细胞的方法及装置
CN113065430A (zh) * 2021-03-22 2021-07-02 天津大学 基于深度学习特征与人工提取特征融合的白细胞分类方法
CN113096096A (zh) * 2021-04-13 2021-07-09 中山市华南理工大学现代产业技术研究院 一种融合形态特征的显微图像骨髓细胞计数方法与系统
CN114677403A (zh) * 2021-11-17 2022-06-28 东南大学 基于深度学习注意力机制的肝脏肿瘤图像分割方法
CN115035518A (zh) * 2022-08-11 2022-09-09 珠海横琴圣澳云智科技有限公司 细胞核图像中荧光染色信号点的识别方法和装置
CN115049613A (zh) * 2022-06-14 2022-09-13 云南大学 一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法
CN115331009A (zh) * 2022-08-17 2022-11-11 西安理工大学 基于多任务MeanTeacher的医学图像分割方法
CN115398472A (zh) * 2019-12-23 2022-11-25 健肺生命人工智能公司 使用机器学习设计对显微血细胞图像进行准确荧光原位杂交探针检测的系统和方法
CN115409844A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 循环肿瘤细胞检测设备及其方法
CN115410050A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于机器视觉的肿瘤细胞检测设备及其方法
CN115406815A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于多源数据融合的肿瘤细胞检测设备及其方法
CN115690109A (zh) * 2023-01-04 2023-02-03 杭州华得森生物技术有限公司 基于计算生物的肿瘤细胞检测设备及其方法
CN115760867A (zh) * 2022-11-30 2023-03-07 云南大学 一种基于改进U-Net网络的类器官分割方法及系统
CN115791640A (zh) * 2023-02-06 2023-03-14 杭州华得森生物技术有限公司 基于分光光谱的肿瘤细胞检测设备及其方法
CN115841464A (zh) * 2022-11-25 2023-03-24 上海成电福智科技有限公司 基于自监督学习的多模态脑肿瘤影像分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282589B2 (en) * 2017-08-29 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
WO2021104410A1 (zh) * 2019-11-28 2021-06-03 北京小蝇科技有限责任公司 血涂片全视野智能分析方法血细胞分割模型及识别模型的构造方法
US11922709B2 (en) * 2020-08-24 2024-03-05 Applied Materials, Inc. Cell detection using segmentation based on nuclear staining and mFISH images

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748256A (zh) * 2017-10-11 2018-03-02 上海医盈网络科技有限公司 一种循环肿瘤细胞的液体活检检测方法
CN110632069A (zh) * 2019-08-20 2019-12-31 西人马帝言(北京)科技有限公司 循环肿瘤细胞检测方法、装置、设备及介质
CN115398472A (zh) * 2019-12-23 2022-11-25 健肺生命人工智能公司 使用机器学习设计对显微血细胞图像进行准确荧光原位杂交探针检测的系统和方法
CN111739010A (zh) * 2020-06-23 2020-10-02 珠海圣美生物诊断技术有限公司 一种检测循环异常细胞的方法及装置
CN113065430A (zh) * 2021-03-22 2021-07-02 天津大学 基于深度学习特征与人工提取特征融合的白细胞分类方法
CN113096096A (zh) * 2021-04-13 2021-07-09 中山市华南理工大学现代产业技术研究院 一种融合形态特征的显微图像骨髓细胞计数方法与系统
CN114677403A (zh) * 2021-11-17 2022-06-28 东南大学 基于深度学习注意力机制的肝脏肿瘤图像分割方法
CN115049613A (zh) * 2022-06-14 2022-09-13 云南大学 一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法
CN115035518A (zh) * 2022-08-11 2022-09-09 珠海横琴圣澳云智科技有限公司 细胞核图像中荧光染色信号点的识别方法和装置
CN115331009A (zh) * 2022-08-17 2022-11-11 西安理工大学 基于多任务MeanTeacher的医学图像分割方法
CN115409844A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 循环肿瘤细胞检测设备及其方法
CN115410050A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于机器视觉的肿瘤细胞检测设备及其方法
CN115406815A (zh) * 2022-11-02 2022-11-29 杭州华得森生物技术有限公司 基于多源数据融合的肿瘤细胞检测设备及其方法
CN115841464A (zh) * 2022-11-25 2023-03-24 上海成电福智科技有限公司 基于自监督学习的多模态脑肿瘤影像分割方法
CN115760867A (zh) * 2022-11-30 2023-03-07 云南大学 一种基于改进U-Net网络的类器官分割方法及系统
CN115690109A (zh) * 2023-01-04 2023-02-03 杭州华得森生物技术有限公司 基于计算生物的肿瘤细胞检测设备及其方法
CN115791640A (zh) * 2023-02-06 2023-03-14 杭州华得森生物技术有限公司 基于分光光谱的肿瘤细胞检测设备及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ST-Unet: Swin Transformer boosted U-Net with Cross-Layer Feature Enhancement for medical image segmentation;Jing Zhangi等;《Computers in Biology and Medicine》;第153卷;1-11 *

Also Published As

Publication number Publication date
CN116309543A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN116189179B (zh) 循环肿瘤细胞扫描分析设备
Kainz et al. Segmentation and classification of colon glands with deep convolutional neural networks and total variation regularization
CN110852316B (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
Kiran et al. DenseRes-Unet: Segmentation of overlapped/clustered nuclei from multi organ histopathology images
Durkee et al. Artificial intelligence and cellular segmentation in tissue microscopy images
CN116434226B (zh) 循环肿瘤细胞分析仪
Zhang et al. DDTNet: A dense dual-task network for tumor-infiltrating lymphocyte detection and segmentation in histopathological images of breast cancer
US20230186659A1 (en) Machine learning models for cell localization and classification learned using repel coding
Yang et al. Glomerular disease classification and lesion identification by machine learning
Huang et al. Scribble-based boundary-aware network for weakly supervised salient object detection in remote sensing images
Zhou et al. Tunnel crack detection with linear seam based on mixed attention and multiscale feature fusion
CN116287138B (zh) 基于fish的细胞检测系统及其方法
CN113239993B (zh) 一种病理图像的分类系统、终端及计算机可读存储介质
Ngugi et al. A new approach to learning and recognizing leaf diseases from individual lesions using convolutional neural networks
CN116403213A (zh) 基于人工智能的循环肿瘤细胞检测仪及其方法
CN113902669A (zh) 一种尿脱落细胞液基涂片的阅片方法及系统
Liang et al. Weakly supervised deep nuclei segmentation with sparsely annotated bounding boxes for dna image cytometry
Yu et al. Large-scale gastric cancer screening and localization using multi-task deep neural network
Li et al. An automatic plant leaf stoma detection method based on YOLOv5
CN116665210B (zh) 基于多通道信息融合的细胞分类方法和装置
CN116309543B (zh) 基于图像的循环肿瘤细胞检测设备
CN116091524B (zh) 一种针对复杂背景中目标的检测与分割方法
Tymchenko et al. Classifying mixed patterns of proteins in microscopic images with deep neural networks
Guo et al. Pathological detection of micro and fuzzy gastric cancer cells based on deep learning
CN110765908A (zh) 基于深度学习的级联式癌细胞检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant