CN115035518A - 细胞核图像中荧光染色信号点的识别方法和装置 - Google Patents

细胞核图像中荧光染色信号点的识别方法和装置 Download PDF

Info

Publication number
CN115035518A
CN115035518A CN202210958372.XA CN202210958372A CN115035518A CN 115035518 A CN115035518 A CN 115035518A CN 202210958372 A CN202210958372 A CN 202210958372A CN 115035518 A CN115035518 A CN 115035518A
Authority
CN
China
Prior art keywords
signal point
fluorescent staining
signal
cell nucleus
heat map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210958372.XA
Other languages
English (en)
Other versions
CN115035518B (zh
Inventor
黄仁斌
蓝兴杰
范献军
叶莘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Zhuhai Livzon Cynvenio Diagnostics Ltd
Original Assignee
Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Hengqin Shengao Yunzhi Technology Co ltd filed Critical Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Priority to CN202210958372.XA priority Critical patent/CN115035518B/zh
Publication of CN115035518A publication Critical patent/CN115035518A/zh
Application granted granted Critical
Publication of CN115035518B publication Critical patent/CN115035518B/zh
Priority to PCT/CN2023/111785 priority patent/WO2024032623A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本申请提供一种细胞核图像中荧光染色信号点的识别方法和装置，其中方法包括：获取目标细胞对应的多通道细胞核图像；将多通道细胞核图像输入训练好的荧光染色信号点识别模型，输出荧光染色信号点识别结果；荧光染色信号点识别模型包括信号点热图获取模块、特征增强模块和信号点检测模块；信号点热图获取模块用于基于多通道细胞核图像生成初始信号点热图；特征增强模块用于对初始信号点热图进行高亮背景噪点去除、信号增强和信号融合处理以得到修正信号点热图及对应的荧光染色信号点特征信息；信号点检测模块用于基于修正信号点热图及对应的荧光染色信号点特征信息确定荧光染色信号点识别结果并输出，能够对荧光染色信号点进行准确高效的识别。

Description

细胞核图像中荧光染色信号点的识别方法和装置
技术领域
本申请涉及图像识别和处理技术领域，尤其涉及一种细胞核图像中荧光染色信号点的识别方法和装置。
背景技术
近年来的研究表明，利用荧光原位杂交技术(Fluorescence in situhybridization，FISH)对细胞进行处理之后，可以基于细胞核图像中荧光染色信号点的数量对细胞进行准确分类。现有技术通常通过成熟的卷积神经网络（Convolutional NeuralNetworks，CNN）分析细胞核图像数据中固有的空间信息以实现荧光染色信号点的识别，然而现有成熟的CNN网络多数基于自然场景数据搭建，其模型参数量大，识别效率低，且由于细胞核图像中图像数据的特征分布与自然场景的特征分布存在较大差异，直接使用现有的模型架构将导致识别精度降低。
因此，如何高效、准确地对细胞核图像中的荧光染色信号点进行识别，成为目前业界亟待解决的技术问题。
发明内容
本申请提供一种细胞核图像中荧光染色信号点的识别方法和装置，以用于实现细胞核图像中荧光染色信号点的高效、准确识别。
本申请提供一种细胞核图像中荧光染色信号点的识别方法，包括：
获取目标细胞对应的多通道细胞核图像；
将所述目标细胞对应的多通道细胞核图像输入训练好的荧光染色信号点识别模型，输出所述多通道细胞核图像中的荧光染色信号点识别结果；
其中，所述荧光染色信号点识别模型是基于多通道细胞核图像样本以及预先确定的荧光染色信号点识别结果标签进行训练后得到的；
所述荧光染色信号点识别模型包括信号点热图获取模块、特征增强模块和信号点检测模块；所述信号点热图获取模块用于基于所述多通道细胞核图像生成对应的初始信号点热图；所述特征增强模块用于对所述初始信号点热图进行高亮背景噪点去除、信号增强和信号融合处理，以得到修正信号点热图及对应的荧光染色信号点特征信息；所述信号点检测模块用于基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果并输出。
根据本申请提供的一种细胞核图像中荧光染色信号点的识别方法，所述高亮背景噪点去除对应的处理步骤包括：
将目标通道对应的初始信号点热图分别与其他通道对应的初始信号点热图相减，以得到所述目标通道对应的多个无高亮背景噪点的第一信号点热图；
基于ReLU激活函数对各第一信号点热图进行处理，以得到所述目标通道对应的多个第二信号点热图。
根据本申请提供的一种细胞核图像中荧光染色信号点的识别方法，所述信号增强对应的处理步骤包括：
基于幂激活函数对所述目标通道对应的多个第二信号点热图进行处理，以得到所述目标通道对应的多个信号增强的第三信号点热图。
根据本申请提供的一种细胞核图像中荧光染色信号点的识别方法，所述信号融合对应的处理步骤包括：
将所述目标通道对应的多个信号增强的第三信号点热图与所述目标通道对应的细胞核图像进行融合操作；
基于融合结果生成所述目标通道对应的目标修正信号点热图并获取所述目标修正信号点热图对应的荧光染色信号点特征信息；所述荧光染色信号点特征信息包括荧光染色信号点尺寸和位置偏移。
根据本申请提供的一种细胞核图像中荧光染色信号点的识别方法，所述基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果，具体包括：
基于所述目标通道对应的目标修正信号点热图以及，所述目标修正信号点热图对应的荧光染色信号点尺寸和位置偏移，确定所述目标通道对应的细胞核图像中的疑似荧光染色信号点；
基于所述疑似荧光染色信号点的信号强度以及对应的置信度阈值，确定所述目标通道对应的细胞核图像中的荧光染色信号点。
根据本申请提供的一种细胞核图像中荧光染色信号点的识别方法，所述基于所述疑似荧光染色信号点的信号强度以及对应的置信度阈值，确定所述目标通道对应的细胞核图像中的荧光染色信号点，具体包括：
基于所述疑似荧光染色信号点的信号强度与对应的置信度阈值的对比结果，确定信号强度高于所述置信度阈值的目标疑似荧光染色信号点组成的第一集合；
基于所述第一集合中各目标疑似荧光染色信号点的信号强度分布情况，确定所述第一集合中的荧光染色杂点，将所述第一集合中的荧光染色杂点去除以得到第二集合，并将所述第二集合中的目标疑似荧光染色信号点作为所述目标通道对应的细胞核图像中的荧光染色信号点。
根据本申请提供的一种细胞核图像中荧光染色信号点的识别方法，所述置信度阈值是基于预设的置信度基线以及所述疑似荧光染色信号点的信号强度确定的。
本申请还提供一种细胞核图像中荧光染色信号点的识别装置，包括：
细胞核图像获取单元，用于获取目标细胞对应的多通道细胞核图像；
荧光染色信号点识别单元，用于将所述目标细胞对应的多通道细胞核图像输入训练好的荧光染色信号点识别模型，输出所述多通道细胞核图像中的荧光染色信号点识别结果；
其中，所述荧光染色信号点识别模型是基于多通道细胞核图像样本以及预先确定的荧光染色信号点识别结果标签进行训练后得到的；
所述荧光染色信号点识别模型包括信号点热图获取模块、特征增强模块和信号点检测模块；所述信号点热图获取模块用于基于所述多通道细胞核图像生成对应的初始信号点热图；所述特征增强模块用于对所述初始信号点热图进行高亮背景噪点去除、信号增强和信号融合处理，以得到修正信号点热图及对应的荧光染色信号点特征信息；所述信号点检测模块用于基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果并输出。
本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述细胞核图像中荧光染色信号点的识别方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述细胞核图像中荧光染色信号点的识别方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述细胞核图像中荧光染色信号点的识别方法的步骤。
本申请提供的细胞核图像中荧光染色信号点的识别方法和装置，获取目标细胞对应的多通道细胞核图像；将所述目标细胞对应的多通道细胞核图像输入训练好的荧光染色信号点识别模型，输出所述多通道细胞核图像中的荧光染色信号点识别结果；其中，所述荧光染色信号点识别模型是基于多通道细胞核图像样本以及预先确定的荧光染色信号点识别结果标签进行训练后得到的；所述荧光染色信号点识别模型包括信号点热图获取模块、特征增强模块和信号点检测模块；所述信号点热图获取模块用于基于所述多通道细胞核图像生成对应的初始信号点热图；所述特征增强模块用于对所述初始信号点热图进行高亮背景噪点去除、信号增强和信号融合处理，以得到修正信号点热图及对应的荧光染色信号点特征信息；所述信号点检测模块用于基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果并输出，能够基于荧光染色信号点识别模型对细胞核图像中的荧光染色信号点进行准确高效的识别。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的细胞核图像中荧光染色信号点的识别方法的流程示意图；
图2是本申请提供的荧光染色信号点识别模型的结构示意图；
图3是本申请提供的荧光染色信号点识别模型的处理流程示意图；
图4是本申请提供的主干网络的结构及处理流程示意图；
图5是本申请提供的特征增强模块的结构及处理流程示意图；
图6是本申请提供的幂激活函数的处理效果示意图；
图7是本申请提供的细胞核图像中荧光染色信号点的识别装置的结构示意图；
图8是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请提供的细胞核图像中荧光染色信号点的识别方法的流程示意图，如图1所示，该方法包括：
步骤110，获取目标细胞对应的多通道细胞核图像。
具体地，所述目标细胞即待识别的细胞，可以理解的是，所述目标细胞可以为一个也可以为多个。所述多通道细胞核图像即多个染色通道（也可称荧光通道或探针通道）对应的细胞核图像，可以理解的是，所述多个染色通道即荧光原位杂交技术对应的多个染色通道，包括红色通道（Red）、绿色通道（Green）、蓝色通道（Aqua）和金色通道（Gold）等，在实际应用过程中，所述染色通道的数量及对应的染色颜色可以根据需要进行调整。本申请后续实施例将以采用上述红、绿、蓝、金四个染色通道的情形对本申请提供的细胞核图像中荧光染色信号点的识别方法进行详细说明。基于此，单个目标细胞对应的多通道细胞核图像实际包括上述染色通道对应的四张细胞核图像，即一个目标细胞对应于四张细胞核图像，每张细胞核图像中均包括相应的荧光染色信号点。值得注意的是，由于不同染色通道针对的目标染色体不同，因此，不同染色通道对应的细胞核图像中，荧光染色信号点的位置不同。
基于荧光原位杂交技术的原理可知，要得到目标细胞对应的多通道细胞核图像，首先需要利用荧光标记的特异核酸探针与目标细胞内相应的靶DNA分子或RNA分子杂交，再利用荧光图像获取设备对所述目标细胞进行扫描以得到目标细胞不同染色通道对应的细胞核图像，即前述多通道细胞核图像。
步骤120，将所述目标细胞对应的多通道细胞核图像输入训练好的荧光染色信号点识别模型，输出所述多通道细胞核图像中的荧光染色信号点识别结果；
其中，所述荧光染色信号点识别模型是基于多通道细胞核图像样本以及预先确定的荧光染色信号点识别结果标签进行训练后得到的；
所述荧光染色信号点识别模型包括信号点热图获取模块、特征增强模块和信号点检测模块；所述信号点热图获取模块用于基于所述多通道细胞核图像生成对应的初始信号点热图；所述特征增强模块用于对所述初始信号点热图进行高亮背景噪点去除、信号增强和信号融合处理，以得到修正信号点热图及对应的荧光染色信号点特征信息；所述信号点检测模块用于基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果并输出。
具体地，获取所述目标细胞对应的多通道细胞核图像之后，即可将其输入训练好的荧光染色信号点识别模型，所述荧光染色信号点识别模型能够自动对所述目标细胞对应的多通道细胞核图像中的荧光染色信号点进行识别并输出识别结果。所述识别结果包括荧光染色信号点的数量，以便后续对所述目标细胞进行准确分类，当然所述识别结果还可以包括荧光染色信号点的大小、位置和信号强度等信息，以便对所述目标细胞的其它属性进行进一步研究。可以理解的是，所述荧光染色信号点识别模型是基于多通道细胞核图像样本以及预先确定的荧光染色信号点识别结果标签进行训练后得到的。本申请实施例可以采用Lableme等标定工具对预定数量的多通道细胞核图像进行人工精准标定，确保每个细胞核和荧光信号点的边界、形态清晰准确，然后使用已标定的多通道细胞核图像作为训练集，对所述荧光染色信号点识别模型进行有监督训练，再利用验证集的loss作为评估模型性能的指标，以不断迭代优化模型超参数，最终获得最优模型。
更具体地，图2为本申请提供的荧光染色信号点识别模型的结构示意图，如图2所示，所述荧光染色信号点识别模型包括信号点热图获取模块、特征增强模块和信号点检测模块。图3为本申请提供的荧光染色信号点识别模型的处理流程示意图，结合图2-3可知，所述信号点热图获取模块包括四个主干网络（即Backbone），所述信号点热图获取模块用于基于所述多通道细胞核图像生成对应的初始信号点热图，如图3所示，其处理模式如下：所述主干网络与各染色通道对应的细胞核图像一一对应，用于分别对不同染色通道对应的细胞核图像进行特征提取并生成对应的初始信号点热图。图4为本申请提供的主干网络的结构及处理流程示意图，如图4所示，首先将目标通道对应的细胞核图像经CNN处理得到原始320*320*3的细胞核图像，将该细胞核图像输入Focus结构进行切片和卷积操作，得到160*160*16的特征图。随后，经过2个CBL层（即Conv Layer + BN Layer + Leaky ReLU Layer，对应于图4中的CBL-1和CBL-2）和2个跨阶段局部网络（Cross Stage Partial Network，CSPNet，对应于图4中的CSP-1和CSP-2）组合，获得初始信号点热图。CSPNet使主干网络能够实现更丰富的梯度组合信息，同时减少计算量。通过分割梯度流，使梯度流通过不同的网络路径传播，基于此，通过切换串联和过渡步骤，传播的梯度信息可以具有较大的相关性差异。此外，CSPNet还可以提高推理速度和准确性。
图5为本申请提供的特征增强模块的结构及处理流程示意图，结合图3和图5可知，所述特征增强模块包括四个特征增强子模块（对应于图3中的Feature_Refiment），各特征增强子模块分别与各染色通道对应的初始信号点热图一一对应，用于分别对不同染色通道对应的初始信号点热图进行处理以得到修正信号点热图及对应的荧光染色信号点特征信息。所述特征增强模块对所述初始信号点热图的处理包括高亮背景噪点去除、信号增强和信号融合。由于荧光原位杂交技术染色可能导致成像后细胞核图像的背景亮度大，进而在多个通道对应的细胞核图像中的同一个位置出现形似荧光染色信号点的高亮背景噪点。为避免此类噪点对识别结果的影响，本申请实施例通过特征增强模块将目标通道对应的初始信号点热图与其他三个通道对应的初始信号点热图分别相减，以去除相同位置高亮背景噪点的干扰。同时，由于环境因素以及荧光图像获取设备分辨率的影响，会导致荧光染色信号点的信号强度较弱（即弱信号点），所述弱信号点在初始信号点热图中的峰值相对较弱，因而其对应的置信度低，进而导致模型无法识别，基于此，本申请实施例采用幂激活函数对所述弱信号进行增强操作，以提高弱信号的置信度，进而提升荧光染色信号点的检出率。所述特征增强模块还用于将目标通道对应的初始信号点热图经背景噪点去除和信号增强处理之后的图像与目标通道对应的细胞核图像进行信号融合，以得到修正信号点热图及对应的荧光染色信号点特征信息。基于所述修正信号点热图及对应的荧光染色信号点特征信息，所述信号点检测模块即可快速准确确定所述多通道细胞核图像中的荧光染色信号点识别结果并输出。通过研究发现，对经高亮背景噪点去除、信号增强和信号融合处理之后得到的修正信号点热图进行荧光染色信号点识别，信号假阳率在现有处理模型的基础上降低了1%左右。而单次样本判读所针对的样本细胞数量通常在一万以上，假阳率降低1%意味着后续样本判读可以少处理100个以上的样本细胞，这将大大提高后续样本判读的效率和准确性。
综上所述，通过本申请实施例的荧光染色信号点识别模型进行目标细胞对应的多通道细胞核图像中荧光染色信号点的识别，既提高了荧光染色信号点的识别准确率，也保证了识别效率。
本申请实施例提供的方法，获取目标细胞对应的多通道细胞核图像；将所述目标细胞对应的多通道细胞核图像输入训练好的荧光染色信号点识别模型，输出所述多通道细胞核图像中的荧光染色信号点识别结果；其中，所述荧光染色信号点识别模型是基于多通道细胞核图像样本以及预先确定的荧光染色信号点识别结果标签进行训练后得到的；所述荧光染色信号点识别模型包括信号点热图获取模块、特征增强模块和信号点检测模块；所述信号点热图获取模块用于基于所述多通道细胞核图像生成对应的初始信号点热图；所述特征增强模块用于对所述初始信号点热图进行高亮背景噪点去除、信号增强和信号融合处理，以得到修正信号点热图及对应的荧光染色信号点特征信息；所述信号点检测模块用于基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果并输出，能够基于荧光染色信号点识别模型对细胞核图像中的荧光染色信号点进行准确高效的识别。
基于上述实施例，所述高亮背景噪点去除对应的处理步骤包括：
将目标通道对应的初始信号点热图分别与其他通道对应的初始信号点热图相减，以得到所述目标通道对应的多个无高亮背景噪点的第一信号点热图；
基于ReLU激活函数对各第一信号点热图进行处理，以得到所述目标通道对应的多个第二信号点热图。
具体地，将目标通道对应的初始信号点热图分别与其他通道对应的初始信号点热图相减是通过以下方式实现的：将初始信号点热图通过像素值矩阵的形式表达（矩阵中包括初始信号点热图各像素点的像素值），将目标通道对应的初始信号点热图的像素值矩阵分别与其他三个通道对应的初始信号点热图的像素值矩阵相减，以得到所述目标通道对应的多个无高亮背景噪点的第一信号点热图。基于前述实施例可以理解的是，由于荧光原位杂交技术染色可能导致成像后细胞核图像的背景亮度大，进而在多个通道对应的细胞核图像中的同一个位置出现形似荧光染色信号点的高亮背景噪点，因此，基于上述相减操作，即可将高亮背景噪点对应的像素值置零，进而达到去除高亮背景噪点的目的。以Aqua通道和Green通道为例，假如在坐标(x0，y0)处存在噪点，此时Aqua通道和Green通道对应的初始信号点热图在(x0，y0)都会存在一个极值点，通过将两个通道对应的初始信号点热图的像素值矩阵进行相减操作即可消除(x0，y0)这个极值点（即噪点）对后续识别的影响。
但是，结合前述实施例可知，由于不同染色通道针对的目标染色体不同，因此，不同染色通道对应的细胞核图像中，荧光染色信号点的位置不同，基于此，上述相减操作得到的第一信号点热图的像素值矩阵中将会出现负值，这会导致模型在进行后续处理时出错。因此，本申请实施例进一步基于ReLU激活函数对各第一信号点热图进行处理，以消除第一信号点热图的像素值矩阵中的负值，得到所述目标通道对应的多个第二信号点热图，避免对模型识别的准确度产生影响。至于所述ReLU激活函数的作用原理，其为本领域的公知内容，本申请实施例在此不再赘述。
本申请实施例提供的方法，将目标通道对应的初始信号点热图分别与其他通道对应的初始信号点热图相减，以得到所述目标通道对应的多个无高亮背景噪点的第一信号点热图；基于ReLU激活函数对各第一信号点热图进行处理，以得到所述目标通道对应的多个第二信号点热图，能够避免高亮背景噪点对荧光染色信号点识别的影响，提高模型识别的准确率。
基于上述任一实施例，所述信号增强对应的处理步骤包括：
基于幂激活函数对所述目标通道对应的多个第二信号点热图进行处理，以得到所述目标通道对应的多个信号增强的第三信号点热图。
具体地，结合前述实施例可知，由于环境因素以及荧光图像获取设备分辨率的影响，会导致荧光染色信号点的信号强度较弱（即弱信号点），所述弱信号点在初始信号点热图中的峰值相对较弱，因而其对应的置信度低，进而导致模型无法识别，基于此，本申请实施例采用幂激活函数对所述目标通道对应的多个第二信号点热图进行处理，以提高弱信号的强度，得到所述目标通道对应的多个信号增强的第三信号点热图，进而提升荧光染色信号点的检出率。幂激活函数的表达式为
Figure M_220804161014828_828024001
，当
Figure M_220804161014892_892480002
时，该激活函数可提升弱信号的强度，进而提升识别置信度和信号检出率。图6为本申请提供的幂激活函数的处理效果示意图，其中，横坐标是原始信号的像素值，纵坐标是增强后的像素值，可以理解的是，图中横坐标和纵坐标的值均为归一化之后的结果。本申请实施例采用的幂激活函数优选
Figure M_220804161014923_923720003
=2，以兼顾弱信号和强背景对后续荧光染色信号点识别的影响，以达到提升模型识别准确率和召回率的目的。
本申请实施例提供的方法，所述信号增强对应的处理步骤包括：基于幂激活函数对所述目标通道对应的多个第二信号点热图进行处理，以得到所述目标通道对应的多个信号增强的第三信号点热图，能够进一步提高模型识别的准确率和召回率，避免漏检。
基于上述任一实施例，所述信号融合对应的处理步骤包括：
将所述目标通道对应的多个信号增强的第三信号点热图与所述目标通道对应的细胞核图像进行融合操作；
基于融合结果生成所述目标通道对应的目标修正信号点热图并获取所述目标修正信号点热图对应的荧光染色信号点特征信息；所述荧光染色信号点特征信息包括荧光染色信号点尺寸和位置偏移。
具体地，结合图5可知，本申请实施例通过concat层实现所述目标通道对应的多个信号增强的第三信号点热图与所述目标通道对应的细胞核图像进行融合操作，基于融合结果，可以通过相应的检测网络（对应于图5中的Detection_Head）对第三信号点热图和对应的细胞核图像进行比对，以提取所述目标通道对应的细胞核图像中的荧光染色信号点轮廓和坐标，进而生成所述目标通道对应的目标修正信号点热图并获取所述目标修正信号点热图对应的荧光染色信号点特征信息；所述荧光染色信号点特征信息包括荧光染色信号点尺寸和位置偏移。值得注意的是，此处提到的荧光染色信号点为疑似荧光染色信号点，本申请实施例后续还需要通过信号点检测模块基于所述目标修正信号点热图及其对应的荧光染色信号点特征信息进行进一步判断，以确定准确的荧光染色信号点。
本申请实施例提供的方法，所述信号融合对应的处理步骤包括：将所述目标通道对应的多个信号增强的第三信号点热图与所述目标通道对应的细胞核图像进行融合操作；基于融合结果生成所述目标通道对应的目标修正信号点热图并获取所述目标修正信号点热图对应的荧光染色信号点特征信息；所述荧光染色信号点特征信息包括荧光染色信号点尺寸和位置偏移，能够保证荧光染色信号点识别的准确性。
基于上述任一实施例，所述基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果，具体包括：
基于所述目标通道对应的目标修正信号点热图以及，所述目标修正信号点热图对应的荧光染色信号点尺寸和位置偏移，确定所述目标通道对应的细胞核图像中的疑似荧光染色信号点；
基于所述疑似荧光染色信号点的信号强度以及对应的置信度阈值，确定所述目标通道对应的细胞核图像中的荧光染色信号点。
具体地，基于前述实施例可知，基于所述目标通道对应的目标修正信号点热图以及，所述目标修正信号点热图对应的荧光染色信号点尺寸和位置偏移，即可确定所述目标通道对应的细胞核图像中的疑似荧光染色信号点。可以理解的是，所述疑似荧光染色信号点即去除高亮背景噪点之后剩余的全部荧光点，但并不是所有的荧光点均为荧光染色信号点，其中还包括一些荧光杂点，荧光杂点的存在将大大影响荧光染色信号点识别的准确性。因此，需要通过相应的置信度阈值（即信号强度阈值，通过像素值表征）进一步对荧光杂点进行去除，进而筛选出准确的荧光染色信号点。
现有技术通常采用常数阈值法进行荧光染色信号点的筛选，但基于前述实施例可知，由于环境因素以及荧光图像获取设备分辨率的影响，会导致部分荧光染色信号点的信号强度偏离常规值，若采用固定的置信度阈值，将导致荧光染色信号点漏检，降低识别准确率。基于此，本申请实施例采用自适应的置信度阈值，其表达式为：
Figure M_220804161014939_939319001
；
其中，threshod为置信度阈值，confidence为荧光染色信号点识别的置信度基线，即检测区域的信号强度为255时，荧光染色信号点的置信度阈值，RoI为检测区域。所述置信度基线是基于试验预先确定的。可以理解的是，所述检测区域为疑似荧光染色信号点对应的区域。基于此，通过疑似荧光染色信号点的信号强度以及对应的置信度阈值的比较结果即可确定真实的荧光染色信号点，可以避免信号强度偏弱或偏强的荧光染色信号点漏检，提高荧光染色信号点识别的准确性。实验表明，通过幂激活函数和自适应置信度阈值的设置，本申请实施例的荧光染色信号点识别模型的精度提升了6%左右，召回率提升超过3%。
进一步的，本申请发明人通过研究发现，通过自适应置信度阈值进行荧光染色信号点判断，虽然可以避免荧光染色信号点漏检，但也导致部分特殊荧光杂点无法排除的问题，影响识别的准确性。基于此，本申请实施例基于各疑似荧光染色信号点的信号强度的关联关系，对荧光杂点进行排除。具体的，对于同一通道中的荧光染色信号点，其信号强度基本相同或接近，因此，可以将各疑似荧光染色信号点的信号强度进行对比，对于信号强度明显偏强或偏弱的疑似荧光染色信号点予以排除。至于明显偏强或偏弱的判断标准，可以根据实际情况设置相应的判断阈值，对于阈值的具体取值，本申请实施例不作具体限定。
本申请实施例提供的方法，所述基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果，具体包括：基于所述目标通道对应的目标修正信号点热图以及，所述目标修正信号点热图对应的荧光染色信号点尺寸和位置偏移，确定所述目标通道对应的细胞核图像中的疑似荧光染色信号点；基于所述疑似荧光染色信号点的信号强度以及对应的置信度阈值，确定所述目标通道对应的细胞核图像中的荧光染色信号点，能够进一步提高荧光染色信号点识别的准确性。
基于上述任一实施例，所述基于所述疑似荧光染色信号点的信号强度以及对应的置信度阈值，确定所述目标通道对应的细胞核图像中的荧光染色信号点，具体包括：
基于所述疑似荧光染色信号点的信号强度与对应的置信度阈值的对比结果，确定信号强度高于所述置信度阈值的目标疑似荧光染色信号点组成的第一集合；
基于所述第一集合中各目标疑似荧光染色信号点的信号强度分布情况，确定所述第一集合中的荧光染色杂点，将所述第一集合中的荧光染色杂点去除以得到第二集合，并将所述第二集合中的目标疑似荧光染色信号点作为所述目标通道对应的细胞核图像中的荧光染色信号点。
具体地，基于前述实施例可知，基于所述疑似荧光染色信号点的信号强度与对应的置信度阈值的对比结果，即可确定信号强度高于所述置信度阈值的目标疑似荧光染色信号点组成的第一集合，但所述第一集合中可能仍然存在荧光杂点（即荧光染色杂点），基于此，本申请实施例进一步基于所述第一集合中各目标疑似荧光染色信号点的信号强度分布情况，确定所述第一集合中的荧光染色杂点，将所述第一集合中的荧光染色杂点去除以得到第二集合。值得注意的是，除了前述实施例提到的信号强度明显偏强或偏弱的荧光染色杂点外，本申请实施例涉及的荧光染色杂点还包括黏连杂点，即两个荧光染色信号点通过一个荧光染色杂点相连，对于该情况，模型通常会将其认定为一个荧光染色信号点，进而导致荧光染色信号点的数量错误。基于此，本申请实施例进一步基于疑似荧光染色信号点内部的信号强度分布确定荧光染色信号点和荧光染色杂点，由于正常的荧光染色信号点内部的信号强度自中心向边沿呈阶梯下降，而黏连杂点并不遵循该原则，基于此，即可准确区分荧光染色信号点和荧光染色杂点，进而进一步提高荧光染色信号点识别的准确性。
可以理解的是，确定了所述多通道细胞核图像中的荧光染色信号点识别结果之后，即可基于各通道对应的细胞核图像中的荧光染色信号点的数量确定目标细胞的类型，以用于后续研究。具体的，若各通道对应的细胞核图像中的荧光染色信号点的数量均为2，则所述目标细胞为正常细胞；若至少一个通道对应的细胞核图像中的荧光染色信号点的数量低于2，则所述目标细胞为丢失细胞；若某一通道对应的细胞核图像中的荧光染色信号点的数量高于2，则所述目标细胞为增益细胞；若至少两个通道对应的细胞核图像中的荧光染色信号点的数量高于2，则所述目标细胞为CTC（circulating tumor cell，循环肿瘤细胞）。
本申请实施例提供的方法，所述基于所述疑似荧光染色信号点的信号强度以及对应的置信度阈值，确定所述目标通道对应的细胞核图像中的荧光染色信号点，具体包括：基于所述疑似荧光染色信号点的信号强度与对应的置信度阈值的对比结果，确定信号强度高于所述置信度阈值的目标疑似荧光染色信号点组成的第一集合；基于所述第一集合中各目标疑似荧光染色信号点的信号强度分布情况，确定所述第一集合中的荧光染色杂点，将所述第一集合中的荧光染色杂点去除以得到第二集合，并将所述第二集合中的目标疑似荧光染色信号点作为所述目标通道对应的细胞核图像中的荧光染色信号点，能够进一步提高荧光染色信号点识别的准确性。
基于上述任一实施例，所述置信度阈值是基于预设的置信度基线以及所述疑似荧光染色信号点的信号强度确定的。
具体地，本申请实施例对应的原理和具体实现方式在前述实施例已经进行了详细阐述，在此不再赘述。
下面对本申请提供的细胞核图像中荧光染色信号点的识别装置进行描述，下文描述的细胞核图像中荧光染色信号点的识别装置与上文描述的细胞核图像中荧光染色信号点的识别方法可相互对应参照。
基于上述任一实施例，图7为本申请提供的细胞核图像中荧光染色信号点的识别装置的结构示意图，如图7所示，该装置包括：
细胞核图像获取单元710，用于获取目标细胞对应的多通道细胞核图像；
荧光染色信号点识别单元720，用于将所述目标细胞对应的多通道细胞核图像输入训练好的荧光染色信号点识别模型，输出所述多通道细胞核图像中的荧光染色信号点识别结果；
其中，所述荧光染色信号点识别模型是基于多通道细胞核图像样本以及预先确定的荧光染色信号点识别结果标签进行训练后得到的；
所述荧光染色信号点识别模型包括信号点热图获取模块、特征增强模块和信号点检测模块；所述信号点热图获取模块用于基于所述多通道细胞核图像生成对应的初始信号点热图；所述特征增强模块用于对所述初始信号点热图进行高亮背景噪点去除、信号增强和信号融合处理，以得到修正信号点热图及对应的荧光染色信号点特征信息；所述信号点检测模块用于基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果并输出。
本申请实施例提供的装置，细胞核图像获取单元用于获取目标细胞对应的多通道细胞核图像；荧光染色信号点识别单元用于将所述目标细胞对应的多通道细胞核图像输入训练好的荧光染色信号点识别模型，输出所述多通道细胞核图像中的荧光染色信号点识别结果；其中，所述荧光染色信号点识别模型是基于多通道细胞核图像样本以及预先确定的荧光染色信号点识别结果标签进行训练后得到的；所述荧光染色信号点识别模型包括信号点热图获取模块、特征增强模块和信号点检测模块；所述信号点热图获取模块用于基于所述多通道细胞核图像生成对应的初始信号点热图；所述特征增强模块用于对所述初始信号点热图进行高亮背景噪点去除、信号增强和信号融合处理，以得到修正信号点热图及对应的荧光染色信号点特征信息；所述信号点检测模块用于基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果并输出，能够基于荧光染色信号点识别模型对细胞核图像中的荧光染色信号点进行准确高效的识别。
基于上述实施例，所述高亮背景噪点去除对应的处理步骤包括：
将目标通道对应的初始信号点热图分别与其他通道对应的初始信号点热图相减，以得到所述目标通道对应的多个无高亮背景噪点的第一信号点热图；
基于ReLU激活函数对各第一信号点热图进行处理，以得到所述目标通道对应的多个第二信号点热图。
基于上述任一实施例，所述信号增强对应的处理步骤包括：
基于幂激活函数对所述目标通道对应的多个第二信号点热图进行处理，以得到所述目标通道对应的多个信号增强的第三信号点热图。
基于上述任一实施例，所述信号融合对应的处理步骤包括：
将所述目标通道对应的多个信号增强的第三信号点热图与所述目标通道对应的细胞核图像进行融合操作；
基于融合结果生成所述目标通道对应的目标修正信号点热图并获取所述目标修正信号点热图对应的荧光染色信号点特征信息；所述荧光染色信号点特征信息包括荧光染色信号点尺寸和位置偏移。
基于上述任一实施例，所述基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果，具体包括：
基于所述目标通道对应的目标修正信号点热图以及，所述目标修正信号点热图对应的荧光染色信号点尺寸和位置偏移，确定所述目标通道对应的细胞核图像中的疑似荧光染色信号点；
基于所述疑似荧光染色信号点的信号强度以及对应的置信度阈值，确定所述目标通道对应的细胞核图像中的荧光染色信号点。
基于上述任一实施例，所述基于所述疑似荧光染色信号点的信号强度以及对应的置信度阈值，确定所述目标通道对应的细胞核图像中的荧光染色信号点，具体包括：
基于所述疑似荧光染色信号点的信号强度与对应的置信度阈值的对比结果，确定信号强度高于所述置信度阈值的目标疑似荧光染色信号点组成的第一集合；
基于所述第一集合中各目标疑似荧光染色信号点的信号强度分布情况，确定所述第一集合中的荧光染色杂点，将所述第一集合中的荧光染色杂点去除以得到第二集合，并将所述第二集合中的目标疑似荧光染色信号点作为所述目标通道对应的细胞核图像中的荧光染色信号点。
基于上述任一实施例，所述置信度阈值是基于预设的置信度基线以及所述疑似荧光染色信号点的信号强度确定的。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述各方法所提供的细胞核图像中荧光染色信号点的识别方法，该方法包括：获取目标细胞对应的多通道细胞核图像；将所述目标细胞对应的多通道细胞核图像输入训练好的荧光染色信号点识别模型，输出所述多通道细胞核图像中的荧光染色信号点识别结果；其中，所述荧光染色信号点识别模型是基于多通道细胞核图像样本以及预先确定的荧光染色信号点识别结果标签进行训练后得到的；所述荧光染色信号点识别模型包括信号点热图获取模块、特征增强模块和信号点检测模块；所述信号点热图获取模块用于基于所述多通道细胞核图像生成对应的初始信号点热图；所述特征增强模块用于对所述初始信号点热图进行高亮背景噪点去除、信号增强和信号融合处理，以得到修正信号点热图及对应的荧光染色信号点特征信息；所述信号点检测模块用于基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果并输出。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的细胞核图像中荧光染色信号点的识别方法，该方法包括：获取目标细胞对应的多通道细胞核图像；将所述目标细胞对应的多通道细胞核图像输入训练好的荧光染色信号点识别模型，输出所述多通道细胞核图像中的荧光染色信号点识别结果；其中，所述荧光染色信号点识别模型是基于多通道细胞核图像样本以及预先确定的荧光染色信号点识别结果标签进行训练后得到的；所述荧光染色信号点识别模型包括信号点热图获取模块、特征增强模块和信号点检测模块；所述信号点热图获取模块用于基于所述多通道细胞核图像生成对应的初始信号点热图；所述特征增强模块用于对所述初始信号点热图进行高亮背景噪点去除、信号增强和信号融合处理，以得到修正信号点热图及对应的荧光染色信号点特征信息；所述信号点检测模块用于基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果并输出。
又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的细胞核图像中荧光染色信号点的识别方法，该方法包括：获取目标细胞对应的多通道细胞核图像；将所述目标细胞对应的多通道细胞核图像输入训练好的荧光染色信号点识别模型，输出所述多通道细胞核图像中的荧光染色信号点识别结果；其中，所述荧光染色信号点识别模型是基于多通道细胞核图像样本以及预先确定的荧光染色信号点识别结果标签进行训练后得到的；所述荧光染色信号点识别模型包括信号点热图获取模块、特征增强模块和信号点检测模块；所述信号点热图获取模块用于基于所述多通道细胞核图像生成对应的初始信号点热图；所述特征增强模块用于对所述初始信号点热图进行高亮背景噪点去除、信号增强和信号融合处理，以得到修正信号点热图及对应的荧光染色信号点特征信息；所述信号点检测模块用于基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果并输出。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种细胞核图像中荧光染色信号点的识别方法，其特征在于，包括：
获取目标细胞对应的多通道细胞核图像；
将所述目标细胞对应的多通道细胞核图像输入训练好的荧光染色信号点识别模型，输出所述多通道细胞核图像中的荧光染色信号点识别结果；
其中，所述荧光染色信号点识别模型是基于多通道细胞核图像样本以及预先确定的荧光染色信号点识别结果标签进行训练后得到的；
所述荧光染色信号点识别模型包括信号点热图获取模块、特征增强模块和信号点检测模块；所述信号点热图获取模块用于基于所述多通道细胞核图像生成对应的初始信号点热图；所述特征增强模块用于对所述初始信号点热图进行高亮背景噪点去除、信号增强和信号融合处理，以得到修正信号点热图及对应的荧光染色信号点特征信息；所述信号点检测模块用于基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果并输出。
2.根据权利要求1所述的细胞核图像中荧光染色信号点的识别方法，其特征在于，所述高亮背景噪点去除对应的处理步骤包括：
将目标通道对应的初始信号点热图分别与其他通道对应的初始信号点热图相减，以得到所述目标通道对应的多个无高亮背景噪点的第一信号点热图；
基于ReLU激活函数对各第一信号点热图进行处理，以得到所述目标通道对应的多个第二信号点热图。
3.根据权利要求2所述的细胞核图像中荧光染色信号点的识别方法，其特征在于，所述信号增强对应的处理步骤包括：
基于幂激活函数对所述目标通道对应的多个第二信号点热图进行处理，以得到所述目标通道对应的多个信号增强的第三信号点热图。
4.根据权利要求3所述的细胞核图像中荧光染色信号点的识别方法，其特征在于，所述信号融合对应的处理步骤包括：
将所述目标通道对应的多个信号增强的第三信号点热图与所述目标通道对应的细胞核图像进行融合操作；
基于融合结果生成所述目标通道对应的目标修正信号点热图并获取所述目标修正信号点热图对应的荧光染色信号点特征信息；所述荧光染色信号点特征信息包括荧光染色信号点尺寸和位置偏移。
5.根据权利要求4所述的细胞核图像中荧光染色信号点的识别方法，其特征在于，所述基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果，具体包括：
基于所述目标通道对应的目标修正信号点热图以及，所述目标修正信号点热图对应的荧光染色信号点尺寸和位置偏移，确定所述目标通道对应的细胞核图像中的疑似荧光染色信号点；
基于所述疑似荧光染色信号点的信号强度以及对应的置信度阈值，确定所述目标通道对应的细胞核图像中的荧光染色信号点。
6.根据权利要求5所述的细胞核图像中荧光染色信号点的识别方法，其特征在于，所述基于所述疑似荧光染色信号点的信号强度以及对应的置信度阈值，确定所述目标通道对应的细胞核图像中的荧光染色信号点，具体包括：
基于所述疑似荧光染色信号点的信号强度与对应的置信度阈值的对比结果，确定信号强度高于所述置信度阈值的目标疑似荧光染色信号点组成的第一集合；
基于所述第一集合中各目标疑似荧光染色信号点的信号强度分布情况，确定所述第一集合中的荧光染色杂点，将所述第一集合中的荧光染色杂点去除以得到第二集合，并将所述第二集合中的目标疑似荧光染色信号点作为所述目标通道对应的细胞核图像中的荧光染色信号点。
7.根据权利要求6所述的细胞核图像中荧光染色信号点的识别方法，其特征在于，所述置信度阈值是基于预设的置信度基线以及所述疑似荧光染色信号点的信号强度确定的。
8.一种细胞核图像中荧光染色信号点的识别装置，其特征在于，包括：
细胞核图像获取单元，用于获取目标细胞对应的多通道细胞核图像；
荧光染色信号点识别单元，用于将所述目标细胞对应的多通道细胞核图像输入训练好的荧光染色信号点识别模型，输出所述多通道细胞核图像中的荧光染色信号点识别结果；
其中，所述荧光染色信号点识别模型是基于多通道细胞核图像样本以及预先确定的荧光染色信号点识别结果标签进行训练后得到的；
所述荧光染色信号点识别模型包括信号点热图获取模块、特征增强模块和信号点检测模块；所述信号点热图获取模块用于基于所述多通道细胞核图像生成对应的初始信号点热图；所述特征增强模块用于对所述初始信号点热图进行高亮背景噪点去除、信号增强和信号融合处理，以得到修正信号点热图及对应的荧光染色信号点特征信息；所述信号点检测模块用于基于所述修正信号点热图及对应的荧光染色信号点特征信息确定所述多通道细胞核图像中的荧光染色信号点识别结果并输出。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述细胞核图像中荧光染色信号点的识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述细胞核图像中荧光染色信号点的识别方法的步骤。
CN202210958372.XA 2022-08-11 2022-08-11 细胞核图像中荧光染色信号点的识别方法和装置 Active CN115035518B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210958372.XA CN115035518B (zh) 2022-08-11 2022-08-11 细胞核图像中荧光染色信号点的识别方法和装置
PCT/CN2023/111785 WO2024032623A1 (zh) 2022-08-11 2023-08-08 细胞核图像中荧光染色信号点的识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210958372.XA CN115035518B (zh) 2022-08-11 2022-08-11 细胞核图像中荧光染色信号点的识别方法和装置

Publications (2)

Publication Number Publication Date
CN115035518A true CN115035518A (zh) 2022-09-09
CN115035518B CN115035518B (zh) 2022-11-01

Family

ID=83130768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210958372.XA Active CN115035518B (zh) 2022-08-11 2022-08-11 细胞核图像中荧光染色信号点的识别方法和装置

Country Status (2)

Country Link
CN (1) CN115035518B (zh)
WO (1) WO2024032623A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188947A (zh) * 2023-04-28 2023-05-30 珠海横琴圣澳云智科技有限公司 基于领域知识的半监督信号点检测方法及装置
CN116309543A (zh) * 2023-05-10 2023-06-23 北京航空航天大学杭州创新研究院 基于图像的循环肿瘤细胞检测设备
WO2024032623A1 (zh) * 2022-08-11 2024-02-15 珠海圣美生物诊断技术有限公司 细胞核图像中荧光染色信号点的识别方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111175267A (zh) * 2020-01-18 2020-05-19 珠海圣美生物诊断技术有限公司 基于fish技术的细胞判读方法和系统
CN111290685A (zh) * 2020-02-28 2020-06-16 杭州依图医疗技术有限公司 细胞染色图像的显示方法、病理图像分析系统及存储介质
CN111739010A (zh) * 2020-06-23 2020-10-02 珠海圣美生物诊断技术有限公司 一种检测循环异常细胞的方法及装置
US20210285056A1 (en) * 2018-07-27 2021-09-16 Ventana Medical Systems, Inc. Systems for automated in situ hybridization analysis
CN114782372A (zh) * 2022-04-25 2022-07-22 昆明金域医学检验所有限公司 Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016120440A1 (en) * 2015-01-29 2016-08-04 Ventana Medical Systems, Inc. Dot detection, color classification of dots and counting of color classified dots
EP4081979A1 (en) * 2019-12-23 2022-11-02 Lunglife Ai, Inc. Systems and methods for designing accurate fluorescence in-situ hybridization probe detection on microscopic blood cell images using machine learning
CN114332854A (zh) * 2021-12-16 2022-04-12 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN115035518B (zh) * 2022-08-11 2022-11-01 珠海横琴圣澳云智科技有限公司 细胞核图像中荧光染色信号点的识别方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210285056A1 (en) * 2018-07-27 2021-09-16 Ventana Medical Systems, Inc. Systems for automated in situ hybridization analysis
CN111175267A (zh) * 2020-01-18 2020-05-19 珠海圣美生物诊断技术有限公司 基于fish技术的细胞判读方法和系统
CN111290685A (zh) * 2020-02-28 2020-06-16 杭州依图医疗技术有限公司 细胞染色图像的显示方法、病理图像分析系统及存储介质
CN111739010A (zh) * 2020-06-23 2020-10-02 珠海圣美生物诊断技术有限公司 一种检测循环异常细胞的方法及装置
CN114782372A (zh) * 2022-04-25 2022-07-22 昆明金域医学检验所有限公司 Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
滕孝静 等: "循环荧光原位杂交在淋巴瘤诊断中的价值研究", 《临床和实验医学杂志》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024032623A1 (zh) * 2022-08-11 2024-02-15 珠海圣美生物诊断技术有限公司 细胞核图像中荧光染色信号点的识别方法和装置
CN116188947A (zh) * 2023-04-28 2023-05-30 珠海横琴圣澳云智科技有限公司 基于领域知识的半监督信号点检测方法及装置
CN116309543A (zh) * 2023-05-10 2023-06-23 北京航空航天大学杭州创新研究院 基于图像的循环肿瘤细胞检测设备
CN116309543B (zh) * 2023-05-10 2023-08-11 北京航空航天大学杭州创新研究院 基于图像的循环肿瘤细胞检测设备

Also Published As

Publication number Publication date
WO2024032623A1 (zh) 2024-02-15
CN115035518B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN115035518B (zh) 细胞核图像中荧光染色信号点的识别方法和装置
US10783641B2 (en) Systems and methods for adaptive histopathology image unmixing
EP3785603B1 (en) Machine learning-based fundus image detection method, apparatus, and system
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
Agrawal et al. Grape leaf disease detection and classification using multi-class support vector machine
CN114998332B (zh) 核型异常细胞的确定方法和装置
CN114463609B (zh) 细胞显微图像中荧光杂点的确定方法和装置
US7643674B2 (en) Classification methods, classifier determination methods, classifiers, classifier determination devices, and articles of manufacture
CN109903282B (zh) 一种细胞计数方法、系统、装置和存储介质
CN108009567B (zh) 一种结合图像颜色及hog和svm的粪便性状的自动辨别方法
US6993187B2 (en) Method and system for object recognition using fractal maps
CN114240978B (zh) 基于自适应形态学的细胞边缘分割方法和装置
CN114677525B (zh) 一种基于二值图像处理的边缘检测方法
CN115272838A (zh) 基于信息融合技术的海洋浮游生物自动识别方法及系统
CN116385443B (zh) 基于图像的样本质量确定方法和装置
CN114419533A (zh) 深水网衣破损识别方法、装置、设备及存储介质
CN116665210B (zh) 基于多通道信息融合的细胞分类方法和装置
CN113269752A (zh) 一种图像检测方法、装置终端设备及存储介质
CN115564776B (zh) 基于机器学习的异常细胞样本检测方法和装置
CN115100648B (zh) 细胞显微图像中多通道荧光杂质的滤除方法和装置
CN113537253B (zh) 一种红外图像目标检测方法、装置、计算设备及存储介质
CN111368625B (zh) 一种基于级联优化的行人目标检测方法
CN114739970B (zh) 荧光信号点断裂判定方法和装置
CN117152687B (zh) 一种通信线路状态监测系统
CN116188947B (zh) 基于领域知识的半监督信号点检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221223

Address after: 519000 3 3 level 3, No. 266 Tong Hang Road, Xiangzhou District, Zhuhai, Guangdong.

Patentee after: ZHUHAI LIVZON CYNVENIO DIAGNOSTICS Ltd.

Patentee after: Zhuhai Hengqin Shengao Yunzhi Technology Co.,Ltd.

Address before: 519031 Room 102, 202 and 402, building 2, No. 100, Feipeng Road, Guangdong Macao cooperative traditional Chinese medicine science and Technology Industrial Park, Hengqin new area, Zhuhai City, Guangdong Province

Patentee before: Zhuhai Hengqin Shengao Yunzhi Technology Co.,Ltd.

TR01 Transfer of patent right