CN116433601A - 免疫组化切片图像分析方法、装置、电子设备和存储介质 - Google Patents

免疫组化切片图像分析方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116433601A
CN116433601A CN202310233594.XA CN202310233594A CN116433601A CN 116433601 A CN116433601 A CN 116433601A CN 202310233594 A CN202310233594 A CN 202310233594A CN 116433601 A CN116433601 A CN 116433601A
Authority
CN
China
Prior art keywords
image
tissue slice
region
tumor
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310233594.XA
Other languages
English (en)
Inventor
王辰龙
罗亦海
杨常美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baitu Shengke Beijing Intelligent Technology Co ltd
Original Assignee
Baitu Shengke Beijing Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baitu Shengke Beijing Intelligent Technology Co ltd filed Critical Baitu Shengke Beijing Intelligent Technology Co ltd
Priority to CN202310233594.XA priority Critical patent/CN116433601A/zh
Publication of CN116433601A publication Critical patent/CN116433601A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明提供了一种免疫组化切片图像分析方法、装置、电子设备和存储介质。该方法包括：基于免疫组化染色信号，提取组织切片图像中的强染色信号采样点，得到强染色信号采样点集合；对强染色信号采样点进行聚类，确定组织切片图像对应的兴趣区域图像集合，兴趣区域图像集合中包括至少一个兴趣区域图像；基于兴趣区域图像集合，确定组织切片图像的病理分析结果。该方法降低了对人工操作的依赖，避免了多种偏差和噪音的产生，降低了免疫组化切片图像分析成本。

Description

免疫组化切片图像分析方法、装置、电子设备和存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及免疫组化切片图像分析方法、装置、电子设备和存储介质。
背景技术
免疫组织化学(Immunohistochemistry，IHC，免疫组化)是临床病理诊断中常用的技术和手段。免疫组化，是应用免疫学基本原理——抗原抗体反应，即抗体和抗原之间的结合具有高度的特异性，先将组织或细胞中的某种化学物质提取出来，以此作为抗原或半抗原，然后通过免疫动物，获得特异性的抗体，再用此抗体去探测组织或细胞中的同类抗原物质。由于抗原与抗体的复合物是无色的，因此还必须借助于组织化学的方法(例如，荧光素、酶、金属离子、同位素等)将抗原抗体结合的部位显示出来，以达到对组织或细胞中的未知抗原进行定性、定位或定量的研究。免疫组化针对的样本主要是组织，组织来自患者(人体)或动物，并经过冷冻或石蜡包埋。这些组织被制成约4μm厚的切片，封片后再处理。
组织微阵列(也称组织芯片)是将许多不同个体组织标本以规则阵列方式排布于同一载体(使用载玻片最多)上，进行同一指标的原位组织学研究。即将多种组织放在一个载玻片上，用于免疫组化的实验，最后，对这个载玻片上的组织进行拍照，得到免疫组化阵列图像。其最大优势在于，芯片上的组织样本实验条件完全一致，有极好的质量控制并节省时间、节省试剂。
根据免疫组化阵列图像，对阵列中每个免疫组化的切片，进行分析，判断是否存在肿瘤，以及肿瘤的位置和强度。现有的免疫组化分析软件，通过人工选定感兴趣的区域，并根据不同的实验批次和选定的感兴趣区域，手动设置阈值和参数，输出相应的分析结果。实验人员根据已有的经验，判定选定的区域是否包含肿瘤，以及肿瘤的强度。
大量的人为操作不仅会带来一定的偏差，同时需要专业度极高的实验人员进行操作，也会耗费大量的人力和物力，导致在药物研发和筛选的过程中，无法进行大规模的实验验证，筛选通量受到严重制约，药物研发成本居高不下。因此，开发不依赖人工对免疫组化切片图像进行分析的方法、装置、电子设备和存储介质迫在眉睫。
发明内容
本发明提供了一种免疫组化切片图像分析方法、装置、电子设备和存储介质，可用于解决相关技术中依赖人工分析的问题。
第一方面，本发明的实施例提供了一种免疫组化切片图像分析方法，该方法包括：基于免疫组化染色信号，提取组织切片图像中的强染色信号采样点，得到强染色信号采样点集合；对强染色信号采样点进行聚类，确定组织切片图像对应的兴趣区域图像集合，兴趣区域图像集合中包括至少一个兴趣区域图像；基于兴趣区域图像集合，确定组织切片图像的病理分析结果。
在一些可选的实施方式中，上述基于兴趣区域图像集合，确定组织切片图像的病理分析结果，包括：对于兴趣区域图像集合中的每个兴趣区域图像，执行以下第一肿瘤强度值提取操作：从该兴趣区域图像分割出强肿瘤信号区域图像；基于强肿瘤信号区域图像中的像素点的位置和像素值，对强肿瘤信号区域图像中的像素点进行聚类操作，得到至少一个肿瘤细胞聚类簇，各肿瘤细胞聚类簇由强肿瘤信号区域图像中的不同像素点组成；根据肿瘤细胞聚类簇的聚类边缘，确定细胞膜区域像素点集合；基于细胞膜区域像素点集合，计算得到该兴趣区域图像对应的第一肿瘤强度值；基于兴趣区域图像对应的第一肿瘤强度值，确定组织切片图像的病理分析结果。
在一些可选的实施方式中，上述方法还包括：将兴趣区域图像集合中的每个兴趣区域图像输入预先训练的肿瘤强度确定模型，得到该兴趣区域图像对应的第二肿瘤强度值，其中，肿瘤强度确定模型是通过如下预设训练步骤预先训练得到的：获取训练样本集合，训练样本包括样本图像和相应的用于表征样本图像中组织肿瘤强度的标注肿瘤强度值；基于训练样本集合，对初始肿瘤强度确定模型进行监督训练，得到用于表征图像与肿瘤强度值之间对应关系的肿瘤强度确定模型；基于兴趣区域图像对应的第二肿瘤强度值，确定组织切片图像的病理分析结果。
在一些可选的实施方式中，上述确定组织切片图像的病理分析结果，包括：基于该兴趣区域图像对应的第一肿瘤强度值和第二肿瘤强度值，计算得到该兴趣区域图像对应的融合肿瘤强度值；将组织切片图像对应的兴趣区域图像集合中的各兴趣区域图像对应的融合肿瘤强度值添加入组织切片图像对应的融合肿瘤强度值集合；基于组织切片图像对应的融合肿瘤强度值集合，计算得到组织切片图像的病理分析结果。
在一些可选的实施方式中，上述基于免疫组化染色信号，提取组织切片图像中的强染色信号采样点，得到强染色信号采样点集合，包括：对组织切片图像进行免疫组化染色信号的通道分离操作，得到组织切片图像对应的染色信号通道图；对染色信号通道图进行二值化操作，得到肿瘤染色信号的掩膜；对肿瘤染色信号的掩膜进行至少一次形态学运算，得到肿瘤区域的掩膜；对组织切片图像进行灰度化操作，得到灰度组织切片图像；从灰度组织切片图像中提取肿瘤区域的掩膜对应的灰度肿瘤区域的掩膜图像；对灰度肿瘤区域的掩膜图像中的每个像素点执行以下采样点提取操作：响应于该像素点的灰度值大于预设提取阈值，将该像素点作为强染色信号采样点加入强染色信号采样点集合。
在一些可选的实施方式中，上述对强染色信号采样点进行聚类，确定组织切片图像对应的兴趣区域图像集合，包括：基于预设距离聚类算法对强染色信号采样点集合中的强染色信号采样点进行聚类操作，得到采样点聚类簇集合，其中，采样点聚类簇集合包括预设兴趣区域数目个聚类中心；基于采样点聚类簇集合，将组织切片图像裁切，得到组织切片图像对应的兴趣区域图像集合。
在一些可选的实施方式中，在上述基于免疫组化染色信号，提取组织切片图像中的强染色信号采样点之前，还包括：获取免疫组化图像，其中，免疫组化图像是对包括多个组织切片阵元的组织切片阵列进行图像采集得到的；确定所述组织切片的中心坐标；基于组织切片阵元的中心坐标，裁切免疫组化图像，得到组织切片图像的集合。
在一些可选的实施方式中，上述方法还包括：对免疫组化图像进行预处理：对免疫组化图像进行二值化处理，得到二值化后的免疫组化图像；对二值化后的免疫组化图像执行至少一次形态学运算，得到免疫组化图像中组织切片阵元的组织切片阵元区域掩膜；对组织切片阵元的区域掩膜，基于预设边缘检测算法，获取每个组织切片阵元的轮廓；基于组织切片阵元的尺寸和数目，预估组织切片阵元对应的组织切片半径，得到预估半径参数；基于预估半径参数，通过预设圆形检测算法，确定组织切片阵元的中心坐标集合和半径集合；响应于存在未检测出的组织切片阵元的中心坐标，对中心坐标集合进行补全处理，得到组织切片阵元的中心坐标。
在一些可选的实施方式中，上述响应于存在未检测出的组织切片阵元的中心坐标，对中心坐标集合进行补全处理，得到组织切片阵元的中心坐标，包括：对组织切片阵元的中心坐标执行位置排序操作：响应于两个相邻组织切片阵元的中心坐标的第一坐标分量差值绝对值小于或等于第一预设半径，将该两个组织切片阵元的中心坐标作为同一分组，得到组织切片阵元的中心坐标列集合；对于中心坐标分组集合中的每一分组，执行以下补全操作：响应于该分组中相邻的两个中心坐标之间的距离或相邻的两个中心坐标的第二坐标分量之间的距离大于第二预设半径，对该两个中心坐标进行线性插值，将线性插值结果作为所述组织切片阵元的中心坐标加入中心坐标集合；其中，第一坐标分量和第二坐标分量中一者为横坐标，另一者为纵坐标。
在一些可选的实施方式中，上述基于组织切片阵元的中心坐标，裁切免疫组化图像，得到组织切片图像的集合，包括：基于组织切片阵元对应的中心坐标，按照第三预设半径裁切免疫组化图像，得到组织切片图像的集合。
在一些可选的实施方式中，上述方法包括：基于组织切片阵元对应的中心坐标和预设分组信息，为组织切片图像集合中的组织切片图像指定标签；确定组织切片图像的病理分析结果包括：确定标签对应的病理分析结果。
第二方面，本发明的实施例提供了一种免疫组化切片图像分析装置，包括：提取模块，被配置成基于免疫组化染色信号，提取组织切片图像中的强染色信号采样点，得到强染色信号采样点集合；兴趣区域确定模块，被配置成对强染色信号采样点进行聚类，确定组织切片图像对应的兴趣区域图像集合，兴趣区域图像集合中包括至少一个兴趣区域图像；病理分析模块，被配置成基于兴趣区域图像集合，确定组织切片图像的病理分析结果。
在一些可选的实施方式中，上述提取模块被进一步配置成：对组织切片图像进行免疫组化染色信号的通道分离操作，得到组织切片图像对应的染色信号通道图；对染色信号通道图进行二值化操作，得到肿瘤染色信号的掩膜；对肿瘤染色信号的掩膜进行至少一次形态学运算，得到肿瘤区域的掩膜；对组织切片图像进行灰度化操作，得到灰度组织切片图像；从灰度组织切片图像中提取肿瘤区域的掩膜对应的灰度肿瘤区域的掩膜图像；对灰度肿瘤区域的掩膜图像中的每个像素点执行以下采样点提取操作：响应于该像素点的灰度值大于预设提取阈值，将该像素点作为强染色信号采样点加入强染色信号采样点集合。
在一些可选的实施方式中，在上述基于免疫组化染色信号，提取组织切片图像中的强染色信号采样点之前，还包括：获取免疫组化图像，其中，免疫组化图像是对包括多个组织切片阵元的组织切片阵列进行图像采集得到的；确定组织切片阵元的中心坐标；基于组织切片阵元的中心坐标，裁切免疫组化图像，得到组织切片图像集合。
在一些可选的实施方式中，上述方法还包括：对免疫组化图像进行预处理：对免疫组化图像进行二值化处理，得到二值化后的免疫组化图像；对二值化后的免疫组化图像执行至少一次形态学运算，得到免疫组化图像中组织切片阵元的组织切片阵元区域掩膜；对组织切片阵元区域掩膜进行边缘检测得到每个组织切片阵元的轮廓；基于组织切片阵元的尺寸和数目，预估组织切片阵元对应的组织切片半径，得到预估半径参数；基于预估半径参数，通过预设圆形检测算法，确定组织切片阵元的中心坐标集合和半径集合；响应于存在未检测出的组织切片阵元的中心坐标，对中心坐标集合进行补全处理，得到组织切片阵元的中心坐标。
在一些可选的实施方式中，上述响应于存在未检测出的组织切片阵元的中心坐标，对中心坐标集合进行补全处理，得到组织切片阵元的中心坐标，包括：对中心坐标集合的中心坐标执行位置排序操作：响应于两个相邻组织切片阵元的中心坐标的第一坐标分量差值绝对值小于或等于第一预设半径，将该两个组织切片阵元的中心坐标作为同一分组，得到组织切片阵元的中心坐标分组集合；对于中心坐标分组集合中的每一分组，执行以下补全处理操作：响应于该分组中相邻的两个中心坐标之间的距离或相邻的两个中心坐标的第二坐标分量之间的距离大于第二预设半径，对两个中心坐标进行线性插值，将线性插值的结果作为所述组织切片阵元的中心坐标加入中心坐标集合；其中，第一坐标分量和第二坐标分量中一者为横坐标，另一者为纵坐标。
在一些可选的实施方式中，上述方法包括：基于组织切片阵元对应的中心坐标，按照第三预设半径裁切免疫组化图像，得到组织切片图像的集合。
在一些可选的实施方式中，上述方法包括：基于组织切片阵元对应的中心坐标和预设分组信息，为组织切片图像集合中的组织切片图像指定标签；确定组织切片图像的病理分析结果包括：确定标签对应的病理分析结果。
在一些可选的实施方式中，上述兴趣区域确定模块被进一步配置成：基于预设距离聚类算法对强染色信号采样点集合中的强染色信号采样点进行聚类操作，得到采样点聚类簇集合，其中，采样点聚类簇集合包括预设兴趣区域数目个聚类中心；基于采样点聚类簇集合，将组织切片图像进一步裁切，得到组织切片图像对应的兴趣区域图像集合。在一些可选的实施方式中，上述病理分析模块被进一步配置成：对于兴趣区域图像集合中的每个兴趣区域图像，执行以下第一肿瘤强度值提取操作：从该兴趣区域图像分割出强肿瘤信号区域图像；对强肿瘤信号区域图像中的像素点进行聚类操作，得到至少一个肿瘤细胞聚类簇，各肿瘤细胞聚类簇由强肿瘤信号区域图像中的不同像素点组成；根据肿瘤细胞聚类簇的聚类边缘，确定细胞膜区域像素点集合；基于细胞膜区域像素点集合，计算得到该兴趣区域图像对应的第一肿瘤强度值；基于该兴趣区域图像对应的第一肿瘤强度值，确定组织切片图像的病理分析结果。
在一些可选的实施方式中，上述方法还包括：将兴趣区域图像集合中的每个兴趣区域图像输入预先训练的肿瘤强度确定模型，得到该兴趣区域图像对应的第二肿瘤强度值，其中，肿瘤强度确定模型是通过如下预设训练步骤预先训练得到的：获取训练样本集合，训练样本包括样本图像和相应的用于表征样本图像中组织肿瘤强度的标注肿瘤强度值；基于训练样本集合，对初始肿瘤强度确定模型进行监督训练，得到用于表征图像与肿瘤强度值之间对应关系的肿瘤强度确定模型；基于兴趣区域图像对应的第二肿瘤强度值，确定组织切片图像的病理分析结果。
在一些可选的实施方式中，上述确定组织切片图像的病理分析结果，包括：基于该兴趣区域图像对应的第一肿瘤强度值和第二肿瘤强度值，计算得到该兴趣区域图像对应的融合肿瘤强度值；将组织切片图像对应的兴趣区域图像集合中的各兴趣区域图像对应的融合肿瘤强度值添加入组织切片图像对应的融合肿瘤强度值集合；基于组织切片图像对应的融合肿瘤强度值集合，计算得到组织切片图像的病理分析结果。
第三方面，本发明的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本发明的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，上述计算机程序被一个或多个处理器执行时实现如第一方面中任一实现方式描述的方法。
为了减少现有技术在分析免疫组化切片图像过程中对人工的依赖，提高分析效果，本发明的实施例提供的免疫组化切片图像分析方法、装置、电子设备和存储介质，通过提取组织切片图像中的强染色信号采样点，并对强染色信号采样点进行聚类得到聚类中心，再以聚类中心为中心裁切获得与肿瘤风险相关的兴趣区域，可以自动生成包含较多肿瘤区域、肿瘤强度较大的、以所需采样密度采样的兴趣区域图像，基本克服了对人工操作的依赖，代替了研究人员在组织切片中逐个区域观察和判断确定兴趣区域的过程，避免了多种偏差和噪音的产生，降低了免疫组化切片图像分析成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显。附图仅用于示出具体实施方式的目的，而并不认为是对本发明的限制。在附图中：
图1是本发明的一个实施例可以应用于其中的实施环境示意图。
图2A是根据本发明的免疫组化切片图像分析方法的一个实施例的流程图。
图2B是根据本发明的步骤201的一个实施例的分解流程图。
图2C是根据本发明的步骤202的一个实施例的分解流程图。
图2D是根据本发明的步骤203的一个实施例的分解流程图。
图2E是根据本发明的步骤201’的一个实施例的分解流程图。
图3是根据本发明的免疫组化切片图像分析装置的一个实施例的结构示意图。
图4是适于用来实现本发明的实施例的电子设备的计算机系统的结构示意图。
图5示出了染色后的组织切片图像中的肿瘤区域，其中该组织可以包括肿瘤细胞和非肿瘤细胞，肿瘤细胞的细胞膜会被染为棕色，具有强的免疫组化染色信号，并且细胞核的形态较为膨胀。
图6示出了本发明的步骤202的一个实施例的分步结果图。
图7示出了本发明的步骤2022中裁切后的得到的兴趣区域图像，其中，细胞膜区域的棕色信号较强。
图8示出了本发明的步骤203的一个实施例的分步结果图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1示出了可以应用本发明的免疫组化切片图像分析方法、装置、电子设备和存储介质的实施环境示意图。
如图1所示，该实施环境包括电子设备100，本发明实施例中的免疫组化切片图像分析方法可以由终端设备101、102、103、104执行。示例性的，电子设备100可以包括终端设备或者服务器中的至少一项。
终端设备101、102、103、104可以是硬件，也可以是软件。当终端设备101、102、103、104为硬件时，可以是具有显示屏并且支持信息输入(比如，文本输入和/或语音输入等)的各种电子设备，包括但不限于包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103、104为软件时，可以安装在上述所列举的终端设备中。其可以实现成多个软件或软件模块(例如用来提供免疫组化切片图像分析服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
应当理解，图1中的终端设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备。
继续参考图2A，其示出了根据本发明的免疫组化切片图像分析方法的一个实施例的流程200，该免疫组化切片图像分析方法包括以下步骤：
步骤201，基于免疫组化染色信号，提取组织切片图像中的强染色信号采样点，得到强染色信号采样点集合。
组织切片图像中的组织可以包括肿瘤细胞和非肿瘤细胞，肿瘤细胞的细胞膜会被染色，具有强的免疫组化染色信号(如图5所示)。
示例性的，免疫组化染色信号是从图像中确定的，可以是染色通道所对应的图像中各像素的像素值。染色通道所对应的图像可以是根据组织切片图像确定的，例如将RGB图像中的R通道和G通道融合，得到染色通道所对应的图像。
在本实施例中，免疫组化切片图像分析方法的执行主体可以首先获取免疫组化染色信号，随后为了得到强染色信号采样点集合，需要对待分析的组织切片图像中的强染色信号采样点进行提取。
在一些可选的实施方式中，步骤201可以如下进行：将组织切片图像转换为灰度图像，使用预设阈值进行筛选，提取大于预设阈值的像素点，作为组织切片图像中的强染色信号采样点。按照该可选实施方式，可以根据预设阈值精确、均匀地提取出待分析的组织切片图像中染色信号更强的采样点，以备在后续步骤中进行兴趣区域的划分，可以代替大量的重复性人工操作，并降低实验噪声。
在一些可选的实施方式中，步骤201可以包括如图2B所示的以下步骤2011到步骤2016：
步骤2011，对组织切片图像进行免疫组化染色信号的通道分离操作，得到组织切片图像对应的染色信号通道图。
步骤2012，对染色信号通道图进行二值化操作，得到肿瘤染色信号的掩膜。
步骤2013，对肿瘤染色信号的掩膜进行至少一次形态学运算，得到肿瘤区域的掩膜。
步骤2014，对组织切片图像进行灰度化操作，得到灰度组织切片图像。
步骤2015，从灰度组织切片图像中提取肿瘤区域的掩膜对应的灰度肿瘤区域的掩膜图像。
步骤2016，对灰度肿瘤区域的掩膜图像中的每个像素点执行采样点提取操作。
这里，采样点提取操作具体可以包括：响应于该像素点的灰度值大于预设提取阈值，将该像素点作为强染色信号采样点强染色信号采样点集合。
按照该可选实施方式，仅在肿瘤区域的掩膜区域内提取采样点，能够精确并较为准确地采样出组织切片图像中的强染色信号采样点，避免掩膜区域外像素值较大的像素点被误认为强采样信号采样点。
步骤202，对强染色信号采样点进行聚类，确定组织切片图像对应的兴趣区域图像集合，兴趣区域图像集合中包括至少一个兴趣区域图像。
通常，会从组织切片图像中选取多个兴趣区域来分析肿瘤细胞的强度。希望选取的每个兴趣区域中都较多的包含肿瘤区域，且多个兴趣区域中包括肿瘤强度较大的区域。
对强染色信号采样点是肿瘤强度较大的点，因此可根据强染色信号采样点的分布确定兴趣区域。
在本实施例中，根据对强染色信号采样点进行聚类后的聚类结果确定兴趣区域图像。本申请实施例不对执行该聚类处理的算法做具体限定，示例性的，执行该聚类处理的算法包括但不限于K邻近(K-Nearest Neighbor,KNN)算法、K均值聚类算法(K-meansClustering Algorithm)、K-means++算法、bi-kmeans算法、DBSCAN算法、OPTICS算法、Agglomerative算法等算法。其中，聚类算法可以是距离聚类算法，即将距离相近的强染色信号采样点作为同一聚类簇。
在一些可选的实施方式中，步骤202可以包括如图2C所示的以下步骤2021到步骤2022：
步骤2021，基于预设距离聚类算法对强染色信号采样点集合中的强染色信号采样点进行聚类操作，得到采样点聚类簇集合，其中，采样点聚类簇集合包括预设兴趣区域数目个聚类中心。
可理解的是，希望采样较多的兴趣区域时，可以将预设兴趣区域数目设置的更大；肿瘤区域越大时，通常希望将预设兴趣区域数目设置的越大，以保持获得精确结果所需要的采样密度。
步骤2022，基于采样点聚类簇集合，将组织切片图像裁切，得到组织切片图像对应的兴趣区域图像集合。
在一些可选的实施方式中，步骤2021到步骤2022可以如下进行：预设兴趣区域数目(例如，30个)，以该兴趣区域数目为K均值聚类中的K值，对强染色信号采样点集合中的强染色信号采样点(如图6A所示)进行K均值聚类操作，得到预设兴趣区域数目个(例如，30个)采样点聚类中心(如图6B所示)，即对应采样相同数目个(例如，30个)兴趣区域图像(如图6C所示)，然后以聚类中心作为兴趣区域图像的中心，对组织切片图像进行裁切，得到组织切片图像对应的兴趣区域图像集合，裁切后的兴趣区域图像如图7所示。
按照该可选实施方式，通过对组织切片图像中染色信号较强的强染色信号采样点进行聚类得到聚类中心(聚类中心数可根据所需的兴趣区域数确定)，再以聚类中心为中心裁切得到兴趣图像，可以自动生成包含较多肿瘤区域、肿瘤强度较大的、以所需采样密度采样的兴趣区域图像，代替了研究人员在组织切片中逐个区域观察和判断确定兴趣区域的过程，避免了免疫组化图像分析中对人工经验的严重依赖。
步骤203，基于兴趣区域图像集合，确定组织切片图像的病理分析结果。
在本实施例中，免疫组化切片图像分析方法的执行主体已在步骤202中获取了待分析组织切片图像对应的兴趣区域图像集合，通常而言，兴趣区域图像可以体现出用于表征组织切片图像的病理情况的肿瘤信号强度或其他与病理情况相关的指标(例如，染色信号所在位置、细胞器形态等)。因此，免疫组化切片图像分析方法的执行主体可以基于兴趣区域图像集合，结合兴趣区域图像所体现的指标，确定组织切片图像的病理分析结果。按照该可选实施方式，不要求复杂的人工设置参数和阈值，可以自动化、智能化地对样本肿瘤强度等病理情况进行判断和分析。
在本实施例中，示例性地给出步骤203的三种可选实施方式A、B、C如下：
在一种可选的实施方式A中，步骤203可以包括如图2D所示的以下步骤2031A到步骤2032B：
步骤2031A，对于兴趣区域图像集合中的每个兴趣区域图像，执行第一肿瘤强度值提取操作。
这里，第一肿瘤强度值提取操作具体可以包括：从该兴趣区域图像分割出强肿瘤信号区域图像；对强肿瘤信号区域图像中的像素点进行聚类操作，得到至少一个肿瘤细胞聚类簇，各肿瘤细胞聚类簇由强肿瘤信号区域图像中的不同像素点组成；根据各肿瘤细胞聚类簇的聚类边缘，确定细胞膜区域像素点集合；基于细胞膜区域像素点集合，计算得到该兴趣区域图像对应的第一肿瘤强度值。
示例性的，从该兴趣区域图像分割出强肿瘤信号区域图像，包括：将如图7中“兴趣区域2”的兴趣区域图像进行灰度化处理，得到该兴趣区域图像对应的灰度兴趣区域图像(如图8A所示)，然后对灰度兴趣区域图像进行形态学运算，去除较小目标和孔洞，同样去除粘连区域，得到灰度兴趣区域图像对应的强肿瘤信号区域掩膜；根据强肿瘤信号区域掩膜，确定强肿瘤信号区域图像(如图8B所示)。
示例性的，对强肿瘤信号区域图像中的像素点进行聚类操作，得到至少一个肿瘤细胞聚类簇，包括：根据强肿瘤信号区域图像中的像素点的位置和像素值，以预估细胞数量作为聚类类别，对强肿瘤信号区域图像中的像素点进行聚类操作，得到预估细胞数量个肿瘤细胞聚类簇。其中，预估细胞数量可以根据强肿瘤信号区域除以平均细胞面积确定。其中，细胞面积可以根据细胞图像区域的像素点个数确定。其中，本发明实施例不对像素点聚类的聚类算法进行限定，示例性的，执行该聚类操作的为K均值聚类方法。
示例性的，根据所述肿瘤细胞聚类簇的聚类边缘，确定细胞膜区域像素点集合，包括：对聚类边缘进行膨胀，将膨胀后的聚类边缘对应的像素点作为细胞膜区域像素点集合中像素点(如图8C所示)。
示例性的，基于所述细胞膜区域像素点集合，计算得到该兴趣区域图像对应的第一肿瘤强度值，包括：将细胞膜区域像素点集合中像素点的平均像素值作为第一肿瘤强度值。具体的，可提取细胞膜区域像素点中肿瘤染色信号通道，将染色信号转换为0至1的范围，进行求和，再除以细胞膜面积(即细胞膜区域像素点个数)，作为第一肿瘤强度值。
步骤2032A，基于兴趣区域图像对应的第一肿瘤强度值，确定所述组织切片图像的病理分析结果。
例如，将各兴趣区域图像对应的第一肿瘤强度值的均值作为组织切片图像的病理分析结果；将各兴趣区域图像对应的第一肿瘤强度值中最大的前N个的均值作为组织切片图像的病理分析结果；将各兴趣区域图像对应的第一肿瘤强度值中出现频率最高的第一肿瘤强度值作为组织切片图像的病理分析结果。
细胞膜的染色信号是判定肿瘤的重要依据，其优先级高于细胞核和细胞质。然而肿瘤组织切片中常将细胞膜、细胞质一同染色，导致在非肿瘤区域中细胞质中也会出现均匀的染色，从而被误判为肿瘤区域，导致假阳性增加，需要人工剔除。
按照该可选实施方式，能够自动从兴趣区域中准确提取出细胞膜区域，根据细胞膜的染色情况判断兴趣区域对应的肿瘤强度，不需要通过人工设置复杂的参数和阈值即可精确地分析细胞膜的染色信号，不受细胞质染色的干扰，能够自动化、智能化地对样本肿瘤强度等病理情况进行判断和分析。
在一种可选的实施方式B中，步骤203可以包括以下步骤2031B和2032B：
步骤2031B，将兴趣区域图像集合中的每个兴趣区域图像输入预先训练的肿瘤强度确定模型，得到该兴趣区域图像对应的第二肿瘤强度值，其中，肿瘤强度确定模型是通过预设训练步骤预先训练得到的。
这里，预设训练步骤具体可以包括：获取训练样本集合，训练样本包括样本图像和相应的用于表征样本图像中组织肿瘤强度的标注肿瘤强度值；基于训练样本集合，对初始肿瘤强度确定模型进行监督训练，得到用于表征图像与肿瘤强度值之间对应关系的肿瘤强度确定模型。
对比于正常细胞的细胞核，肿瘤细胞的细胞核形态膨大，和周围正常组织的细胞核有一定的区分度，因此细胞核形态也是肿瘤强度判断的重要指标。示例性的，标注肿瘤强度值是综合考虑细胞膜染色强度和细胞核形态确定的。
示例性的，可以将不同组织切片中的多个感兴趣的肿瘤区域标注为若干等级(例如6个等级)，0等级来源于正常组织的切片，1～5等级来源于感兴趣的肿瘤区域，其中，等级越高，表示肿瘤强度越高。相应的，第二肿瘤强度值也包括若干等级中的一个。
示例性的，样本图像包括原始样本图像和由原始样本图像进行增强得到的增强后的样本图像。
示例性的，肿瘤强度确定模型为基于滑动窗口和层级架构的序列化网络架构的分类模型，该模型对应的算法包括：首先，将兴趣区域图像输入到切片模块，进行分块操作；然后，将分块操作结果输入线性变换模块进行通道融合以降低通道；接着，将通道融合结果依次输入多个阶段模块(例如4个阶段模块)进行特征提取和下采样，每个阶段模块输出的特征图尺寸都会缩小、通道数都会提升。在每个阶段模块中，使用窗口自注意力模块和滑动窗口自注意力模块提取图像特征。将最后一个阶段模块输出的特征输入线性变换模块，得到第二肿瘤强度值。本系统的深度神经网络，对比于其他深度神经网络架构，通过窗口自注意力模块，有助于分析较小区域的肿瘤强度，通过滑动窗口的自注意力模块，有助于分析较大区域的肿瘤强度，实现不同尺度的判断，同时，多个阶段模块的连接结构，有助于逐级逐层的抽象出高级语义信息。
步骤2032B，基于兴趣区域图像对应的第二肿瘤强度值，确定组织切片图像的病理分析结果。
类比于步骤2032A，可将各兴趣区域图像对应的第二肿瘤强度值的均值作为组织切片图像的病理分析结果；将各兴趣区域图像对应的第二肿瘤强度值中最大的前N个的均值作为组织切片图像的病理分析结果；将各兴趣区域图像对应的第二肿瘤强度值中出现频率最高的第一肿瘤强度值作为组织切片图像的病理分析结果。
本实施方式中，用神经网络方法评价肿瘤强度，评价时不仅考虑了细胞膜的染色强度，而且考虑了细胞核的形态学因素，能够自动化、精确的确定兴趣区域的肿瘤强度。
在一种可选的实施方式C中，步骤203可以包括以下步骤2031C和2032C：
步骤2031C，对于兴趣区域图像集合中的每个兴趣区域图像，执行第一肿瘤强度值提取操作，并将兴趣区域图像集合中的每个兴趣区域图像输入预先训练的肿瘤强度确定模型，得到该兴趣区域图像对应的第二肿瘤强度值，其中，肿瘤强度确定模型是通过预设训练步骤预先训练得到的。
这里，类比于可选实施方式A和可选实施方式B中的步骤2031A和步骤2031B，步骤2031C中的第一肿瘤强度值提取操作具体可以包括：从该兴趣区域图像分割出强肿瘤信号区域图像；对强肿瘤信号区域图像中的像素点进行聚类操作，得到至少一个肿瘤细胞聚类簇，各肿瘤细胞聚类簇由强肿瘤信号区域图像中的不同像素点组成；根据各肿瘤细胞聚类簇的聚类边缘，确定细胞膜区域像素点集合；基于细胞膜区域像素点集合，计算得到该兴趣区域图像对应的第一肿瘤强度值。步骤2031C中的预设训练步骤具体可以包括：获取训练样本集合，训练样本包括样本图像和相应的用于表征样本图像中组织肿瘤强度的标注肿瘤强度值；基于训练样本集合，对初始肿瘤强度确定模型进行监督训练，得到用于表征图像与肿瘤强度值之间对应关系的肿瘤强度确定模型。
步骤2031C的其他示例性的实施方式可以类比可选实施方式A和可选实施方式B中的步骤2031A和步骤2031B的示例性的实施方式。
可理解的是，在执行主体执行步骤2031C时，执行第一肿瘤强度值提取操作和确定兴趣区域图像对应的第二肿瘤强度值没有具体执行顺序的限制。例如，执行主体可以先确定兴趣区域图像对应的第二肿瘤强度值，再执行第一肿瘤强度值提取操作，或者执行主体可以同时执行第一肿瘤强度值提取操作和确定兴趣区域图像对应的第二肿瘤强度值。
步骤2032C，基于该兴趣区域图像对应的第一肿瘤强度值和第二肿瘤强度值，确定组织切片图像的病理分析结果。
基于该可选的实施方式C，步骤2032C可以进一步包括以下步骤：
步骤a，基于该兴趣区域图像对应的第一肿瘤强度值和第二肿瘤强度值，计算得到该兴趣区域图像对应的融合肿瘤强度值。
步骤b，将组织切片图像对应的兴趣区域图像集合中的各兴趣区域图像对应的融合肿瘤强度值添加入组织切片图像对应的融合肿瘤强度值集合。
步骤c，基于组织切片图像对应的融合肿瘤强度值集合，计算得到组织切片图像的病理分析结果。
在一些可选的实施方式中，上述步骤a可以如下进行：对于每个兴趣区域图像对应的第一肿瘤强度值和第二肿瘤强度值，以加权融合的方式计算得到该兴趣区域图像对应的融合肿瘤强度值，示例性的，计算公式如下：
P＝αP1+(1-α)P2
其中，P代表融合肿瘤强度值，P1为第一肿瘤强度值，P2为第二肿瘤强度值，α为第一肿瘤强度值的加权系数，α为0到1之间，示例性的，α可以为0.2。
在一些可选的实施方式中，步骤c可以如下进行：在同一个组织切片图像中，可以将融合肿瘤强度值最高的几个兴趣区域图像的融合肿瘤强度值均值，作为该组织切片图像对应的肿瘤强度值用于表征该组织切片图像的病理分析结果。
按照该可选实施方式，融合计算方法和神经网络方法评价肿瘤强度，不仅考虑了细胞膜染色强度，而且考虑了细胞核的形态变化，使肿瘤强度评价结果更为准确可靠；同时可以将免疫组化图像中的全部组织切片图像都生成一个和组织切片图像对应的肿瘤强度值，可以直观显示和对比不同组织切片的肿瘤强度，节省大量的人工操作和实验成本，支持大规模的生物实验验证，提升药物验证通量。
在一些可选的实施方式中，免疫组化切片图像分析方法的执行主体还可以在执行步骤201之前执行如图2A所示的以下步骤201’1到步骤201’3：
步骤201’1，获取免疫组化图像，其中，免疫组化图像是对包括多个组织切片阵元的组织切片阵列进行图像采集得到的。
步骤201’2，确定各组织切片阵元的中心坐标。
步骤201’3，基于各组织切片阵元的中心坐标，裁切免疫组化图像，得到组织切片图像的集合。
按照该可选实施方式，可以对由多个组织切片图像组成的阵列形式的免疫组化图像中的缺失阵元进行补全，从而便于后续对整体免疫组化图像基于阵元中心坐标的裁切以及获取组织切片图像集合，节约了人工调整参数的步骤，也避免了因为图像缺失导致的待检样本无法进行检测。
在一些可选的实施方式中，步骤201’2还可以包括如图2E所示的以下步骤201’21到步骤201’25：
步骤201’21，对免疫组化图像执行预处理操作。
这里，预处理具体可以包括：对免疫组化图像进行二值化处理，得到二值化后的免疫组化图像；对二值化后的免疫组化图像执行至少一次形态学运算，得到免疫组化图像中组织切片阵元的区域掩膜。
步骤201’22，对组织切片阵元的区域掩膜，基于预设边缘检测算法，获取每个组织切片阵元的轮廓。
步骤201’23，基于组织切片阵元的尺寸和数目，预估组织切片阵元对应的组织切片半径，得到预估半径参数。
步骤201’24，基于预估半径参数，通过预设圆形检测算法，确定组织切片阵元的中心坐标集合和半径集合。
步骤201’25，响应于存在未检测出的组织切片阵元的中心坐标，对中心坐标集合进行补全处理，得到组织切片阵元的中心坐标。
响应于不存在未检测出的组织切片阵元的中心坐标，转到步骤201’3执行。
本申请实施例不对执行边缘检测的算法做具体限定，示例性的，执行该边缘检测的算法包括但不限于Roberts算法、Prewitt算法、Sobel算法、Canny算法、Laplacian算法等。同样，本申请实施例也不对执行圆形检测的算法做具体限定，示例性的，执行该圆形检测的算法包括但不限于Hough算法、Circular Hough Transform算法(CHT)、RandomizedHough Transform算法(RHT)、Randomized Circle detection算法(RCD)等。
在一些可选的实施方式中，步骤步骤201’1’1到步骤201’1’4可以如下进行：将组织切片阵元的区域掩膜，通过Canny算法，输出各个组织切片阵元的轮廓；基于组织切片阵元的尺寸和数目，预估组织切片阵元对应的组织切片半径，得到预估半径参数，并基于预估半径参数，通过预设圆形检测算法，确定组织切片阵元的中心坐标集合和半径集合。按照该可选实施方式，可以通过参数估计及参数迭代，自动化地生成各个阵元的中心坐标和半径，从而方便了后续对于各个组织切片阵元的定位和切分。
在一些可选的实施方式中，步骤201’25可以包括以下步骤：
第一步骤，对中心坐标集合的中心坐标执行位置排序操作。
这里，位置排序操作具体可以包括：响应于两个相邻组织切片阵元的中心坐标的第一坐标分量差值绝对值小于或等于第一预设半径，将该两个组织切片阵元的中心坐标作为同一分组，得到组织切片阵元的中心坐标分组集合。
第二步骤，对于中心坐标分组集合中的每一分组，执行补全处理操作。
这里，补全处理具体可以包括：响应于该分组中相邻的两个中心坐标之间的距离或相邻的两个中心坐标的第二坐标分量之间的距离大于第二预设半径，对所述两个中心坐标进行线性插值，将线性插值的结果作为所述组织切片阵元的中心坐标加入中心坐标集合；其中，第一坐标分量和第二坐标分量中一者为横坐标，另一者为纵坐标。
在一些可选的实施方式中，上述第一步骤到第二步骤可以如下进行：将组织切片阵元的中心坐标从左到右排序，当相邻的阵元中心坐标的横坐标差值小于或等于第一预设半径(例如，1.5倍平均半径)时，将该相邻的两个组织切片阵元作为同一列；在每一列中，计算相邻的两个组织切片阵元的中心坐标的纵坐标距离，当相邻的两个中心坐标的纵坐标距离大于第二预设半径(例如，3倍平均半径)时，则视为该相邻的两个组织切片阵元中间存在缺失，对相邻的两个中心坐标进行线性插值，得到补全的中心坐标。按照该可选实施方式，根据阵列中组织切片阵元之间的距离，自动化地判断是否存在缺失并定位、填充缺失位置，不再依赖人工判断，也避免了因为图像缺失导致的待检样本无法进行检测。
在一些可选的实施方式中，步骤201’3还可以如下执行：
基于组织切片阵元对应的中心坐标，按照第三预设半径裁切免疫组化图像，得到组织切片图像的集合。
在一些可选的实施方式中，上述执行主体还可以在执行完步骤201’3后，执行步骤203之前，执行以下步骤201’4：
步骤201’4，基于组织切片阵元对应的中心坐标和预设分组信息，为组织切片图像集合中的组织切片图像指定标签。
示例性的，上述预设分组信息可以包括组织切片的类型分组，例如，正常组织分组、肿瘤组织分组，或组织切片的来源分组，例如癌旁组织分组等。
需要说明的是，上述执行主体可以在执行完步骤201’3后，执行步骤203之前执行步骤201’4，本公开对于步骤201’4的具体执行时机不做具体限定。例如，可以在步骤201’3之后步骤201之前执行，也可以在步骤201之后步骤202之前执行。
基于该可选实施方式，由于步骤201’4已经对步骤203中涉及的组织切片图像指定标签，相应地，步骤203还可以如下执行：确定标签对应的病理分析结果。
相应的，确定组织切片图像的病理分析结果包括：确定标签对应的病理分析结果。例如，标签可包括药物种类、药物浓度、药物作用时间、药物作用靶点中至少一者，如此可得到标签-病理分析结果的对应关系，便与对药物效果进行后续分析统计。
在一些可选的实施方式中，步骤201’3到步骤201’4可以如下进行：获得了组织切片阵元对应的中心坐标后，以第三预设半径(例如，1.1倍平均半径)裁切补全缺失的组织切片阵元后的免疫组化图像；裁切后基于组织切片阵元对应的中心坐标和预设分组信息，为组织切片图像集合中的组织切片图像指定标签。按照该可选实施方式，可以通过参数估计以及参数迭代，自动化地从组织阵列图像中切分出组织切片阵元图像，对应生物学场景中的单个样本，并对单个样本对应的组织切片阵元图像打上分组标签，不需要人工干预，方便实验人员的后续分析。
进一步参考图3，作为对上述各图所示方法的实现，本发明提供了一种免疫组化切片图像分析装置的一个实施例，该装置实施例与图2A所示的方法实施例对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例的免疫组化切片图像分析装置300包括：提取模块301、兴趣区域确定模块302和病理分析模块303。其中，提取模块301被配置成基于免疫组化染色信号，提取组织切片图像中的强染色信号采样点，得到强染色信号采样点集合；兴趣区域确定模块302被配置成对强染色信号采样点进行聚类，确定组织切片图像对应的兴趣区域图像集合，兴趣区域图像集合中包括至少一个兴趣区域图像；病理分析模块303被配置成基于兴趣区域图像集合，确定组织切片图像的病理分析结果。
在本实施例中，免疫组化切片图像分析装置300的提取模块301、兴趣区域确定模块302和病理分析模块303的具体处理及其所带来的技术效果可分别参考图2A对应实施例中步骤201、步骤202和步骤203的相关说明，在此不再赘述。
在一些可选的实施方式中，上述提取模块301被进一步配置成：对组织切片图像进行免疫组化染色信号的通道分离操作，得到组织切片图像对应的染色信号通道图；对染色信号通道图进行二值化操作，得到肿瘤染色信号的掩膜；对肿瘤染色信号的掩膜进行至少一次形态学运算，得到肿瘤区域的掩膜；对组织切片图像进行灰度化操作，得到灰度组织切片图像；从灰度组织切片图像中提取肿瘤区域的掩膜对应的灰度肿瘤区域的掩膜图像；对灰度肿瘤区域的掩膜图像中的每个像素点执行以下采样点提取操作：响应于该像素点的灰度值大于预设提取阈值，将该像素点作为强染色信号采样点加入强染色信号采样点集合。
在一些可选的实施方式中，在上述基于免疫组化染色信号，提取组织切片图像中的强染色信号采样点之前，还包括：获取免疫组化图像，其中，免疫组化图像是对包括多个组织切片阵元的组织切片阵列进行图像采集得到的；确定各组织切片阵元的中心坐标；基于各组织切片图像阵元的中心坐标，裁切免疫组化图像，得到组织切片图像集合。
在一些可选的实施方式中，上述方法还包括：对免疫组化图像执行以下预处理操作：对免疫组化图像进行二值化处理，得到二值化后的免疫组化图像；对二值化后的免疫组化图像执行至少一次形态学运算，得到免疫组化图像中组织切片阵元的区域掩膜；对组织切片阵元的区域掩膜，基于预设边缘检测算法，获取每个组织切片阵元的轮廓；基于组织切片阵元的尺寸和数目，预估组织切片阵元对应的组织切片半径，得到预估半径参数；基于预估半径参数，通过预设圆形检测算法，确定组织切片阵元的中心坐标集合和半径集合；响应于存在未检测出的组织切片阵元的中心坐标，对中心坐标集合进行补全处理，得到组织切片阵元的中心坐标。
在一些可选的实施方式中，上述响应于存在未检测出的组织切片阵元的中心坐标，对所述中心坐标集合进行补全处理，得到所述组织切片阵元的中心坐标，包括：对中心坐标集合的中心坐标执行位置排序操作：响应于两个相邻组织切片阵元的中心坐标的第一坐标分量差值绝对值小于或等于第一预设半径，将该两个组织切片阵元的中心坐标作为同一分组，得到组织切片阵元的中心坐标分组集合；对于中心坐标分组集合中的每一分组，执行以下补全处理操作：响应于该分组中相邻的两个中心坐标之间的距离大于第二预设半径，对两个中心坐标进行线性插值，将线性插值的结果作为所述组织切片阵元的中心坐标加入中心坐标集合，得到组织切片阵元的中心坐标；其中，第一坐标分量和第二坐标分量中一者为横坐标，另一者为纵坐标。
在一些可选的实施方式中，上述基于各组织切片阵元的中心坐标，裁切免疫组化图像，得到组织切片图像集合，包括：基于组织切片阵元对应的中心坐标，按照第三预设半径裁切补全缺失的组织切片阵元后的免疫组化图像，得到组织切片图像集合。
在一些可选的实施方式中，上述基于各组织切片阵元的中心坐标，裁切免疫组化图像，得到组织切片图像集合，还包括：基于组织切片阵元对应的中心坐标和预设分组信息，为组织切片图像集合中的组织切片图像指定标签。
在一些可选的实施方式中，上述兴趣区域确定模块302被进一步配置成：基于预设距离聚类算法对强染色信号采样点集合中的强染色信号采样点进行聚类操作，得到采样点聚类簇集合，其中，采样点聚类簇集合包括预设兴趣区域数目个聚类中心；基于采样点聚类簇集合，将组织切片图像裁切，得到组织切片图像对应的兴趣区域图像集合。
在一些可选的实施方式中，上述病理分析模块303被进一步配置成：对于兴趣区域图像集合中的每个兴趣区域图像，执行以下第一肿瘤强度值提取操作：从该兴趣区域图像分割出强肿瘤信号区域图像；基于所述强肿瘤信号区域图像中的像素点的位置和像素值，对强肿瘤信号区域图像中的像素点进行聚类操作，得到至少一个肿瘤细胞聚类簇，各肿瘤细胞聚类簇由强肿瘤信号区域图像中的不同像素点组成；根据肿瘤细胞聚类簇的聚类边缘，确定细胞膜区域像素点集合；基于细胞膜区域像素点集合，计算得到该兴趣区域图像对应的第一肿瘤强度值；基于兴趣区域图像对应的第一肿瘤强度值，确定组织切片图像的病理分析结果。
在一些可选的实施方式中，上述方法还包括：将兴趣区域图像集合中的每个兴趣区域图像输入预先训练的肿瘤强度确定模型，得到该兴趣区域图像对应的第二肿瘤强度值，其中，肿瘤强度确定模型是通过如下预设训练步骤预先训练得到的：获取训练样本集合，训练样本包括样本图像和相应的用于表征样本图像中组织肿瘤强度的标注肿瘤强度值；基于训练样本集合，对初始肿瘤强度确定模型进行监督训练，得到用于表征图像与肿瘤强度值之间对应关系的肿瘤强度确定模型；基于兴趣区域图像对应的第二肿瘤强度值，确定组织切片图像的病理分析结果。
在一些可选的实施方式中，上述确定组织切片图像的病理分析结果，包括：基于该兴趣区域图像对应的第一肿瘤强度值和第二肿瘤强度值，计算得到该兴趣区域图像对应的融合肿瘤强度值；将组织切片图像对应的兴趣区域图像集合中的各兴趣区域图像对应的融合肿瘤强度值添加入组织切片图像对应的融合肿瘤强度值集合；基于组织切片图像对应的融合肿瘤强度值集合，计算得到组织切片图像的病理分析结果。
如图4所示，其示出了适于用来实现本发明的电子设备的计算机系统400的结构示意图。图4示出的计算机系统400仅仅是一个示例，不应对本发明的实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统400可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有计算机系统400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风等的输入装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许计算机系统400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备的计算机系统400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM402被安装。在该计算机程序被处理装置401执行时，执行本发明的实施例的方法中限定的上述功能。
需要说明的是，本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备实现如图2A所示的实施例及其可选实施方式示出的免疫组化切片图像分析方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种免疫组化切片图像分析方法，所述方法包括：
基于免疫组化染色信号，提取组织切片图像中的强染色信号采样点，得到强染色信号采样点集合；
对所述强染色信号采样点进行聚类，确定所述组织切片图像对应的兴趣区域图像集合，所述兴趣区域图像集合中包括至少一个兴趣区域图像；
基于所述兴趣区域图像集合，确定所述组织切片图像的病理分析结果。
2.根据权利要求1所述的方法，所述基于所述兴趣区域图像集合，确定所述组织切片图像的病理分析结果，包括：
对于所述兴趣区域图像集合中的每个兴趣区域图像，执行以下第一肿瘤强度值提取操作：从该兴趣区域图像分割出强肿瘤信号区域图像；基于所述强肿瘤信号区域图像中的像素点的位置和像素值，对所述强肿瘤信号区域图像中的像素点进行聚类操作，得到至少一个肿瘤细胞聚类簇，各所述肿瘤细胞聚类簇由所述强肿瘤信号区域图像中的不同像素点组成；根据所述肿瘤细胞聚类簇的聚类边缘，确定细胞膜区域像素点集合；基于所述细胞膜区域像素点集合，计算得到该兴趣区域图像对应的第一肿瘤强度值；
基于各所述兴趣区域图像对应的第一肿瘤强度值，确定所述组织切片图像的病理分析结果。
3.根据权利要求1或2所述的方法，所述方法还包括：
将所述兴趣区域图像集合中的每个兴趣区域图像输入预先训练的肿瘤强度确定模型，得到该兴趣区域图像对应的第二肿瘤强度值，其中，所述肿瘤强度确定模型是通过如下预设训练步骤预先训练得到的：获取训练样本集合，所述训练样本包括样本图像和相应的用于表征样本图像中组织肿瘤强度的标注肿瘤强度值；基于所述训练样本集合，对初始肿瘤强度确定模型进行监督训练，得到用于表征图像与肿瘤强度值之间对应关系的肿瘤强度确定模型；以及
基于兴趣区域图像对应的第二肿瘤强度值，确定所述组织切片图像的病理分析结果。
4.根据权利要求3所述的方法，所述确定所述组织切片图像的病理分析结果，包括：
基于该兴趣区域图像对应的第一肿瘤强度值和/或第二肿瘤强度值，计算得到该兴趣区域图像对应的融合肿瘤强度值；
将所述组织切片图像对应的兴趣区域图像集合中的各兴趣区域图像对应的融合肿瘤强度值添加入所述组织切片图像对应的融合肿瘤强度值集合；
基于所述组织切片图像对应的融合肿瘤强度值集合，计算得到所述组织切片图像的病理分析结果。
5.根据权利要求1所述的方法，其中，所述基于免疫组化染色信号，提取组织切片图像中的强染色信号采样点，得到强染色信号采样点集合，包括：
对所述组织切片图像进行免疫组化染色信号的通道分离操作，得到所述组织切片图像对应的染色信号通道图；
对所述染色信号通道图进行二值化操作，得到肿瘤染色信号的掩膜；
对所述肿瘤染色信号的掩膜进行至少一次形态学运算，得到肿瘤区域的掩膜；
对所述组织切片图像进行灰度化操作，得到灰度组织切片图像；
从所述灰度组织切片图像中提取所述肿瘤区域的掩膜对应的灰度肿瘤区域的掩膜图像；
对所述灰度肿瘤区域的掩膜图像中的每个像素点执行以下采样点提取操作：响应于该像素点的灰度值大于预设提取阈值，将该像素点作为强染色信号采样点加入强染色信号采样点集合。
6.根据权利要求1所述的方法，其中，所述对所述强染色信号采样点进行聚类，确定所述组织切片图像对应的兴趣区域图像集合，包括：
基于预设距离聚类算法对所述强染色信号采样点集合中的强染色信号采样点进行聚类操作，得到采样点聚类簇集合，其中，所述采样点聚类簇集合包括预设兴趣区域数目个聚类中心；
基于所述采样点聚类簇集合，将所述组织切片图像裁切，得到所述组织切片图像对应的兴趣区域图像集合。
7.根据权利要求1所述的方法，其中，在所述基于免疫组化染色信号，提取组织切片图像中的强染色信号采样点之前，所述方法还包括：
获取免疫组化图像，其中，所述免疫组化图像是对包括多个组织切片阵元的组织切片阵列进行图像采集得到的；
确定各所述组织切片阵元的中心坐标；
基于各所述组织切片阵元的中心坐标，裁切所述免疫组化图像，得到所述组织切片图像的集合。
8.根据权利要求7所述的方法，其中，所述确定各所述组织切片阵元的中心坐标，包括：
对所述免疫组化图像执行以下预处理操作：对所述免疫组化图像进行二值化处理，得到二值化后的免疫组化图像；对所述二值化后的免疫组化图像执行至少一次形态学运算，得到免疫组化图像中组织切片阵元的组织切片阵元区域掩膜；
对所述组织切片阵元区域掩膜进行边缘检测，得到每个组织切片阵元轮廓集合；
基于所述组织切片阵元的尺寸和数目，预估所述组织切片阵元对应的组织切片半径，得到预估半径参数；
基于所述预估半径参数，通过预设圆形检测算法，确定所述组织切片阵元的中心坐标集合和半径集合；
响应于存在未检测出的组织切片阵元的中心坐标，对所述中心坐标集合进行补全处理，得到所述组织切片阵元的中心坐标。
9.根据权利要求8所述的方法，其中，所述响应于存在未检测出的组织切片阵元的中心坐标，对所述中心坐标集合进行补全处理，得到所述组织切片阵元的中心坐标，包括：
对所述中心坐标集合的中心坐标执行以下位置排序操作：响应于两个相邻组织切片阵元的中心坐标的第一坐标分量差值绝对值小于或等于第一预设半径，将该两个组织切片阵元的中心坐标作为同一分组，得到所述组织切片阵元的中心坐标分组集合；对于所述中心坐标分组集合中的每一分组，执行以下补全处理操作：响应于该分组中相邻的两个中心坐标之间的距离或相邻的两个中心坐标的第二坐标分量之间的距离大于第二预设半径，对两个中心坐标进行线性插值，将所述线性插值的结果作为所述组织切片阵元的中心坐标加入所述中心坐标集合；其中，所述第一坐标分量和所述第二坐标分量中一者为横坐标，另一者为纵坐标。
10.根据权利要求7所述的方法，其中，所述基于所述组织切片阵元的中心坐标，裁切所述免疫组化图像，得到所述组织切片图像的集合，包括：
基于所述组织切片阵元对应的中心坐标，按照第三预设半径裁切所述免疫组化图像，得到所述组织切片图像的集合。
11.根据权利要求7所述的方法，其中，所述方法还包括：
基于所述组织切片阵元对应的中心坐标和预设分组信息，为所述组织切片图像的集合中的组织切片图像指定标签；以及
所述确定所述组织切片图像的病理分析结果，包括：确定所述标签对应的病理分析结果。
12.一种免疫组化切片图像分析装置，包括：
提取模块，被配置成基于免疫组化染色信号，提取组织切片图像中的强染色信号采样点，得到强染色信号采样点集合；
兴趣区域确定模块，被配置成对所述强染色信号采样点进行聚类，确定所述组织切片图像对应的兴趣区域图像集合，所述兴趣区域图像集合中包括至少一个兴趣区域图像；
病理分析模块，被配置成基于所述兴趣区域图像集合，确定所述组织切片图像的病理分析结果。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-11中任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被一个或多个处理器执行时实现如权利要求1-11中任一项所述的方法。
CN202310233594.XA 2023-03-03 2023-03-03 免疫组化切片图像分析方法、装置、电子设备和存储介质 Pending CN116433601A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310233594.XA CN116433601A (zh) 2023-03-03 2023-03-03 免疫组化切片图像分析方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310233594.XA CN116433601A (zh) 2023-03-03 2023-03-03 免疫组化切片图像分析方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116433601A true CN116433601A (zh) 2023-07-14

Family

ID=87084515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310233594.XA Pending CN116433601A (zh) 2023-03-03 2023-03-03 免疫组化切片图像分析方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116433601A (zh)

Similar Documents

Publication Publication Date Title
US11756318B2 (en) Convolutional neural networks for locating objects of interest in images of biological samples
EP3486836B1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
JP7250793B2 (ja) 生体画像における連帯的細胞および領域分類のための深層学習システムならびに方法
EP3146463B1 (en) Systems and methods for detection of biological structures and/or patterns in images
EP3149700B1 (en) An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
US9014444B2 (en) Method and apparatus for automatic HER2 scoring of tissue samples
Korzynska et al. Validation of various adaptive threshold methods of segmentation applied to follicular lymphoma digital images stained with 3, 3’-Diaminobenzidine&Haematoxylin
Negahbani et al. PathoNet introduced as a deep neural network backend for evaluation of Ki-67 and tumor-infiltrating lymphocytes in breast cancer
US20230417700A1 (en) Automated analysis of analytical gels and blots
US20230186659A1 (en) Machine learning models for cell localization and classification learned using repel coding
WO2021146705A1 (en) Non-tumor segmentation to support tumor detection and analysis
US20200175325A1 (en) Systems and methods for encoding image features of high-resolution digital images of biological specimens
US20180357816A1 (en) Automated Method of Predicting Efficacy of Immunotherapy Approaches
CN111095358A (zh) 辅助组织样本分析的载玻片图像颜色反卷积系统及方法
Rauf et al. Attention-guided multi-scale deep object detection framework for lymphocyte analysis in IHC histological images
CN114764789B (zh) 病理细胞的量化方法、系统、装置及存储介质
CN115359264A (zh) 一种密集型分布的粘连细胞深度学习识别方法
CN114267414A (zh) 空间转录组数据的处理方法及装置、计算机可读存储介质
US9785848B2 (en) Automated staining and segmentation quality control
Çelebi et al. Red and white blood cell classification using Artificial Neural Networks
US20230162485A1 (en) Digital analysis of preanalytical factors in tissues used for histological staining
CN116385957A (zh) 一种x光图像违禁品检测方法、装置、设备及介质
CN116433601A (zh) 免疫组化切片图像分析方法、装置、电子设备和存储介质
CN113837255B (zh) 预测以细胞为基质的抗体核型类别的方法、设备和介质
Gil et al. Automatic analysis system for abnormal red blood cells in peripheral blood smears

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination