CN115526834A - 免疫荧光图像检测方法及装置、设备、存储介质 - Google Patents

免疫荧光图像检测方法及装置、设备、存储介质 Download PDF

Info

Publication number
CN115526834A
CN115526834A CN202211037378.XA CN202211037378A CN115526834A CN 115526834 A CN115526834 A CN 115526834A CN 202211037378 A CN202211037378 A CN 202211037378A CN 115526834 A CN115526834 A CN 115526834A
Authority
CN
China
Prior art keywords
image
layer
immunofluorescence image
immunofluorescence
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211037378.XA
Other languages
English (en)
Inventor
陈丽萌
夏鹏
文煜冰
张百川
任菲
杜保林
秦岩
郑可
赵雪松
王传鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yiyun Technology Co ltd
Chongqing Zhijian Life Technology Co ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Chongqing Zhijian Life Technology Co ltd
Beijing Zhijian Life Technology Co ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Zhijian Life Technology Co ltd, Beijing Zhijian Life Technology Co ltd, Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Chongqing Zhijian Life Technology Co ltd
Priority to CN202211037378.XA priority Critical patent/CN115526834A/zh
Publication of CN115526834A publication Critical patent/CN115526834A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学病理图像处理技术领域，公开了一种免疫荧光图像检测方法，通过多个空洞卷积层分别对待测免疫荧光图像进行特征提取获得多个空洞卷积特征图，然后进行特征融合获得多尺度特征图，并输入残差网络获得深层特征图，利用卷积层对深层特征图进行权值分配，最后将加权后的像素值高于指定阈值的特征区域确定为目标框，该目标框内的区域为感兴趣区域，其中多个空洞卷积层的空洞系数各不相同，通过将不同空洞系数的空洞卷积层提取到的特征进行多尺度融合，能够同时提取高低视野下的特征进行融合，得到更完整的语义信息，使得检测的感兴趣区域更具有针对性，可以提高免疫荧光图像中肾小球位置的定位检测准确度。

Description

免疫荧光图像检测方法及装置、设备、存储介质
技术领域
本发明属于医学病理图像处理技术领域，具体涉及一种免疫荧光图像检测方法及装置、设备、存储介质。
背景技术
目前肾脏免疫荧光病理图像主要是通过对肾活检穿刺所得到的组织进行荧光染色，然后在显微镜下采集图像并进行适当曝光所得，最后由病理专家利用采集到的肾脏病理图像进行经验性辅助诊断。但是在实际应用中，采集到的肾脏病理图像会包含较多染色过深或过浅、位置偏移等包含杂质的区域，大大增加了病理专家人工判别的难度。
在肾脏病理图像中，肾小球的分类是诊断肾脏病变类型和病变程度的关键，而快速且准确的识别图像中肾小球的位置和形态是肾脏病理图像分类的关键。通过计算机建模，使用深度学习的方法对肾脏病理图像进行智能识别可以有效解决这一难题。
但是由于不同医院制片手法及医学显微镜下图像成像方式的差异，肾脏病理图像的智能识别检测的样本数据来源较为困难，无法获取到大量标准的临床数据进行建模，传统建模采用的训练样本数据带有很多杂质区域，极大的影响了后续的检测结果，比如，出现肾小球感兴趣区域检测不完整的情况、或者肾小球感兴趣区域的边缘区域离散时会单独检测出一个肾小球等问题。
可见，现有肾脏病理图像检测模型的泛化能力较差，从而导致对肾脏病理图像中肾小球位置区域的检测准确度较低。也即目前的免疫荧光图像检测方法中，针对免疫荧光图像中肾小球位置的定位检测准确度不够。
发明内容
本发明的目的在于提供一种免疫荧光图像检测方法及装置、设备、存储介质，可以提高免疫荧光图像中肾小球位置的定位检测准确度。
本发明实施例第一方面公开一种免疫荧光图像检测方法，包括：
获取待测免疫荧光图像；
将所述待测免疫荧光图像输入到平行网络层，利用所述平行网络层所包括的多个空洞卷积层分别对所述待测免疫荧光图像进行特征提取，获得多个空洞卷积特征图；其中，多个所述空洞卷积特征图与所述空洞卷积层一一对应，多个所述空洞卷积层的空洞系数各不相同；
将多个空洞卷积特征图进行特征融合，获得多尺度特征图；
将所述多尺度特征图输入残差网络，获得深层特征图；
将所述深层特征图输入第一卷积层，利用所述第一卷积层对所述深层特征图的各个像素值进行加权操作，获得加权后的目标像素值；
将所述深层特征图中目标像素值高于指定阈值的特征区域确定为检测到的目标框，所述目标框内的区域为感兴趣区域，所述感兴趣区域用于图像分类。
本发明实施例第二方面公开一种免疫荧光图像检测装置，包括：
获取单元，用于获取待测免疫荧光图像；
第一提取单元，用于将所述待测免疫荧光图像输入到平行网络层，利用所述平行网络层所包括的多个空洞卷积层分别对所述待测免疫荧光图像进行特征提取，获得多个空洞卷积特征图；其中，多个所述空洞卷积特征图与所述空洞卷积层一一对应，多个所述空洞卷积层的空洞系数各不相同；
融合单元，用于将多个空洞卷积特征图进行特征融合，获得多尺度特征图；
第二提取单元，用于将所述多尺度特征图输入残差网络，获得深层特征图；
分配单元，用于将所述深层特征图输入第一卷积层，利用所述第一卷积层对所述深层特征图的各个像素值进行加权操作，获得加权后的目标像素值；
确定单元，用于将所述深层特征图中目标像素值高于指定阈值的特征区域确定为检测到的目标框，所述目标框内的区域为感兴趣区域，所述感兴趣区域用于图像分类。
本发明实施例第三方面公开一种电子设备，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行第一方面公开的免疫荧光图像检测方法。
本发明实施例第四方面公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行第一方面公开的免疫荧光图像检测方法。
本发明的有益效果在于，所提供的免疫荧光图像检测方法及装置、设备、存储介质，通过利用平行网络层所包括的多个独立的空洞卷积层分别对待测免疫荧光图像进行特征提取获得多个空洞卷积特征图，然后进行特征融合获得多尺度特征图，并输入残差网络获得深层特征图，利用第一卷积层进行权值分配，最后将深层特征图中加权后的像素值高于指定阈值的特征区域确定为检测到的目标框，该目标框内的区域为感兴趣区域，其中，多个空洞卷积层的空洞系数各不相同，通过将不同空洞系数的空洞卷积层提取到的特征进行多尺度融合，能够在不降低计算效率的前提下扩大网络层的感知视野，增强图像边缘区域特征的相关性，避免病灶检测不完整，边缘区域离散时会单独检测出一个病灶等问题，同时提取高视野下和低视野下的特征进行融合，得到更完整的语义信息，使得检测的感兴趣区域更具有针对性，因此可以提高免疫荧光图像中肾小球位置的定位检测准确度。
附图说明
此处的附图，示出了本发明所述技术方案的具体实例，并与具体实施方式构成说明书的一部分，用于解释本发明的技术方案、原理及效果。
除非特别说明或另有定义，不同附图中，相同的附图标记代表相同或相似的技术特征，对于相同或相似的技术特征，也可能会采用不同的附图标记进行表示。
图1是一种免疫荧光图像检测方法的流程图；
图2是一种训练样本图像进行感兴趣区域标注的示例图；
图3是一种感兴趣区域检测模型的网络结构示意图；
图4是一种平行网络层的网络结构示意图；
图5是一种特征提取模块的网络结构示意图；
图6是一种残差模块的网络结构示意图；
图7是现有识别模型的识别效果示例图；
图8是本发明实施例的识别效果示例图；
图9是一种免疫荧光图像检测装置的结构示意图；
图10是一种电子设备的结构示意图。
附图标记说明：
901、获取单元；902、第一提取单元；903、融合单元；904、第二提取单元；905、分配单元；909、确定单元；1001、存储器；1002、处理器。
具体实施方式
为了便于理解本发明，下面将参照说明书附图对本发明的具体实施例进行更详细的描述。
除非特别说明或另有定义，本文所使用的所有技术和科学术语与所属技术领域的技术人员通常理解的含义相同。在结合本发明的技术方案以现实的场景的情况下，本文所使用的所有技术和科学术语也可以具有与实现本发明的技术方案的目的相对应的含义。本文所使用的“第一、第二…”仅仅是用于对名称的区分，不代表具体的数量或顺序。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
除非特别说明或另有定义，本文所使用的“所述”、“该”为相应位置之前所提及或描述的技术特征或技术内容，该技术特征或技术内容与其所提及的技术特征或技术内容可以是相同的，也可以是相似的。
毫无疑义，与本发明的目的相违背，或者明显矛盾的技术内容或技术特征，应被排除在外。
如图1所示，本发明实施例公开一种免疫荧光图像检测方法，包括以下步骤S1～S6：
S1、获取待测免疫荧光图像。
预处理操作一般包括获取待测样本的肾小球原始免疫荧光图像，然后将肾小球原始免疫荧光图像缩放为384*384的大小，从而获得预处理免疫荧光图像。这样既可以保留丰富的细节特征信息，又可以保证网络没有复杂的计算量
在本发明实施例中，获取待测免疫荧光图像之前，还包括建模过程，具体包括以下步骤S01～S03：
S01、获取若干预处理后的训练样本图像。
需要说明的是，本发明公开的免疫荧光图像检测方法可适用于不同种类的免疫荧光图像，包括但不限于肾脏病理荧光图像，其它病灶的免疫荧光图像亦可。在本发明实施例中，以肾脏病理荧光图像为例进行阐述，不应认为是对本发明的限定。其中，该免疫荧光图像检测方法的执行主体可为计算机设备或内嵌于计算机设备的免疫荧光图像检测装置，本发明对此也不作限定。
该步骤S01中，从临床数据中选取不同形态及亮度的原始肾脏病理荧光图像作为训练样本图像，对每一个训练样本图像进行预处理，预处理操作一般包括将训练样本图像缩放为384*384的大小，从而获得预处理后的训练样本图像。这样既可以保留丰富的细节特征信息，又可以保证网络没有复杂的计算量。
而在本实施例中，优选的预处理操作具体包括：将训练样本图像缩放为384*384的大小后输入至分割模型，获得掩码训练图像，然后将掩码训练图像中各个像素点的像素值和对应的原始肾脏病理荧光图像中相应的像素值进行相与计算，获得融合后的图像作为预处理后的训练样本图像。
通过将原始肾脏病理荧光图像及其掩码的像素值进行与操作融合，由于掩码就是肾小球的位置区域，相与操作后，在肾小球的位置区域外的像素通过融合会置为0，因此可以去除原始病理图像中荧光强度过曝光的位置，减少周边杂质区域及过曝光的影响，获得预处理后的训练样本图像作为深度学习神经网络的输入，可以为深度学习神经网络加入先验知识，使深度学习神经网络关注到重要的肾小球区，进而提高训练后感兴趣区域检测模型的检测准确度。
S02、对每个训练样本图像进行感兴趣区域标注，以获得每个训练样本图像的标注框。
对每个训练样本图像中对应病灶(如肾小球)所在的位置区域进行人工标注，如图2所示图像中的标注框，标注框内的区域即为肾小球所在的位置区域，然后利用若干个训练样本图像及其对应的标注框，创建训练数据集。
S03、以每个训练样本图像作为输入、每个训练样本图像的标注框作为输出，对深度学习神经网络进行训练获得感兴趣区域检测模型。
在对深度学习神经网络进行训练的过程中，计算每一个经将深度学习神经网络输出的预测图像中的预测框与其对应的标注框的交并比；当交并比达到指定阈值且持续指定时长时，确定深度学习神经网络训练完成，获得感兴趣区域检测模型。
也即是说，将构建好的训练数据集送入深度学习神经网络中，通过一系列网络层进行特征提取，最终的预测层是通过计算深度学习神经网络输出的每一个预测图像中的预测框与其对应的训练样本图像中的标注框的交并比，该交并比代表预测图像中的预测框与其对应的标注框之间的重叠程度，采用此交并比的回归损失作为损失函数，当交并比越大时，即两个框重叠区域越大时，损失越小，反之越大，使得边框预测的损失最小化。当交并比达到指定阈值且持续指定时长时，判定此时损失最小，判定深度学习神经网络训练完成，可以获取到与标注框最相符的结果。其中，该指定阈值、指定时长可由开发人员根据实际需求而确定。
在实际应用中，可利用上述步骤S01～S03训练完成的感兴趣区域检测模型，对未知的待测免疫荧光图像进行检测，具体的包括步骤S1～S6，步骤S1可以包括以下步骤S101～S102：
S101、将原始免疫荧光图像输入至分割模型，获得掩码图像。
S102、将掩码图像中各个像素点的像素值和原始免疫荧光图像中相应的像素值进行相与计算，获得融合后的图像作为待测免疫荧光图像。
其中，对于待测患者的原始免疫荧光图像与之前训练阶段的训练样本图像一样进行预处理，包括将原始免疫荧光图像缩放为384*384的大小后输入至分割模型，获得掩码图像，然后将掩码图像中各个像素点的像素值和对应的原始免疫荧光图像中相应的像素值进行相与计算，获得融合后的图像作为待测免疫荧光图像。
实施步骤S101～S102，利用分割模型获取原始免疫荧光图像的掩码图像，去除原始免疫荧光图像背景中的杂质和其它组织，然后将分割后的掩码图像与原始免疫荧光图像融合后的图像作为待测免疫荧光图像，可以提高对原始免疫荧光图像的检测准确度。
S2、将待测免疫荧光图像输入到平行网络层，利用平行网络层所包括的多个独立的空洞卷积层分别对待测免疫荧光图像进行特征提取，获得多个空洞卷积特征图。
具体的在本发明实施例中，如图3至6所示，感兴趣区域检测模型包括依次连接的平行网络层、残差网络和第一卷积层；其中，平行网络层作为感兴趣区域检测模型的输入层，该输入层为多个独立的空洞卷积层构成的平行网络层和融合卷积层，其输出的多个空洞卷积特征图与多个空洞卷积层一一对应，每个空洞卷积层的空洞系数各不相同，多个空洞卷积特征图分别输入至融合卷积层进行融合。
在本发明实施例中，多个空洞卷积层的数量设置为四个，四个空洞卷积层分别是1×1卷积层、3×3卷积层、5×5卷积层和7×7卷积层，且四个空洞卷积层的空洞系数分别为2、4、6、8。其主要作用是通过空洞卷积中存在空间上的间隙，提取不同感受野的信息。
S3、将多个空洞卷积特征图进行特征融合，获得多尺度特征图。
通过不同空洞卷积层提取特征信息后，将不同空洞系数的空洞卷积层提取到的特征输入至融合卷积层进行多尺度的特征融合。与正常环境下的自然图像相比较，病理免疫荧光图像由于染色手法原因，可能有明暗交替的区域存在，因此使用多尺度特征融合的concate操作对多个空洞卷积特征图进行特征融合，能够同时提取高视野下和低视野下的特征进行融合，得到更完整的语义信息，使得检测的感兴趣区域更具有针对性，可以提高免疫荧光图像中肾小球位置的定位检测准确度。
S4、将多尺度特征图输入残差网络，获得深层特征图。
其中，残差网络包括五个特征提取模块和两个上采样层，分别是依次连接的第一特征提取模块、第二特征提取模块、第三特征提取模块、第一上采样层、第四特征提取模块、第二上采样层和第五特征提取模块；其中，第一特征提取模块的输出端与第二上采样层的输出端残差连接，第二特征提取模块的输出端与第一上采样层的输出端残差连接。
因此步骤S4具体包括：将多尺度特征图输入第一特征提取模块获得第一特征图，然后将第一特征图输入第二特征提取模块获得第二特征图，将第二特征图输入第三特征提取模块获得第三特征图，利用第一上采样层对第三特征图进行上采样后与第二特征图进行拼接获得第一拼接图，将第一拼接图输入第四特征提取模块获得第四特征图，对第四特征图进行上采样后与第一特征图进行拼接获得第二拼接图，将第二拼接图输入第五特征提取模块获得第五特征图作为深层特征图。
其中，每个特征提取模块均包括依次连接的残差模块、第二卷积层、第一归一化层和第一线性层。其中，残差模块包括依次连接的第三卷积层、第二归一化层和第二线性层，第三卷积层的输入端与第二线性层的输出端残差连接。
通过多个卷积层、归一化层和线性处理层聚合的基础网络层进行特征的提取，通过多个基础网络层组合成的残差模块对特征进行维度的整合操作，这一步可以降低模型的参数量，增加网络的层数，提高模型的性能。
S5、将深层特征图输入第一卷积层，利用第一卷积层对深层特征图的各个像素值进行加权操作，获得加权后的目标像素值。
其中，在深度学习过程中，第一卷积层可学习到训练样本图像中标注框处的权值参数，因此第一卷积层可基于该权值参数对深层特征图的各个像素值进行加权操作，也即，将该权值参数与深层特征图中对应的像素值进行相乘，从而获得加权后的目标像素值。
S6、根据深层特征图中加权后的目标像素值，确定出目标像素值高于指定阈值的特征区域为检测到的目标框，该目标框内的区域则为感兴趣区域，感兴趣区域用于图像分类。
通过上述一系列的特征提取模块之后，对残差网络提取到的深层特征会进行加权操作，其主要作用是对特征进行权值的分配，使得感兴趣区域的特征与背景区域区分开，并且通过检测到的目标框确定感兴趣区域的范围，从而获取权值高的部分，作为最终检测的感兴趣区域输出，这部分感兴趣区域也就是免疫荧光图像中对应病灶(如肾小球)所在的位置区域。需要说明的是，最终确定出的目标框可以有多个，对应的感兴趣区域也可以有多个。
在实际应用中，确定感兴趣区域后，可进一步进行图像分类，以获得待测免疫荧光图像的分类类别，例如针对肾脏病理荧光图像，可分类成特发性膜性肾病、膜增生性肾小球病、IgA肾病、抗肾小球基底膜病、链感后肾炎或者其它肾病种(包括糖尿病肾病和狼疮肾炎等)。
如图7所示，现有检测模型的识别效果容易出现边缘区域离散时会单独检测出一个病灶等问题，即检测出两个目标框(即感兴趣区域)，而本发明实施例的检测效果如图8所示，边缘检测完整且不会出现边缘区域离散时会单独检测出一个病灶的问题。由此可见，实施本发明实施例，首先对原始免疫荧光图像进行预处理，剔除图像中的杂质区域，再使用感兴趣区域检测模型配合空洞卷积层初始提取图像中包含的更多整体形态的特征，通过多尺度特征融合，使得检测到的感兴趣区域更具有针对性，实现准确度较高的图像中肾小球位置的定位检测。以此来辅助医生进行病理诊断，为临床医生进行下一步的治疗措施提供辅助决策。
如图9所示，本发明实施例公开一种免疫荧光图像检测装置，包括获取单元901、第一提取单元902、融合单元903、第二提取单元904、分配单元905和确定单元909，其中，
获取单元901，用于获取待测免疫荧光图像；
第一提取单元902，用于将待测免疫荧光图像输入到平行网络层，利用平行网络层所包括的多个独立的空洞卷积层分别对待测免疫荧光图像进行特征提取，获得多个空洞卷积特征图；其中，多个空洞卷积特征图与空洞卷积层一一对应，多个空洞卷积层的空洞系数各不相同；
融合单元903，用于将多个空洞卷积特征图进行特征融合，获得多尺度特征图；
第二提取单元904，用于将多尺度特征图输入残差网络，获得深层特征图；
分配单元905，用于将深层特征图输入第一卷积层，利用第一卷积层对深层特征图的各个像素值进行加权操作，获得加权后的目标像素值；
确定单元906，用于将深层特征图中目标像素值高于指定阈值的特征区域确定为检测到的目标框，目标框内的区域为感兴趣区域，感兴趣区域用于图像分类。
如图10所示，本发明实施例公开一种电子设备，包括存储有可执行程序代码的存储器1001以及与存储器1001耦合的处理器1002；
其中，处理器1002调用存储器1001中存储的可执行程序代码，执行上述各实施例中描述的免疫荧光图像检测方法。
本发明实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行上述各实施例中描述的免疫荧光图像检测方法。
以上实施例的目的，是对本发明的技术方案进行示例性的再现与推导，并以此完整的描述本发明的技术方案、目的及效果，其目的是使公众对本发明的公开内容的理解更加透彻、全面，并不以此限定本发明的保护范围。
以上实施例也并非是基于本发明的穷尽性列举，在此之外，还可以存在多个未列出的其他实施方式。在不违反本发明构思的基础上所作的任何替换与改进，均属本发明的保护范围。

Claims (10)

1.免疫荧光图像检测方法，其特征在于，包括：
获取待测免疫荧光图像；
将所述待测免疫荧光图像输入到平行网络层，利用所述平行网络层所包括的多个空洞卷积层分别对所述待测免疫荧光图像进行特征提取，获得多个空洞卷积特征图；其中，多个所述空洞卷积特征图与所述空洞卷积层一一对应，多个所述空洞卷积层的空洞系数各不相同；
将多个空洞卷积特征图进行特征融合，获得多尺度特征图；
将所述多尺度特征图输入残差网络，获得深层特征图；
将所述深层特征图输入第一卷积层，利用所述第一卷积层对所述深层特征图的各个像素值进行加权操作，获得加权后的目标像素值；
将所述深层特征图中目标像素值高于指定阈值的特征区域确定为检测到的目标框，所述目标框内的区域为感兴趣区域，所述感兴趣区域用于图像分类。
2.如权利要求1所述的免疫荧光图像检测方法，其特征在于，所述获取待测免疫荧光图像，包括：
将原始免疫荧光图像输入至分割模型，获得掩码图像；
将所述掩码图像中各个像素点的像素值和所述原始免疫荧光图像中相应的像素值进行相与计算，获得融合后的图像作为待测免疫荧光图像。
3.如权利要求1所述的免疫荧光图像检测方法，其特征在于，所述获取待测免疫荧光图像之前，所述方法还包括：
获取若干预处理后的训练样本图像；
对每个所述训练样本图像进行感兴趣区域标注，以获得每个所述训练样本图像的标注框；
以每个所述训练样本图像作为输入、每个所述训练样本图像的标注框作为输出，对深度学习神经网络进行训练获得感兴趣区域检测模型。
4.如权利要求3所述的免疫荧光图像检测方法，其特征在于，
在对深度学习神经网络进行训练的过程中，计算每一个经将所述深度学习神经网络输出的预测图像中的预测框与其对应的标注框的交并比；
当所述交并比达到指定阈值时，确定所述深度学习神经网络训练完成，获得感兴趣区域检测模型。
5.如权利要求1至4任一项所述的免疫荧光图像检测方法，其特征在于，所述残差网络包括五个特征提取模块和两个上采样层，分别是依次连接的第一特征提取模块、第二特征提取模块、第三特征提取模块、第一上采样层、第四特征提取模块、第二上采样层和第五特征提取模块；其中，所述第一特征提取模块的输出端与所述第二上采样层的输出端残差连接，所述第二特征提取模块的输出端与所述第一上采样层的输出端残差连接。
6.如权利要求5所述的免疫荧光图像检测方法，其特征在于，每个特征提取模块均包括依次连接的残差模块、第二卷积层、第一归一化层和第一线性层。
7.如权利要求6所述的免疫荧光图像检测方法，其特征在于，所述残差模块包括依次连接的第三卷积层、第二归一化层和第二线性层，所述第三卷积层的输入端与所述第二线性层的输出端残差连接。
8.免疫荧光图像检测装置，其特征在于，包括：
获取单元，用于获取待测免疫荧光图像；
第一提取单元，用于将所述待测免疫荧光图像输入到平行网络层，利用所述平行网络层所包括的多个空洞卷积层分别对所述待测免疫荧光图像进行特征提取，获得多个空洞卷积特征图；其中，多个所述空洞卷积特征图与所述空洞卷积层一一对应，多个所述空洞卷积层的空洞系数各不相同；
融合单元，用于将多个空洞卷积特征图进行特征融合，获得多尺度特征图；
第二提取单元，用于将所述多尺度特征图输入残差网络，获得深层特征图；
分配单元，用于将所述深层特征图输入第一卷积层，利用所述第一卷积层对所述深层特征图的各个像素值进行加权操作，获得加权后的目标像素值；
确定单元，用于将所述深层特征图中目标像素值高于指定阈值的特征区域确定为检测到的目标框，所述目标框内的区域为感兴趣区域，所述感兴趣区域用于图像分类。
9.电子设备，其特征在于，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至7任一项所述的免疫荧光图像检测方法。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至7任一项所述的免疫荧光图像检测方法。
CN202211037378.XA 2022-08-26 2022-08-26 免疫荧光图像检测方法及装置、设备、存储介质 Pending CN115526834A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211037378.XA CN115526834A (zh) 2022-08-26 2022-08-26 免疫荧光图像检测方法及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211037378.XA CN115526834A (zh) 2022-08-26 2022-08-26 免疫荧光图像检测方法及装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN115526834A true CN115526834A (zh) 2022-12-27

Family

ID=84697888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211037378.XA Pending CN115526834A (zh) 2022-08-26 2022-08-26 免疫荧光图像检测方法及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN115526834A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309595A (zh) * 2023-05-23 2023-06-23 杭州华得森生物技术有限公司 Ctc智能全自动检测一体机及其方法
CN116612472A (zh) * 2023-07-21 2023-08-18 北京航空航天大学杭州创新研究院 基于图像的单分子免疫阵列分析仪及其方法
CN117174273A (zh) * 2023-11-01 2023-12-05 南京金域医学检验所有限公司 一种用于肾穿刺活检的免疫荧光数据处理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309595A (zh) * 2023-05-23 2023-06-23 杭州华得森生物技术有限公司 Ctc智能全自动检测一体机及其方法
CN116612472A (zh) * 2023-07-21 2023-08-18 北京航空航天大学杭州创新研究院 基于图像的单分子免疫阵列分析仪及其方法
CN116612472B (zh) * 2023-07-21 2023-09-19 北京航空航天大学杭州创新研究院 基于图像的单分子免疫阵列分析仪及其方法
CN117174273A (zh) * 2023-11-01 2023-12-05 南京金域医学检验所有限公司 一种用于肾穿刺活检的免疫荧光数据处理方法
CN117174273B (zh) * 2023-11-01 2024-02-23 南京金域医学检验所有限公司 一种用于肾穿刺活检的免疫荧光数据处理方法

Similar Documents

Publication Publication Date Title
CN109741346B (zh) 感兴趣区域提取方法、装置、设备及存储介质
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
Oskal et al. A U-net based approach to epidermal tissue segmentation in whole slide histopathological images
CN110866908B (zh) 图像处理方法、装置、服务器及存储介质
CN115526834A (zh) 免疫荧光图像检测方法及装置、设备、存储介质
US20240153272A1 (en) Method for detecting urine formed elements based on deep learning and context relation
CN111488921A (zh) 一种全景数字病理图像智能分析系统及方法
CN111931751B (zh) 深度学习训练方法、目标物识别方法、系统和存储介质
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
CN112927799B (zh) 融合多示例学习和多任务深度影像组学的生存期分析系统
CN112669320B (zh) 一种基于深度神经网络的spect甲状腺显像智能识别方法
CN112419295A (zh) 医学图像处理方法、装置、计算机设备和存储介质
CN113052228A (zh) 一种基于SE-Inception的肝癌病理切片分类方法
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN112241961A (zh) 基于深度卷积神经网络的胸部x光片辅助诊断方法及系统
CN113902669A (zh) 一种尿脱落细胞液基涂片的阅片方法及系统
CN114140437A (zh) 一种基于深度学习的眼底硬渗出物分割方法
CN113237881A (zh) 一种特定细胞的检测方法、装置和病理切片检测系统
CN116703837B (zh) 一种基于mri图像的肩袖损伤智能识别方法及装置
CN115564750A (zh) 术中冰冻切片图像识别方法及装置、设备、存储介质
CN112686912B (zh) 基于逐步学习和混合样本的急性脑卒中病变分割方法
CN116228660A (zh) 胸部正片异常部位检测方法及装置
CN113160261B (zh) 一种用于oct图像角膜层分割的边界增强卷积神经网络
CN112750124A (zh) 模型生成、图像分割方法、装置、电子设备及存储介质
CN112614104A (zh) 一种红细胞重叠的分割计数方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240108

Address after: 100010 Shuaifuyuan No. 1, Wangfujing, Dongcheng District, Beijing

Applicant after: PEKING UNION MEDICAL COLLEGE Hospital

Applicant after: Chongqing Zhijian Life Technology Co.,Ltd.

Applicant after: Beijing Yiyun Technology Co.,Ltd.

Address before: A876, Floor 3, Building 14, Cuiwei Zhongli, Haidian District, Beijing 100089

Applicant before: Beijing Zhijian Life Technology Co.,Ltd.

Applicant before: Chongqing Zhijian Life Technology Co.,Ltd.

Applicant before: PEKING UNION MEDICAL COLLEGE Hospital