CN111476775A - Dr征象识别装置和方法 - Google Patents

Dr征象识别装置和方法 Download PDF

Info

Publication number
CN111476775A
CN111476775A CN202010264147.7A CN202010264147A CN111476775A CN 111476775 A CN111476775 A CN 111476775A CN 202010264147 A CN202010264147 A CN 202010264147A CN 111476775 A CN111476775 A CN 111476775A
Authority
CN
China
Prior art keywords
symptom
tensor
image
layer
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010264147.7A
Other languages
English (en)
Other versions
CN111476775B (zh
Inventor
陈昊
秦积涛
罗召洋
魏军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Boshi Medical Technology Co ltd
Original Assignee
Guangzhou Boshi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Boshi Medical Technology Co ltd filed Critical Guangzhou Boshi Medical Technology Co ltd
Priority to CN202010264147.7A priority Critical patent/CN111476775B/zh
Publication of CN111476775A publication Critical patent/CN111476775A/zh
Application granted granted Critical
Publication of CN111476775B publication Critical patent/CN111476775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明实施例提供一种DR征象识别装置和方法，其中装置包括：影像确定单元，用于确定待识别的DR影像；征象识别单元，用于将所述DR影像输入至征象识别模型，得到所述征象识别模型输出的征象识别结果；其中，所述征象识别模型用于确定所述DR影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及所述空间分布张量和分类预测张量，进行DR征象识别。本发明实施例提供的装置和方法，结合预设征象关联矩阵，以及空间分布张量和分类预测张量，进行DR征象识别，从而得到医学上具有可解释性的征象识别结果，提高征象识别的可靠性。

Description

DR征象识别装置和方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种DR征象识别装置和方法。
背景技术
随着人工智能的发展，基于DR(Digital Radiography，数字化成像技术)影像的计算机辅助系统(Computer-aided system，CAD)应运而生。CAD的应用，能够减少医师工作量，提高医师阅片效率。
目前，深度学习技术被广泛应用于CAD的设计中。用于CAD的深度学习技术可以大体分为两类：其一是应用图像分割思路进行的病灶区域识别，多采用基于Unet结构的子网络或者改进型网络；其二是采用基于目标检测的思路进行的病灶区域检测，多采用诸如RetinNet等目标检测模型。
然而，目前基于CAD的征象识别仅是基于DR影像中的征象本身的特征进行的，并不考虑相关医学知识，导致由此生成的识别结果在医学上不具备可解释性，可信度低。
发明内容
本发明实施例提供一种DR征象识别装置和方法，用以解决现有的DR征象识别不考虑相关医学知识，导致由此生成的识别结果在医学上不具备可解释性，可信度低的问题。
第一方面，本发明实施例提供一种DR征象识别装置，包括：
影像确定单元，用于确定待识别的DR影像；
征象识别单元，用于将所述DR影像输入至征象识别模型，得到所述征象识别模型输出的征象识别结果；
其中，所述征象识别模型用于确定所述DR影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及所述空间分布张量和分类预测张量，进行DR征象识别。
第二方面，本发明实施例提供一种DR征象识别方法，包括：
确定待识别的DR影像；
将所述DR影像输入至征象识别模型，得到所述征象识别模型输出的征象识别结果；
其中，所述征象识别模型用于确定所述DR影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及所述空间分布张量和分类预测张量，进行DR征象识别。
本发明实施例提供的一种DR征象识别装置和方法，结合预设征象关联矩阵，以及空间分布张量和分类预测张量，进行DR征象识别，从而得到具有医学关联性的征象识别结果，在医学上具有高度的解释性，能够提高征象识别的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的DR征象识别方法的流程示意图；
图2为本发明实施例提供的征象识别模型的结构示意图；
图3为本发明实施例提供的DR征象识别装置的结构示意图；
图4为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前基于CAD的征象识别均存在以下问题：其一是针对DR影像的征象识别仅针对于征象本身，不考虑病症与征象之间关联性；其二是仅考虑征象本身，不考虑征象的空间分布，对此，本发明实施例提供一种DR征象识别方法，用于实现在医学上具有可解释性的高可信度的DR征象识别。
图1为本发明实施例提供的DR征象识别方法的流程示意图，如图1所示，该方法包括：
步骤110，确定待识别的DR影像。
步骤120，将DR影像输入至征象识别模型，得到征象识别模型输出的征象识别结果；其中，征象识别模型用于确定DR影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及空间分布张量和分类预测张量，进行DR征象识别。
具体地，在医学上，不同疾病所对应的征象在发病部位上存在区别，例如相较于肺结核征象，在胸部偏下位置更加容易找到肺炎征象。由此可见，疾病发作的空间位置可以作为判断征象从属的重要依据。然而在常用的病灶检测方法中，例如基于分割或检测的模型，并未考虑引入病灶本身的空间分布属性。本发明实施例中，DR影像的空间分布张量表征不同征象在DR影像中的空间分布信息，即不同征象在DR影像中的具体分布位置。
此外，因病毒所导致的疾病在医学影像角度上存在相关性，例如DR影像上索条征象和渗出征象同时存在，往往代表着病症具有较强的活动性，并且可作为区分肺结核和肺炎的重要参考。征象之间的关联关系对应着疾病发生的特点以及阶段，征象之间的关联关系可以作为进行征象识别的解释依据。本发明实施例中，预设征象关联矩阵表征预先设定的某一疾病所对应的各种征象两两之间的关联关系，具体可以体现为每两种征象同时发生的概率矩阵。
在进行征象识别时，将DR影像输入至征象识别模型，由征象识别模型基于DR影像确定其对应的空间分布张量和分类预测张量，此处分类预测张量表征DR影像中可能存在的征象类型。随即，征象识别模型结合预设征象关联矩阵，以及所述空间分布张量和分类预测张量，在充分考虑征象分布的空间信息以及征象之间关联关系的情况下，进行DR征象识别，并输出医学上具有可解释性的征象识别结果。
由此得到的征象识别结果，可以与医师诊断得到的诊断结果所对应的各种征象相比较，从而验证医师的诊断结果是否准确。针对于同一类疾病的DR影像的征象识别结果，还可以用于对该类疾病所体现的征象进行大规模的数据统计，从而帮助人们快速了解该类疾病。
在执行步骤120之前，还可以预先训练得到征象识别模型，具体可以通过如下方式训练得到征象识别模型：首先，收集大量样本DR影像，并确定样本DR影像中包含的征象作为样本DR影像的样本征象识别结果。随即，基于样本DR影像及其对应的样本征象识别结果训练初始模型，从而得到征象识别模型。
本发明实施例提供的方法，结合预设征象关联矩阵，以及空间分布张量和分类预测张量，进行DR征象识别，从而得到具有医学关联性的征象识别结果，且在医学上具有高度的解释性，能够提高征象识别的可靠性。
进一步地，征象识别结果在医学上的解释性主要体现在如下三个方面：
一是征象识别模型的整体识别过程符合医师先发现再识别的过程，通过模拟医师的阅片过程中对征象的思辨，使得识别过程具有解释性；二是充分考虑了征象之间固有的关联性；三是充分考虑了征象的空间分布属性。
基于上述实施例，图2为本发明实施例提供的征象识别模型的结构示意图，如图2所示，征象识别模型包括空间注意力分析层、多标签分类层、注意力校正层以及征象输出层。
其中，空间注意力分析层用于确定DR影像的空间分布张量；多标签分类层用于确定DR影像的分类预测张量；注意力校正层用于基于空间分布张量对分类预测张量进行校正，并输出分类校正张量；征象输出层用于基于分类校正张量和预设征象关联矩阵，确定征象识别结果。
对应地，步骤120具体包括：
步骤121，将DR影像的图像张量输入至空间注意力分析层，得到空间注意力分析层输出的空间分布张量。
具体地，DR影像的图像张量即DR影像的张量表示。
空间注意力分析层用于对输入的图像张量进行注意力分析，并输出空间分布张量。此处的空间分布张量中包含有针对于每一预设征象的空间分布信息，假设共存在17种预设征象，则每一预设征象的空间分布信息对应于空间分布张量中的一个通道，具体可以体现为该预设征象的分布mask张量，即将图像张量中属于该预设征象的点值设置为1，不属于该预设征象的点值设置为0，从而表征该预设征象在DR影像中的分布位置。
此处的空间注意力分析层可以作为征象识别模型中的一层，也可以作为独立运行的模型。空间注意力分析层可以通过VGG模型结构实现。
步骤122，将图像张量输入至多标签分类层，得到多标签分类层输出的分类预测张量。
具体地，多标签分类层用于对输入的图像张量进行分析，并输出分类预测张量。此处的分类预测张量用于表征该DR影像中可能存在的征象类型，具体可以体现为N×1大小的矩阵，其中N为预设征象的数量，矩阵中的每个元素对应一个预设征象，若DR影像中包含该预设征象，则该预设征象对应的元素值为1，否则该预设征象对应的元素值为0。
此处的多标签分类层可以作为征象识别模型中的一层，也可以作为独立运行的模型。多标签分类层可以通过ResNet101模型结构实现，
步骤123，将空间分布张量和分类预测张量输入至注意力校正层，得到注意力校正层输出的分类校正张量。
具体地，注意力校正层基于空间分布张量对分类预测张量进行注意力校正，并输出注意力校正后的分类预测张量，即分类校正张量。由此得到的分类校正张量结合了各个征象的空间分布信息，相对于单纯通过图像分类得到的分类预测张量在医学上具有可解释性。
此处，注意力校正层可以是基于Grad-Cam构建的。
步骤124，将分类校正张量输入至征象输出层，得到征象输出层输出的征象识别结果。
具体地，征象输出层用于对分类校正张量和预设征象关联矩阵进行分析，结合预先设定的疾病所对应的各种征象两两之间的关联关系，对分类校正张量所指示的DR影像中可能包含的各个征象的概率进行调整，并输出征象识别结果。
本发明实施例提供的方法，通过注意力校正层结合空间分布张量和分类预测张量，通过征象输出层结合分类校正张量和预设征象关联矩阵，从征象的空间分布规则和征象之间的关联关系上为征象识别提供医学上的可解释性，进而提高征象识别的可靠性。
基于上述任一实施例，图像张量是对DR影像进行归一化后得到的。
具体地，在将DR影像输入征象识别模型之前，可以对DR影像进行基于最大值和最小值的归一化，从而将DR影像中每一像素点的值规范到0至1之间，为后续图像张量的处理提供条件。
基于上述任一实施例，空间注意力分析层是基于样本DR影像及其对应的样本空间分布张量预训练得到的；多标签分类层是基于样本DR影像及其对应的样本分类预测张量预训练得到的。
具体地，空间注意力分析层和多标签分类层均可以作为独立运行的模型，在对征象识别模型进行训练之前，优先对空间注意力分析层和多标签分类层分别进行预训练，并结合预训练后的空间注意力分析层和多标签分类层，以及预先确定的预设征象关联矩阵，对注意力校正层进行训练，从而得到征象识别模型。
基于上述任一实施例，预设征象关联矩阵的确定方法包括如下步骤：
步骤210，确定预设疾病的多个样本DR影像的征象信息。
步骤220，对多个样本DR影像的征象信息进行数据挖掘，得到预设疾病的征象关联信息。
步骤230，基于征象关联信息构建预设征象关联矩阵。
具体地，预设疾病即预先设定的一种疾病，样本DR影像均为确诊为该预设疾病的患者的DR影像，样本DR影像的征象信息用于表征样本DR影像中包含的征象。
通过对多个样本DR影像的征象信息进行数据挖掘，即可得到预设疾病下的各个征象两两之间的关系，即征象关联信息。进一步地，此处的数据挖掘可以通过FP-Growth方法实现。
在得到征象关联信息后，可以对征象关联信息中包含的各个征象两两之间的关系进行编码，从而得到预设征象关联矩阵。
此外，在步骤230之前，还可以使用阈值去除征象关联信息中由于人为因素所引入的噪声等不充分关系，由此得到征象关联信息中仅包含各个征象之间的频繁项关系。
基于上述任一实施例，预设疾病为新型冠状病毒肺炎，预设征象关联矩阵所表征的是新型冠状病毒肺炎中各个征象两两之间的关系。由此得到的征象识别模型能够更针对性地实现新型冠状病毒肺炎患者的DR影像的高可靠性的征象识别。
基于上述任一实施例，基于新型冠状病毒肺炎检测的征象识别模型的训练方法具体包括如下步骤：
首先，预先构建预设征象关联矩阵：
预先对大量的新型冠状病毒肺炎患者的DR影像进行分析，多个样本DR影像的征象信息，并应用FP-Growth方法进行数据挖掘，得到新型冠状病毒肺炎的征象关联信息；使用阈值去除因为人为因素所引入的噪声等不充分关系，获得征象两两之间的频繁项关系，最终获得共17组频繁项。基于频繁项关系进行编码，编码方式为计算归一化的条件概率矩阵，即一个17x 17大小的矩阵，即预设征象关联矩阵。假设预设征象关联矩阵第一行代表的是索条影，第二列代表的是空洞影，则第一行第二列的元素表明的是在具有空洞影的情况下，索条影发生的概率。
随即，分别预训练空间注意力分析模型和多标签分类模型作为征象识别模型的空间注意力分析层和多标签分类层：
针对于空间注意力分析模型，其预训练的输入为样本DR影像，输出为17种征象的分布mask所构成的17个通道的张量，即样本DR影像的样本空间分布张量。训练后的空间注意力分析模型具有针对DR胸片进行上述17种病灶发病区域的注意力生成能力。
针对于多标签分类模型，其预训练的输入为样本DR影像，输出为样本分类预测张量。
完成空间注意力分析模型和多标签分类模型的预训练后，基于Grad-Cam方法对这两个模型的注意力机制进行分析，从而使得输出的分类校正张量中的高值部分的位置尽量同上述空间注意力分析模型的输出相一致。训练完毕后，即可得到用于后续推理的注意力校正层，注意力校正层可以将多标签分类模型的输出整合成符合征象空间关注分布的分类校正张量。
基于上述任一实施例，用于新型冠状病毒肺炎检测的征象识别方法包括：
对DR影像进行归一化，得到图像张量。
将图像张量输入至空间注意力分析层，空间注意力分析层进行分析得到为17x256x 256pixels大小的输出张量矩阵，随后进行sigmoid获得对17个特征值的mask作为空间分布张量并输出。
将图像张量输入至所述多标签分类层，得到多标签分类层输出的分类预测张量。
将空间分布张量和所述分类预测张量输入至注意力校正层，得到注意力校正层输出的分类校正张量。
将分类校正张量输入至征象输出层，由征象输出层将分类校正张量与预设征象关联矩阵相乘，获得一个1×17的矩阵，17来源于经过分析所得的17种高相关征象。此后使用阈值th(该阈值通常设置为0.5)进行过滤，将17个数值中高于0.5的数值设置为1，低于0.5数值设置为0，从而得到征象识别结果。征象识别结果中，为1的表明该DR影像中存在对应的征象，而为0的表明该DR影像中不存在对应的征象。
本发明实施例提供的方法，结合预设征象关联矩阵，以及空间分布张量和分类预测张量，进行DR征象识别，从而得到具有医学关联性的征象识别结果，且在医学上具有高度的解释性，能够提高征象识别的可靠性。
基于上述任一实施例，图3为本发明实施例提供的DR征象识别装置的结构示意图，如图3所示，该装置包括影像确定单元310和征象识别单元320；
其中，影像确定单元310用于确定待识别的DR影像；
征象识别单元320用于将所述DR影像输入至征象识别模型，得到所述征象识别模型输出的征象识别结果；
其中，所述征象识别模型用于确定所述DR影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及所述空间分布张量和分类预测张量，进行DR征象识别。
具体地，在医学上，不同疾病所对应的征象在发病部位上存在区别，例如相较于肺结核征象，在胸部偏下位置更加容易找到肺炎征象。由此可见，疾病发作的空间位置可以作为判断征象从属的重要依据。然而在常用的病灶检测方法中，例如基于分割或检测的模型，并未考虑引入病灶本身的空间分布属性。本发明实施例中，DR影像的空间分布张量表征不同征象在DR影像中的空间分布信息，即不同征象在DR影像中的具体分布位置。
此外，因病毒所导致的疾病在医学影像角度上存在相关性，例如DR影像上索条征象和渗出征象同时存在，往往代表着病症具有较强的活动性，并且可作为区分肺结核和肺炎的重要参考。征象之间的关联关系对应着疾病发生的特点以及阶段，征象之间的关联关系可以作为进行征象识别的解释依据。本发明实施例中，预设征象关联矩阵表征预先设定的某一疾病所对应的各种征象两两之间的关联关系，具体可以体现为每两种征象同时发生的概率矩阵。
征象识别单元320用于将DR影像输入至征象识别模型，由征象识别模型基于DR影像确定其对应的空间分布张量和分类预测张量，此处分类预测张量表征DR影像中可能存在的征象类型。随即，征象识别模型结合预设征象关联矩阵，以及所述空间分布张量和分类预测张量，在充分考虑征象分布的空间信息以及征象之间关联关系的情况下，进行DR征象识别，并输出医学上具有可解释性的征象识别结果。
由此得到的征象识别结果，可以与医师基于DR影像得到的诊断结果所对应的各种征象相比较，从而验证医师的诊断结果是否准确。针对于同一类疾病的DR影像的征象识别结果，还可以用于对该类疾病所体现的征象进行大规模的数据统计，从而帮助人们快速了解该类疾病。
本发明实施例提供的装置，结合预设征象关联矩阵，以及空间分布张量和分类预测张量，进行DR征象识别，从而得到具有医学关联性的征象识别结果，且在医学上具有高度的解释性，能够提高征象识别的可靠性。
基于上述任一实施例，所述征象识别模型包括空间注意力分析层、多标签分类层、注意力校正层以及征象输出层。
其中，空间注意力分析层用于确定DR影像的空间分布张量；多标签分类层用于确定DR影像的分类预测张量；注意力校正层用于基于空间分布张量对分类预测张量进行校正，并输出分类校正张量；征象输出层用于基于分类校正张量和预设征象关联矩阵，确定征象识别结果。
基于上述任一实施例，所述征象识别单元320包括：
空间注意力分析子单元，用于将所述DR影像的图像张量输入至所述空间注意力分析层，得到所述空间注意力分析层输出的所述空间分布张量；
多标签分类子单元，用于将所述图像张量输入至所述多标签分类层，得到所述多标签分类层输出的所述分类预测张量；
注意力校正层子单元，用于将所述空间分布张量和所述分类预测张量输入至所述注意力校正层，得到所述注意力校正层输出的所述分类校正张量；
征象输出子单元，用于将所述分类校正张量输入至所述征象输出层，得到所述征象输出层输出的所述征象识别结果。
具体地，空间注意力分析子单元中，DR影像的图像张量即DR影像的张量表示。空间注意力分析层用于对输入的图像张量进行注意力分析，并输出空间分布张量。此处的空间分布张量中包含有针对于每一预设征象的空间分布信息，假设共存在17种预设征象，则每一预设征象的空间分布信息对应于空间分布张量中的一个通道，具体可以体现为该预设征象的分布mask张量，即将图像张量中属于该预设征象的点值设置为1，不属于该预设征象的点值设置为0，从而表征该预设征象在DR影像中的分布位置。
此处的空间注意力分析层可以作为征象识别模型中的一层，也可以作为独立运行的模型。空间注意力分析层可以通过VGG模型结构实现。
多标签分类子单元中，多标签分类层用于对输入的图像张量进行分析，并输出分类预测张量。此处的分类预测张量用于表征该DR影像中可能存在的征象类型，具体可以体现为N×1大小的矩阵，其中N为预设征象的数量，矩阵中的每个元素对应一个预设征象，若DR影像中包含该预设征象，则该预设征象对应的元素值为1，否则该预设征象对应的元素值为0。
此处的多标签分类层可以作为征象识别模型中的一层，也可以作为独立运行的模型。多标签分类层可以通过ResNet101模型结构实现，
注意力校正子单元中，注意力校正层基于空间分布张量对分类预测张量进行注意力校正，并输出注意力校正后的分类预测张量，即分类校正张量。由此得到的分类校正张量结合了各个征象的空间分布信息，相对于单纯通过图像分类得到的分类预测张量在医学上具有可解释性。
此处，注意力校正层可以是基于Grad-Cam构建的。
征象输出子单元中，征象输出层用于对分类校正张量和预设征象关联矩阵进行分析，结合预先设定的疾病所对应的各种征象两两之间的关联关系，对分类校正张量所指示的DR影像中可能包含的各个征象的概率进行调整，并输出征象识别结果。
本发明实施例提供的装置，通过注意力校正层结合空间分布张量和分类预测张量，通过征象输出层结合分类校正张量和预设征象关联矩阵，从征象的空间分布规则和征象之间的关联关系上为征象识别提供医学上的可解释性，进而提高征象识别的可靠性。
基于上述任一实施例，所述图像张量是对所述DR影像进行归一化后得到的。
具体地，在将DR影像输入征象识别模型之前，可以对DR影像进行基于最大值和最小值的归一化，从而将DR影像中每一像素点的值规范到0至1之间，为后续图像张量的处理提供条件。
基于上述任一实施例，所述空间注意力分析层是基于样本DR影像及其对应的样本空间分布张量预训练得到的；
所述多标签分类层是基于样本DR影像及其对应的样本分类预测张量预训练得到的。
具体地，空间注意力分析层和多标签分类层均可以作为独立运行的模型，在对征象识别模型进行训练之前，优先对空间注意力分析层和多标签分类层分别进行预训练，并结合预训练后的空间注意力分析层和多标签分类层，以及预先确定的预设征象关联矩阵，对注意力校正层进行训练，从而得到征象识别模型。
基于上述任一实施例，该装置还包括关联矩阵确定单元；关联矩阵确定单元具体用于：
确定预设疾病的多个样本DR影像的征象信息；
对所述多个样本DR影像的征象信息进行数据挖掘，得到所述预设疾病的征象关联信息；
基于所述征象关联信息构建所述预设征象关联矩阵。
具体地，预设疾病即预先设定的一种疾病，样本DR影像均为确诊为该预设疾病的患者的DR影像，样本DR影像的征象信息用于表征样本DR影像中包含的征象。
通过对多个样本DR影像的征象信息进行数据挖掘，即可得到预设疾病下的各个征象两两之间的关系，即征象关联信息。进一步地，此处的数据挖掘可以通过FP-Growth方法实现。
在得到征象关联信息后，可以对征象关联信息中包含的各个征象两两之间的关系进行编码，从而得到预设征象关联矩阵。
此外，在构建预设征象关联矩阵之前，关联矩阵确定单元还可以使用阈值去除征象关联信息中由于人为因素所引入的噪声等不充分关系，由此得到征象关联信息中仅包含各个征象之间的频繁项关系。
基于上述任一实施例，所述预设疾病为新型冠状病毒肺炎，预设征象关联矩阵所表征的是新型冠状病毒肺炎中各个征象两两之间的关系。由此得到的征象识别模型能够更针对性地实现新型冠状病毒肺炎患者的DR影像的高可靠性的征象识别。
图4为本发明实施例提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑命令，以执行如下方法：确定待识别的DR影像；将所述DR影像输入至征象识别模型，得到所述征象识别模型输出的征象识别结果；其中，所述征象识别模型用于确定所述DR影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及所述空间分布张量和分类预测张量，进行DR征象识别。
此外，上述的存储器430中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定待识别的DR影像；将所述DR影像输入至征象识别模型，得到所述征象识别模型输出的征象识别结果；其中，所述征象识别模型用于确定所述DR影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及所述空间分布张量和分类预测张量，进行DR征象识别。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种DR征象识别装置，其特征在于，包括：
影像确定单元，用于确定待识别的DR影像；
征象识别单元，用于将所述DR影像输入至征象识别模型，得到所述征象识别模型输出的征象识别结果；
其中，所述征象识别模型用于确定所述DR影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及所述空间分布张量和分类预测张量，进行DR征象识别。
2.根据权利要求1所述的DR征象识别装置，其特征在于，所述征象识别模型包括空间注意力分析层、多标签分类层、注意力校正层以及征象输出层。
3.根据权利要求2所述的DR征象识别装置，其特征在于，所述征象识别单元包括：
空间注意力分析子单元，用于将所述DR影像的图像张量输入至所述空间注意力分析层，得到所述空间注意力分析层输出的所述空间分布张量；
多标签分类子单元，用于将所述图像张量输入至所述多标签分类层，得到所述多标签分类层输出的所述分类预测张量；
注意力校正层子单元，用于将所述空间分布张量和所述分类预测张量输入至所述注意力校正层，得到所述注意力校正层输出的所述分类校正张量；
征象输出子单元，用于将所述分类校正张量输入至所述征象输出层，得到所述征象输出层输出的所述征象识别结果。
4.根据权利要求3所述的DR征象识别装置，其特征在于，所述图像张量是对所述DR影像进行归一化后得到的。
5.根据权利要求2至4中任一项所述的DR征象识别装置，其特征在于，所述空间注意力分析层是基于样本DR影像及其对应的样本空间分布张量预训练得到的；
所述多标签分类层是基于样本DR影像及其对应的样本分类预测张量预训练得到的。
6.根据权利要求1至4中任一项所述的DR征象识别装置，其特征在于，还包括用于确定所述预设征象关联矩阵的关联矩阵确定单元；所述关联矩阵确定单元用于：
确定预设疾病的多个样本DR影像的征象信息；
对所述多个样本DR影像的征象信息进行数据挖掘，得到所述预设疾病的征象关联信息；
基于所述征象关联信息构建所述预设征象关联矩阵。
7.根据权利要求6所述的DR征象识别装置，其特征在于，所述预设疾病为新型冠状病毒肺炎。
8.一种DR征象识别方法，其特征在于，包括：
确定待识别的DR影像；
将所述DR影像输入至征象识别模型，得到所述征象识别模型输出的征象识别结果；
其中，所述征象识别模型用于确定所述DR影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及所述空间分布张量和分类预测张量，进行DR征象识别。
9.根据权利要求8所述的DR征象识别方法，其特征在于，所述征象识别模型包括空间注意力分析层、多标签分类层、注意力校正层以及征象输出层。
10.根据权利要求9所述的DR征象识别方法，其特征在于，所述将所述DR影像输入至征象识别模型，得到所述征象识别模型输出的征象识别结果，具体包括：
将所述DR影像的图像张量输入至所述空间注意力分析层，得到所述空间注意力分析层输出的所述空间分布张量；
将所述图像张量输入至所述多标签分类层，得到所述多标签分类层输出的所述分类预测张量；
将所述空间分布张量和所述分类预测张量输入至所述注意力校正层，得到所述注意力校正层输出的所述分类校正张量；
将所述分类校正张量输入至所述征象输出层，得到所述征象输出层输出的所述征象识别结果。
CN202010264147.7A 2020-04-07 2020-04-07 Dr征象识别装置和方法 Active CN111476775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010264147.7A CN111476775B (zh) 2020-04-07 2020-04-07 Dr征象识别装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010264147.7A CN111476775B (zh) 2020-04-07 2020-04-07 Dr征象识别装置和方法

Publications (2)

Publication Number Publication Date
CN111476775A true CN111476775A (zh) 2020-07-31
CN111476775B CN111476775B (zh) 2021-11-16

Family

ID=71750060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010264147.7A Active CN111476775B (zh) 2020-04-07 2020-04-07 Dr征象识别装置和方法

Country Status (1)

Country Link
CN (1) CN111476775B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634226A (zh) * 2020-12-18 2021-04-09 平安科技（深圳）有限公司 头部ct图像检测装置、方法、电子设备及存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013872A1 (en) * 2003-07-17 2005-01-20 Toby Freyman Decellularized bone marrow extracellular matrix
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN106780652A (zh) * 2017-01-10 2017-05-31 首都医科大学附属北京友谊医院 医学数据处理方法及装置
CN107133638A (zh) * 2017-04-01 2017-09-05 中南民族大学 基于两分类器的多参数mri前列腺癌cad方法及系统
CN108389614A (zh) * 2018-03-02 2018-08-10 西安交通大学 基于图像分割与卷积神经网络构建医学影像图谱的方法
CN108647684A (zh) * 2018-05-02 2018-10-12 深圳市唯特视科技有限公司 一种基于引导注意力推理网络的弱监督语义分割方法
CN109117781A (zh) * 2018-08-07 2019-01-01 北京飞搜科技有限公司 多属性识别模型的建立方法、装置及多属性识别方法
CN109191446A (zh) * 2018-08-30 2019-01-11 北京深睿博联科技有限责任公司 用于肺结节分割的图像处理方法及装置
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN110148091A (zh) * 2019-04-10 2019-08-20 深圳市未来媒体技术研究院 基于非局部注意力机制的神经网络模型及图像超分辨方法
CN110168573A (zh) * 2016-11-18 2019-08-23 易享信息技术有限公司 用于图像标注的空间注意力模型
CN110211139A (zh) * 2019-06-12 2019-09-06 安徽大学 自动分割食管癌放疗靶区和危及器官的方法及系统
CN110264460A (zh) * 2019-06-24 2019-09-20 科大讯飞股份有限公司 一种目标检测结果的鉴别方法、装置、设备及存储介质
CN110532955A (zh) * 2019-08-30 2019-12-03 中国科学院宁波材料技术与工程研究所 基于特征注意力和子上采样的实例分割方法和装置
CN110706200A (zh) * 2019-09-02 2020-01-17 杭州深睿博联科技有限公司 数据预测的方法及装置
CN110706793A (zh) * 2019-09-25 2020-01-17 天津大学 一种基于注意力机制的甲状腺结节半监督分割方法
WO2020028382A1 (en) * 2018-07-30 2020-02-06 Memorial Sloan Kettering Cancer Center Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy
CN110807495A (zh) * 2019-11-08 2020-02-18 腾讯科技（深圳）有限公司 多标签分类方法、装置、电子设备及存储介质
CN110880035A (zh) * 2019-11-14 2020-03-13 北京推想科技有限公司 卷积神经网络的训练方法、装置及结节征象识别方法、装置

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013872A1 (en) * 2003-07-17 2005-01-20 Toby Freyman Decellularized bone marrow extracellular matrix
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN110168573A (zh) * 2016-11-18 2019-08-23 易享信息技术有限公司 用于图像标注的空间注意力模型
CN106780652A (zh) * 2017-01-10 2017-05-31 首都医科大学附属北京友谊医院 医学数据处理方法及装置
CN107133638A (zh) * 2017-04-01 2017-09-05 中南民族大学 基于两分类器的多参数mri前列腺癌cad方法及系统
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN108389614A (zh) * 2018-03-02 2018-08-10 西安交通大学 基于图像分割与卷积神经网络构建医学影像图谱的方法
CN108647684A (zh) * 2018-05-02 2018-10-12 深圳市唯特视科技有限公司 一种基于引导注意力推理网络的弱监督语义分割方法
WO2020028382A1 (en) * 2018-07-30 2020-02-06 Memorial Sloan Kettering Cancer Center Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy
CN109117781A (zh) * 2018-08-07 2019-01-01 北京飞搜科技有限公司 多属性识别模型的建立方法、装置及多属性识别方法
CN109191446A (zh) * 2018-08-30 2019-01-11 北京深睿博联科技有限责任公司 用于肺结节分割的图像处理方法及装置
CN110148091A (zh) * 2019-04-10 2019-08-20 深圳市未来媒体技术研究院 基于非局部注意力机制的神经网络模型及图像超分辨方法
CN110211139A (zh) * 2019-06-12 2019-09-06 安徽大学 自动分割食管癌放疗靶区和危及器官的方法及系统
CN110264460A (zh) * 2019-06-24 2019-09-20 科大讯飞股份有限公司 一种目标检测结果的鉴别方法、装置、设备及存储介质
CN110532955A (zh) * 2019-08-30 2019-12-03 中国科学院宁波材料技术与工程研究所 基于特征注意力和子上采样的实例分割方法和装置
CN110706200A (zh) * 2019-09-02 2020-01-17 杭州深睿博联科技有限公司 数据预测的方法及装置
CN110706793A (zh) * 2019-09-25 2020-01-17 天津大学 一种基于注意力机制的甲状腺结节半监督分割方法
CN110807495A (zh) * 2019-11-08 2020-02-18 腾讯科技（深圳）有限公司 多标签分类方法、装置、电子设备及存储介质
CN110880035A (zh) * 2019-11-14 2020-03-13 北京推想科技有限公司 卷积神经网络的训练方法、装置及结节征象识别方法、装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
HAOFAN WANG 等: "Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks", 《网络在线公开:HTTPS://ARXIV.ORG/ABS/1910.01279》 *
I.JUNAEDI 等: "Tuberculosis Detection In Chest X-Ray Images Using Optimized Gray Level Co-Occurrence Matrix Features", 《2019 INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATIONS TECHNOLOGY》 *
RAMPRASAATH R. SELVARAJU 等: "Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
SIVARAMAKRISHNAN RAJARAMAN 等: "Visualization and Interpretation of Convolutional Neural Network Predictions in Detecting Pneumonia in Pediatric Chest Radiographs", 《APPLIED SCIENCES》 *
杨晓兰: "基于深度学习的肺结节CT图像检索方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
陈健美: "基于密度聚类和多特征融合的医学图像识别研究", 《中国博士学位论文全文数据库 信息科技辑》 *
韩菲霏: "基于征象的肺部CT图像检索系统", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634226A (zh) * 2020-12-18 2021-04-09 平安科技（深圳）有限公司 头部ct图像检测装置、方法、电子设备及存储介质
CN112634226B (zh) * 2020-12-18 2024-05-14 平安科技（深圳）有限公司 头部ct图像检测装置、方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN111476775B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
Afshar et al. Covid-caps: A capsule network-based framework for identification of covid-19 cases from x-ray images
US11922626B2 (en) Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
Liz et al. Ensembles of convolutional neural network models for pediatric pneumonia diagnosis
CN107958230B (zh) 人脸表情识别方法及装置
WO2020260936A1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
US11120297B2 (en) Segmentation of target areas in images
CN109034218B (zh) 模型训练方法、装置、设备及存储介质
CN110503155A (zh) 一种信息分类的方法及相关装置、服务器
CN111694954B (zh) 图像分类方法、装置和电子设备
CN116848588A (zh) 医学图像中的健康状况特征的自动标注
Iqbal et al. AD-CAM: Enhancing interpretability of convolutional neural networks with a lightweight framework-from black box to glass box
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
Ignatius et al. Histogram Matched Chest X-Rays Based Tuberculosis Detection Using CNN.
Zang et al. Interpretable diabetic retinopathy diagnosis based on biomarker activation map
CN111476775B (zh) Dr征象识别装置和方法
Ju et al. CODENET: A deep learning model for COVID-19 detection
CN111462203B (zh) Dr病灶演化分析装置和方法
CN116665310B (zh) 基于弱监督学习的抽动障碍识别和分类方法及系统
CN113516003A (zh) 一种应用于智慧安防的基于识别模型的识别方法及装置
EP3955177B1 (en) Search method and information processing system
Thakral et al. An innovative intelligent solution incorporating artificial neural networks for medical diagnostic application
CN111582404B (zh) 内容分类方法、装置及可读存储介质
Biswas et al. XAI-FusionNet: Diabetic foot ulcer detection based on multi-scale feature fusion with explainable artificial intelligence
Vinta et al. Segmentation and Classification of Interstitial Lung Diseases Based on Hybrid Deep Learning Network Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant