CN111127432B - 一种医学图像检测方法、装置、设备及存储介质 - Google Patents

一种医学图像检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111127432B
CN111127432B CN201911349532.5A CN201911349532A CN111127432B CN 111127432 B CN111127432 B CN 111127432B CN 201911349532 A CN201911349532 A CN 201911349532A CN 111127432 B CN111127432 B CN 111127432B
Authority
CN
China
Prior art keywords
network
student
teacher
medical image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911349532.5A
Other languages
English (en)
Other versions
CN111127432A (zh
Inventor
唐雯
张荣国
李新阳
陈宽
王少康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN201911349532.5A priority Critical patent/CN111127432B/zh
Publication of CN111127432A publication Critical patent/CN111127432A/zh
Application granted granted Critical
Publication of CN111127432B publication Critical patent/CN111127432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种医学图像检测方法、装置、设备及存储介质。该方法包括：获取受检部位的医学图像、已训练完成的可用于分类的教师网络以及已训练完成的学生网络；将医学图像分别输入到教师网络和学生网络中，根据教师网络的输出结果、学生网络的输出结果和目标检测阈值，分别检测出医学图像中的每个像素点是否为感兴趣点。本发明实施例的技术方案，可通过利用未存在感兴趣点的第一样本图像以及各帧样本图像是否存在感兴趣点的人工标记结果，解决了人工标记困难和医学图像利用率低下的问题，达到了检测出医学图像中的感兴趣点的效果。

Description

一种医学图像检测方法、装置、设备及存储介质
技术领域
本发明实施例涉及医学图像处理技术领域，尤其涉及一种医学图像检测方法、装置、设备及存储介质。
背景技术
深度学习(Deep Learning)是机器学习的一个分支，其是一种以人工神经网络为架构来对数据进行表征学习的算法。
目前来看，深度学习在医学图像领域有众多应用，以医学图像中感兴趣点的检测和分割为例，其通常需要以大量的人工标注结果和存在感兴趣点的医学图像作为训练样本，方能得到一个有效的检测分割模型，感兴趣点可作为医护人员定位病灶点的参考因素。
但是，大量的人工标注耗费了太多的人力物力；而且，大部分的医学图像并未存在感兴趣点，例如，在电子计算机断层成像(Computed Tomography，CT)中，针对一个受检者的几百张CT序列，通常仅有几十张CT序列存在感兴趣点，这就造成了大量的无感兴趣点的医学图像的浪费。
发明内容
本发明实施例提供了一种医学图像检测方法、装置、设备及存储介质，解决了人工标记困难和医学图像利用率低下的问题。
第一方面，本发明实施例提供了一种医学图像检测方法，可以包括：
获取受检部位的医学图像、已训练完成的可用于分类的教师网络以及已训练完成的学生网络；
将医学图像分别输入到教师网络和学生网络中，根据教师网络的输出结果、学生网络的输出结果和目标检测阈值，分别检测出医学图像中的每个像素点是否为感兴趣点；
其中，学生网络是基于未存在感兴趣点的第一样本图像训练得到的，目标检测阈值是基于存在感兴趣点的第二样本图像测试得到的。
可选的，上述医学图像检测方法，还可以包括：
获取第一样本图像、第二样本图像和未经训练的原始学生网络；
基于第一样本图像对教师网络和原始学生网络进行训练，调节原始学生网络的网络参数，生成学生网络；
将第二样本图像分别输入到教师网络和学生网络中，根据教师网络的输出结果和学生网络的输出结果确定目标检测阈值。
可选的，基于第一样本图像对教师网络和原始学生网络进行训练，调节原始学生网络的网络参数，生成学生网络，可以包括：
将第一样本图像输入到教师网络和原始学生网络中，分别得到教师网络输出的教师特征图和原始学生网络输出的学生特征图；
针对教师特征图中目标教师特征点的教师特征向量，以及，学生特征图中与目标教师特征点对应的目标学生特征点的学生特征向量，根据教师特征向量和学生特征向量的距离，确定损失函数；
将损失函数反向输入到原始学生网络中，调节原始学生网络的网络参数，生成学生网络。
可选的，根据教师网络的输出结果和学生网络的输出结果确定目标检测阈值，可以包括：
根据教师网络输出的第一特征图和学生网络输出的第二特征图，分别得到第一特征图中第一特征点的第一特征向量，以及，第二特征图中与第一特征点对应的第二特征点的第二特征向量；
根据第一特征向量和第二特征向量的距离确定目标检测阈值。
可选的，学生网络的数量是至少两个，根据第一特征向量和第二特征向量的距离确定目标检测阈值，可以包括：
根据第一特征向量和各个第二特征向量的距离确定第一目标检测阈值，并根据各个第二特征向量的距离确定第二目标检测阈值；
根据教师网络的输出结果、学生网络的输出结果和目标检测阈值，分别检测出医学图像中的每个像素点是否为感兴趣点，包括：
根据教师网络输出的第三特征图、各个学生网络分别输出的第四特征图、第一目标检测阈值和第二目标检测阈值，分别检测出医学图像中的每个像素点是否为感兴趣点。
可选的，根据教师网络输出的第三特征图、各个学生网络分别输出的第四特征图、第一目标检测阈值和第二目标检测阈值，分别检测出医学图像中的每个像素点是否为感兴趣点，可以包括：
针对医学图像中的目标像素点，根据教师网络输出的第三特征图中与目标像素点对应的第三特征点的第三特征向量、各学生网络分别输出的第四特征图中与目标像素点对应的第四特征点的第四特征向量以及第一目标检测阈值，得到目标像素点是否为感兴趣点的第一检测结果；
根据各第四特征向量和第二目标检测阈值，得到目标像素点是否为感兴趣点的第二检测结果；
根据第一检测结果和第二检测结果，确定出目标像素点是否为感兴趣点。
可选的，上述医学图像检测方法，还可以包括：
根据检测结果从医学图像上分割出感兴趣点。
第二方面，本发明实施例还提供了一种医学图像检测装置，该装置可包括：
获取模块，用于获取受检部位的医学图像、已训练完成的可用于分类的教师网络以及已训练完成的学生网络；
检测模块，用于将医学图像分别输入到教师网络和学生网络中，根据教师网络的输出结果、学生网络的输出结果和目标检测阈值，分别检测出医学图像中的每个像素点是否为感兴趣点；
其中，学生网络是基于未存在感兴趣点的第一样本图像训练得到的，目标检测阈值是基于存在感兴趣点的第二样本图像测试得到的。
第三方面，本发明实施例还提供了一种设备，该设备可以包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的医学图像检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的医学图像检测方法。
本发明实施例的技术方案，通过获取受检部位的医学图像、已训练完成的可用于分类的教师网络以及基于未存在感兴趣点的第一样本图像训练得到的学生网络，并将医学图像分别输入到教师网络和学生网络中，根据教师网络的输出结果、学生网络的输出结果和基于存在感兴趣点的第二样本图像测试得到的目标检测阈值，可以分别检测出医学图像中的每个像素点是否为感兴趣点。上述技术方案，可通过利用未存在感兴趣点的第一样本图像以及各帧样本图像是否存在感兴趣点的人工标记结果，解决了人工标记困难和医学图像利用率低下的问题，达到了检测出医学图像中的感兴趣点的效果。
附图说明
图1是本发明实施例一中的一种医学图像检测方法的流程图；
图2是本发明实施例二中的一种医学图像检测方法的流程图；
图3是本发明实施例二中的一种医学图像检测方法的优选实施例图；
图4是本发明实施例三中的一种医学图像检测装置的结构框图；
图5是本发明实施例四中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中提供的一种医学图像检测方法的流程图。本实施例可适用于基于教师学生网络检测出医学图像中的感兴趣点的情况，尤其适用于基于教师学生网络检测出医学图像中的感兴趣点，且学生网络是基于未存在感兴趣点的医学图像训练得到的情况。该方法可以由本发明实施例提供的医学图像检测装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在各种设备上。参见图1，本发明实施例的方法具体包括如下步骤：
S110、获取受检部位的医学图像、已训练完成的可用于分类的教师网络以及已训练完成的学生网络，其中，学生网络是基于未存在感兴趣点的第一样本图像训练得到的。
其中，医学图像可以是基于各种医疗设备采集得到的图像，比如电子计算机断层扫描图像、磁共振图像、正电子发射型计算机断层图像、超声图像等等，在此未做具体限定。且，第一样本图像是未存在感兴趣点的医学图像。
教师网络可以是已训练完成的可用于分类和/或分割的神经网络，且其分类对象可以是任意的，并非局限于医学图像。示例性的，教师网络可从一帧自然图像中分类出人像像素点和非人像像素点，也可从一帧医学图像上分类出骨骼像素点和软组织像素点，等等。而且，教师网络可用于帮助原始学生网络进行训练以生成学生网络，训练样本包括未存在感兴趣点的第一样本图像，此时，因学生网络是在教师网络的帮助下完成训练，则当将某一未存在感兴趣点的医学图像分别输入到教师网络和学生网络时，二者的输出结果将趋于一致，这是因为学生网络在训练过程中可不断地学习教师网络的输出结果。
需要说明的是，教师网络和学生网络的网络类型可以有多种选择，比如残差网络(Resnet)、Densenet、Resnext、Se-resnet、Se-resnext等等。通常情况下，学生网络可以是比教师网络更轻量级的神经网络，或是说，学生网络的卷积核数可小于教师网络的卷积核数。例如，教师网络可以是101层的残差网络，而学生网络可以是18层的残差网络；再比如，教师网络可以是层数比较深的残差网络，而学生网络可以是一些轻量级网络如vggnet、alexnet等等。
S120、将医学图像分别输入到教师网络和学生网络中，根据教师网络的输出结果、学生网络的输出结果和目标检测阈值，分别检测出医学图像中的每个像素点是否为感兴趣点，其中，目标检测阈值是基于存在感兴趣点的第二样本图像测试得到的。
其中，学生网络是基于未存在感兴趣点的第一样本图像且在教师网络的帮助下训练得到的，这样一来，对于将分别输入到教师网络和学生网络中的医学图像的每个像素点，当某一像素点不是感兴趣点时，学生网络和教师网络的输出结果的相似度较高，这是因为学生网络正是基于未存在感兴趣点的第一样本图像来学习教师网络的输出结果；相应的，当某一像素点是感兴趣点时，教师网络和学生网络的输出结果的相似度较低，这是因为学生网络在训练过程中未涉及到感兴趣点，也就是说，针对感兴趣点，学生网络还未学会教师网络的输出结果。由此，可设置一个基于存在感兴趣点的第二样本图像测试得到的目标检测阈值，以目标检测阈值为检测标准，根据教师网络的输出结果和学生网络的输出结果间的相似性，检测出医学图像中的每一像素点是否为感兴趣点。在此基础上，可选的，还可以根据检测结果从医学图像上分割出感兴趣点，这感兴趣点可作为医护人员定位病灶点的重要参考因素。
需要说明的是，首先，教师网络和学生网络的输出结果的具体呈现形式可根据实际应用场景而设置，在此未做具体限定。其次，目标检测阈值虽然是基于存在感兴趣点的第二样本图像测试得到的，但在这一测试过程中，医护人员只需从多帧医学图像中挑选出存在感兴趣点的第二样本图像，而无需对每帧第二样本图像中的各个感兴趣点进行一一标记，这可极大的减少了人工成本和时间成本，并加快了开发周期。再次，学生网络通过对未存在感兴趣点的第一样本图像的学习，可检测出医学图像中的感兴趣点，这极大的利用了整体数据集，减少了对极少数的存在感兴趣点的数据集的需求。
本发明实施例的技术方案，通过获取受检部位的医学图像、已训练完成的可用于分类的教师网络以及基于未存在感兴趣点的第一样本图像训练得到的学生网络，并将医学图像分别输入到教师网络和学生网络中，根据教师网络的输出结果、学生网络的输出结果和基于存在感兴趣点的第二样本图像测试得到的目标检测阈值，可以分别检测出医学图像中的每个像素点是否为感兴趣点。上述技术方案，可通过利用未存在感兴趣点的第一样本图像以及各帧样本图像是否存在感兴趣点的人工标记结果，解决了人工标记困难和医学图像利用率低下的问题，达到了检测出医学图像中的感兴趣点的效果。
实施例二
图2是本发明实施例二中提供的一种医学图像检测方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，上述医学图像检测方法，还可以包括：获取第一样本图像、第二样本图像和未经训练的原始学生网络；基于第一样本图像对教师网络和原始学生网络进行训练，调节原始学生网络的网络参数，生成学生网络；将第二样本图像分别输入到教师网络和学生网络中，根据教师网络的输出结果和学生网络的输出结果确定目标检测阈值。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图2，本实施例的方法具体可以包括如下步骤：
S210、获取未存在感兴趣点的第一样本图像、已训练完成的可用于分类的教师网络和未经训练的原始学生网络，并基于第一样本图像对教师网络和原始学生网络进行训练，调节原始学生网络的网络参数，生成学生网络。
其中，教师网络的网络参数是可用于分类和/或分割的有意义的网络参数，原始学生网络的网络参数是未经训练的原始的网络参数。在此基础上，可将第一样本图像分别输入到教师网络和原始学生网络中，根据教师网络的输出结果和原始学生网络的输出结果，在教师网络的网络参数保持不变的情况下，通过反复调节原始学生网络的网络参数的方式，使得原始学生网络的输出结果和教师网络的输出结果不断趋于一致，由此生成学生网络。
需要说明的是，首先，经过上述训练步骤得到的学生网络，只能学习到教师网络的输出结果，而无法学习到教师网络的网络参数，这样一来，一旦教师网络和学生网络的输入数据发生些许变化，比如，当输入数据是存在感兴趣点的医学图像时，教师网络的输出结果和学生网络的输出结果就可能存在较大差异，且当学生网络的数量是多个时，各个学生网络的输出结果也可能存在较大差异，这也正是判断医学图像中是否存在感兴趣点的关键所在。其次，教师网络的网络参数与感兴趣点的分类可能相关也可能不相关，这主要取决于教师网络的训练样本是什么，但是，这并不影响学生网络的训练结果。
在此基础上，可选的，可通过如下步骤生成学生网络：将第一样本图像输入到教师网络和原始学生网络中，分别得到教师网络输出的教师特征图和原始学生网络输出的学生特征图；针对教师特征图中目标教师特征点的教师特征向量，以及，学生特征图中与目标教师特征点对应的目标学生特征点的学生特征向量，根据教师特征向量和学生特征向量的距离，确定损失函数；将损失函数反向输入到原始学生网络中，调节原始学生网络的网络参数，生成学生网络。
这样设置的原因在于：因教师网络和学生网络的输入数据均是第一样本图像，这使得各个目标教师特征点和各个目标学生特征点，或是说，各个教师特征向量和各个学生特征向量间存在一一对应的关系。当教师特征图和学生特征图的大小均是H*W*C时，每个教师特征向量和每个学生特征向量的大小亦是1*C。由此，在1*C特征向量所在的特征空间上，可根据存在对应关系的教师特征向量和学生特征向量间的距离确定损失函数。或是说，因教师特征图中存在多个教师特征向量且学生特征图中亦存在数量相当的学生特征向量，则可根据全部的存在对应关系的教师特征向量和学生特征向量间的距离，共同确定损失函数，该损失函数可以是各个距离的均值或是总和。当然，原始学生网络的网络参数的优化目标就是距离最小化，距离最小化意味着学生网络已基本学习到教师网络的输出结果。可选的，当存在多个原始学生网络时，各个原始学生网络的网络参数可分别优化，由此生成并非完全相同的学生网络。
S220、获取存在感兴趣点的第二样本图像，并将第二样本图像分别输入到教师网络和学生网络中，根据教师网络的输出结果和学生网络的输出结果确定目标检测阈值。
其中，经由上述步骤生成的学生网络，当输入数据不是未存在感兴趣点的医学图像时，其输出结果和教师网络的输出结果和/或各个学生网络的输出结果就很可能存在较大差异，由此，可设置目标检测阈值这一指标来量化这一差异。具体的，可将存在感兴趣点的第二样本图像分别输入到教师网络和学生网络中，根据教师网络的输出结果和学生网络的输出结果确定出目标检测阈值。当教师网络和学生网络的输出结果通过不同形式呈现时，目标检测阈值的确定方法亦可有所差异。示例性的，教师网络的输出结果是第一特征图，学生网络的输出结果是第二特征图，可通过如下步骤确定目标检测阈值：分别得到第一特征图中第一特征点的第一特征向量，以及，第二特征图中与第一特征点对应的第二特征点的第二特征向量；根据第一特征向量和第二特征向量的距离确定目标检测阈值。这样一来，针对多个第一特征点的第一特征向量和多个第二特征点的第二特征向量，可以计算出多个存在对应关系的第一特征向量和第二特征向量的距离，然后，可根据这多个距离的均值或是最大值确定出目标检测阈值，如目标检测阈值可以是最大值或是最大值和均值之间的某个数值等等。即，距离是以特征点为单位进行计算的，但目标检测阈值可以将各个距离分为两类。
S230、获取受检部位的医学图像，并将医学图像分别输入到教师网络和学生网络中，根据教师网络的输出结果、学生网络的输出结果和目标检测阈值，分别检测出医学图像中的每个像素点是否为感兴趣点。
其中，继续以上述示例为例，针对医学图像中的某一像素点，可从教师网络和学生网络的输出结果中分别提取出这一像素点的特征向量，根据这两个特征向量的距离和目标检测阈值，可检测出该像素点是否为感兴趣点。比如，若这两个特征向量间的距离大于目标检测阈值，则可将该像素点作为感兴趣点，且这两个特征向量间的距离越大，则说明该像素点是感兴趣点的可能性越大。
本发明实施例的技术方案，通过基于未存在感兴趣点的医学图像对原始学生网络进行训练，并基于存在感兴趣点的医学图像测试得出目标检测阈值的技术手段，解决了人工标记困难和医学图像利用率低下的问题。
一种可选的技术方案，学生网络的数量是至少两个，根据第一特征向量和第二特征向量的距离确定目标检测阈值，具体可以包括：根据第一特征向量和各第二特征向量的距离确定第一目标检测阈值，并根据各第二特征向量的距离确定第二目标检测阈值；相应的，根据教师网络的输出结果、学生网络的输出结果和目标检测阈值，分别检测出医学图像中的每个像素点是否为感兴趣点，具体可以包括：根据教师网络输出的第三特征图、各个学生网络分别输出的第四特征图、第一目标检测阈值和第二目标检测阈值，分别检测出医学图像中的每个像素点是否为感兴趣点。
以学生网络的数量是3个为例，对上述步骤进行示例性说明：针对在教师网络和3个学生网络中存在对应关系的某一特征向量(即，存在对应关系的1个第一特征向量和3个第二特征向量)，可以先计算出第二特征向量A、第二特征向量B和第二特征向量C的均值向量，再计算出均值向量和第一特征向量间的距离，这距离可以是欧式距离、法式距离等等，这距离是将3个学生网络作为一个整体来呈现出这个整体和教师网络间的差异性。由于距离是以特征向量为单位进行计算的，这样一来，可根据全部的特征向量的距离确定出第一目标检测阈值。类似的，可计算出这3个第二特征向量的距离的方差，这方差可呈现出3个学生网络之间的差异性。由于方差也是以特征向量为单位进行计算的，由此，根据全部的特征向量的方差即可确定出第二目标检测阈值。
在此基础上，可根据教师网络输出的第三特征图、各个学生网络分别输出的第四特征图、第一目标检测阈值和第二目标检测阈值，分别检测出医学图像中的每个像素点是否为感兴趣点。也就是说，可根据教师网络输出的第三特征图、各个学生网络分别输出的第四特征图和第一目标检测阈值，以及，根据各个学生网络分别输出的第四特征图和第二目标检测阈值，可分别检测出医学图像中的每个像素点是否为感兴趣点。
上述过程是以像素点为单位或是说以特征向量为单位进行的，由此，以医学图像中的目标像素点为例，该目标像素点是医学图像中的任一像素点，可根据教师网络输出的第三特征图中与目标像素点对应的第三特征点的第三特征向量、各学生网络分别输出的第四特征图中与目标像素点对应的第四特征点的第四特征向量和第一目标检测阈值，得到目标像素点是否为感兴趣点的第一检测结果，示例性的，可先计算出各第四特征向量的均值向量，再计算出均值向量和第三特征向量的距离，将这一距离和第一目标检测阈值进行比较，根据比较结果可得到目标像素点是否为感兴趣点的第一检测结果；进一步，根据各第四特征向量和第二目标检测阈值，得到目标像素点是否为感兴趣点的第二检测结果，示例性的，计算出各第四特征向量间距离的方差，将这一方差和第二目标检测阈值进行比较，根据比较结果可得到目标像素点是否为感兴趣点的第二检测结果；再进一步，根据第一检测结果和第二检测结果，确定出目标像素点是否为感兴趣点，示例性的，当第一检测结果和/或第二检测结果将目标像素点作为感兴趣点时，可将目标像素点检测为感兴趣点。
为了更好地理解上述步骤的具体实现过程，继续以学生网络的数量是3个为例，对本实施例的医学图像检测方法进行示例性的说明。示例性的，如图3所示，在将医学图像(即，图3中的输入图像)分别输入到已训练完成的教师网络和学生网络后，针对医学图像中的目标像素点，在特征空间中可包括从3个学生网络的输出结果中分别提取出的目标像素点的3个学生特征向量(即，图3中的未含有黑色直线的灰色圆圈)，以及从教师网络的输出结果中提取出的目标像素点的1个教师特征向量(即，图3中的含有黑色直线的灰色圆圈)，其中，黑色实心圆圈是3个学生特征向量的均值向量，黑色虚线的长度可表示均值向量和教师特征向量的距离。如图3所示，第一象限和第二象限分别是两个目标像素点的示意图，由此可看出，第一象限中的目标像素点是感兴趣点的可能性更大，因为其均值向量和教师特征向量间的距离更大。另外，特征图片是医学图像中每个目标像素点的距离(即，均值向量和教师特征向量的距离)的示意图，是未做阈值处理的图片；结果图片是基于预先得到的第一目标检测阈值对特征图片进行阈值处理后的图片，是感兴趣点的检测结果。
实施例三
图4为本发明实施例三提供的医学图像检测装置的结构框图，该装置用于执行上述任意实施例所提供的医学图像检测方法。该装置与上述各实施例的医学图像检测方法属于同一个发明构思，在医学图像检测装置的实施例中未详尽描述的细节内容，可以参考上述医学图像检测方法的实施例。参见图4，该装置具体可包括：获取模块310和检测模块320。
其中，获取模块310，用于获取受检部位的医学图像、已训练完成的可用于分类的教师网络以及已训练完成的学生网络；
检测模块320，用于将医学图像分别输入到教师网络和学生网络中，根据教师网络的输出结果、学生网络的输出结果和目标检测阈值，分别检测出医学图像中的每个像素点是否为感兴趣点；
其中，学生网络是基于未存在感兴趣点的第一样本图像训练得到的，目标检测阈值是基于存在感兴趣点的第二样本图像测试得到的。
可选的，在上述装置的基础上，该装置还可包括：
学生网络生成模块，用于获取第一样本图像、第二样本图像和未经训练的原始学生网络，并基于第一样本图像对教师网络和原始学生网络进行训练，调节原始学生网络的网络参数，生成学生网络；
目标检测阈值确定模块，用于将第二样本图像分别输入到教师网络和学生网络中，根据教师网络的输出结果和学生网络的输出结果确定目标检测阈值。
可选的，学生网络生成模块，具体可以包括：
样本图像输入单元，用于将第一样本图像输入到教师网络和原始学生网络中，分别得到教师网络输出的教师特征图和原始学生网络输出的学生特征图；
损失函数确定单元，用于针对教师特征图中目标教师特征点的教师特征向量，以及，学生特征图中与目标教师特征点对应的目标学生特征点的学生特征向量，根据教师特征向量和学生特征向量的距离，确定损失函数；
学生网络生成单元，用于将损失函数反向输入到原始学生网络中，调节原始学生网络的网络参数，生成学生网络。
可选的，目标检测阈值确定模块，具体可以包括：
特征向量得到单元，用于根据教师网络输出的第一特征图和学生网络输出的第二特征图，分别得到第一特征图中第一特征点的第一特征向量，以及，第二特征图中与第一特征点对应的第二特征点的第二特征向量；
目标检测阈值确定单元，用于根据第一特征向量和第二特征向量的距离确定目标检测阈值。
可选的，学生网络的数量是至少两个，目标检测阈值确定单元，可以用于：
根据第一特征向量和各个第二特征向量的距离确定第一目标检测阈值，并根据各个第二特征向量的距离确定第二目标检测阈值；
相应的，检测模块320，具体可以包括：
感兴趣点检测单元，用于根据教师网络输出的第三特征图、各个学生网络分别输出的第四特征图、第一目标检测阈值和第二目标检测阈值，分别检测出医学图像中的每个像素点是否为感兴趣点。
可选的，感兴趣点检测单元，具体可以用于：
针对医学图像中的目标像素点，根据教师网络输出的第三特征图中与目标像素点对应的第三特征点的第三特征向量、各学生网络分别输出的第四特征图中与目标像素点对应的第四特征点的第四特征向量以及第一目标检测阈值，得到目标像素点是否为感兴趣点的第一检测结果；
根据各第四特征向量和第二目标检测阈值，得到目标像素点是否为感兴趣点的第二检测结果；
根据第一检测结果和第二检测结果，确定出目标像素点是否为感兴趣点。
可选的，在上述装置的基础上，该装置还可包括：
感兴趣点分割模块，用于根据检测结果从医学图像上分割出感兴趣点。
本发明实施例三提供的医学图像检测装置，通过获取模块获取受检部位的医学图像、已训练完成的可用于分类的教师网络及基于未存在感兴趣点的第一样本图像训练得到的学生网络；检测模块将医学图像分别输入到教师网络和学生网络中，根据教师网络的输出结果、学生网络的输出结果和基于存在感兴趣点的第二样本图像测试得到的目标检测阈值，可分别检测出医学图像中的每个像素点是否为感兴趣点。上述装置，可通过利用未存在感兴趣点的第一样本图像以及各帧样本图像是否存在感兴趣点的人工标记结果，解决了人工标记困难和医学图像利用率低下的问题，达到了检测出医学图像中的感兴趣点的效果。
本发明实施例所提供的医学图像检测装置可执行本发明任意实施例所提供的医学图像检测方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述医学图像检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例四
图5为本发明实施例四提供的一种设备的结构示意图，如图5所示，该设备包括存储器410、处理器420、输入装置430和输出装置440。设备中的处理器420的数量可以是一个或多个，图5中以一个处理器420为例；设备中的存储器410、处理器420、输入装置430和输出装置440可以通过总线或其它方式连接，图5中以通过总线450连接为例。
存储器410作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的医学图像检测方法对应的程序指令/模块(例如，医学图像检测装置中的获取模块310和检测模块320)。处理器420通过运行存储在存储器410中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的医学图像检测方法。
存储器410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器410可进一步包括相对于处理器420远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
本发明实施例五提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种医学图像检测方法，该方法包括：
获取受检部位的医学图像、已训练完成的可用于分类的教师网络以及已训练完成的学生网络；
将医学图像分别输入到教师网络和学生网络中，根据教师网络的输出结果、学生网络的输出结果和目标检测阈值，分别检测出医学图像中的每个像素点是否为感兴趣点；
其中，学生网络是基于未存在感兴趣点的第一样本图像训练得到的，目标检测阈值是基于存在感兴趣点的第二样本图像测试得到的。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的医学图像检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种医学图像检测方法，其特征在于，包括：
获取受检部位的医学图像、已训练完成的可用于分类的教师网络以及已训练完成的学生网络；
将所述医学图像分别输入到所述教师网络和所述学生网络中，根据所述教师网络的输出结果、所述学生网络的输出结果和目标检测阈值，分别检测出所述医学图像中的每个像素点是否为感兴趣点；
其中，所述学生网络是基于未存在所述感兴趣点的第一样本图像训练得到的，所述目标检测阈值是将存在所述感兴趣点的第二样本图像分别输入到所述教师网络和所述学生网络中，并根据所述教师网络的输出结果和所述学生网络的输出结果确定的。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取所述第一样本图像、所述第二样本图像和未经训练的原始学生网络；
基于所述第一样本图像对所述教师网络和所述原始学生网络进行训练，调节所述原始学生网络的网络参数，生成所述学生网络；
将所述第二样本图像分别输入到所述教师网络和所述学生网络中，根据所述教师网络的输出结果和所述学生网络的输出结果确定所述目标检测阈值。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一样本图像对所述教师网络和所述原始学生网络进行训练，调节所述原始学生网络的网络参数，生成所述学生网络，包括：
将所述第一样本图像输入到所述教师网络和所述原始学生网络中，分别得到所述教师网络输出的教师特征图和所述原始学生网络输出的学生特征图；
针对所述教师特征图中目标教师特征点的教师特征向量，以及，所述学生特征图中与所述目标教师特征点对应的目标学生特征点的学生特征向量，根据所述教师特征向量和所述学生特征向量的距离，确定损失函数；
将所述损失函数反向输入到所述原始学生网络中，调节所述原始学生网络的网络参数，生成所述学生网络。
4.根据权利要求2所述的方法，其特征在于，所述根据所述教师网络的输出结果和所述学生网络的输出结果确定所述目标检测阈值，包括：
根据所述教师网络输出的第一特征图和所述学生网络输出的第二特征图，分别得到所述第一特征图中第一特征点的第一特征向量，以及，所述第二特征图中与所述第一特征点对应的第二特征点的第二特征向量；
根据所述第一特征向量和所述第二特征向量的距离确定所述目标检测阈值。
5.根据权利要求4所述的方法，其特征在于，所述学生网络的数量是至少两个，所述根据所述第一特征向量和所述第二特征向量的距离确定所述目标检测阈值，包括：
根据所述第一特征向量和各个所述第二特征向量的距离确定第一目标检测阈值，并根据各个所述第二特征向量的距离确定第二目标检测阈值；
所述根据所述教师网络的输出结果、所述学生网络的输出结果和目标检测阈值，分别检测出所述医学图像中的每个像素点是否为感兴趣点，包括：
根据所述教师网络输出的第三特征图、各个所述学生网络分别输出的第四特征图、所述第一目标检测阈值和所述第二目标检测阈值，分别检测出所述医学图像中的每个像素点是否为感兴趣点。
6.根据权利要求5所述的方法，其特征在于，所述根据所述教师网络输出的第三特征图、各个所述学生网络分别输出的第四特征图、所述第一目标检测阈值和所述第二目标检测阈值，分别检测出所述医学图像中的每个像素点是否为感兴趣点，包括：
针对所述医学图像中的目标像素点，根据所述教师网络输出的第三特征图中与所述目标像素点对应的第三特征点的第三特征向量、各所述学生网络分别输出的第四特征图中与所述目标像素点对应的第四特征点的第四特征向量以及所述第一目标检测阈值，得到所述目标像素点是否为感兴趣点的第一检测结果；
根据各所述第四特征向量和所述第二目标检测阈值，得到所述目标像素点是否为所述感兴趣点的第二检测结果；
根据所述第一检测结果和所述第二检测结果，确定出所述目标像素点是否为所述感兴趣点。
7.根据权利要求1所述的方法，其特征在于，还包括：根据检测结果从所述医学图像上分割出所述感兴趣点。
8.一种医学图像检测装置，其特征在于，包括：
获取模块，用于获取受检部位的医学图像、已训练完成的可用于分类的教师网络以及已训练完成的学生网络；
检测模块，用于将所述医学图像分别输入到所述教师网络和所述学生网络中，根据所述教师网络的输出结果、所述学生网络的输出结果和目标检测阈值，分别检测出所述医学图像中的每个像素点是否为感兴趣点；
其中，所述学生网络是基于未存在所述感兴趣点的第一样本图像训练得到的，所述目标检测阈值是将存在所述感兴趣点的第二样本图像分别输入到所述教师网络和所述学生网络中，并根据所述教师网络的输出结果和所述学生网络的输出结果确定的。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的医学图像检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的医学图像检测方法。
CN201911349532.5A 2019-12-24 2019-12-24 一种医学图像检测方法、装置、设备及存储介质 Active CN111127432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911349532.5A CN111127432B (zh) 2019-12-24 2019-12-24 一种医学图像检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911349532.5A CN111127432B (zh) 2019-12-24 2019-12-24 一种医学图像检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111127432A CN111127432A (zh) 2020-05-08
CN111127432B true CN111127432B (zh) 2021-01-12

Family

ID=70502020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911349532.5A Active CN111127432B (zh) 2019-12-24 2019-12-24 一种医学图像检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111127432B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819043B (zh) * 2021-01-19 2023-10-10 东北大学 一种基于arm的深度学习轻量化肺结节分类方法
CN113378712B (zh) * 2021-06-10 2023-07-04 北京百度网讯科技有限公司 物体检测模型的训练方法、图像检测方法及其装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764112A (zh) * 2018-05-23 2018-11-06 上海理工大学 一种遥感图像目标物检测方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101169867B (zh) * 2007-12-04 2011-02-16 北京中星微电子有限公司 图像分割方法、图像处理设备及系统
CN103226708B (zh) * 2013-04-07 2016-06-29 华南理工大学 一种基于Kinect的多模型融合视频人手分割方法
US10262401B2 (en) * 2017-04-27 2019-04-16 Apple Inc. Noise reduction using sequential use of multiple noise models
CN107247989B (zh) * 2017-06-15 2020-11-24 北京图森智途科技有限公司 一种实时的计算机视觉处理方法及装置
CN109389594B (zh) * 2018-10-09 2020-12-25 东北大学 一种宫颈癌组织显微图像处理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764112A (zh) * 2018-05-23 2018-11-06 上海理工大学 一种遥感图像目标物检测方法及设备

Also Published As

Publication number Publication date
CN111127432A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
US10936911B2 (en) Logo detection
US10810735B2 (en) Method and apparatus for analyzing medical image
JP7458328B2 (ja) マルチ分解能登録を介したマルチサンプル全体スライド画像処理
KR101640998B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
CN112381104B (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN108229522B (zh) 神经网络的训练方法、属性检测方法、装置及电子设备
CN110472494A (zh) 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
CN114399644A (zh) 一种基于小样本目标检测方法及装置
CN113592807B (zh) 一种训练方法、图像质量确定方法及装置、电子设备
CN108229494B (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
CN111127432B (zh) 一种医学图像检测方法、装置、设备及存储介质
CN112102929A (zh) 医学图像标注方法、装置、存储介质及电子设备
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN113033305B (zh) 活体检测方法、装置、终端设备和存储介质
CN109919149A (zh) 基于物体检测模型的物体标注方法及相关设备
CN113706562B (zh) 图像分割方法、装置、系统及细胞分割方法
CN110399900A (zh) 对象检测方法、装置、设备及介质
CN114266896A (zh) 图像标注方法、模型训练方法及装置、电子设备、介质
CN109558505A (zh) 视觉搜索方法、装置、计算机设备及存储介质
CN117745736A (zh) 一种基于元学习的跨域小样本ct图像语义分割系统及方法
CN112750124B (zh) 模型生成、图像分割方法、装置、电子设备及存储介质
CN113222989B (zh) 一种图像分级方法、装置、存储介质及电子设备
Naegel et al. Interactive segmentation based on component-trees

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant after: Tuxiang Medical Technology Co., Ltd

Address before: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant before: Beijing Tuoxiang Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant