CN112634224A - 基于目标影像的病灶检测方法和装置 - Google Patents

基于目标影像的病灶检测方法和装置 Download PDF

Info

Publication number
CN112634224A
CN112634224A CN202011503029.3A CN202011503029A CN112634224A CN 112634224 A CN112634224 A CN 112634224A CN 202011503029 A CN202011503029 A CN 202011503029A CN 112634224 A CN112634224 A CN 112634224A
Authority
CN
China
Prior art keywords
slice
current
focus
current reference
current query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011503029.3A
Other languages
English (en)
Other versions
CN112634224B (zh
Inventor
陈梓帆
张立
季加孚
董彬
赵杰
唐磊
李佳铮
刘一婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Beijing Cancer Hospital
Original Assignee
Peking University
Beijing Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, Beijing Cancer Hospital filed Critical Peking University
Priority to CN202011503029.3A priority Critical patent/CN112634224B/zh
Publication of CN112634224A publication Critical patent/CN112634224A/zh
Application granted granted Critical
Publication of CN112634224B publication Critical patent/CN112634224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种基于目标影像的病灶检测方法和装置，该方法包括：提取待检测的目标影像；对于当前循环，获取当前查询切片中病灶的预测位置；将当前查询切片和当前查询切片中病灶的预测位置输入至病灶检测模型的修正模块，获取当前查询切片中病灶的修正位置；利用当前查询切片中病灶的修正位置更新所述当前参考切片，重复上述步骤，直到目标影像中病灶的区域面积小于预设阈值。本发明通过将目标影像中的病灶检测分为两个阶段，提取阶段和修正阶段，在提取阶段中进行病灶位置的粗预测，在修正阶段中进行病灶位置的精预测，以此来提高病灶位置的预测精度。

Description

基于目标影像的病灶检测方法和装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于目标影像的病灶检测方法和装置。
背景技术
最近几年，深度卷积神经网络被广泛应用于医学图像处理上并且取得了成功。与传统的计算机视觉任务不同，医学影像处理由于具有更少的数据量和数据标注、更复杂的3D结构以及上下文信息使得该任务更具挑战。对于病灶的分割是医学影像处理中的一项重要的任务。
某现有技术提出了用来脑肿瘤分割的BraTs数据集，并且举办分割比赛。另一现有技术提出了一个包含1个编码器和2个解码器的网络结构，使得能够在分割脑部肿瘤的同时引入正则化约束，提高模型的性能。
某现有模型能够在少数据量的数据中学到更好的模型参数，并且取得了BraTs2018数据集上最好的效果。又一现有技术将卷积的基本形式在特定层次上换成可变形的、有弹性的卷积，以适应检测目标刚性特征并且具有更大的感受野，并在胃肿瘤的数字病理图像上进行了实验。再一现有技术提出了NoduleNet，以多任务方式共同解决肺癌的结节检测、假阳性抑制和结节分割问题。
但是CT影像中的病灶因为其形状多变、边缘模糊，直接采用上述方法并不能达到很好的检测精度。因此，亟需一种高精度的病灶检测方法。
发明内容
本发明提供一种基于目标影像的病灶检测方法和装置，用以解决现有技术中病灶检测精度低的缺陷，实现高精度的病灶检测。
本发明提供一种基于目标影像的病灶检测方法，包括：
提取待检测的目标影像，所述目标影像由若干个切片组成，将第j个切片作为当前参考切片，将所述当前参考切片的前k个切片和所述当前参考切片的后k个切片均作为当前查询切片；
对于当前循环，将所述当前参考切片、所述当前参考切片中病灶的预设位置、所述当前查询切片和所述当前查询切片中病灶的初始位置，输入至病灶检测模型的提取模块，获取所述当前查询切片中病灶的预测位置；
将所述当前查询切片和所述当前查询切片中病灶的预测位置输入至所述病灶检测模型的修正模块，获取所述当前查询切片中病灶的修正位置；
将所述当前参考切片前的第k个当前查询切片、所述当前参考切片后的第k个当前查询切片重新作为所述当前参考切片，将所述当前参考切片前的第k个当前查询切片中病灶的修正位置、所述当前参考切片后的第k个当前查询切片中病灶的修正位置重新作为所述当前参考切片中病灶的预设位置，将下一循环重新作为所述当前循环，重复上述步骤，直到所述目标影像中病灶的区域面积小于预设阈值，所述区域面积根据所述当前参考切片中病灶的预设位置确定；
其中，所述病灶检测模型是基于样本目标影像以及样本病灶标注结果训练得到的。
根据本发明提供一种基于目标影像的病灶检测方法，所述将所述当前参考切片、所述当前参考切片中病灶的预设位置、所述当前查询切片和所述当前查询切片中病灶的初始位置，输入至病灶检测模型的提取模块，获取所述当前查询切片中病灶的预测位置，具体包括：
所述预测位置具体包括边缘预测位置、区域预测位置和综合预测位置，相应地，将所述当前参考切片和所述当前查询切片之间的关联特征输入到所述提取模块的边缘解码器，获取所述边缘预测位置；
将所述当前参考切片和所述当前查询切片之间的关联特征输入到所述提取模块的区域解码器，获取所述区域预测位置；
将所述当前查询切片、所述边缘预测位置和所述区域预测位置输入至所述提取模块中的合并模块，获取所述综合预测位置。
根据本发明提供一种基于目标影像的病灶检测方法，所述将所述当前查询切片和所述当前查询切片中病灶的预测位置输入至所述病灶检测模型的修正模块，获取所述当前查询切片中病灶的修正位置，具体包括：
所述修正位置包括边缘修正位置、区域修正位置和综合修正位置，相应地，将所述当前查询切片对应的多尺度特征依次输入所述修正模块中的边缘解码器，获取所述边缘修正位置；
将所述当前查询切片对应的多尺度特征依次输入所述修正模块中的区域解码器，获取所述区域修正位置；
将所述当前查询切片、所述边缘修正位置和所述区域修正位置输入至所述修正模块中的合并模块，获取所述综合修正位置。
根据本发明提供一种基于目标影像的病灶检测方法，所述病灶检测模型在训练时，在所述提取模块计算损失函数，进行中间监督从而避免梯度消失，同时在所述修正模块计算损失函数，选取具有最大梯度的前若干像素的位置进行反向传播。
根据本发明提供一种基于目标影像的病灶检测方法，所述当前参考切片和所述当前查询切片之间的关联特征具体通过如下方式获得：
将所述当前参考切片和所述当前参考切片中病灶的预设位置依次输入至所述提取模块的编码器和颈部网络，获取所述当前参考切片对应的多尺度特征；
将所述当前查询切片和所述当前查询切片中病灶的初始位置依次输入至所述提取模块的编码器和颈部网络，获取所述当前查询切片对应的多尺度特征；
将所述当前参考切片对应的多尺度特征和所述当前查询切片对应的多尺度特征输入至所述提取模块的关系挖掘模块，获取当前参考切片和所述当前查询切片之间的关联特征。
根据本发明提供一种基于目标影像的病灶检测方法，所述当前查询切片对应的多尺度特征通过如下方式获得：
将所述边缘预测位置、所述区域预测位置、所述综合预测位置和所述当前查询切片依次输入到所述修正模块的编码器和颈部网络，获取所述当前查询切片对应的多尺度特征。
根据本发明提供一种基于目标影像的病灶检测方法，所述编码器为Resnet34。
本发明还提供一种基于目标影像的病灶检测装置，包括：
提取模块，用于提取待检测的目标影像，所述目标影像由若干个切片组成，将第j个切片作为当前参考切片，将所述当前参考切片的前k个切片和所述当前参考切片的后k个切片均作为当前查询切片；
预测模块，用于对于当前循环，将所述当前参考切片、所述当前参考切片中病灶的预设位置、所述当前查询切片和所述当前查询切片中病灶的初始位置，输入至病灶检测模型的提取模块，获取所述当前查询切片中病灶的预测位置；
修正模块，用于将所述当前查询切片和所述当前查询切片中病灶的预测位置输入至所述病灶检测模型的修正模块，获取所述当前查询切片中病灶的修正位置；将所述当前参考切片前的第k个切片、所述当前参考切片后的第k个切片重新作为所述当前参考切片，将所述当前参考切片前的第k个切片中病灶的修正位置、所述当前参考切片后的第k个切片中病灶的修正位置重新作为所述当前参考切片中病灶的预设位置，将下一循环重新作为所述当前循环，重复上述步骤，直到所述目标影像中病灶的区域面积小于预设阈值，所述区域面积根据所述当前参考切片中病灶的预设位置确定；
其中，所述病灶检测模型是基于样本目标影像以及样本病灶标注结果训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于目标影像的病灶检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于目标影像的病灶检测方法的步骤。
本发明提供的一种基于目标影像的病灶检测方法和装置，通过将目标影像中的病灶检测分为两个阶段，提取阶段和修正阶段，在提取阶段中进行病灶位置的粗预测，在修正阶段中进行病灶位置的精预测，以此来提高病灶位置的预测精度。并且在预测过程中，通过动态循环迭代，向上和向下预测的过程是独立的，因此通过并行化的操作提高了病灶检测模型前向推理的效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于目标影像的病灶检测方法的流程图；
图2为本发明的病灶检测方法的流程框图；
图3为本发明的ASPP模块的结构示意图；
图4为本发明的SPP模块的结构示意图；
图5本发明中的合并模块的结构示意图；
图6为本发明关系挖掘模块的结构示意图；
图7为本发明提供的一种基于目标影像的病灶检测装置的结构示意图；
图8为本发明提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的一种基于目标影像的病灶检测方法，如图1所示，该方法包括：
S1，提取待检测的目标影像，所述目标影像由若干个切片组成，将第j个切片作为当前参考切片，将所述当前参考切片的前k个切片和所述当前参考切片的后k个切片均作为当前查询切片；
首先提取待检测的目标影像，该目标影像可以看做CT影像，也可以看做是视频影像，当目标影像是CT影像时，该目标影像可以看做是由多个切片组成，也就是一帧一帧的影像数据组成；当目标影像是视频影像是，该视频影像可以看做是一帧一帧的图像组成，此种情况下，切片的含义就是一帧图像。
在该目标影像数据中，将第j个切片作为当前参考切片，将第j-k个切片到第j个切片之间的所有切片作为当前查询切片，同样地，将第j个切片到第j+k个切片之间的所有切片也作为当前查询切片。
当前参考切片和当前查询切片之间的不同之处在于，当前参考切片中病灶的位置是审阅人员已经标注出来的，可以看做是已知的；而当前查询切片中病灶的位置是未知的，因此将当前查询切片中病灶的位置看做是0。
具体地，一般CT扫描数据为三维数据D*H*W，审阅人员对于当前参考切片中的病灶位置进行标注，一般当前参考切片选取的是病灶横断面面积最大的切片。
S2，对于当前循环，将所述当前参考切片、所述当前参考切片中病灶的预设位置、所述当前查询切片和所述当前查询切片中病灶的初始位置，输入至病灶检测模型的提取模块，获取所述当前查询切片中病灶的预测位置；
本发明实施例中的病灶检测模型分为提取模块和修正模块两部分组成，提取模块的作用是先根据已知的当前参考切片和当前参考切片中病灶的预设位置，来预测出当前查询切片中病灶的预测位置。
因此，将当前参考切片、当前参考切片中病灶的预设位置、当前查询切片和当前查询切片的初始位置，输入到病灶检测模型的提取模块中，即可得到当前查询切片中病灶的预测位置。
S3，将所述当前查询切片和所述当前查询切片中病灶的预测位置输入至所述病灶检测模型的修正模块，获取所述当前查询切片中病灶的修正位置；
修正模块的功能是对提取模块中检测出来病灶的位置进行修正，在提取模块中检测出来病灶的基础上，进一步对病灶的位置进行修正。
具体地，将当前查询切片和当前查询切片中病灶的预测位置输入到病灶检测模型的修正模块，得到当前查询切片中病灶的修正位置。
S4，将所述当前参考切片前的第k个当前查询切片、所述当前参考切片后的第k个当前查询切片重新作为所述当前参考切片，将所述当前参考切片前的第k个当前查询切片中病灶的修正位置、所述当前参考切片后的第k个当前查询切片中病灶的修正位置重新作为所述当前参考切片中病灶的预设位置，将下一循环重新作为所述当前循环，重复上述步骤，直到所述目标影像中病灶的区域面积小于预设阈值，所述区域面积根据所述当前参考切片中病灶的预设位置确定；
其中，所述病灶检测模型是基于样本目标影像以及样本病灶标注结果训练得到的。
在下一轮迭代中，取第(j-k)个和第(j+k)个切片分别作为当前参考切片，然后各自向下和向上预测k个切片的结果，由此循环迭代，迭代的终止条件是预测的切片中病灶的区域面积小于预设阈值，该预设阈值可以根据实际需求进行定义。
最后将修正阶段产生的当前查询切片上的病灶预测结果堆叠起来形成病灶3D预测结果，最后再通过选取3D空间中的最大连接域，即得到整个CT扫描中的病灶分割结果。
由于向上和向下预测的过程是独立的，本发明实施例中通过并行化的操作提高了模型前向推理的效率。
本发明实施例提供一种基于目标影像的病灶检测方法，该方法通过将目标影像中的病灶检测分为两个阶段，提取阶段和修正阶段，在提取阶段中进行病灶位置的粗预测，在修正阶段中进行病灶位置的精预测，以此来提高病灶位置的预测精度。并且在预测过程中，通过动态循环迭代，向上和向下预测的过程是独立的，因此通过并行化的操作提高了病灶检测模型前向推理的效率。
在上述实施例的基础上，优选地，所述将所述当前参考切片、所述当前参考切片中病灶的预设位置、所述当前查询切片和所述当前查询切片中病灶的初始位置，输入至病灶检测模型的提取模块，获取所述当前查询切片中病灶的预测位置，具体包括：
所述预测位置具体包括边缘预测位置、区域预测位置和综合预测位置，相应地，将所述当前参考切片和所述当前查询切片之间的关联特征输入到所述提取模块的边缘解码器，获取所述边缘预测位置；
将所述当前参考切片和所述当前查询切片之间的关联特征输入到所述提取模块的区域解码器，获取所述区域预测位置；
将所述边缘预测位置和所述区域预测位置输入至所述提取模块中的合并模块，获取所述综合预测位置。
在上述实施例的基础上，优选地，所述当前参考切片和所述当前查询切片之间的关联特征具体通过如下方式获得：
将所述当前参考切片和所述当前参考切片中病灶的预设位置依次输入至所述提取模块的编码器和颈部网络，获取所述当前参考切片对应的多尺度特征；
将所述当前查询切片和所述当前查询切片中病灶的初始位置依次输入至所述提取模块的编码器和颈部网络，获取所述当前查询切片对应的多尺度特征；
将所述当前查询切片对应的多尺度特征和所述当前查询切片对应的多尺度特征输入至所述提取模块的关系挖掘模块，获取当前参考切片和所述当前查询切片之间的关联特征。
如图2所示，该流程框图可以分为两个阶段，提取阶段和修正阶段，具体地，在提取阶段，该病灶检测方法的具体流程如下：
将当前参考切片和当前参考切片中病灶的预设位置输入到提取模块的编码器和颈部网络中，得到当前参考切片对应的多尺度特征，当前参考切片的预设位置即为人工标注出来的位置，为已知值。
将当前查询切片和当前查询切片中病灶的初始位置输入到提取模块的编码器和颈部网络中，得到当前查询切片对应的多尺度特征，当前查询切片的初始位置本发明实施例中设置为0。
当前参考切片和当前查询切片对应的多尺度特征是共享编码器和颈部网络的权重的，当前参考切片对应的多尺度特征和当前查询切片对应的多尺度特征被连接起来通过关系挖掘模块，以此来挖掘两者之间的联系，关系挖掘模块由两个3×3卷积层串联而成。
本发明实施例中编码器为Resnet34。
得到当前参考切片和当前查询切片之间的关联特征后，将该关联特征输入到提取模块的边缘解码器，得到当前查询切片中的边缘预测位置。将该关联特征输入到提取模块的区域解码器，得到当前查询切片中的区域预测位置。然后将边缘预测位置和区域预测位置输入到提取模块中的合并模块，得到提取阶段中病灶的综合预测位置。
本发明实施例中解码器(包括边缘解码器和区域解码器)是为了将预测结果的分辨率恢复到与原始图像一样的大小，因此借鉴了编码器、解码器和跳层连接的U型结构。解码器采用了和编码器中下采样模块同等数量的上采样模块，并且编码器中每一层均由“1×1卷积-2×2反卷积-1×1卷积”的形式串联组成，通道数由第一个卷积层减少为原本的1/4，在最后一个卷积层恢复到指定的通道数。
由于病灶的边缘预测相对内部区域更加困难，本发明实施例中首先把边缘和区域预测独立开来，分别采用边缘解码器和区域解码器，来预测病灶边缘和病灶区域，图2中位于中间部分的三幅图中，最上面的一幅为当前查询切片的边缘预测位置，最下面的图像为当前查询切片的区域预测位置。
将边缘解码器和区域解码器的最后一层特征一起输入到合并模块中，得到整合边界和区域的预测结果，即病灶的综合预测位置。
由于在提取模块中产生的病灶粗糙预测仍然存在一些小问题，比如存在缺失和冗余，那么修正模块的任务是将这些小错误进行修正。
在上述实施例的基础上，优选地，所述将所述当前查询切片和所述当前查询切片中病灶的预测位置输入至所述病灶检测模型的修正模块，获取所述当前查询切片中病灶的修正位置，具体包括：
所述修正位置包括边缘修正位置、区域修正位置和综合修正位置，相应地，将所述当前查询切片对应的多尺度特征依次输入所述修正模块中的边缘解码器，获取所述边缘修正位置；
将所述当前查询切片对应的多尺度特征依次输入所述修正模块中的区域解码器，获取所述区域修正位置；
将所述当前查询切片、所述边缘修正位置和所述区域修正位置输入至所述修正模块中的合并模块，获取所述综合修正位置。
在上述实施例的基础上，优选地，所述当前查询切片对应的多尺度特征通过如下方式获得：
将所述边缘预测位置、所述区域预测位置、所述综合预测位置和所述当前查询切片依次输入到所述修正模块的编码器和颈部网络，获取所述当前查询切片对应的多尺度特征。
同样地，在修正模块中将当前查询切片的边缘预测位置、区域预测位置、综合预测位置和当前查询切片一起输入到修正阶段的编码器中和颈部网络中，得到修正模块中当前查询切片对应的多尺度特征。
将当前查询切片对应的多尺度特征输入到修正模块的边缘解码器中，得到边缘修正位置，将当前查询切片对应的多尺度特征输入到修正模块的区域解码器中，得到区域修正位置。
将边缘修正位置和区域修正位置输入到修正模块的合并模块中，得到综合修正位置。
在上述实施例的基础上，优选地，所述病灶检测模型在训练时，在所述修正模块计算损失函数之后，选取具有最大梯度的前若干像素的位置进行反向传播。
具体地，对于提取模块中边缘预测位置、区域预测位置和综合预测位置三个预测结果，本发明实施例中均采用了SoftDiceLoss分别计算损失，记为L_i^{(1)}＝[L_i^{(1)-P},L_i^{(1)-R},L_i^{(1)-B}]。
对于修正模块，希望其能够在提出模块预测结果的基础上，提高其中预测困难的像素的准确率，采用SoftDiceLoss对修正模块产生的三个预测结果计算损失之后，只选取其中具有最大梯度的前1/3像素的位置进行反向传播，记为L_i^{(2)}＝[L_i^{(2)-P},L_i^{(2)-R},L_i^{(2)-B}]。
综上，对于第i个切片的损失函数，可以记为，
Figure BDA0002844161000000121
其中，ω^{(1)}和ω^{(2)}分别是提取模块和修正模块中三个预测结果对应损失的权重，将其固定为ω^{(1)}＝ω^{(2)}＝[1.0,0.5,0.5]，ω为均衡两个阶段损失的权重。
具体地，本发明实施例中涉及到的编码器为Resnet34。
本发明实施例中涉及到的颈部网络由ASPP模块和SPP模块组成，从而使得网络能够提取多尺度特征。本发明实施例提供的ASPP模块的结构如图3所示，图3中各英文词语的中文解释如下：
Conv2d：2D卷积层。它包括如下参数：
Kernel：卷积核大小。
Padding：卷积过程的边缘填充大小。
Stride：卷积过程的步长。
Dilation：卷积核中的空洞填充大小。
ReLU：ReLU激活层。
加号：把进来的特征进行逐元素相加。
本发明实施例提供的SPP模块的结构如图4所示，图4中各英文词语的中文解释如下：
Conv2d：2D卷积层，其参数与图3中的相同。
MaxPool2d：2D池化层。下面是它的参数：
Kernel：池化面积的大小。
Stride：池化过程的步长。
Upsample：上采样层。下面是它的参数。
bilinear：插值方式为双线性插值。
Scale_factor：上采样因子。
本发明实施例提供的合并模块的结构如图5所示，图5中各英文名词对应的中文含义如下：
Conv2d：2D卷积层。
BatchNorm2d：2D批归一化层。
LeakyReLU：LeakyReLU激活层。
ASPP/SPPblock：对应文中的ASPP/SPP模块。
Sigmoid：Sigmoid激活层。
本发明实施例提供的关系挖掘模块的结构图如图6所示，图6中各英文单词的含义与图3至图5中的含义相同。
接下来对本发明实施例中提供的一种基于目标影像的病灶检测方法进行测试，本发明实施例中收集了来自128位患者的232例静脉期、动脉期或延后期的CT数据，其中随机选取了98位患者(173例CT扫描)作为训练集，剩余的30位患者(59例CT扫描)作为测试集。
数据集进行人工的3D病灶标注。在训练集中为了减少人工标注的工作量，将其随机分成两个部分进行标注。而在测试集上，为了确保标注的质量，其中每一例CT数据都由两位专业审阅人员共同标注。
表1展示了本发明实施例提供的一种基于目标影像的病灶检测方法的效果，在测试集上的人工标注一致性Dice系数为0.7971。本发明实施例提供的模型提取模块的预测结果与人工之间的标注一致性Dice系数均已经超过0.75，通过修正模块的修正可以将结果提升到0.77以上，在3D空间里取分割结果的最大连通域，可以将结果进一步提高。
此外，在不同时间点或者不同审阅人员，对于同一例CT的参考切片选择往往是不一样的。基于这个前提，本发明实施例通过额外的实验来讨论模型在选取不同切片作为初始参考切片的稳定性。
表1
Figure BDA0002844161000000151
表2展示了本发明实施例模型在初始层面上下各偏移3个位置的情况下，模型性能的变化。可以看到，随着偏移距离的加大，模型的准确率也逐步下降，但总体还是维持一个比较稳定的水平。
表2
Figure BDA0002844161000000152
本发明实施例提供的一种基于目标影像的病灶检测装置，如图7所示，该装置包括提取模块701、预测模块702和修正模块703，其中：
提取模块701用于提取待检测的目标影像，所述目标影像由若干个切片组成，将第j个切片作为当前参考切片，将所述当前参考切片的前k个切片和所述当前参考切片的后k个切片均作为当前查询切片；
预测模块702用于对于当前循环，将所述当前参考切片、所述当前参考切片中病灶的预设位置、所述当前查询切片和所述当前查询切片中病灶的初始位置，输入至病灶检测模型的提取模块，获取所述当前查询切片中病灶的预测位置；
修正模块703用于将所述当前查询切片和所述当前查询切片中病灶的预测位置输入至所述病灶检测模型的修正模块，获取所述当前查询切片中病灶的修正位置；将所述当前参考切片前的第k个切片、所述当前参考切片后的第k个切片重新作为所述当前参考切片，将所述当前参考切片前的第k个切片中病灶的修正位置、所述当前参考切片后的第k个切片中病灶的修正位置重新作为所述当前参考切片中病灶的预设位置，将下一循环重新作为所述当前循环，重复上述步骤，直到所述目标影像中病灶的区域面积小于预设阈值，所述区域面积根据所述当前参考切片中病灶的预设位置确定；
其中，所述病灶检测模型是基于样本目标影像以及样本病灶标注结果训练得到的。
本实施例为与上述方法相对应的系统实施例，详情请参考上述方法实施例，本系统实施例在此不再赘述。
本发明实施例提供的一种电子设备，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行一种基于目标影像的病灶检测方法，该方法包括：
提取待检测的目标影像，所述目标影像由若干个切片组成，将第j个切片作为当前参考切片，将所述当前参考切片的前k个切片和所述当前参考切片的后k个切片均作为当前查询切片；
对于当前循环，将所述当前参考切片、所述当前参考切片中病灶的预设位置、所述当前查询切片和所述当前查询切片中病灶的初始位置，输入至病灶检测模型的提取模块，获取所述当前查询切片中病灶的预测位置；
将所述当前查询切片和所述当前查询切片中病灶的预测位置输入至所述病灶检测模型的修正模块，获取所述当前查询切片中病灶的修正位置；
将所述当前参考切片前的第k个当前查询切片、所述当前参考切片后的第k个当前查询切片重新作为所述当前参考切片，将所述当前参考切片前的第k个当前查询切片中病灶的修正位置、所述当前参考切片后的第k个当前查询切片中病灶的修正位置重新作为所述当前参考切片中病灶的预设位置，将下一循环重新作为所述当前循环，重复上述步骤，直到所述目标影像中病灶的区域面积小于预设阈值，所述区域面积根据所述当前参考切片中病灶的预设位置确定；
其中，所述病灶检测模型是基于样本目标影像以及样本病灶标注结果训练得到的。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的一种基于目标影像的病灶检测方法，该方法包括：
提取待检测的目标影像，所述目标影像由若干个切片组成，将第j个切片作为当前参考切片，将所述当前参考切片的前k个切片和所述当前参考切片的后k个切片均作为当前查询切片；
对于当前循环，将所述当前参考切片、所述当前参考切片中病灶的预设位置、所述当前查询切片和所述当前查询切片中病灶的初始位置，输入至病灶检测模型的提取模块，获取所述当前查询切片中病灶的预测位置；
将所述当前查询切片和所述当前查询切片中病灶的预测位置输入至所述病灶检测模型的修正模块，获取所述当前查询切片中病灶的修正位置；
将所述当前参考切片前的第k个当前查询切片、所述当前参考切片后的第k个当前查询切片重新作为所述当前参考切片，将所述当前参考切片前的第k个当前查询切片中病灶的修正位置、所述当前参考切片后的第k个当前查询切片中病灶的修正位置重新作为所述当前参考切片中病灶的预设位置，将下一循环重新作为所述当前循环，重复上述步骤，直到所述目标影像中病灶的区域面积小于预设阈值，所述区域面积根据所述当前参考切片中病灶的预设位置确定；
其中，所述病灶检测模型是基于样本目标影像以及样本病灶标注结果训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的一种基于目标影像的病灶检测方法，该方法包括：
提取待检测的目标影像，所述目标影像由若干个切片组成，将第j个切片作为当前参考切片，将所述当前参考切片的前k个切片和所述当前参考切片的后k个切片均作为当前查询切片；
对于当前循环，将所述当前参考切片、所述当前参考切片中病灶的预设位置、所述当前查询切片和所述当前查询切片中病灶的初始位置，输入至病灶检测模型的提取模块，获取所述当前查询切片中病灶的预测位置；
将所述当前查询切片和所述当前查询切片中病灶的预测位置输入至所述病灶检测模型的修正模块，获取所述当前查询切片中病灶的修正位置；
将所述当前参考切片前的第k个当前查询切片、所述当前参考切片后的第k个当前查询切片重新作为所述当前参考切片，将所述当前参考切片前的第k个当前查询切片中病灶的修正位置、所述当前参考切片后的第k个当前查询切片中病灶的修正位置重新作为所述当前参考切片中病灶的预设位置，将下一循环重新作为所述当前循环，重复上述步骤，直到所述目标影像中病灶的区域面积小于预设阈值，所述区域面积根据所述当前参考切片中病灶的预设位置确定；
其中，所述病灶检测模型是基于样本目标影像以及样本病灶标注结果训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于目标影像的病灶检测方法，其特征在于，包括：
提取待检测的目标影像，所述目标影像由若干个切片组成，将第j个切片作为当前参考切片，将所述当前参考切片的前k个切片和所述当前参考切片的后k个切片均作为当前查询切片；
对于当前循环，将所述当前参考切片、所述当前参考切片中病灶的预设位置、所述当前查询切片和所述当前查询切片中病灶的初始位置，输入至病灶检测模型的提取模块，获取所述当前查询切片中病灶的预测位置；
将所述当前查询切片和所述当前查询切片中病灶的预测位置输入至所述病灶检测模型的修正模块，获取所述当前查询切片中病灶的修正位置；
将所述当前参考切片前的第k个当前查询切片、所述当前参考切片后的第k个当前查询切片重新作为所述当前参考切片，将所述当前参考切片前的第k个当前查询切片中病灶的修正位置、所述当前参考切片后的第k个当前查询切片中病灶的修正位置重新作为所述当前参考切片中病灶的预设位置，将下一循环重新作为所述当前循环，重复上述步骤，直到所述目标影像中病灶的区域面积小于预设阈值，所述区域面积根据所述当前参考切片中病灶的预设位置；
其中，所述病灶检测模型是基于样本目标影像以及样本病灶标注结果训练得到的。
2.根据权利要求1所述的基于目标影像的病灶检测方法，其特征在于，所述将所述当前参考切片、所述当前参考切片中病灶的预设位置、所述当前查询切片和所述当前查询切片中病灶的初始位置，输入至病灶检测模型的提取模块，获取所述当前查询切片中病灶的预测位置，具体包括：
所述预测位置具体包括边缘预测位置、区域预测位置和综合预测位置，相应地，将所述当前参考切片和所述当前查询切片之间的关联特征输入到所述提取模块的边缘解码器，获取所述边缘预测位置；
将所述当前参考切片和所述当前查询切片之间的关联特征输入到所述提取模块的区域解码器，获取所述区域预测位置；
将所述当前查询切片、所述边缘预测位置和所述区域预测位置输入至所述提取模块中的合并模块，获取所述综合预测位置。
3.根据权利要求2所述的基于目标影像的病灶检测方法，其特征在于，所述将所述当前查询切片和所述当前查询切片中病灶的预测位置输入至所述病灶检测模型的修正模块，获取所述当前查询切片中病灶的修正位置，具体包括：
所述修正位置包括边缘修正位置、区域修正位置和综合修正位置，相应地，将所述当前查询切片对应的多尺度特征依次输入所述修正模块中的边缘解码器，获取所述边缘修正位置；
将所述当前查询切片对应的多尺度特征依次输入所述修正模块中的区域解码器，获取所述区域修正位置；
将所述当前查询切片、所述边缘修正位置和所述区域修正位置输入至所述修正模块中的合并模块，获取所述综合修正位置。
4.根据权利要求1所述的基于目标影像的病灶检测方法，其特征在于，所述病灶检测模型在训练时，在所述提取模块计算损失函数，进行中间监督从而避免梯度消失，同时在所述修正模块计算损失函数，只选取具有最大梯度的前若干像素的位置进行反向传播。
5.根据权利要求2所述的基于目标影像的病灶检测方法，其特征在于，所述当前参考切片和所述当前查询切片之间的关联特征具体通过如下方式获得：
将所述当前参考切片和所述当前参考切片中病灶的预设位置依次输入至所述提取模块的编码器和颈部网络，获取所述当前参考切片对应的多尺度特征；
将所述当前查询切片和所述当前查询切片中病灶的初始位置依次输入至所述提取模块的编码器和颈部网络，获取所述当前查询切片对应的多尺度特征；
将所述当前参考切片对应的多尺度特征和所述当前查询切片对应的多尺度特征输入至所述提取模块的关系挖掘模块，获取当前参考切片和所述当前查询切片之间的关联特征。
6.根据权利要求3所述的基于目标影像的病灶检测方法，其特征在于，所述当前查询切片对应的多尺度特征通过如下方式获得：
将所述边缘预测位置、所述区域预测位置、所述综合预测位置和所述当前查询切片依次输入到所述修正模块的编码器和颈部网络，获取所述当前查询切片对应的多尺度特征。
7.根据权利要求3或5所述的基于目标影像的病灶检测方法，其特征在于，所述编码器为Resnet34。
8.一种基于目标影像的病灶检测装置，其特征在于，包括：
提取模块，用于提取待检测的目标影像，所述目标影像由若干个切片组成，将第j个切片作为当前参考切片，将所述当前参考切片的前k个切片和所述当前参考切片的后k个切片均作为当前查询切片；
预测模块，用于对于当前循环，将所述当前参考切片、所述当前参考切片中病灶的预设位置、所述当前查询切片和所述当前查询切片中病灶的初始位置，输入至病灶检测模型的提取模块，获取所述当前查询切片中病灶的预测位置；
修正模块，用于将所述当前查询切片和所述当前查询切片中病灶的预测位置输入至所述病灶检测模型的修正模块，获取所述当前查询切片中病灶的修正位置；将所述当前参考切片前的第k个切片、所述当前参考切片后的第k个切片重新作为所述当前参考切片，将所述当前参考切片前的第k个切片中病灶的修正位置、所述当前参考切片后的第k个切片中病灶的修正位置重新作为所述当前参考切片中病灶的预设位置，将下一循环重新作为所述当前循环，重复上述步骤，直到所述目标影像中病灶的区域面积小于预设阈值，所述区域面积根据所述当前参考切片中病灶的预设位置；
其中，所述病灶检测模型是基于样本目标影像以及样本病灶标注结果训练得到的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于目标影像的病灶检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于目标影像的病灶检测方法的步骤。
CN202011503029.3A 2020-12-17 2020-12-17 基于目标影像的病灶检测方法和装置 Active CN112634224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011503029.3A CN112634224B (zh) 2020-12-17 2020-12-17 基于目标影像的病灶检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011503029.3A CN112634224B (zh) 2020-12-17 2020-12-17 基于目标影像的病灶检测方法和装置

Publications (2)

Publication Number Publication Date
CN112634224A true CN112634224A (zh) 2021-04-09
CN112634224B CN112634224B (zh) 2023-07-28

Family

ID=75317097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011503029.3A Active CN112634224B (zh) 2020-12-17 2020-12-17 基于目标影像的病灶检测方法和装置

Country Status (1)

Country Link
CN (1) CN112634224B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052831A (zh) * 2021-04-14 2021-06-29 清华大学 脑部医学影像异常检测方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215557A1 (zh) * 2019-04-24 2020-10-29 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN111915609A (zh) * 2020-09-22 2020-11-10 平安科技（深圳）有限公司 病灶检测分析方法、装置、电子设备及计算机存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215557A1 (zh) * 2019-04-24 2020-10-29 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN111915609A (zh) * 2020-09-22 2020-11-10 平安科技（深圳）有限公司 病灶检测分析方法、装置、电子设备及计算机存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052831A (zh) * 2021-04-14 2021-06-29 清华大学 脑部医学影像异常检测方法、装置、设备及存储介质
CN113052831B (zh) * 2021-04-14 2024-04-23 清华大学 脑部医学影像异常检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112634224B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN107832807B (zh) 一种图像处理方法和系统
CN109118495B (zh) 一种视网膜血管分割方法和装置
CN113516659B (zh) 一种基于深度学习的医学影像自动分割方法
CN111986181B (zh) 基于双注意力机制的血管内支架图像分割方法和系统
CN112200750A (zh) 一种超声图像去噪模型建立方法及超声图像去噪方法
CN107818554A (zh) 信息处理设备和信息处理方法
CN113012172A (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN111047544B (zh) 一种基于非线性退化模型的饱和图像去模糊方法
CN112991365B (zh) 一种冠状动脉分割方法、系统及存储介质
Rivadeneira et al. Thermal image super-resolution challenge-pbvs 2021
CN112330684A (zh) 对象分割方法、装置、计算机设备及存储介质
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN110992370A (zh) 一种胰腺组织的分割方法、装置及终端设备
CN111340820A (zh) 图像分割方法、装置、电子设备及存储介质
CN115222713A (zh) 一种冠状动脉钙化积分的计算方法、装置及存储介质
CN112070752A (zh) 一种医学图像的心耳分割方法、装置及存储介质
CN117495876B (zh) 基于深度学习的冠状动脉图像分割方法及系统
CN112634224A (zh) 基于目标影像的病灶检测方法和装置
CN113724203A (zh) 一种oct图像中目标特征的分割方法及装置
CN115359046B (zh) 一种脏器血管分割方法、装置、存储介质及电子设备
CN116091458A (zh) 一种基于互补注意力的胰腺图像分割方法
CN107680146A (zh) Pet图像的重建方法、装置、设备及存储介质
CN108765432B (zh) 一种颈动脉内中膜边界自动分割方法与系统
CN112446893A (zh) 肝脏图像的轮廓分割方法和装置
CN113487622B (zh) 头颈部器官影像分割方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant