CN112102317A - 一种基于无锚框的多期相肝脏病灶检测方法及系统 - Google Patents

一种基于无锚框的多期相肝脏病灶检测方法及系统 Download PDF

Info

Publication number
CN112102317A
CN112102317A CN202011268110.8A CN202011268110A CN112102317A CN 112102317 A CN112102317 A CN 112102317A CN 202011268110 A CN202011268110 A CN 202011268110A CN 112102317 A CN112102317 A CN 112102317A
Authority
CN
China
Prior art keywords
phase
image
detection
rdla
anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011268110.8A
Other languages
English (en)
Other versions
CN112102317B (zh
Inventor
基隆若沙库提提郎
陈延伟
林兰芬
童若锋
李劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202011268110.8A priority Critical patent/CN112102317B/zh
Publication of CN112102317A publication Critical patent/CN112102317A/zh
Application granted granted Critical
Publication of CN112102317B publication Critical patent/CN112102317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于无锚框的多期相肝脏病灶检测方法及系统，本发明首次使用无锚框方法进行多期相肝脏病灶的检测，避免参数的手工调节问题，极大提升检测效率；本发明提出全尺度连接循环深层聚合检测网络，通过该网络可以充分结合浅层、深层特征，同时保留浅层特征信息，提升网络对病灶多尺度特征的学习能力；本发明提出循环特征连接模块，通过该模块可以结合多期相每个尺度的特征，提取该尺度多期相动态变化模式，进一步提升多期相图像中对病灶的检测能力。

Description

一种基于无锚框的多期相肝脏病灶检测方法及系统
技术领域
本发明属于医学图像分析领域，尤其涉及一种基于无锚框的多期相肝脏病灶检测方法及系统。
背景技术
计算机辅助临床诊断系统中，自动病灶检测算法是其中的一个重要环节。目前肝脏病灶的自动检测通常需要多期相CT图像。多期相CT图像，又称动态对比增强CT图像，指病人在注射造影剂前后拍摄形成的一组时序CT图像数据，其中注射前拍取的图像称为NC期图像，注射30-40秒后拍取的图像称为ART期图像，注射70-80秒后拍取的图像称为PV期图像。
目前，深度神经网络在自动病灶检测问题上已经得到广泛应用，并取得较高精度。总体来说，现有基于深度神经网络的目标检测算法可以分为：基于锚框的检测算法和无锚框检测算法。基于锚框的检测算法如FasterRCNN，SSD，YOLO，Mask RCNN等常用于自然目标检测中；而针对多期相CT图像的病灶检测，Lee等人提出了组单步目标检测网络（GroupedSSD），Liang等人提出了多通道尺度不敏感的检测网络。无锚框检测算法，如centerNet通过目标中心点来呈现目标（见图1），然后在中心点位置回归出目标的一些属性，例如：size，dimension，3D extent，orientation，pose，将目标检测问题变成了一个标准的关键点估计问题，该方法将图像传入全卷积网络得到一个热力图，热力图峰值点即中心点，每个特征图的峰值点位置预测了目标的宽高信息。
现有的肝脏病灶自动检测算法都是基于锚框的检测方法，这些方法的性能对网络中设置超参数-锚框个数十分敏感，因此在实际应用时这些方法需要进行复杂的超参数调试。此外，现有肝脏病灶自动检测算法对于肝脏病灶的多尺度变化特征和时序变化特征的提取都不够充分。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于无锚框的多期相肝脏病灶检测方法及系统。本发明首先使用无锚框方法进行多期相肝脏病灶的检测，避免了复杂的手工参数调节问题；基于肝脏的检测问题，创新地提出了全尺度连接循环深层聚合检测网络，以充分提取病灶的尺度特征，同时提出了循环特征连接模块提取时序变化特征，进一步提升多期相图像中对病灶的检测能力。
本发明的目的是通过以下技术方案来实现的：
本发明一方面提供了一种基于无锚框的多期相肝脏病灶检测方法，该方法包括以下步骤：
（1）构建无锚框多期相CT图像肝脏病灶自动检测网络；所述无锚框多期相CT图像肝脏病灶自动检测网络包括特征提取网络RDLA++和检测分支；输入各期相CT图像，首先由RDLA++提取图像特征，然后由检测分支预测图像中的病灶位置；
所述RDLA++由全尺度连接循环深层聚合检测网络DLA++和循环特征连接模块构成；
所述DLA++采用密集跳跃连接将浅层特征传递给深层特征，同层特征能够跨越传递，DLA++输出多个不同尺度的特征图以实现全尺度特征提取；
所述循环特征连接模块通过CLSTM实现；各期相图像经各自的DLA++输出的同尺度的特征通过循环特征连接模块依次级联；循环特征连接模块级联的结果按尺寸从小到大依次输入各连接节点，后一个连接节点的输入为所对应的循环特征连接模块的输出和前一个连接节点的输出的合成；每个连接节点对输入进行上采样卷积；最后一个连接节点输出RDLA++所提取的时空间特征；
（2）训练RDLA++和检测分支，实现肝脏病灶检测：采集各期相CT图像，标注肝脏病灶区域构成训练集对RDLA++和检测分支进行训练；将待检测用户的各期相CT图像输入训练好的RDLA++和检测分支中，得到病灶位置。
进一步地，所述DLA++有两条特征提取路径：横向I路径和纵向J路径；I路径由卷积 层和池化层所组成，由浅到深，特征图的大小随之变小；J路径只有卷积层，特征图的大小不 变；（i，j）卷积层的输出
Figure 652714DEST_PATH_IMAGE001
表示成公式(1)；
Figure 235137DEST_PATH_IMAGE002
(1)
其中，H(x)表示卷积层的输出，x表示卷积层的输入；U(x)表示x的上采样；
Figure 67963DEST_PATH_IMAGE003
表示把
Figure 959696DEST_PATH_IMAGE004
合并成一个特征图，
Figure 425443DEST_PATH_IMAGE005
表示把
Figure 326403DEST_PATH_IMAGE006
合并成一个特征图；J代表J路径的总层数。
进一步地，所述DLA++输出三个不同尺度的特征图时，所述循环特征连接模块的实现过程如公式(2)；
Figure 748157DEST_PATH_IMAGE007
(2)
其中，
Figure 810791DEST_PATH_IMAGE008
代表连接节点G s 输出的特征，CLSTM代表卷积长短时记忆网络，H 1×1代表1×1上 采样卷积；
Figure 701518DEST_PATH_IMAGE009
分别表示NC、ART、PV期相CT图输入时的DLA++的（i, j）卷积 层的输出。
进一步地，所述检测分支采用CenterNet方法，具体为：假定输入的某期相m的图像 为
Figure 406169DEST_PATH_IMAGE010
，W和H分别为图像的宽和高；对于RDLA++输出的特征图，采用全连接层通 过softmax生成C个热力图，第c类热力图
Figure 948009DEST_PATH_IMAGE011
，其中F是尺寸缩小率，C是被检 测物体的种类数；热力图
Figure 447123DEST_PATH_IMAGE012
中的最大值的位置（p x , p y ）就是所要检测的第c类物体的中 心点；用回归方法通过RDLA++的特征图计算肿瘤的大小S和中心点的局部偏移O。
进一步地，所述训练集的构建具体为：采集NC、ART、PV三个期相的腹部CT图像，将3D图像分解成多张二维切片图像，选取包含病灶的若干张二维切片图像，由医生手工标注肝脏病灶区域，构成训练集。
进一步地，采用三个损失函数的线性组合进行端对端地训练RDLA++和检测分支；
（1）用于生成热力图的Focal loss函数
Figure 828076DEST_PATH_IMAGE013
，见公式(3)；
Figure 867576DEST_PATH_IMAGE014
(3)
Figure 263922DEST_PATH_IMAGE015
其中，
Figure 684670DEST_PATH_IMAGE016
是根据标注的肿瘤中心点生成的高斯函数，作为热力图的真值，
Figure 799257DEST_PATH_IMAGE017
是高 斯函数
Figure 314552DEST_PATH_IMAGE018
的参数；
Figure 830984DEST_PATH_IMAGE019
；
Figure 422633DEST_PATH_IMAGE020
是网络生成的热力图；N是被检测物体的个 数；
Figure 24516DEST_PATH_IMAGE021
和
Figure 405819DEST_PATH_IMAGE022
是Focal loss的超参数；
（2）用于计算肿瘤的大小的L1 loss函数
Figure 527490DEST_PATH_IMAGE023
，用于计算肿瘤中心点的局部偏移的L1 loss函数
Figure 539308DEST_PATH_IMAGE024
，见公式(4)和(5)；
Figure 362907DEST_PATH_IMAGE025
(4)
Figure 751163DEST_PATH_IMAGE026
(5)
其中，
Figure 458832DEST_PATH_IMAGE027
和S分别是网络计算的肿瘤的大小和实际标注的肿瘤的大小；k是肿瘤的番号；
Figure 641552DEST_PATH_IMAGE028
是预测的局部偏移，
Figure 218026DEST_PATH_IMAGE029
是原图像中标注的肿瘤的中心点位置，
Figure 144394DEST_PATH_IMAGE030
是 下采样后缩小图像中标注的肿瘤的中心点位置。
（3）训练RDLA++和检测分支采用的总损失函数
Figure 975078DEST_PATH_IMAGE031
，其中，
Figure 391016DEST_PATH_IMAGE032
和
Figure 189208DEST_PATH_IMAGE033
为权重参数。
本发明另一方面提供了一种基于无锚框的多期相肝脏病灶检测系统，该系统包括无锚框多期相CT图像肝脏病灶自动检测网络构建模块、网络训练模块及肝脏病灶检测模块；
所述无锚框多期相CT图像肝脏病灶自动检测网络构建模块构建的无锚框多期相CT图像肝脏病灶自动检测网络包括特征提取网络RDLA++和检测分支；输入各期相CT图像，首先由RDLA++提取图像特征，然后由检测分支预测图像中的病灶位置；
所述RDLA++由全尺度连接循环深层聚合检测网络DLA++和循环特征连接模块构成；
所述DLA++采用密集跳跃连接将浅层特征传递给深层特征，同层特征能够跨越传递，DLA++输出多个不同尺度的特征图以实现全尺度特征提取；
所述循环特征连接模块通过CLSTM实现；各期相图像经各自的DLA++输出的同尺度的特征通过循环特征连接模块依次级联；循环特征连接模块级联的结果按尺寸从小到大依次输入各连接节点，后一个连接节点的输入为所对应的循环特征连接模块的输出和前一个连接节点的输出的合成；每个连接节点对输入进行上采样卷积；最后一个连接节点输出RDLA++所提取的时空间特征；
所述网络训练模块采集各期相CT图像，标注肝脏病灶区域构成训练集对RDLA++和检测分支进行训练；
所述肝脏病灶检测模块将待检测用户的各期相CT图像输入网络训练模块训练好的RDLA++和检测分支中，得到病灶位置。
进一步地，所述无锚框多期相CT图像肝脏病灶自动检测网络构建模块中，构建的 DLA++有两条特征提取路径：横向I路径和纵向J路径；I路径由卷积层和池化层所组成，由浅 到深，特征图的大小随之变小；J路径只有卷积层，特征图的大小不变；（i，j）卷积层的输出
Figure 669999DEST_PATH_IMAGE001
表示成公式(6)；
Figure 604457DEST_PATH_IMAGE002
(6)
其中，H(x)表示卷积层的输出，x表示卷积层的输入；U(x)表示x的上采样；[x 1, x 2,…,x n]表示把x 1, x 2, …,x n合并成一个特征图；J代表J路径的总层数。
进一步地，所述无锚框多期相CT图像肝脏病灶自动检测网络构建模块中，DLA++输出三个不同尺度的特征图时，所述循环特征连接模块的实现过程如公式(7)；
Figure 394558DEST_PATH_IMAGE007
(7)
其中，
Figure 680046DEST_PATH_IMAGE008
代表连接节点G s 输出的特征，CLSTM代表卷积长短时记忆网络，H 1×1代表1×1上 采样卷积；
Figure 698949DEST_PATH_IMAGE034
分别表示NC、ART、PV期相CT图输入时的DLA++的（i, j）卷积 层的输出。
本发明的有益效果是：
（1）首次使用无锚框方法进行多期相肝脏病灶的检测，避免参数的手工调节问题，极大提升检测效率；
（2）提出全尺度连接循环深层聚合检测网络（DLA++），通过该网络可以充分结合浅层、深层特征，同时保留浅层特征信息，提升网络对病灶多尺度特征的学习能力；
（3）提出循环特征连接模块，通过该模块可以结合多期相每个尺度的特征，提取该尺度多期相动态变化模式，进一步提升多期相图像中对病灶的检测能力。
附图说明
图1为现有centerNet回归目标示意图；
图2为本发明实施例中基于无锚框的多期相肝脏病灶检测原理框图；
图3为本发明实施例中DLA++示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
本发明提出的基于无锚框的多期相肝脏病灶检测方法及系统，首先设计了一个无锚框多期相CT图像肝脏病灶自动检测网络，该网络是一个端到端的前向传播网络，不需预先设置锚框超参数和非极大值抑制等后处理。此外，需要使用全尺度连接和循环深层聚合等技术，来充分提取病灶的尺度特征和时序变化特征。
本发明一方面提供了一种基于无锚框的多期相肝脏病灶检测方法，该方法首先构建无锚框多期相CT图像肝脏病灶自动检测网络；然后训练RDLA++和检测分支，实现肝脏病灶检测。本发明另一方面提供了一种基于无锚框的多期相肝脏病灶检测系统，该系统包括无锚框多期相CT图像肝脏病灶自动检测网络构建模块、网络训练模块及肝脏病灶检测模块；网络训练模块采集各期相CT图像，标注肝脏病灶区域构成训练集对RDLA++和检测分支进行训练；肝脏病灶检测模块将待检测用户的各期相CT图像输入网络训练模块训练好的RDLA++和检测分支中，得到病灶位置。
本发明设计的无锚框多期相CT图像肝脏病灶自动检测网络，实现过程如图2所示，该网络主要包括特征提取网络（记为RDLA++）和检测分支。输入三期相图像，首先通过特征提取网络充分提取图像特征，然后由检测分支预测图像中的病灶位置。
一、特征提取网络（RDLA++）
特征提取网络包括全尺度连接循环深层聚合检测网络（Deep Layer Aggregation ++,DLA++）和循环特征连接模块，其中，DLA++用于全尺度特征提取，循环特征连接模块用于时序特征提取。
1.1）DLA++的实现如下：
本发明提出的DLA++相对于传统的深层聚合网络，其创新性地采用密集跳跃连接 （dense skip connection）将浅层特征传递给深层特征，同时同层特征也可跨越传递。DLA+ +的实现原理如图3所示，其中(a)为传统的DLA（Deep Layer Aggregation）示意图，(b)为 centerNet DLA示意图，(c)为本发明DLA++示意图。DLA有两条特征提取路径：横向的I路径 和纵向的J路径。I路径由卷积层和池化层所组成，由浅到深，特征图的大小也随之变小；特 征图的缩小率可任意设置，图3中，4，8，16，32表示那一层的特征图像的缩小率，仅为示例。J 路径只有卷积层，特征图的大小不变。在现有的DLA中（如图3中(a)、(b)所示），图像由最上 面（j=0）及最左边（i=0）的卷积层输入，即图3中的Input，由最下面的（i=0，j=3或6）卷积层 输出最终的特征图。注意每个卷积层都会输出一个不同的特征图。每一个卷积层（i，j）只与 上一层中的（i，j-1）和（i+1，j-1）两个的卷积层相连。也即（i+1，j-1）卷积层输出的特征图 上采样后与（i，j-1）卷积层输出的特征图合并（concatenate）输入到（i，j）卷积层。而如图3 中(c)所示，本发明DLA++创新性地采用密集跳跃连接（dense skip connection），（i，j）层 与J方向的所有的浅层实行跳跃连接（skip connection），也即（i，j）层与（i，0），（i，1），…， （i，j-1）以及（i+1，j-1）的卷积层相连。（i+1，j-1）卷积层输出的特征图上采样后与（i，0）， （i，1），（i，2），…,（i，j-1）卷积层输出的特征图合并（concatenate）输入到（i，j）卷积层。 （i，j）卷积层的输出
Figure 487913DEST_PATH_IMAGE001
可表示成公式(1)。
Figure 448916DEST_PATH_IMAGE002
(1)
其中，H(x)表示卷积层的输出，x为卷积层的输入；U(x)表示x的上采样；[x 1, x 2, …,x n]表示把x 1, x 2, …,x n合并成一个特征图，即
Figure 956121DEST_PATH_IMAGE035
表示把
Figure 793363DEST_PATH_IMAGE036
合并成一个特征图，
Figure 967992DEST_PATH_IMAGE037
表示把
Figure 834317DEST_PATH_IMAGE038
合并成一个特征图。
DLA++另一个创新点是输出多个不同尺度的最终特征图以实现全尺度的特征提取。本示例中， DLA++输出三个不同尺度（i=0，1，2）的最终特征图（Output_4, Output_8,Output_16）以实现全尺度的特征提取（如图3中(c)所示），这三个不同尺度的特征图可以通过上采样融合在一起输入到检测分支以实现目标检测，或者和循环特征连接模块配合在一起，进一步提取时序变化特征（如图2所示）。
1.2）循环特征连接模块的实现如下：
循环特征连接模块通过卷积长短时记忆网络（CLSTM）实现（如图2所示）。NC、ART、 PV三期相图像经各自的DLA++输出的同尺度的特征通过循环特征连接模块依次级联，即NC的各个尺度的特征图通过其循环特征连接模块传递给相对应的各个尺度的ART的循环特征连接模块。ART的循环特征连接模块的输出不仅有ART的信息，还有NC的信息。同样ART的循环特征连接模块的输出信息传递给相对应的各个尺度的PV的循环特征连接模块。PV的循环特征连接模块包含了全期相（NC，ART，PV）的信息，故可以获得肿瘤在各个期相的增强模式。注意在此仅用了三期相（NC，ART，PV）的CT图像作为示例，如果医学图像（如核磁共振图像）有更多期相的话，可以以此扩展增加循环特征连接模块。循环特征连接模块所级联的结果按尺寸从小到大依次输入各个连接节点（G 0 , G 1 , G 2 …）。每个连接节点的作用是对于输入进行1×1上采样卷积。在本示例中，G 0 的输入是最小尺度Output_16（i=2）所对应的循环特征连接模块的输出；G 1 的输入是Output_8（i=1）所对应的循环特征连接模块的输出和G 0 的输出的合成。G 2 的输入是Output_4（i=0）所对应的循环特征连接模块的输出和G 1 的输出的合成。通过将循环特征连接模块和DLA++相结合，构成本发明的RDLA++网络（如图2所示）。G 2 的输出是RDLA++所提取的时空间特征。
循环特征连接模块的实现过程如公式(2)：
Figure 94397DEST_PATH_IMAGE039
(2)
其中，J代表J路径（i=0）的总层数；
Figure 455102DEST_PATH_IMAGE008
代表连接节点G s 输出的特征，CLSTM代表卷积长短 时记忆网络，H 1×1代表1×1上采样卷积；
Figure 280976DEST_PATH_IMAGE040
分别表示NC、ART、PV期相CT图 输入时的DLA++的（i, j）卷积层的输出。
二、检测分支
检测分支可以采用现有的目标检测方法实现，本示例中检测分支采用CenterNet方法，具体实现过程如下：
假定输入的某个期相m的图像为
Figure 318202DEST_PATH_IMAGE010
，W和H分别为图像的宽和高。对于 RDLA++所得到的特征图，采用全连接层通过softmax生成C个热力图，第c类的热力图
Figure 816310DEST_PATH_IMAGE041
，其中F是尺寸缩小率（一般设为4），C是被检测物体的种类数（如只检测 是否有肿瘤则C=1，如检测5种不同种类的肿瘤则C=5）。热力图
Figure 229974DEST_PATH_IMAGE012
中的最大值的位置 （p x , p y ）就是所要检测的第c类物体的中心点；同时用回归的方法通过RDLA++的特征图计算 肿瘤的大小S（bounding box的尺寸）和中心点的局部偏移O。
值得注意的是，本发明的RDLA++可以采用现有的任何无锚框的目标检测方法。
三、RDLA++和检测分支的训练
训练集的构建：采集NC、ART、PV三个期相的腹部CT图像，将3D图像分解成多张二维切片图像，选取包含病灶的若干张二维切片图像，由医生手工标注肝脏病灶区域（BoundingBox），构成训练集；
RDLA++和检测分支的训练如下：
采用以下三个损失函数（公式(3)-(5)）的线性组合进行端对端地训练RDLA++和检测分支。
（1）公式(3)是Focal loss用于生成热力图。
Figure 113617DEST_PATH_IMAGE042
(3)
Figure 321744DEST_PATH_IMAGE015
其中，
Figure 41570DEST_PATH_IMAGE016
是根据标注的肿瘤中心点生成的高斯函数，作为热力图的真值Ground truth，
Figure 993345DEST_PATH_IMAGE043
是高斯函数
Figure 997073DEST_PATH_IMAGE016
的参数，可设为S/6；S为标注的肿瘤的大小（bounding box的 尺寸）；
Figure 376102DEST_PATH_IMAGE044
，（p x , p y ）是标注的肿瘤的中心点坐标；
Figure 377031DEST_PATH_IMAGE020
是网络生成的热力 图；N是被检测物体（肿瘤）的个数；
Figure 132498DEST_PATH_IMAGE021
和
Figure 990732DEST_PATH_IMAGE045
是Focal loss的超参数，可分别设置为2和4。
（2）公式(4)和(5)是L1 loss，分别用于计算肿瘤的大小S（bounding box的尺寸）和中心点的局部偏移O。
Figure 556974DEST_PATH_IMAGE025
(4)
Figure 500659DEST_PATH_IMAGE026
(5)
其中，
Figure 528658DEST_PATH_IMAGE027
和S分别是网络计算的肿瘤的大小和实际标注的肿瘤的大小；k是肿瘤的番号；
Figure 241399DEST_PATH_IMAGE028
是预测的局部偏移，
Figure 978542DEST_PATH_IMAGE029
是原图像中标注的肿瘤的中心点位置，
Figure 409524DEST_PATH_IMAGE030
是 下采样后缩小图像中标注的肿瘤的中心点位置。
因此，训练采用的总损失函数L为：
Figure 506793DEST_PATH_IMAGE031
其中，
Figure 74040DEST_PATH_IMAGE013
是Focal loss函数，用于生成热力图；
Figure 982084DEST_PATH_IMAGE023
和
Figure 697100DEST_PATH_IMAGE024
都是L1 loss函数，其中
Figure 332480DEST_PATH_IMAGE023
用 于计算肿瘤的大小S，
Figure 773476DEST_PATH_IMAGE024
用于计算肿瘤中心点的局部偏移，
Figure 101689DEST_PATH_IMAGE032
和
Figure 241683DEST_PATH_IMAGE033
为权重参数。
四、肝脏病灶检测
获取待检测用户的三期相腹部CT图像，输入训练好的RDLA++和检测分支中，得到肝脏病灶的位置和大小。
实施例
申请人从某医院收集130个病人的多期相腹部CT图像，具体包括NC、ART、PV三个期相，层厚为5/7 mm，空间分辨率为0.57-0.89 mm，图像大小为512×512。然后将3D图像分解成多张二维切片图像，选取了其中包含病灶的847张二维切片图像用于训练。同时通过肝脏分割算法从腹部CT中提取肝脏区域。选取平均精确度的平均(mean of AveragePrecision, mAP)作为病灶检测算法的评估指标。表1和表2中的mAP@0.1和mAP@0.5分别表示当交并比（目标预测框和真实框的交集和并集比例，IOU）为0.1和0.5时的mAP值。
如下表所示，对于单期相图像，本发明DLA++网络相对于DLA网络检测性能明显更优，当交并比为0.1时，其性能提升0.95%，而当交并比为0.5时，其性能提升0.83%。对于多期相图像，本发明DLA++网络相对于单期相的DLA++网络检测性能提升同样明显，当交并比为0.1时，其性能提升0.54%，而当交并比为0.5时，其性能提升0.17%。对于多期相图像，本发明联合DLA++和循环特征连接模块的RDLA++网络相对于仅采用DLA++网络，检测性能也有显著提升，当交并比为0.1时，其性能提升0.74%，而当交并比为0.5时，其性能提升0.64%。
表1 单期相和多期相检测性能对比
Figure 946334DEST_PATH_IMAGE046
作为特征提取网络，RDLA++可以和不同的检测分支结合，如表2所示，当RDLA++和CenterNet head检测分支结合时，其可以达到当前最好的病灶检测性能，相对于CenterNet提升了2.23%。
表2 与现有的检测算法性能对比
Figure 973327DEST_PATH_IMAGE047
表2中，Lee. et al方法参照：Lee, S., Bae, J.S., Kim, H., et al.: Weakly-Labeled Multi-phase CT Volumes with a Grouped Single Shot MultiBox Detector.International Conference on Medical Image Computing and Computer-AssistedIntervention (MICCAI), (2018)。
表2中，Liang et al方法参照：Liang, D., Lin1, L., Chen, X., Hu, H.,Zhang, Q., Chen, Q., Iwamoto, Y., Han, X., Chen, Y.W., Tong, R., Wu, J.:Multi-stream scale-insensitive convolutional and recurrent neural networksfor liver tumor detection in dynamic ct images. International Conference onImage Processing (ICIP), (2019)。
以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (9)

1.一种基于无锚框的多期相肝脏病灶检测方法，其特征在于，该方法包括以下步骤：
（1）构建无锚框多期相CT图像肝脏病灶自动检测网络；所述无锚框多期相CT图像肝脏病灶自动检测网络包括特征提取网络RDLA++和检测分支；输入各期相CT图像，首先由RDLA++提取图像特征，然后由检测分支预测图像中的病灶位置；
所述RDLA++由全尺度连接循环深层聚合检测网络DLA++和循环特征连接模块构成；
所述DLA++采用密集跳跃连接将浅层特征传递给深层特征，同层特征能够跨越传递，DLA++输出多个不同尺度的特征图以实现全尺度特征提取；
所述循环特征连接模块通过CLSTM实现；各期相图像经各自的DLA++输出的同尺度的特征通过循环特征连接模块依次级联；循环特征连接模块级联的结果按尺寸从小到大依次输入各连接节点，后一个连接节点的输入为所对应的循环特征连接模块的输出和前一个连接节点的输出的合成；每个连接节点对输入进行上采样卷积；最后一个连接节点输出RDLA++所提取的时空间特征；
（2）训练RDLA++和检测分支，实现肝脏病灶检测：采集各期相CT图像，标注肝脏病灶区域构成训练集对RDLA++和检测分支进行训练；将待检测用户的各期相CT图像输入训练好的RDLA++和检测分支中，得到病灶位置。
2.根据权利要求1所述的一种基于无锚框的多期相肝脏病灶检测方法，其特征在于，所 述DLA++有两条特征提取路径：横向I路径和纵向J路径；I路径由卷积层和池化层所组成，由 浅到深，特征图的大小随之变小；J路径只有卷积层，特征图的大小不变；（i，j）卷积层的输 出
Figure 488537DEST_PATH_IMAGE001
表示成公式(1)；
Figure 936836DEST_PATH_IMAGE002
(1)
其中，H(x)表示卷积层的输出，x表示卷积层的输入；U(x)表示x的上采样；
Figure 247732DEST_PATH_IMAGE003
表示把
Figure 924832DEST_PATH_IMAGE004
合并成一个特征图，
Figure 67100DEST_PATH_IMAGE005
表示把
Figure 420721DEST_PATH_IMAGE006
合并成一个特征图；J代表J路径的总层数。
3.根据权利要求2所述的一种基于无锚框的多期相肝脏病灶检测方法，其特征在于，所述DLA++输出三个不同尺度的特征图时，所述循环特征连接模块的实现过程如公式(2)；
Figure 969645DEST_PATH_IMAGE007
(2)
其中，
Figure 699704DEST_PATH_IMAGE008
代表连接节点G s 输出的特征，CLSTM代表卷积长短时记忆网络，H 1×1代表1×1上 采样卷积；
Figure 634162DEST_PATH_IMAGE009
分别表示NC、ART、PV期相CT图输入时的DLA++的（i, j）卷积 层的输出。
4.根据权利要求1所述的一种基于无锚框的多期相肝脏病灶检测方法，其特征在于，所 述检测分支采用CenterNet方法，具体为：假定输入的某期相m的图像为
Figure 158684DEST_PATH_IMAGE010
，W 和H分别为图像的宽和高；对于RDLA++输出的特征图，采用全连接层通过softmax生成C个热 力图，第c类热力图
Figure 194904DEST_PATH_IMAGE011
，其中F是尺寸缩小率，C是被检测物体的种类数；热力 图
Figure 463074DEST_PATH_IMAGE012
中的最大值的位置（p x , p y ）就是所要检测的第c类物体的中心点；用回归方法通过 RDLA++的特征图计算肿瘤的大小S和中心点的局部偏移O。
5.根据权利要求1所述的一种基于无锚框的多期相肝脏病灶检测方法，其特征在于，所述训练集的构建具体为：采集NC、ART、PV三个期相的腹部CT图像，将3D图像分解成多张二维切片图像，选取包含病灶的若干张二维切片图像，由医生手工标注肝脏病灶区域，构成训练集。
6.根据权利要求4所述的一种基于无锚框的多期相肝脏病灶检测方法，其特征在于，采用三个损失函数的线性组合进行端对端地训练RDLA++和检测分支；
（1）用于生成热力图的Focal loss函数
Figure 517618DEST_PATH_IMAGE013
，见公式(3)；
Figure 478621DEST_PATH_IMAGE014
(3)
Figure 795945DEST_PATH_IMAGE015
其中，
Figure 602227DEST_PATH_IMAGE016
是根据标注的肿瘤中心点生成的高斯函数，作为热力图的真值，
Figure 511277DEST_PATH_IMAGE017
是高 斯函数
Figure 128335DEST_PATH_IMAGE018
的参数；
Figure 388415DEST_PATH_IMAGE019
；
Figure 795125DEST_PATH_IMAGE020
是网络生成的热力图；N是被检测物体的个 数；
Figure 574994DEST_PATH_IMAGE021
和
Figure 877799DEST_PATH_IMAGE022
是Focal loss的超参数；
（2）用于计算肿瘤的大小的L1 loss函数
Figure 359596DEST_PATH_IMAGE023
，用于计算肿瘤中心点的局部偏移的L1 loss函数
Figure 773260DEST_PATH_IMAGE024
，见公式(4)和(5)；
Figure 142055DEST_PATH_IMAGE025
(4)
Figure 615762DEST_PATH_IMAGE026
(5)
其中，
Figure 584855DEST_PATH_IMAGE027
和S分别是网络计算的肿瘤的大小和实际标注的肿瘤的大小；k是肿瘤的番号；
Figure 536630DEST_PATH_IMAGE028
是预测的局部偏移，
Figure 294021DEST_PATH_IMAGE029
是原图像中标注的肿瘤的中心点位置，
Figure 938629DEST_PATH_IMAGE030
是 下采样后缩小图像中标注的肿瘤的中心点位置；
（3）训练RDLA++和检测分支采用的总损失函数
Figure 395018DEST_PATH_IMAGE031
，其中，
Figure 150484DEST_PATH_IMAGE032
和
Figure 290610DEST_PATH_IMAGE033
为权 重参数。
7.一种基于无锚框的多期相肝脏病灶检测系统，其特征在于，该系统包括无锚框多期相CT图像肝脏病灶自动检测网络构建模块、网络训练模块及肝脏病灶检测模块；
所述无锚框多期相CT图像肝脏病灶自动检测网络构建模块构建的无锚框多期相CT图像肝脏病灶自动检测网络包括特征提取网络RDLA++和检测分支；输入各期相CT图像，首先由RDLA++提取图像特征，然后由检测分支预测图像中的病灶位置；
所述RDLA++由全尺度连接循环深层聚合检测网络DLA++和循环特征连接模块构成；
所述DLA++采用密集跳跃连接将浅层特征传递给深层特征，同层特征能够跨越传递，DLA++输出多个不同尺度的特征图以实现全尺度特征提取；
所述循环特征连接模块通过CLSTM实现；各期相图像经各自的DLA++输出的同尺度的特征通过循环特征连接模块依次级联；循环特征连接模块级联的结果按尺寸从小到大依次输入各连接节点，后一个连接节点的输入为所对应的循环特征连接模块的输出和前一个连接节点的输出的合成；每个连接节点对输入进行上采样卷积；最后一个连接节点输出RDLA++所提取的时空间特征；
所述网络训练模块采集各期相CT图像，标注肝脏病灶区域构成训练集对RDLA++和检测分支进行训练；
所述肝脏病灶检测模块将待检测用户的各期相CT图像输入网络训练模块训练好的RDLA++和检测分支中，得到病灶位置。
8.根据权利要求7所述的一种基于无锚框的多期相肝脏病灶检测系统，其特征在于，所 述无锚框多期相CT图像肝脏病灶自动检测网络构建模块中，构建的DLA++有两条特征提取 路径：横向I路径和纵向J路径；I路径由卷积层和池化层所组成，由浅到深，特征图的大小随 之变小；J路径只有卷积层，特征图的大小不变；（i，j）卷积层的输出
Figure 106119DEST_PATH_IMAGE001
表示成公式(6)；
Figure 49804DEST_PATH_IMAGE002
(6)
其中，H(x)表示卷积层的输出，x表示卷积层的输入；U(x)表示x的上采样；[x 1, x 2, …,x n]表示把x 1, x 2, …,x n合并成一个特征图；J代表J路径的总层数。
9.根据权利要求8所述的一种基于无锚框的多期相肝脏病灶检测系统，其特征在于，所述无锚框多期相CT图像肝脏病灶自动检测网络构建模块中，DLA++输出三个不同尺度的特征图时，所述循环特征连接模块的实现过程如公式(7)；
Figure 94115DEST_PATH_IMAGE034
(7)
其中，
Figure 806856DEST_PATH_IMAGE008
代表连接节点G s 输出的特征，CLSTM代表卷积长短时记忆网络，H 1×1代表1×1上 采样卷积；
Figure 527687DEST_PATH_IMAGE009
分别表示NC、ART、PV期相CT图输入时的DLA++的（i, j）卷积 层的输出。
CN202011268110.8A 2020-11-13 2020-11-13 一种基于无锚框的多期相肝脏病灶检测方法及系统 Active CN112102317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011268110.8A CN112102317B (zh) 2020-11-13 2020-11-13 一种基于无锚框的多期相肝脏病灶检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011268110.8A CN112102317B (zh) 2020-11-13 2020-11-13 一种基于无锚框的多期相肝脏病灶检测方法及系统

Publications (2)

Publication Number Publication Date
CN112102317A true CN112102317A (zh) 2020-12-18
CN112102317B CN112102317B (zh) 2021-03-02

Family

ID=73784512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011268110.8A Active CN112102317B (zh) 2020-11-13 2020-11-13 一种基于无锚框的多期相肝脏病灶检测方法及系统

Country Status (1)

Country Link
CN (1) CN112102317B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113241156A (zh) * 2021-06-04 2021-08-10 华中科技大学 一种基于检测指导的骨科病灶计数网络的标注方法及系统
CN114648685A (zh) * 2022-03-23 2022-06-21 成都臻识科技发展有限公司 一种anchor-free算法转换为anchor-based算法的方法及系统
WO2022247486A1 (zh) * 2021-05-25 2022-12-01 苏州慧维智能医疗科技有限公司 基于无锚框的大肠内窥镜息肉检测与病理分类方法
CN115526843A (zh) * 2022-09-14 2022-12-27 阿里巴巴（中国）有限公司 医学图像的处理方法和系统
CN117115166A (zh) * 2023-10-24 2023-11-24 北京大学第一医院 一种肾脏多期ct影像检测系统及方法、电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499928A (zh) * 2009-03-18 2009-08-05 苏州盛世阳科技有限公司 一种基于聚类分析的网络入侵场景图生成方法
CN102222231A (zh) * 2011-05-26 2011-10-19 厦门大学 一种基于背侧通路引导的视觉注意计算模型及其处理方法
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN110119760A (zh) * 2019-04-11 2019-08-13 华南理工大学 一种基于层次化多尺度循环神经网络的序列分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499928A (zh) * 2009-03-18 2009-08-05 苏州盛世阳科技有限公司 一种基于聚类分析的网络入侵场景图生成方法
CN102222231A (zh) * 2011-05-26 2011-10-19 厦门大学 一种基于背侧通路引导的视觉注意计算模型及其处理方法
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN110119760A (zh) * 2019-04-11 2019-08-13 华南理工大学 一种基于层次化多尺度循环神经网络的序列分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹帅: "基于跨尺度特征聚合网络的多尺度行人检测", 《北京航空航天大学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022247486A1 (zh) * 2021-05-25 2022-12-01 苏州慧维智能医疗科技有限公司 基于无锚框的大肠内窥镜息肉检测与病理分类方法
US11954857B2 (en) 2021-05-25 2024-04-09 Highwise Co, Ltd. Method for detection and pathological classification of polyps via colonoscopy based on anchor-free technique
CN113241156A (zh) * 2021-06-04 2021-08-10 华中科技大学 一种基于检测指导的骨科病灶计数网络的标注方法及系统
CN113241156B (zh) * 2021-06-04 2024-04-23 华中科技大学 一种基于检测指导的骨科病灶计数网络的标注方法及系统
CN114648685A (zh) * 2022-03-23 2022-06-21 成都臻识科技发展有限公司 一种anchor-free算法转换为anchor-based算法的方法及系统
CN115526843A (zh) * 2022-09-14 2022-12-27 阿里巴巴（中国）有限公司 医学图像的处理方法和系统
CN117115166A (zh) * 2023-10-24 2023-11-24 北京大学第一医院 一种肾脏多期ct影像检测系统及方法、电子设备
CN117115166B (zh) * 2023-10-24 2024-03-26 北京大学第一医院 一种肾脏多期ct影像检测系统及方法、电子设备

Also Published As

Publication number Publication date
CN112102317B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN112102317B (zh) 一种基于无锚框的多期相肝脏病灶检测方法及系统
Oktay et al. Anatomically constrained neural networks (ACNNs): application to cardiac image enhancement and segmentation
Li et al. MVP-Net: multi-view FPN with position-aware attention for deep universal lesion detection
Chen et al. Curve-like structure extraction using minimal path propagation with backtracking
Frid-Adar et al. Improving the segmentation of anatomical structures in chest radiographs using u-net with an imagenet pre-trained encoder
CN110021025A (zh) 感兴趣区域的匹配和显示方法、装置、设备及存储介质
CN107945168A (zh) 一种医学图像的处理方法及医学图像处理系统
Zhang et al. ST-unet: Swin transformer boosted U-net with cross-layer feature enhancement for medical image segmentation
US8873819B2 (en) Method for sorting CT image slices and method for constructing 3D CT image
Mercan et al. Virtual staining for mitosis detection in breast histopathology
CN112541483A (zh) Yolo和分块-融合策略结合的稠密人脸检测方法
CN111429474A (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
Sun et al. A center-driven image set partition algorithm for efficient structure from motion
CN110533113A (zh) 一种数字图像中树状结构的分支点检测方法
Du et al. Real-time lesion detection of cardiac coronary artery using deep neural networks
Li et al. Ct scan synthesis for promoting computer-aided diagnosis capacity of covid-19
Wang et al. Gastric polyps detection by improved Faster R-CNN
Saeed et al. Contrastive pretraining for echocardiography segmentation with limited data
Lakshmipriya et al. Deep learning techniques in liver tumour diagnosis using CT and MR imaging-A systematic review
Li et al. A novel reverse sparse model utilizing the spatio-temporal relationship of target templates for object tracking
Fathima et al. A deep learning approach on segmentation of bone for bmd measurement from dexa scan images
Liu et al. MLANet: Multi-Layer Anchor-free Network for generic lesion detection
Zhang et al. Dual-branch multi-information aggregation network with transformer and convolution for polyp segmentation
CN115631387A (zh) 基于图卷积神经网络的肺癌病理高危因素预测方法和装置
CN115131279A (zh) 通过深度学习模型的疾病分类

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant