CN112862824A - 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 - Google Patents
新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 Download PDFInfo
- Publication number
- CN112862824A CN112862824A CN202110410971.3A CN202110410971A CN112862824A CN 112862824 A CN112862824 A CN 112862824A CN 202110410971 A CN202110410971 A CN 202110410971A CN 112862824 A CN112862824 A CN 112862824A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- feature
- image
- network
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 141
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 46
- 241000711573 Coronaviridae Species 0.000 title claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 89
- 230000004927 fusion Effects 0.000 claims abstract description 61
- 210000004072 lung Anatomy 0.000 claims abstract description 51
- 238000007781 pre-processing Methods 0.000 claims abstract description 24
- 230000003902 lesion Effects 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 32
- 238000012216 screening Methods 0.000 claims description 21
- 238000007499 fusion processing Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000003628 erosive effect Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims 3
- 238000010606 normalization Methods 0.000 abstract description 5
- 238000012549 training Methods 0.000 abstract description 5
- 238000012360 testing method Methods 0.000 abstract description 3
- 238000007500 overflow downdraw method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 1
- 208000002151 Pleural effusion Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 208000008128 pulmonary tuberculosis Diseases 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质，包括获取患者的肺部三维CT图像；对CT图像进行预处理操作，预处理操作包括肺部区域提取、像素归一化和数据增强；搭建基于三维图像的目标检测网络，检测网络包括特征提取网络，特征融合网络和病灶预测网络，特征提取网络采用3D‑Resnet作为基础框架，特征融合网络采用3D‑FPN的思想对不同尺度的特征层进行特征融合，病灶预测网络采用Faster‑RCNN的目标检测思想对融合后特征层进行病灶预测；在训练或测试时，将处理后的图像输入到网络中进行新型冠状病毒病灶检测。本发明的新冠肺炎病灶检测方法能显著提高病灶区域的检出率、真阳率和准确率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质。
背景技术
新型冠状病毒病灶检测是利用神经网络对CT图像进行目标检测，从而得到病灶区域位置信息的过程，其是基于深度学习中的目标检测方法。
现有的用于新型冠状病毒的目标检测方法通常是基于二维图像进行的，因此，在医学图像领域进行的目标检测采用的输入一般是三维CT图像的二维切片，在二维切片上对目标(病灶区域)进行检测。这导致检测过程中只利用到了病灶区域的二维特征，其三维结构信息没有得到充分利用，使得漏检和错检的情况时有发生，从而不能保证检查的检出率、真阳率和准确率。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种新型冠状病毒肺炎病灶检测方法，其检出率、真阳率和准确率较高。
本发明的目的之二在于提供一种基于肺炎医学图像的病灶检测系统。
本发明的目的之三在于提供一种基于肺炎医学图像的病灶检测装置。
本发明的目的之四在于提供一种存储介质。
本发明的目的之一采用如下技术方案实现：
新型冠状病毒肺炎病灶检测方法，包括以下步骤：
图像获取步骤，获取待处理的人体肺部三维CT图像；
图像预处理步骤，对所述三维CT图像进行预处理；
检测网络搭建步骤，搭建基于三维图像的目标检测网络，所述检测网络包括特征提取网络、特征融合网络和病灶预测网络，利用所述特征提取网络获取所述三维CT图像的若干不同尺度特征层，所述特征融合网络采用3D-FPN对所述不同尺度特征层进行特征融合，所述病灶预测网络采用Faster-RCNN对融合后的特征层进行病灶预测；其中，特征提取得到了p2到pk+1这些多尺度特征后，进行特征融合处理；特征融合处理按照以下公式进行：Pi＝Fi(p2，p3，...，pk+1)i＝2，3，...，k+1，式中Pi表示融合后的第i层特征，其尺寸和pi一致，Fi表示第i层融合特征的融合处理，包括了对低层特征图的下采样和高层特征图的上采样操作；
病灶检测步骤，将预处理后CT图像输入到所述检测网络中进行冠状病毒病灶检测。
进一步地，在进行特征融合处理时，共有k个尺寸的特征，对于多尺度特征p2，分别进行相应倍数的下采样操作得到k个分别与p2～pk+1尺寸相对应的特征；对于多尺度特征p3～Pk，分别进行相应倍数的下采样和上采样操作，多尺度特征p3～pk均得到k个分别与p2～pk+1尺寸相对应的特征；对于多尺度特征pk+1，分别进行相应倍数的上采样操作得到k个分别与多尺度特征p2～pk+1尺寸相对应的特征；经过上述操作后，获取了k组特征图，每组特征图中均有k个特征，每组特征图内的k个特征分别与p2～pk+1尺寸相对应，分别将k个尺寸相同的特征融合成为新的特征Pi，Pi尺寸和pi一致。
进一步地，所述特征提取网络包括3D-Resnet模型和灰度特征提取模型，利用3D-Resnet模型进行特征提取得到一组p2～pk+1多尺度特征，同时利用灰度特征提取模型进行特征提取得到一组分别与p2～pk+1多尺度特征尺寸一致的灰度特征图
接着p2～pk+1多尺度特征和灰度特征图
进行特征融合。
进一步地，在所述图像预处理步骤中，预处理操作包括肺部区域提取处理，按照以下方式进行：对所述三维CT图像的二维切片图像进行高斯滤波操作，对二维切片和三维图像的连通区域进行阈值化筛选、曲率筛选和中心距离筛选操作，得到粗略肺部区域的掩码，接着对粗略肺部区域的掩码进行膨胀腐蚀操作得到最终的肺部区域三维掩码。
进一步地，所述三维CT图像为原始图像I，I＝{i1，i2，...，ik}，其由k张切片组成，其中i1到ik分别代表第1到第k张切片，对原始图像I进行肺部区域提取处理按照以下方式进行：
取任意一张切片i进行标准二维高斯滤波操作，通过以下公式：
记滤波后的切片为i′，对i′进行二值化阈值为γ的二值化操作，得到对应的二维掩码m；
对m中的所有连通区域进行筛选，只保留面积大于S且曲率小于C的区域，得到二维掩码m′；S为二维连通区域面积阈值，C为曲率阈值；
对k张切片{i1，i2，...，ik}分别进行上述操作，得到k张对应的二维掩码{m′1，m′2，...，m′k}，将k张二维掩码进行拼接得到原始图像I对应的三维掩码M′＝{m′1，m′2，...，m′k}，对M′中所有的连通区域进行筛选，只保留体积大于V的区域，V为三维连通区域体积阈值，得到新的三维掩码M″＝{m″1，m″2，...，m″k}，其由k张二维掩码组成；
对三维掩码M″的所有三维连通区域，计算其在每张二维掩码m″上的二维切片距离图像中心的最小距离的平均值，只保留平均值小于d的连通区域，d为中心距离筛选阈值，得到新的三维掩码M″′＝{m″′1，m″′2，...，m″′k}，三维掩码M″′为原始图像粗略肺部区域的掩码；
对M″′进行迭代的腐蚀操作，直到被分成两个部分，再接着从两部分的中心开始对两部分分别进行迭代的膨胀操作，在膨胀回到腐蚀前的尺寸后再进行D次膨胀操作，D为膨胀超参数，得到最终的肺部区域三维掩码Mf；
根据Mf，保留原始图像I中对应位置的像素值，得到肺部区域提取处理后的三维CT图像L。
进一步地，所述肺部区域提取处理时设置的阈值及超参数如下：高斯滤波模板半径超参数r＝5，二值化阈值γ＝-600，二维连通区域面积阈值S＝30，曲率阈值C＝0.99，三维连通区域体积阈值V＝6800，中心距离筛选阈值d＝62，膨胀超参数D＝10。
进一步地，在所述图像预处理步骤中，预处理操作还包括像素归一化处理和数据增强处理；所述像素归一化处理通过公式L′＝(L-Imin)/(Imax-Imin)进行，式中Imax表示提取后的三维图像L最大的像素值，Imin表示提取后的三维图像L最小的像素值，L′表示预处理后的图像；所述数据增强处理包括旋转、翻转和放缩操作。
进一步地，所述特征提取网络为3D-Resnet模型，所述特征融合网络为3D-FPN模型，所述病灶预测网络为Faster-RCNN预测层模型，预处理后的CT图像输入到所述检测网络中分别进行特征提取处理、特征融合处理和病灶预测处理；
特征提取处理按以下公式进行：pi+1＝fi(pi)i＝1，2，...，k，式中p1表示输入网络的图像，k表示特征提取的次数，p2到pk+1表示进行1次到k次特征提取后得到的第2到第k+1层特征，fi表示第i次进行特征提取的操作；
得到了p2到pk+1这些多尺度特征后，进行特征融合处理；特征融合处理按照以下公式进行：Pi＝Fi(p2，p3，...，pk+1)i＝2，3，...，k+1，式中Pi表示融合后的第i层特征，其尺寸和pi一致，Fi表示第i层融合特征的融合处理，包括了对低层特征图的下采样和高层特征图的上采样操作；
接着进行病灶预测处理，按照以下公式进行：Resulti＝hi(Pi)i＝2，3，...，k+1，式中Resulti表示对第i层特征的病灶预测结果，由若干七维向量(x，y，z，dx，dy，dz，p)并列组成，(x，y，z)表示病灶的中心点三维坐标，(dx，dy，dz)表示病灶在x，y，z三个维度上的跨度，p表示预测置信度，hi表示对第i层特征的病灶预测操作。
进一步地，在进行病灶预测处理时引入多任务损失函数，所述多任务损失函数分别对应回归任务和分类任务，公式如下所示：
L＝Lcls+Lreg
式中，Lcls表示分类损失，Lreg表示回归损失，L表示总损失，yi和
分别表示预测置信度和实际类别标签；ti和
均为六维向量，ti表示病灶中心点的三维坐标及三维偏移量的预测值，
表示病灶中心点三维坐标及三维偏移量的实际标签；R表示Smooth L1损失，计算方式由如下公式进行：
进一步地，将预处理后的CT图像输入到网络中，通过最优化损失函数进行训练。
本发明的目的之二采用如下技术方案实现：
一种基于肺炎医学图像的病灶检测系统，包括：
图像获取模块，用于获取待处理的人体肺部三维CT图像；
图像预处理模块，用于对所述三维CT图像进行预处理；
检测网络搭建模块，用于搭建基于三维图像的目标检测网络，所述检测网络包括特征提取网络、特征融合网络和病灶预测网络，利用所述特征提取网络获取所述三维CT图像的若干不同尺度特征层，所述特征融合网络采用3D-FPN对所述不同尺度特征层进行特征融合，所述病灶预测网络采用Faster-RCNN对融合后的特征层进行病灶预测；
病灶检测模块，用于将预处理后CT图像输入到所述检测网络中进行冠状病毒病灶检测。
本发明的目的之三采用如下技术方案实现：
一种基于肺炎医学图像的病灶检测装置，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行如上述的新型冠状病毒肺炎病灶检测方法。
本发明的目的之四采用如下技术方案实现：
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现上述的新型冠状病毒肺炎病灶检测方法。
相比现有技术，本发明的有益效果在于：
本发明所提供的新型冠状病毒肺炎病灶检测方法，属于一种三维的目标检测方法，其采用的网络框架为3D-FPN，结合Faster-RCNN的目标检测思想进行目标检测，即本发明的新型冠状病毒病灶检测网络直接对三维图像进行特征提取，对不同尺寸的特征进行特征融合，使得网络进行目标检测时兼顾图像中多个尺度的三维特征。3D-FPN网络框架和Faster-RCNN的目标检测思想对新冠肺炎病灶检测的好处主要体现在如下两方面：
其一，3D-FPN网络框架通过对三维图像进行三维特征提取，同时对多尺度特征进行目标检测，综合多尺度、多维度的特征信息，显著提高病灶区域的检出率、真阳率和准确率；
其二，Faster-RCNN目标检测思想引入多任务损失函数，降低运算开销，使整个网络的训练和测试变得十分方便，也有着优秀的检测效果。
附图说明
图1为本发明实施例1提供的新型冠状病毒病灶检测方法的流程示意图；
图2为本发明实施例1提供的新型冠状病毒病灶检测方法中CT图像数据示意图；
图3为本发明实施例1提供的新型冠状病毒病灶检测方网络框架示意图；
图4为本发明实施例1提供的多尺度特征全连接融合示意图；
图5为本发明实施例1提供的不同尺度特征的尺寸调整示意图；
图6为本发明实施例2提供的灰度特征提取步骤示意图；
图7为本发明实施例2提供的运用两种特征提取模型进行特征提取的示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例1
本发明实施例1所提供的新型冠状病毒肺炎病灶检测方法是基于3D-FPN的特征融合网络和Faster-RCNN的检测思想，对肺部三维CT图像进行三维的目标检测，从而有效提高病灶检测的检出率、真阳率和准确率。
其中，3D-FPN特征融合网络是针对三维输入图像的多尺度特征进行特征融合，其进行特征提取的基架网络采用的是3D-ResNet的特征提取网络；多尺度特征采用Faster-RCNN思想的预测层进行目标检测操作，得到检测结果。
具体的实施方式如图1所示，新型冠状病毒肺炎病灶检测方法，包括以下步骤：
图像获取步骤11，获取待处理的人体肺部三维CT图像；
图像预处理步骤12，对三维CT图像进行预处理；
检测网络搭建步骤13，搭建基于三维图像的目标检测网络，检测网络包括特征提取网络、特征融合网络和病灶预测网络，利用特征提取网络获取三维CT图像的若干不同尺度特征层，特征融合网络采用3D-FPN对不同尺度特征层进行特征融合，病灶预测网络采用Faster-RCNN对融合后的特征层进行病灶预测；
病灶检测步骤14，将预处理后CT图像输入到检测网络中进行冠状病毒病灶检测。
本发明实施例1的新冠肺炎病灶检测方法对肺部三维CT图像进行三维的目标检测，并使得病灶检测结果的真阳率、准确率和检出率满足实际需求。
本发明实施例1的新冠肺炎病灶检测方法可以用于医院对新冠肺炎病历的初步筛选，通过对整个肺部三维CT图像进行新冠肺炎病灶检测，在检测过程中兼顾多个尺度的三维特征，从而综合多维度、多尺度的特征信息对病灶区域进行判断。
本发明实施例1的新冠肺炎病灶检测方法属于一种三维的目标检测方法，其采用的网络框架为3D-FPN，结合Faster-RCNN的目标检测思想进行目标检测，即检测网络的特征提取层为3D-FPN的特征融合网络，3D-FPN特征融合网络包括若干尺寸的特征层，根据特征层进行特征融合后由Faster-RCNN的目标检测思想对特征层进行目标检测。3D-FPN网络框架和Faster-RCNN的目标检测思想对新冠肺炎病灶检测的好处主要体现在如下两方面：其一，3D-FPN网络框架通过对三维图像进行三维特征提取，同时对多尺度特征进行目标检测，综合多尺度、多维度的特征信息，显著提高病灶区域的检出率、真阳率和准确率；其二，Faster-RCNN目标检测思想引入多任务损失函数，降低运算开销，使整个网络的训练和测试变得十分方便，也有着优秀的检测效果。
如图2所示，原始的肺部三维CT图像21尺寸为(x，y，z)，其中x，y代表CT图像的横、纵距离，z代表CT图像的切片数，具体尺寸大小与医院为患者做CT时的参数相关。取z方向上的一张切片22为例，其结构包括非人体区域221，人体非肺部区域222，人体肺部区域223。其中与病灶检测相关的区域只有人体肺部区域223，非人体区域和人体非肺部区域222均与病灶检测工作无关，且会干扰检测工作的进行。
进一步地，在图像预处理步骤中，预处理操作包括肺部区域提取处理，按照以下方式进行：对三维CT图像的二维切片图像进行高斯滤波操作，对二维切片和三维图像的连通区域进行阈值化筛选、曲率筛选和中心距离筛选操作，得到粗略肺部区域的掩码，接着对粗略肺部区域的掩码进行膨胀腐蚀操作得到最终的肺部区域三维掩码。
进一步地，三维CT图像为原始图像I，I＝{i1，i2，...，ik}，其由k张切片组成，其中i1到ik分别代表第1到第k张切片，对原始图像I进行肺部区域提取处理按照以下方式进行：
取任意一张切片i进行标准二维高斯滤波操作，通过以下公式：
记滤波后的切片为i′，对i′进行二值化阈值为γ的二值化操作，得到对应的二维掩码m；
对m中的所有连通区域进行筛选，只保留面积大于S且曲率小于C的区域，得到二维掩码m′；S为二维连通区域面积阈值，C为曲率阈值；
对k张切片{i1，i2，...，ik}分别进行上述操作，得到k张对应的二维掩码{m′1，m′2，...，m′k}，将k张二维掩码进行拼接得到原始图像I对应的三维掩码M′＝{m′1，m′2，...，m′k}，对M′中所有的连通区域进行筛选，只保留体积大于V的区域，V为三维连通区域体积阈值，得到新的三维掩码M″＝{m″1，m″2，...，m″k}，其由k张二维掩码组成；
对三维掩码M″的所有三维连通区域，计算其在每张二维掩码m″上的二维切片距离图像中心的最小距离的平均值，只保留平均值小于d的连通区域，d为中心距离筛选阈值，得到新的三维掩码M″′＝{m″′1，m″′2，...，m″′k}，三维掩码M″′为原始图像粗略肺部区域的掩码；
对M″′进行迭代的腐蚀操作，直到被分成两个部分，再接着从两部分的中心开始对两部分分别进行迭代的膨胀操作，为了防止肺部区域提取不准导致肺部区域的信息丢失，在膨胀回到腐蚀前的尺寸后再进行D次膨胀操作，D为膨胀超参数，得到最终的肺部区域三维掩码Mf；
根据Mf，保留原始图像I中对应位置的像素值，得到肺部区域提取处理后的三维CT图像L，即是原始图像进行肺部区域提取后的图像。
进一步地，肺部区域提取处理时设置的阈值及超参数如下：高斯滤波模板半径超参数r＝5，二值化阈值γ＝-600，二维连通区域面积阈值S＝30，曲率阈值C＝0.99，三维连通区域体积阈值V＝6800，中心距离筛选阈值d＝62，膨胀超参数D＝10。在实际运用时，在提取过程中根据不同患者人群、医院不同的CT参数设置不同的阈值和超参数。
进一步地，在图像预处理步骤中，预处理操作还包括像素归一化处理和数据增强处理；像素归一化处理通过公式L′＝(L-Imin)/(Imax-Imin)进行，式中Imax表示提取后的三维图像L最大的像素值，Imin表示提取后的三维图像L最小的像素值，L′表示预处理后的图像；数据增强处理包括旋转、翻转和放缩操作。
进一步地，如图3-5所示为病灶检测网络的网络框架，病灶检测网络由特征提取网络31，不同尺度特征的尺寸调整34，特征融合网络32，病灶预测网络33组成，特征提取网络31为3D-Resnet模型，特征融合网络32为3D-FPN模型，病灶预测网络33为Faster-RCNN预测层模型，预处理后的CT图像输入到检测网络中分别进行特征提取处理、特征融合处理和病灶预测处理；
特征提取处理按以下公式进行：pi+1＝fi(pi)i＝1，2，...，k，式中p1表示输入网络的图像，k表示特征提取的次数，p2到pk+1表示进行1次到k次特征提取后得到的第2到第k+1层特征，fi表示第i次进行特征提取的操作；可选的，k的取值范围为大于2的正整数；
得到了p2到pk+1这些多尺度特征后，进行特征融合处理；特征融合处理按照以下公式进行：Pi＝Fi(p2，p3，...，pk+1)i＝2，3，...，k+1，式中Pi表示融合后的第i层特征，其尺寸和pi一致，Fi表示第i层融合特征的融合处理，包括了对低层特征图的下采样和高层特征图的上采样操作；具体地，从图3-5可得，在进行特征融合处理时，共有k个尺寸的特征，对于多尺度特征p2，分别进行相应倍数的下采样操作得到k个分别与p2～pk+1尺寸相对应的特征；对于多尺度特征p3～pk，分别进行相应倍数的下采样和上采样操作，多尺度特征p3～pk均得到k个分别与p2～Pk+1尺寸相对应的特征；对于多尺度特征pk+1，分别进行相应倍数的上采样操作得到k个分别与多尺度特征p2～pk+1尺寸相对应的特征；经过上述操作后，获取了k组特征图，每组特征图中均有k个特征，每组特征图内的k个特征分别与p2～Pk+1尺寸相对应，分别将k个尺寸相同的特征融合成为新的特征Pi，Pi尺寸和pi一致；
接着进行病灶预测处理，按照以下公式进行：Resulti＝hi(Pi)i＝2，3，...，k+1，式中Resulti表示对第i层特征的病灶预测结果，由若干七维向量(x，y，z，dx，dy，dz，p)并列组成，(x，y，z)表示病灶的中心点三维坐标，(dx，dy，dz)表示病灶在x，y，z三个维度上的跨度，p表示预测置信度，hi表示对第i层特征的病灶预测操作。
本发明实施例1提出的3D-FPN全连接融合方法在融合特征的选择上具有独特的创新，包含了大尺寸向小尺寸融合成小尺寸的操作，同时包含了卷积反卷积/下采样上采样的尺寸变化方法，这是脱离于传统FPN网络的方法。
本发明实施例1针对新冠肺炎病灶区域检测采用的是“特征图全连接融合3D-FPN法”而非相邻层融合，原因包括：1，新冠肺炎病灶区域尺寸变化极大，最小的Bounding Box边长约为十几个像素，而最大的Bounding Box边长可达上百个像素，这种尺寸变化范围是普通目标检测任务所不具有的，对于这种尺度变化更大的情况，需要融合全部特征图来进行检测。2，肺部的背景是十分复杂的，新冠病灶区域的磨玻璃状阴影这一特点并不具备与背景明显区别的特征，这一点不像常规目标检测工作(比如猫、狗、车辆检测或者人脸检测)，常规目标检测工作的目标区域(猫、狗、车辆、人脸等)是与背景有非常明显的特征区别的，因此，新冠检测时不仅需要局部特征的语义信息，更需要广泛的全局信息才能确定目标区域是否是新冠病灶。
在深度学习领域，特征图层级越高则其中包含的语义信息越丰富，反之层级低的特征图则包含广泛的全局位置、结构等信息。本发明实施例1是针对新冠肺炎病灶进行检测的，由于肺部CT中新冠病灶区域特征相比背景不明显的实际情况，仅包含丰富的语义信息并不能有效的对病灶进行检出，3D-FPN提出的全连接特征融合方法能够在丰富特征图语义信息的同时丰富全局信息，从而有效的提高网络的性能；另外结合病灶区域尺度变化极大这一特点，更多尺度的特征融合也是十分必要的。本发明实施例1正是针对肺部CT新冠病灶的多尺度特点和病灶区域特征不明显这一实际情况，特定研发出3D-FPN全连接融合方法。
为了更好地展现实施例1的3D-FPN特征融合网络，申请人结合附图4-5进行进一步深入地剖析，如下：
步骤31为特征提取，基架网络可以选用任意的特征提取卷积神经网络，得到多种尺度的特征图。示意图中有4个尺度的特征，尺寸由大到小分别是p2，p3，p4，p5。
步骤34为不同尺度特征的尺寸调整，我们以融合特征尺寸与p3尺寸相同的融合步骤为例，如下图5所示，其余的尺寸调整思想同理。
为了使得p2～p5调整到与p3尺寸一致，我们需要进行如下操作：p2的尺寸为p3的两倍，因此需要进行2倍下采样或2步长的卷积；p3只需进行1x1卷积调整通道数；p4的尺寸为p3的一半，因此需要进行2倍上采样或2步长反卷积；p5的尺寸为p3的四分之一，因此需要进行4倍上采样或4步长反卷积。这样，我们就得到了4个尺寸与p3相同的特征图。在实际工作中，选择采样的方法还是卷积的方法需根据实际情况而定。
在分别将4个特征对4个目标尺寸进行调整后，我们得到了4组特征图，每组均有4个特征，分别与p2～p5尺寸相对应。
步骤32为特征融合，将4个尺寸相同的特征融合成为新的特征，这里的融合方法有逐像素相加、通道合并等，具体选择需根据实际情况而定。得到的P2，P3，P4，P5即为融合后的特征，其尺寸与p2，p3，p4，p5分别对应相等。
步骤33为对特征的利用，包括但不限于检测工作、分类工作、分割工作等。
本发明实施例1的3D-FPN特征融合网络实现了对所有尺度特征图的同时融合，并有多种尺寸变换方法、融合方法可选择，可以适应中多种的特征提取网络和多种实际情况，融合方法是饱满的、立体的；而传统的FPN方法仅对相邻特征图进行融合，尺寸变换方法、融合方法是单一的。更加具体地，实施例1的3D-FPN特征融合网络包括以下优点：
1、由于不同尺度特征的尺寸调整和特征融合有多种方法可以选择，我们可以更灵活的对尺寸、通道数进行调整，同时可以针对数据分布、性能需求(指的是“网络的运行时间、运行效率”，例如对网络要求是实时的，就可以设置轻量级网络；如果网络对运行时间没有要求，可以使网络参数更加丰富)等对网络框架进行针对性的设置，而这在传统的FPN是无法实现的；
2、不同尺寸的特征图包含了不同的信息，多尺度特征的全连接融合能使得融合后的特征包含更为丰富的纹理信息、位置信息、语义信息等，而传统的FPN融合特征并不够丰富；
3、针对新冠肺炎检测任务，新冠病灶是三维立体的，拥有许多细节信息，同时其所在的位置、周围组织特征也对新冠病灶的检测至关重要，因此多尺度特征融合能很好的将细节信息与宏观信息相结合，适用于新冠病灶检测工作。
进一步地，在进行病灶预测处理时(对神经网络进行训练时)引入多任务损失函数，多任务损失函数分别对应回归任务和分类任务，公式如下所示：
L＝Lcls+Lreg
式中，Lcls表示分类损失，Lreg表示回归损失，L表示总损失，yi和
分别表示预测置信度和实际类别标签；ti和
均为六维向量，ti表示病灶中心点的三维坐标及三维偏移量的预测值，
表示病灶中心点三维坐标及三维偏移量的实际标签；R表示Smooth L1损失，计算方式由如下公式进行：
进一步地，将预处理后的CT图像输入到网络中，通过最优化损失函数进行训练。
本发明实施例在确定了网络框架和损失函数后，就可以将预处理后的图像输入到网络中，通过最优化损失函数进行训练，进行充分训练后得到的模型即可以投入新冠肺炎病灶区域的检测工作中去。
本发明实施例提供的新冠肺炎病灶检测方法已在已有肺部CT图像数据上成功实现肺结节病灶的检测。结果表明，相对于基于二维切片的目标检测，本发明实施例提供的方法可以有效提高病灶检测的检出率、真阳率和准确率。
本发明实施例提供的新冠肺炎病灶检测方法与其他现有病灶检测方法相比有以下优点：
采用三维图像目标检测技术，能有效的利用图像的三维特征信息。
采用特征融合技术，能有效的利用图像的多尺度信息。
对多层特征图同时进行预测，能有效的提高各种尺度的病灶检测效果。
本发明实施例提供的新冠肺炎病灶检测方法网络是轻量级的，便于部署，单张CT的检测时间控制在秒量级的水平，能大范围应用在医院对新冠肺炎病灶区域的检测工作和对新冠肺炎病历的初步筛查工作中。
实施例2
国家卫健委发布的新冠肺炎诊疗方案中明确了新冠肺炎患者胸部影像学的临床特点：早期呈现多发小斑片影及间质改变，以肺外带明显。进而发展为双肺多发磨玻璃影、浸润影，严重者可出现肺实变，胸腔积液少见。上述特点在CT影像上表现为较为明显的灰度级别的纹理特征，而卷积神经网络拥有较强的语义信息提取能力，对于灰度纹理特征的提取效果不好。因此我们设计了一个可嵌入式的灰度特征提取模块提取灰度纹理特征信息，并将提取的灰度特征与卷积神经网络特征图融合，提高网络对新冠病灶的检测性能。
如图6-7所示，实施例2与实施例1的不同之处在于：特征提取网络31的基架网络并非单纯采用3D-ResNet特征提取网络311，而是3D-ResNet特征提取网络311和灰度特征提取网络312的联合运用，然后进行特征融合。也就是说，利用3D-Resnet模型进行特征提取得到一组p2～Pk+1多尺度特征，同时利用灰度特征提取模型进行特征提取得到一组分别与p2～Pk+1多尺度特征尺寸一致的灰度特征图
接着p2～pk+1多尺度特征和灰度特征图
进行特征融合。
进一步地，实施例2提出的灰度特征提取模块嵌入到实施例1的模型中主要有以下几个步骤：
第一，将原图像均匀分割成k*k*k个小块，对每个小块区域进行灰度共生矩阵(GLCM)特征值计算。设定相邻像素对的n个角度，分别计算m个不同的矩阵特征，则每个小块区域一共可以对应n*m个特征值，原图像能够对应到通道为n*m，尺寸为k*k*k的三维特征图Gk。通过设定不同的k值，分别得到对应的Gk。
第二，得到Gk后，使用1*1*1的卷积核将上述特征图的通道从n*m扩充到c，通道扩充后得到的灰度特征图记做
其通道数为c，尺寸为k*k*k。在这里，k和c的选择是与3D-ResNet特征提取网络特征图保持一致的，则可以保证灰度特征图
与3D-ResNet特征提取网络的特征pi的尺寸完全一致，从而可以将二者进行融合(如通道合并或逐像素相加等)。融合后的特征图尺寸不变，再输入到3D-FPN网络进行融合、目标检测等后续操作。
需要注意的是，如图7所示，灰度特征、卷积特征(3D-ResNet特征)和原图位置均具有位置对应关系(如灰度特征和卷积特征左下角的特征值均对应原图左下角区域)。图7中，箭头A表示保持位置对应关系不变。
在实际处理过程中，3D-ResNet特征提取网络和灰度特征提取网络获得的特征进行concat拼接或者相加运算。灰度特征提取网络获得的灰度特征图
与3D-ResNet特征提取网络获得的p2～pk+1多尺度特征是全面融合，还是只融合p的子集都可以。例如，出于计算量考虑，可以只融合3D-ResNet特征提取网输出的比较小的特征。
实施例2提出的可嵌入式灰度特征提取模块有以下优点：
1、针对新冠病灶具有灰度纹理特征这一特点，采用灰度共生矩阵思想提取原图中的灰度纹理特征，能有效地反应图像中的纹理信息，提高对新冠病灶的检测性能。
2、如图7所示，是对原图分割小块区域分别提取灰度特征，灰度特征、卷积特征和原图位置均具有位置对应关系(如灰度特征和卷积特征左下角的特征值均对应原图左下角区域)，这种位置对应关系保证灰度特征和卷积特征的融合是有意义的。
实施例3
一种基于肺炎医学图像的病灶检测系统，包括：
图像获取模块，用于获取待处理的人体肺部三维CT图像；
图像预处理模块，用于对三维CT图像进行预处理；
检测网络搭建模块，用于搭建基于三维图像的目标检测网络，检测网络包括特征提取网络、特征融合网络和病灶预测网络，利用特征提取网络获取三维CT图像的若干不同尺度特征层，特征融合网络采用3D-FPN对不同尺度特征层进行特征融合，病灶预测网络采用Faster-RCNN对融合后的特征层进行病灶预测；其中，特征提取网络为3D-Resnet模型和/或灰度特征提取模型；
病灶检测模块，用于将预处理后CT图像输入到检测网络中进行冠状病毒病灶检测。
实施例4
一种基于肺炎医学图像的病灶检测装置，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载程序以执行如实施例1或实施例2的新型冠状病毒肺炎病灶检测方法。
实施例5
一种存储介质，其中存储有处理器可执行的指令，处理器可执行的指令在由处理器执行时用于实现实施例1或实施例2的新型冠状病毒肺炎病灶检测方法。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (10)
1.新型冠状病毒肺炎病灶检测方法，其特征在于，包括以下步骤：
图像获取步骤，获取待处理的人体肺部三维CT图像；
图像预处理步骤，对所述三维CT图像进行预处理；
检测网络搭建步骤，搭建基于三维图像的目标检测网络，所述检测网络包括特征提取网络、特征融合网络和病灶预测网络，利用所述特征提取网络获取所述三维CT图像的若干不同尺度特征层，所述特征融合网络采用3D-FPN对所述不同尺度特征层进行特征融合，所述病灶预测网络采用Faster-RCNN对融合后的特征层进行病灶预测；其中，特征提取得到了p2到pk+1这些多尺度特征后，进行特征融合处理；特征融合处理按照以下公式进行：Pi＝Fi(p2,p3,…,pk+1)i＝2,3,…,k+1，式中Pi表示融合后的第i层特征，其尺寸和pi一致，Fi表示第i层融合特征的融合处理，包括了对低层特征图的下采样和高层特征图的上采样操作；
病灶检测步骤，将预处理后CT图像输入到所述检测网络中进行冠状病毒病灶检测。
2.如权利要求1所述的新型冠状病毒肺炎病灶检测方法，其特征在于，在进行特征融合处理时，共有k个尺寸的特征，对于多尺度特征p2，分别进行相应倍数的下采样操作得到k个分别与p2～pk+1尺寸相对应的特征；对于多尺度特征p3～pk，分别进行相应倍数的下采样和上采样操作，多尺度特征p3～pk均得到k个分别与p2～pk+1尺寸相对应的特征；对于多尺度特征pk+1，分别进行相应倍数的上采样操作得到k个分别与多尺度特征p2～pk+1尺寸相对应的特征；经过上述操作后，获取了k组特征图，每组特征图中均有k个特征，每组特征图内的k个特征分别与p2～pk+1尺寸相对应，分别将k个尺寸相同的特征融合成为新的特征Pi，Pi尺寸和pi一致。
3.如权利要求1所述的新型冠状病毒肺炎病灶检测方法，其特征在于，所述特征提取网络包括3D-Resnet模型和灰度特征提取模型，利用3D-Resnet模型进行特征提取得到一组p2～pk+1多尺度特征，同时利用灰度特征提取模型进行特征提取得到一组分别与p2～pk+1多尺度特征尺寸一致的灰度特征图
接着p2～pk+1多尺度特征和灰度特征图
进行特征融合。
4.如权利要求1所述的新型冠状病毒肺炎病灶检测方法，其特征在于，在所述图像预处理步骤中，预处理操作包括肺部区域提取处理，按照以下方式进行：对所述三维CT图像的二维切片图像进行高斯滤波操作，对二维切片和三维图像的连通区域进行阈值化筛选、曲率筛选和中心距离筛选操作，得到粗略肺部区域的掩码，接着对粗略肺部区域的掩码进行膨胀腐蚀操作得到最终的肺部区域三维掩码。
5.如权利要求4所述的新型冠状病毒肺炎病灶检测方法，其特征在于，所述三维CT图像为原始图像I，I＝{i1,i2,…,ik}，其由k张切片组成，其中i1到ik分别代表第1到第k张切片，对原始图像I进行肺部区域提取处理按照以下方式进行：
取任意一张切片i进行标准二维高斯滤波操作，通过以下公式：
记滤波后的切片为i′，对i′进行二值化阈值为γ的二值化操作，得到对应的二维掩码m；
对m中的所有连通区域进行筛选，只保留面积大于S且曲率小于C的区域，得到二维掩码m＇；S为二维连通区域面积阈值，C为曲率阈值；
对k张切片{i1,i2,…,ik}分别进行上述操作，得到k张对应的二维掩码{m′1,m′2,…,m′k}，将k张二维掩码进行拼接得到原始图像I对应的三维掩码M′＝{m′1,m′2,…,m′k}，对M＇中所有的连通区域进行筛选，只保留体积大于V的区域，V为三维连通区域体积阈值，得到新的三维掩码M”＝{m”1,m”2,…,m”k}，其由k张二维掩码组成；
对三维掩码M″的所有三维连通区域，计算其在每张二维掩码m″上的二维切片距离图像中心的最小距离的平均值，只保留平均值小于d的连通区域，d为中心距离筛选阈值，得到新的三维掩码M″′＝{m″′1,m″′2,…,m″′k}，三维掩码M″＇为原始图像粗略肺部区域的掩码；
对M″＇进行迭代的腐蚀操作，直到被分成两个部分，再接着从两部分的中心开始对两部分分别进行迭代的膨胀操作，在膨胀回到腐蚀前的尺寸后再进行D次膨胀操作，D为膨胀超参数，得到最终的肺部区域三维掩码Mf；
根据Mf，保留原始图像I中对应位置的像素值，得到肺部区域提取处理后的三维CT图像L。
6.如权利要求1所述的新型冠状病毒肺炎病灶检测方法，其特征在于，所述特征提取网络为3D-Resnet模型，所述特征融合网络为3D-FPN模型，所述病灶预测网络为Faster-RCNN预测层模型，预处理后的CT图像输入到所述检测网络中分别进行特征提取处理、特征融合处理和病灶预测处理；
特征提取处理按以下公式进行：pi+1＝fi(pi)i＝1,2,…,k，式中p1表示输入网络的图像，k表示特征提取的次数，p2到pk+1表示进行1次到k次特征提取后得到的第2到第k+1层特征，fi表示第i次进行特征提取的操作；
得到了p2到pk+1这些多尺度特征后，进行特征融合处理；特征融合处理按照以下公式进行：Pi＝Fi(p2,p3,…,pk+1)i＝2,3,…,k+1，式中Pi表示融合后的第i层特征，其尺寸和pi一致，Fi表示第i层融合特征的融合处理，包括了对低层特征图的下采样和高层特征图的上采样操作；
接着进行病灶预测处理，按照以下公式进行：Resulti＝hi(Pi)i＝2,3,…,k+1，式中Resulti表示对第i层特征的病灶预测结果，由若干七维向量(x,y,z,dx,dy,dz,p)并列组成，(x,y,z)表示病灶的中心点三维坐标，(dx,dy,dz)表示病灶在x,y,z三个维度上的跨度，p表示预测置信度，hi表示对第i层特征的病灶预测操作。
7.如权利要求6所述的新型冠状病毒肺炎病灶检测方法，其特征在于，在进行病灶预测处理时引入多任务损失函数，所述多任务损失函数分别对应回归任务和分类任务，公式如下所示：
L＝Lcls+Lreg
式中，Lcls表示分类损失，Lreg表示回归损失，L表示总损失，yi和
分别表示预测置信度和实际类别标签；ti和
均为六维向量，ti表示病灶中心点的三维坐标及三维偏移量的预测值，
表示病灶中心点三维坐标及三维偏移量的实际标签；R表示Smooth L1损失，计算方式由如下公式进行：
8.一种基于肺炎医学图像的病灶检测系统，其特征在于，包括：
图像获取模块，用于获取待处理的人体肺部三维CT图像；
图像预处理模块，用于对所述三维CT图像进行预处理；
检测网络搭建模块，用于搭建基于三维图像的目标检测网络，所述检测网络包括特征提取网络、特征融合网络和病灶预测网络，利用所述特征提取网络获取所述三维CT图像的若干不同尺度特征层，所述特征融合网络采用3D-FPN对所述不同尺度特征层进行特征融合，所述病灶预测网络采用Faster-RCNN对融合后的特征层进行病灶预测；
病灶检测模块，用于将预处理后CT图像输入到所述检测网络中进行冠状病毒病灶检测。
9.一种基于肺炎医学图像的病灶检测装置，其特征在于，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行如权利要求1-7任一项所述的新型冠状病毒肺炎病灶检测方法。
10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-7任一项所述的新型冠状病毒肺炎病灶检测方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2020103045264 | 2020-04-17 | ||
| CN202010304526.4A CN111507965A (zh) | 2020-04-17 | 2020-04-17 | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112862824A true CN112862824A (zh) | 2021-05-28 |
Family
ID=71876120
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010304526.4A Pending CN111507965A (zh) | 2020-04-17 | 2020-04-17 | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 |
| CN202110410971.3A Pending CN112862824A (zh) | 2020-04-17 | 2021-04-16 | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010304526.4A Pending CN111507965A (zh) | 2020-04-17 | 2020-04-17 | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN111507965A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256614A (zh) * | 2021-06-22 | 2021-08-13 | 国家超级计算天津中心 | 一种医学影像处理系统 |
| CN113345082A (zh) * | 2021-06-24 | 2021-09-03 | 云南大学 | 一种特征金字塔多视图三维重建方法和系统 |
| CN113344897A (zh) * | 2021-06-24 | 2021-09-03 | 推想医疗科技股份有限公司 | 肺部图像的管径测量方法及装置、图像处理方法及装置 |
| CN115170510A (zh) * | 2022-07-04 | 2022-10-11 | 北京医准智能科技有限公司 | 一种病灶检测方法、装置、电子设备及可读存储介质 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111986189B (zh) * | 2020-08-27 | 2022-12-27 | 上海市公共卫生临床中心 | 一种基于ct影像的多类别肺炎筛查深度学习装置 |
| CN112258511A (zh) * | 2020-09-08 | 2021-01-22 | 广东省智能制造研究所 | 一种基于偏微分方程的患者肺部病变预测方法及系统 |
| CN111931867B (zh) * | 2020-09-21 | 2020-12-18 | 长沙理工大学 | 基于轻量级模型的新冠肺炎x射线图像分类方法及系统 |
| CN111915609B (zh) * | 2020-09-22 | 2023-07-14 | 平安科技（深圳）有限公司 | 病灶检测分析方法、装置、电子设备及计算机存储介质 |
| CN112489060B (zh) * | 2020-12-07 | 2022-05-10 | 北京医准智能科技有限公司 | 一种用于肺炎病灶分割的系统及方法 |
| CN112767340A (zh) * | 2021-01-13 | 2021-05-07 | 大连理工大学 | 基于神经网络模型对病灶区进行评估的设备和相关产品 |
| CN113077434B (zh) * | 2021-03-30 | 2023-01-24 | 零氪智慧医疗科技(天津)有限公司 | 基于多模态信息的肺癌识别方法、装置及存储介质 |
| CN113658159A (zh) * | 2021-08-24 | 2021-11-16 | 中山仰视科技有限公司 | 一种基于肺部关键点的肺部整体抽取方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175993A (zh) * | 2019-05-27 | 2019-08-27 | 西安交通大学医学院第一附属医院 | 一种基于FPN的Faster R-CNN肺结核征象检测系统及方法 |
| CN110310281A (zh) * | 2019-07-10 | 2019-10-08 | 重庆邮电大学 | 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 |
| CN110335248A (zh) * | 2019-05-31 | 2019-10-15 | 上海联影智能医疗科技有限公司 | 医学图像病灶检测方法、装置、计算机设备和存储介质 |
| CN111598871A (zh) * | 2020-05-15 | 2020-08-28 | 安徽医学高等专科学校 | 多特征融合辅助检测肺部磨玻璃影结节系统及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102502B (zh) * | 2018-08-03 | 2021-07-23 | 西北工业大学 | 基于三维卷积神经网络的肺结节检测方法 |
-
2020
- 2020-04-17 CN CN202010304526.4A patent/CN111507965A/zh active Pending
-
2021
- 2021-04-16 CN CN202110410971.3A patent/CN112862824A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175993A (zh) * | 2019-05-27 | 2019-08-27 | 西安交通大学医学院第一附属医院 | 一种基于FPN的Faster R-CNN肺结核征象检测系统及方法 |
| CN110335248A (zh) * | 2019-05-31 | 2019-10-15 | 上海联影智能医疗科技有限公司 | 医学图像病灶检测方法、装置、计算机设备和存储介质 |
| CN110310281A (zh) * | 2019-07-10 | 2019-10-08 | 重庆邮电大学 | 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 |
| CN111598871A (zh) * | 2020-05-15 | 2020-08-28 | 安徽医学高等专科学校 | 多特征融合辅助检测肺部磨玻璃影结节系统及介质 |
Non-Patent Citations (3)
| Title |
|---|
| JIYAYUN: "Libra R-CNN", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/68654856》 * |
| LIAO F 等: "Evaluate the Malignancy of Pulmonary Nodules Using the 3D Deep Leaky Noisy-or Network", 《ARXIV》 * |
| ZCHANG81: ""Faster R-CNN深入理解&&改进方法汇总", 《HTTPS://BLOG.CSDN.NET/ZCHANG81/ARTICLE/DETAILS/73176497》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113256614A (zh) * | 2021-06-22 | 2021-08-13 | 国家超级计算天津中心 | 一种医学影像处理系统 |
| CN113345082A (zh) * | 2021-06-24 | 2021-09-03 | 云南大学 | 一种特征金字塔多视图三维重建方法和系统 |
| CN113344897A (zh) * | 2021-06-24 | 2021-09-03 | 推想医疗科技股份有限公司 | 肺部图像的管径测量方法及装置、图像处理方法及装置 |
| CN113344897B (zh) * | 2021-06-24 | 2022-01-11 | 推想医疗科技股份有限公司 | 肺部图像的管径测量方法及装置、图像处理方法及装置 |
| CN113345082B (zh) * | 2021-06-24 | 2022-11-11 | 云南大学 | 一种特征金字塔多视图三维重建方法和系统 |
| CN115170510A (zh) * | 2022-07-04 | 2022-10-11 | 北京医准智能科技有限公司 | 一种病灶检测方法、装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111507965A (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112862824A (zh) | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN111445478B (zh) | 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法 | |
| CN110176012B (zh) | 图像中的目标分割方法、池化方法、装置及存储介质 | |
| Tang et al. | A multi-stage framework with context information fusion structure for skin lesion segmentation | |
| WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN110276745B (zh) | 一种基于生成对抗网络的病理图像检测算法 | |
| CN111242959B (zh) | 基于卷积神经网络的多模态医学图像的目标区域提取方法 | |
| CN110363802B (zh) | 基于自动分割和骨盆对齐的前列腺图像配准系统及方法 | |
| CN107230203A (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| CN111860587B (zh) | 一种用于图片小目标的检测方法 | |
| CN111798424B (zh) | 一种基于医学图像的结节检测方法、装置及电子设备 | |
| CN112001399B (zh) | 基于局部特征显著化的图像场景分类方法和装置 | |
| CN113221731B (zh) | 一种多尺度遥感图像目标检测方法及系统 | |
| CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 | |
| CN112102282A (zh) | 一种基于Mask RCNN的医学图像中不同节数腰椎的自动识别方法 | |
| CN113781387A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| CN112037212A (zh) | 一种基于深度学习的肺结核dr影像识别方法 | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| CN115546466A (zh) | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 | |
| CN110992310A (zh) | 一种确定纵隔淋巴结所在分区的方法及装置 | |
| CN112634308B (zh) | 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法 | |
| CN116777893B (zh) | 一种基于乳腺超声横纵切面特征结节的分割与识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210528 |
|
| RJ01 | Rejection of invention patent application after publication |