CN111402231B - 一种用于肺部ct影像质量的自动评估系统及方法 - Google Patents

一种用于肺部ct影像质量的自动评估系统及方法 Download PDF

Info

Publication number
CN111402231B
CN111402231B CN202010180723.XA CN202010180723A CN111402231B CN 111402231 B CN111402231 B CN 111402231B CN 202010180723 A CN202010180723 A CN 202010180723A CN 111402231 B CN111402231 B CN 111402231B
Authority
CN
China
Prior art keywords
lung
image
body position
network
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010180723.XA
Other languages
English (en)
Other versions
CN111402231A (zh
Inventor
程国华
韩自营
姜志强
龚向阳
何林阳
季红丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Jianpei Technology Co ltd
Original Assignee
Hangzhou Jianpei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Jianpei Technology Co ltd filed Critical Hangzhou Jianpei Technology Co ltd
Priority to CN202010180723.XA priority Critical patent/CN111402231B/zh
Publication of CN111402231A publication Critical patent/CN111402231A/zh
Application granted granted Critical
Publication of CN111402231B publication Critical patent/CN111402231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种“端到端”的用于肺部CT影像质量的自动评估系统及方法，该自动评估系统可高准确度、高效率地获取CT影像中的伪影，并对CT影像进行客观公正的评估，便于医院以及体检机构进行CT影像质控的使用与拓展，且独创性地实现CT影像体位判别，协助影像质检人员对防护检测是否到位进行判断。

Description

一种用于肺部CT影像质量的自动评估系统及方法
技术领域
本发明涉及医学影像处理技术领域，特别涉及一种用于肺部CT影像质量的自动评估系统及方法。
背景技术
CT影像作为肺部疾病检查的手段在临床上使用最多，然而由于在CT成像中可能会出现各种各样的金属伪影，这些金属伪影是与被扫描器官结构无关的异常影像，会影响CT影像的诊断结果，而CT影像质量好坏直接影响医生的诊断结果。为了把控CT影像的质量，每个省都会有一个专门的影像质检单位，传统的影像质检方法就是通过手工抽检加人工打分的方式进行评价，这种方法效率低下且准确度较低。另外，CT成像会对人体产生一定辐射，特别的，在拍摄肺部CT影像时需要注意对被测试人甲状腺器官和生殖器的防辐射保护，而目前在影像质检中对于防护检测依旧缺少高效准确的方法,传统的方法就是通过放射科技师拍摄CT影像时通过病人的姿势选择拍摄参数，影像质检人员通过肉眼查看以及比对参数来判断拍摄体位，即，目前较难评估拍摄CT影像时的辐射保护措施是否到位。
计算机视觉技术，是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，不论在自然图像检测还是医学图像检测上都已经成为最热门的研究领域之一，利用计算机视觉技术可以分析处理CT影像，再结合人工智能深度学习技术使得在医学图像中检测目标(如肺结节、肺炎等病灶)具有可能性。
在医学图像检测应用方面，人工智能深度学习比较常用的卷积神经网络模型主要分为两种，第一类是基于Region Proposal的twostage目标检测算法；第二类是基于回归问题的onestage目标检测算法。第一类是先由特定算法生成一系列样本的候选框，再通过卷积神经网络对样本进行分类，最后进行边界框的位置精修，代表作主要有R-CNN等一系列的检测算法；第二类则不需要产生候选框，直接将目标边框定位问题转换为回归问题进行处理，直接对预测的目标物体进行回归，经典的算法包括SSD、YOLO等，RetinaNet网络作为onestage的检测方法通过解决类别不平衡问题，可在提高检测精度的同时又保留了检测速度。
目前已经有现有技术采用深度学习技术对CT影像进行改善或者分析，比如CN106600568B提供“一种低剂量CT图像去燥方法和装置”利用深度学习网络处理得到去燥后的低剂量CT图像，比如CN105718952B提供一种“使用深度学习网络对断层医学影像进行病灶分类的系统”利用深度学习网络帮助放射科医生快速区分病灶分类，但较少关于研究对CT影像本身质量的评估的报道，而CT影像质检对于评估CT成像工作以及后续CT影像处理均有十分大的意义。
发明内容
本发明的目的在于提供一种用于肺部CT影像质量的自动评估系统及方法，通过获取定位片数据和肺部CT影像数据，集成神经网络训练和辅助评判，高效准确地评估肺部CT影像质量，具有高准确度、高效率的优势，便于医院以及体检机构进行CT影像质控的使用与拓展。
具体的，该一种用于肺部CT影像质量的自动评估系统及方法有效利用定位片图像上的金属异物和铅皮防护物的特征并结合深度学习的目标检测分类技术，能够有效地检测到定位片上的金属异物以及铅皮防护物，同时对应到CT影像质控方法，真正地实现端到端的CT影像质量的评估，满足评估人员的准确性、易操作性的需求，可准确高效地建立CT影像质控系统，具有广泛的市场应用前景。
为实现以上目的，本技术方案提供一种用于肺部CT影像质量的自动评估方法，包括以下步骤：
步骤(1)：获取三维形态的肺部CT影像数据以及对应的定位片数据；
步骤(2)：利用垂直投影法和最优阈值截断处理三维形态的肺部CT影像数据得到二维形态的肺部CT影像数据；
步骤(3)：将二维形态的肺部CT影像数据输入基于卷积神经网络的体位分类模型，其中体位分类模型的特征提取单元卷积处理二维形态的肺部CT影像数据，得到二维局部特征提取的卷积神经网络，其中体位分类模型的全连接神经网络单元基于二维局部特征提取的卷积神经网络输出对应的体位类型及对应体位类型的概率；
步骤(4)：将定位片数据输入基于卷积神经网络的伪影检测模型，得出定位片数据中的目标检测结果：检测框、检测目标类型以及该类型的预测概率；
步骤(5)：获取对应的定位片数据上的目标检测结果和拍摄体位类型以及对应的体位预测概率，得到影像评估结果。
相较现有技术，本技术方案具有以下的特点和有益效果：
1.基于卷积神经网络的体位分类模型可以实现对拍摄体位的识别分类，且，为了解决传统3维CT影像数据太大不适合放在训练模型中训练的问题，本方案创造性地将三维CT影像数据通过投影法以及最优阈值截断的方法处理得到二维影像，有效判别该CT影像的拍摄体位类型，以协助质检人员判断关键标识是否正确。
2.本方案基于卷积神经网络结构的金属异物、铅皮防护物的检测模型可以准确、高效地实现定位片数据上金属异物、铅皮防护物的检测，其中金属异物检测测试集上ap50可以达到0.945，铅皮防护物测试集上ap50得到0.95，同时几乎不存在假阳的情况，极大程度地提高了影像质检的质量。
3.本方案的检测模型采用端到端的训练方式，便于集成部署，真正地实现端到端的CT影像质量的评估，满足评估人员的准确性、易操作性的需求，具有广泛的市场应用前景。
附图说明
图1是根据本发明的一实施例的用于肺部CT影像质量的自动评估系统的框架示意图。
图2是根据本发明的一实施例的VGG网络原始模型的结构示意图。
图3是根据本发明的一实施例的RetinaNet网络原始模型的结构示意图。
图中：10-输入模块，20-CT影像投影模块，30-体位检测模块，31-体位建模单元，32-体位识别训练单元，33-体位识别预测单元，40-定位片检测模块，41-伪影检测建模单元，42-伪影检测训练单元，43-伪影检测预测单元，50-影像评估模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
本方案提供一种“端到端”的用于肺部CT影像质量的自动评估系统及方法，该自动评估系统可高准确度、高效率地获取CT影像中的伪影，并对CT影像进行客观公正的评估，便于医院以及体检机构进行CT影像质控的使用与拓展，且独创性地实现CT影像体位判别，协助影像质检人员对防护检测是否到位进行判断。另，采用“端到端”的训练方式，其中端到端是指由输入端的数据输入到网络中直接跟金标准计算损失并通过梯度反传训练网络模型，其训练过程没有中间处理步骤，端到端训练的最大优势在于缩减人工预处理和后续处理，尽可能使模型从原始输入到最终输出，给模型更多依据输入数据自动学习调节的空间，增加模型的整体契合度。该用于肺部CT影像质量的自动评估系统至少包括：
输入模块(10)，该输入模块(10)获取三维形态的肺部CT影像数据以及对应的定位片数据，其中三维形态的肺部CT影像数据至少包括一次CT检查中的一个CT序列图像和对应的定位片数据，定位片数据至少包括定位片图像。
其中三维形态的肺部CT影像和定位片数据通过CT设备拍摄得到，其中定位片数据在拍摄CT前拍摄。另，为了更好地控制影像处理的质量，肺部CT影像的层厚控制在1.25-3mm，层间距控制在0.75-3mm，每层CT图像的大小为512*512像素。
CT影像投影模块(20)，联通输入模块(10)获取三维形态的肺部CT影像数据并将其投影为二维形态的肺部CT影像数据，为了解决三维形态的肺部CT影像数据太大不适合放在训练模型中训练的问题，CT影像投影模块(20)通过投影法以及阈值截断的方法处理三维形态的肺部CT影像数据得到二维形态的肺部CT影像数据。具体的，本方案的投影采用垂直投影，截断阈值为[-200,1000],首先对三维形态的肺部CT影像数据中小于-200和大于1000的归置为-200和600，然后将数据归一化至0到255，如下式所示：
Inew(xi,yi)＝(Iold(xi,yi)-Imin)/(Imax-Imin)
其中Inew(xi,yi)表示在(xi,yi)位置的像素值，Imax为1000，Imin为-200。
体位检测模块(30)，其内搭载基于卷积神经网络的体位分类模型，其中体位分类模型的特征提取单元卷积处理二维形态的肺部CT影像数据，得到二维局部特征提取的卷积神经网络，其中体位分类模型的全连接神经网络单元基于二维局部特征提取的卷积神经网络输出对应的体位类型及对应体位类型的概率。
具体的，体位检测模块(30)，该体位检测模块(30)进一步包括体位建模单元(31)，体位识别训练单元(32)以及体位识别预测单元(33)；其中体位建模单元(31)构建基于卷积神经网络的体位分类模型；体位识别训练单元(32)联通CT影像投影模块(20)获取二维形态的肺部CT影像数据样本集，其中二维形态的肺部CT影像数据样本集至少包括二维形态的肺部CT影像数据以及对应的CT数据标注，其中CT数据标注至少标注该肺部CT影像的体位姿势，根据使用目的不同，将二维形态的肺部CT影像数据样本集包括二维形态的肺部CT影像数据训练样本集和二维形态的肺部CT影像数据测试样本集，其中二维形态的肺部CT影像数据样本集输入到体位建模单元(31)内进行训练，优化体位分类模型；其中体位识别预测单元(33)联通CT影像投影模块(20)获取被测试人的二维形态的肺部CT影像数据，并输入体位建模单元(31)得到对应的拍摄体位类型以及对应的体位预测概率。
其中体位分类模型由基于卷积神经网络的特征提取单元以及全连接神经网络输出单元构成，可通过大量数据训练获得具有较高预测准确率的体位分类模型及其参数。
其中特征提取单元包括卷积层和池化层，采用卷积公式对输入的二维形态的肺部CT影像数据对应的二维形态的肺部CT影像进行卷积，得到输入图像的卷积特征图；采用最大池化方法，对卷积特征图进行池化处理，过体位分类模型的卷积层，池化层层叠结构不断地将底层特征组合形成抽象的高层表示，构成用于二维局部特征提取的卷积神经网络。具体的，在体位分类模型中使用反向传播算法，利用二维形态的肺部CT影像数据样本集调整深度神经网络的参数，使得损失函数最小，最终优化获得具有较强泛化能力的体位分类模型。
其中全连接神经网络输出单元实现分类的目的，输出层至少包括4个独立的神经元，分别对应四种体位类型：躺着头到脚、趴着头到脚、躺着脚到头，趴着脚到头，四个神经元的输出值为体位类型及对应体位类型的概率。
在经典CNN框架中，选取层数相对较浅，结构直观的VGG16作为诊断系统的网络基础，其中体位分类模型的模型结构选用VGG16，VGG网络原始模型的结构如图2所示。
其中拍摄体位类型包括但不限于：躺着头到脚、趴着头到脚、躺着脚到头，趴着脚到头。
定位片检测模块(40)，内搭载基于卷积神经网络的伪影检测模型，伪影检测模型处理定位片数据得出定位片数据中的目标检测结果：检测框、检测目标类型以及该类型的预测概率。
具体的，定位片检测模块(40)，该定位片检测模块(40)进一步包括伪影检测建模单元(41)，伪影检测训练单元(42)以及伪影检测预测单元(43)。其中，伪影检测建模单元(41)构建基于卷积神经网络结构的伪影检测模型，其中伪影主要包括金属异物、铅皮防护物；其中伪影检测训练单元(42)联通输入模块(10)获取定位片数据样本集，其中定位片数据样本集包括至少一定位片数据以及对应每个定位片数据的标签，其中定位片数据的标签标记定位片内的伪影类型和伪影内容。根据使用目的不同，将定位片数据集分为定位片数据训练样本集和定位片数据测试样本集，将定位片数据样本集输入伪影检测建模单元(41)，优化伪影检测模型；其中伪影检测预测单元(43)联通输入模块(10)获取被测试人的二维形态的定位片数据，并输入伪影检测建模单元(41)得到对应的定位片数据上的目标检测结果，其中定位片数据上的目标检测结果包括：检测框、检测目标类型以及该类型的预测概率。
其中伪影检测模型的搭建过程如下：卷积神经网络结构包括特征提取网络结构，该特征提取网络结构包括多个卷积层和多个全连接层，每个卷积层用来提取输入的定位片数据中的特征，每个全连接层用来预测特征的图像位置和类别概率，进而可得到定位片图像特征图。卷积网络的前端设有FPN网络，FPN网络用于对定位片图像特征图的尺寸进行调整，得到多尺度的特征金字塔，特征金字塔后面连接分类子网络和回归输出子网络分别进行分类和回归，通过大量数据训练获得具有较高预测准确率的伪影检测模型及其参数。
具体的，定位片数据经过基于卷积网络结构的伪影检测模型的特征提取网络部分，获得输入定位片图像特征图，该定位片图像特征图后面连接两个子网络分别进行分类和回归，其中分类子网络输出长度是K维的特征向量，所述输出参数K代表检测目标的类别；回归输出子网络输出长度是(x,y,w,h)的4维特征向量，所述输出参数x、y、w、h分别代表检测的目标框的中心坐标、检测框的宽、高。
在本方案中选择RetinaNet网络结构，结合现有的RetinaNet模型由三个模块构成：特征提取网络、特征金字塔网络(FPN)和子网络的思路，本模型的具体构建操作为：
在特征提取网络中使用深度残差网络ResNet50避免直线型CNN的缺点，在卷积前馈网络中增加快捷连接，将网络的本身映射结果直接添加到叠加层的输出中。如图3所示，在ResNet50的结构中，首先将数据输入到7*7*64的卷积层，即{7*7，conv，64}，然后经过箭头虚线处的数字相加(3+4+6+3)的16个构建块(building block)，每个building block为3层，即有16*3＝48层，加上开始7*7*64的卷积层和结尾的全连接层共同构成了ResNet中的50层网络。
建立FPN网络对提取的特征进行重组合。FPN网络是通过自底向上、自顶向下、横向的连接将不同层的特征图进行融合。自底向上就是CNN的前向传播过程，在ResNet中有五次特征提取过程，产生的特征图大小不发生变化，将其分别命名为C1、C2、C3、C4、C5。对C5进行卷积核为3*3，步长为1的卷积运算后得到FPN的第一层网络结构P5；自顶向下的过程采用上采样进行。横向连接将上采样的结果和自底向上生成的特征图进行相加操作，即对C4进行卷积核为1*1，步长为1的卷积运算后加上P5的上采样结果，然后进行卷积核为3*3，步长为1的卷积运算得到FPN的第二层网络结构P4。以此类推，产生P3、P2、P1。FPN的结构能够从单张图像中有效地构建多尺度的特征图，使金字塔的每一层均可被用于不同尺寸的目标检测。Retina Net模型借鉴了Faster R-CNN中区域候选网络(Region Proposal Network，RPN)的思想，将当前滑动窗口的中心在原图的映射点称为候选框(Anchor)，以此Anchor为中心，可在FPN的五个不同层级分别生成候选区域。RetinaNet模型在生成Anchor时加入{20，21/3,22 /3}三种不同的尺度和{1：4，1：1，4：1}三种不同的长宽比，即可产生9种Anchor，其面积大小在P1、P2、P3、P4、P5上分别为{5122，2562，1282，642，322}。
建立FCN网络识别重组合后的特征，输出是否有异物的标签以及相应的置信度。FCN网络包含了分类子网络和边框预测子网络，其中：分类子网络为每一个Anchor预测投喂目标出现的概率。通过对FPN五层网络结果结构中的某一层与全卷积网络(FCN)相连接，卷积后使用ReLU作为激励函数，最终使用Sigmoid函数预测分类情况。分类子网络在多分类任务中，常用的损失函数是交叉熵。假设共有N个样本，目标分类的标签有C类，y代表真实标签，第i个样本预测为第C类标签的概率为pi,c，则定义损失函数CE如下：
Figure BDA0002412434300000101
在RetinaNet模型中，针对正负类别不平衡的现象，在原损失函数中引入参数α控制正负样本对总分类损失的贡献权重，新的损失函数定义为：
Figure BDA0002412434300000102
针对难分样本问题，在CEα的基础上增加调节因子(1-yi,c)γ，其中γ是超参数，得到Focal loss函数的定义为：
Figure BDA0002412434300000103
当一个样本预测错误，调节因子(1-yi,c)γ趋近于1，而对于错误分类的样本的惩罚不变；反之，调节因子(1-yi,c)γ趋近于0，对于正确样本的惩罚减小。
边框预测子网络用于定位，其可为每个Anchor生成候选区域对临近真实区域坐标的偏移量。边框预测子网络与分类子网络并行处理，两者结构相类似。人工标注的真实区域坐标针对每张图像会有所不同，但统一的标注格式中均包括物体的宽(w)、高(h)和物体四个顶点的坐标值，设置base_size为8来初始化一个Anchor的边长，后续乘以不同的尺度与长宽比即可得到实际使用的不同大小的Anchor，预测区域的坐标以Anchor为基准针对目标不同而有所不同。在边框预测任务中，对目标真实区域的预测是一个回归问题，损失函数利用光滑L1函数。
根据检测框、检测目标类型可以获知定位片影像上金属异物、铅皮防护物和肺部区域的检测框所在位置。
影像评估模块(50)，其中影像评估模块(50)联通定位片检测模块(40)和体位检测模块(30)，获取对应的定位片数据上的目标检测结果和体位类型以及对应的体位预测概率，评估得到影像评估结果。
具体的，影像评估模块(50)根据肺部区域框和金属异物检测框的相对位置判断该定位片对应的CT影像是否存在金属伪影：若金属异物检测框的位置和肺部区域检测框满足设定条件，比如类型、位置、面积、密度是否交叉，判断该定位片对应的CT影像存在金属伪影，图像质量不合格。
影像评估模块(50)根据铅皮防护物和肺部区域的距离指标判断该病人拍摄CT影像时是否需要防护以及当需要的情况下防护是否到位：具体的，通过铅皮防护物的检测框与肺部区域框的距离大小作为评估防护是否到位；若肺部区域检测框最上端距离图像拍摄区域的距离小于z1时，脖子部位不需要铅皮防护；若肺部区域检测框最上端距离图像拍摄区域的距离小于z2时，腹部以下区域不需要铅皮防护；否则生殖器部分和甲状腺部分都需要铅皮防护。根据检测结果的目标类型和框的坐标判断该定位片影像相应图像区域上是否检出铅皮防护物，若检出，则输出防护合格，否则，输出防护失败。
根据体位检测结果，确定头部在前还是在后，然后才能做上述Z1，Z2的判断。
对应的，本方案提供一种肺部CT影像质量的自动评估方法，包括以下步骤：
步骤(1)：获取三维形态的肺部CT影像数据以及对应的定位片数据；
步骤(2)：利用垂直投影法和最优阈值截断处理三维形态的肺部CT影像数据得到二维形态的肺部CT影像数据；
步骤(3)：将二维形态的肺部CT影像数据输入基于卷积神经网络的体位分类模型，其中体位分类模型的特征提取单元卷积处理二维形态的肺部CT影像数据，得到二维局部特征提取的卷积神经网络，其中体位分类模型的全连接神经网络单元基于二维局部特征提取的卷积神经网络输出对应的体位类型及对应体位类型的概率；
步骤(4)：将定位片数据输入基于卷积神经网络的伪影检测模型，得出定位片数据中的目标检测结果：检测框、检测目标类型以及该类型的预测概率；
其中伪影检测模型的特征提取网络部分特征提取网络部分包括多个卷积层和多个全连接层，每个卷积层用来提取输入的定位片数据中的特征，每个全连接层用来预测特征的图像位置和类别概率，进而可得到定位片图像特征图，卷积神经网络的前端设有FPN网络，FPN网络用于对定位片图像特征图的尺寸进行调整，得到多尺度的特征金字塔，特征金字塔后面连接分类子网络和回归输出子网络分别进行分类和回归，得出定位片中的检测框、检测目标类型以及该类型的预测概率；
在步骤(4)中，分类子网络输出长度是K维的特征向量，所述参数K代表类别数，归输出子网络输出长度是(x,y,w,h)的4维特征向量，所述输出参数x、y、w、h分别代表检测的目标框的中心坐标、检测框的宽、高。
步骤(5):获取对应的定位片数据上的目标检测结果和拍摄体位类型以及对应的体位预测概率，得到影像评估结果。
具体的，体位分类模型和伪影检测模型的搭建和训练过程如上，在此不累赘说明。
本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (10)

1.一种用于肺部CT影像质量的自动评估系统，其特征在于，包括：
输入模块（10），该输入模块（10）获取三维形态的肺部CT影像数据以及对应的定位片数据；
CT影像投影模块（20），获取三维形态的肺部CT影像数据并将其投影为二维形态的肺部CT影像数据；
体位检测模块（30），内搭载基于卷积神经网络的体位分类模型，其中体位分类模型的特征提取单元卷积处理二维形态的肺部CT影像数据，得到二维局部特征提取的卷积神经网络，其中体位分类模型的全连接神经网络单元基于二维局部特征提取的卷积神经网络输出对应的体位类型及对应体位类型的概率；
定位片检测模块（40），内搭载基于卷积神经网络的伪影检测模型，伪影检测模型处理定位片数据得出定位片数据中的目标检测结果：检测框、检测目标类型以及该类型的预测概率；根据检测框、检测目标类型可以获知定位片影像上金属异物、铅皮防护物和肺部区域的检测框所在位置；
影像评估模块（50），获取对应的定位片数据上的目标检测结果和体位类型以及对应的体位预测概率，评估得到影像评估结果。
2.根据权利要求1所述的用于肺部CT影像质量的自动评估系统，其特征在于，CT影像投影模块（20）通过垂直投影法以及最优阈值截断的方法处理三维形态的肺部CT影像数据得到二维形态的肺部CT影像数据。
3.根据权利要求1所述的用于肺部CT影像质量的自动评估系统，其特征在于，体位分类模型由基于卷积神经网络的特征提取单元以及全连接神经网络输出单元构成，特征提取单元包括卷积层和池化层，采用卷积公式对输入的二维形态的肺部CT影像数据对应的肺部CT影像进行卷积，得到输入图像的卷积特征图；采用最大池化方法，对卷积特征图进行池化处理，构成用于二维局部特征提取的卷积神经网络。
4.根据权利要求3所述的用于肺部CT影像质量的自动评估系统，其特征在于，全连接神经网络输出单元的输出层包括4个独立的神经元，分别对应四种体位类型：躺着头到脚、趴着头到脚、躺着脚到头，趴着脚到头，四个神经元的输出值为体位类型及对应体位类型的概率。
5.根据权利要求1所述的用于肺部CT影像质量的自动评估系统，其特征在于，卷积神经网络结构包括特征提取网络结构，该特征提取网络结构包括多个卷积层和多个全连接层，每个卷积层用来提取输入的定位片数据中的特征，每个全连接层用来预测特征的图像位置和类别概率，进而可得到定位片图像特征图，卷积神经网络的前端设有FPN网络，FPN网络用于对定位片图像特征图的尺寸进行调整，得到多尺度的特征金字塔，特征金字塔后面连接分类子网络和回归输出子网络分别进行分类和回归。
6.根据权利要求5所述的用于肺部CT影像质量的自动评估系统，其特征在于，其中分类子网络输出长度是K维的特征向量，输出参数K代表检测目标的类别，回归输出子网络输出长度是(x,y,w,h)的4维特征向量，所述输出参数x、y、w、h分别代表检测框的中心坐标、检测框的宽、高。
7.根据权利要求1所述的用于肺部CT影像质量的自动评估系统，其特征在于，影像评估模块（50）根据肺部区域框和金属异物检测框的相对位置判断该定位片对应的CT影像是否存在金属伪影：若金属异物检测框的位置和肺部区域检测框满足设定条件，判断该定位片对应的CT影像存在金属伪影。
8.根据权利要求1所述的用于肺部CT影像质量的自动评估系统，其特征在于，影像评估模块（50）根据铅皮防护物和肺部区域的距离指标判断该病人拍摄CT影像时是否需要防护以及当需要的情况下防护是否到位。
9.一种肺部CT影像质量的自动评估方法，其特征在于，包括以下步骤：
步骤（1）：获取三维形态的肺部CT影像数据以及对应的定位片数据；
步骤（2）：利用垂直投影法和最优阈值截断处理三维形态的肺部CT影像数据得到二维形态的肺部CT影像数据；
步骤（3）：将二维形态的肺部CT影像数据输入基于卷积神经网络的体位分类模型，其中体位分类模型的特征提取单元卷积处理二维形态的肺部CT影像数据，得到二维局部特征提取的卷积神经网络，其中体位分类模型的全连接神经网络单元基于二维局部特征提取的卷积神经网络输出对应的体位类型及对应体位类型的概率；
步骤(4)：将定位片数据输入基于卷积神经网络的伪影检测模型，得出定位片数据中的目标检测结果：检测框、检测目标类型以及该类型的预测概率；
步骤（5）：获取对应的定位片数据上的目标检测结果和拍摄体位类型以及对应的体位预测概率，得到影像评估结果。
10.根据权利要求9所述的肺部CT影像质量的自动评估方法，其特征在于，伪影检测模型的特征提取网络部分特征提取网络部分包括多个卷积层和多个全连接层，每个卷积层用来提取输入的定位片数据中的特征，每个全连接层用来预测特征的图像位置和类别概率，进而可得到定位片图像特征图，卷积神经网络的前端设有FPN网络，FPN网络用于对定位片图像特征图的尺寸进行调整，得到多尺度的特征金字塔，特征金字塔后面连接分类子网络和回归输出子网络分别进行分类和回归，得出定位片中的检测框、检测目标类型以及该类型的预测概率。
CN202010180723.XA 2020-03-16 2020-03-16 一种用于肺部ct影像质量的自动评估系统及方法 Active CN111402231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010180723.XA CN111402231B (zh) 2020-03-16 2020-03-16 一种用于肺部ct影像质量的自动评估系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010180723.XA CN111402231B (zh) 2020-03-16 2020-03-16 一种用于肺部ct影像质量的自动评估系统及方法

Publications (2)

Publication Number Publication Date
CN111402231A CN111402231A (zh) 2020-07-10
CN111402231B true CN111402231B (zh) 2023-05-23

Family

ID=71430940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010180723.XA Active CN111402231B (zh) 2020-03-16 2020-03-16 一种用于肺部ct影像质量的自动评估系统及方法

Country Status (1)

Country Link
CN (1) CN111402231B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112151179B (zh) * 2020-09-29 2023-11-14 上海联影医疗科技股份有限公司 影像数据评估方法、装置、设备及存储介质
CN112801132B (zh) * 2020-12-28 2024-01-02 泰康同济(武汉)医院 一种图像处理方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765369A (zh) * 2018-04-20 2018-11-06 平安科技（深圳）有限公司 肺结节的检测方法、装置、计算机设备和存储介质
CN109919912A (zh) * 2019-01-28 2019-06-21 平安科技（深圳）有限公司 一种医学影像的质量评价方法和装置
CN110136119A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习的肺裂分割及完整性评估的方法和系统
CN110223352A (zh) * 2019-06-14 2019-09-10 浙江明峰智能医疗科技有限公司 一种基于深度学习的医学图像扫描自动定位方法
CN110338835A (zh) * 2019-07-02 2019-10-18 深圳安科高技术股份有限公司 一种智能扫描立体监测方法及系统
CN110428415A (zh) * 2019-08-05 2019-11-08 上海联影医疗科技有限公司 医学图像的质量评估方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10991092B2 (en) * 2018-08-13 2021-04-27 Siemens Healthcare Gmbh Magnetic resonance imaging quality classification based on deep machine-learning to account for less training data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765369A (zh) * 2018-04-20 2018-11-06 平安科技（深圳）有限公司 肺结节的检测方法、装置、计算机设备和存储介质
WO2019200740A1 (zh) * 2018-04-20 2019-10-24 平安科技（深圳）有限公司 肺结节的检测方法、装置、计算机设备和存储介质
CN109919912A (zh) * 2019-01-28 2019-06-21 平安科技（深圳）有限公司 一种医学影像的质量评价方法和装置
CN110136119A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习的肺裂分割及完整性评估的方法和系统
CN110223352A (zh) * 2019-06-14 2019-09-10 浙江明峰智能医疗科技有限公司 一种基于深度学习的医学图像扫描自动定位方法
CN110338835A (zh) * 2019-07-02 2019-10-18 深圳安科高技术股份有限公司 一种智能扫描立体监测方法及系统
CN110428415A (zh) * 2019-08-05 2019-11-08 上海联影医疗科技有限公司 医学图像的质量评估方法、装置、设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Jianing Wang, et.al.Conditional generative adversarial networks for metal artifact reduction in CT images of the ear.《International conference on medical image computing and computer- assisted intervention》.2018,第3-11页. *
PT Johnson, et.al.The scoutview in CT scanning: is routine interpretation as part of the CT examination warranted?.《Radiological society of North America 2012 scientific assembly and annual meeting》.2012,第1-3页. *
Yanbo Zhang, et.al.Convolutional neural network based metal artifact reduction in X-ray computed tomography.《IEEE transactions on medical imaging》.2018,第37卷(第8期),第1370-1381页. *
王洪洋;张颖;朱海波;高碧海.基于肺部CT图像的计算机辅助诊断系统构建.中国医学装备.2018,(10),第98-102页. *
胡广柱等.颈部CT扫描中定位片对甲状腺锁骨伪影的预测价值.《中国临床医学影像杂质》.2018,第28卷(第7期),第471-474页. *

Also Published As

Publication number Publication date
CN111402231A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN107016665B (zh) 一种基于深度卷积神经网络的ct肺结节检测方法
CN109923554B (zh) 图像处理
CN109858540B (zh) 一种基于多模态融合的医学图像识别系统及方法
CN108830826A (zh) 一种检测肺结节的系统及方法
CN107862694A (zh) 一种基于深度学习的手足口病检测系统
CN108986073A (zh) 一种基于改进的Faster R-CNN框架的CT图像肺结节检测方法
CN110490892A (zh) 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
Hattikatti Texture based interstitial lung disease detection using convolutional neural network
Chen et al. Discriminative cervical lesion detection in colposcopic images with global class activation and local bin excitation
CN113706491B (zh) 基于混合注意力弱监督迁移学习的半月板损伤分级方法
CN111951221A (zh) 一种基于深度神经网络的肾小球细胞图像识别方法
CN111402231B (zh) 一种用于肺部ct影像质量的自动评估系统及方法
Xu et al. An improved faster R-CNN algorithm for assisted detection of lung nodules
CN109461163A (zh) 一种用于磁共振标准水模的边缘检测提取算法
US20230005140A1 (en) Automated detection of tumors based on image processing
CN115359035A (zh) 基于可变形多尺度卷积的肺部x光病灶检测系统与方法
Chen et al. Automatic ovarian follicle quantification from 3D ultrasound data using global/local context with database guided segmentation
CN111724345A (zh) 可自适应调节感受野大小的肺炎图片检定装置与方法
Liu et al. Automated classification and measurement of fetal ultrasound images with attention feature pyramid network
CN110378333B (zh) 一种sd-oct图像黄斑中央凹中心定位方法
CN111724356A (zh) 一种用于ct影像肺炎识别的图像处理方法和系统
Shariaty et al. Severity and progression quantification of covid-19 in ct images: a new deep-learning approach
CN114159083B (zh) 一种基于深度树模型的冠状动脉自动解剖标注方法及系统
CN113674228A (zh) 颅脑供血区的识别方法、装置、存储介质和电子设备
CN113409447A (zh) 一种基于多切片组合的冠状动脉分割方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant