CN112508884A - 一种癌变区域综合检测装置及方法 - Google Patents

一种癌变区域综合检测装置及方法 Download PDF

Info

Publication number
CN112508884A
CN112508884A CN202011327476.8A CN202011327476A CN112508884A CN 112508884 A CN112508884 A CN 112508884A CN 202011327476 A CN202011327476 A CN 202011327476A CN 112508884 A CN112508884 A CN 112508884A
Authority
CN
China
Prior art keywords
canceration
detection
region
data
confidence score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011327476.8A
Other languages
English (en)
Inventor
刘哲
薛凯枫
宋余庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202011327476.8A priority Critical patent/CN112508884A/zh
Priority to US17/610,158 priority patent/US11587231B2/en
Priority to PCT/CN2021/073068 priority patent/WO2022110525A1/zh
Publication of CN112508884A publication Critical patent/CN112508884A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种癌变区域综合检测装置及方法，属于深度学习技术领域。本发明对预处理后且带有标注的CT影像数据进行癌变区域检测网络的训练，预测得到癌变区域的边界框坐标及对应的癌变置信度得分；对预处理后且带有患癌风险等级的临床数据进行临床分析网络的训练，预测得到对应病人的患癌概率值；再将预测得出的患癌概率值加权至预测出的癌变置信度得分中，实现癌变区域的综合判定。本发明能以高精度、高性能的方式检测出癌变区域。

Description

一种癌变区域综合检测装置及方法
技术领域
本发明涉及深度学习领域，特别是一种癌变区域综合检测装置及方法。
背景技术
癌症因其高致死率，持续地威胁着人类的生命和健康。尤其是肝癌和肺癌，近几年来始终是致死率极高的癌症。通常，当病人发现自己有相关症状时，实际已经处于癌症的中晚期。在医学上，医学影像诊断是进行癌症早期筛查的有效手段。然而，处于癌症早期时体现在医学影像上的癌变区域往往很小，癌变与其周边非癌变区域的差异不易区分，加之筛查过程中产生的影像规模很大、种类很多，即便是经验十分丰富的放射科医师也因巨大的工作压力而出现误诊、漏诊的情形。
针对上述情况，计算机辅助诊断系统成为放射科医师最为得力的助手。基于传统机器学习的检测方法利用有关方向梯度直方图和边缘算子等信息来提取一些低阶图像特征，其严重依赖于人工干预和先验知识，且执行速度相当慢。值得庆幸的是，以具有里程碑意义的2012 年为转折点，基于深度学习的医学影像检测方法在近几年开始流行起来，深度学习凭借卷积神经网络强大的特征提取能力，相较于传统的机器学习方法能够处理更高阶的语义特征，尤其在数字图像领域取得了相当显著的精度提升效果。
按照检测不同的整体算法和框架，可将基于深度学习的检测方法分为基于锚框的单阶段和两阶段检测方法以及基于无锚框的关键点检测方法。前者利用预定义的先验框或锚框，相当于以一种穷举的方式在特征图上滑动遍历所有可能存在目标的位置区域。单阶段力求前向传播一气呵成，直接从先验框出发进行回归和分类，执行速度很快，而两阶段则使用一种由粗到细的检测机制，通过区域提议先滤除大部分处于背景区域上的无关锚框，检测速度较慢但精度较高。基于无锚框的关键点检测方法则注重在目标的关键点(例如角点和中心点)等位置输出高响应特征，从这些位置出发进一步精准定位出最终的检测框。然而，无论是上述的何种方法，都是利用医学影像这一单源输入馈送至卷积神经网络中进行前向推理检测，且假阳即误检(预测出癌变区域，实为非癌变区域)出现的概率依旧较大。换言之，仅对检测网络的改进存在一定的精度提升瓶颈。
现有相关专利，如申请号为CN201911201347.1(一种乳腺病变检测方法和装置)、CN201910520291.X(一种基于深度残差网络的糖尿病性视网膜病变检测的方法)的专利，只是局限性的关注于某种器官或组织扫描的医学影像作为神经网络的输入，并实现病变检测。然而，如何利用临床测定信息作为额外的数据源输入神经网络进行文本分析，并利用其结果对神经网络的输出实施进一步的修正和完善，目前尚无相关方法问世。
发明内容
针对现有技术中存在不足，本发明提供了一种癌变区域综合检测装置及方法，将预测得出的患癌概率值加权至预测出的癌变置信度得分中，实现癌变区域的综合判定，以高精度、高性能的方式检测出癌变区域。
本发明是通过以下技术手段实现上述技术目的的。
一种癌变区域综合检测方法，具体为：
采集CT影像数据与临床数据；
预处理CT影像数据和临床数据，转化成适用癌变检测与分析子模块可输入的格式；
对预处理后且带有标注的CT影像数据进行癌变区域检测网络的训练，预测得到癌变区域的边界框坐标及对应的癌变置信度得分；
对预处理后且带有患癌风险等级的临床数据进行临床分析网络的训练，预测得到对应病人的患癌概率值；
将预测得出的患癌概率值加权至预测出的癌变置信度得分中，实现癌变区域的综合判定：对患癌概率值设定一个阈值0.5，将高于和低于所述阈值的部分分别拉伸至区间(0，1)，再利用指数函数ex求得比例因子，将所述比例因子作用于癌变置信度得分，对置信度得分的激励或惩罚；
筛去同一癌变区域的重复检测框并对边界框进行解码，输出当前病人的癌变区域及对应置信度得分。
进一步的技术方案，所述激励或惩罚采用如下公式：
Figure RE-GDA0002899903940000021
Figure RE-GDA0002899903940000022
其中，(P(object)*IOU(pred，gtBox))为置信度得分输出，P(object)是预测框中存在癌变区域的概率，IOU表征预测框pred与真实框gtBox的贴合程度；
Figure RE-GDA0002899903940000023
为比例因子， PCA为病人患癌概率值，σ代表归一化操作，即将高于和低于所述阈值的部分分别拉伸至区间 (0，1)。
进一步的技术方案，所述癌变置信度得分通过读取全部长度为5的向量保留，长度为5 指的是4个边界框属性以及1个目标置信度得分。
进一步的技术方案，所述检测网络及临床分析网络均采用卷积神经网络，所述卷积神经网络的训练采用方向传播学习法和随机梯度下降法。
更进一步的技术方案，所述检测网络通过若干次与特征提取下采样阶段相对应的上采样操作、侧向连接，形成类似金字塔一般的不同特征层级，在不同的层级上进行癌变区域的检测；每一金字塔层级内部包括若干次下采样，每一层下采样前均由n个残差块构成；所述残差块包括两个由卷积、批归一化和激活函数三步操作级联一体的组件，且残差块内部输入直连输出。
更进一步的技术方案，所述临床分析网络包括输入与量化、隐藏层和输出层。
一种癌变区域综合检测装置，包括数据采集模块、处理模块和可视化模块；
所述数据采集模块，用于从临床医师的日常工作流中获取训练神经网络的CT影像数据和临床数据；
所述处理模块，用于提取挖掘数据中的隐藏特征并输出预测；
所述可视化模块，用于输出当前病人的癌变区域及对应置信度得分；
所述处理模块包括癌变检测与分析子模块、预测结果加权处理子模块和检测结果后处理子模块；所述癌变检测与分析子模块，用于将采集的数据作为输入，经卷积神经网络后生成相应预测值；所述预测结果加权处理子模块，用于融合特征提取后的患癌概率值和预测出的癌变置信度得分；所述检测结果后处理子模块，用于筛去同一癌变区域的重复检测框并对边界框进行解码。
一种计算机可读存储介质，其存储的计算机程序使得处理器执行上述癌变区域综合检测方法。
本发明的有益效果为：本发明对预处理后且带有标注的CT影像数据进行癌变区域检测网络的训练，预测得到癌变区域的边界框坐标及对应的癌变置信度得分；对预处理后且带有患癌风险等级的临床数据进行临床分析网络的训练，预测得到对应病人的患癌概率值；将预测得出的患癌概率值加权至预测出的癌变置信度得分中，实现癌变区域的综合判定；将临床数据的患癌预测结果充分加权融入癌变置信度得分中，使得原本存在一定精度瓶颈的检测网络在遇到模棱两可的癌变区域时表现得更为“自信”，以高精度、高性能的方式检测出癌变区域；模拟临床上在早期判定病人疑似患癌区域究竟是否为癌症的综合诊断流程，使得利用本发明癌变区域综合检测方法设计出的整套计算机辅助检测系统成为放射科医师最得力的“助手”。
附图说明
图1为本发明癌变区域综合检测方法流程图；
图2为本发明检测网络的设计步骤示意图；
图3为本发明每一金字塔层级内部操作示意图；
图4为本发明临床分析网络的设计步骤示意图；
图5为本发明综合检测结果输出流程图；
图6为本发明综合检测装置构成示意图；
图7为本发明综合检测方法运行的计算机设备结构示意图。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
如图1所示，一种癌变区域综合检测方法，本实施例以肝癌为例，具体包括如下步骤：
步骤(1)，影像数据与临床数据采集
影像数据采集时，采用先进的、高精密度的CT(计算机断层扫描)设备生成大量腹部平扫切片；而临床数据采集则源于临床医师的日常工作记录；在将影像数据与临床数据录入数据库或其他存储管理系统(例如图7中的存储数据集)时，需确保每位患者的信息能够一一对应，以便给后续癌变检测与分析子模块使用。
例如给定病人A，其每次平扫保存的各卷数据应当分别有组织地存放于名为“A_S*_V*”的文件夹中，此处的“S*”对应扫描次数索引，“V*”代表卷号，每一卷产生的切片也按扫描顺序依次命名放置于所述文件夹；而病人A的临床数据则按病人病史、血清化验信息、生理特征等归类到不同文件夹中。上述操作的目的在于方便后续处理模块和可视化模块对某个病人数据的处理和展示。
并非所有采集下来的影像切片数据都需保留，在一卷扫描出的切片中，开始和尾端的若干张切片往往并不包含肝脏(或其他特定器官和组织)，此时需要筛去这些无价值的切片。
步骤(2)，癌变检测与分析
步骤(2.1)，针对CT影像数据，由专业医师通过矩形框框取癌变的区域(或称标注)，标注后的矩形框信息应记录在与影像数据同名的.txt或.xml、.json格式文件中，其中应严格包括一组由(Cx，Cy，w，h)或(Xmin，Ymin，Xmax，Ymax)属性组成的数据，因为这两者都唯一确定了一个矩形框所处的位置，其中(Cx，Cy)代表中心点坐标，(w，h)代表矩形框的宽和高，(Xmin，Ymin)代表左上角角点坐标，(Xmax，Ymax)代表右下角角点坐标。
而对于临床数据，由临床医师凭借其丰富经验判定患癌症的风险等级，为尽可能减少给医师带来的额外工作压力，该患癌风险等级仅按高、中、低来划分。
接着对CT影像数据和临床数据进行预处理，将其转化为适合作为后续训练神经网络的期待输入形式。
CT影像数据预处理：原始的由机器直接生成的扫描切片格式为DICOM(.dcm)，这一格式无法作为输入直接馈送入神经网络进行训练或预测，需要借助Python相关库对这一格式进行转换，转换为.jpg或.png图像格式，也可以转换为二维数组；在转换过程中，还需注意肝脏(或其他器官和组织)对应的窗位和窗宽的限定(即亨氏单位HU值的限制)，以在最大程度上获取与周围器官的对比度(让肝脏尽可能显现)；对于肝脏，按照专业放射科医师的经验，将HU值限定在[-100，240]区间内，-100和240即为窗位，而两端点之间的距离则为窗宽；限定的公式展示如下：
Figure RE-GDA0002899903940000051
其中，HUi，j表示像素点(i，j)处的HU值，PVi，j代表原始DICOM图像(i，j)位置处的像素值，slope和intercept则为相应线性运算时的斜率和截距。
临床数据预处理：将临床数据中的数字信息进行进一步的量化，将临床测得的数据距离正常范围数据的偏差值作为衡量单一指标下病人“严重性”的指标；例如，肝癌的一项很具参考价值的指标为甲胎蛋白AFP，若某人被测得的数据不在正常范围(即≥25ng/mL)，则距离这个值越远，给定的初始值就越大，具体变化的幅度还需由经验丰富的临床医师来定夺；若测得的数据处于正常范围中，则给定一个非0的很小的值(例如0.001)作为馈送入后续神经网络的初始值；值得注意的是，上述初始值的设定仅仅是为了缓和后续神经网络训练初期的难度。
步骤(2.2)，对预处理后且带有标注的CT影像数据进行癌变区域检测网络的训练，由于癌变区域在整张CT影响上所占面积比例较小，在硬件算力条件允许的情况下，可对图像整体通过双线性插值的方法进行适当放大，放大操作应遵循一定规则，并非随意放大，放缩的像素值通常取64或128的整数倍，这是由后续检测网络下采样的比例来决定的；将放大后的图像馈送至检测网络进行训练；同样，对预处理后且带有最终患癌风险等级的临床数据进行临床分析网络的训练。检测网络及临床分析网络均采用卷积神经网络。
步骤(2.2.1)，卷积神经网络的训练
在Ubuntu系统的pytorch框架下，将经过预处理的6000张腹部CT影像数据按7：2：1的比例分为训练集、验证集和测试集；按照临床数据采集来源所涉及的人员数目，也按上述比例将临床数据划分为对应的训练集、验证集和测试集；神经网络的训练采用方向传播学习算法，搭配随机梯度下降方法；根据一次前向推理计算出的loss值，进行反向传播迭代更新神经网络每一带参层的权重和偏置(若有)；经过一定训练迭代次数后，若训练集上loss和验证集上loss均趋于收敛，则神经网络训练完成。值得注意的是，检测网络及临床分析网络的训练完全可以单独分开，两者之间无任何耦合。
图2所示为检测网络的设计，具体为：
1)特征金字塔：在特征提取(骨干网络)阶段结束后，通过若干次与特征提取下采样阶段相对应的上采样操作、侧向连接，形成类似金字塔一般的不同特征层级，在不同的层级上施加对应的检测头进行癌变区域的检测；旨在适应不同大小的癌变区域，遍历到更广更多的疑似癌变区域；图3为每一金字塔层级内部操作示意。
2)特征提取：此阶段包括若干次下采样过程(池化层)，旨在更深的语义上提取特征；所有的池化层都是核大小为3*3、步长为2的卷积操作；而在每一层下采样前都是由n个残差块构成。
3)残差块：内部包括两个由卷积、批归一化和激活函数三步操作级联一体的组件，并增加一条由残差块内部输入直连输出的捷径通路。
图4所示为临床分析网络的设计，具体为：
1)输入与量化：在临床数据采集完成后，需要通过一预先确定好的量化指标，将各指标下的数字信息转换为可供临床分析网络输入的形式；
2)隐藏层：临床数据分析网络可被视为一个大的隐藏层(黑盒)，网络的组成可以是若干个卷积模块(卷积+批归一化+非线性激活，且卷积层卷积核的设置为1、3交替)、残差块或者是更为复杂的网络模块；隐藏层的内部又可分为两大部分，前一部分是针对病人病史量化数据、生理特征量化数据以及血清化验量化数据的单独前向传播(各项指标可以更多，图中仅为举例，但一旦确定，后期不可任意更改)，旨在学习上述三大临床数据来源各自内部指标的权重分配；而后一部分主要是针对学习三大临床数据来源之间的权重分配(即学习到哪种指标或者哪类临床数据对于评估患癌风险等级具有主导作用)；
3)输出层：在隐藏层最后经过若干全连接层后，可得到一预测输出的患癌概率值，该值会对后续预测结果加权处理子模块起到关键性作用，并且在训练时被医师评估的真实值(例如高风险为0.99)直接监督。
卷积神经网络的损失函数采用均方误差：
Figure RE-GDA0002899903940000071
其中，n为一个训练批次中样本总数，
Figure RE-GDA0002899903940000072
是预测值，yi是真实值。
步骤(2.2.2)，前向推理及预测
将步骤(2.2.1)划分出来的测试集数据馈送至训练完毕的神经网络中，对于CT影像数据，则预测得到癌变区域的边界框坐标及对应的癌变置信度得分；相应地，对于临床数据，则预测得到该对应病人患癌的概率值。
步骤(3)，预测结果加权处理
将上述步骤(2.2.2)中预测得出的患癌概率值加权至预测出的癌变置信度得分中，实现癌变区域的综合判定。
步骤(3.1)，对预测出的所有检测框进行后处理操作前截断
在本发明实现的检测网络中，其每个预测输出被编码为(Ngx*Ngy*NA)个长度为5的向量，其中(Ngx*Ngy)表示预测的特征图上网格总数，NA为每个网格中设置的锚框数目，长度为5指的是4个边界框属性(中心点坐标和宽高)以及1个目标置信度得分。本发明在检测结果后处理子模块前先截断(在向量被送入检测结果后处理子模块之前，读取全部向量)，保留当前所有检测框的置信度得分，以便于和融入的病史和血清代谢化验信息等特征进行综合加权处理。且上述向量被送入后续的检测结果后处理子模块，以完成最终的可视化模块输出。
步骤(3.2)，加权综合处理
将步骤(3.1)与临床分析网络的预测输出进行加权处理，以模拟整个综合的(肝)癌早期综合检测流程。具体地，对临床分析网络的输出(患癌概率值)设定一个阈值0.5，并且对高于和低于该值的部分分别拉伸至区间(0，1)，再利用指数函数ex求得一比例因子，将该比例因子作用于步骤(3.1)的置信度得分输出上，以完成对置信度得分的激励或惩罚，如下方公式所示：
Figure RE-GDA0002899903940000073
Figure RE-GDA0002899903940000081
其中，·左半部分为上述步骤(3.1)的置信度得分输出，P(object)代表预测框中存在目标(癌变区域)的概率，IOU体现了预测框pred与真实框gtBox的贴合程度；右半部分即比例因子，PCA即为病人患癌的概率值，σ代表归一化操作，即对高于和低于该值的部分分别拉伸至区间(0，1)。
进行激励或惩罚的期望目的在于：假设最终执行肝癌(或其他癌症)检测时，置信度阈值设为0.2，并且存在一预测框置信度0.25实为假阳(错误预测)，在经过比例因子的惩罚后 (病人患肝癌的概率较低)，降为0.15成为真阴，即单一检测网络的影像输出预测会因病史血清信息的综合分析而变得更为坚定，这也完全符合医师在肝癌早期检测中的工作流程，即有时在影像学上表现模糊，但通过临床数据分析其患癌概率较大；有时通过临床数据分析不出是否患癌，但影像学上却有清晰表现。置信度得分输出和目标概率的综合判定才是最佳方案。
步骤(4)，检测结果后处理
后处理主要通过非极大值抑制NMS算法将重复检测的区域筛去，并且将特征图大小的坐标值映射回原图大小。
NMS算法旨在剔除针对同一个目标的重复检测框，在执行完成后，除保留某个病变区域对应的置信度阈值最高的预测框以外，其余所有大于预先设定IOU阈值的预测框都将被滤去。
将特征图大小的坐标值映射回原图大小又称为边界框的解码操作，为后续输出可视化提供真实的原图上的坐标值，便于观察和展示。
步骤(5)，检测结果输出可视化
该步骤包括获取原图、绘制图层、展示图像三大步骤，参见图5，具体为：
步骤(5.1)，直接获取检测网络的输入端原始图像；
步骤(5.2)，依据加权综合处理后的得分值，包括后处理阶段完成后的边界框坐标值，在原始图像上绘制出相应的矩形框，将加权处理后的得分值标定于边界框左上角；
步骤(5.3)，对于综合判定后，患癌概率较高的病变区域进行额外的加亮处理，便于医师进行观察和进一步的分析；在展示的同时，需将数据实时保存至该病人对应的文件夹中，以便医师的后续查看。
图6所示为癌变区域综合检测装置，包括数据采集模块、处理模块和可视化模块；
数据采集模块，用于从临床医师的日常工作流中获取训练神经网络必要的影像数据和临床文本数据，建立供后续可复用的高组织性的数据集；
处理模块，用于提取挖掘数据中的隐藏特征并输出预测；
可视化模块，用于解析所述处理模块的输出预测向量，并传递给显示器，以输出渲染当前病人的癌变区域及对应置信度得分；
所述处理模块，包括：癌变检测与分析子模块，用于将采集的数据作为输入，经卷积神经网络后生成相应预测值；预测结果加权处理子模块，用于融合特征提取后的患癌概率值和预测出的癌变置信度得分，提升检测置信度；检测结果后处理子模块，用于筛去同一癌变区域的重复检测框并对边界框进行解码。
图7示出本发明运行综合检测方法的计算机设备结构，具体为：
显示器，用于将综合检测结果可视化输出至图形用户界面；输入/输出接口，用于连接各输入和输出设备；内存，用于将存储数据集的数据读出，并由CPU直接调度、加工存放；中央处理器CPU，用于对内存中的原始数据进行加工，包括影像数据以及临床文本数据的前期预处理操作；图形处理器GPU，用于加速神经网络的训练，提升例如反向传播过程中复杂梯度计算的效率；显存，用于存储内存传递过来的批量数据。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (8)

1.一种癌变区域综合检测方法，其特征在于，具体为：
采集CT影像数据与临床数据；
预处理CT影像数据和临床数据，转化成适用癌变检测与分析子模块可输入的格式；
对预处理后且带有标注的CT影像数据进行癌变区域检测网络的训练，预测得到癌变区域的边界框坐标及对应的癌变置信度得分；
对预处理后且带有患癌风险等级的临床数据进行临床分析网络的训练，预测得到对应病人的患癌概率值；
将预测得出的患癌概率值加权至预测出的癌变置信度得分中，实现癌变区域的综合判定：对患癌概率值设定一个阈值0.5，将高于和低于所述阈值的部分分别拉伸至区间(0，1)，再利用指数函数ex求得比例因子，将所述比例因子作用于癌变置信度得分，对置信度得分的激励或惩罚；
筛去同一癌变区域的重复检测框并对边界框进行解码，输出当前病人的癌变区域及对应置信度得分。
2.根据权利要求1所述的癌变区域综合检测方法，其特征在于，所述激励或惩罚采用如下公式：
Figure FDA0002794738640000011
Figure FDA0002794738640000012
其中，(P(object)*IOU(pred，gtBox))为置信度得分输出，P(object)是预测框中存在癌变区域的概率，IOU表征预测框pred与真实框gtBox的贴合程度；
Figure FDA0002794738640000013
为比例因子，PCA为病人患癌概率值，σ代表归一化操作，即将高于和低于所述阈值的部分分别拉伸至区间(0，1)。
3.根据权利要求1所述的癌变区域综合检测方法，其特征在于，所述癌变置信度得分通过读取全部长度为5的向量保留，长度为5指的是4个边界框属性以及1个目标置信度得分。
4.根据权利要求1所述的癌变区域综合检测方法，其特征在于，所述检测网络及临床分析网络均采用卷积神经网络，所述卷积神经网络的训练采用方向传播学习法和随机梯度下降法。
5.根据权利要求4所述的癌变区域综合检测方法，其特征在于，所述检测网络通过若干次与特征提取下采样阶段相对应的上采样操作、侧向连接，形成类似金字塔一般的不同特征层级，在不同的层级上进行癌变区域的检测；每一金字塔层级内部包括若干次下采样，每一层下采样前均由n个残差块构成；所述残差块包括两个由卷积、批归一化和激活函数三步操作级联一体的组件，且残差块内部输入直连输出。
6.根据权利要求4所述的癌变区域综合检测方法，其特征在于，所述临床分析网络包括输入与量化、隐藏层和输出层。
7.一种癌变区域综合检测装置，其特征在于，包括数据采集模块、处理模块和可视化模块；
所述数据采集模块，用于从临床医师的日常工作流中获取训练神经网络的CT影像数据和临床数据；
所述处理模块，用于提取挖掘数据中的隐藏特征并输出预测；
所述可视化模块，用于输出当前病人的癌变区域及对应置信度得分；
所述处理模块包括癌变检测与分析子模块、预测结果加权处理子模块和检测结果后处理子模块；所述癌变检测与分析子模块，用于将采集的数据作为输入，经卷积神经网络后生成相应预测值；所述预测结果加权处理子模块，用于融合特征提取后的患癌概率值和预测出的癌变置信度得分；所述检测结果后处理子模块，用于筛去同一癌变区域的重复检测框并对边界框进行解码。
8.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1至6任一项所述的癌变区域综合检测方法。
CN202011327476.8A 2020-11-24 2020-11-24 一种癌变区域综合检测装置及方法 Pending CN112508884A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011327476.8A CN112508884A (zh) 2020-11-24 2020-11-24 一种癌变区域综合检测装置及方法
US17/610,158 US11587231B2 (en) 2020-11-24 2021-01-21 Comprehensive detection device and method for cancerous region
PCT/CN2021/073068 WO2022110525A1 (zh) 2020-11-24 2021-01-21 一种癌变区域综合检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011327476.8A CN112508884A (zh) 2020-11-24 2020-11-24 一种癌变区域综合检测装置及方法

Publications (1)

Publication Number Publication Date
CN112508884A true CN112508884A (zh) 2021-03-16

Family

ID=74959280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011327476.8A Pending CN112508884A (zh) 2020-11-24 2020-11-24 一种癌变区域综合检测装置及方法

Country Status (3)

Country Link
US (1) US11587231B2 (zh)
CN (1) CN112508884A (zh)
WO (1) WO2022110525A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113257413A (zh) * 2021-06-22 2021-08-13 安翰科技(武汉)股份有限公司 基于深度学习的癌症预后生存预测方法、设备及存储介质
EP4138085A1 (en) * 2021-08-17 2023-02-22 Koninklijke Philips N.V. Managing a medical record of a subject

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983920B2 (en) * 2021-12-20 2024-05-14 International Business Machines Corporation Unified framework for multigrid neural network architecture
CN117994594A (zh) * 2024-04-03 2024-05-07 武汉纺织大学 一种基于深度学习的电力作业风险识别方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599542B2 (en) 2005-04-08 2009-10-06 John Philip Brockway System and method for detection and display of diseases and abnormalities using confidence imaging
CN101295309B (zh) 2008-05-22 2011-05-04 江苏大学 一种医学图像识别的方法
US9761004B2 (en) 2008-09-22 2017-09-12 Siemens Healthcare Gmbh Method and system for automatic detection of coronary stenosis in cardiac computed tomography data
US9336457B2 (en) 2012-12-06 2016-05-10 Siemens Medical Solutions Usa, Inc. Adaptive anatomical region prediction
EP3568773A4 (en) * 2017-01-12 2020-11-04 Mazor Robotics Ltd. IMAGE-BASED PATHOLOGY PREDICTION USING ARTIFICIAL INTELLIGENCE
CN107103187B (zh) 2017-04-10 2020-12-29 四川省肿瘤医院 基于深度学习的肺结节检测分级与管理的方法及系统
CN107945167A (zh) * 2017-11-27 2018-04-20 北京医拍智能科技有限公司 基于深度神经网络的慢性阻塞性肺病的检测系统
CN108564567A (zh) * 2018-03-15 2018-09-21 中山大学 一种超高分辨率病理图像癌变区域可视化方法
WO2019245597A1 (en) * 2018-06-18 2019-12-26 Google Llc Method and system for improving cancer detection using deep learning
CN109145838B (zh) * 2018-08-29 2021-08-17 常州市第二人民医院 基于随机高斯场神经网络辅助的肾透明细胞癌诊断方法
CN109242844B (zh) * 2018-09-04 2021-08-06 青岛大学附属医院 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质
CN110236483B (zh) 2019-06-17 2021-09-28 杭州电子科技大学 一种基于深度残差网络的糖尿病性视网膜病变检测的方法
US11705226B2 (en) * 2019-09-19 2023-07-18 Tempus Labs, Inc. Data based cancer research and treatment systems and methods
CN110648331B (zh) * 2019-09-02 2023-01-17 众安信息技术服务有限公司 用于医学图像分割的检测方法、医学图像分割方法及装置
CN111127400A (zh) 2019-11-29 2020-05-08 深圳蓝韵医学影像有限公司 一种乳腺病变检测方法和装置
US11562203B2 (en) * 2019-12-30 2023-01-24 Servicenow Canada Inc. Method of and server for training a machine learning algorithm for estimating uncertainty of a sequence of models
CN111584073B (zh) 2020-05-13 2023-05-09 山东大学 构建肺结节良恶性的多种病理类型诊断模型的方法
GB2597266A (en) * 2020-07-17 2022-01-26 Continental Automotive Romania Srl Method for joint detection of at least one lane marker and at least one object
CN111862085A (zh) * 2020-08-03 2020-10-30 徐州市肿瘤医院 一种周围型nsclc的隐匿性n2淋巴结转移的预测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113257413A (zh) * 2021-06-22 2021-08-13 安翰科技(武汉)股份有限公司 基于深度学习的癌症预后生存预测方法、设备及存储介质
CN113257413B (zh) * 2021-06-22 2021-10-19 安翰科技(武汉)股份有限公司 基于深度学习的癌症预后生存预测方法、设备及存储介质
EP4138085A1 (en) * 2021-08-17 2023-02-22 Koninklijke Philips N.V. Managing a medical record of a subject

Also Published As

Publication number Publication date
WO2022110525A1 (zh) 2022-06-02
US11587231B2 (en) 2023-02-21
US20220301168A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
CN111539930B (zh) 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN110060774B (zh) 一种基于生成式对抗网络的甲状腺结节识别方法
Saikumar et al. A novel implementation heart diagnosis system based on random forest machine learning technique.
CN108464840B (zh) 一种乳腺肿块自动检测方法及系统
CN101742961B (zh) 诊断支持设备及系统
US8335359B2 (en) Systems, apparatus and processes for automated medical image segmentation
WO2018120942A1 (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN111243042A (zh) 基于深度学习的超声甲状腺结节良恶性特征可视化的方法
US7133546B2 (en) Digital medical image analysis
CN112508884A (zh) 一种癌变区域综合检测装置及方法
US20090082637A1 (en) Multi-modality fusion classifier with integrated non-imaging factors
JP2018529134A (ja) ディープラーニングに基づく医療データ分析方法及びそのインテリジェントアナライザー
CN111768366A (zh) 超声成像系统、bi-rads分级方法及模型训练方法
EP3796210A1 (en) Spatial distribution of pathological image patterns in 3d image data
CN111553892A (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
CN112819831B (zh) 基于卷积Lstm及多模型融合的分割模型生成方法及装置
Prusty et al. A novel transfer learning technique for detecting breast cancer mammograms using VGG16 bottleneck feature
CN114926477A (zh) 一种基于深度学习的脑肿瘤多模态mri影像分割方法
CN114782398A (zh) 用于医学图像分析的学习网络的训练方法和训练系统
Nie et al. Recent advances in diagnosis of skin lesions using dermoscopic images based on deep learning
CN116759076A (zh) 一种基于医疗影像的无监督疾病诊断方法及系统
WO2022170203A1 (en) System and method for automatic diagnosis of idiopathic pulmonary fibrosis (ipf) using neural networks
UmaMaheswaran et al. Enhanced non-contrast computed tomography images for early acute stroke detection using machine learning approach
Emirzade A computer aided diagnosis system for lung cancer detection using SVM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination