CN111709950A - 一种乳腺钼靶ai辅助筛查方法 - Google Patents
一种乳腺钼靶ai辅助筛查方法 Download PDFInfo
- Publication number
- CN111709950A CN111709950A CN202010840616.5A CN202010840616A CN111709950A CN 111709950 A CN111709950 A CN 111709950A CN 202010840616 A CN202010840616 A CN 202010840616A CN 111709950 A CN111709950 A CN 111709950A
- Authority
- CN
- China
- Prior art keywords
- image data
- molybdenum target
- breast
- prediction result
- malignant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 title claims abstract description 55
- 229910052750 molybdenum Inorganic materials 0.000 title claims abstract description 55
- 239000011733 molybdenum Substances 0.000 title claims abstract description 55
- 238000012216 screening Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 15
- 210000005075 mammary gland Anatomy 0.000 title claims abstract description 13
- 210000000481 breast Anatomy 0.000 claims abstract description 55
- 230000003211 malignant effect Effects 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 206010006187 Breast cancer Diseases 0.000 claims description 26
- 208000026310 Breast neoplasm Diseases 0.000 claims description 26
- 206010028980 Neoplasm Diseases 0.000 claims description 18
- 201000011510 cancer Diseases 0.000 claims description 18
- 230000003902 lesion Effects 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 201000010099 disease Diseases 0.000 abstract description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 7
- 238000013145 classification model Methods 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5294—Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Primary Health Care (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Veterinary Medicine (AREA)
- Epidemiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Databases & Information Systems (AREA)
- Dentistry (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种乳腺钼靶AI辅助筛查方法；包括以下步骤：步骤S1：获取影像数据和非影像数据并输入；步骤S2：构建良恶性检测模型；步骤S3：构建病灶区域定位模型。本发明开发了一种针对乳腺钼靶影像由粗到细的AI辅助检测算法，首先获取左右乳房CC位和MLO位钼靶影像共四张高分辨率影像，输入到多视角的乳腺钼靶良恶性分类模型，对每张钼靶影像良恶性进行识别，最后使用Faster R‑CNN疾病检测模型，对乳腺钼靶影像进行精细化的疾病良恶性识别和定位。
Description
技术领域
本发明属于影像数据识别处理技术领域，具体涉及一种乳腺钼靶AI辅助筛查方法。
背景技术
近年我国乳腺癌发病率的增长速度高出高发国家1～2个百分点。据国家癌症中心和卫生部疾病预防控制局2012年公布的2009年乳腺癌发病数据显示：全国肿瘤登记地区乳腺癌发病率位居女性恶性肿瘤的第1位，女性乳腺癌发病率（粗率）全国合计为42.55/10万，城市为51.91/10万，农村为23.12/10万。
相对美国来说，我国的五年生存率还较低，这主要是因为中国人口基数过多，有经验的影像科医生较为缺乏，使得大范围早筛困难重重，构建乳腺钼靶AI诊断系统能够有效缓解这一矛盾，最大限度地帮助患者和医生。
现在对乳腺癌的诊断主要依赖超声、钼靶、核磁共振、病理和基因等，对于一般的三甲医院，通常先使用钼靶进行筛查，如果无法定性，会要求病人进一步进行超声和核磁共振检查，如果出现疑似恶性的情况，将进行病理穿刺检查，并对是否癌变，恶性程度以及分子分型做出判断。
乳腺x线钼靶检查操作简单，价格相对低廉，易于接受，诊断准确率较高，是乳腺癌早期机会性筛查及早期发现的有效措施。多个医学指南均推荐乳腺癌高危人群25岁后每隔1-3年进行钼靶筛查，而一般人群40岁后也需要间隔1-2年进行一次筛查，直到75岁。
我国乳腺癌正在呈现高发态势，而中国在早期阶段诊断出乳腺癌的概率不到20％，大多数患者被发现的时候是中晚期，情况十分严峻。这一方面是因为民众癌症健康检查意识不强，另一方面也由于缺乏专业医生，难以在基层全面推行乳腺癌的筛查。
随着人工智能技术的逐渐成熟，利用AI辅助诊断技术，进行乳腺癌辅助诊断与筛查，是改善我国乳腺癌生存率的可行方式。
基于AI前沿技术，搭建中国女性乳腺钼靶X射线影像数据集，构建乳腺钼靶筛查模型，智能化识别疑似病灶定位，乳腺良恶性判断，自动生成报告。协助医生阅片，可减少误诊率和漏诊率，并且可以降低医生的劳动强度。
发明内容
本发明目的在于提供一种乳腺钼靶AI辅助筛查方法，用于解决上述现有技术中存在的技术问题。
为实现上述目的，本发明的技术方案是：
一种乳腺钼靶AI辅助筛查方法，包括以下步骤：
步骤S1：获取影像数据和非影像数据并输入；其中，影像数据包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签，进行有监督的多任务分类学习；
步骤S2：构建良恶性检测模型；即，利用步骤S1中的多任务分类学习，同时学习良恶性分类任务和BI-RADS分类任务，提取每个病人4张影像的CNN特征和非影像特征，对前面的提取的CNN特征和非影像特征进行串联，输入良恶性分类器进行学习该病人是否患有癌症，同时输入BI-RADS分类器学习BI-RADS等级；
对于左右乳房均分配两个二进制标签：乳房中是否存在恶性发现以及乳房中是否存在良性发现；对于左右乳房，每次检查总共有四个二进制标签；针对每个检查生成与四个标签相对应的四个预测；对于CC视图，将每个图像裁剪为2677×1942像素的固定大小，对于MLO视图，则将其固定为2974×1748像素的固定大小；
提供深度学习多视角CNN模型架构，网络包含两个核心模块：1）、4张钼靶影像，分别输入ResNet-22模型，每一个钼靶影像产生固定大小为256维度隐式表达；2）、从隐藏表达到结果预测使用两个全连接层进行映射；将L-CC（即左乳房CC位）和R-CC（即右乳房CC位）表示连接成512维向量，并应用两个完全连接的层来生成四个输出的预测；对于L-MLO（即左乳房MLO位）和R-MLO（即左乳房MLO位）视图，执行相同的操作；对模型的CC和MLO分支预测的概率求平均，以获得最终的预测；
步骤S3：构建病灶区域定位模型；经过前面的良恶性检测模型，一旦检测到患有癌症的可能性，输入病灶区域定位模型，利用Faster-RCNN进行病灶定位和识别，输出病灶在关联影像上的位置和病灶的类型；
在病灶区域定位模型中使用的是VGG16网络，即，是16层深的CNN；最后一层可检测图像中的两种对象，良性病变或恶性病变；该模型为每个检测到的病变输出一个边界框和一个分数，以反映对病变类别的信心；为了用一个分数来描述图像，将图像中检测到的所有恶性病变的分数取最大值。
进一步的，步骤S1中所述非影像数据包括病人年龄和乳腺密度等级等。
进一步的，步骤S1中获取影像数据具体为：
获取第一时刻影像数据；即，在第一时刻获取的影像数据，包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签；
获取第二时刻影像数据；即，在第二时刻获取的与第一时刻同一病人的影像数据，同样包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签；
其中，所述第一时刻与第二时刻不同。
进一步的，当步骤S1中输入第一时刻影像数据，且步骤S2中良恶性检测模型输出预测有患癌症可能时；
暂时保留此次输出预测结果，即保留第一时刻输出预测结果；
在步骤S1中输入第二时刻影像数据，在步骤S2中得到第二时刻输出预测结果；
当第一时刻输出预测结果与第二时刻输出预测结果相同时，执行步骤S3；
当第一时刻输出预测结果与第二时刻输出预测结果不同时，停止步骤S3并发出异常报警。
进一步的，步骤S1中获取影像数据具体为：
获取第一设备影像数据；即，通过第一设备获取的影像数据，包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签；
获取第二设备影像数据；即，通过第二设备获取的与第一设备同一病人的影像数据，同样包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签；
其中，所述第一设备与第二设备不同。
进一步的，当步骤S1中输入第一设备影像数据，且步骤S2中良恶性检测模型输出预测有患癌症可能时；
暂时保留此次输出预测结果，即保留第一设备输出预测结果；
在步骤S1中输入第二设备影像数据，在步骤S2中得到第二设备输出预测结果；
当第一设备输出预测结果与第二设备输出预测结果相同时，执行步骤S3；
当第一设备输出预测结果与第二设备输出预测结果不同时，停止步骤S3并发出异常报警。
与现有技术相比，本发明所具有的有益效果为：
本方案的一个创新点在于，开发了一种针对乳腺钼靶影像由粗到细的AI辅助检测算法，首先获取左右乳房CC位和MLO位钼靶影像共四张高分辨率影像，输入到多视角的乳腺钼靶良恶性分类模型，对每张钼靶影像良恶性进行识别，最后使用Faster R-CNN疾病检测模型，对乳腺钼靶影像进行精细化的疾病良恶性识别和定位。
本方案的一个创新点在于，由粗到细（初筛识别每一张是否符合患有癌症，使用目标检测算法精准识别病灶位置）的精准识别疾病；符合临床医师阅片流程和系统（涵盖4个体位的影像，建模同时使用了非影像数据，符合临床诊断给出BI-RADS等级）；不需要标注精准病灶类型，减轻了医生的标注压力。
附图说明
图1是本发明具体实施方式的算法总体示意图。
图2是本发明具体实施方式的深度学习多视角CNN模型架构示意图。
具体实施方式
下面结合本发明的附图1-2，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
如图1所示，一种乳腺钼靶AI辅助筛查方法，包括以下步骤：
步骤S1：获取影像数据和非影像数据并输入；其中，影像数据包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签，进行有监督的多任务分类学习；
如图2所示，步骤S2：构建良恶性检测模型；即，利用步骤S1中的多任务分类学习，同时学习良恶性分类任务和BI-RADS分类任务，提取每个病人4张影像的CNN特征和非影像特征，对前面的提取的CNN特征和非影像特征进行串联，输入良恶性分类器进行学习该病人是否患有癌症，同时输入BI-RADS分类器学习BI-RADS等级；
对于左右乳房均分配两个二进制标签：乳房中是否存在恶性发现以及乳房中是否存在良性发现；对于左右乳房，每次检查总共有四个二进制标签；针对每个检查生成与四个标签相对应的四个预测；对于CC视图，将每个图像裁剪为2677×1942像素的固定大小，对于MLO视图，则将其固定为2974×1748像素的固定大小；
提供深度学习多视角CNN模型架构，网络包含两个核心模块：1）、4张钼靶影像，分别输入ResNet-22模型，每一个钼靶影像产生固定大小为256维度隐式表达；2）、从隐藏表达到结果预测使用两个全连接层进行映射；将L-CC（即左乳房CC位）和R-CC（即右乳房CC位）表示连接成512维向量，并应用两个完全连接的层来生成四个输出的预测；对于L-MLO（即左乳房MLO位）和R-MLO（即左乳房MLO位）视图，执行相同的操作；对模型的CC和MLO分支预测的概率求平均，以获得最终的预测；
步骤S3：构建病灶区域定位模型；经过前面的良恶性检测模型，一旦检测到患有癌症的可能性，输入病灶区域定位模型，利用Faster-RCNN进行病灶定位和识别，输出病灶在关联影像上的位置和病灶的类型；
在病灶区域定位模型中使用的是VGG16网络，即，是16层深的CNN；最后一层可检测图像中的两种对象，良性病变或恶性病变；该模型为每个检测到的病变输出一个边界框和一个分数，以反映对病变类别的信心；为了用一个分数来描述图像，将图像中检测到的所有恶性病变的分数取最大值。
进一步的，步骤S1中所述非影像数据包括病人年龄和乳腺密度等级等。
在上述方案中，首先获取左右乳房CC位和MLO位钼靶影像共四张高分辨率影像，输入到多视角的乳腺钼靶良恶性分类模型，对每张钼靶影像良恶性进行识别，最后使用Faster R-CNN疾病检测模型，对乳腺钼靶影像进行精细化的疾病良恶性识别和定位。
进一步的，步骤S1中获取影像数据具体为：
获取第一时刻影像数据；即，在第一时刻获取的影像数据，包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签；
获取第二时刻影像数据；即，在第二时刻获取的与第一时刻同一病人的影像数据，同样包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签；
其中，所述第一时刻与第二时刻不同。
进一步的，当步骤S1中输入第一时刻影像数据，且步骤S2中良恶性检测模型输出预测有患癌症可能时；
暂时保留此次输出预测结果，即保留第一时刻输出预测结果；
在步骤S1中输入第二时刻影像数据，在步骤S2中得到第二时刻输出预测结果；
当第一时刻输出预测结果与第二时刻输出预测结果相同时，执行步骤S3；
当第一时刻输出预测结果与第二时刻输出预测结果不同时，停止步骤S3并发出异常报警。
在上述方案中，可有效减少在获取影像数据时出现的偶然误差，并且，当出现这种偶然误差时，现场的医护人员可快速知晓并做出反应。
进一步的，步骤S1中获取影像数据具体为：
获取第一设备影像数据；即，通过第一设备获取的影像数据，包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签；
获取第二设备影像数据；即，通过第二设备获取的与第一设备同一病人的影像数据，同样包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签；
其中，所述第一设备与第二设备不同。
进一步的，当步骤S1中输入第一设备影像数据，且步骤S2中良恶性检测模型输出预测有患癌症可能时；
暂时保留此次输出预测结果，即保留第一设备输出预测结果；
在步骤S1中输入第二设备影像数据，在步骤S2中得到第二设备输出预测结果；
当第一设备输出预测结果与第二设备输出预测结果相同时，执行步骤S3；
当第一设备输出预测结果与第二设备输出预测结果不同时，停止步骤S3并发出异常报警。
在上述方案中，可有效减少在影像获取硬件设备在获取影像数据时出现的偶然误差，并且，当出现这种偶然误差时，现场的医护人员可快速知晓并做出反应。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (6)
1.一种乳腺钼靶AI辅助筛查方法，其特征在于，包括以下步骤：
步骤S1：获取影像数据和非影像数据并输入；其中，影像数据包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签，进行有监督的多任务分类学习；
步骤S2：构建良恶性检测模型；即，利用步骤S1中的多任务分类学习，同时学习良恶性分类任务和BI-RADS分类任务，提取每个病人4张影像的CNN特征和非影像特征，对前面的提取的CNN特征和非影像特征进行串联，输入良恶性分类器进行学习该病人是否患有癌症，同时输入BI-RADS分类器学习BI-RADS等级；
对于左右乳房均分配两个二进制标签：乳房中是否存在恶性发现以及乳房中是否存在良性发现；对于左右乳房，每次检查总共有四个二进制标签；针对每个检查生成与四个标签相对应的四个预测；对于CC视图，将每个图像裁剪为2677×1942像素的固定大小，对于MLO视图，则将其固定为2974×1748像素的固定大小；
提供深度学习多视角CNN模型架构，网络包含两个核心模块：1）、4张钼靶影像，分别输入ResNet-22模型，每一个钼靶影像产生固定大小为256维度隐式表达；2）、从隐式表达到结果预测使用两个全连接层进行映射；将左乳房CC位和右乳房CC位表示连接成512维向量，并应用两个完全连接的层来生成四个输出的预测；对于左乳房MLO位和右乳房MLO位视图，执行相同的操作；对模型的CC和MLO分支预测的概率求平均，以获得最终的预测；
步骤S3：构建病灶区域定位模型；经过前面的良恶性检测模型，一旦检测到患有癌症的可能性，输入病灶区域定位模型，利用Faster-RCNN进行病灶定位和识别，输出病灶在关联影像上的位置和病灶的类型；
在病灶区域定位模型中使用的是VGG16网络，即，是16层深的CNN；最后一层可检测图像中的两种对象，良性病变或恶性病变；该模型为每个检测到的病变输出一个边界框和一个分数，以反映对病变类别的信心；为了用一个分数来描述图像，将图像中检测到的所有恶性病变的分数取最大值。
2.如权利要求1所述的一种乳腺钼靶AI辅助筛查方法，其特征在于，步骤S1中所述非影像数据包括病人年龄和乳腺密度等级。
3.如权利要求1所述的一种乳腺钼靶AI辅助筛查方法，其特征在于，步骤S1中获取影像数据具体为：
获取第一时刻影像数据；即，在第一时刻获取的影像数据，包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签；
获取第二时刻影像数据；即，在第二时刻获取的与第一时刻同一病人的影像数据，同样包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签；
其中，所述第一时刻与第二时刻不同。
4.如权利要求3所述的一种乳腺钼靶AI辅助筛查方法，其特征在于，当步骤S1中输入第一时刻影像数据，且步骤S2中良恶性检测模型输出预测有患癌症可能时；
暂时保留此次输出预测结果，即保留第一时刻输出预测结果；
在步骤S1中输入第二时刻影像数据，在步骤S2中得到第二时刻输出预测结果；
当第一时刻输出预测结果与第二时刻输出预测结果相同时，执行步骤S3；
当第一时刻输出预测结果与第二时刻输出预测结果不同时，停止步骤S3并发出异常报警。
5.如权利要求1所述的一种乳腺钼靶AI辅助筛查方法，其特征在于，步骤S1中获取影像数据具体为：
获取第一设备影像数据；即，通过第一设备获取的影像数据，包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签；
获取第二设备影像数据；即，通过第二设备获取的与第一设备同一病人的影像数据，同样包括左右乳房CC位和MLO位钼靶影像以及对应影像的乳腺肿瘤标签；
其中，所述第一设备与第二设备不同。
6.如权利要求1所述的一种乳腺钼靶AI辅助筛查方法，其特征在于，当步骤S1中输入第一设备影像数据，且步骤S2中良恶性检测模型输出预测有患癌症可能时；
暂时保留此次输出预测结果，即保留第一设备输出预测结果；
在步骤S1中输入第二设备影像数据，在步骤S2中得到第二设备输出预测结果；
当第一设备输出预测结果与第二设备输出预测结果相同时，执行步骤S3；
当第一设备输出预测结果与第二设备输出预测结果不同时，停止步骤S3并发出异常报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010840616.5A CN111709950B (zh) | 2020-08-20 | 2020-08-20 | 一种乳腺钼靶ai辅助筛查方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010840616.5A CN111709950B (zh) | 2020-08-20 | 2020-08-20 | 一种乳腺钼靶ai辅助筛查方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111709950A true CN111709950A (zh) | 2020-09-25 |
| CN111709950B CN111709950B (zh) | 2020-11-06 |
Family
ID=72547229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010840616.5A Active CN111709950B (zh) | 2020-08-20 | 2020-08-20 | 一种乳腺钼靶ai辅助筛查方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111709950B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112446862A (zh) * | 2020-11-25 | 2021-03-05 | 北京医准智能科技有限公司 | 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法 |
| CN112990132A (zh) * | 2021-04-27 | 2021-06-18 | 成都中轨轨道设备有限公司 | 一种轨道标号牌定位识别方法 |
| CN113436158A (zh) * | 2021-06-21 | 2021-09-24 | 遂宁市中心医院 | 一种基于深度学习的肝脏肿块辅助鉴别方法 |
| CN113509191A (zh) * | 2021-03-05 | 2021-10-19 | 北京赛迈特锐医疗科技有限公司 | 乳腺钼靶x线影像的分析方法、装置及设备 |
| CN113662573A (zh) * | 2021-09-10 | 2021-11-19 | 上海联影医疗科技股份有限公司 | 乳腺病灶定位方法、装置、计算机设备和存储介质 |
| CN113743463A (zh) * | 2021-08-02 | 2021-12-03 | 中国科学院计算技术研究所 | 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统 |
| CN114972255A (zh) * | 2022-05-26 | 2022-08-30 | 深圳市铱硙医疗科技有限公司 | 脑微出血的图像检测方法、装置、计算机设备及存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101727537A (zh) * | 2009-11-16 | 2010-06-09 | 杭州电子科技大学 | 基于双视角信息融合的乳腺cr图像的计算机确定方法 |
| US20170182708A1 (en) * | 2015-12-09 | 2017-06-29 | Autodesk, Inc. | Multi-material stereolithographic three dimensional printing |
| CN107103187A (zh) * | 2017-04-10 | 2017-08-29 | 四川省肿瘤医院 | 基于深度学习的肺结节检测分级与管理的方法及系统 |
| CN108596273A (zh) * | 2018-05-09 | 2018-09-28 | 合肥黎曼信息科技有限公司 | 一种皮肤病图像分类方法 |
| CN108734705A (zh) * | 2018-05-17 | 2018-11-02 | 杭州电子科技大学 | 基于深度学习的数字乳腺断层影像钙化簇自动检测方法 |
| CN108765387A (zh) * | 2018-05-17 | 2018-11-06 | 杭州电子科技大学 | 基于Faster RCNN乳腺DBT影像肿块自动检测方法 |
| CN108830282A (zh) * | 2018-05-29 | 2018-11-16 | 电子科技大学 | 一种乳腺x光图像的乳腺肿块信息提取及分类方法 |
| CN110123347A (zh) * | 2019-03-22 | 2019-08-16 | 杭州深睿博联科技有限公司 | 用于乳腺钼靶的图像处理方法及装置 |
| CN110459319A (zh) * | 2019-05-16 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 基于人工智能的乳腺钼靶图像的辅助诊断系统 |
| CN110570419A (zh) * | 2019-09-12 | 2019-12-13 | 杭州依图医疗技术有限公司 | 特征信息的获取方法、装置和存储介质 |
| CN110728674A (zh) * | 2019-10-21 | 2020-01-24 | 清华大学 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN110766670A (zh) * | 2019-10-18 | 2020-02-07 | 厦门粉红思黛医学科技有限公司 | 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法 |
| CN110889835A (zh) * | 2019-11-21 | 2020-03-17 | 东华大学 | 一种基于双视图的钼靶影像语义标签预测方法 |
| CN111179227A (zh) * | 2019-12-16 | 2020-05-19 | 西北工业大学 | 基于辅助诊断和主观美学的乳腺超声图像质量评价方法 |
| CN111260639A (zh) * | 2020-01-19 | 2020-06-09 | 浙江工业大学之江学院 | 多视角信息协作的乳腺良恶性肿瘤分类方法 |
-
2020
- 2020-08-20 CN CN202010840616.5A patent/CN111709950B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101727537A (zh) * | 2009-11-16 | 2010-06-09 | 杭州电子科技大学 | 基于双视角信息融合的乳腺cr图像的计算机确定方法 |
| US20170182708A1 (en) * | 2015-12-09 | 2017-06-29 | Autodesk, Inc. | Multi-material stereolithographic three dimensional printing |
| CN107103187A (zh) * | 2017-04-10 | 2017-08-29 | 四川省肿瘤医院 | 基于深度学习的肺结节检测分级与管理的方法及系统 |
| CN108596273A (zh) * | 2018-05-09 | 2018-09-28 | 合肥黎曼信息科技有限公司 | 一种皮肤病图像分类方法 |
| CN108734705A (zh) * | 2018-05-17 | 2018-11-02 | 杭州电子科技大学 | 基于深度学习的数字乳腺断层影像钙化簇自动检测方法 |
| CN108765387A (zh) * | 2018-05-17 | 2018-11-06 | 杭州电子科技大学 | 基于Faster RCNN乳腺DBT影像肿块自动检测方法 |
| CN108830282A (zh) * | 2018-05-29 | 2018-11-16 | 电子科技大学 | 一种乳腺x光图像的乳腺肿块信息提取及分类方法 |
| CN110123347A (zh) * | 2019-03-22 | 2019-08-16 | 杭州深睿博联科技有限公司 | 用于乳腺钼靶的图像处理方法及装置 |
| CN110459319A (zh) * | 2019-05-16 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 基于人工智能的乳腺钼靶图像的辅助诊断系统 |
| CN110570419A (zh) * | 2019-09-12 | 2019-12-13 | 杭州依图医疗技术有限公司 | 特征信息的获取方法、装置和存储介质 |
| CN110766670A (zh) * | 2019-10-18 | 2020-02-07 | 厦门粉红思黛医学科技有限公司 | 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法 |
| CN110728674A (zh) * | 2019-10-21 | 2020-01-24 | 清华大学 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN110889835A (zh) * | 2019-11-21 | 2020-03-17 | 东华大学 | 一种基于双视图的钼靶影像语义标签预测方法 |
| CN111179227A (zh) * | 2019-12-16 | 2020-05-19 | 西北工业大学 | 基于辅助诊断和主观美学的乳腺超声图像质量评价方法 |
| CN111260639A (zh) * | 2020-01-19 | 2020-06-09 | 浙江工业大学之江学院 | 多视角信息协作的乳腺良恶性肿瘤分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| ZHENZHANG: "Comparison of multiple feature extractors on Faster RCNN for breast tumor detection", 《THE 8TH IEEE INTERNATIONAL SYMPOSIUM ON NEXT-GENERATION ELECTRONICS》 * |
| 余路阳: "基于多视图注意力机制的钼靶 X 光乳腺照影计算机辅助诊断研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
| 童振 等: "基于乳腺X线成像的计算机辅助诊断技术研究进展", 《中国数字医学》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112446862A (zh) * | 2020-11-25 | 2021-03-05 | 北京医准智能科技有限公司 | 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法 |
| CN112446862B (zh) * | 2020-11-25 | 2021-08-10 | 北京医准智能科技有限公司 | 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法 |
| CN113509191A (zh) * | 2021-03-05 | 2021-10-19 | 北京赛迈特锐医疗科技有限公司 | 乳腺钼靶x线影像的分析方法、装置及设备 |
| CN112990132A (zh) * | 2021-04-27 | 2021-06-18 | 成都中轨轨道设备有限公司 | 一种轨道标号牌定位识别方法 |
| CN112990132B (zh) * | 2021-04-27 | 2023-01-03 | 成都中轨轨道设备有限公司 | 一种轨道标号牌定位识别方法 |
| CN113436158A (zh) * | 2021-06-21 | 2021-09-24 | 遂宁市中心医院 | 一种基于深度学习的肝脏肿块辅助鉴别方法 |
| CN113743463A (zh) * | 2021-08-02 | 2021-12-03 | 中国科学院计算技术研究所 | 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统 |
| CN113743463B (zh) * | 2021-08-02 | 2023-09-26 | 中国科学院计算技术研究所 | 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统 |
| CN113662573A (zh) * | 2021-09-10 | 2021-11-19 | 上海联影医疗科技股份有限公司 | 乳腺病灶定位方法、装置、计算机设备和存储介质 |
| CN113662573B (zh) * | 2021-09-10 | 2023-06-30 | 上海联影医疗科技股份有限公司 | 乳腺病灶定位方法、装置、计算机设备和存储介质 |
| CN114972255A (zh) * | 2022-05-26 | 2022-08-30 | 深圳市铱硙医疗科技有限公司 | 脑微出血的图像检测方法、装置、计算机设备及存储介质 |
| CN114972255B (zh) * | 2022-05-26 | 2023-05-12 | 深圳市铱硙医疗科技有限公司 | 脑微出血的图像检测方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111709950B (zh) | 2020-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709950B (zh) | 一种乳腺钼靶ai辅助筛查方法 | |
| Yap et al. | Breast ultrasound region of interest detection and lesion localisation | |
| CN108898595B (zh) | 一种胸部图像中病灶区域的定位模型的构建方法及应用 | |
| US7529394B2 (en) | CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system | |
| Xu et al. | DeepLN: a framework for automatic lung nodule detection using multi-resolution CT screening images | |
| CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断系统 | |
| US8238637B2 (en) | Computer-aided diagnosis of malignancies of suspect regions and false positives in images | |
| US20070133852A1 (en) | Method and system of computer-aided quantitative and qualitative analysis of medical images | |
| CN101103924A (zh) | 基于乳腺x线摄片的乳腺癌计算机辅助诊断方法及其系统 | |
| Ma et al. | Developing and verifying automatic detection of active pulmonary tuberculosis from multi-slice spiral CT images based on deep learning | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
| CN105956386A (zh) | 基于健康人胸片的健康指标指数分类系统和方法 | |
| CN114529505A (zh) | 一种基于深度学习的乳腺病变风险评估系统 | |
| CN115205306A (zh) | 一种基于图卷积的医疗图像分割方法 | |
| JP5048233B2 (ja) | Ｃａｄシステムにおける解剖学的形状の検出のための方法及びシステム | |
| Anshad et al. | Recent methods for the detection of tumor using computer aided diagnosis—A review | |
| CN112508943A (zh) | 基于超声影像的乳腺肿瘤识别方法 | |
| CN112002407A (zh) | 一种基于超声视频的乳腺癌诊断装置及其方法 | |
| CN116630680A (zh) | 一种x线摄影联合超声的双模态影像分类方法及系统 | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| Chen et al. | Automatic abdominal hernia mesh detection based on YOLOM | |
| CN114757894A (zh) | 一种骨肿瘤病灶分析系统 | |
| Mughal et al. | Early lung cancer detection by classifying chest CT images: a survey | |
| Xiong et al. | Deep Ensemble Learning Network for Kidney Lesion Detection | |
| Zhang et al. | Detection of metastatic lymph nodules in gastric cancer using deep convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 610000 Information Industry Building, 159 East Section of First Ring Road, Chenghua District, Chengdu City, Sichuan Province Patentee after: Chengdu Chengdian Jinpan health data Technology Co.,Ltd. Address before: 610000 Information Industry Building, 159 East Section of First Ring Road, Chenghua District, Chengdu City, Sichuan Province Patentee before: CHENGDU GOLDISC UESTC MULTIMEDIA TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |