CN113838020A - 一种基于钼靶影像的病变区域量化方法 - Google Patents
一种基于钼靶影像的病变区域量化方法 Download PDFInfo
- Publication number
- CN113838020A CN113838020A CN202111093243.0A CN202111093243A CN113838020A CN 113838020 A CN113838020 A CN 113838020A CN 202111093243 A CN202111093243 A CN 202111093243A CN 113838020 A CN113838020 A CN 113838020A
- Authority
- CN
- China
- Prior art keywords
- training
- network
- segmentation
- detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 62
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 title claims abstract description 30
- 229910052750 molybdenum Inorganic materials 0.000 title claims abstract description 30
- 239000011733 molybdenum Substances 0.000 title claims abstract description 30
- 238000011002 quantification Methods 0.000 title abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 230000011218 segmentation Effects 0.000 claims abstract description 57
- 210000000481 breast Anatomy 0.000 claims abstract description 29
- 210000005075 mammary gland Anatomy 0.000 claims abstract description 21
- 238000003745 diagnosis Methods 0.000 claims abstract description 12
- 230000003211 malignant effect Effects 0.000 claims abstract description 5
- 238000013434 data augmentation Methods 0.000 claims description 17
- 230000003416 augmentation Effects 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims 2
- 201000010099 disease Diseases 0.000 abstract description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 10
- 208000030270 breast disease Diseases 0.000 description 9
- 206010006187 Breast cancer Diseases 0.000 description 8
- 208000026310 Breast neoplasm Diseases 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 206010027940 Mood altered Diseases 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 235000009200 high fat diet Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 208000000509 infertility Diseases 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- 230000006651 lactation Effects 0.000 description 1
- 230000007775 late Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000009245 menopause Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于乳腺钼靶影像的病变区域量化方法，其中，包括：通过efficientdet‑d8网络和YOLOV5网络进行乳腺病变区域检测网络训练，得到检测模型；通过Unet网络结构进行乳腺病变区域分割训练，根据乳腺钼靶影像的尺寸分成两个Unet网络结构训练，大的病变区域进行分割网络训练，小的病变区域训练分割模型；得到检测模型和分割模型之后，分别进行验证；将采集的基于乳腺钼靶影像，通过检测模型和分割模型计算出病变区域所在位置，通过分割结果计算病变区域大小和密度分布，通过检测结果得到良恶性置信分数，通过对病变区域的定位和量化，提供诊断帮助信息。本发明可以解决乳腺疾病阅片时候的人为经验不足的问题，帮助医生定位疾病和分析疾病。
Description
技术领域
本发明专利涉及医疗辅助诊断领域，尤其涉及乳腺疾病的病变区量化方法。
背景技术
随着社会经济的发展，人们生活方式已经发生很大改变，性成熟期提前、绝经期延后、不生育、晚生育、不哺乳、焦虑、不良情绪、肥胖、高热量及高脂肪饮食的摄入、不健康的生活方式等生活环境因素，使乳腺疾病发病率逐年增高，其中以乳腺癌最为突出，乳腺癌是女性多发、常见恶性肿瘤疾病之一，对女性身心健康及生活质量造成了严重威胁。乳腺癌在全球癌症发病率中排名第一，死亡率排名第五。近年来中国乳腺癌发病率和死亡率呈上升趋势：2013年与1990年相比，乳腺癌是增长最快的癌症之一，女性发病例数从94777例到260156例，增长了1.74倍，同时随着分级诊疗的建立，乳腺癌的防治在中国已经越来越受到重视。
乳腺癌是早期筛查效果最好的癌症之一，使用乳腺疾病筛查技术能够有效预防和尽早治疗乳腺疾病。钼靶是国际公认的最重要的乳腺疾病筛查手段，钼靶的原理是X射线照射乳房组织，投射后产生影像结果，X射线在帮助医生发现身体结构异常。然而临床乳腺检查多依靠临床医生经验，如图1所示，是由有经验的影像医生标注的结果，图像中包含多个癌变和钙化的位置，这对于评估乳腺疾病的类型是至关重要的，但是也可以看出图像还是存在漏标的位置，所以自动化的辅助诊断就显得更加重要。自动化的辅助诊断手段作为一种有效的辅助方法，目前已经在许多领域都得到了验证，未来会在很大程度上帮助基层医院建立更好的诊断方法，来弥补基层医生的经验不足的问题。
医学影像的自动化分析一直都是一个亟需解决的问题，随着机器学习算法的发展，在很多的影像分析中均达到了较高的水准，其中包括脑肿瘤分割、肺结节检测、血管分割和乳腺癌检测等领域。其中深度学习起到了很大的推动作用，深度学习作为一种特征学习和表征的技术，能够准确的学习图像中各种层级的信息，从而准确找出所需要的信息。
发明内容
本发明的目的在于提供一种基于钼靶影像的病变区域量化方法，用于解决现有技术对于医生诊断水平要求较高的问题。
本发明一种基于钼靶影像的病变区域量化方法，其中，包括：通过efficientdet-d8网络和YOLOV5网络进行乳腺病变区域检测网络训练，得到检测模型；通过Unet网络结构进行乳腺病变区域分割训练，根据乳腺钼靶影像的尺寸分成两个Unet网络结构训练，大的病变区域进行分割网络训练，小的病变区域训练分割模型；得到检测模型和分割模型之后，分别进行验证；将采集的基于乳腺钼靶影像，通过检测模型和分割模型计算出病变区域所在位置，通过分割结果计算病变区域大小和密度分布，通过检测结果得到良恶性置信分数，通过对病变区域的定位和量化，提供诊断帮助信息。
根据本发明所述的方法的一实施例，其中，通过efficientdet-d8网络和YOLOV5网络进行乳腺病变区域检测网络训练，得到检测模型包括：步骤1、准备检测数据，做成检测网络训练需要的数据集；步骤2、将缩放和切片的图像分别进行数据增广；步骤3、将增广的数据分别输入到检测网络中进行训练，检测网络包含efficientdet-d8网络和YOLOV5网络训练，得到检测模型。
根据本发明所述的方法的一实施例，其中，步骤1具体包括：将乳腺钼靶筛查机器的检测图像进行处理，包括：将高像素的图像切片成1280*1280像素，重叠系数为0.2，和/或使用双线性插值方法将图像缩放到1280*1280像素。
根据本发明所述的方法的一实施例，其中，数据增广包括：裁剪、旋转、平移、缩放、色彩空间调整、马赛克增广、自对抗训练增广、多图组合、混合增强MixUp、随机遮挡Cutout和图像遮挡至少一种。
根据本发明所述的方法的一实施例，其中，步骤3将增广后的数据分别输入到两个efficientdet-d8网络和两个YOLOV5网络进行训练，其中YOLOV5的参数为输入图像大小＝1280，训练集中的所有样本训练次数epoch＝100、一次迭代使用的样本数batchsize＝16、良恶的类别＝1、学习率＝0.0001、子进程数num_workers＝4，得到两个YOLOV5网络模型；efficientdet-d8的参数为输入图像大小＝1280、训练集中的所有样本训练次数epoch＝80，一次迭代使用的样本数Batchsize＝8、良恶的类别＝1、学习率＝0.0001、子进程数num_workers＝2，并再得到另外两个efficientdet-d8网络模型。
根据本发明所述的方法的一实施例，其中，通过Unet网络结构进行乳腺病变区域分割训练包括：步骤1、从原始乳腺钼靶影像图中抠出带病灶的图像；步骤2、按照获得图像的高和宽的大小分成两类数据集，尺寸大的图归入训练数据集1和尺寸小的图归入训练数据集2，数据集1的图像缩放为第一尺寸，数据集2中的图像裁剪成方形，然后缩放成第二尺寸，分别进行数据集1以及数据集2的数据增广；步骤3：将预处理好的数据集1和2分别输入到Unet网络中进行训练，得到数据集1和2分别对应的分割模型。
根据本发明所述的方法的一实施例，其中，数据增广包括：裁剪、旋转、平移、缩放、色彩空间调整、马赛克增广、自对抗训练增广、多图组合、混合增强MixUp、随机遮挡Cutout和图像遮挡至少一种。
根据本发明所述的方法的一实施例，其中，步骤1围绕图像分割的区域，随机扩大1.1-1.5倍，然后进行随机方向的平移，并保证病灶区域在图像里面，获得训练用的数据集合；步骤2中，对数据集合的图像的高和宽两边均大于200像素的图加入数据集1，剩下其他的图像加入数据集2，数据集1中使用双线性插值的方法缩放到256*256，数据集2中的图像裁剪成方形,然后缩放到64*64，分别对数据集1和数据集2进行数据增广；步骤3、将数据集1和2分别输入到Unet网络中，网络的编码部分使用efficient-b4，训练集中的所有样本训练次数为epoch＝32、一次迭代使用的样本数batchsize＝16、学习率＝0.0001，两个Unet网络输入的大小分别为256*256和64*64，分别通过训练得到分割模型-256和分割模型-64。
根据本发明所述的方法的一实施例，其中，得到检测模型和分割模型之后，分别进行验证，其验证流程和检测网络训练以及分割网络训练过程一致。
根据本发明所述的方法的一实施例，其中，将得到的检测病变区域方框输入到分割模型中进行分割，然后得到准确的病变区域边界，通过分割本量化病变区域的尺寸和形状。
本发明可以解决乳腺疾病阅片时候的人为经验不足的问题，帮助医生定位疾病和分析疾病。
附图说明
图1为乳腺疾病及其位置，图中框是病变区域的外轮廓。
图2为乳腺病变区域量化完整方案。
图3乳腺病变区域检测网络训练流程
图4乳腺病变区域分割训练流程图。
图5乳腺病变区域的检测和集成结构图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
本发明一共分为四个部分：乳腺病变区域检测，检测框WBF(Weighted BoxesFusion，WBF)集成，病变区域分割，病变区域的定位和量化。考虑到乳腺钼靶影像是高像素图像，本发明并没有直接分割图像，而是采用先检测后分割的思路进行，一方面能够减少图像的计算量，一方面能够增加算法的准确性，使得结果更加精确。在乳腺疾病检测网络中，本发明使用的是YOLOV5(You only look once:Yolo,v5为第五版本)和Efficientdet-d8(EfficientDet:Scalable and Efficient Object Detection)网络，同时使用这两种网络的原因如下：1.均能属于能快速并准确检测病灶的网络；2.使用多个网络能够减少漏诊,提高准确率。考虑到图像尺度较大，本发明对图像进行切片和缩放两种处理方法，这样可以有效提升检测效果。
乳腺病变区域集成部分是用测试时数据增广(TTA)方法得到的预测框进行权重融合(WBF)，TTA方法可以通过数据增广的方法加强病变区域检测效果，WBF可以让不同方法和尺度检测到的候选框进行权重融合，以便得到更好的检测结果。
乳腺病变区域分割使用的是Unet网络结构,是一种能够结合图像中不同层级信息的编码解码结构。Unet网络中编码结构是EfficientNet，一种新的模型缩放方法，它使用一个简单而高效的复合系数来从网络深度,宽度,图像分辨率三个维度调整网络结构，通过神经结构搜索技术可以获得最优的复合系数，这样的获得的网络结构比传统固定的CNN网络准确率更高。同时考虑到检测框可能是不同的形状,分成两个相同网络结构训练，一种是比较大的病变区域(宽高像素均大于200)训练一个网络，一种是比较小的病变区域训练一个网络，这样可以进一步提高分割的准确率。
最后病变区域的定位和量化，经过分割之后，就可以计算病变区域的大小和获得清晰的边界形状，然后通过检测框计算病变区域的位置。经过上面的方法，本发明能够准确计算病变区域的大小和位置，并且帮助医生区分病变区域的边界形状，从而达到辅助医生诊断的目的。
本发明的数据可以是来源DDSM(Digital Database for Digital MammographySoftware)数据集，其中包含671个良性病例，679个恶性肿瘤病例，602个正常样本，数据均包含左右乳房组织的MLO位和CC位的影像数据，病变的数据均已完成分割标记。
如图2所示，为本发明的一具体实施例，数据来源可以是开源的数据集DDSM,已经标注好分割的结果。本发明首先需要通过训练得到检测模型和分割模型，具体流程如下：
如图3所示，为本发明的乳腺病变区域检测网络训练流程。
步骤1首先需要准备检测数据，通过最大紧邻框在已经分割好的结果中框出病变区域，然后做成检测网络训练需要的数据集。考虑到目前市面上的乳腺钼靶筛查机器均是高像素和高分辨率的图像，因此为了更好的检测出各种级别的肿瘤和高像素图像难以训练的问题，首先本发明将图像进行两种方式处理：一种是将高像素的图像切片成1280*1280像素，重叠系数为0.2；另一种是使用双线性插值方法将图像缩放到1280*1280像素。
步骤2然后将缩放和切片的图像分别输入到数据增广中，数据增广是一种在不降低模型速度的情况下有效增加模型鲁棒性的方法，其中本发明使用的数据增广方式有裁剪、旋转、平移、缩放、色彩空间调整、马赛克增广、自对抗训练增广、多图组合、混合增强MixUp、随机遮挡Cutout、图像遮挡。
步骤3本发明使用YOLOV5和efficientdet-d8来作为本发明的病变区域检测网络，本发明将增广的数据分别输入到4个检测网络中进行训练，包含两个efficientdet-d8网络和两个YOLOV5网络训练，其中YOLOV5的参数为输入图像大小＝1280、epoch＝100(训练集中的所有样本训练次数)、Batchsize＝16(一次迭代使用的样本数)、类别＝1(良/恶)、学习率＝0.0001、num_workers＝4(子进程数)；efficientdet-d8的参数为输入图像大小＝1280、epoch＝80、Batchsize＝8、类别＝1(良/恶)、学习率＝0.0001、num_workers＝2，本发明使用YOLOV5和efficientdet-d8比单独使用其中一种网络的效果要好，所以采用两种模型。同时为了兼顾小型病灶和大型病灶的问题，本发明使用图像缩放和切片的方式输入到同一种模型中训练出两个不同尺度的模型，以便得到更好的检测效果。训练出四个检测模型为后面测试使用,分别是检测模型1，2，3，4。
如图4所示，为本发明的乳腺病变区域分割训练部分，
步骤1：首先从原始图像中抠出带病灶的图，抠图使用方法围绕分割的区域，随机扩大1.1-1.5倍，然后进行随机方向的平移(保证病灶区域在图像里面)，经过上面的操作可以获得训练数据集。
步骤2：训练数据集中，由于图像大小不一致，首先进行分类对图像的高和宽两边均大于200像素的图作为数据集1，剩下其他的图像作为数据集2；数据集1中本发明全部使用双线性插值的方法缩放到256*256，数据集2中的图像裁剪成方形,然后缩放到64*64大小，然后分别进行数据增广，增广的方式与乳腺病变区域检测网络的数据增广方式一致。
步骤3：将预处理好的数据集1和2分别输入到Unet网络中，网络的编码部分使用efficient-b4，训练参数为epoch＝32、batchsize＝16、学习率＝0.0001，两个网络输入的大小分别为256*256和64*64，分别通过训练得到分割模型-256和分割模型-64。
训练完检测和分割模型之后，需要进行验证，验证流程和测试过程一致，如图2所示，步骤1：首先采集到的钼靶影像切片成1280*1280和缩放成1280*1280，然后使用测试时数据增广(TTA)的方法，其中增广方式包括缩放、色彩空间调整、垂直翻转。之后进行步骤2和步骤3，具体细节如图5所示。
步骤2：使用训练好四个检测模型分别预测TTA后的结果，在YOLOV5中本发明设计的阈值是0.5，在efficientdet-d8设计的阈值是0.3，这些数值是经过测试得到的。然后将预测到的候选框都映射到原图上，就会得到一张钼靶图像上有多个乳腺疾病区域预测框。
步骤3：然后使用预测框权重融合的方法，计算出乳腺病变区域所在的框。乳腺病变区域集成的方法充分利用了不同尺度的特征和不同模型之间的优势，以便达到更好的病变区域检出效果。
步骤4：得到的病变区域框首先进行区分，如果宽和高均大于200像素，那么缩放成256*256，输入到分割模型-256分割出结果；如果宽高小于200像素，将图像裁剪成方形，然后缩放成64*64，输入到分割模型-64分割出结果。
步骤5：通过分割的结果和检测框所在的位置可以准确计算出病变区域所在位置，通过分割结果计算病变区域大小、密度分布，通过检测结果可以得到良恶性置信分数，通过对病变区域的定位和量化，可以有效帮助医生进行诊断。
对于本发明一实施例，在训练完模型之后，在实际使用中，首先需要拍摄患者的乳腺钼靶图像，然后将得到的钼靶图像输入到efficientdet-d8网络和YOLOV5网络进行模型检测，通过检测可以得到病变区域，但是是一个方形的框，无法对其准确量化，因此将得到的检测病变区域方框输入到分割模型中进行分割，然后得到准确的病变区域边界，通过分割本发明就可以量化病变区域的大小，形状等等特性。
考虑到钼靶图像是分辨率比较高的影像，本发明使用深度学习中检测和分割的技术来定位和量化乳腺疾病。其中图像检测是一种识别图像中感兴趣区位置的一种技术，本发明用来检测病变区域并提取出来；图像分割是一种寻找特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，本发明使用图像分割方法量化病变区域大小，以便帮助影像医生更好的定位和判别乳腺疾病，为进一步治疗乳腺疾病提供更精准的方案。本发明一种基于乳腺钼靶影像的病变区域量化方法，可识别出乳腺钼靶影像中病灶大小和边界，辅助医生进行乳腺病变的量化工作，提高了诊断效率和准确率，平衡我国医疗资源分布不均衡的问题。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种基于钼靶影像的病变区域量化方法，其特征在于，包括：
通过efficientdet-d8网络和YOLOV5网络进行乳腺病变区域检测网络训练，得到检测模型；
通过Unet网络结构进行乳腺病变区域分割训练，根据乳腺钼靶影像的尺寸分成两个Unet网络结构训练，大的病变区域进行分割网络训练，小的病变区域训练分割模型；
得到检测模型和分割模型之后，分别进行验证；
将采集的基于乳腺钼靶影像，通过检测模型和分割模型计算出病变区域所在位置，通过分割结果计算病变区域大小和密度分布，通过检测结果得到良恶性置信分数，通过对病变区域的定位和量化，提供诊断帮助信息。
2.如权利要求1所述的方法，其特征在于，通过efficientdet-d8网络和YOLOV5网络进行乳腺病变区域检测网络训练，得到检测模型包括：
步骤1、准备检测数据，做成检测网络训练需要的数据集；
步骤2、将缩放和切片的图像分别进行数据增广；
步骤3、将增广的数据分别输入到检测网络中进行训练，检测网络包含efficientdet-d8网络和YOLOV5网络训练，得到检测模型。
3.如权利要求2所述的方法，其特征在于，步骤1具体包括：将乳腺钼靶筛查机器的检测图像进行处理，包括：将高像素的图像切片成1280*1280像素，重叠系数为0.2，和/或使用双线性插值方法将图像缩放到1280*1280像素。
4.如权利要求2所述的方法，其特征在于，数据增广包括：裁剪、旋转、平移、缩放、色彩空间调整、马赛克增广、自对抗训练增广、多图组合、混合增强MixUp、随机遮挡Cutout和图像遮挡至少一种。
5.如权利要求2所述的方法，其特征在于，
步骤3将增广后的数据分别输入到两个efficientdet-d8网络和两个YOLOV5网络进行训练，
其中YOLOV5的参数为输入图像大小＝1280，训练集中的所有样本训练次数epoch＝100、一次迭代使用的样本数batchsize＝16、良恶的类别＝1、学习率＝0.0001、子进程数num_workers＝4，得到两个YOLOV5网络模型；
efficientdet-d8的参数为输入图像大小＝1280、训练集中的所有样本训练次数epoch＝80，一次迭代使用的样本数Batchsize＝8、良恶的类别＝1、学习率＝0.0001、子进程数num_workers＝2，并再得到另外两个efficientdet-d8网络模型。
6.如权利要求1所述的方法，其特征在于，通过Unet网络结构进行乳腺病变区域分割训练包括：
步骤1、从原始乳腺钼靶影像图中抠出带病灶的图像；
步骤2、按照获得图像的高和宽的大小分成两类数据集，尺寸大的图归入训练数据集1和尺寸小的图归入训练数据集2，数据集1的图像缩放为第一尺寸，数据集2中的图像裁剪成方形，然后缩放成第二尺寸，分别进行数据集1以及数据集2的数据增广；
步骤3、将预处理好的数据集1和2分别输入到Unet网络中进行训练，得到数据集1和2分别对应的分割模型。
7.如权利要求6所述的方法，其特征在于，数据增广包括：裁剪、旋转、平移、缩放、色彩空间调整、马赛克增广、自对抗训练增广、多图组合、混合增强MixUp、随机遮挡Cutout和图像遮挡至少一种。
8.如权利要求6所述的方法，其特征在于，步骤1围绕图像分割的区域，随机扩大1.1-1.5倍，然后进行随机方向的平移，并保证病灶区域在图像里面，获得训练用的数据集合；
步骤2中，对数据集合的图像的高和宽两边均大于200像素的图加入数据集1，剩下其他的图像加入数据集2，数据集1中使用双线性插值的方法缩放到256*256，数据集2中的图像裁剪成方形,然后缩放到64*64，分别对数据集1和数据集2进行数据增广；
步骤3、将数据集1和2分别输入到Unet网络中，网络的编码部分使用efficient-b4，训练集中的所有样本训练次数为epoch＝32、一次迭代使用的样本数batchsize＝16、学习率＝0.0001，两个Unet网络输入的大小分别为256*256和64*64，分别通过训练得到分割模型-256和分割模型-64。
9.如权利要求1-8任意权利要求所述的方法，其特征在于，得到检测模型和分割模型之后，分别进行验证，其验证流程和检测网络训练以及分割网络训练过程一致。
10.如权利要求1-8任意权利要求所述的方法，其特征在于，将得到的检测病变区域方框输入到分割模型中进行分割，然后得到准确的病变区域边界，通过分割本量化病变区域的尺寸和形状。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111093243.0A CN113838020A (zh) | 2021-09-17 | 2021-09-17 | 一种基于钼靶影像的病变区域量化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111093243.0A CN113838020A (zh) | 2021-09-17 | 2021-09-17 | 一种基于钼靶影像的病变区域量化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113838020A true CN113838020A (zh) | 2021-12-24 |
Family
ID=78959847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111093243.0A Pending CN113838020A (zh) | 2021-09-17 | 2021-09-17 | 一种基于钼靶影像的病变区域量化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113838020A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777893A (zh) * | 2023-07-05 | 2023-09-19 | 脉得智能科技(无锡)有限公司 | 一种基于乳腺超声横纵切面特征结节的分割与识别方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106339591A (zh) * | 2016-08-25 | 2017-01-18 | 汤平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统 |
| US20190311479A1 (en) * | 2018-04-10 | 2019-10-10 | Sun Yat-Sen University Cancer Center | Method and device for identifying pathological picture |
| CN110490851A (zh) * | 2019-02-15 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 基于人工智能的乳腺图像分割方法、装置及系统 |
| CN111539930A (zh) * | 2020-04-21 | 2020-08-14 | 浙江德尚韵兴医疗科技有限公司 | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 |
| CN111739033A (zh) * | 2020-06-22 | 2020-10-02 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 基于机器学习的乳腺钼靶及mr图像影像组学模型的建立方法 |
| WO2020238044A1 (zh) * | 2019-05-31 | 2020-12-03 | 深圳市前海安测信息技术有限公司 | 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质 |
| CN112581436A (zh) * | 2020-12-11 | 2021-03-30 | 佛山市普世医学科技有限责任公司 | 基于深度学习的肺结节识别与分割方法及系统 |
-
2021
- 2021-09-17 CN CN202111093243.0A patent/CN113838020A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106339591A (zh) * | 2016-08-25 | 2017-01-18 | 汤平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统 |
| US20190311479A1 (en) * | 2018-04-10 | 2019-10-10 | Sun Yat-Sen University Cancer Center | Method and device for identifying pathological picture |
| CN110490851A (zh) * | 2019-02-15 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 基于人工智能的乳腺图像分割方法、装置及系统 |
| WO2020238044A1 (zh) * | 2019-05-31 | 2020-12-03 | 深圳市前海安测信息技术有限公司 | 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质 |
| CN111539930A (zh) * | 2020-04-21 | 2020-08-14 | 浙江德尚韵兴医疗科技有限公司 | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 |
| CN111739033A (zh) * | 2020-06-22 | 2020-10-02 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 基于机器学习的乳腺钼靶及mr图像影像组学模型的建立方法 |
| CN112581436A (zh) * | 2020-12-11 | 2021-03-30 | 佛山市普世医学科技有限责任公司 | 基于深度学习的肺结节识别与分割方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 唐小煜: "基于改进的U-Net和YOLOv5的绝缘子掩模获取与缺陷检测", 信息科技, 15 September 2021 (2021-09-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777893A (zh) * | 2023-07-05 | 2023-09-19 | 脉得智能科技(无锡)有限公司 | 一种基于乳腺超声横纵切面特征结节的分割与识别方法 |
| CN116777893B (zh) * | 2023-07-05 | 2024-05-07 | 脉得智能科技(无锡)有限公司 | 一种基于乳腺超声横纵切面特征结节的分割与识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898595B (zh) | 一种胸部图像中病灶区域的定位模型的构建方法及应用 | |
| CN109583440B (zh) | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 | |
| CN108464840B (zh) | 一种乳腺肿块自动检测方法及系统 | |
| CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 | |
| CN111428709B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN111179227B (zh) | 基于辅助诊断和主观美学的乳腺超声图像质量评价方法 | |
| CN110310281A (zh) | 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 | |
| CN109858540B (zh) | 一种基于多模态融合的医学图像识别系统及方法 | |
| CN100484474C (zh) | 基于乳腺x线摄片的乳腺癌计算机辅助诊断系统 | |
| CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
| CN111951221A (zh) | 一种基于深度神经网络的肾小球细胞图像识别方法 | |
| CN112215799A (zh) | 一种磨玻璃肺结节自动分类方法及系统 | |
| CN111784701A (zh) | 结合边界特征增强和多尺度信息的超声图像分割方法及系统 | |
| CN113855079A (zh) | 基于乳腺超声影像的实时检测和乳腺疾病辅助分析方法 | |
| CN113223004A (zh) | 一种基于深度学习的肝脏图像分割方法 | |
| US20150065868A1 (en) | System, method, and computer accessible medium for volumetric texture analysis for computer aided detection and diagnosis of polyps | |
| CN111899850A (zh) | 医学影像的信息处理方法、显示方法及可读存储介质 | |
| Fan et al. | Research on abnormal target detection method in chest radiograph based on YOLO v5 algorithm | |
| Honghan et al. | Rms-se-unet: A segmentation method for tumors in breast ultrasound images | |
| CN113838020A (zh) | 一种基于钼靶影像的病变区域量化方法 | |
| JP2006102508A (ja) | Ｃａｄシステムにおける解剖学的形状の検出のための方法及びシステム | |
| CN113397485A (zh) | 一种基于深度学习的脊柱侧弯筛查方法 | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| Ji et al. | ResDSda_U-Net: A novel U-Net based residual network for segmentation of pulmonary nodules in lung CT images | |
| CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240513 Address after: 201306 building C, No. 888, Huanhu West 2nd Road, Lingang New Area, Pudong New Area, Shanghai Applicant after: Yanghe Huajian Digital Medical Technology (Shanghai) Co.,Ltd. Country or region after: China Address before: 201210 Shanghai Pudong New Area free trade trial area, 1 spring 3, 400 Fang Chun road. Applicant before: Shanghai Yanghe Huajian Artificial Intelligence Technology Co.,Ltd. Country or region before: China |