CN117275677A - 一种有效识别乳腺超声影像肿块良恶性方法 - Google Patents
一种有效识别乳腺超声影像肿块良恶性方法 Download PDFInfo
- Publication number
- CN117275677A CN117275677A CN202310866180.0A CN202310866180A CN117275677A CN 117275677 A CN117275677 A CN 117275677A CN 202310866180 A CN202310866180 A CN 202310866180A CN 117275677 A CN117275677 A CN 117275677A
- Authority
- CN
- China
- Prior art keywords
- loss
- model
- tumor
- image
- yolov8
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000481 breast Anatomy 0.000 title claims abstract description 27
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000003211 malignant effect Effects 0.000 title claims abstract description 14
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000003902 lesion Effects 0.000 claims abstract description 10
- 201000011510 cancer Diseases 0.000 claims abstract description 7
- 238000002372 labelling Methods 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 210000005075 mammary gland Anatomy 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000001575 pathological effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 6
- 206010006187 Breast cancer Diseases 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 4
- 101100421674 Drosophila melanogaster slou gene Proteins 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000004140 cleaning Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 230000036210 malignancy Effects 0.000 abstract 2
- 201000007295 breast benign neoplasm Diseases 0.000 abstract 1
- 238000013136 deep learning model Methods 0.000 abstract 1
- 238000003745 diagnosis Methods 0.000 description 8
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 208000030270 breast disease Diseases 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Cardiology (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Physiology (AREA)
- Human Computer Interaction (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及人工智能领域，公开一种利用超声影像识别乳腺肿瘤良恶性的方法，内容如下:a.清洗及标准化超声影像数据，将DICOM格式影像转换为JPEG格式，并统一图像尺寸；b.对乳腺超声影像数据集的肿瘤区域进行标注处理，并进行数据增强预处理操作，建立深度学习数据库；c.使用SloU和GhostNet轻量级卷积替换原YOLOv8网络结构中的卷积层和损失函数；d.使用b中的数据集对模型进行训练和验证；e.利用深度学习模型乳腺超声数据集的肿瘤区域并识别出肿瘤病灶；f.对步骤中e的肿瘤病灶给出良恶性的概率预测；e.将步骤S5中获取的输出结果可视化显示出来，完成乳腺超声肿瘤良恶性的精准分类。
Description
技术领域
本发明属于人工智能领域，特别涉及一种超声影像良恶性乳腺癌识别方法；
背景技术
乳腺超声影像在乳腺疾病的早期筛查和诊断中起着重要作用。然而，由于乳腺良恶性病变之间的细微差异，传统的医学影像识别方法面临着局限性。
传统的乳腺超声影像良恶性识别方法存在以下几个局限性：(1)特征提取困难：传统方法通常依赖于人工定义的特征提取算法，需要医生根据经验和知识手动选择和提取特征。然而，乳腺超声影像中的良恶性病变特征非常复杂，医生的主观因素可能导致诊断结果的不一致性和不准确性。(2)依赖于经验：传统方法通常是基于医生的经验和知识进行诊断，而不是基于大量的数据和统计模型。这种方法容易受到医生个体差异和主观判断的影响，导致诊断结果的可靠性和一致性有限。(3)诊断速度较慢：传统方法需要医生耗费大量的时间和精力来分析和识别乳腺超声影像中的病变。由于乳腺超声影像的复杂性和多样性，医生往往需要反复观察和比对多个影像，导致诊断速度较慢。
基于深度学习的乳腺超声影像良恶性识别技术则能够克服传统方法的局限性，提高病变的准确性和敏感性。该技术使用深度神经网络模型，通过大量影像数据的训练和学习，自动提取特征并进行分类。这种技术的核心是卷积神经网络(CNN)，它能够从乳腺超声影像中提取丰富的特征，包括边缘、纹理和形状等信息。通过多层卷积和池化操作，CNN可以有效地表征图像的高级语义特征，并将其输入到全连接层进行分类。基于深度学习的乳腺超声影像良恶性识别技术具有良好的应用前景。它可以为医生提供辅助诊断的工具，加快病变的筛查和诊断速度，减轻医生的工作负担，提高诊断准确性和患者的治疗效果。
发明内容
本发明提出了一种乳腺超声影像良恶性乳腺癌识别方法，目的在于解决上述背景技术中传统方法存在的问题，能够实现对乳腺超声影像良恶性进行精确的识别，处理步骤如下：
S1：设共有N张DICOM格式乳腺超声肿瘤影像。首先，将DICOM格式图像转换为JPEG格式并使用labelimg对所有影像的肿瘤区域进行标注，标注包括病变区域的标记、病变类型的分类、病理描述的注释等。为确保医学图像数据的安全性和隐私保护，采取适当的安全措施，限制数据访问权限，确保数据不被未经授权的人员获取和使用并对数据集进行清理和预处理操作，以使其符合模型的期望，主要涉及对比度调整即白平衡灰度调整，其调整公式如下所示。
Gray＝0.299*R+0.587*G+0.114*B (1)
其中，Gray表示灰度图R，G，B分别表示红色通道值，绿色通道值和蓝色通道值。为了提高模型的性能；其次，使用数据增强技术来增加数据的多样性。这些技术包括旋转、翻转、裁剪、调整亮度等。最后，将图像和标记转换为模型所需的格式。对于改进的YOLOv8模型，通常需要将图像缩放为指定的大小，并将标记转换为相应的txt格式。
S2：图2为本发明使用的基准网络YOLOv8的网络结构，其基于卷积神经网络(CNN)，包括多个卷积层、池化层和全连接层。YOLOv8引入了Darknet-53作为其主干网络，以提取图像特征，训练过程如下：
(1)模型初始化：使用预训练的权重文件初始化YOLOv8模型的参数。这些权重通常是在大规模图像数据集上训练得到的。
(2)损失函数定义：为了训练YOLOv8模型，需要定义损失函数来度量目标检测的性能。一种常用的损失函数是平方根误差(RMSE)，其公式如下：
其中，Lossloc表示模型预测的位置损失，Lossshape表示模型预测的边界框损失，xpredicted，ypredicted，wpredicted，hpredicted表示模型预测的边界框参数，xtrue，ytrue，wtrue，htrue表示真实的边界框参数。
S3：为使识别效果进一步提升检测速度并提升识别精度，本发明使用GhostNet轻量级卷积作为主干网络的卷积结构，图3为本发明所使用的轻量级卷积结构。其中a1，a2，an表示线性操作，GhostNet将原本的卷积操作替换为线性操作，大幅降低了计算的复杂度。
在损失函数部分，本发明使用SIOU损失作为模型的整体定位损失，其公式入式4所示。
SIoU＝Lossdistance+LossIoU+Lossangle (5)
其中，Lossdistance表示距离损失，LossIoU表示重叠度损失，Lossangle表示角度损失，三种损失的计算公式如下所示。
S4：将乳腺超声影像输入到改进的YOLOv8模型中进行训练，训练集∶验证机∶测试集按照7∶2∶1的比例进行划分，使用训练集训练，并用验证机进行模型调优，最终使用测试集验证效果。
S5：使用S4步骤中最终的模型对每张乳腺超声影像的肿瘤良恶性进行预测，并输出肿瘤区域的位置；
附图说明
图1为本发明摘要图；
图2为本发明使用的基准网络结构图；
图3为GhostNet网络结构图；
图4为本发明的整体改进思路图；
具体实施方式
下面结合附图对本发明的实施方式进行详细说明，具体实施方式和操作过程如下；
实验数据集为网络公开的良恶性乳腺超声影像，来自于Kaggle公开挑战，包含1230张图像，其中良性肿瘤图像561张，恶性肿瘤图像669张；
S1：首先将1230张乳腺超声肿瘤影像从DICOM格式进行灰度调整，转换为JPEG格式，使用labelimg对所有影像的肿瘤区域进行标注并对数据集进行清理和预处理操作，以使其符合模型的期望；其次，使用数据增强技术来增加数据的多样性。这些技术包括旋转、翻转、裁剪、调整亮度等。最后，将图像和标记转换为模型所需的txt格式。
S2：初始化模型，使用预训练权重初始化模型参数。
S3：使用GhostNet卷积替换原模型中的卷积操作，并使用SIoU作为模型的定位损失。
S4：将乳腺超声影像输入到改进的YOLOv8模型中进行训练，训练集∶验证机∶测试集按照7∶2∶1的比例进行划分，其中训练集861张，验证集246张，测试集123张，使用训练集训练，并用验证机进行模型调优，最终使用测试集验证效果。
S5：使用S4步骤中最终的模型对每张乳腺超声影像的肿瘤良恶性进行预测，并输出肿瘤区域的位置；
本发明提出了一种乳腺超声影像良恶性乳腺癌识别方法，该方法基于深度学习技术，通过分析乳腺超声影像进行医学诊断，不需要进行穿刺等侵入性操作，降低了患者的痛苦和治疗风险。在模型检测阶段，对YOLOv8算法进行改进，使用轻量级卷积GhostNet替换原始卷积，降低模型复杂度，提升模型检测速度。在检测部分，使用SloU作为定位损失，相比原始的CloU损失函数，由于SloU引入了角度损失，大大提升了模型的定位能力，提高了模型的召回率。该发明可以根据传入的乳腺超声肿瘤图像自动识别良恶性并检测出肿瘤位置，可以有效提高肿瘤检测的准确性和效率，为临床医生提供更准确的诊断结果，有助于早期发现和治疗肿瘤。
以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (1)
1.一种有效识别乳腺超声影像肿块良恶性方法，该方法包括以下步骤：
S1：设共有N张DICOM格式乳腺超声肿瘤影像。首先，将DICOM格式图像转换为JPEG格式并使用labelimg对所有影像的肿瘤区域进行标注，标注包括病变区域的标记、病变类型的分类、病理描述的注释等。为确保医学图像数据的安全性和隐私保护，采取适当的安全措施，限制数据访问权限，确保数据不被未经授权的人员获取和使用并对数据集进行清理和预处理操作，以使其符台模型的期望，主要涉及对比度调整即白平衡灰度调整，其调整公式如下所示。
Gray＝0.299*R+0.587*G+0.114*B (1）
其中，Gray表示灰度图R，G，B分别表示红色通道值，绿色通道值和蓝色通道值。为了提高模型的性能；其次，使用数据增强技术来增加数据的多样性。这些技术包括旋转、翻转、裁剪、调整亮度等。最后，将图像和标记转换为模型所需的格式。对于改进的YOLOv8模型，通常需要将图像缩放为指定的大小，并将标记转换为相应的txt格式。
S2：图2为本发明使用的基准网络YOLOv8的网络结构，其基于卷积神经网络(CNN)，包括多个卷积层、池化层和全连接层。YOLOv8引入了Darknet-53作为其主干网络，以提取图像特征，训练过程如下：
(1)模型初始化：使用预训练的权重文件初始化YOLOv8模型的参数。这些权重通常是在大规模图像数据集上训练得到的。
(2)损失函数定义：为了训练YOLOv8模型，需要定义损失函数来度量目标检测的性能。一种常用的损失函数是平方根误差(RMSE)，其公式如下：
其中，Lossloc表示模型预测的位置损失，Lossshape表示模型预测的边界框损失，xpredicted，ypredicted，wpredicted，hpredicted表示模型预测的边界框参数，xtrue，ytrue，wtrue，htrue表示真实的边界框参数。
S3：为使识别效果进一步提升检测速度并提升识别精度，本发明使用GhostNet轻量级卷积作为主干网络的卷积结构，图3为本发明所使用的轻量级卷积结构。其中a1，a2，an表示线性操作，GhostNet将原本的卷积操作替换为线性操作，大幅降低了计算的复杂度。
在损失函数部分，本发明使用SIOU损失作为模型的整体定位损失，其公式入式4所示。
SIoU＝Lossdistance+LossIoU+Lossangle (5)
其中，Lossdistance表示距离损失，LossIoU表示重叠度损失，Lossangle表示角度损失。
S4：将乳腺超声影像输入到改进的YOLOv8模型中进行训练，训练集∶验证机∶测试集按照7∶2∶1的比例进行划分，使用训练集训练，并用验证机进行模型调优，最终使用测试集验证效果。
S5：使用S4步骤中最终的模型对每张乳腺超声影像的肿瘤良恶性进行预测，并输出肿瘤区域的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310866180.0A CN117275677A (zh) | 2023-07-14 | 2023-07-14 | 一种有效识别乳腺超声影像肿块良恶性方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310866180.0A CN117275677A (zh) | 2023-07-14 | 2023-07-14 | 一种有效识别乳腺超声影像肿块良恶性方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117275677A true CN117275677A (zh) | 2023-12-22 |
Family
ID=89216672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310866180.0A Pending CN117275677A (zh) | 2023-07-14 | 2023-07-14 | 一种有效识别乳腺超声影像肿块良恶性方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117275677A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541586A (zh) * | 2024-01-10 | 2024-02-09 | 长春理工大学 | 一种基于可变形yolo的甲状腺结节检测方法 |
-
2023
- 2023-07-14 CN CN202310866180.0A patent/CN117275677A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541586A (zh) * | 2024-01-10 | 2024-02-09 | 长春理工大学 | 一种基于可变形yolo的甲状腺结节检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shamshad et al. | Transformers in medical imaging: A survey | |
| Akkus et al. | A survey of deep-learning applications in ultrasound: Artificial intelligence–powered ultrasound for improving clinical workflow | |
| Qi et al. | Automated diagnosis of breast ultrasonography images using deep neural networks | |
| CN109727243A (zh) | 乳腺超声图像识别分析方法及系统 | |
| WO2019062846A1 (zh) | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
| CN112086197A (zh) | 基于超声医学的乳腺结节检测方法及系统 | |
| CN113657503A (zh) | 一种基于多模态数据融合的恶性肝肿瘤分类方法 | |
| Wang et al. | A method of ultrasonic image recognition for thyroid papillary carcinoma based on deep convolution neural network | |
| CN112071418B (zh) | 基于增强ct影像组学的胃癌腹膜转移的预测系统及方法 | |
| CN106778047A (zh) | 一种基于多维度医学图像的中医面诊综合系统 | |
| CN117275677A (zh) | 一种有效识别乳腺超声影像肿块良恶性方法 | |
| Prezioso et al. | Predictive medicine for salivary gland tumours identification through deep learning | |
| CN114581474A (zh) | 一种基于宫颈癌ct影像的临床靶区自动勾画方法 | |
| Gaur et al. | Cloud driven framework for skin cancer detection using deep CNN | |
| CN114332910A (zh) | 一种面向远红外图像的相似特征计算的人体部位分割方法 | |
| CN113539476A (zh) | 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和系统 | |
| CN112508943A (zh) | 基于超声影像的乳腺肿瘤识别方法 | |
| CN114764855A (zh) | 基于深度学习的膀胱镜下肿瘤智能分割方法、装置及设备 | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN113838020B (zh) | 一种基于钼靶影像的病变区域量化方法 | |
| CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| Mousavi Moghaddam et al. | Lung parenchyma segmentation from CT images with a fully automatic method | |
| Tian et al. | An effective convolutional neural network for classification of benign and malignant breast and thyroid tumors from ultrasound images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |