CN113380401A - 基于超声图像的乳腺肿瘤良恶性分类方法、装置和介质 - Google Patents
基于超声图像的乳腺肿瘤良恶性分类方法、装置和介质 Download PDFInfo
- Publication number
- CN113380401A CN113380401A CN202110788927.6A CN202110788927A CN113380401A CN 113380401 A CN113380401 A CN 113380401A CN 202110788927 A CN202110788927 A CN 202110788927A CN 113380401 A CN113380401 A CN 113380401A
- Authority
- CN
- China
- Prior art keywords
- breast tumor
- texture
- vector
- deep learning
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010006187 Breast cancer Diseases 0.000 title claims abstract description 270
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000003211 malignant effect Effects 0.000 title claims abstract description 31
- 206010004243 Benign breast neoplasm Diseases 0.000 title claims abstract description 28
- 208000026310 Breast neoplasm Diseases 0.000 claims abstract description 235
- 239000013598 vector Substances 0.000 claims abstract description 187
- 230000000877 morphologic effect Effects 0.000 claims abstract description 64
- 230000009467 reduction Effects 0.000 claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000013145 classification model Methods 0.000 claims abstract description 19
- 238000012706 support-vector machine Methods 0.000 claims abstract description 15
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 100
- 238000013135 deep learning Methods 0.000 claims description 74
- 238000002604 ultrasonography Methods 0.000 claims description 51
- 238000004364 calculation method Methods 0.000 claims description 38
- 238000013528 artificial neural network Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001228 spectrum Methods 0.000 claims description 10
- 230000003902 lesion Effects 0.000 claims description 8
- 201000007295 breast benign neoplasm Diseases 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000009792 diffusion process Methods 0.000 description 8
- 238000000513 principal component analysis Methods 0.000 description 8
- 210000000481 breast Anatomy 0.000 description 7
- 238000004195 computer-aided diagnosis Methods 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Probability & Statistics with Applications (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于超声图像的乳腺肿瘤良恶性分类方法、装置和介质，该方法包括：对带有分类标签的原始乳腺肿瘤超声图像进行预处理，得到预处理图像；获取预处理图像中感兴趣区域；对感兴趣区域做三种处理分别得到深度残差网络特征向量、纹理特征向量和形态特征向量；将深度残差网络特征向量和纹理特征向量分别进行降维处理，然后将二者进行特征融合，得到融合向量数据；利用支持向量机分类器对一定数量的融合向量数据进行学习，并利用朴素贝叶斯分类器对形态特征向量进行学习，通过加权两种分类器得到肿瘤分类模型；将待分类乳腺肿瘤超声图像输入乳腺肿瘤分类模型，得到分类结果。采用本发明方法可实现更准确地对乳腺肿瘤超声图像的自动分类。
Description
技术领域
本发明涉及医学图像处理领域，特别涉及一种基于超声图像的乳腺肿瘤良恶性分类方法、装置及介质。
背景技术
癌症是世界范围内威胁人类健康最重要的疾病之一。根据世界卫生组织的统计数据显示，癌症的发病率一直呈上升趋势，早期发现、早期诊断和早期治疗是提高癌症治愈率和降低死亡率的关键。超声影像技术因其通用性、安全性和高灵敏性而被广泛应用于乳腺肿瘤的检测中，已被公认为是普遍而有效的乳腺肿瘤良恶性筛查诊断工具，在临床实践中应用主要包括甲状腺超声、乳腺超声、前列腺超声、心脏超声以及肾脏超声等。
目前，超声是诊断乳腺肿瘤首选的影像学检查和术前评估方法，然而正确的解读乳腺超声图像需要医生具备较高的技术和临床经验。在超声诊断过程中，人工分析图像是耗时且主观的。不同放射科医师的临床经验和知识水平对诊断结果有很大的影响，容易导致误诊漏诊或诊断结果不一致，而且部分无法直接通过影像结果确诊的患者需要进行活检，但活检是一种侵入性检查，并且大部分检查结果是良性的，这无疑将给患者的生理和心理带来巨大的伤害。同时，超声图像目前的成像方式，存在散斑噪声大和对比度低的缺点，导致图像的前景和背景区分度不高，这也加大了医生的诊断难度。
自动的乳腺肿瘤计算机辅助诊断(CAD)技术可以从超声图像中检测出人眼无法获取的信息，如纹理信息、灰阶量化、边缘信息等，给医生提供可靠的辅助诊断意见。因此，CAD方法不仅能提高超声图像乳腺肿瘤检测的准确性和客观性，又有利于缓解医生的工作负荷，减少误诊漏诊，同时也为病人降低了活检率，减轻痛苦。近年来，利用计算机辅助诊断方法实现乳腺肿瘤超声图像自动分类也获得了广泛的关注。但超声图像目前的成像方式会导致图像背景和前景区分度小，灰度高且近，很难分辨出超声图像中灰度相似区域的差异，大部分研究没有重视图像背景和前景区分度低的问题，且仅研究单类特征或直接将两类特征进行融合，容易忽略重要乳腺肿瘤信息，造成对乳腺肿瘤超声图像的自动分类不准确。
发明内容
本发明要解决的技术问题，在于提供一种基于超声图像的乳腺肿瘤良恶性分类方法、装置和介质，通过对乳腺肿瘤超声图像进行深度特征和纹理特征结合，以及将多分类器加权得分，实现更准确地对乳腺肿瘤超声图像进行自动分类。
第一方面，本发明提供了一种基于超声图像的乳腺肿瘤良恶性分类方法，所述方法包括：
步骤10、对带有分类标签的原始乳腺肿瘤超声图像进行预处理，得到预处理图像，所述分类标签包括恶性乳腺肿瘤和良性乳腺肿瘤；
步骤20、获取预处理图像中的感兴趣区域；
步骤30、对所述感兴趣区域做三种处理分别得到深度残差网络特征向量、纹理特征向量和形态特征向量；
步骤40、将深度残差网络特征向量进行降维处理，并将纹理特征向量进行降维处理，然后将降维处理后的残差网络特征向量和纹理特征向量进行特征融合，得到融合向量数据；
步骤50、利用支持向量机分类器对一定数量的融合向量数据进行学习，并利用朴素贝叶斯分类器对形态特征向量进行学习，通过最大随机搜索方法对两种分类器加权得到肿瘤分类模型；
步骤60、将待分类乳腺肿瘤超声图像输入乳腺肿瘤分类模型，得到分类结果。
进一步的，所述预处理包括去除超声图像四周文字以及个人信息、降低散斑噪声和对比度增强。
进一步的，所述步骤20中的感兴趣区域的获取方式为：由医生在预处理图像中指定区域作为感兴趣区域。
进一步的，所述步骤30中的三种处理具体如下：
第一种处理：对所述超声图像提取纹理特征，所述纹理特征包括图像局部二值模式(LBP)、方向梯度直方图(HOG)以及灰度共生矩阵(GLCM)，然后进行归一化操作，得到纹理特征向量；
第二种处理：对所述感兴趣区域提取深度残差神经网络特征，所述深度残差网络特征包括利用Resnet101从池化层Pool5中提取深度学习特征，然后进行归一化操作，得到深度学习特征向量；
第三种处理：对所述感兴趣区域提取形态特征，所述形态特征包括紧致度、椭圆紧致度以及径向距离谱参数、凸度、实心度、伸长率、紧凑度、矩形度、圆度、乳腺肿瘤周长、乳腺肿瘤面积、包围乳腺肿瘤最小矩形框周长、包围乳腺肿瘤最小矩形框面积，然后归一化所述形态特征，得到形态特征向量。
进一步的，所述紧致度用于衡量乳腺肿瘤的形状与其拟合圆的相似程度，紧致度C的计算公式如下：
其中，An表示乳腺肿瘤面积，Pn表示乳腺肿瘤周长，r表示拟合圆的半径；
所述椭圆紧致度是拟合椭圆的周长与原乳腺肿瘤轮廓的周长之比，椭圆紧致度EC的计算公式如下：
其中，a表示拟合椭圆的半长轴，b表示拟合椭圆的短半轴，Pn表示乳腺肿瘤周长；
所述径向距离谱是通过统计分析乳腺肿瘤边缘各点到乳腺肿瘤中心的径向距离来量化乳腺肿瘤边缘粗糙度的程度，径向距离的计算公式如下：
式中，(x1,y1)为乳腺肿瘤边缘点坐标，(x0,y0)为乳腺肿瘤的中心点坐标；
所述凸度是测量凸包相对于乳腺肿瘤原始轮廓形状的比率的函数，所述凸度Convexity的计算公式如下：
其中Pc为凸包的周长，Pn为乳腺肿瘤周长；
所述实心度用于描述乳腺肿瘤形状的凸度或凹度，所述实心度的计算公式如下：
其中An为乳腺肿瘤面积，Ac为凸包的面积；
所述伸长率是测量病灶周围边界框的长度和宽度之间的比率，所述伸长率的计算公式如下：
其中Wn为乳腺肿瘤的宽度，Ln为乳腺肿瘤的长度；
所述紧凑度是乳腺肿瘤面积与周长的平方之比，紧凑度的计算公式如下：
其中Pn为乳腺肿瘤周长，An为乳腺肿瘤面积；
所述矩形度被定义为乳腺肿瘤面积和乳腺肿瘤最小边界矩形框面积之间的比例，所述矩形度的计算公式如下：
其中An为乳腺肿瘤面积，Ar为乳腺肿瘤最小矩形框的面积；
所述圆度为乳腺肿瘤面积与乳腺肿瘤边界最小凸包周长的平方之比，圆度的计算公式如下：
其中An为乳腺肿瘤面积，Pc为凸包的周长；
所述乳腺肿瘤周长为乳腺肿瘤边界内的像素数，所述乳腺肿瘤周长的计算公式如下：
其中，Xi，…，Xn是乳腺肿瘤的边界坐标；
所述乳腺肿瘤面积是乳腺肿瘤区域内的像素数。
进一步的，所述感兴趣区域为医生手动提取的乳腺肿瘤形态轮廓；通过获取医生指定的感兴趣区域，可以精准地对可疑区域进行处理，且减少了对无效数据处理造成的计算资源消耗。
进一步的，所述步骤40进一步包括：
步骤41、获取n张超声图像的m维纹理特征向量组成纹理特征矩阵Xm×n，求纹理特征矩阵中每个m维纹理特征向量的均值，然后将所有m维纹理特征向量分别减去其对应的均值，得到去平均值后的纹理特征矩阵；
步骤42、计算去平均值后的纹理特征矩阵的协方差矩阵，对角化协方差矩阵的特征值和特征向量，使得除对角线外，其它元素为0，将能量归于主要方向；
步骤43、按特征值的大小对特征向量进行排序，保留最大的前ω个特征值；
步骤44、将纹理特征矩阵中的数据转换到特征向量构建的新空间中，得到降维后的n个纹理特征向量。
步骤45、获取n张超声图像的m维深度残差网络特征向量组成深度学习特征矩阵Xm×n，求深度学习特征矩阵中每个m维深度学习特征向量的均值，然后将所有m维深度学习特征向量分别减去其对应的均值，得到去平均值后的深度学习特征矩阵；
步骤46、计算去平均值后的深度学习特征矩阵的协方差矩阵，对角化协方差矩阵的特征值和特征向量，使得除对角线外，其它元素为0，将能量归于主要方向；
步骤47、按特征值的大小对特征向量进行排序，保留最大的前ω个特征值；
步骤48、将深度学习特征矩阵中的数据转换到特征向量构建的新空间中，得到降维后的n个深度学习特征向量；
步骤49、将降维后的深度学习特征和降维后的纹理特征进行级联，获得深度学习特征和浅层纹理级联后的融合特征。
第二方面，本发明提供了一种基于超声图像的乳腺肿瘤良恶性分类装置，所述装置包括：
预处理模块，用于对带有分类标签的原始乳腺肿瘤超声图像进行预处理，得到预处理图像，所述分类标签包括恶性乳腺肿瘤和良性乳腺肿瘤；
ROI获取模块，用于获取预处理图像中的感兴趣区域；
向量提取模块，用于对所述感兴趣区域做三种处理分别得到深度残差网络特征向量、纹理特征向量和形态特征向量；
向量融合模块，用于将深度残差网络特征向量进行降维处理，并将纹理特征向量进行降维处理，然后将降维处理后的残差网络特征向量和纹理特征向量进行特征融合，得到融合向量数据；
学习模块，用于利用支持向量机分类器对一定数量的融合向量数据进行学习，并利用朴素贝叶斯分类器对形态特征向量进行学习，通过最大随机搜索方法对两种分类器加权得到肿瘤分类模型；以及
分类模块，用于将待分类乳腺肿瘤超声图像输入乳腺肿瘤分类模型，得到分类结果。
进一步的，所述预处理包括去除超声图像四周文字以及个人信息、降低散斑噪声和对比度增强。
进一步的，所述向量获取模块中的三种处理具体如下：
第一种处理：对所述超声图像提取纹理特征，所述纹理特征包括图像局部二值模式(LBP)、方向梯度直方图(HOG)以及灰度共生矩阵(GLCM)，然后进行归一化操作，得到纹理特征向量；
第二种处理：对所述感兴趣区域提取深度残差神经网络特征，所述深度残差网络特征包括利用Resnet101从池化层Pool5中提取深度学习特征，然后进行归一化操作，得到深度学习特征向量；
第三种处理：对所述感兴趣区域提取形态特征，所述形态特征包括紧致度、椭圆紧致度以及径向距离谱参数、凸度、实心度、伸长率、紧凑度、矩形度、圆度、乳腺肿瘤周长、乳腺肿瘤面积、包围乳腺肿瘤最小矩形框周长、包围乳腺肿瘤最小矩形框面积，然后归一化所述形态特征，得到形态特征向量。
进一步的，所述向量融合模块具体为：
获取n张超声图像的m维纹理特征向量组成纹理特征矩阵Xm×n，求纹理特征矩阵中每个m维纹理特征向量的均值，然后将所有m维纹理特征向量分别减去其对应的均值，得到去平均值后的纹理特征矩阵；
计算去平均值后的纹理特征矩阵的协方差矩阵，对角化协方差矩阵的特征值和特征向量，使得除对角线外，其它元素为0，将能量归于主要方向；
按特征值的大小对特征向量进行排序，保留最大的前ω个特征值；
将纹理特征矩阵中的数据转换到特征向量构建的新空间中，得到降维后的n个纹理特征向量。
获取n张超声图像的m维深度残差网络特征向量组成深度学习特征矩阵Xm×n，求深度学习特征矩阵中每个m维深度学习特征向量的均值，然后将所有m维深度学习特征向量分别减去其对应的均值，得到去平均值后的深度学习特征矩阵；
计算去平均值后的深度学习特征矩阵的协方差矩阵，对角化协方差矩阵的特征值和特征向量，使得除对角线外，其它元素为0，将能量归于主要方向；
按特征值的大小对特征向量进行排序，保留最大的前ω个特征值；
将深度学习特征矩阵中的数据转换到特征向量构建的新空间中，得到降维后的n个深度学习特征向量；
将降维后的深度学习特征和降维后的纹理特征进行级联，获得深度学习特征和浅层纹理级联后的融合特征。
第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
1、通过将纹理特征降维再和深度学习特征融合，能够更为全面的学习乳腺肿瘤超声图像的特征；
2、从几何形态学的角度，列出了与乳腺肿瘤形态特征相关的计算公式，从而使分类模型能够更好地学习到乳腺肿瘤的形态特征；
3、能够有效提升超声图像乳腺肿瘤良恶性预测的准确性和鲁棒性，帮助医生提高乳腺肿瘤良恶性的诊断的精确性，降低因主观因素导致的误诊漏诊，同时提升了医生的诊断效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法的流程图；
图2为本发明二装置的结构示意图；
图3为本发明介质的结构示意图；
图4为本发明一实施例方法的流程图；
图5为本发明一实施例中超声图像预处理示意图；
图6为本发明一实施例中超声图像乳腺肿瘤轮廓示意图。
具体实施方式
本申请实施例通过提供一种基于深度特征和多浅层特征结合多分类器的乳腺肿瘤超声图像分类方法、装置及介质，由于乳腺肿瘤的边缘亮度总是接近于正常组织，因此特别关注靠近正常组织强度的灰度差。通过归一化特征向量和降低纹理特征的维度，将纹理特征向量和深度残差网络特征向量有效融合，一定程度上提高了乳腺肿瘤超声图像分类的准确率，为医生提供更精确的诊断参考。
为了更好地理解本发明技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例一
本实施例提供一种基于超声图像的乳腺肿瘤良恶性分类方法，如图1所示，所述方法包括：
步骤10、对带有分类标签的原始乳腺肿瘤超声图像进行预处理，得到预处理图像，所述分类标签包括恶性乳腺肿瘤和良性乳腺肿瘤；
步骤20、获取预处理图像中的感兴趣区域；
步骤30、对所述感兴趣区域做三种处理分别得到深度残差网络特征向量、纹理特征向量和形态特征向量；
步骤40、将深度残差网络特征向量进行降维处理，并将纹理特征向量进行降维处理，然后将降维处理后的残差网络特征向量和纹理特征向量进行特征融合，得到融合向量数据；
步骤50、利用支持向量机分类器对一定数量的融合向量数据进行学习，并利用朴素贝叶斯分类器对形态特征向量进行学习，通过最大随机搜索方法对两种分类器加权得到肿瘤分类模型；
步骤60、将待分类乳腺肿瘤超声图像输入乳腺肿瘤分类模型，得到分类结果。
较佳的，所述预处理包括去除超声图像四周文字以及个人信息、降低散斑噪声和对比度增强。
如图5所示，在一具体实施例中，所述“除超声图像四周文字以及个人信息”具体为：运用形态学掩模去除超声图像四周文字、病患姓名和个人隐私等信息，对超声图像右侧边缘检测的掩模表示如下：
将该形态学掩模与原始图像做卷积，则在原始超声图像右侧边缘处，得到的卷积结果最大，取出该最大值所在列，筛选得到右侧边缘，左侧、上侧、下侧边缘同理可得；
所述“降低散斑噪声”具体为：运用斑点抑制各向异性扩散(SRAD)滤波，在保持主要乳腺肿瘤形态信息的前提下，抑制斑点噪声引起的局部纹理细节变化，消除超声图像数字化过程中混合的噪声，其中，滤波中扩散系数及边缘检测算子为：
其中，c(i,j,t)为扩散系数，
为梯度算子，q(i,j,t)为边缘检测算子，q0(t)为t时刻的扩散门限值，var为迭代次数为t时某均匀区域内灰度的方差，
为迭代次数为t时某均匀区域内灰度的均值。
所述“对比度增强”具体为：利用直方图均衡化法，根据图像灰度值计算灰度概率密度函数和累积概率分布函数，然后将累积概率分布函数归一化到原始灰度值范围，得到灰度转换函数，该方法将原始乳腺超声图像的灰度直方图从相对密集的区间调整为在全灰度范围内均匀分布，增强了图像的整体对比度。
较佳的，所述步骤20中的感兴趣区域(ROI)的获取方式为：由医生在预处理图像中指定区域作为感兴趣区域。如图6所示。通过获取医生指定的感兴趣区域，可以精准地对可疑病变区域进行处理，且减少了对无效数据处理造成的计算资源消耗。
较佳的，所述步骤30中的三种处理具体如下：
第一种处理：对所述超声图像提取纹理特征，所述纹理特征包括图像局部二值模式(LBP)、方向梯度直方图(HOG)以及灰度共生矩阵(GLCM)(GLCM)，然后进行归一化操作，得到纹理特征向量；LBP操作符被定义为一个3×3的窗口。假设窗口中心像素的坐标为(x,y)，将周围八个邻域像素的灰度值与中心像素的灰度值进行比较，如果值大于中心像素，则该素点标记为1；否则，像素点标记为0，最后，生成一个有序的8位二进制数(即256位小数)，用于反映局部区域的纹理信息。其具体计算公式为：
其中，s(x)为符号函数，ic为中心像素的灰度值，ip为邻域像素的灰度值。GLCM特征提取时，灰度级别设置为64。像素之间的距离调整在[1,10]的范围内，从四个方向(0，45，90，135)计算出具有一定距离的像素之间的关系。最后，从每张图像中得到40个不同的矩阵。基于GLCM的纹理特征提取有14个具体参数。本实施例选择四个纹理特征：能量，对比，相关性和同质性。归一化是利用离散标准化，对原始数据的线性变换，将数据值映射到之间，具体计算方法如下：
其中，min为最小值，max为最大值。
第二种处理：对所述感兴趣区域提取深度残差神经网络特征，所述深度残差网络特征包括利用Resnet101从池化层Pool5中提取深度学习特征，然后进行归一化操作，得到深度学习特征向量；
第三种处理：对所述感兴趣区域提取形态特征，所述形态特征包括紧致度、椭圆紧致度以及径向距离谱参数、凸度、实心度、伸长率、紧凑度、矩形度、圆度、乳腺肿瘤周长、乳腺肿瘤面积、包围乳腺肿瘤最小矩形框周长、包围乳腺肿瘤最小矩形框面积，然后归一化所述形态特征，得到形态特征向量。
在本实施例中，首先由医生手动提取超声图像中乳腺肿瘤病变的形态轮廓(如图6所示)，通过获取医生提取的形态轮廓，然后根据该形态轮廓提取紧致度、椭圆紧致度以及径向距离谱参数、凸度、实心度、伸长率、紧凑度、矩形度、圆度、乳腺肿瘤周长、乳腺肿瘤面积、包围乳腺肿瘤最小矩形框周长、包围乳腺肿瘤最小矩形框面积这十三种乳腺肿瘤形态特征。
所述紧致度用于衡量乳腺肿瘤的形状与其拟合圆的相似程度，紧致度C的计算公式如下：
其中，An表示乳腺肿瘤面积，Pn表示乳腺肿瘤周长，r表示拟合圆的半径；
所述椭圆紧致度是拟合椭圆的周长与原乳腺肿瘤轮廓的周长之比，椭圆紧致度EC的计算公式如下：
其中，a表示拟合椭圆的半长轴，b表示拟合椭圆的短半轴，Pn表示乳腺肿瘤周长；
所述径向距离谱是通过统计分析乳腺肿瘤边缘各点到乳腺肿瘤中心的径向距离来量化乳腺肿瘤边缘粗糙度的程度，径向距离的计算公式如下：
式中，(x1,y1)为乳腺肿瘤边缘点坐标，(x0,y0)为乳腺肿瘤的中心点坐标；
所述凸度是测量凸包相对于乳腺肿瘤原始轮廓形状的比率的函数，所述凸度Convexity的计算公式如下：
其中Pc为凸包的周长，Pn为乳腺肿瘤周长；
所述实心度用于描述乳腺肿瘤形状的凸度或凹度，所述实心度的计算公式如下：
其中An为乳腺肿瘤面积，Ac为凸包的面积；
所述伸长率是测量病灶周围边界框的长度和宽度之间的比率，所述伸长率的计算公式如下：
其中Wn为乳腺肿瘤的宽度，Ln为乳腺肿瘤的长度；
所述紧凑度是乳腺肿瘤面积与周长的平方之比，紧凑度的计算公式如下：
其中Pn为乳腺肿瘤周长，An为乳腺肿瘤面积；
所述矩形度被定义为乳腺肿瘤面积和乳腺肿瘤最小边界矩形框面积之间的比例，所述矩形度的计算公式如下：
其中An为乳腺肿瘤面积，Ar为乳腺肿瘤最小矩形框的面积；
所述圆度乳腺肿瘤面积与乳腺肿瘤边界最小凸包周长的平方之比，圆度的计算公式如下：
其中An为乳腺肿瘤面积，Pc为凸包的周长；
所述乳腺肿瘤周长为乳腺肿瘤边界内的像素数，所述乳腺肿瘤周长的计算公式如下：
其中，Xi，…，Xn是乳腺肿瘤的边界坐标；
所述乳腺肿瘤面积是平面上乳腺肿瘤占据的空间。这里的面积被定义为乳腺肿瘤区域内的像素数。
较佳的，在本实施例中，对纹理特征及神经网络特征进行降维处理使用的方法为主成分分析(PCA)法。PCA是一种分析和简化数据集的技术。它通常是用来减少一个数据集的维度，同时保持最有助于方差的特征在一个数据集。在这里利用PCA对纹理特征向量矩阵进行降维，在降低维度的同时保留最有效的特征向量。首先，对给定的样本空间Xm×n，计算协方差矩阵，矩阵的特征值和特征向量；最后，根据对应特征值的大小将特征向量从上到下按行排列成矩阵，前ω行组成的矩阵降维后的数据。具体而言，所述步骤40进一步包括：
步骤41、获取n张超声图像的m维纹理特征向量组成纹理特征矩阵Xm×n，求纹理特征矩阵中每个m维纹理特征向量的均值，然后将所有m维纹理特征向量分别减去其对应的均值，得到去平均值后的纹理特征矩阵；
步骤42、计算去平均值后的纹理特征矩阵的协方差矩阵，对角化协方差矩阵的特征值和特征向量，使得除对角线外，其它元素为0，将能量归于主要方向；
步骤43、按特征值的大小对特征向量进行排序，保留最大的前ω个特征值(ω<m)；
步骤44、将纹理特征矩阵中的数据转换到特征向量构建的新空间中，得到降维后的n个纹理特征向量。
步骤45、获取n张超声图像的m维深度残差网络特征向量组成深度学习特征矩阵Xm×n，求深度学习特征矩阵中每个m维深度学习特征向量的均值，然后将所有m维深度学习特征向量分别减去其对应的均值，得到去平均值后的深度学习特征矩阵；
步骤46、计算去平均值后的深度学习特征矩阵的协方差矩阵，对角化协方差矩阵的特征值和特征向量，使得除对角线外，其它元素为0，将能量归于主要方向；
步骤47、按特征值的大小对特征向量进行排序，保留最大的前ω个特征值(ω<m)；
步骤48、将深度学习特征矩阵中的数据转换到特征向量构建的新空间中，得到降维后的n个深度学习特征向量；
步骤49、将降维后的深度学习特征和降维后的纹理特征进行级联，获得深度学习特征和浅层纹理级联后的融合特征。在本实施例中，将处理后的纹理特征与对应的神经网络特征线性融合，即将同一张乳腺肿瘤超声图像的纹理特征向量和神经网络特征向量做串联，以便下一步分类器学习乳腺肿瘤特征。
本实施例中步骤50利用分类器学习训练乳腺肿瘤超声图像纹理特征和神经网络特征线性融合后的融合向量数据，可采用支持向量机(SVM)算法对融合向量数据进行学习，或采用朴素贝叶斯(NB)算法对融合向量数据进行学习，当然也不局限于此算法，还可以采用其他机器学习算法，如：线性判别分析(LDA)、K最近邻(KNN)等。SVM分类器是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解最大边距超平面，利用核函数进行非线性分类，将输入数据映射到高维空间，构造最优分离超平面。
本实施例中将待分类乳腺肿瘤超声图像输入通过训练得到的模型，得到预测的乳腺肿瘤良恶性分类结果，所述待分类乳腺肿瘤超声原始图像的处理步骤和前述带有分类标签的原始乳腺肿瘤超声图像的处理步骤类似，但其不带分类标签，而是通过处理后得到待分类乳腺肿瘤超声图像，然后输入乳腺肿瘤分类模型，由分类器对其进行分类，得到分类标签，即恶性或良性。
所述待分类乳腺肿瘤超声图像可以通过如下步骤得到：将待分类原始乳腺肿瘤超声图像进行预处理，然后获取感兴趣区域，对所述感兴趣区域提取纹理特征，归一化所述纹理特征，然后对归一化的纹理特征降维，得到纹理特征向量；对所述感兴趣区域提取神经网络特征，归一化所述神经网络特征，然后对归一化的神经网络特征降维，得到神经网络特征向量；最后将纹理特征向量和神经网络特征向量进行特征融合。对所述感兴趣区域提取形态特征，然后归一化所述形态特征，得到形态特征向量。
本一具体实施例中共选用了1061张超声图像(472张良性及589张恶性)由专家挑选出的乳腺肿瘤超声图像来进行分类模型的训练和测试，其中训练集848张图像，测试集213张图像。最终测试得到的乳腺肿瘤良恶性分类准确率为89.172％，该结果比单独学习纹理特征或形态特征或深度学习特征的分类准确率分别提高了8.372％、16.562％和5.733％，同时分类速度平均提高了8倍。
可以理解的是，乳腺肿瘤超声图像的分类主要由神经网络特征、纹理特征和形态特征确定，其关键在于将降维后的深度学习特征和降维后的纹理特征线性融合使得分类器学习到更多的乳腺肿瘤信息，本实施例中对乳腺肿瘤超声图像分类，本发明的图像分类方法不限于乳腺，其他超声图像，如甲状腺等，也可以采用本发明提供的基于深度特征和多浅层特征结合多分类器与特征融合的超声图像乳腺肿瘤分类方法。
基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。
实施例二
本实施例提供一种基于超声图像的乳腺肿瘤良恶性分类装置，如图2所示，所述装置包括：
预处理模块，用于对带有分类标签的原始乳腺肿瘤超声图像进行预处理，得到预处理图像，所述分类标签包括恶性乳腺肿瘤和良性乳腺肿瘤；
ROI获取模块，用于获取预处理图像中的感兴趣区域；
向量提取模块，用于对所述感兴趣区域做三种处理分别得到深度残差网络特征向量、纹理特征向量和形态特征向量；
向量融合模块，用于将深度残差网络特征向量进行降维处理，并将纹理特征向量进行降维处理，然后将降维处理后的残差网络特征向量和纹理特征向量进行特征融合，得到融合向量数据；
学习模块，用于利用支持向量机分类器对一定数量的融合向量数据进行学习，并利用朴素贝叶斯分类器对形态特征向量进行学习，通过最大随机搜索方法对两种分类器加权得到肿瘤分类模型；以及
分类模块，用于将待分类乳腺肿瘤超声图像输入乳腺肿瘤分类模型，得到分类结果。
较佳的，所述预处理包括去除超声图像四周文字以及个人信息、降低散斑噪声和对比度增强。
如图5所示，在一具体实施例中，所述“除超声图像四周文字以及个人信息”具体为：运用形态学掩模去除超声图像四周文字、病患姓名和个人隐私等信息，对超声图像右侧边缘检测的掩模表示如下：
将该形态学掩模与原始图像做卷积，则在原始超声图像右侧边缘处，得到的卷积结果最大，取出该最大值所在列，筛选得到右侧边缘，左侧、上侧、下侧边缘同理可得；
所述“降低散斑噪声”具体为：运用斑点抑制各向异性扩散(SRAD)滤波，在保持主要乳腺肿瘤形态信息的前提下，抑制斑点噪声引起的局部纹理细节变化，消除超声图像数字化过程中混合的噪声，其中，滤波中扩散系数及边缘检测算子为：
其中，c(i,j,t)为扩散系数，
为梯度算子，q(i,j,t)为边缘检测算子，q0(t)为t时刻的扩散门限值，var为迭代次数为t时某均匀区域内灰度的方差，
为迭代次数为t时某均匀区域内灰度的均值。
所述“对比度增强”具体为：利用直方图均衡化法，根据图像灰度值计算灰度概率密度函数和累积概率分布函数，然后将累积概率分布函数归一化到原始灰度值范围，得到灰度转换函数，该方法将原始乳腺超声图像的灰度直方图从相对密集的区间调整为在全灰度范围内均匀分布，增强了图像的整体对比度。
较佳的，所述感兴趣区域(ROI)的获取方式为：由医生在预处理图像中指定区域作为感兴趣区域。如图6所示。通过获取医生指定的感兴趣区域，可以精准地对可疑病变区域进行处理，且减少了对无效数据处理造成的计算资源消耗。
较佳的，所述向量获取模块中的三种处理具体如下：
第一种处理：对所述超声图像提取纹理特征，所述纹理特征包括图像局部二值模式(LBP)、方向梯度直方图(HOG)以及灰度共生矩阵(GLCM)(GLCM)，然后进行归一化操作，得到纹理特征向量；LBP操作符被定义为一个3×3的窗口。假设窗口中心像素的坐标为(x,y)，将周围八个邻域像素的灰度值与中心像素的灰度值进行比较，如果值大于中心像素，则该素点标记为1；否则，像素点标记为0，最后，生成一个有序的8位二进制数(即256位小数)，用于反映局部区域的纹理信息。其具体计算公式为：
其中，s(x)为符号函数，ic为中心像素的灰度值，ip为邻域像素的灰度值。GLCM特征提取时，灰度级别设置为64。像素之间的距离调整在[1,10]的范围内，从四个方向(0，45，90，135)计算出具有一定距离的像素之间的关系。最后，从每张图像中得到40个不同的矩阵。基于GLCM的纹理特征提取有14个具体参数。本实施例选择四个纹理特征：能量，对比，相关性和同质性。归一化是利用离散标准化，对原始数据的线性变换，将数据值映射到之间，具体计算方法如下：
其中，min为最小值，max为最大值。
第二种处理：对所述感兴趣区域提取深度残差神经网络特征，所述深度残差网络特征包括利用Resnet101从池化层Pool5中提取深度学习特征，然后进行归一化操作，得到深度学习特征向量；
第三种处理：对所述感兴趣区域提取形态特征，所述形态特征包括紧致度、椭圆紧致度以及径向距离谱参数、凸度、实心度、伸长率、紧凑度、矩形度、圆度、乳腺肿瘤周长、乳腺肿瘤面积、包围乳腺肿瘤最小矩形框周长、包围乳腺肿瘤最小矩形框面积，然后归一化所述形态特征，得到形态特征向量。
在本实施例中，首先由医生手动提取超声图像中乳腺肿瘤病变的形态轮廓(如图6所示)，通过获取医生提取的形态轮廓，然后根据该形态轮廓提取紧致度、椭圆紧致度以及径向距离谱参数、凸度、实心度、伸长率、紧凑度、矩形度、圆度、乳腺肿瘤周长、乳腺肿瘤面积、包围乳腺肿瘤最小矩形框周长、包围乳腺肿瘤最小矩形框面积这十三种乳腺肿瘤形态特征。
所述紧致度用于衡量乳腺肿瘤的形状与其拟合圆的相似程度，紧致度C的计算公式如下：
其中，An表示乳腺肿瘤面积，Pn表示乳腺肿瘤周长，r表示拟合圆的半径；
所述椭圆紧致度是拟合椭圆的周长与原乳腺肿瘤轮廓的周长之比，椭圆紧致度EC的计算公式如下：
其中，a表示拟合椭圆的半长轴，b表示拟合椭圆的短半轴，Pn表示乳腺肿瘤周长；
所述径向距离谱是通过统计分析乳腺肿瘤边缘各点到乳腺肿瘤中心的径向距离来量化乳腺肿瘤边缘粗糙度的程度，径向距离的计算公式如下：
式中，(x1,y1)为乳腺肿瘤边缘点坐标，(x0,y0)为乳腺肿瘤的中心点坐标；
所述凸度是测量凸包相对于乳腺肿瘤原始轮廓形状的比率的函数，所述凸度Convexity的计算公式如下：
其中Pc为凸包的周长，Pn为乳腺肿瘤周长；
所述实心度用于描述乳腺肿瘤形状的凸度或凹度，所述实心度的计算公式如下：
其中An为乳腺肿瘤面积，Ac为凸包的面积；
所述伸长率是测量病灶周围边界框的长度和宽度之间的比率，所述伸长率的计算公式如下：
其中Wn为乳腺肿瘤的宽度，Ln为乳腺肿瘤的长度；
所述紧凑度是乳腺肿瘤面积与周长的平方之比，紧凑度的计算公式如下：
其中Pn为乳腺肿瘤周长，An为乳腺肿瘤面积；
所述矩形度被定义为乳腺肿瘤面积和乳腺肿瘤最小边界矩形框面积之间的比例，所述矩形度的计算公式如下：
其中An为乳腺肿瘤面积，Ar为乳腺肿瘤最小矩形框的面积；
所述圆度乳腺肿瘤面积与乳腺肿瘤边界最小凸包周长的平方之比，圆度的计算公式如下：
其中An为乳腺肿瘤面积，Pc为凸包的周长；
所述乳腺肿瘤周长为乳腺肿瘤边界内的像素数，所述乳腺肿瘤周长的计算公式如下：
其中，Xi，…，Xn是乳腺肿瘤的边界坐标。
所述乳腺肿瘤面积是平面上乳腺肿瘤占据的空间。这里的面积被定义为乳腺肿瘤区域内的像素数。
较佳的，在本实施例中，对纹理特征及神经网络特征进行降维处理使用的方法为主成分分析(PCA)法。PCA是一种分析和简化数据集的技术。它通常是用来减少一个数据集的维度，同时保持最有助于方差的特征在一个数据集。在这里利用PCA对纹理特征向量矩阵进行降维，在降低维度的同时保留最有效的特征向量。首先，对给定的样本空间Xm×n，计算协方差矩阵，矩阵的特征值和特征向量；最后，根据对应特征值的大小将特征向量从上到下按行排列成矩阵，前ω行组成的矩阵降维后的数据。具体而言，所述向量融合模块具体为：
获取n张超声图像的m维纹理特征向量组成纹理特征矩阵Xm×n，求纹理特征矩阵中每个m维纹理特征向量的均值，然后将所有m维纹理特征向量分别减去其对应的均值，得到去平均值后的纹理特征矩阵；
计算去平均值后的纹理特征矩阵的协方差矩阵，对角化协方差矩阵的特征值和特征向量，使得除对角线外，其它元素为0，将能量归于主要方向；
按特征值的大小对特征向量进行排序，保留最大的前ω个特征值(ω<m)；
将纹理特征矩阵中的数据转换到特征向量构建的新空间中，得到降维后的n个纹理特征向量。
获取n张超声图像的m维深度残差网络特征向量组成深度学习特征矩阵Xm×n，求深度学习特征矩阵中每个m维深度学习特征向量的均值，然后将所有m维深度学习特征向量分别减去其对应的均值，得到去平均值后的深度学习特征矩阵；
计算去平均值后的深度学习特征矩阵的协方差矩阵，对角化协方差矩阵的特征值和特征向量，使得除对角线外，其它元素为0，将能量归于主要方向；
按特征值的大小对特征向量进行排序，保留最大的前ω个特征值(ω<m)；
将深度学习特征矩阵中的数据转换到特征向量构建的新空间中，得到降维后的n个深度学习特征向量；
将降维后的深度学习特征和降维后的纹理特征进行级联，获得深度学习特征和浅层纹理级联后的融合特征。在本实施例中，将处理后的纹理特征与对应的神经网络特征线性融合，即将同一张乳腺肿瘤超声图像的纹理特征向量和神经网络特征向量做串联，以便下一步分类器学习乳腺肿瘤特征。
本实施例中利用分类器学习训练乳腺肿瘤超声图像纹理特征和神经网络特征线性融合后的融合向量数据，可采用支持向量机(SVM)算法对融合向量数据进行学习，或采用朴素贝叶斯(NB)算法对融合向量数据进行学习，当然也不局限于此算法，还可以采用其他机器学习算法，如：线性判别分析(LDA)、K最近邻(KNN)等。SVM分类器是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解最大边距超平面，利用核函数进行非线性分类，将输入数据映射到高维空间，构造最优分离超平面。
如图4所示，本实施例中将待分类乳腺肿瘤超声图像输入通过训练得到的模型，得到预测的乳腺肿瘤良恶性分类结果，所述待分类乳腺肿瘤超声原始图像的处理步骤和前述带有分类标签的原始乳腺肿瘤超声图像的处理步骤类似，但其不带分类标签，而是通过处理后得到待分类乳腺肿瘤超声图像，然后输入乳腺肿瘤分类模型，由两类分类器对其进行分类，分别获得一个得分，进行加权后得到分类结果，得到分类标签，即恶性或良性。
所述待分类乳腺肿瘤超声图像可以通过如下步骤得到：将待分类原始乳腺肿瘤超声图像进行预处理，然后获取感兴趣区域，对所述感兴趣区域提取纹理特征，归一化所述纹理特征，然后对归一化的纹理特征降维，得到纹理特征向量；对所述感兴趣区域提取神经网络特征，归一化所述神经网络特征，然后对归一化的神经网络特征降维，得到神经网络特征向量；最后将纹理特征向量和神经网络特征向量进行特征融合。对所述感兴趣区域提取形态特征，然后归一化所述形态特征，得到形态特征向量。
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例三。
实施例三
本实施例提供一种计算机可读存储介质，如图3所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：通过对乳腺肿瘤超声图像的指定感兴趣区域进行深度特征和多浅层特征结合多分类器，通过将纹理特征降维再和形态特征融合，能够更加全面的提取乳腺肿瘤超声图象中的特征，从几何形态学的角度，列出了与乳腺肿瘤形态特征相关的计算公式，从而使分类模型能够更好地学习到乳腺肿瘤的形态特征；能够有效提升超声图像乳腺肿瘤良恶性预测的准确性和鲁棒性，帮助医生提高乳腺肿瘤良恶性的诊断的精确性，降低因主观因素导致的误诊漏诊，同时提升了医生的诊断效率。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (10)
1.基于超声图像的乳腺肿瘤良恶性分类方法，其特征在于：所述方法包括：
步骤10、对带有分类标签的原始乳腺肿瘤超声图像进行预处理，得到预处理图像，所述分类标签包括恶性乳腺肿瘤和良性乳腺肿瘤；
步骤20、获取预处理图像中的感兴趣区域；
步骤30、对所述感兴趣区域做三种处理分别得到深度残差网络特征向量、纹理特征向量和形态特征向量；
步骤40、将深度残差网络特征向量进行降维处理，并将纹理特征向量进行降维处理，然后将降维处理后的残差网络特征向量和纹理特征向量进行特征融合，得到融合向量数据；
步骤50、利用支持向量机分类器对一定数量的融合向量数据进行学习，并利用朴素贝叶斯分类器对形态特征向量进行学习，通过最大随机搜索方法对两种分类器加权得到肿瘤分类模型；
步骤60、将待分类乳腺肿瘤超声图像输入乳腺肿瘤分类模型，得到分类结果。
2.根据权利要求1所述的基于超声图像的乳腺肿瘤良恶性分类方法，其特征在于：所述预处理包括去除超声图像四周文字以及个人信息、降低散斑噪声和对比度增强。
3.根据权利要求1所述的基于超声图像的乳腺肿瘤良恶性分类方法，其特征在于：所述步骤30中的三种处理具体如下：
第一种处理：对所述超声图像提取纹理特征，所述纹理特征包括图像局部二值模式、方向梯度直方图以及灰度共生矩阵，然后进行归一化操作，得到纹理特征向量；
第二种处理：对所述感兴趣区域提取深度残差神经网络特征，所述深度残差网络特征包括利用Resnet101从池化层Pool5中提取深度学习特征，然后进行归一化操作，得到深度学习特征向量；
第三种处理：对所述感兴趣区域提取形态特征，所述形态特征包括紧致度、椭圆紧致度以及径向距离谱参数、凸度、实心度、伸长率、紧凑度、矩形度、圆度、乳腺肿瘤周长、乳腺肿瘤面积、包围乳腺肿瘤最小矩形框周长、包围乳腺肿瘤最小矩形框面积，然后归一化所述形态特征，得到形态特征向量。
4.根据权利要求1所述的基于超声图像的乳腺肿瘤良恶性分类方法，其特征在于：
所述紧致度用于衡量乳腺肿瘤的形状与其拟合圆的相似程度，紧致度C的计算公式如下：
其中，An表示乳腺肿瘤面积，Pn表示乳腺肿瘤周长，r表示拟合圆的半径；
所述椭圆紧致度是拟合椭圆的周长与原乳腺肿瘤轮廓的周长之比，椭圆紧致度EC的计算公式如下：
其中，a表示拟合椭圆的半长轴，b表示拟合椭圆的短半轴，Pn表示乳腺肿瘤周长；
所述径向距离谱是通过统计分析乳腺肿瘤边缘各点到乳腺肿瘤中心的径向距离来量化乳腺肿瘤边缘粗糙度的程度，径向距离的计算公式如下：
式中，(x1,y1)为乳腺肿瘤边缘点坐标，(x0,y0)为乳腺肿瘤的中心点坐标；
所述凸度是测量凸包相对于乳腺肿瘤原始轮廓形状的比率的函数，所述凸度Convexity的计算公式如下：
其中Pc为凸包的周长，Pn为乳腺肿瘤周长；
所述实心度用于描述乳腺肿瘤形状的凸度或凹度，所述实心度的计算公式如下：
其中An为乳腺肿瘤面积，Ac为凸包的面积；
所述伸长率是测量病灶周围边界框的长度和宽度之间的比率，所述伸长率的计算公式如下：
其中Wn为乳腺肿瘤的宽度，Ln为乳腺肿瘤的长度；
所述紧凑度是乳腺肿瘤面积与周长的平方之比，紧凑度的计算公式如下：
其中Pn为乳腺肿瘤周长，An为乳腺肿瘤面积；
所述矩形度被定义为乳腺肿瘤面积和乳腺肿瘤最小边界矩形框面积之间的比例，所述矩形度的计算公式如下：
其中An为乳腺肿瘤面积，Ar为乳腺肿瘤最小矩形框的面积；
所述圆度乳腺肿瘤面积与乳腺肿瘤边界最小凸包周长的平方之比，圆度的计算公式如下：
其中An为乳腺肿瘤面积，Pc为凸包的周长；
所述乳腺肿瘤周长为乳腺肿瘤边界内的像素数，所述乳腺肿瘤周长的计算公式如下：
其中，Xi，…，Xn是乳腺肿瘤的边界坐标；
所述乳腺肿瘤面积是乳腺肿瘤区域内的像素数。
5.根据权利要求1所述的基于超声图像的乳腺肿瘤良恶性分类方法，其特征在于：所述步骤40进一步包括：
步骤41、获取n张超声图像的m维纹理特征向量组成纹理特征矩阵Xm×n，求纹理特征矩阵中每个m维纹理特征向量的均值，然后将所有m维纹理特征向量分别减去其对应的均值，得到去平均值后的纹理特征矩阵；
步骤42、计算去平均值后的纹理特征矩阵的协方差矩阵，对角化协方差矩阵的特征值和特征向量，使得除对角线外，其它元素为0，将能量归于主要方向；
步骤43、按特征值的大小对特征向量进行排序，保留最大的前ω个特征值；
步骤44、将纹理特征矩阵中的数据转换到特征向量构建的新空间中，得到降维后的n个纹理特征向量。
步骤45、获取n张超声图像的m维深度残差网络特征向量组成深度学习特征矩阵Xm×n，求深度学习特征矩阵中每个m维深度学习特征向量的均值，然后将所有m维深度学习特征向量分别减去其对应的均值，得到去平均值后的深度学习特征矩阵；
步骤46、计算去平均值后的深度学习特征矩阵的协方差矩阵，对角化协方差矩阵的特征值和特征向量，使得除对角线外，其它元素为0，将能量归于主要方向；
步骤47、按特征值的大小对特征向量进行排序，保留最大的前ω个特征值；
步骤48、将深度学习特征矩阵中的数据转换到特征向量构建的新空间中，得到降维后的n个深度学习特征向量；
步骤49、将降维后的深度学习特征和降维后的纹理特征进行级联，获得深度学习特征和浅层纹理级联后的融合特征。
6.基于超声图像的乳腺肿瘤良恶性分类装置，其特征在于：所述装置包括：
预处理模块，用于对带有分类标签的原始乳腺肿瘤超声图像进行预处理，得到预处理图像，所述分类标签包括恶性乳腺肿瘤和良性乳腺肿瘤；
ROI获取模块，用于获取预处理图像中的感兴趣区域；
向量提取模块，用于对所述感兴趣区域做三种处理分别得到深度残差网络特征向量、纹理特征向量和形态特征向量；
向量融合模块，用于将深度残差网络特征向量进行降维处理，并将纹理特征向量进行降维处理，然后将降维处理后的残差网络特征向量和纹理特征向量进行特征融合，得到融合向量数据；
学习模块，用于利用支持向量机分类器对一定数量的融合向量数据进行学习，并利用朴素贝叶斯分类器对形态特征向量进行学习，通过最大随机搜索方法对两种分类器加权得到肿瘤分类模型；以及
分类模块，用于将待分类乳腺肿瘤超声图像输入乳腺肿瘤分类模型，得到分类结果。
7.根据权利要求6所述的基于超声图像的乳腺肿瘤良恶性分类装置，其特征在于：所述预处理包括去除超声图像四周文字以及个人信息、降低散斑噪声和对比度增强。
8.根据权利要求6所述的基于超声图像的乳腺肿瘤良恶性分类装置，其特征在于：所述向量获取模块中的三种处理具体如下：
第一种处理：对所述超声图像提取纹理特征，所述纹理特征包括图像局部二值模式(LBP)、方向梯度直方图(HOG)以及灰度共生矩阵(GLCM)，然后进行归一化操作，得到纹理特征向量；
第二种处理：对所述感兴趣区域提取深度残差神经网络特征，所述深度残差网络特征包括利用Resnet101从池化层Pool5中提取深度学习特征，然后进行归一化操作，得到深度学习特征向量；
第三种处理：对所述感兴趣区域提取形态特征，所述形态特征包括紧致度、椭圆紧致度以及径向距离谱参数、凸度、实心度、伸长率、紧凑度、矩形度、圆度、乳腺肿瘤周长、乳腺肿瘤面积、包围乳腺肿瘤最小矩形框周长、包围乳腺肿瘤最小矩形框面积，然后归一化所述形态特征，得到形态特征向量。
9.根据权利要求6所述的基于超声图像的乳腺肿瘤良恶性分类装置，其特征在于：所述向量融合模块具体为：
获取n张超声图像的m维纹理特征向量组成纹理特征矩阵Xm×n，求纹理特征矩阵中每个m维纹理特征向量的均值，然后将所有m维纹理特征向量分别减去其对应的均值，得到去平均值后的纹理特征矩阵；
计算去平均值后的纹理特征矩阵的协方差矩阵，对角化协方差矩阵的特征值和特征向量，使得除对角线外，其它元素为0，将能量归于主要方向；
按特征值的大小对特征向量进行排序，保留最大的前ω个特征值；
将纹理特征矩阵中的数据转换到特征向量构建的新空间中，得到降维后的n个纹理特征向量。
获取n张超声图像的m维深度残差网络特征向量组成深度学习特征矩阵Xm×n，求深度学习特征矩阵中每个m维深度学习特征向量的均值，然后将所有m维深度学习特征向量分别减去其对应的均值，得到去平均值后的深度学习特征矩阵；
计算去平均值后的深度学习特征矩阵的协方差矩阵，对角化协方差矩阵的特征值和特征向量，使得除对角线外，其它元素为0，将能量归于主要方向；
按特征值的大小对特征向量进行排序，保留最大的前ω个特征值；
将深度学习特征矩阵中的数据转换到特征向量构建的新空间中，得到降维后的n个深度学习特征向量；
将降维后的深度学习特征和降维后的纹理特征进行级联，获得深度学习特征和浅层纹理级联后的融合特征。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110788927.6A CN113380401A (zh) | 2021-07-13 | 2021-07-13 | 基于超声图像的乳腺肿瘤良恶性分类方法、装置和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110788927.6A CN113380401A (zh) | 2021-07-13 | 2021-07-13 | 基于超声图像的乳腺肿瘤良恶性分类方法、装置和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113380401A true CN113380401A (zh) | 2021-09-10 |
Family
ID=77581886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110788927.6A Pending CN113380401A (zh) | 2021-07-13 | 2021-07-13 | 基于超声图像的乳腺肿瘤良恶性分类方法、装置和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113380401A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116313122A (zh) * | 2023-01-16 | 2023-06-23 | 康龙化成(南京)临床医学研究有限公司 | 基于贝叶斯模型的肿瘤统计分析方法及系统 |
| CN117708706A (zh) * | 2024-02-06 | 2024-03-15 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种端到端特征增强与选择的乳腺肿瘤分类方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2157523A2 (en) * | 2008-08-14 | 2010-02-24 | Bond Innovation 1 Pty Ltd | Cancer diagnostic method and system |
| CN109065150A (zh) * | 2018-07-02 | 2018-12-21 | 江苏省中医院 | 一种基于多特征提取和Linear SVM的超声乳腺肿瘤分级方法 |
| CN111695644A (zh) * | 2020-08-10 | 2020-09-22 | 华侨大学 | 基于光密度变换的肿瘤超声图像分类方法、装置及介质 |
-
2021
- 2021-07-13 CN CN202110788927.6A patent/CN113380401A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2157523A2 (en) * | 2008-08-14 | 2010-02-24 | Bond Innovation 1 Pty Ltd | Cancer diagnostic method and system |
| CN109065150A (zh) * | 2018-07-02 | 2018-12-21 | 江苏省中医院 | 一种基于多特征提取和Linear SVM的超声乳腺肿瘤分级方法 |
| CN111695644A (zh) * | 2020-08-10 | 2020-09-22 | 华侨大学 | 基于光密度变换的肿瘤超声图像分类方法、装置及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 吴秀明 等: "计算机辅助系统在诊断乳腺良恶性肿瘤中的应用", 中国医学物理学杂志, 31 March 2020 (2020-03-31) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116313122A (zh) * | 2023-01-16 | 2023-06-23 | 康龙化成(南京)临床医学研究有限公司 | 基于贝叶斯模型的肿瘤统计分析方法及系统 |
| CN117708706A (zh) * | 2024-02-06 | 2024-03-15 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种端到端特征增强与选择的乳腺肿瘤分类方法及系统 |
| CN117708706B (zh) * | 2024-02-06 | 2024-05-28 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种端到端特征增强与选择的乳腺肿瘤分类方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111695644B (zh) | 基于光密度变换的肿瘤超声图像分类方法、装置及介质 | |
| Dominguez et al. | Detection of masses in mammograms via statistically based enhancement, multilevel-thresholding segmentation, and region selection | |
| Sheba et al. | An approach for automatic lesion detection in mammograms | |
| Pramanik et al. | Wavelet based thermogram analysis for breast cancer detection | |
| CN111462116A (zh) | 基于影像组学特征的多模态参数模型优化融合方法 | |
| US20120099771A1 (en) | Computer aided detection of architectural distortion in mammography | |
| Hu et al. | Automatic segmentation of dermoscopy images using saliency combined with adaptive thresholding based on wavelet transform | |
| Hamouda et al. | Enhancement accuracy of breast tumor diagnosis in digital mammograms | |
| CN113380401A (zh) | 基于超声图像的乳腺肿瘤良恶性分类方法、装置和介质 | |
| Safdarian et al. | Detection and classification of breast cancer in mammography images using pattern recognition methods | |
| Kisilev et al. | Semantic description of medical image findings: structured learning approach. | |
| Bahadure et al. | Feature extraction and selection with optimization technique for brain tumor detection from MR images | |
| Sonia et al. | Segmenting and classifying skin lesions using a fruit fly optimization algorithm with a machine learning framework | |
| Islam et al. | A new hybrid approach for brain tumor classification using BWT-KSVM | |
| Šerifović-Trbalić et al. | Classification of benign and malignant masses in breast mammograms | |
| Jamil et al. | Melanocytic and nevus lesion detection from diseased dermoscopic images using fuzzy and wavelet techniques | |
| Ayu et al. | Amniotic fluid segmentation based on pixel classification using local window information and distance angle pixel | |
| Jubeen et al. | An automatic breast cancer diagnostic system based on mammographic images using convolutional neural network classifier | |
| Anas et al. | Advancing Breast Cancer Detection: Enhancing YOLOv5 Network for Accurate Classification in Mammogram Images | |
| Fazilov et al. | Improvement of Image Enhancement Technique for Mammography Images | |
| Rathinam et al. | An Adaptive Fuzzy C-Means segmentation and deep learning model for efficient mammogram classification using VGG-Net | |
| Nugroho et al. | Image dermoscopy skin lesion classification using deep learning method: systematic literature review | |
| Karale et al. | A screening CAD tool for the detection of microcalcification clusters in mammograms | |
| Isavand Rahmani et al. | Retinal blood vessel segmentation using gabor filter and morphological reconstruction | |
| Surya et al. | Efficient feature extraction on mammogram images using enhanced grey level co-occurrence matrix |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |