CN111428709B - 图像处理方法、装置、计算机设备和存储介质 - Google Patents
图像处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111428709B CN111428709B CN202010174819.5A CN202010174819A CN111428709B CN 111428709 B CN111428709 B CN 111428709B CN 202010174819 A CN202010174819 A CN 202010174819A CN 111428709 B CN111428709 B CN 111428709B
- Authority
- CN
- China
- Prior art keywords
- breast
- image
- target
- breast image
- imaging mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 210000000481 breast Anatomy 0.000 claims abstract description 479
- 238000012545 processing Methods 0.000 claims abstract description 107
- 238000003384 imaging method Methods 0.000 claims abstract description 82
- 210000005075 mammary gland Anatomy 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims description 28
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 claims description 23
- 210000004907 gland Anatomy 0.000 claims description 23
- 229910052750 molybdenum Inorganic materials 0.000 claims description 23
- 239000011733 molybdenum Substances 0.000 claims description 23
- 230000003211 malignant effect Effects 0.000 claims description 20
- 230000005856 abnormality Effects 0.000 claims description 16
- 238000003708 edge detection Methods 0.000 claims description 12
- 208000004350 Strabismus Diseases 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000003902 lesion Effects 0.000 claims description 7
- 238000013145 classification model Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000002604 ultrasonography Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 description 12
- 208000026310 Breast neoplasm Diseases 0.000 description 10
- 238000003745 diagnosis Methods 0.000 description 10
- 206010006187 Breast cancer Diseases 0.000 description 9
- 238000012549 training Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 208000004434 Calcinosis Diseases 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 239000013255 MILs Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012285 ultrasound imaging Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002308 calcification Effects 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000000779 thoracic wall Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供一种图像处理方法、装置、计算机设备和存储介质，其中，该方法包括接收目标乳腺影像；检测所述目标乳腺影像的成像模态是否为X射线成像模态、超声成像模态或磁共振成像模态；根据所述目标乳腺影像的成像模态，对所述目标乳腺影像进行处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息。本发明能够对不同模态乳腺影像中的病灶区域进行定位，相对于现有技术只能对单模态乳腺影像进行定位而言，提高了病灶定位的准确性。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
临床常用于乳腺癌诊断的医学影像包括X射线、超声和磁共振影像三种模态，不同模态的影像各具优缺点，且在乳腺癌病灶征象表现各不相同。例如：X射线影像对钙化、微钙化敏感性高，更适合乳腺癌早期或早早期预测，可利用双侧不同机位影像观测乳腺的不对称性和结构扭曲，以提高判断乳腺癌良恶性的准确率；然而，X射线摄影影像对乳腺肿块的特异性不高，尤其是不均匀致密型和极度致密型乳腺，肿块诊断的假阳性率高，且具辐射性；超声波具有安全无辐射、诊断速度快和价格低廉等优势，且乳腺超声发现肿块的敏感性、特异性较高，然而由于超声波2D横切、纵切和斜切影像且分辨率较低，较难发现钙化，尤其微钙化几乎很难发现，而且，超声影像中的信息细节复杂，诊断的准确性很大程度上依赖医生的临床经验，可能发生漏诊或误诊。乳腺磁共振是3D成像模态，不受腺体密度的影响，具有良好的视觉效果，可三维立体观察病变，分辨正常乳房腺体与病灶，其敏感性强，适合确定乳腺癌病人的分期，可确诊对侧乳腺的隐性病灶和胸壁的浸润情况等；然而，相对X射线影像，其分辨率不易发现较小的钙化灶，而且，乳腺磁共振影像存在多序列、数据量大的特点，人工读片时可能会出现疲劳误诊或漏诊，且磁共振扫描效率低、成本高。
随着医学影像大数据和高性能计算技术的飞速发展，医学影像分析、病灶自动识别及判断是当前医工结合交叉领域研究的重点、热点。利用深度学习技术进行乳腺癌自动识别也是研究及临床应用的热点之一。但现有乳腺影像的处理方法只能对X射线、超声和磁共振之一的单模态乳腺影像进行处理，由于单模态影像自身的局限性，所以导致乳腺病灶区域的定位准确性不高。
发明内容
针对上述现有技术的不足，本发明的目的在于提供一种图像处理方法、装置、计算机设备和存储介质，以提高乳腺病灶区域的定位准确性。
为了实现上述目的，本发明提供一种图像处理方法，包括：
接收目标乳腺影像；
检测所述目标乳腺影像的成像模态是否为X射线成像模态、超声成像模态或磁共振成像模态；
当所述目标乳腺影像的成像模态为X射线成像模态时，则首先初步判断所述目标乳腺影像中是否含有乳腺病灶区域，若有，则获取与所述目标乳腺影像对应的参考乳腺影像，而后根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的位置信息；
当所述目标乳腺影像的成像模态为超声成像模态时，则首先利用预设的全卷积网络对所述目标乳腺影像进行处理，得到所述目标乳腺影像对应的预分割特征图，而后利用预设的RPN模型对所述预分割特征图进行处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息；
当所述目标乳腺影像的成像模态为磁共振成像模态时，则首先对所述目标乳腺影像进行预处理，而后利用预设的U-Net分割模型对经过预处理的目标乳腺影像进行分割处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息。
在本发明一个实施例中，所述初步判断所述目标乳腺影像中是否含有乳腺病灶区域，包括：
利用预设的乳腺腺体分类模型对所述目标乳腺影像进行处理，得到所述目标乳腺影像中乳腺的腺体类型；
根据所述腺体类型确定所述乳腺病灶区域的病灶判定阈值；
利用预设的乳腺异常识别模型对所述目标乳腺影像进行处理，得到所述目标乳腺影像中乳腺异常的概率，并在所述概率大于所述病灶判定阈值时，初步判定所述目标乳腺影像中含有所述乳腺病灶区域。
在本发明一个实施例中，所述获取与所述目标乳腺影像对应的参考乳腺影像，包括：
当所述目标乳腺影像为头尾位钼靶影像时，则获取与所述目标乳腺影像对应的内侧斜视位钼靶影像为参考乳腺影像；
当所述目标乳腺影像为内侧斜视位钼靶影像时，则获取与所述目标乳腺影像对应的头尾位钼靶影像为参考乳腺影像。
在本发明一个实施例中，所述根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的位置信息，包括：
对所述目标乳腺影像进行边缘检测处理，得到所述目标乳腺影像中的乳腺区域，记为第一乳腺区域；
对所述参考乳腺影像进行边缘检测处理，得到所述参考乳腺影像中的乳腺区域，记为第二乳腺区域；
利用预设的特征金字塔网络模型对所述第一乳腺区域进行处理，得到所述第一乳腺区域中的乳腺特征图；
利用所述特征金字塔网络模型对所述第二乳腺区域进行处理，得到所述第二乳腺区域中的乳腺特征图；
利用预设的多实例学习网络模型对所述第一乳腺特征图和第二乳腺特征图进行处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息。
在本发明一个实施例中，所述根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的位置信息，包括：
利用预设的两路Faster R-CNN模型分别对所述目标乳腺影像和参考乳腺影像进行处理，得到所述目标乳腺影像和参考乳腺影像中乳腺病灶区域的初步位置；
利用预设的SENet模型对所述目标乳腺影像和参考乳腺影像中乳腺病灶区域的初步位置进行处理，得到所述目标乳腺影像中乳腺病灶区域的所述位置信息。
为了实现上述目的，本发明还提供一种图像处理装置，包括：
影像接收模块，用于接收目标乳腺影像；
模态检测模块，用于检测所述目标乳腺影像的成像模态是否为X射线成像模态、超声成像模态或磁共振成像模态；
X射线影像处理模块，用于在所述目标乳腺影像的成像模态为X射线成像模态时，初步判断所述目标乳腺影像中是否含有乳腺病灶区域，若有，则获取与所述目标乳腺影像对应的参考乳腺影像，而后根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的位置信息；
超声影像处理模块，用于在所述目标乳腺影像的成像模态为超声成像模态时，利用预设的全卷积网络对所述目标乳腺影像进行处理，得到所述目标乳腺影像对应的预分割特征图，而后利用预设的RPN模型对所述预分割特征图进行处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息；
磁共振影像处理模块，用于在所述目标乳腺影像的成像模态为磁共振成像模态时，对所述目标乳腺影像进行预处理，而后利用预设的U-Net分割模型对经过预处理的目标乳腺影像进行分割处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息。
在本发明一个实施例中，所述X射线影像处理模块还用于根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的良恶性识别结果。
在本发明一个实施例中，所述超声影像处理模块还用于：
利用预设的感兴趣区域池化层对所述乳腺病灶区域进行归一化处理，得到固定尺寸的特征向量；
利用预设的分类网络对所述特征向量进行处理，得到所述目标乳腺影像中乳腺病灶区域的良恶性识别结果。
在本发明一个实施例中，所述磁共振影像处理模块还用于：
利用预设的分类网络对所述乳腺病灶区域进行处理，得到所述乳腺病灶区域的良恶性识别结果。
在本发明一个实施例中，所述X射线影像处理模块初步判断所述目标乳腺影像中是否含有乳腺病灶区域的步骤如下：
利用预设的乳腺腺体分类模型对所述目标乳腺影像进行处理，得到所述目标乳腺影像中乳腺的腺体类型；
根据所述腺体类型确定所述乳腺病灶区域的病灶判定阈值；
利用预设的乳腺异常识别模型对所述目标乳腺影像进行处理，得到所述目标乳腺影像中乳腺异常的概率，并在所述概率大于所述病灶判定阈值时，初步判定所述目标乳腺影像中含有所述乳腺病灶区域。
在本发明一个实施例中，当所述目标乳腺影像为头尾位钼靶影像时，所述X射线影像处理模块获取与所述目标乳腺影像对应的内侧斜视位钼靶影像为参考乳腺影像；当所述目标乳腺影像为内侧斜视位钼靶影像时，所述X射线影像处理模块获取与所述目标乳腺影像对应的头尾位钼靶影像为参考乳腺影像。
在本发明一个实施例中，所述X射线影像处理模块根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的位置信息的步骤如下：
对所述目标乳腺影像进行边缘检测处理，得到所述目标乳腺影像中的乳腺区域，记为第一乳腺区域；
对所述参考乳腺影像进行边缘检测处理，得到所述参考乳腺影像中的乳腺区域，记为第二乳腺区域；
利用预设的特征金字塔网络模型对所述第一乳腺区域进行处理，得到所述第一乳腺区域中的乳腺特征图；
利用所述特征金字塔网络模型对所述第二乳腺区域进行处理，得到所述第二乳腺区域中的乳腺特征图；
利用预设的多实例学习网络模型对所述第一乳腺特征图和第二乳腺特征图进行处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息。
在本发明一个实施例中，所述X射线影像处理模块根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的位置信息的步骤如下：
利用预设的两路Faster R-CNN模型分别对所述目标乳腺影像和参考乳腺影像进行处理，得到所述目标乳腺影像和参考乳腺影像中乳腺病灶区域的初步位置；
利用预设的SENet模型对所述目标乳腺影像和参考乳腺影像中乳腺病灶区域的初步位置进行处理，得到所述目标乳腺影像中乳腺病灶区域的所述位置信息。
为了实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法的步骤。
通过采用上述技术方案，本发明具有如下有益效果：
本发明能够对不同模态乳腺影像中的乳腺病灶区域进行定位，相对于现有技术只能对单模态乳腺影像进行处理而言，提高了病灶定位的准确性，并且，本发明针对不同成像模态乳腺图像的特点，设计了不同的病灶定位流程，保证了乳腺病灶区域能够准确定位。
附图说明
图1为本发明图像处理方法的一个实施例的流程图；
图2为本发明图像处理装置的一个实施例的结构框图；
图3为本发明计算机设备的一个实施例的硬件架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
实施例一
本实施例提供一种图像处理方法，如图1所示，该方法具体包括以下步骤：
S1，接收目标乳腺影像，所述目标乳腺影像由预设的多种成像模态中的其中一种拍摄而成。其中，预设的成像模态可以包括X射线成像模态、超声成像模态和磁共振成像模态等。在本实施例中，目标乳腺影像的来源可以是医院的医学影像存档与通讯系统(Picture archiving and communication systems,PACS)、放射信息管理系统(Radioiogyinformation system,RIS)和医院信息系统(HIS)，本实施例可以实时接收来自PACS、RIS和HIS的乳腺影像。
S2，检测所述目标乳腺影像的成像模态是否为X射线成像模态、超声成像模态或磁共振成像模态，并在目标乳腺影像的成像模态为X射线成像模态时执行步骤S3，在目标乳腺影像的成像模态为超声成像模态时执行步骤S4，在目标乳腺影像的成像模态为磁共振成像模态时执行步骤S5。在本实施例中，不同成像模态乳腺影像的影像名称中可以标注有不同标记，从而可以根据标注的标记来判断目标乳腺影像的成像模态。例如，X射线成像模态影像的影像名称中标注有“X-ray”，超声成像模态影像的影像名称中标注有“US”,磁共振成像模态影像的影像名称中标注有“NMR”。因此，当检测到目标乳腺影像的影像名称中标注有“X-ray”时，则判定目标乳腺影像的成像模态为X射线成像；当检测到目标乳腺影像的影像名称中标注有“US”时，则判定目标乳腺影像的成像模态为超声成像；当检测到目标乳腺影像的影像名称中标注有“NMR”时，则判定目标乳腺影像成像模态为磁共振成像。
S3，当所述目标乳腺影像的成像模态为X射线成像模态时，通过如下步骤获取目标乳腺影像中乳腺病灶区域的位置信息：
S31，初步判断所述目标乳腺影像中是否含有乳腺病灶区域，若有，则获取与所述目标乳腺影像对应的参考乳腺影像，并执行步骤S32，否则，结束流程。具体来说，初步判断所述目标乳腺影像中是否含有乳腺病灶区域的步骤如下：首先，利用预设的乳腺腺体分类模型对所述目标乳腺影像进行处理，得到所述目标乳腺影像中乳腺的腺体类型，例如脂肪型、少量腺体型、多量腺体型和致密型中的任意一种，其中四种腺体类型的腺体密度由大到小排列的顺序为：致密型＞多量腺体型＞少量腺体型＞脂肪型；而后，根据得到的腺体类型确定对应的病灶判定阈值，本实施例中，脂肪型、少量腺体型、多量腺体型和致密型腺体类型各自对应的病灶判定阈值是通过预先设置的；最后，利用预设的乳腺异常识别模型对所述目标乳腺影像进行处理，得到目标乳腺影像中乳腺异常的概率，当乳腺异常的概率大于前述病灶判定阈值时，则初步判定目标乳腺影像中含有乳腺病灶区域，否则，初步判定目标乳腺影像中不含有乳腺病灶区域。以病灶判定阈值为40％为例，当乳腺异常识别模型输出的乳腺异常概率为45％时，由于45％大于40％，则初步判定目标乳腺影像中含有乳腺病灶区域，当乳腺异常识别模型输出的乳腺异常概率为35％时，由于35％小于40％，则初步判定目标乳腺影像中不含有乳腺病灶区域。其中，本实施例采用的乳腺腺体分类模型优选为Pyramidal Residual Network(基于金字塔残差网络)模型，采用的乳腺异常识别模型优选为DenseNet(Dense Convolutional Network，密集卷积网络)模型。
在本实施例中，当目标乳腺影像为头尾(Cranial-Caudal，CC)位钼靶影像时，则可以获取与目标乳腺影像对应的的内侧斜视(MedioLateral-Oblique，MLO)位钼靶影像为参考乳腺影像；当目标乳腺影像为MLO位钼靶影像时，则可以获取与目标乳腺影像对应的CC位钼靶影像为参考乳腺影像。此外，目标乳腺影像和参考乳腺影像也可以为对侧乳房在相同位置的钼靶影像。此处的钼靶影像是指利用X射线的物理性质及人体乳房组织不同的等密度值，将乳房的二维图像投影于X光感光胶片或数字化探测器之上得到的影像，简称钼靶影像。
S32，根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的位置信息和良恶性识别结果。具体可以通过如下步骤实现：
首先，对所述目标乳腺影像进行边缘检测处理，得到所述目标乳腺影像中的乳腺区域，记为第一乳腺区域；同时对所述参考乳腺影像进行边缘检测处理，得到所述参考乳腺影像中的乳腺区域，记为第二乳腺区域。通常，X射线拍摄的影像存在较大黑色背景区域，有利于采用边缘检测方法获取目标乳腺影像中的乳腺区域。需要说明的是，本步骤可采用现有的任何一种边缘检测方法实现，例如，采用文献[Breast Boundary Detection withActive Contours,I.Balic,P.Goyal,O.Roy,N.Duric.]所公开的利用主动轮廓检测乳腺边缘的方法实现。
而后，利用预设的FPN(Feature Pyramid Network，特征金字塔网络)模型对所述第一乳腺区域进行处理，得到所述第一乳腺区域中的乳腺特征图，记为第一乳腺特征图；同时，利用所述特征金字塔网络对所述第二乳腺区域进行处理，得到所述第二乳腺区域的乳腺特征图，记为第二乳腺特征图。其中，FPN由自底向上和自顶向下两个路径组成。自底向上的路径是通常的提取特征的卷积网络此处用ResNet网络，这个网络由很多卷积层组成，将大小相同的分成一组，相邻组之间大小减半。自底向上，空间分辨率递减，检测更多高层结构，网络层的语义值相应增加。自顶向下的路径，基于语义较丰富的层重建分辨率较高的层。尽管重建的层语义足够丰富，但经过下采样和上采样过程，目标的位置不再准确了。因此FPN在重建层和相应的特征映射间增加了横向连接，以帮助检测器更好地预测位置。这些横向连接同时起到了跨跃连接(skip connection)的作用(类似残差网络的做法)。
最后，利用预设的多实例学习(MIL)网络模型对第一乳腺特征图和第二乳腺特征图进行处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息和良、恶性概率。多实例学习网络是现有的一种弱监督学习网络，在多实例学习过程中，训练样本是由多个实例组成的包，包是有概念标记的，但实例本身却没有概念标记。如果一个包中至少包含一个正例，则该包是一个正包，否则即为反包。与监督学习相比，MIL中的训练实例是没有概念标记的，这与监督学习中所有训练实例都有概念标记不同；与非监督学习相比，MIL中的训练包是有概念标记的，这与非监督学习的训练样本中没有任何概念标记也不同。在MIL中一个样本(即包)包含了多个实例，即样本和实例是一对多的对应关系。将第一特征图和第二特征图中的每个patch(图像块)作为一个实例，将第一特征图和第二特征图作为包含多个实例的包代入MIL网络进行处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息和良、恶性概率。
除上述方法以外，步骤S32还可以通过如下步骤实现：
利用预设的两路Faster R-CNN模型分别对所述目标乳腺影像和参考乳腺影像进行处理，得到目标乳腺影像和参考乳腺影像中乳腺病灶区域的初步位置信息和初步识别结果，该初步识别结果表示为乳腺病灶区域的良、恶性概率。在本实施例中，Faster R-CNN模型主要包括四部分：Conv layers(卷积层)、RPN(Region Proposal Networks，侯区域选择网络)、ROIPooling(感兴趣区域池化)层和Classifier(分类器)。其中，Conv layers用于提取特征图：作为一种CNN网络目标检测方法，Faster R-CNN首先使用一组基础的conv+relu+pooling(卷积+修正线性单元+池化)层提取输入图像的feature maps(特征图)，该featuremaps会用于后续的RPN层和全连接层；RPN网络主要用于生成region proposals(候选区域)，首先生成一堆Anchor boxes(锚框)，并使用非极大抑制对其进行过滤后再通过Softmax(归一化指示函数)判断anchors(锚)属于目标(foreground)或者背景(background)，即是目标物体或不是目标物体，所以这是一个二分类；同时，另一分支bounding boxregression(边框回归)修正anchor box，形成较精确的proposal(侯选框)(注：这里的较精确是相对于后面全连接层的再一次box regression而言)；ROI Pooling层利用RPN生成的proposals(侯选框)和Conv layers的最后一层得到的feature map，得到固定大小的proposalfeature map(侯选框特征图)，后续可利用全连接操作来进行目标识别和定位；Classifier用于将ROI Pooling层形成固定大小的feature map进行全连接操作，利用Softmax进行具体病灶类别的分类，同时，利用L1 Loss(L1损失函数)完成boundingbox regression(边框回归)回归操作获得病灶的准确位置。
在通过两路Faster R-CNN模型分别得到目标乳腺影像和参考乳腺影像中乳腺病灶区域的初步位置和初步识别结果后，利用预先训练得到的SENet(Squeeze-and-Excitation Networks)模型对目标乳腺影像和参考乳腺影像中乳腺病灶区域的初步位置信息和初步识别结果进行处理，以通过SENet模型中的SE-Block将两个影像的位置和识别结果进行融合，得到目标乳腺影像中乳腺病灶区域的最终位置信息和良恶性识别结果。从而，有效提高识别乳腺病灶区域定位和识别的准确性，降低假阳性率。
可见，当所述目标乳腺影像的成像模态为X射线成像模态时，本发明结合了目标乳腺影像和参考乳腺影像进行病灶定位和识别，较为真实地模拟了医生实际的看片过程，从而提高了乳腺病灶区域定位和识别的准确性。
S4，当所述目标乳腺影像的成像模态为超声成像模态时，通过如下步骤获取目标乳腺影像中乳腺病灶区域的位置信息和良恶性识别结果：
S41，利用预设的全卷积网络(FCN)对所述目标乳腺影像进行处理，得到所述目标乳腺影像对应的预分割特征图。全卷积网络FCN包括多个全卷积层，是对卷积神经网络(CNN)在分割领域的一个延伸，是一种图像语义分割。相对于CNN对整张图片进行分类，而全卷积网络是对一张图片中的每个像素进行分类，可以达到对图片特定部分的分类，比较适合分割。与CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类不同，FCN可以接受任意尺寸的输入图像，然后通过反卷积层对最后一个卷积层的特征图进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测，同时保留了原始输入图像中的空间信息，最后在与输入图等大小的特征图上对每个像素进行分类。
S42，利用预设的RPN(Regional Proposal Network，候选区域筛选网络)对所述预分割特征图进行处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息。具体地，RPN先对输入的预分割特征图进行多层卷积操作，提取出预分割特征图的特征映射(featuremaps)，再使用滑动窗口对特征映射进行卷积操作，之后使用分类损失函数和边框回归损失函数两个分支来计算区域分类以及区域回归，得到所述目标乳腺影像中乳腺病灶区域的位置信息。此处的区域分类是来判断预测区域属于病灶前景和背景的概率。
S43，利用预设的感兴趣区域池化层(ROI Pooling)对所述乳腺病灶区域进行归一化处理，得到固定尺寸的特征向量。
S44，利用预设的分类网络，如常用的DenseNet(密集卷积网络)，对归一化的所述特征向量进行处理，即可准确得到目标乳腺影像中乳腺病灶区域的良、恶性识别结果。其中，DenseNet的结构和原理可以参见文献[Densely Connected Convolutional Networks,Gao Huang,Zhuang Liu,Laurens van der Maaten.]。
当所述目标乳腺影像的成像模态为超声成像模态时，采用上述步骤可以对乳腺病灶区域进行准确定位和识别，减少漏诊和误诊。
S5，当所述目标乳腺影像的成像模态为磁共振成像模态时，通过如下步骤获取目标乳腺影像中乳腺病灶区域的位置信息和良恶性识别结果：
S51，对所述目标乳腺影像进行预处理，由于磁共振乳腺影像通常包含胸腔、乳房和其它部分，所以本实施例中的预处理主要包括去除胸腔处理和乳房有效区域提取处理。其中，去除胸腔处理主要用于去除目标乳腺影像中的胸腔部分，乳房有效区域提取处理主要用于提取乳房有效区域，可以采用本领域已知的处理方法实现，例如采用文献[Automatic 3D segmentation of the breast in MRI,Cristina Gallego Ortiz]公开的方法实现。
S52，利用预设的U-Net分割模型对预处理得到的所述乳房有效区域进行分割处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息。本实施例的U-net是分割型网络模型，整个网络呈“U”形，也是网络名为U-net的来源。在“U”字的下行区域属于编辑器，上行区域属于解码器。U-net网络是深度监督学习网络，所谓深度监督学习是指：利用一组已知正确答案的样本调整分类器的参数，使其达到所要求性能的过程。对于深度监督学习网络就是利用有标签的数据来学习的网络，被初始化的网络根据预测值与标签的差别不断修改网络中的参数，使网络的预测值越来越接近标签，以达到学习的目的，可利用少量标注样本训练获得了精准的分割模型，从而实现对病灶区域的精准分割。U-net的编辑器各层对输入的乳房有效区域进行卷积和池化，以进行特征提取，解码器各层使用反卷积对提取的特征进行解码得到映射层并输出，映射层的大小与输入图像大小相同，映射层指示出乳房有效区域的每一部分代表的含义，即分割结果，从而通过U-net分割模型识别出乳房有效区域的哪一部分是乳腺病灶区域。
S53，利用预设的分类网络，如常用的ResNet(残差网络)、DenseNet(密集卷积网络)，对所述乳腺病灶区域进行处理，即可准确得到目标乳腺影像中乳腺病灶区域的良、恶性识别结果。
当所述目标乳腺影像的成像模态为磁共振成像模态时，采用上述步骤可以对乳腺病灶区域进行准确识别，减少漏诊和误诊。
可见，通过上述步骤，使得本实施例能够对不同模态乳腺影像中的病灶区域进行定位和识别，相对于现有技术只能对单模态乳腺影像进行定位和识别而言，能够提高病灶定位和识别的准确性。同时，当步骤S3、S4或S5得到的所述目标乳腺影像中乳腺病灶区域的识别结果不能确诊时，即，所述识别结果为所述目标乳腺影像中乳腺病灶区域的良、恶性概率之差在预定的非确诊范围(如15％)内时，还可以输出更换成像模态检查提示，以提示对目标乳腺影像对应的乳房进行其它成像模态的乳腺影像检查，如，假设目标乳腺影像的成像模态为X射线成像模态，则其它成像模态可以是超声成像模态和/或磁共振成像模态。当完成其它成像模态的乳腺影像检查后，接收所述其它成像模态拍摄的乳腺影像并将接收到的乳腺影像作为新的目标乳腺影像，而后重复执行步骤S1-S5，即可得到对应的乳腺病灶区域的识别结果，供临床医生比对参考，以提升诊断效率和准确性。
进一步地，本实施例的方法还可以包括：测量所述乳腺病灶区域的尺寸，并根据乳腺病灶区域的尺寸、识别结果等信息生成结构化报告，以便医生和病人查阅。此外，本实施例的方法还可以包括：根据预先设置的乳腺癌知识图谱，对乳腺病灶区域的尺寸及识别结果等进行知识推理，以得到推荐治疗方案供医生参考，其中，乳腺癌知识图谱包括多个实体以及实体与实体之间的关系，所述实体包括乳腺病灶区域的尺寸、良恶性识别结果和治疗方案，还可以包括对应患者的年龄、婚育状况和/或乳腺癌家族史等。
需要说明的是，对于本实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的
实施例二
本实施例提供一种图像处理装置10，如图2所示，该装置包括：
影像接收模块11，用于接收目标乳腺影像；
模态检测模块12，用于检测所述目标乳腺影像的成像模态是否为X射线成像模态、超声成像模态或磁共振成像模态；
X射线影像处理模块13，用于在所述目标乳腺影像的成像模态为X射线成像模态时，初步判断所述目标乳腺影像中是否含有乳腺病灶区域，若有，则获取与所述目标乳腺影像对应的参考乳腺影像，而后根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的位置信息；
超声影像处理模块14，用于在所述目标乳腺影像的成像模态为超声成像模态时，利用预设的全卷积网络对所述目标乳腺影像进行处理，得到所述目标乳腺影像对应的预分割特征图，而后利用预设的RPN模型对所述预分割特征图进行处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息；
磁共振影像处理模块15，用于在所述目标乳腺影像的成像模态为磁共振成像模态时，对所述目标乳腺影像进行预处理，而后利用预设的U-Net分割模型对经过预处理的目标乳腺影像进行分割处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息。
在本发明一个实施例中，所述X射线影像处理模块还用于根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的良恶性识别结果。
在本发明一个实施例中，所述超声影像处理模块还用于：
利用预设的感兴趣区域池化层对所述乳腺病灶区域进行归一化处理，得到固定尺寸的特征向量；
利用预设的分类网络对所述特征向量进行处理，得到所述目标乳腺影像中乳腺病灶区域的良恶性识别结果。
在本发明一个实施例中，所述磁共振影像处理模块还用于：
利用预设的分类网络对所述乳腺病灶区域进行处理，得到所述乳腺病灶区域的良恶性识别结果。
在本发明一个实施例中，所述X射线影像处理模块初步判断所述目标乳腺影像中是否含有乳腺病灶区域的步骤如下：
利用预设的乳腺腺体分类模型对所述目标乳腺影像进行处理，得到所述目标乳腺影像中乳腺的腺体类型；
根据所述腺体类型确定所述乳腺病灶区域的病灶判定阈值；
利用预设的乳腺异常识别模型对所述目标乳腺影像进行处理，得到所述目标乳腺影像中乳腺异常的概率，并在所述概率大于所述病灶判定阈值时，初步判定所述目标乳腺影像中含有所述乳腺病灶区域。
在本发明一个实施例中，当所述目标乳腺影像为头尾位钼靶影像时，所述X射线影像处理模块获取与所述目标乳腺影像对应的内侧斜视位钼靶影像为参考乳腺影像；当所述目标乳腺影像为内侧斜视位钼靶影像时，所述X射线影像处理模块获取与所述目标乳腺影像对应的头尾位钼靶影像为参考乳腺影像。
在本发明一个实施例中，所述X射线影像处理模块根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的位置信息的步骤如下：
对所述目标乳腺影像进行边缘检测处理，得到所述目标乳腺影像中的乳腺区域，记为第一乳腺区域；
对所述参考乳腺影像进行边缘检测处理，得到所述参考乳腺影像中的乳腺区域，记为第二乳腺区域；
利用预设的特征金字塔网络模型对所述第一乳腺区域进行处理，得到所述第一乳腺区域中的乳腺特征图；
利用所述特征金字塔网络模型对所述第二乳腺区域进行处理，得到所述第二乳腺区域中的乳腺特征图；
利用预设的多实例学习网络模型对所述第一乳腺特征图和第二乳腺特征图进行处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息。
在本发明一个实施例中，所述X射线影像处理模块根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的位置信息的步骤如下：
利用预设的两路Faster R-CNN模型分别对所述目标乳腺影像和参考乳腺影像进行处理，得到所述目标乳腺影像和参考乳腺影像中乳腺病灶区域的初步位置；
利用预设的SENet模型对所述目标乳腺影像和参考乳腺影像中乳腺病灶区域的初步位置进行处理，得到所述目标乳腺影像中乳腺病灶区域的所述位置信息。
对于本装置实施例而言，其与实施例一的方法实施例基本相似，所以在此描述的比较简单，相关之处参见方法实施例的部分说明即可。同时，本领域技术人员也应该知悉，说明书中所描述的实施例属于优选实施例，所涉及的模块作并不一定是本发明所必须的。
实施例三
本实施例提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备20至少包括但不限于：可通过系统总线相互通信连接的存储器21、处理器22，如图3所示。需要指出的是，图3仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备20的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作系统和各类应用软件，例如实施例二的图像处理装置10的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行图像处理装置10，以实现实施例一的图像处理方法。
实施例四
本实施例提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储图像处理装置10，被处理器执行时实现实施例一的图像处理方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
接收目标乳腺影像；
检测所述目标乳腺影像的成像模态是否为X射线成像模态、超声成像模态或磁共振成像模态；
当所述目标乳腺影像的成像模态为X射线成像模态时，则首先初步判断所述目标乳腺影像中是否含有乳腺病灶区域，若有，则获取与所述目标乳腺影像对应的参考乳腺影像，而后根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的位置信息；
当所述目标乳腺影像的成像模态为超声成像模态时，则首先利用预设的全卷积网络对所述目标乳腺影像进行处理，得到所述目标乳腺影像对应的预分割特征图，而后利用预设的RPN模型对所述预分割特征图进行处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息；
当所述目标乳腺影像的成像模态为磁共振成像模态时，则首先对所述目标乳腺影像进行预处理，而后利用预设的U-Net分割模型对经过预处理的目标乳腺影像进行分割处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息。
2.根据权利要求1所述的图像处理方法，其特征在于，所述初步判断所述目标乳腺影像中是否含有乳腺病灶区域，包括：
利用预设的乳腺腺体分类模型对所述目标乳腺影像进行处理，得到所述目标乳腺影像中乳腺的腺体类型；
根据所述腺体类型确定所述乳腺病灶区域的病灶判定阈值；
利用预设的乳腺异常识别模型对所述目标乳腺影像进行处理，得到所述目标乳腺影像中乳腺异常的概率，并在所述概率大于所述病灶判定阈值时，初步判定所述目标乳腺影像中含有所述乳腺病灶区域。
3.根据权利要求1所述的图像处理方法，其特征在于，所述获取与所述目标乳腺影像对应的参考乳腺影像，包括：
当所述目标乳腺影像为头尾位钼靶影像时，则获取与所述目标乳腺影像对应的内侧斜视位钼靶影像为参考乳腺影像；
当所述目标乳腺影像为内侧斜视位钼靶影像时，则获取与所述目标乳腺影像对应的头尾位钼靶影像为参考乳腺影像。
4.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的位置信息，包括：
对所述目标乳腺影像进行边缘检测处理，得到所述目标乳腺影像中的乳腺区域，记为第一乳腺区域；
对所述参考乳腺影像进行边缘检测处理，得到所述参考乳腺影像中的乳腺区域，记为第二乳腺区域；
利用预设的特征金字塔网络模型对所述第一乳腺区域进行处理，得到所述第一乳腺区域中的乳腺特征图；
利用所述特征金字塔网络模型对所述第二乳腺区域进行处理，得到所述第二乳腺区域中的乳腺特征图；
利用预设的多实例学习网络模型对所述第一乳腺区域中的乳腺特征图和第二乳腺区域中的乳腺特征图进行处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息。
5.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的位置信息，包括：
利用预设的两路Faster R-CNN模型分别对所述目标乳腺影像和参考乳腺影像进行处理，得到所述目标乳腺影像和参考乳腺影像中乳腺病灶区域的初步位置；
利用预设的SENet模型对所述目标乳腺影像和参考乳腺影像中乳腺病灶区域的初步位置进行处理，得到所述目标乳腺影像中乳腺病灶区域的所述位置信息。
6.一种图像处理装置，其特征在于，包括：
影像接收模块，用于接收目标乳腺影像；
模态检测模块，用于检测所述目标乳腺影像的成像模态是否为X射线成像模态、超声成像模态或磁共振成像模态；
X射线影像处理模块，用于在所述目标乳腺影像的成像模态为X射线成像模态时，初步判断所述目标乳腺影像中是否含有乳腺病灶区域，若有，则获取与所述目标乳腺影像对应的参考乳腺影像，而后根据所述目标乳腺影像和所述参考乳腺影像，获取所述目标乳腺影像中乳腺病灶区域的位置信息；
超声影像处理模块，用于在所述目标乳腺影像的成像模态为超声成像模态时，利用预设的全卷积网络对所述目标乳腺影像进行处理，得到所述目标乳腺影像对应的预分割特征图，而后利用预设的RPN模型对所述预分割特征图进行处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息；
磁共振影像处理模块，用于在所述目标乳腺影像的成像模态为磁共振成像模态时，对所述目标乳腺影像进行预处理，而后利用预设的U-Net分割模型对经过预处理的目标乳腺影像进行分割处理，得到所述目标乳腺影像中乳腺病灶区域的位置信息。
7.根据权利要求6所述的图像处理装置，其特征在于，所述X射线影像处理模块还用于：
根据所述目标乳腺影像和所述参考乳腺影像，获取所述乳腺病灶区域的良恶性识别结果。
8.根据权利要求6所述的图像处理装置，其特征在于，所述超声影像处理模块还用于：
利用预设的感兴趣区域池化层对所述乳腺病灶区域进行归一化处理，得到固定尺寸的特征向量；
利用预设的分类网络对所述特征向量进行处理，得到所述乳腺病灶区域的良恶性识别结果。
9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010174819.5A CN111428709B (zh) | 2020-03-13 | 2020-03-13 | 图像处理方法、装置、计算机设备和存储介质 |
| PCT/CN2020/099474 WO2021179491A1 (zh) | 2020-03-13 | 2020-06-30 | 图像处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010174819.5A CN111428709B (zh) | 2020-03-13 | 2020-03-13 | 图像处理方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111428709A CN111428709A (zh) | 2020-07-17 |
| CN111428709B true CN111428709B (zh) | 2023-10-24 |
Family
ID=71553673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010174819.5A Active CN111428709B (zh) | 2020-03-13 | 2020-03-13 | 图像处理方法、装置、计算机设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111428709B (zh) |
| WO (1) | WO2021179491A1 (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111986165B (zh) * | 2020-07-31 | 2024-04-09 | 北京深睿博联科技有限责任公司 | 一种乳房图像中的钙化检出方法及装置 |
| CN112308853A (zh) * | 2020-10-20 | 2021-02-02 | 平安科技（深圳）有限公司 | 电子设备、医学图像指标生成方法、装置及存储介质 |
| CN112348082B (zh) * | 2020-11-06 | 2021-11-09 | 上海依智医疗技术有限公司 | 深度学习模型构建方法、影像处理方法及可读存储介质 |
| CN112489788A (zh) * | 2020-11-25 | 2021-03-12 | 武汉大学中南医院 | 一种用于癌症诊断的多模态影像分析方法及系统 |
| CN112200161B (zh) * | 2020-12-03 | 2021-03-02 | 北京电信易通信息技术股份有限公司 | 一种基于混合注意力机制的人脸识别检测方法 |
| CN112529900B (zh) * | 2020-12-29 | 2024-03-29 | 广州华端科技有限公司 | 匹配乳腺图像中roi的方法、装置、终端与存储介质 |
| CN112712093B (zh) * | 2021-01-11 | 2024-04-05 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 安检图像识别方法、装置、电子设备及存储介质 |
| CN113239951B (zh) * | 2021-03-26 | 2024-01-30 | 无锡祥生医疗科技股份有限公司 | 超声乳腺病灶的分类方法、装置及存储介质 |
| CN113191392B (zh) * | 2021-04-07 | 2023-01-24 | 山东师范大学 | 一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统 |
| CN113662573B (zh) * | 2021-09-10 | 2023-06-30 | 上海联影医疗科技股份有限公司 | 乳腺病灶定位方法、装置、计算机设备和存储介质 |
| CN114723670A (zh) * | 2022-03-10 | 2022-07-08 | 苏州鸿熙融合智能医疗科技有限公司 | 乳腺癌病变图片智能处理方法 |
| CN115937169A (zh) * | 2022-12-23 | 2023-04-07 | 广东创新科技职业学院 | 一种基于高分辨率和目标检测的虾苗计数方法、系统 |
| CN116416235B (zh) * | 2023-04-12 | 2023-12-05 | 北京建筑大学 | 一种基于多模态超声数据的特征区域预测方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013131547A1 (en) * | 2012-03-05 | 2013-09-12 | Brainlab Ag | Using different indicators for determining positional changes of a radiotherapy target |
| CN107945168A (zh) * | 2017-11-30 | 2018-04-20 | 上海联影医疗科技有限公司 | 一种医学图像的处理方法及医学图像处理系统 |
| CN108364006A (zh) * | 2018-01-17 | 2018-08-03 | 超凡影像科技股份有限公司 | 基于多模式深度学习的医学图像分类装置及其构建方法 |
| CN110738633A (zh) * | 2019-09-09 | 2020-01-31 | 西安电子科技大学 | 一种机体组织的三维图像处理方法及相关设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10769791B2 (en) * | 2017-10-13 | 2020-09-08 | Beijing Keya Medical Technology Co., Ltd. | Systems and methods for cross-modality image segmentation |
| CN109146848A (zh) * | 2018-07-23 | 2019-01-04 | 东北大学 | 一种融合多模态乳腺图像的计算机辅助参考系统及方法 |
| CN110807788B (zh) * | 2019-10-21 | 2023-07-21 | 腾讯科技（深圳）有限公司 | 医学图像处理方法、装置、电子设备及计算机存储介质 |
-
2020
- 2020-03-13 CN CN202010174819.5A patent/CN111428709B/zh active Active
- 2020-06-30 WO PCT/CN2020/099474 patent/WO2021179491A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013131547A1 (en) * | 2012-03-05 | 2013-09-12 | Brainlab Ag | Using different indicators for determining positional changes of a radiotherapy target |
| CN107945168A (zh) * | 2017-11-30 | 2018-04-20 | 上海联影医疗科技有限公司 | 一种医学图像的处理方法及医学图像处理系统 |
| CN108364006A (zh) * | 2018-01-17 | 2018-08-03 | 超凡影像科技股份有限公司 | 基于多模式深度学习的医学图像分类装置及其构建方法 |
| CN110738633A (zh) * | 2019-09-09 | 2020-01-31 | 西安电子科技大学 | 一种机体组织的三维图像处理方法及相关设备 |
Non-Patent Citations (1)
| Title |
|---|
| 人工智能在乳腺癌筛查与诊断中的研究现状;陈瑶等;中国普外基础与临床杂志;第26卷(第05期);第119-124页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021179491A1 (zh) | 2021-09-16 |
| CN111428709A (zh) | 2020-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428709B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN108010021B (zh) | 一种医学图像处理系统和方法 | |
| CN108464840B (zh) | 一种乳腺肿块自动检测方法及系统 | |
| CN110827242B (zh) | 一种基于卷积神经网络的颅内动脉瘤检测方法及系统 | |
| CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
| CN111028206A (zh) | 一种基于深度学习前列腺癌自动检测和分类系统 | |
| US20230410301A1 (en) | Machine learning techniques for tumor identification, classification, and grading | |
| KR20230059799A (ko) | 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델 | |
| Wu et al. | Ultrasound image segmentation method for thyroid nodules using ASPP fusion features | |
| CN114549462A (zh) | 基于视角解耦Transformer模型的病灶检测方法、装置、设备及介质 | |
| CN115222713A (zh) | 一种冠状动脉钙化积分的计算方法、装置及存储介质 | |
| CN110738633B (zh) | 一种机体组织的三维图像处理方法及相关设备 | |
| Kaliyugarasan et al. | Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI | |
| Tummala et al. | Liver tumor segmentation from computed tomography images using multiscale residual dilated encoder‐decoder network | |
| Yang et al. | AX-Unet: A deep learning framework for image segmentation to assist pancreatic tumor diagnosis | |
| CN112529900B (zh) | 匹配乳腺图像中roi的方法、装置、终端与存储介质 | |
| Lu et al. | Lumbar spine segmentation method based on deep learning | |
| Harrison et al. | State-of-the-art of breast cancer diagnosis in medical images via convolutional neural networks (cnns) | |
| CN115564763A (zh) | 甲状腺超声图像处理方法、装置、介质及电子设备 | |
| WO2022033598A1 (zh) | 乳房x射线图像获取方法、装置、计算机设备和存储介质 | |
| CN115482223A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN112862785B (zh) | Cta影像数据识别方法、装置及存储介质 | |
| CN112862786B (zh) | Cta影像数据处理方法、装置及存储介质 | |
| CN115294023A (zh) | 肝脏肿瘤自动分割方法及装置 | |
| CN114998582A (zh) | 一种冠脉血管的分割方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40032381 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |