CN109363698B - 一种乳腺影像征象识别的方法及装置 - Google Patents
一种乳腺影像征象识别的方法及装置 Download PDFInfo
- Publication number
- CN109363698B CN109363698B CN201811202695.6A CN201811202695A CN109363698B CN 109363698 B CN109363698 B CN 109363698B CN 201811202695 A CN201811202695 A CN 201811202695A CN 109363698 B CN109363698 B CN 109363698B
- Authority
- CN
- China
- Prior art keywords
- image
- focus
- convolution
- breast
- convolution layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000005075 mammary gland Anatomy 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 54
- 210000000481 breast Anatomy 0.000 claims abstract description 256
- 230000003902 lesion Effects 0.000 claims abstract description 171
- 238000000605 extraction Methods 0.000 claims abstract description 95
- 208000024891 symptom Diseases 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 50
- 238000011176 pooling Methods 0.000 description 25
- 238000001514 detection method Methods 0.000 description 21
- 238000007781 pre-processing Methods 0.000 description 18
- 238000013527 convolutional neural network Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 208000026310 Breast neoplasm Diseases 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 206010006187 Breast cancer Diseases 0.000 description 8
- 230000004913 activation Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013145 classification model Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 208000004434 Calcinosis Diseases 0.000 description 4
- 230000002308 calcification Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 210000004907 gland Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 208000031513 cyst Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003447 ipsilateral effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种乳腺影像征象识别的方法及装置，涉及机器学习技术领域，该方法包括：获取乳腺影像，以及所述乳腺影像中病灶的坐标；根据所述病灶的坐标从所述乳腺影像中确定包含所述病灶的感兴趣区域ROI；将所述ROI输入至第一特征提取模块中，确定出病灶征象的特征图像；将所述特征提取模块输出的特征图像输入至分类模块中，确定所述乳腺病灶的征象。
Description
技术领域
本发明实施例涉及机器学习技术领域，尤其涉及一种乳腺影像征象识别的方法及装置。
背景技术
目前，乳腺影像可以利用低剂量的X光检查人类的乳房，它能侦测各种乳房肿瘤、囊肿等病灶，有助于早期发现乳癌，并降低其死亡率。乳腺影像是一种有效的检测方法，可以用于诊断多种女性乳腺相关的疾病。当然，其中最主要的使用还是在乳腺癌，尤其是早期乳腺癌的筛查上。因此若能有效的检测出乳腺影像上各种乳腺癌早期表现，对医生的帮助是巨大的。一般来说乳腺影像上对病灶的诊断往往基于病灶征象的检测。病灶征象一般分为钙化、肿块/不对称、以及结构扭曲。对于同一病灶，这些征象可能同时存在。
当患者拍摄乳腺影像之后，医生通过个人经验对乳腺影像进行诊断，该方法效率较低，并且存在较大的主观性。
发明内容
本发明实施例提供一种乳腺影像征象识别的方法及装置，用于解决现有技术中通过医生经验判断乳腺影像中征象的判断效率低，识别主观性较大，难以获得准确结果的问题。
本发明实施例提供了一种乳腺影像征象识别的方法，包括：
获取乳腺影像以及所述乳腺影像中病灶的坐标；
根据所述病灶的坐标从所述乳腺影像中确定包含所述病灶的感兴趣区域ROI；
将所述ROI输入至第一特征提取模块中，确定出病灶征象的特征图像；所述第一特征提取模块是对已标记乳腺病灶区域的病灶进行训练后确定的；所述第一特征提取模块包括K个卷积模块；所述K个卷积模块的每个卷积模块中依次包括第一卷积层、第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；K为正整数；
将所述特征提取模块输出的特征图像输入至分类模块中，确定所述乳腺病灶的征象。
一种可能的实现方式，所述根据所述病灶的坐标从所述乳腺影像中确定包含所述病灶的感兴趣区域ROI，包括：
以所述病灶的坐标为中心，向周围扩展第一预设距离，确定包含所述病灶的识别框，所述预设距离为所述病灶的半径的预设倍数；
若确定所述病灶的半径大于第二预设距离，则将第一预设距离扩大预设倍数；所述第二预设距离小于或等于所述第一预设距离。
一种可能的实现方式，所述第一特征提取模块还包括下采样模块；所述下采样模块包括所述第一卷积层、所述第二卷积层、池化层和第三卷积层；所述将所述乳腺影像输入至第一特征提取模块中，获取所述乳腺影像的特征图像，包括：
将所述第一特征提取模块输出的特征图像依次通过所述第一卷积层和所述第二卷积层和池化层，获得第一特征图像；
将所述第一特征提取模块输出的特征图像通过第三卷积层，获得第二特征图像；
将所述第一特征图像和所述第二特征图像，确定为所述下采样模块输出的特征图像。
一种可能的实现方式，所述获取所述乳腺影像中病灶的坐标，包括：
将所述乳腺影像输入至第二特征提取模块中，获取所述乳腺影像不同尺寸的特征图像；所述第二特征提取模块包括N个卷积模块；所述N个卷积模块为下采样卷积块或上采样卷积块；每个下采样卷积块或上采样卷积块提取的特征图像的尺寸均不同，所述N个卷积模块的每个卷积模块中包括第一卷积层、第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；N为正整数；
针对所述乳腺影像的不同尺寸的特征图像中的任意一个特征图像，从所述特征图像中确定出乳腺病灶识别框；
根据从各特征图像中确定出的乳腺病灶识别框，确定乳腺影像的乳腺病灶的坐标。
一种可能的实现方式，所述第一特征提取模块还包括第一卷积模块，所述第一卷积模块位于所述K个卷积模块之前；所述将所述乳腺影像输入至第一特征提取模块中，包括：
将所述乳腺影像输入至所述第一卷积模块中，所述第一卷积模块包括一个卷积层，一个BN层，一个Relu层和一个池化层；所述第一卷积模块的卷积核大小大于所述K个卷积模块中的卷积核的大小；
或者，所述第一卷积模块包括连续的多个卷积层，一个BN层，一个Relu层和一个池化层；所述第一卷积模块的卷积核大小与所述N个卷积模块中的最大的卷积核的大小相等。
本发明实施例提供了一种乳腺影像征象识别的装置，包括：
获取模块，用于获取乳腺影像以及所述乳腺影像中病灶的坐标；
处理模块，用于根据所述病灶的坐标从所述乳腺影像中确定包含所述病灶的感兴趣区域ROI；将所述ROI输入至第一特征提取模块中，确定出病灶征象的特征图像；所述第一特征提取模块是对已标记乳腺病灶区域的病灶进行训练后确定的；所述第一特征提取模块包括K个卷积模块；所述K个卷积模块的每个卷积模块中依次包括第一卷积层、第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；K为正整数；将所述特征提取模块输出的特征图像输入至分类模块中，确定所述乳腺病灶的征象。
一种可能的实现方式，所述处理模块，具体用于：
以所述病灶的坐标为中心，向周围扩展第一预设距离，确定包含所述病灶的识别框，所述预设距离为所述病灶的半径的预设倍数；所述识别框中的每一个像素包括距离信息，所述距离信息用于确定所述像素与所述病灶的坐标之间的距离。
一种可能的实现方式，所述第一特征提取模块还包括下采样模块；所述下采样模块包括所述第一卷积层、所述第二卷积层、池化层和第三卷积层；所述处理模块，具体用于：
将所述第一特征提取模块输出的特征图像依次通过所述第一卷积层和所述第二卷积层和池化层，获得第一特征图像；将所述第一特征提取模块输出的特征图像通过第三卷积层，获得第二特征图像；将所述第一特征图像和所述第二特征图像，确定为所述下采样模块输出的特征图像。
另一方面，本发明实施例提供了一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述任一项所述方法的步骤。
又一方面，本发明实施例提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行上述任一项所述方法的步骤。
本发明实施例中，由于提取乳腺影像的特征图像，并识别每一个特征图像中的乳腺，可以快速识别乳腺的病灶，提高了乳腺病灶识别的效率。另外，通过在第一特征提取模块中，设置第一卷积层输出的通道数减少，且第二卷积层输出的通道数增加至第一卷积层输入的通道数，使得卷积过程中，有效的保留了图像中的有效信息，在减少参数量的同时，提高了特征图像的提取的有效性，进而提高了检测乳腺影像中乳腺病灶征象的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的一种乳腺影像的示意图；
图1b为本发明实施例提供的一种乳腺影像的示意图；
图1c为本发明实施例提供的一种乳腺影像的示意图；
图1d为本发明实施例提供的一种乳腺影像的示意图；
图2为本发明实施例提供的一种乳腺影像病灶识别的方法的流程示意图；
图3为本发明实施例提供的一种乳腺影像征象识别的流程示意图；
图4为本发明实施例提供的一种乳腺影像征象识别的流程示意图；
图5为本发明实施例提供的一种乳腺影像征象识别的流程示意图；
图6为本发明实施例提供的一种乳腺影像征象识别的装置的结构示意图；
图7为本发明实施例提供的一种计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例中，以乳腺X射线影像为例，进行示例性的描述，其他影像在此不再赘述。乳腺影像可以是利用低剂量(约为0.7毫西弗)的X光检查人类(主要是女性)的乳房，它能侦测各种乳房肿瘤、囊肿等病灶，有助于早期发现乳癌，并降低其死亡率。有一些国家提倡年长(一般为45周岁以上)的女性定期(间隔从一年到五年不等)进行乳腺摄影，以筛检出早期的乳腺癌。乳腺影像一般包含四份X光摄像，分别为2侧乳房的2种投照位(头尾位CC，内外侧斜位MLO)的四份乳腺影像，如图1a-d所示。
一般来说，乳腺筛查的目的是预防乳腺癌，因此当发现病灶时医生往往希望能够对其乳腺癌恶性可能进行诊断。一般来说影像上对病灶的诊断往往基于病灶征象的检测。病灶征象一般分为钙化、肿块/不对称、以及结构扭曲。对于同一病灶，这些征象可能同时存在。
现有方法一般分为两类，一类是通过一些图形学的方法，尝试从影像中通过一些基础特征，提取出相关的钙化、肿块等病灶征象。方法简单，但是同时很难获得病灶的语义信息，从而使提取的准确性较差，容易受各种良性相似征象干扰。鲁棒性也较差。另一种方式是通过一些非监督的方法，尝试使用机器从图像中提取病灶的一些特征，但是这些特征缺乏实际的语义信息，医生很难根据这些信息进行判别诊断，这种征象医学价值不大。
基于上述问题，本发明实施例提供一种乳腺影像征象识别的方法，如图2所示，包括：
步骤201：获取乳腺影像；
步骤202：将所述乳腺影像输入至第二特征提取模块中，获取所述乳腺影像不同尺寸的特征图像；
其中，所述第二特征提取模块包括N个卷积模块；所述N个卷积模块为下采样卷积块和/或上采样卷积块；每个下采样卷积块或上采样卷积块提取的特征图像的尺寸均不同，所述N个卷积模块的每个卷积模块中包括第一卷积层、第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；N大于0；
举例来说，该第二特征提取模块可以包括三个下采样卷积块。每个卷积模块可以包括第一卷积层和第二卷积层，第一卷积层包括卷积层，与卷积层连接的归一化(BatchNormalization，BN)层、与BN层连接的激活函数层。
为增加第二特征提取模块的深度，一种可能的实现方式，特征图像经过卷积模块的步骤可以包括：
步骤一：将所述卷积模块输入的特征图像输入至所述第一卷积层获得第一特征图像；第一卷积层的卷积核可以为N1*m*m*N2；N1为所述卷积模块输入的特征图像的通道数，N2为第一特征图像的通道数；N1>N2；
步骤二：将第一特征图像输入至所述第二卷积层获得第二特征图像；第一卷积层的卷积核可以为N2*m*m*N3；N3为第二特征图像的通道数；N3>N2；
步骤三：将所述卷积模块输入的特征图像和所述第二特征图像合并后，确定为所述卷积模块输出的特征图像。
在一种具体的实施例中，第二卷积层输出的特征图像的个数可以与第一卷积层输入的特征图像的个数相等。即，N1＝N2。
上文所描述的乳腺影像对应的特征图像的确定方式仅为一种可能的实现方式，在其它可能的实现方式中，也可以通过其它方式确定乳腺影像对应的特征图像，具体不做限定。
需要说明的是：本发明实施例中的激活函数可以为多种类型的激活函数，比如，可以为线性整流函数(Rectified Linear Unit,ReLU)，具体不做限定；
由于本发明实施例中输入的图像为二维图像，因此，本发明实施例中的第二特征提取模块可以为(2Dimensions，2D)卷积神经网络中的特征提取模块，相应地，第一卷积层的卷积核大小可以为m*m、第二卷积层的卷积核大小可以为n*n；m和n可以相同也可以不同，在此不做限定；其中，m，n为大于或等于1的整数。第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数。
进一步的，为优化第二特征提取模块，一种可能的实现方式，所述第一卷积层和所述第二卷积层之间还包括第三卷积层；所述第三卷积层输入的特征图像为所述第一卷积层输出的图像，所述第三卷积层输出的特征图像为所述第二卷积层输入的图像。
其中，第三卷积层的卷积核大小可以为k*k，k与m，n可以相同，也可以不同，在此不做限定。
一个具体的实施例中，所述第一卷积层的卷积核的大小为3*3；所述第二卷积层的卷积核的大小为3*3；所述第三卷积层的卷积核的大小为1*1。
通过上述卷积核的设置方式，可以有效的提高特征提取的感知野，有利于提高腺体分型的准确度。
不同尺寸的特征图像可以为不同像素的特征图像，比如像素为500×500的特征图像与像素为1000×1000的特征图像为不同尺寸的特征图像。
可选地，采用预先训练好的乳腺病灶检测模型提取乳腺影像的不同尺寸的特征图像，模型是采用2D卷积神经网络对已标记的多个乳腺影像进行训练后确定的。
可选地，在提取乳腺影像的不同尺寸的特征图像之前，将图像缩放到特定尺寸，使各方向上像素与实际长度的比例尺一定。
另一种可能的实现方式，所述第二特征提取模块包括N/2个下采样卷积块和N/2个上采样卷积块；所述获取所述乳腺影像的不同尺寸的特征图像，包括：
将所述乳腺影像依次通过N/2个下采样卷积块提取N/2个所述乳腺影像的第一特征图像；
将第N/2个下采样卷积块输出的第一特征图像依次通过N/2个上采样卷积块提取N/2个所述乳腺影像的第二特征图像，每个上采样卷积块提取的第二特征图像的尺寸均不同；
将尺寸相同的第一特征图像和第二特征图像合并后，确定N个所述乳腺影像的不同尺寸的特征图像。
为提高特征提取的感知野，提高特征提取的性能，一种可能的实现方式，所述第二特征提取模块之前还包括特征预处理模块；所述特征预处理模块包括一个卷积层，一个BN层，一个Relu层和一个池化层；所述特征预处理模块的卷积核大小大于所述N个卷积模块中任一卷积模块的卷积核的大小。
优选的，所述卷积层的卷积核大小可以为7*7，间隔为2个像素。池化层为2*2的最大值池化。通过特征预处理模块，可以将图像面积迅速缩小，边长变为原有1/4，有效的提高特征图像的感知野，快速的提取浅层特征，有效的减少原始信息的损失。
一种可能的实现方式，所述特征预处理模块包括连续的多个卷积层，一个BN层，一个Relu层和一个池化层；所述特征预处理模块的卷积核大小与所述N个卷积模块中的最大的卷积核的大小相等。
特征图像经过特征预处理模块的步骤可以包括：将所述乳腺影像输入至特征预处理模块，获得预处理的特征图像；将所述预处理的特征图像作为所述第二特征提取模块的输入。
步骤203：针对所述乳腺影像的不同尺寸的特征图像中的任意一个特征图像，从所述特征图像中确定出乳腺病灶识别框。
可选地，采用预先训练好的乳腺病灶检测模型从特征图像中确定出乳腺病灶识别框，乳腺病灶检测模型是采用2D卷积神经网络对已标记乳腺病灶的多个乳腺影像进行训练后确定的。从特征图像中确定出的乳腺病灶识别框框选的区域并不一定都包含乳腺病灶，故需要根据乳腺病灶识别框的乳腺病灶概率对各乳腺病灶识别框进行筛选，将乳腺病灶概率小于预设阈值的乳腺病灶识别框删除，其中，乳腺病灶概率为乳腺病灶识别框框选的区域为乳腺病灶的概率。
步骤204：根据从各特征图像中确定出的乳腺病灶识别框，确定乳腺影像的乳腺病灶。
具体的，确定出乳腺病灶识别框之后，将识别框作为乳腺影像中的乳腺病灶输出，输出的乳腺病灶参数包括乳腺病灶的中心坐标以及乳腺病灶的直径，其中乳腺病灶的中心坐标为乳腺病灶识别框的中心坐标，乳腺病灶的直径为乳腺病灶识别框的中心至其中一个面的距离。
由于提取乳腺影像的不同尺寸的特征图像，并识别每一个特征图像中的乳腺病灶，故既能检测到大尺寸的乳腺病灶，同时也能检测到小尺寸的乳腺病灶，提高了乳腺病灶检测的精度。其次，相较于人工判断乳腺影像中是否存在乳腺病灶的方法，本申请中自动检测乳腺病灶的方法有效地提高了乳腺病灶检测效率。
由于从各个特征图像中确定出的乳腺病灶识别框可能存在多个识别框对应一个乳腺病灶，若直接根据乳腺病灶识别框的数量确定乳腺影像中乳腺病灶的数量，将导致检测得到的乳腺病灶数量存在很大偏差，故需要将各特征图像转化为同一尺寸的特征图像并对齐，然后将从各特征图像中确定出的乳腺病灶识别框进行筛选，并将筛选后的乳腺病灶识别框确定为乳腺影像中的乳腺病灶。
为进一步提高乳腺病灶的识别准确率，一种可能的实现方式，所述乳腺影像包括不同侧乳房的不同投照位的乳腺影像；所述将所述乳腺影像输入至第二特征提取模块，包括：
将所述乳腺影像的同一投照位的另一侧乳房的乳腺影像作为所述乳腺影像的参考影像，输入至所述第二特征提取模块，获得参考特征图像；
所述针对所述乳腺影像的不同尺寸的特征图像中的任意一个特征图像，从所述特征图像中确定出乳腺病灶识别框；包括：
确定所述特征图像中的第一乳腺病灶识别框和所述参考特征图像中的第二乳腺病灶识别框；
若确定所述第一乳腺病灶识别框和所述第二乳腺病灶识别框的位置和/或大小都相同，则删除所述第一乳腺病灶识别框。
下面具体介绍一下通过卷积神经网络对已标记乳腺病灶的多个乳腺影像进行训练确定乳腺病灶检测模型过程，如图3所示，包括以下步骤：
步骤301，获取乳腺影像作为训练样本。
具体地，可以将获取的多幅乳腺影像直接作为训练样本，也可以对获取的多幅乳腺影像进行增强操作，扩大训练样本的数据量，增强操作包括但不限于：随机上下左右平移设定像素(比如0～20像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)。
步骤302，人工标记训练样本中的乳腺病灶。
可以通过医生等专业人员对训练样本中的乳腺病灶进行标记，标记的内容包括乳腺病灶的中心坐标以及乳腺病灶的直径。具体地，可以由多名医生对乳腺病灶进行标注，并通过多人投票合成的方式确定最终的乳腺病灶以及乳腺病灶参数，结果用掩码图的方式保存。需要说明的是，人工标记训练样本中乳腺病灶与训练样本的增强操作不分先后，可以先人工标记训练样本中的乳腺病灶，然后再将标记乳腺病灶的训练样本进行增强操作，也可以先将训练样本进行增强操作，然后人工对增强操作后的训练样本进行标记。
步骤303，将训练样本输入至第二特征提取模块对应的卷积神经网络中进行训练，确定乳腺病灶检测模型。
该卷积神经网络的结构包括输入层、下采样卷积块、上采样卷积块、目标检测网络以及输出层。将训练样本进行预处理后输入上述卷积神经网络，将输出的乳腺病灶与预先标记的训练样本的掩码图进行损失函数计算，然后采用反向传播算法以及sgd优化算法反复迭代，确定乳腺病灶检测模型。
进一步地，采用上述训练确定的乳腺病灶检测模型提取乳腺影像的不同尺寸的特征图像的过程，包括以下步骤：
步骤一，将乳腺影像依次通过N/2个下采样卷积块提取N/2个乳腺影像的第一特征图像。
每个下采样卷积块提取的第一特征图像的尺寸均不同，N/2大于0。
可选地，下采样卷积块包括第一卷积层和第二卷积层、组连接层、前后连接层、下采样层。
步骤二，将第N/2个下采样卷积块输出的第一特征图像依次通过N/2个上采样卷积块提取N/2个乳腺影像的第二特征图像。
每个上采样卷积块提取的第二特征图像的尺寸均不同。
可选地，上采样卷积块包括卷积层、组连接层、前后连接层、上采样层以及合成连接层。卷积层包括卷积运算，batch normalization层和RELU层。
步骤三，将尺寸相同的第一特征图像和第二特征图像合并后，确定N/2个乳腺影像的不同尺寸的特征图像。
通过上采样卷积块中的合成连接层将尺寸相同的第一特征图像和第二特征图像合并确定不同尺寸的特征图像。可选地，在合并时，是将第一特征图像和第二特征图像的通道数进行合并，合并后得到的特征图像的尺寸与第一特征图像和第二特征图像的尺寸相同。
进一步地，采用上述训练确定的乳腺病灶检测模型从特征图像中确定出乳腺病灶识别框的过程，包括以下步骤：
步骤一，针对特征图像中任意一个像素，以像素为中心，向四周扩散确定第一区域。
步骤二，在第一区域中根据预设规则设置多个预设框。
由于乳腺病灶的形状不一，故可以将预设框设置为多种形状。预设规则可以是将预设框中心与第一区域的中心重合，也可以是预设框的角与第一区域的角重合等等。
在一个具体的实施例中，乳腺病灶预设框选取的方式为，对于每个特征图的每个像素，认为其为一个锚点。在每个锚点上设置多个长宽比不一的预设框。对于每个预设框，通过对特征图进行卷积，预测一个坐标和尺寸的偏移，以及置信度，根据坐标和尺寸的偏移，以及置信度，确定预设框。
步骤三，针对任意一个预设框，预测预设框与第一区域的位置偏差。
步骤四，根据位置偏差调整预设框后确定乳腺病灶识别框，并预测乳腺病灶识别框的乳腺病灶概率。
其中，乳腺病灶概率为乳腺病灶识别框框选的区域为乳腺病灶的概率。通过预测预设框与第一区域的位置偏差，然后采用位置偏差调整预设框确定识别框，以使识别框更多地框选特征图中的乳腺病灶区域，提高乳腺病灶检测的准确性。
具体的训练过程可以包括：将训练数据影像输入上述的卷积神经网络进行计算。传入时，将病灶不同窗宽窗位的多张影像传入。训练时，在网络输出的预测框中，选取置信度最高的预测框集和与训练样本重合最大的预测框集合。将预测框置信度和样本标注的交叉熵，与训练样本的标注病灶和预测框的偏移的交叉熵，两者的加权和作为loss函数。通过反向传播的方法训练，训练的优化算法使用带有动量和阶梯衰减的sgd算法。
在算法使用过程中，通过预处理模块，将输入图像预处理，以提高特征提取的效果。
一种可能的实现方式，所述获取乳腺影像，包括：
步骤一、将拍摄的乳腺影像图像，根据高斯滤波，确定所述乳腺影像图像的二值化图像；
步骤二、获取所述二值化图像的连通区域，将连通区域中最大的区域对应于所述乳腺影像图像的区域作为分割出的乳腺图像；
步骤三、将所述分割出的乳腺图像添加至预设的图像模板中，生成预处理后的乳腺图像；并将所述预处理后的乳腺图像作为输入至所述第二特征提取模块的乳腺影像。
具体的，预处理模块的输入为以Dicom格式形式保存的乳腺影像。预处理可以包括腺体分割和图像归一化；腺体分割的主要目的是将输入的乳腺影像中的乳腺部分提取出，剔除其他无关的干扰的图像；图像归一化是将图像化归为统一格式图像，具体的，包括：
在步骤一中，具体的二值化的阈值可以通过求图像灰度直方图的最大类间距方法获得。
在步骤二中，可以将二值化的结果，通过漫水法(flood fill)获得独立的区域块，并统计每个区域块的面积；将面积最大的区域块对应的图像上的区域，作为分割出来的乳腺图像。
在步骤三中，预设的图像模板可以为黑色底板的正方形图像；具体的，可以将获得的分割出来的乳腺图像，通过加黑边填充的方式扩充为1:1的正方形图像。
另外，输出的乳腺影像可以通过像素缩放，例如，可以将图像差值缩放到4096像素×4096像素大小。
针对乳腺，由于乳腺照射剂量以及拍摄的外界因素等原因，可以通过调整乳腺的窗宽窗位，以获得更好的乳腺影像的识别效果。一种可能的实现方式，所述将所述乳腺影像输入至第二特征提取模块之前，还包括：
获取所述乳腺影像的原始文件；
在所述乳腺影像的原始文件中选取至少一组窗宽窗位，并获取所述至少一组窗宽窗位对应的图片格式的乳腺影像；
根据所述至少一组窗宽窗位对应的图片格式的乳腺影像，作为输入至所述第二特征提取模块的乳腺影像。
在一个具体实施例中，可以通过三组窗宽窗位，将dicom图像转换为png图像，例如，第一组窗宽为4000，窗位2000；第二组窗宽为1000；窗位为2000；第三组窗宽为1500，窗位为1500。
本发明实施例提供的一种乳腺影像征象识别的方法，如图4所示，该流程的具体步骤包括：
步骤401，获取乳腺影像中病灶的坐标。
乳腺影像为二维图像，病灶的二维坐标可以为病灶内的点的二维坐标(比如病灶中心点的二维坐标)，也可以是病灶表面的点的二维坐标。病灶包括但不限于乳腺病灶。
步骤402，根据病灶的坐标从乳腺影像中确定包含乳腺病灶的感兴趣区域ROI。
具体地，以病灶的二维坐标为中心，向周围扩展预设距离，确定包含病灶的识别框，预设距离为乳腺病灶的半径的预设倍数，比如乳腺病灶半径的1.25倍。然后截取此识别框，并插值缩放到一定的大小。
一种可能的实现方式，可以对识别框中每一个像素附加一个空间信息通道，输出感兴趣区域ROI，空间信息通道为像素与病灶的二维坐标之间的距离。
一种可能的实现方式，若确定所述病灶的半径大于第二预设距离，则将第一预设距离扩大预设倍数；所述第二预设距离小于或等于所述第一预设距离。例如，第一预设距离为768*768大小影像；可以根据病灶坐标，切取768*768大小影像作为ROI。第二预设距离可以为640*640；如果病灶大小超过640*640，则将ROI调整为尺寸×1.2倍；再缩放至768*768大小影像。
步骤403，根据ROI以及乳腺病灶检测模型从乳腺影像中分割出乳腺病灶区域。
乳腺病灶检测模型是采用卷积神经网络对已标记乳腺病灶区域的多幅乳腺影像进行训练后确定的。
在一种可能的实施方式中，可以直接将乳腺影像输入乳腺病灶检测模型，通过乳腺病灶检测模型输出乳腺病灶区域。
在另一种可能的实施方式中，可以将乳腺影像中的ROI输入乳腺病灶检测模型，通过乳腺病灶检测模型输出乳腺病灶区域。具体地，ROI的大小可以根据实际情况进行设定，由于根据乳腺病灶的二维坐标从乳腺影像中确定包含乳腺病灶的感兴趣区域ROI，故缩小了检测乳腺病灶的区域，相较于将整张乳腺影像输入乳腺病灶检测模型确定乳腺病灶区域的方法，将ROI输入乳腺病灶检测模型确定乳腺病灶区域能有效提高乳腺病灶区域的检测精度和检测效率。
本发明实施例提供的一种乳腺影像征象的识别方法的流程，该流程可以由乳腺影像征象识别的装置执行，如图5所示，该流程的具体步骤包括：
步骤501，获取乳腺影像以及所述乳腺影像中病灶的坐标；
步骤502，根据所述病灶的坐标从所述乳腺影像中确定包含所述病灶的感兴趣区域ROI；
步骤503：将所述ROI输入至第一特征提取模块中，确定出病灶征象的特征图像；
其中，所述第一特征提取模块包括K个卷积模块；所述N个卷积模块的每个卷积模块中依次包括第一卷积层和第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；K为正整数；
步骤504：将所述第一特征提取模块输出的特征图像输入至分类模块中，确定所述乳腺病灶的征象。
本发明实施例采用的第一特征提取模块，是通过对大量数据进行训练得到的，从而使得通过模型得到的结果较为合理，且具有一定的科学依据。相比于传统的医生诊断的方式而言，能够降低因医生水平差异导致的诊断误差率，从而提高确定乳腺病灶征象的准确性；进一步地，由于提取乳腺影像中每个ROI的特征图像，可以快速识别乳腺病灶的征象，提高了乳腺病灶征象识别的效率。另外，通过在第一特征提取模块中，设置第一卷积层输出的通道数减少，且第二卷积层输出的通道数增加，使得卷积过程中，有效的保留了图像中的有效信息，在减少参数量的同时，提高了特征图像的提取的有效性，进而提高了检测乳腺病灶征象的准确性。
第一特征提取模块的参数可以是通过对多个患者的乳腺图像进行训练得到的。其中，第一特征提取模块可以为浅层特征提取模块，也可以为深层特征提取模块，即该特征提取模块可以包括K个卷积模块，且K小于或等于第一阈值。本领域技术人员可以根据经验和实际情况来设定第一阈值的具体数值，此处不做限定。
为了根据更加清楚地描述上文所涉及的第一特征提取模块，该第一特征提取模块可以包括三个卷积模块。每个卷积模块可以包括第一卷积层和第二卷积层，第一卷积层包括卷积层，与卷积层连接的归一化(Batch Normalization，BN)层、与BN层连接的激活函数层。
为增加第一特征提取模块的深度，一种可能的实现方式，特征图像经过卷积模块的步骤可以包括：
步骤一：将所述卷积模块输入的特征图像输入至所述第一卷积层获得第一特征图像；第一卷积层的卷积核可以为N1*m*m*N2；N1为所述卷积模块输入的特征图像的通道数，N2为第一特征图像的通道数；N1>N2；
步骤二：将第一特征图像输入至所述第二卷积层获得第二特征图像；第一卷积层的卷积核可以为N2*m*m*N3；N3为第二特征图像的通道数；N3>N2；
步骤三：将所述卷积模块输入的特征图像和所述第二特征图像合并后，确定为所述卷积模块输出的特征图像。
一种可能的实现方式，N1＝N2。
上文所描述的乳腺影像对应的特征图像的确定方式仅为一种可能的实现方式，在其它可能的实现方式中，也可以通过其它方式确定乳腺影像对应的特征图像，具体不做限定。
需要说明的是：本发明实施例中的激活函数可以为多种类型的激活函数，比如，可以为线性整流函数(Rectified Linear Unit,ReLU)，具体不做限定；
由于本发明实施例中输入的图像为二维图像，因此，本发明实施例中的第一特征提取模块可以为(2Dimensions，2D)卷积神经网络中的第一特征提取模块，相应地，第一卷积层的卷积核大小可以为m*m、第二卷积层的卷积核大小可以为n*n；m和n可以相同也可以不同，在此不做限定；其中，m，n为大于或等于1的整数。第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数。
进一步的，为优化第一特征提取模块，一种可能的实现方式，所述第一卷积层和所述第二卷积层之间还包括第三卷积层；所述第三卷积层输入的特征图像为所述第一卷积层输出的图像，所述第三卷积层输出的特征图像为所述第二卷积层输入的图像。
其中，第三卷积层的卷积核大小可以为k*k，k与m，n可以相同，也可以不同，在此不做限定。
一个具体的实施例中，所述第一卷积层的卷积核的大小为3*3；所述第二卷积层的卷积核的大小为3*3；所述第三卷积层的卷积核的大小为1*1。
通过上述卷积核的设置方式，可以有效的提高特征提取的感知野，有利于提高病灶征象的准确度。
为进一步提高第一特征提取模块的鲁棒性，一种可能的实现方式，所述第一特征提取模块中还包括L个下采样模块；所述L个下采样模块中的每个下采样模块包括所述第一卷积层、所述第二卷积层、池化层和第四卷积层；特征图像经过下采样模块的步骤可以包括：
步骤一：将所述下采样模块的特征图像依次输入至所述第一卷积层和所述第二卷积层和池化层获得第一特征图像；
在一个具体的实施例中，可以将输入特征图像依次通过第一卷积层和第四卷积层，输出的特征图像的通道数减少，再从通过一个第二卷积层将特征图像增大回原有特征图的通道数。将第二卷积层输出的特征图像，输入至池化层，通过2*2的平均池化将特征图像的像素尺寸缩小到输入的一半，获得第一特征图像。
步骤二：将所述下采样模块的特征图像输入至第四卷积层，获得第二特征图像；
具体的，所述第四卷积层的卷积步长设为2，第二特征图像的像素尺寸为输入的特征图像的像素尺寸一半；卷积核大小可以与第一卷积层大小相同，也可以不同，在此不做限定。
步骤三：将所述第一特征图像和所述第二特征图像合并后，确定为所述下采样模块输出的特征图像。
为提高特征提取的感知野，提高特征提取的性能，一种可能的实现方式，所述第一特征提取模块之前还包括特征预处理模块；所述特征预处理模块包括一个卷积层，一个BN层，一个Relu层和一个池化层；所述特征预处理模块的卷积核大小大于所述N个卷积模块中任一卷积模块的卷积核的大小。特征图像经过特征预处理模块的步骤可以包括：将所述乳腺影像输入至特征预处理模块，获得预处理的特征图像；将所述预处理的特征图像作为所述第一特征提取模块的输入。
优选的，所述卷积层的卷积核大小可以为5*5，间隔为2个像素。池化层为2*2的最大值池化。通过特征预处理模块，可以将图像面积迅速缩小，边长变为原有1/4，有效的提高特征图像的感知野。
本发明实施例提供的一种分类模块的结构，该分类模块包括平均池化层，dropout层，全连接层、和softmax层。待确诊患者对应的特征向量可以依次通过平均池化层，dropout层，全连接层进行计算后，再由softmax层进行分类后输出分类结果，从而得到患者的乳腺病灶征象。
具体的，首先通过全局平均池化层，将特征图提取成一个特征向量。再将特征向量通过一层dropout，全连接层和softmax层，获得一个二维的分类置信度向量(包括：钙化、肿块/不对称、以及结构扭曲)。每一位表示为此类型的置信度，且所有置信度的和为1。输出置信度最高的位，此位所代表的类型即为算法预测的乳腺征象类型。
需要说明的是，本发明实施例提供的分类模块仅为一种可能的结构，在其它示例中，本领域技术人员可以对发明实施例提供分类模块的内容进行修改，比如，分类模块可以包括2个全连接层，具体不做限定。
本发明实施例中，第一特征提取模块和分类模块可以作为一个神经网络分类模型进行训练，在训练神经网络分类模型的过程中，可以将多个患者对应的特征向量输入到初始的神经网络分类模型中，得到每个乳腺影像对应的预测腺体分型，并根据所述标注后的乳腺影像的乳腺病灶征象结果，进行反向训练，生成所述神经网络分类模型。
下面具体介绍一下通过神经网络分类模型训练确定乳腺病灶征象识别模型过程，包括以下步骤：
步骤一，获取乳腺影像作为训练样本。
具体地，可以将获取的多幅乳腺影像直接作为训练样本，也可以对获取的多幅乳腺影像进行增强操作，扩大训练样本的数据量，增强操作包括但不限于：随机上下左右平移设定像素(比如0～20像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)。
步骤二，人工标记训练样本中乳腺病灶区域中的征象。
可以通过医生等专业人员对训练样本进行标记。具体地，可以由多名医生对乳腺病灶区域的征象进行标注，并通过多人投票合成的方式确定最终的乳腺病灶区域，结果用掩码图的方式保存。需要说明的是，人工标记训练样本中乳腺病灶区域的征象与训练样本的增强操作不分先后，可以先人工标记训练样本中的乳腺病灶区域，然后再将标记乳腺病灶区域的征象的训练样本进行增强操作，也可以先将训练样本进行增强操作，然后人工对增强操作后的训练样本进行标记。
步骤三，将训练样本输入卷积神经网络进行训练，确定乳腺病灶征象识别模型。
在一种可能的实施方式中，可以直接将已标记乳腺病灶区域的征象的乳腺影像作为训练样本输入卷积神经网络进行训练，确定乳腺病灶征象识别模型。
在另一种可能的实施方式中，可以对已标记乳腺病灶区域的乳腺影像进行处理后作为训练样本输入卷积神经网络进行训练，确定乳腺病灶征象识别模型，具体过程为：针对任意一个已标记乳腺病灶区域的乳腺影像，人工标记该乳腺影像中乳腺病灶的二维坐标，然后以乳腺病灶的二维坐标为中心，向周围扩展预设距离，确定包含乳腺病灶的识别框，预设距离为乳腺病灶的半径的预设倍数。对识别框中每一个像素附加一个空间信息通道，确定感兴趣区域ROI，空间信息通道为像素与病灶的二维坐标之间的距离。之后再将已标记乳腺病灶区域的ROI作为训练样本输入卷积神经网络进行训练，确定乳腺病灶征象识别模型。
通过增加距离信息，即像素与病灶的二维坐标之间的距离，可以根据病灶的区域进一步的提高病灶中的征象识别的准确度。
进一步地，采用上述训练确定的乳腺病灶征象识别模型确定乳腺影像中的乳腺病灶征象的过程，包括以下步骤：
步骤一，将所ROI依次通过K个第一特征提取块提取ROI的特征图像，K大于0。
步骤二，将ROI的特征图像通过全局平均池化层，将特征图提取成一个特征向量。再将特征向量通过一层dropout，全连接层和sigmoid层，获得一个二维的分类置信度向量。
步骤三，根据ROI的二维的分类置信度向量确定乳腺病灶的征象。
其中，获得的二维的分类置信度向量中，每一位表示为一个类型的置信度。对各个类型设定切选阈值，将置信度大于阈值的类别作为此病灶的征象。即，输出高于阈值的位，此位所代表的类型即为模型预测的病灶征象。
基于相同的技术构思，本发明实施例提供了一种乳腺影像征象识别的装置，如图6所示，该装置可以执行乳腺影像征象识别的方法的流程，该装置包括获取模块601和处理模块602。
获取模块601，用于获取乳腺影像以及所述乳腺影像中病灶的坐标；
处理模块602，用于根据所述病灶的坐标从所述乳腺影像中确定包含所述病灶的感兴趣区域ROI；将所述ROI输入至第一特征提取模块中，确定出病灶征象的特征图像；所述第一特征提取模块是对已标记乳腺病灶区域的病灶进行训练后确定的；所述第一特征提取模块包括K个卷积模块；所述K个卷积模块的每个卷积模块中依次包括第一卷积层、第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；K为正整数；将所述特征提取模块输出的特征图像输入至分类模块中，确定所述乳腺病灶的征象。
一种可能的实现方式，所述处理模块602，具体用于：
以所述病灶的坐标为中心，向周围扩展第一预设距离，确定包含所述病灶的识别框，所述预设距离为所述病灶的半径的预设倍数；所述识别框中的每一个像素包括距离信息，所述距离信息用于确定所述像素与所述病灶的坐标之间的距离。
一种可能的实现方式，所述第一特征提取模块还包括下采样模块；所述下采样模块包括所述第一卷积层、所述第二卷积层、池化层和第三卷积层；所述处理模块602，具体用于：
将所述第一特征提取模块输出的特征图像依次通过所述第一卷积层和所述第二卷积层和池化层，获得第一特征图像；将所述第一特征提取模块输出的特征图像通过第三卷积层，获得第二特征图像；将所述第一特征图像和所述第二特征图像，确定为所述下采样模块输出的特征图像。
一种可能的实现方式，所述处理模块602还用于：
将所述乳腺影像输入至第二特征提取模块中，获取所述乳腺影像不同尺寸的特征图像；所述第二特征提取模块包括N个卷积模块；所述N个卷积模块为下采样卷积块或上采样卷积块；每个下采样卷积块或上采样卷积块提取的特征图像的尺寸均不同，所述N个卷积模块的每个卷积模块中包括第一卷积层、第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；N为正整数；针对所述乳腺影像的不同尺寸的特征图像中的任意一个特征图像，从所述特征图像中确定出乳腺病灶识别框；根据从各特征图像中确定出的乳腺病灶识别框，确定乳腺影像的乳腺病灶的坐标。
一种可能的实现方式，所述第一特征提取模块还包括第一卷积模块，所述第一卷积模块位于所述K个卷积模块之前；所述处理模块，具体用于：
将所述乳腺影像输入至所述第一卷积模块中，所述第一卷积模块包括一个卷积层，一个BN层，一个Relu层和一个池化层；所述第一卷积模块的卷积核大小大于所述K个卷积模块中的卷积核的大小；或者，所述第一卷积模块包括连续的多个卷积层，一个BN层，一个Relu层和一个池化层；所述第一卷积模块的卷积核大小与所述N个卷积模块中的最大的卷积核的大小相等。
本发明实施例提供了一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行检测乳腺病灶的方法的步骤。如图7所示，为本发明实施例中所述的计算设备的硬件结构示意图，该计算设备具体可以为台式计算机、便携式计算机、智能手机、平板电脑等。具体地，该计算设备可以包括存储器801、处理器802及存储在存储器上的计算机程序，所述处理器802执行所述程序时实现上述实施例中的任一检测乳腺病灶的方法的步骤。其中，存储器801可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器802提供存储器801中存储的程序指令和数据。
进一步地，本申请实施例中所述的计算设备还可以包括输入装置803以及输出装置804等。输入装置803可以包括键盘、鼠标、触摸屏等；输出装置804可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)，触摸屏等。存储器801，处理器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图7中以通过总线连接为例。处理器802调用存储器801存储的程序指令并按照获得的程序指令执行上述实施例提供的检测乳腺病灶的方法。
本发明实施例还提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在计算设备上运行时，使得所述计算设备执行检测乳腺病灶的方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (4)
1.一种乳腺影像征象识别的装置，其特征在于，包括：
获取模块，用于获取乳腺影像以及所述乳腺影像中病灶的坐标；
处理模块，用于根据所述病灶的坐标从所述乳腺影像中确定包含所述病灶的感兴趣区域ROI，将所述ROI输入至第一特征提取模块中，确定出病灶征象的特征图像；所述第一特征提取模块是对己标记乳腺病灶区域的病灶进行训练后确定的；所述第一特征提取模块包括K个卷积模块，所述K个卷积模块的每个卷积模块中依次包括第一卷积层、第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；K为正整数；将所述第一特征提取模块输出的特征图像输入至分类模块中，确定所述乳腺病灶的征象;
其中，用于根据所述病灶的坐标从所述乳腺影像中确定包含所述病灶的感兴趣区域ROI，包括：以所述病灶的坐标为中心，向周围扩展第一预设距离，确定包含所述病灶的识别框，所述预设距离为所述病灶的半径的预设倍数；所述识别框中的每一个像素包括距离信息，所述距离信息用于确定所述像素与所述病灶的坐标之间的距离。
2.如权利要求1所述的装置，其特征在于，所述获取所述乳腺影像中病灶的坐标，包括：
将所述乳腺影像输入至第二特征提取模块中，获取所述乳腺影像不同尺寸的特征图像；所述第二特征提取模块包括N个卷积模块，所述N个卷积模块为下采样卷积块或上采样卷积块；每个下采样卷积块或上采样卷积块提取的特征图像的尺寸均不同，所述N个卷积模块的每个卷积模块中包括第一卷积层、第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；N为正整数；
针对所述乳腺影像的不同尺寸的特征图像中的任意一个特征图像，从该任意一个特征图像中确定出乳腺病灶识别框；
根据从各特征图像中确定出的乳腺病灶识别框，确定乳腺影像的乳腺病灶的坐标。
3.一种计算设备，其特征在于，包括至少一个处理单元以及至少一个存储单元，其中，
所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行以下步骤：
获取乳腺影像以及所述乳腺影像中病灶的坐标；
根据所述病灶的坐标从所述乳腺影像中确定包含所述病灶的感兴趣区域ROI，将所述ROI输入至第一特征提取模块中，确定出病灶征象的特征图像；所述第一特征提取模块是对己标记乳腺病灶区域的病灶进行训练后确定的；所述第一特征提取模块包括K个卷积模块；所述K个卷积模块的每个卷积模块中依次包括第一卷积层、第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；K为正整数；
将所述第一特征提取模块输出的特征图像输入至分类模块中，确定所述乳腺病灶的征象；
其中，用于根据所述病灶的坐标从所述乳腺影像中确定包含所述病灶的感兴趣区域ROI，包括：以所述病灶的坐标为中心，向周围扩展第一预设距离，确定包含所述病灶的识别框，所述预设距离为所述病灶的半径的预设倍数；所述识别框中的每一个像素包括距离信息，所述距离信息用于确定所述像素与所述病灶的坐标之间的距离。
4.一种计算机可读存储介质，其特征在于，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行以下步骤：
获取乳腺影像以及所述乳腺影像中病灶的坐标；
根据所述病灶的坐标从所述乳腺影像中确定包含所述病灶的感兴趣区域ROI，将所述ROI输入至第一特征提取模块中，确定出病灶征象的特征图像；所述第一特征提取模块是对己标记乳腺病灶区域的病灶进行训练后确定的；所述第一特征提取模块包括K个卷积模块；所述K个卷积模块的每个卷积模块中依次包括第一卷积层、第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；K为正整数；
将所述第一特征提取模块输出的特征图像输入至分类模块中，确定所述乳腺病灶的征象；
其中，用于根据所述病灶的坐标从所述乳腺影像中确定包含所述病灶的感兴趣区域ROI，包括：以所述病灶的坐标为中心，向周围扩展第一预设距离，确定包含所述病灶的识别框，所述预设距离为所述病灶的半径的预设倍数；所述识别框中的每一个像素包括距离信息，所述距离信息用于确定所述像素与所述病灶的坐标之间的距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811202695.6A CN109363698B (zh) | 2018-10-16 | 2018-10-16 | 一种乳腺影像征象识别的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811202695.6A CN109363698B (zh) | 2018-10-16 | 2018-10-16 | 一种乳腺影像征象识别的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109363698A CN109363698A (zh) | 2019-02-22 |
| CN109363698B true CN109363698B (zh) | 2022-07-12 |
Family
ID=65400443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811202695.6A Active CN109363698B (zh) | 2018-10-16 | 2018-10-16 | 一种乳腺影像征象识别的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109363698B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109363697B (zh) * | 2018-10-16 | 2020-10-16 | 杭州依图医疗技术有限公司 | 一种乳腺影像病灶识别的方法及装置 |
| CN109447065B (zh) * | 2018-10-16 | 2020-10-16 | 杭州依图医疗技术有限公司 | 一种乳腺影像识别的方法及装置 |
| CN109902629A (zh) * | 2019-03-01 | 2019-06-18 | 成都康乔电子有限责任公司 | 一种复杂交通场景下的实时车辆目标检测模型 |
| CN110378876A (zh) * | 2019-06-18 | 2019-10-25 | 平安科技（深圳）有限公司 | 基于深度学习的影像识别方法、装置、设备及存储介质 |
| CN110390671B (zh) * | 2019-07-10 | 2021-11-30 | 杭州依图医疗技术有限公司 | 一种乳腺钙化检出的方法及装置 |
| CN110490262B (zh) * | 2019-08-22 | 2022-06-03 | 京东方科技集团股份有限公司 | 图像处理模型生成方法、图像处理方法、装置及电子设备 |
| CN111369532A (zh) * | 2020-03-05 | 2020-07-03 | 北京深睿博联科技有限责任公司 | 乳腺x射线影像的处理方法和装置 |
| CN111325743A (zh) * | 2020-03-05 | 2020-06-23 | 北京深睿博联科技有限责任公司 | 基于联合征象的乳腺x射线影像分析方法和装置 |
| CN111739640A (zh) * | 2020-06-22 | 2020-10-02 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 一种基于乳腺钼靶和mr图像影像组学的风险预测系统 |
| CN111899223A (zh) * | 2020-06-30 | 2020-11-06 | 上海依智医疗技术有限公司 | 一种确定乳房图像中回缩征象的方法及装置 |
| CN114820592B (zh) * | 2022-06-06 | 2023-04-07 | 北京医准智能科技有限公司 | 图像处理装置、电子设备及介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108771530B (zh) * | 2017-05-04 | 2021-03-30 | 深圳硅基智能科技有限公司 | 基于深度神经网络的眼底病变筛查系统 |
| CN108464840B (zh) * | 2017-12-26 | 2021-10-19 | 安徽科大讯飞医疗信息技术有限公司 | 一种乳腺肿块自动检测方法及系统 |
| CN108648178A (zh) * | 2018-04-17 | 2018-10-12 | 杭州依图医疗技术有限公司 | 一种影像结节检测的方法及装置 |
| CN108629764A (zh) * | 2018-04-17 | 2018-10-09 | 杭州依图医疗技术有限公司 | 一种确定肺结节良恶性的方法及装置 |
| CN108648192B (zh) * | 2018-05-17 | 2021-08-17 | 杭州依图医疗技术有限公司 | 一种检测结节的方法及装置 |
| CN109447065B (zh) * | 2018-10-16 | 2020-10-16 | 杭州依图医疗技术有限公司 | 一种乳腺影像识别的方法及装置 |
| CN111325743A (zh) * | 2020-03-05 | 2020-06-23 | 北京深睿博联科技有限责任公司 | 基于联合征象的乳腺x射线影像分析方法和装置 |
-
2018
- 2018-10-16 CN CN201811202695.6A patent/CN109363698B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109363698A (zh) | 2019-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109447065B (zh) | 一种乳腺影像识别的方法及装置 | |
| CN109363698B (zh) | 一种乳腺影像征象识别的方法及装置 | |
| CN109363699B (zh) | 一种乳腺影像病灶识别的方法及装置 | |
| CN109363697B (zh) | 一种乳腺影像病灶识别的方法及装置 | |
| EP3432263B1 (en) | Semantic segmentation for cancer detection in digital breast tomosynthesis | |
| US9480439B2 (en) | Segmentation and fracture detection in CT images | |
| US9262822B2 (en) | Malignant mass detection and classification in radiographic images | |
| JP4999163B2 (ja) | 画像処理方法および装置ならびにプログラム | |
| US7876947B2 (en) | System and method for detecting tagged material using alpha matting | |
| CN110046627B (zh) | 一种乳腺影像识别的方法及装置 | |
| Banerjee et al. | Automated 3D segmentation of brain tumor using visual saliency | |
| US20060177125A1 (en) | Computerized detection of breast cancer on digital tomosynthesis mammograms | |
| CN109461144B (zh) | 一种乳腺影像识别的方法及装置 | |
| Palma et al. | Detection of masses and architectural distortions in digital breast tomosynthesis images using fuzzy and a contrario approaches | |
| Sarosa et al. | Mammogram breast cancer classification using gray-level co-occurrence matrix and support vector machine | |
| US20120099771A1 (en) | Computer aided detection of architectural distortion in mammography | |
| CN113421240B (zh) | 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置 | |
| CN112053325A (zh) | 一种乳腺肿块图像处理和分类系统 | |
| Jiang et al. | Breast cancer detection and classification in mammogram using a three-stage deep learning framework based on PAA algorithm | |
| Hu et al. | A multi-instance networks with multiple views for classification of mammograms | |
| Pezeshki et al. | Mass classification of mammograms using fractal dimensions and statistical features | |
| CN111062909A (zh) | 乳腺肿块良恶性判断方法及设备 | |
| Hassan et al. | A deep learning model for mammography mass detection using mosaic and reconstructed multichannel images | |
| CN114565557A (zh) | 一种基于坐标注意力的对比增强能谱摄影分类方法及装置 | |
| CN113191393A (zh) | 基于多模态融合的对比增强能谱乳腺摄影分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |