CN109285147A - 用于乳腺钼靶钙化检测的图像处理方法及装置、服务器 - Google Patents
用于乳腺钼靶钙化检测的图像处理方法及装置、服务器 Download PDFInfo
- Publication number
- CN109285147A CN109285147A CN201811004034.2A CN201811004034A CN109285147A CN 109285147 A CN109285147 A CN 109285147A CN 201811004034 A CN201811004034 A CN 201811004034A CN 109285147 A CN109285147 A CN 109285147A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- residual
- calcification
- reconstructed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002308 calcification Effects 0.000 title claims abstract description 91
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 title claims abstract description 44
- 229910052750 molybdenum Inorganic materials 0.000 title claims abstract description 44
- 239000011733 molybdenum Substances 0.000 title claims abstract description 44
- 210000000481 breast Anatomy 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 12
- 241001269238 Data Species 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 9
- 239000004744 fabric Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 10
- 230000008569 process Effects 0.000 abstract description 6
- 208000004434 Calcinosis Diseases 0.000 description 80
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 5
- 229910052791 calcium Inorganic materials 0.000 description 5
- 239000011575 calcium Substances 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013480 data collection Methods 0.000 description 5
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 210000005075 mammary gland Anatomy 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000000692 Student's t-test Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了一种用于乳腺钼靶钙化检测的图像处理方法及装置、服务器。该方法包括：将目标图像通过重构网络得到第一残差图像；将所述第一残差图像通过T‑检测损失训练得到检测模型；将待识别图像输入所述检测模型得到第二残差图像；判断第二残差图像中是否有大于预设阈值的区域；以及如果判断第二残差图像中有大于预设阈值的区域，则将该区域作为乳腺钼靶中钙化区域的检测结果。本申请解决了检测识别效果较差的技术问题。通过本申请的方法，能够将具有较大重构误差的图像作为乳腺钼靶钙化检测的钙化点。
Description
技术领域
本申请涉及图像处理领域，具体而言，涉及一种用于乳腺钼靶钙化检测的图像处理方法及装置、服务器。
背景技术
乳腺癌是女性发病率和死亡率最高的癌症。早发现、早治疗是应对乳腺癌的重要手段。钙化是乳腺癌中最重要的早期征象之一，而钼靶是检查钙化最为有效的方式，因此研究基于乳腺钼靶的钙化检测算法非常必要。通常地，钙化点一般非常微小，多数小于10个像素，而且钙化点的密度、形态不一，周围的组织也较为复杂。
发明人发现，现有的钼靶钙化检测算法多数是基于传统的图像特征，如harr特征、形状、纹理特征等。也有采用基于深度学习的检测算法。这些算法都是基于判别式模型，即训练一个分类器，将钙化的图像块与正常的图像块区分开。这样做有两个问题，一是钙化点多数都非常微小，难以提取到有效的特征；二是钙化点数量远小于正常区域，这就导致训练分类器的正负样本极度不均衡，从而大大增加模型的优化的难度。
针对相关技术中检测识别效果较差的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种用于乳腺钼靶钙化检测的图像处理方法及装置、服务器，以解决检测识别效果较差的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种用于乳腺钼靶钙化检测的图像处理方法。
根据本申请的用于乳腺钼靶钙化检测的图像处理方法包括：将目标图像通过重构网络得到第一残差图像；将所述第一残差图像通过T-检测损失训练得到检测模型；将待识别图像输入所述检测模型得到第二残差图像；判断第二残差图像中是否有大于预设阈值的区域；以及如果判断第二残差图像中有大于预设阈值的区域，则将该区域作为乳腺钼靶中钙化区域的检测结果。
进一步地，将目标图像通过重构网络得到第一残差图像包括：将目标图像作为输入图像并通过重构网络后得到输出图像；将所述输入图像与所述输出图像相减，逐像素取绝对值后得到残差图像，其中，残差图像中的每一个像素，用于作为原始图像像素经过重构网络映射后，再减去原始像素的绝对值：
r(z)＝|f(z)-z|
z为原始图像像素值，f(z)为重构网络输出的像素值，r(z)为像素z对应的重构残差。
进一步地，判断第二残差图像中是否有大于预设阈值的区域包括：确定钙化像素点为正样本像素；确定正常像素点为负样本像素；通过所述重构网络生成两组残差图像数据；构建T检验损失函数，判断所述两组残差图像数据是否来自不同的分布并，并按照预设预设划分区域。
进一步地，通过所述重构网络生成两组残差图像数据还包括：将钙化像素点作为异常点，其重构误差尽可能大；将正常像素点作为正常点，其重构误差尽可能小。
进一步地，构建T检验损失函数还用于融合到端到端的估计当中。
为了实现上述目的，根据本申请的另一方面，提供了一种用于乳腺钼靶钙化检测的图像处理装置。
根据本申请的用于乳腺钼靶钙化检测的图像处理装置包括：输入模块，用于将目标图像通过重构网络得到第一残差图像；训练模块，用于将所述第一残差图像通过T-检测损失训练得到检测模型；识别模块，用于将待识别图像输入所述检测模型得到第二残差图像；阈值判断模块，用于判断第二残差图像中是否有大于预设阈值的区域；以及检测输出模块，用于如果判断第二残差图像中有大于预设阈值的区域，则将该区域作为乳腺钼靶中钙化区域的检测结果。
进一步地，所述输入模块包括：重构单元，用于将目标图像作为输入图像并通过重构网络后得到输出图像；残差单元，用于将所述输入图像与所述输出图像相减，逐像素取绝对值后得到残差图像，其中，残差图像中的每一个像素，用于作为原始图像像素经过重构网络映射后，再减去原始像素的绝对值：
r(z)＝|f(z)-z|
z为原始图像像素值，f(z)为重构网络输出的像素值，r(z)为像素z对应的重构残差。
进一步地，所述阈值判断模块包括：第一确定模块，用于确定钙化像素点为正样本像素；第二确定模块，用于确定正常像素点为负样本像素；残差生成模块，用于通过所述重构网络生成两组残差图像数据；构建模块，用于构建T检验损失函数，判断所述两组残差图像数据是否来自不同的分布，并按照预设预设划分区域。
进一步地，残差生成模块还用于：将钙化像素点作为异常点，其重构误差尽可能大；将正常像素点作为正常点，其重构误差尽可能小。
根据本申请的另一方面，提供了还提供了用于乳腺钼靶钙化检测的服务器，包括所述的图像处理装置。
在本申请实施例中，采用基于深度卷积神经网络做样本重构的方式，通过T检验损失函数，达到了两类分开重构的目的，从而实现了提高检测识别率的技术效果，进而解决了检测识别效果较差的技术问题。此外，经过试验验证，采用本申请的方法进行的乳腺钼靶钙化检测方法，击败了目前最有效的几种钙化检测算法。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的用于乳腺钼靶钙化检测的图像处理方法示意图；
图2是根据本申请实施例的用于乳腺钼靶钙化检测的图像处理方法示意图；
图3是根据本申请实施例的用于乳腺钼靶钙化检测的图像处理方法示意图；
图4是根据本申请实施例的用于乳腺钼靶钙化检测的图像处理方法示意图；
图5是根据本申请实施例的用于乳腺钼靶钙化检测的图像处理装置示意图；
图6是根据本申请实施例的用于乳腺钼靶钙化检测的图像处理装置示意图；以及
图7是根据本申请实施例的用于乳腺钼靶钙化检测的图像处理装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，该方法包括如下的步骤S102至步骤S110：
步骤S102，将目标图像通过重构网络得到第一残差图像；
步骤S104，将所述第一残差图像通过T-检测损失训练得到检测模型；
在训练阶段，通过输入钼靶图像，以及相应的钙化标记信息。对于每个钙化点的像素，和每个正常组织的像素，经过重构网络，得到残差像素，然后使用T检验损失训练。
步骤S106，将待识别图像输入所述检测模型得到第二残差图像；
步骤S108，判断第二残差图像中是否有大于预设阈值的区域；
步骤S110，如果判断第二残差图像中有大于预设阈值的区域，则将该区域作为乳腺钼靶中钙化区域的检测结果。
在测试阶段，输入钼靶图像，经过训练好的重构网络，可以得到残差图。残差图中，大于阈值δ的即为钙化区域：
Mraw(I)＝r(I)＞δ
其中阈值δ可由验证集合图像确定。Mraw(I)是一个指示检测出的钙化区域的二值图像。
需要注意的是，Mraw(I)会存在一些孔洞，和一些轻微的钙化间的粘连，通过简单的开闭即可消除这些错误：
M(I)＝close(open(Mraw(I)))
其中open和close分别表示形态学的开闭操作。最后从M(I)中提取出连通区域，即为不同的钙化点。
上述步骤中提供的用于乳腺钼靶钙化检测的图像处理方法基于深度重构残差学习的模型，从重构的角度重新审视了钼靶钙化检测的问题。由于正常样本大量存在，因此可以学习一种正常组织的重构模型，而钙化点稀少且不规则，作为异常点outliers难以被很好的重构。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中，采用基于深度卷积神经网络做样本重构的方式，通过T检验损失函数，达到了两类分开重构的目的，从而实现了提高检测识别率的技术效果，进而解决了检测识别效果较差的技术问题。
根据本申请实施例，作为本实施例中的优选，如图2所示，将目标图像通过重构网络得到第一残差图像包括：
步骤S202，将目标图像作为输入图像并通过重构网络后得到输出图像；
可以理解地，重构网络是一个卷积神经网络，将原始图像映射到重构图像空间。
步骤S204，将所述输入图像与所述输出图像相减，逐像素取绝对值后得到残差图像，其中，残差图像中的每一个像素，用于作为原始图像像素经过重构网络映射后，再减去原始像素的绝对值：r(z)＝|f(z)-z|，z为原始图像像素值，f(z)为重构网络输出的像素值，r(z)为像素z对应的重构残差。
将输入图像与输出图像相减，逐像素取绝对值，即得到残差图像。残差图像中的每一个像素，都可以看成是原始图像像素，经过重构网络映射后，再减去原始像素的绝对值：
r(z)＝|f(z)-z|
其中z为原始图像像素值，f(z)为重构网络输出的像素值，r(z)为像素z对应的重构残差。
根据本申请实施例，作为本实施例中的优选，如图3所示，判断第二残差图像中是否有大于预设阈值的区域包括：
步骤S302，确定钙化像素点为正样本像素；
步骤S304，确定正常像素点为负样本像素；
步骤S306，通过所述重构网络生成两组残差图像数据；
步骤S308，构建T检验损失函数，判断所述两组残差图像数据是否来自不同的分布并，并按照预设预设划分区域。
给定独立的正样本(钙化)像素和负样本(正常)像素之后，通过重构网络即可得到两类的残差，分别表示为：
构建T检验损失函数：
最大化如上定义的T检验损失函数可以等价地被看成最大化t-统计量。而t-统计量可以用于判断两组数据是否来自不同的分布。在本申请中的目标是准确地分类，即能够将钙化样本从负样本中以有监督的形式分离出来。因此，惩罚正样本的残差，使其足够大，从而远离负样本残差。
根据本申请实施例，作为本实施例中的优选，如图4所示，通过所述重构网络生成两组残差图像数据还包括：
步骤S402，将钙化像素点作为异常点，其重构误差尽可能大；
步骤S404，将正常像素点作为正常点，其重构误差尽可能小。
通过将钙化点当成异常点，这部分的重构误差尽可能大，从而训练的参数能够有效地将这部分异常点筛选出来。
同时，正常点的重构误差尽可能小，因为这部分图片没有任何异常点。通过这样的T-检验损失函数，就能够驱动模型拟合图片中的背景以及乳腺的正常部分，而不是那些钙化点。
具体地，这样在给出一张新的图片时，具有较大的重构误差的图片就因此可以被当成是钙化点了。
优选地，构建T检验损失函数还用于融合到端到端的估计当中。
除此之外，用于使得钙化点的重构误差足够大而负样本的重构误差足够小的，可以在直接用于在检测阶段检验处钙化点。因此，T-检验损失函数能够被融合到端到端的估计当中。
而相对地，区别于现有技术中最小化所有样本的重构误差的方法，容易使得学到的函数坍塌成恒等函数，也就是拟合的参数没有学到任何信息。通过上述优选的方法也就无法去捕捉钙化点最底层的信息，从而在检测阶段无法检出钙化点。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述用于乳腺钼靶钙化检测的图像处理方法的装置，如图5所示，该装置包括：输入模块10，用于将目标图像通过重构网络得到第一残差图像；训练模块20，用于将所述第一残差图像通过T-检测损失训练得到检测模型；识别模块30，用于将待识别图像输入所述检测模型得到第二残差图像；阈值判断模块40，用于判断第二残差图像中是否有大于预设阈值的区域；以及检测输出模块50，用于如果判断第二残差图像中有大于预设阈值的区域，则将该区域作为乳腺钼靶中钙化区域的检测结果。
在训练阶段，通过输入钼靶图像，以及相应的钙化标记信息。对于每个钙化点的像素，和每个正常组织的像素，经过重构网络，得到残差像素，然后使用T检验损失训练。
在测试阶段，输入钼靶图像，经过训练好的重构网络，可以得到残差图。残差图中，大于阈值δ的即为钙化区域：
Mraw(I)＝r(I)＞δ
其中阈值δ可由验证集合图像确定。Mraw(I)是一个指示检测出的钙化区域的二值图像。
需要注意的是，Mraw(I)会存在一些孔洞，和一些轻微的钙化间的粘连，通过简单的开闭即可消除这些错误：
M(I)＝close(open(Mraw(I)))
其中open和close分别表示形态学的开闭操作。最后从M(I)中提取出连通区域，即为不同的钙化点。
上述模块中提供的用于乳腺钼靶钙化检测的图像处理方法基于深度重构残差学习的模型，从重构的角度重新审视了钼靶钙化检测的问题。由于正常样本大量存在，因此可以学习一种正常组织的重构模型，而钙化点稀少且不规则，作为异常点outliers难以被很好的重构。
根据本申请实施例，作为本实施例中的优选，如图6所示，所述输入模块10包括：重构单元101，用于将目标图像作为输入图像并通过重构网络后得到输出图像；残差单元102，用于将所述输入图像与所述输出图像相减，逐像素取绝对值后得到残差图像，其中，残差图像中的每一个像素，用于作为原始图像像素经过重构网络映射后，再减去原始像素的绝对值：
r(z)＝|f(z)-z|
z为原始图像像素值，f(z)为重构网络输出的像素值，r(z)为像素z对应的重构残差。
根据本申请实施例，作为本实施例中的优选，如图7所示，所述阈值判断模块40包括：第一确定模块401，用于确定钙化像素点为正样本像素；第二确定模块402，用于确定正常像素点为负样本像素；残差生成模块403，用于通过所述重构网络生成两组残差图像数据；构建模块404，用于构建T检验损失函数，判断所述两组残差图像数据是否来自不同的分布，并按照预设预设划分区域。
给定独立的正样本(钙化)像素和负样本(正常)像素之后，通过重构网络即可得到两类的残差，分别表示为：
构建T检验损失函数：
最大化如上定义的T检验损失函数可以等价地被看成最大化t-统计量。而t-统计量可以用于判断两组数据是否来自不同的分布。在本申请中的目标是准确地分类，即能够将钙化样本从负样本中以有监督的形式分离出来。因此，惩罚正样本的残差，使其足够大，从而远离负样本残差。
根据本申请实施例，作为本实施例中的优选，残差生成模块还用于：将钙化像素点作为异常点，其重构误差尽可能大；将正常像素点作为正常点，其重构误差尽可能小。
通过将钙化点当成异常点，这部分的重构误差尽可能大，从而训练的参数能够有效地将这部分异常点筛选出来。
同时，正常点的重构误差尽可能小，因为这部分图片没有任何异常点。通过这样的T-检验损失函数，就能够驱动模型拟合图片中的背景以及乳腺的正常部分，而不是那些钙化点。
具体地，这样在给出一张新的图片时，具有较大的重构误差的图片就因此可以被当成是钙化点了。
本发明的实现原理如下：
(1)重构网络
重构网络是一个卷积神经网络，将原始图像映射到重构图像空间。下面以一个9层的编码-解码网络为例，进行说明。编码网络由2层步长为2的卷积层，5个步长为1的卷积层组成，其中第一层包含32个7×7的卷积核，后四层分别包含64个3×3的卷积核。解码网络由2层步长为1/2的卷积层组成，第一层包含64个3×3的卷积核，第二层包含1个7×7的卷积核。所有的卷积层后面都接着批归一化(Batch Normalization)层和线性整流单元(ReLU)。需要注意的是，本申请方法并不局限于该网络结构，只要是输入输出通道数相同的卷积神经网络都可以满足要求，上述仅作为一个示例结构，本领域技术人员能够根据不同的场景进行卷积神经网络的选择。
将输入图像与输出图像相减，逐像素取绝对值，即得到残差图像。残差图像中的每一个像素，都可以看成是原始图像像素，经过重构网络映射后，再减去原始像素的绝对值：
r(z)＝|f(z)-z|
其中z为原始图像像素值，f(z)为重构网络输出的像素值，r(z)为像素z对应的重构残差。
(2)T-检验损失
首先明确两样本T-检验的概念。给定两组满足正态分布的变量和本申请可以通过如下的两样本T-检验来决定x的均值是否大于y的均值：
其中，H0和H1分别表示零假设和备择假设，和分别表示两组变量的均值。相应地，本申请可以生成如下的t-统计量：
其中，Sx和Sy表示两组变量的方差，Nx和Ny分别表示两组变量的个数。本申请选择拒绝H0假设当且仅当：
t≥tv，α
其中α是使得在H0假设意义下上述不等式成立的概率。
给定独立的正样本(钙化)像素和负样本(正常)像素之后，通过重构网络即可得到正负样本像素的残差，分别表示为：
本申请继而定义如下的T-检验损失函数：
这里面阈值超参数β表示正负样本的均值之间的距离；λp和λn是正则化参数，表示负样本残差中最大的Nnv个值，即
其中1{x}为指示函数：
v为分位参数，即难例挖掘的比例。本申请中选取的是0.0001。
最大化如上定义的T检验损失函数可以等价地被看成最大化t-统计量。而t-统计量可以用于判断两组数据是否来自不同的分布。本申请的目标是准确地分类，即能够将钙化样本从负样本中以有监督的形式分离出来。因此，本申请希望惩罚正样本的残差，使其足够大，从而远离负样本残差。
更具体地，本申请这里把钙化点当成异常点，本申请希望这部分的重构误差尽可能大，从而训练的参数能够有效地将这部分异常点筛选出来。同时，本申请希望正常点的重构误差尽可能小，因为这部分图片没有任何异常点。通过这样的T-检验损失函数，本申请能够驱动模型拟合图片中的背景以及乳腺的正常部分，而不是那些钙化点。这样在给出一张新的图片时，具有较大的重构误差的图片就因此可以被当成是钙化点了。
除了这部分之外，本申请额外地惩罚了和惩罚它们的目的是使得模型参数的估计更加稳定。这是因为过大的和值意味着正负像素残差分布更广，这些残差值也容易过大或者过小，会造成不稳定的现象。
而相对地，传统最小化所有样本的重构误差的方法，容易使得学到的函数坍塌成恒等函数，也就是拟合的参数没有学到任何信息。这样的方法也就无法去捕捉钙化点最底层的信息，从而在检测阶段无法检出钙化点。而本申请的T-检验损失由于是任务驱动，目标就是把钙化点当成异常点，是这部分在重构的时候误差尽可能大，因此便能够像异常点检测一样将它们检验出来。
除此之外，用于使得钙化点的重构误差足够大而负样本的重构误差足够小的模型参数，可以在直接用于在检测阶段检验处钙化点。因此，本申请的T检验损失函数能够被融合到端到端的估计当中。
(3)模型细节
训练阶段，输入钼靶图像，以及相应的钙化标记信息。对于每个钙化点的像素，和每个正常组织的像素，经过重构网络，得到残差像素，然后使用T检验损失训练。
测试阶段，输入钼靶图像，经过训练好的重构网络，可以得到残差图。残差图中，大于阈值δ的即为钙化区域：
Mraw(I)＝r(I)＞δ
其中阈值δ可由验证集合图像确定。Mraw(I)是一个指示检测出的钙化区域的二值图像。一般来说，Mraw(I)会存在一些孔洞，和一些轻微的钙化间的粘连，通过简单的开闭即可消除这些错误：
M(I)＝close(open(Mraw(I)))
其中open和close分别表示形态学的开闭操作。最后从M(I)中提取出连通区域，即为不同的钙化点。
(4)实验阶段
本申请在公开数据集InBreast[Inbreast:toward a full field digitalmammographic database.Academic Radiology19(2)(2012)236-248]和私有数据集上面，与目前主流的方法对比了结果。其中方法[6]Lu,Z.,Carneiro,G.,Dhungel,N.,Bradley,A.P.:Automated detection of individual micro-calcifications from mammogramsusing a multi-stage cascade approach.arXiv:1610.02251(2016)基于传统的Harr特征和RUSBoost分类器[Seiert,C.,Khoshgoftaar,T.M.,Van Hulse,J.,Napolitano,A.:Rusboost:Im-
proving classification performance when training data is skewed.In:International Conference on Pattern Recognition.(2012)1-4]。Faster RCNN+VGG16/4表示基于Faster RCNN检测算法[9]和VGG网络[Simonyan,K.,Zisserman,A.:Very deepconvolutional networks for large-scale image recognition.In:InternationalConference on Learning Representations.(2015)]的4倍下采样结构的结果。相应的，Faster RCNN+VGG16/8表示基于Faster RCNN检测算法[Ren,S.,He,K.,Girshick,R.,Sun,J.:Faster r-cnn:towards real-time object detection with region proposalnetworks.In:International Conference on Neural Information ProcessingSystems.(2015)91-99]和VGG网络[Simonyan,K.,Zisserman,A.:Very deepconvolutional networks for large-scale image recognition.In:InternationalConference on Learning Representations.(2015)]的8倍下采样结构的结果。InBreast数据集包括115个病例，410张钼靶图像，6880个已标注的钙化点。表格1中汇报了5折交叉验证的结果。可以看到，本申请的方法击败了目前最有效的几种钙化检测算法。
表格1 在InBreast数据集的结果(％)
为了进一步验证算法的有效性，本申请建立了一个私有数据集，由439个病例，1799张图像组成，由两位10年资以上的放射科医生，共同标记了7588个钙化点。本申请随机选择了339个病例1386张图像共计5479个钙化点作为训练样本，50个病例208张图像1129个钙化点作为验证集，50个病例205张图像980个钙化点作为测试集。表格2展示了私有数据集的对比结果，可以看到本申请的方法远远超越了主流的检测算法。
表格2 在私有数据集的结果(％)
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种用于乳腺钼靶钙化检测的图像处理方法，其特征在于，包括：
将目标图像通过重构网络得到第一残差图像；
将所述第一残差图像通过T-检测损失训练得到检测模型；
将待识别图像输入所述检测模型得到第二残差图像；
判断第二残差图像中是否有大于预设阈值的区域；以及
如果判断第二残差图像中有大于预设阈值的区域，则将该区域作为乳腺钼靶中钙化区域的检测结果。
2.根据权利要求1所述的图像处理方法，其特征在于，将目标图像通过重构网络得到第一残差图像包括：
将目标图像作为输入图像并通过重构网络后得到输出图像；
将所述输入图像与所述输出图像相减，逐像素取绝对值后得到残差图像，
其中，残差图像中的每一个像素，用于作为原始图像像素经过重构网络映射后，再减去原始像素的绝对值：
r(z)＝|f(z)-z|
z为原始图像像素值，f(z)为重构网络输出的像素值，r(z)为像素z对应的重构残差。
3.根据权利要求1所述的图像处理方法，其特征在于，判断第二残差图像中是否有大于预设阈值的区域包括：
确定钙化像素点为正样本像素；
确定正常像素点为负样本像素；
通过所述重构网络生成两组残差图像数据；
构建T检验损失函数，判断所述两组残差图像数据是否来自不同的分布并，并按照预设预设划分区域。
4.根据权利要求3所述的图像处理方法，其特征在于，通过所述重构网络生成两组残差图像数据还包括：
将钙化像素点作为异常点，其重构误差尽可能大；
将正常像素点作为正常点，其重构误差尽可能小。
5.根据权利要求3所述的图像处理方法，其特征在于，构建T检验损失函数还用于融合到端到端的估计当中。
6.一种用于乳腺钼靶钙化检测的图像处理装置，其特征在于，包括：
输入模块，用于将目标图像通过重构网络得到第一残差图像；
训练模块，用于将所述第一残差图像通过T-检测损失训练得到检测模型；
识别模块，用于将待识别图像输入所述检测模型得到第二残差图像；
阈值判断模块，用于判断第二残差图像中是否有大于预设阈值的区域；以及
检测输出模块，用于如果判断第二残差图像中有大于预设阈值的区域，则将该区域作为乳腺钼靶中钙化区域的检测结果。
7.根据权利要求6所述的图像处理装置，其特征在于，所述输入模块包括：
重构单元，用于将目标图像作为输入图像并通过重构网络后得到输出图像；
残差单元，用于将所述输入图像与所述输出图像相减，逐像素取绝对值后得到残差图像，
其中，残差图像中的每一个像素，用于作为原始图像像素经过重构网络映射后，再减去原始像素的绝对值：
r(z)＝|f(z)-z|
z为原始图像像素值，f(z)为重构网络输出的像素值，r(z)为像素z对应的重构残差。
8.根据权利要求6所述的图像处理装置，其特征在于，所述阈值判断模块包括：
第一确定模块，用于确定钙化像素点为正样本像素；
第二确定模块，用于确定正常像素点为负样本像素；
残差生成模块，用于通过所述重构网络生成两组残差图像数据；
构建模块，用于构建T检验损失函数，判断所述两组残差图像数据是否来自不同的分布，并按照预设预设划分区域。
9.根据权利要求6所述的图像处理装置，其特征在于，残差生成模块还用于：
将钙化像素点作为异常点，其重构误差尽可能大；
将正常像素点作为正常点，其重构误差尽可能小。
10.一种用于乳腺钼靶钙化检测的服务器，其特征在于，包括如权利要求6至9所述的图像处理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811004034.2A CN109285147B (zh) | 2018-08-30 | 2018-08-30 | 用于乳腺钼靶钙化检测的图像处理方法及装置、服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811004034.2A CN109285147B (zh) | 2018-08-30 | 2018-08-30 | 用于乳腺钼靶钙化检测的图像处理方法及装置、服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109285147A true CN109285147A (zh) | 2019-01-29 |
| CN109285147B CN109285147B (zh) | 2020-12-29 |
Family
ID=65183229
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811004034.2A Active CN109285147B (zh) | 2018-08-30 | 2018-08-30 | 用于乳腺钼靶钙化检测的图像处理方法及装置、服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109285147B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110021016A (zh) * | 2019-04-01 | 2019-07-16 | 数坤（北京）网络科技有限公司 | 一种钙化检测方法 |
| CN110473186A (zh) * | 2019-02-14 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 一种基于医学图像的检测方法、模型训练的方法及装置 |
| CN111325266A (zh) * | 2020-02-18 | 2020-06-23 | 慧影医疗科技（北京）有限公司 | 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备 |
| CN113509191A (zh) * | 2021-03-05 | 2021-10-19 | 北京赛迈特锐医疗科技有限公司 | 乳腺钼靶x线影像的分析方法、装置及设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1194045A (zh) * | 1995-07-25 | 1998-09-23 | 好乐思治疗公司 | 计算机辅助疾病诊断方法 |
| US20090171236A1 (en) * | 2007-12-11 | 2009-07-02 | Epi-Sci, Llc | Electrical bioimpedance analysis as a biomarker of breast density and/or breast cancer risk |
| US20110207156A1 (en) * | 2008-10-29 | 2011-08-25 | The Regents Of The University Of Colorado | Biomarkers for Diagnosis of Breast Cancer |
| CN102938013A (zh) * | 2011-08-15 | 2013-02-20 | 株式会社东芝 | 医用图像处理装置及医用图像处理方法 |
| US20160341712A1 (en) * | 2013-10-23 | 2016-11-24 | Brigham And Women's Hospital, Inc. | System and method for analyzing tissue intra-operatively using mass spectrometry |
| CN106326931A (zh) * | 2016-08-25 | 2017-01-11 | 南京信息工程大学 | 基于深度学习的乳腺钼靶图像自动分类方法 |
| CN107798679A (zh) * | 2017-12-11 | 2018-03-13 | 福建师范大学 | 乳腺钼靶图像乳房区域分割与钙化点检测方法 |
| CN107886514A (zh) * | 2017-11-22 | 2018-04-06 | 浙江中医药大学 | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 |
| CN108416360A (zh) * | 2018-01-16 | 2018-08-17 | 华南理工大学 | 基于乳腺钼靶钙化特征的癌症诊断系统及方法 |
-
2018
- 2018-08-30 CN CN201811004034.2A patent/CN109285147B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1194045A (zh) * | 1995-07-25 | 1998-09-23 | 好乐思治疗公司 | 计算机辅助疾病诊断方法 |
| US20090171236A1 (en) * | 2007-12-11 | 2009-07-02 | Epi-Sci, Llc | Electrical bioimpedance analysis as a biomarker of breast density and/or breast cancer risk |
| US20110207156A1 (en) * | 2008-10-29 | 2011-08-25 | The Regents Of The University Of Colorado | Biomarkers for Diagnosis of Breast Cancer |
| CN102938013A (zh) * | 2011-08-15 | 2013-02-20 | 株式会社东芝 | 医用图像处理装置及医用图像处理方法 |
| US20160341712A1 (en) * | 2013-10-23 | 2016-11-24 | Brigham And Women's Hospital, Inc. | System and method for analyzing tissue intra-operatively using mass spectrometry |
| CN106326931A (zh) * | 2016-08-25 | 2017-01-11 | 南京信息工程大学 | 基于深度学习的乳腺钼靶图像自动分类方法 |
| CN107886514A (zh) * | 2017-11-22 | 2018-04-06 | 浙江中医药大学 | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 |
| CN107798679A (zh) * | 2017-12-11 | 2018-03-13 | 福建师范大学 | 乳腺钼靶图像乳房区域分割与钙化点检测方法 |
| CN108416360A (zh) * | 2018-01-16 | 2018-08-17 | 华南理工大学 | 基于乳腺钼靶钙化特征的癌症诊断系统及方法 |
Non-Patent Citations (4)
| Title |
|---|
| AYA F.KHALAF等: "Novel features for microcalcification detection in digital mammogram images based on wavelet and statistical analysis", 《IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 * |
| OLAF RONNEBERGER等: "U-Net:Convolutional Networks for Biomedical Image Segmentation", 《INTERNATIONAL CONFERENCE ON MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION》 * |
| RAVI K.SAMALA等: "Deep-learning convolution neural network for computer-aided detection of microcalcifications in digital breast tomosynthesis", 《SPIE MEDICAL IMAGING》 * |
| 车琳琳: "基于钼靶X线影像的乳腺微钙化点检测和良恶性识别算法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473186A (zh) * | 2019-02-14 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 一种基于医学图像的检测方法、模型训练的方法及装置 |
| CN110473186B (zh) * | 2019-02-14 | 2021-02-09 | 腾讯科技（深圳）有限公司 | 一种基于医学图像的检测方法、模型训练的方法及装置 |
| CN110021016A (zh) * | 2019-04-01 | 2019-07-16 | 数坤（北京）网络科技有限公司 | 一种钙化检测方法 |
| CN111325266A (zh) * | 2020-02-18 | 2020-06-23 | 慧影医疗科技（北京）有限公司 | 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备 |
| CN111325266B (zh) * | 2020-02-18 | 2023-07-21 | 慧影医疗科技(北京)股份有限公司 | 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备 |
| CN113509191A (zh) * | 2021-03-05 | 2021-10-19 | 北京赛迈特锐医疗科技有限公司 | 乳腺钼靶x线影像的分析方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109285147B (zh) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109285147A (zh) | 用于乳腺钼靶钙化检测的图像处理方法及装置、服务器 | |
| CN109685776B (zh) | 一种基于ct图像的肺结节检测方法及系统 | |
| CN107123123B (zh) | 基于卷积神经网络的图像分割质量评价方法 | |
| CN111488921B (zh) | 一种全景数字病理图像智能分析系统及方法 | |
| CN106778604B (zh) | 基于匹配卷积神经网络的行人再识别方法 | |
| CN112101451B (zh) | 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法 | |
| Angelina et al. | Image segmentation based on genetic algorithm for region growth and region merging | |
| CN111814704B (zh) | 基于级联注意力与点监督机制的全卷积考场目标检测方法 | |
| CN110322438B (zh) | 结核分枝杆菌自动检测模型的训练方法及自动检测系统 | |
| CN110135319A (zh) | 一种异常行为检测方法及其系统 | |
| CN110309781B (zh) | 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法 | |
| CN110766051A (zh) | 一种基于神经网络的肺结节形态学分类方法 | |
| CN108764085A (zh) | 基于生成对抗网络的人群计数方法 | |
| CN104331710B (zh) | 开关状态识别系统 | |
| CN110852316A (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN109767422A (zh) | 基于深度学习的管道检测识别方法、存储介质及机器人 | |
| CN105976383A (zh) | 一种基于极限学习机图像识别的输电设备故障诊断方法 | |
| CN110123347A (zh) | 用于乳腺钼靶的图像处理方法及装置 | |
| CN108305253A (zh) | 一种基于多倍率深度学习的病理全切片诊断方法 | |
| CN109815800A (zh) | 基于回归算法的目标检测方法及系统 | |
| CN109829881A (zh) | 基于深度学习的鸟巢检测方法及系统 | |
| CN109785288A (zh) | 基于深度学习的输电设备缺陷检测方法及系统 | |
| CN108171119B (zh) | 基于残差网络的sar图像变化检测方法 | |
| CN109815798A (zh) | 无人机图像处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190722 Address after: 102200 Unit 3, Unit 3, Unit 309, Building 4, Courtyard 42, Qibei Road, North Qijia Town, Changping District, Beijing Applicant after: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. Applicant after: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. Address before: 100080 Area A, 21th Floor, Zhonggang International Plaza, 8 Haidian Street, Haidian District, Beijing Applicant before: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| CB02 | Change of applicant information |
Address after: Room 705, 8 Building 1818-2 Wenyi West Road, Yuhang District, Hangzhou City, Zhejiang Province, 311100 Applicant after: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. Applicant after: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. Address before: 102200 Unit 3, Unit 3, Unit 309, Building 4, Courtyard 42, Qibei Road, North Qijia Town, Changping District, Beijing Applicant before: BEIJING SHENRUI BOLIAN TECHNOLOGY Co.,Ltd. Applicant before: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Image processing method, device, and server for detecting breast molybdenum target calcification Effective date of registration: 20231007 Granted publication date: 20201229 Pledgee: Guotou Taikang Trust Co.,Ltd. Pledgor: SHENZHEN DEEPWISE BOLIAN TECHNOLOGY Co.,Ltd. Registration number: Y2023980059614 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |