CN106780451A - X射线、超声、红外图像融合乳腺肿块图像检测方法 - Google Patents

Abstract

本发明公开了一种X射线、超声、红外图像融合乳腺肿块图像检测方法，主要解决由于单幅乳腺肿块图像信息来源单一，信息欠精确的技术问题。其实现为：对乳腺X线图像，超声图像与红外乳腺图像进行融合；对融合后的乳腺图像预处理，去噪；对去噪后的乳腺图像的三类融合图像，用方形网格覆盖法，分割出乳腺区域；对分割出乳腺区域的乳腺图像进行小波图像增强，使肿块与背景区域明显区分开来；用基于Top—hat的形态学方法检测乳腺区域中的肿块，用于辅助医生早期诊断。本发明将多种乳腺检查图像进行融合，提高了信息丰富度，获得更精确的诊断信息，对图像分析处理检测出肿块，利于乳腺癌的早期发现与诊治，为医生早期诊断提供图像依据。

Description

X射线、超声、红外图像融合乳腺肿块图像检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像融合处理，具体是一种X射线、超声、红外图像融合乳腺肿块图像检测方法，可用于乳腺癌的早期诊断的图像分析。

背景技术

乳腺癌是一种常见的恶性肿瘤，严重威胁着全世界妇女的健康甚至生命。据有关资料介绍，自20世纪70年代末开始，乳腺癌发病数一直位居女性肿瘤首位，并且在全球每年约以2％的速度递增。美国8名妇女一生中就会有1人患乳腺癌。中国不是乳腺癌的高发国家，但近年我国乳腺癌发病率的增长速度却高出高发国家1～2个百分点。据国家癌症中心和卫生部疾病预防控制局2012年公布的2009年乳腺癌发病数据显示：全国肿瘤登记地区乳腺癌发病率位居女性恶性肿瘤的第1位，女性乳腺癌发病率(粗率)全国合计为42.55/10万，城市为51.91/10万，农村为23.12/10万。在我国，随着人们物质生活水平的提高，乳腺癌的发病率和死亡率也有所上升，而且城市人口乳腺癌死亡率明显高于农村人口死亡率。一般来说，35岁以下的女性为乳腺癌低发人群，但40岁以上女性发病率明显上升。可见，乳腺癌已经是一个全球性的健康问题。

近年来，随着科学技术的发展，乳腺癌的诊断技术和治疗方法都有了较大的提高。较为常见的主要有钼靶软X射线检查、超声显像检查、热图像检查、近红外线扫描检查、CT检查、肿瘤标志物检查及活体组织检查等。目前也只能在癌症发生的早期治疗中取得良好的效果，因为多数晚期癌症较多发生远处转移，无论采用何种现代化的治疗措施，疗效仍然不理想。显然，乳腺癌早期发现和诊断对挽救患者的生命极其重要。

由于钼靶软X射线检查空间分辨率高，对肿块和钙化敏感，所需设备简单、价格低廉，而且是一种无创、微辐射的检查方法，在乳腺的早期检测中具有重要意义，钼靶X线整体性强，可较敏感的显示乳腺结节内部的微钙化，但钼靶X线微钙化的显示受腺体密度的影响较大。超声作为诊断乳腺疾病的重要影像学检查方法之一，可以采用多切面、多层次的连续扫查手法对乳腺进行检查，尤其是在乳腺肿瘤囊实性的鉴别诊断方面具有独特的应用价值。该方法具有无毒，无害，简便等特点，能鉴别良、恶性，囊、实性，增生等乳腺疾病。但超声检查有时会出现假阳性，对小于1厘米的肿块确诊困难。近红外光扫描检查乳腺疾病，因为速度快、无放射性而常在体检中作为乳腺疾病的初筛检查，尤其适合妊娠期和哺乳期女性，费用大约几十元。它利用正常组织和病变组织对红外线吸收率不同，而显示透光、暗亮等不同的灰度影像，由此诊断乳腺疾病。因其具有无损、方便、费用低等优点，在国内外已广泛应用。

各种检查方法各有其优缺点，现在多采用单一传感器进行检测，由于单一传感器是有限的频率带宽，所以捕获的信息量受到限制，不能满足实际的应用需求。图像融合就是把两个或两个以上的图像合并成为一个目标图像，这个目标图像将包含每个输入图像中的重要和清晰的信息。

医学图像融合是指将不同的医疗设备所获取的病变区域的两个或更多的图像进行融合，提高了图像质量，以获得更精确的诊断信息，并提高信息的丰富度。为了获得更精确的诊断信息，现今已有人提出采用两种检测图像的融合，使获得的信息量增加，肿块识别率也相应提高，但两种传感器获取的图像信息仍然有限。都是仅仅将两种图像进行融合，直接拿融合后的图像给医生看，而融合后的图像存在一些噪声，图像质量不够高，上述方法中没有对图像背景进行处理，也没有将乳腺区域提取出来。

现如今已有的结合图像融合方法中，有人提出将一副乳腺X射线图像经过不同的图像增强处理，再将该图像处理后的图像进行融合，达到图像增强的目的，以提高图像质量。但是现有方法中仍然是基于一副乳腺图像的基础，乳腺图像的信息来源单一，图像信息的丰富度不够，不能获得更精确的信息。而且只是做了图像增强，没有进行进一步对肿块图像识别检测，不能方便医生更直观的查看乳腺图像，获得更准确的诊断信息。

发明内容

本发明针对现有技术存在的不足，提出了一种降低噪声，去除背景，更清晰显示乳腺区域的X射线、超声、红外图像融合乳腺肿块图像检测方法。

本发明是一种基于X射线、超声、红外三类图像融合的乳腺肿块图像检测方法，其特征在于，利用计算机辅助检测，将多源图像融合，然后进行图像处理分析，对乳腺图像肿块进行检测，利于对乳腺癌进行早期诊断，包括有如下步骤：

(1)对乳腺X射线、超声、红外三类图像进行融合，首先对同一患者同一时间同一部位的乳腺X线图像、乳腺超声图像和乳腺红外图像进行格式转换、图像配准一系列操作，使三幅图像位置匹配，以数字图像格式进行处理，然后对乳腺X线图像和乳腺超声图像进行图像融合，X线图像和超声图像的融合结果再与乳腺红外图像进行图像融合，得到X射线、超声、红外三类融合图像；

(2)对融合后的乳腺图像进行预处理，采用形态学方法对三类融合图像进行去噪，先进行一次开运算，再进行一次闭运算，去除三类融合图像中一些微小的噪声；

(3)分割出三类融合图像中的乳腺区域，对去噪后的三类融合图像，获取去噪后乳腺图像的灰度直方图,对图像进行二值化处理，然后采用方形网格覆盖法，去除背景，分割出三类融合图像中的乳腺区域；

(4)对分割出乳腺区域的三类融合乳腺图像进行小波图像增强，使乳腺区域中的肿块更加清晰，使肿块与背景明显的区分开来，得到增强后的乳腺肿块图像；

(5)检测出乳腺区域中的肿块区域图像，采用基于Top—hat的形态学方法对增强后的乳腺肿块图像进行检测，完成乳腺肿块的图像检测。

本发明采用X射线，超声与红外乳腺图像三种检查图像进行融合，使已知信息量增加，信息的可靠性和有效性增加，肿块识别正确率也相应提高，而且在三种图像融合的基础上，进一步对融合后的图像进行分析处理，检测出乳腺图像中的肿块，易于乳腺癌的早期发现与诊治。

与现有的技术相比本发明具有以下优点：

1.本发明结合多种乳腺检查方法，将X射线，超声与红外三种乳腺图像进行融合，使已知信息量增加，信息的可靠性和有效性增加，获得更精确的诊断信息，并提高信息的丰富度；

2.本发明在对图像进行肿块检测前，先对图像进行预处理，由于在对图像进行采集时，会不可避免的产生一些噪声，本发明采用形态学方法对检测前图像进行去噪，去噪效果良好，使之后的图像检测有一个更好的基础；

3.本发明采用网格覆盖法分割出三类融合图像中的乳腺区域，用128×128像素的方形区域覆盖影像，并且，每两次覆盖的区域需要有64×64像素大小的区域重叠，以避免有遗漏，增加乳腺区域的检出率，能更加准确分割出三类融合图像中的乳腺区域；

4.本发明针对强背景中弱小肿块目标难以检测的问题，提出了一种基于Top-hat形态学处理的肿块检测方法，原图经过Top-hat滤波后就可抑制掉大部分背景，检测出种子点，但是如果只用Top-hat对原图进行滤波，检测出的种子点包括许多虚警，考虑到肿块在乳腺图像中的征象为亮度大，较周围的组织密度大，有一个较明显的轮廓，且与周围的组织有一定的灰度对比度，利用图像的梯度、灰度以及对比度等特征辅助Top-hat进行肿块的检测，使检测结果更加精确。

5.本发明结合多种乳腺检查方法，采用多幅图像融合，提高了信息的丰富度，获得更精确的诊断信息，而且在多幅图像融合的基础上，进一步对图像进行了分析处理，如图像去噪，小波图像增强以突显肿块区域，采用基于Top-hat形态学方法对肿块进行检测，将检测出肿块的图像清楚地呈现在医生面前，利于乳腺癌的早期发现与诊治。

附图说明

图1为本发明的简明总体流程图；

图2为本发明的三类图像融合流程图；

图3为本发明详细总流程图。

具体实施方式

下面结合附图对本发明作详细描述。

实施例1

近年来，随着科学技术的发展，乳腺癌的诊断技术和治疗方法都有了较大的提高。在诊断技术方面，较为常见的方法主要有钼靶软x射线检查、超声显像检查、热图像检查、近红外线扫描检查、CT检查、肿瘤标志物检查及活体组织检查等方法；在治疗方法方面，已经从以前的以外科手术治疗为主的方法转变为以综合治疗为主的方法，如内分泌治疗、CSRT治疗、细胞治疗、基因治疗等。虽然人们已经在乳腺癌的治疗方面取得了突出的进展，但却只能在癌症发生的早期治疗中取得良好的效果，因为多数晚期癌症已发生远处转移，无论用何种现代化的治疗措施，疗效仍然不理想。乳腺癌的早期发现和诊断对挽救患者的生命至关重要，因此在成像设备精度无法很快提高的情况下，从客观上提高图像的质量，也能为医生提供重要的诊断依据。

目前，乳腺肿块的图像检测还有很大的研究空间，有待于进一步研究和改进，这也是本发明的主要目的和任务。

本发明提出一种基于X射线、超声、红外三类图像融合的乳腺肿块图像检测方法，参见图1，利用计算机辅助检测，将多源图像融合，然后进行图像处理分析，对乳腺图像肿块进行检测，利于对乳腺癌进行早期诊断，包括有如下步骤：

(1)对乳腺X射线、超声、红外三类图像进行融合，首先对同一患者同一时间同一部位的乳腺X线图像、乳腺超声图像和乳腺红外图像进行格式转换、图像配准一系列操作，使三幅图像位置匹配，以数字图像格式进行处理，以便于后面进一步的处理。然后对位置匹配后的乳腺X线图像和乳腺超声图像进行图像融合，X线图像和超声图像的融合结果再与位置匹配后的乳腺红外图像进行图像融合，得到X射线、超声、红外三类融合图像。

(2)对融合后的乳腺图像进行预处理，采用形态学方法对三类融合图像进行去噪，先进行一次开运算，再进行一次闭运算，去除三类融合图像中一些微小的噪声；图像在获取的时候会产生一些微小的噪声，在此将其去除。

(3)分割出三类融合图像中的乳腺区域，对去噪后的三类融合图像，获取去噪后乳腺图像的灰度直方图,取阈值为50对图像进行二值化处理，然后采用方形网格覆盖法，去除背景，分割出三类融合图像中的乳腺区域；本例中取阈值为50，是因为乳腺图像的灰度值大多集中在50～255，小于50的灰度值大多是零或接近于零，也就是背景区域。

(4)对分割出乳腺区域的三类融合乳腺图像进行小波图像增强，使乳腺区域中的肿块更加清晰，使肿块与背景明显的区分开来，得到增强后的乳腺肿块图像。

(5)检测出乳腺区域中的肿块区域图像，采用基于Top—hat的形态学方法对增强后的乳腺肿块图像进行检测，完成乳腺肿块的图像检测。

因为单一传感器是有限的频率带宽，所以捕获的信息量受到限制，不能满足实际的应用需求，在信息处理领域中，不同应用系统的传感器数量不断地增加，多传感器技术的应用使得系统获得的信息更加多元化。图像融合就是把两个或两个以上的图像合并成为一个目标图像，这个目标图像将包含每个输入图像中的重要和清晰的信息。图像融合不是将图像进行简单的相加，而是产生的新图像中包含很多有用的信息，降低了理解的模糊性，既提高了图像质量，又增加了数据的利用效率。医学图像融合是指将不同的医疗设备所获取的病变区域的两个或更多的图像进行融合，以获得更精确的诊断信息，并提高信息的丰富度。

本发明结合多种乳腺检查方法，采用多幅图像融合，将三幅图像中的重要信息放到一副图像中，提高了信息的丰富度，获得更精确的诊断信息，而且对融合后的图像进行了进一步的图像分析处理，提高了融合后图像的质量，如图像去噪，采用方形网格覆盖法分割出乳腺区域，小波图像增强以突显肿块区域，采用基于Top-hat形态学方法对肿块进行检测，将检测出肿块的图像清楚地呈现在医生面前，从而进一步的提高医生的工作效率，易于乳腺癌的早期发现与诊治。

实施例2

基于X射线、超声、红外三类图像融合的乳腺肿块图像检测方法同实施例1，其中步骤(1)所述的得到X射线、超声、红外三类融合图像，参见图2，包括有如下步骤：

(1a)将乳腺X线图像和超声图像分别进行小波分解，分别得到乳腺X线图像和超声图像的低频系数与高频系数，先将两幅图像小波分解后的低频系数按照低频系数融合规则进行融合，再将两幅图像小波分解后的高频系数按照高频系数融合规则进行融合，得到X线图像和超声图像融合后的低频系数与高频系数。

(1b)对红外乳腺图像进行小波变换，得到其低频系数与高频系数，先将红外乳腺图像的低频系数与步骤(1a)中得到的X线图像和超声图像融合后的低频系数按照低频系数融合规则进行融合，再将红外乳腺图像的高频系数与步骤(1a)中得到的X线图像和超声图像融合后的高频系数按照高频系数融合规则进行融合，得到X线、超声、红外三类图像融合后的低频系数与高频系数，然后进行小波逆变换，得到X射线、超声、红外三类融合图像。

乳腺癌的诊断较为常见有X射线检查、超声显像检查、近红外线扫描检查，每一种检查方法都有其优缺点，因为单一传感器是有限的频率带宽，所以捕获的信息量受到限制，不能满足实际的应用需求。本发明采用X射线，超声与红外三种图像进行融合，结合三种检测方法，使已知信息量增加，降低了理解的模糊性，既提高了图像质量，又增加了数据的利用效率，信息的可靠性和有效性增加，从而获得更精确的诊断信息，提高了信息的丰富度，肿块识别正确率也相应提高。

实施例3

基于X射线、超声、红外三类图像融合的乳腺肿块图像检测方法同实施例1-2，其中步骤(3)所述的采用网格覆盖法分割出三类融合图像中的乳腺区域，包括有如下步骤：

(3a)对去噪后的三类融合图像，获取去噪后乳腺图像的灰度直方图,乳腺图像的灰度值大多集中在50～255，而小于50的灰度值大多是零或者接近于零，也就是背景区域，因此，取阈值为50对图像进行二值化处理。

(3b)采用网格覆盖法分割出三类融合图像中的乳腺区域，从二值化乳腺影像区域的左上角开始，由左至右，由上至下，用128×128像素的方形区域覆盖影像，并且，每两次覆盖的区域需要有64×64像素大小的区域重叠，以避免有遗漏，增加乳腺区域的检出率。直至剩余的部分不足128×128像素，该不足区域只可能是包含胸壁或影像的边缘区域，可以忽略。

(3c)判断是否为乳腺区域，对于每次方形区域所覆盖影像区域的四个顶点和中心点，判断其灰度值是否属于乳腺区间(即灰度值是否大于阈值)，如果方形区域所覆盖影像区域的四个顶点或三个顶点及其中心都属于乳腺区域，则认为该方形区域所覆盖影像区域为乳腺区域，否则认为该方形区域所覆盖影像区域为非乳腺区域。

本发明采用网格覆盖法分割出三类融合图像中的乳腺区域，用128×128像素的方形区域覆盖影像，判断每一次方形区域所覆盖影像区域是否属于乳腺区域，并且，每两次覆盖的区域需要有64×64像素大小的区域重叠，以避免有遗漏，增加乳腺区域的检出率，能更加准确分割出三类融合图像中的乳腺区域，使后面的肿块图像检测更加精确。

实施例4

基于X射线、超声、红外三类图像融合的乳腺肿块图像检测方法同实施例1-3，其中步骤(5)所述的采用基于Top-hat形态学方法对肿块进行检测，包括有如下步骤：

(5a)首先粗筛选一些种子点，考虑到肿块在乳腺图像中的征象为亮度大，较周围的组织密度大，有一个较明显的轮廓，且与周围的组织有一定的灰度对比度，为此结合图像的梯度、灰度以及对比度等特征辅助Top-hat进行肿块的检测，为粗选种子点需要确定3个分割阈值：

(5a1)结合图像的灰度特征，使用类间方差最大法分割原图像I，原图像即三类融合图像增强后的乳腺肿块图像，得到原图像的分割阈值T1；

(5a2)结合图像的梯度特征，计算原图像(即增强后的乳腺肿块图像)的5×5邻域梯度图像G，用类间方差最大法分割邻域梯度图像G，求得G的分割阈值T2；

(5a3)对原图像(即增强后的乳腺肿块图像)经过Top—hat处理，去除背景得到目标，然后再进行开运算,得到开运算后图像T，最后用类间方差最大法分割开运算后图像T，得到T的分割阈值T3；

(5b)将满足条件，I>T1&G>T2&T>T3的像素点作为粗筛选的种子点；对粗筛选的种子点进行开运算去除奇异点，去除奇异点剩下的点作为待测点，计算每个待测点的对比度，根据对比度条件，确定最终的种子点；

(5c)最后对最终种子点进行8邻域的区域生长并输出结果，完成乳腺肿块的图像检测。

本发明针对强背景中弱小肿块目标难以检测的问题，提出了一种基于Top-hat形态学处理的肿块检测方法，使用类间方差最大法来确定阈值，本发明选取了三个阈值来对种子点进行粗筛选。原图像经过Top-hat滤波后就可抑制掉大部分背景，检测出种子点，但是如果只用Top-hat对原图进行滤波，检测出的种子点包括许多虚警，考虑到肿块在乳腺图像中的征象为亮度大，较周围的组织密度大，有一个较明显的轮廓，且与周围的组织有一定的灰度对比度，利用图像的梯度、灰度以及对比度等特征辅助Top-hat进行肿块的检测，使检测结果更加精确。

由于乳腺组织中的腺体、结缔组织、血管、脂肪组织等软组织的密度都很近似，使乳腺图像质量受到一定的影响，同时不稳定的图像质量、恶性病变的良性表现及观测者本身的视觉疲劳和疏忽等都会在一定程度上降低乳腺癌检查的准确率。因此在成像设备精度无法很快提高的情况下，从客观上提高图像的质量，能从图像的角度，为医生提供准确诊断的图像依据。

实施例5

基于X射线、超声、红外三类图像融合的乳腺肿块图像检测方法同实施例1-4，其中步骤(5)所述的步骤(5a3)中所述的经过Top—hat处理，用类间方差最大法得到开运算后图像T的分割阈值T3，具体包括：

(5a3.1)对原图像(即增强后的乳腺肿块图像)经过Top—hat处理，去除背景得到目标，Top-hat等效于原图像减去原图与结构元素进行开运算后得到的图像，选用合适的结构元素(略大于肿块的尺寸)对原图进行开运算，得到尺寸大于结构元素的背景，再用原图像减去开运算后的图像，去除背景，检测到目标(肿块)；

(5a3.2)对经过Top—hat处理后的图像进行开运算，去除奇异点，得到开运算后图像T，考虑到大多数肿块形状特征接近于圆形，选用di skl作为开运算的结构元素；

(5a3.3)用类间方差最大法分割开运算后图像T，得到开运算后图像T的分割阈值T3。

本发明采用基于Top-hat形态学方法对肿块进行检测，Top-hat形态学方法可以去除图像中的背景，能够更有效的检测出乳腺图像中强背景下的弱小肿块目标，对经过Top—hat处理后的图像再进行开运算，去除奇异点，提高肿块检测的正确率，最后用类间方差最大化方法，错分概率最小，计算出阈值T3。最后能够准确的找出肿块区域，本发明具有很高的检测准确率。

下面给出一个完整的例子，对本发明详细说明。

实施例6

基于X射线、超声、红外三类图像融合的乳腺肿块图像检测方法同实施例1-5，本发明是一种基于三类图像融合的乳腺图像肿块检测的方法，参见图1，利用计算机辅助检测，将多源图像融合，然后进行图像处理分析，对乳腺图像肿块进行检测，对乳腺癌进行早期诊断，包括有如下步骤：

步骤1首先，对乳腺X射线图像和超声图像进行融合，将乳腺X线图像和超声图像进行小波分解，分别得到两幅图像的低频系数与高频系数，先将两幅图像小波分解后的低频系数进行融合，再将两幅图像小波分解后的高频系数进行融合，得到X线图像和超声图像融合后的低频系数与高频系数；

步骤2将步骤1得到的融合结果与红外乳腺图像进行融合，对红外乳腺图像进行小波变换，得到高频系数与低频系数，先将其低频系数与步骤1中得到的X线图像和超声图像融合后的低频系数进行融合，再将其高频系数与步骤1中得到的X线图像和超声图像融合后的高频系数进行融合，然后进行小波逆变换，得到X射线、超声、红外三类融合图像；

步骤3对融合后的乳腺图像进行预处理，采用形态学对三类融合图像进行去噪，先进行一次开运算，再进行一次闭运算，去除三类融合图像中一些微小的噪声；

步骤4对去噪后的三类融合图像，采用方形网格覆盖法，分割出三类融合图像中的乳腺区域；

步骤5对分割出乳腺区域的三类融合乳腺图像进行小波图像增强，使肿块更加清晰，使肿块与背景明显的区分开来；

步骤6然后采用基于Top—hat的形态学方法检测乳腺区域中的肿块。

本发明利用计算机辅助检测，将多源图像融合，结合三种检查方法，使已知信息量增加，提高了图像质量，然后在三类乳腺图像融合的基础上进行图像处理分析，对乳腺肿块的进行检测，使信息的可靠性和有效性增加，肿块识别正确率也相应提高。该方法可行且效果良好，对乳腺癌的早期诊断具有非常重要的意义。

再给出一个详尽的例子，结合附图和计算对本发明进一步说明。

实施例7

基于X射线、超声、红外三类图像融合的乳腺肿块图像检测方法同实施例1-6，参见图3，基于三类图像融合的乳腺图像肿块检测的方法包括有如下步骤：

1)首先，对乳腺X射线图像A和超声图像B进行融合，对乳腺X线图像A和超声图像B进行小波分解，得到乳腺X线图像A的低频系数L_A和高频系数H_A，以及超声图像B的低频系数L_B和高频系数H_B。

2)对得到的两幅图像的低频系数L_A和L_B，按照低频系数融合规则处理，得到融合后的低频系数L_AB，对得到的两幅图像的高频系数H_A和H_B，按照高频系数融合规则处理，得到融合后的高频系数H_AB。本发明的融合规则如下：

低频系数融合规则：

高频系数融合规则：

H_AB＝max[H_A,H_B] (1-2)

3)将步骤2)得到的融合结果与红外乳腺图像C进行融合，同样的方法对红外乳腺图像C先进行小波变换,得到对应的低频系数L_C和高频系数H_C，然后采用步骤2)中的低频系数融合规则对乳腺X线图像A和超声图像B融合后低频系数L_AB和红外乳腺图像C的低频系数L_C进行融合，采用步骤2)中的高频系数融合规则对乳腺X线图像A和超声图像B融合后高频系数H_AB和红外乳腺图像C的高频系数H_C进行融合，得到三类图像融合后的低频系数和高频系数，三类图像融合后的低频系数和高频系数再进行小波逆变换，得到X射线、超声、红外三类图像融合后的乳腺图像。

4)接下来对三类图像融合后的乳腺图像进行图像处理分析。由于图像采集时可能存在一些不必要的噪声或背景从而影响检测效果，采用形态学对图像进行去噪，也就是预处理。数学形态学有四个基本运算：膨胀、腐蚀、开启和闭合。下面做简单介绍。

a.膨胀运算

膨胀的运算符为用结构元素b对灰度图像f进行膨胀表示为其定义如式(1-3)所示：

其中D_f和D_b分别是灰度图像f和结构元素b的定义域。(s-x)和(t-y)必须在灰度图像f的定义域内，即要求两个运算集合至少有一个(非零)元素相交。若两个物体间距离相近，则膨胀运算可能会使这两个物体连通在一起。

b.腐蚀运算

腐蚀的运算符为Θ，用结构元素b对灰度图像f进行腐蚀表示为fΘb，其定义如式(1-4)所示：

(fΘb)(s,t)＝min{f(s+x,t+y)-b(x,y)|(s+x),(t+y)∈D_f和(x,y)∈D_b} (1-4)其中D_f和D_b分别是灰度图像f和结构元素b的定义域。(s-x)和(t-y)必须在灰度图像f的定义域内，即要求结构元素完全包括在被腐蚀集合中。如果两个物体之间有细小的连通，则当结构元素足够大时，腐蚀可以将两个物体分开。

c.开启和闭合运算

开启和闭合是在腐蚀和膨胀两个基本运算的基础上组合而成的。开启是先对图像进行腐蚀操作再进行膨胀操作，而闭合是先对图像进行膨胀操作再进行腐蚀操作。若对灰度图像f及结构元素b，用表示f对b的开运算，用f·b表示f对b的闭运算，则它们的定义分别为：

实际中常用开运算消除比结构元素尺寸较小的亮细节，而使图像整体灰度值和大的亮区域基本不受影响；闭运算则用来消除比结构元素尺寸较小的暗细节，而使图像整体灰度值和大的暗区域基本不受影响。

(5)先对图像进行一次开运算，然后进行一次闭运算，去除图像中一些微小的噪声，降低检测肿块的虚警概率。

(6)获取去噪后乳腺图像的灰度直方图，乳腺图像的灰度值大多集中在50～255，而小于50的灰度值大多是零或者接近于零，也就是背景区域。因此，取阈值为50对原图像进行二值化处理。

7)采用网格覆盖法来截取乳腺区域。首先，从二值化乳腺影像区域的左上角开始，由左至右，由上至下，用128×128像素的方形区域覆盖影像，并且，每两次覆盖的区域需要有64×64像素大小的区域重叠，以避免有遗漏，增加乳腺区域的检出率。直至剩余的部分不足128×128像素，这部分区域只可能是包含胸壁或影像的边缘区域，可以忽略。对于方形区域的四个顶点和中心点，判断其灰度值是否属于乳腺区间，即灰度值是否大于阈值50，如果方形区域的四个顶点或三个顶点及其中心都属于乳腺区域，则认为该方形区域为乳腺区域，否则认为该方形区域为非乳腺区域。

8)对得到的图像采用二维离散小波变换，选取bior4.4小波基，分解四层，由于乳腺图像经过小波分解后背景区域几乎都在低频部分，肿块大部分都是高频分量，将第四层小波分解后的低频系数乘以0.7，对其进行抑制，而对其它各层的高频系数乘以2，进行增强处理，从而实现分离背景信息与肿块的目的。

9)采用基于Top-hat形态学方法对肿块进行检测。开Top-hat算子定义如下：

开Top-hat算子等效于原图像f减去原图f与结构元素b进行开运算后得到的图像，选用合适的结构元素(略大于肿块的尺寸)对原图进行开运算，得到尺寸大于结构元素的背景，再用原图像减去开运算后的图像，就可以去除背景，检测到目标即肿块区域。

首先从中粗筛选一些种子点，为此需要确定3个分割阈值：

a.使用类间方差最大法分割原图像I，原图像I即三类融合图像增强后的乳腺肿块图像得到分割阈值T1；

类间方差最大化方法是基于图像灰度直方图的一种阈值化图像分割方法。它之所以能够很好地将图像分成两类是由于：方差是灰度分布均匀性的一种度量,方差值越大,说明构成图像的两部分差别越大,当部分目标错分为背景或者部分背景错分为目标时，都会导致两部分差别变小，因此使类间方差最大的分割意味着错分概率最小。

设图像的灰度范围为{1,2,…,L},N为图像中象素总数，n_i是灰度为i的象素数，p_i＝n_i/N是灰度为i的象素数占图像中象素总数的比例。选择门限将灰度范围划分为C0和C1两类，其中C0的灰度范围为{1,2,…,k},C1的灰度范围为{k+1,…,L}，那么两类的类间方差为：

式中

最大化类间方差的过程就是自动确定门限k^*的过程，即最佳门限为：

这里的k^*即是使类间方差最大的阈值。

b.计算原图像(即增强后的乳腺肿块图像)的5×5邻域梯度图像G，用类间方差最大法，式(1-8)(1-9)求得G的分割阈值T2；

c.对原图像(即增强后的乳腺肿块图像)经过Top—hat处理，去除背景得到目标。然后再进行开运算，去除奇异点。考虑到大多数肿块的形状特征接近于圆形，这里分别选用disk10和diskl作为Top—hat运算以及开运算的结构元素。最后用类间方差最大法得到开运算后图像T的分割阈值T3。

将满足条件，I>T1&G>T2&T>T3的像素点作为粗筛选的种子点；然后对粗筛选的种子点进行开运算以去除奇异点，剩下的点就作为待测点，计算每个待测点的对比度，根据对比度条件，确定最终的种子点；

最后对最终种子点进行8邻域的区域生长并输出结果，检测出肿块。步骤如下：

a.对图象进行逐行扫描，找出尚没有归属的象素点；

b.以该象素为中心检查它的邻域象素，如果灰度差小于预先确定的阈值，将小于阈值的邻域像素与该像素合并；

c.以新合并的象素为中心，返回到步骤b，检查新象素的邻域，直到区域不能进一步扩张；

d.返回到步骤a，继续扫描直到不能发现没有归属的象素，则结束整个生长过程。

完成8邻域的区域生长并输出结果，检测出肿块。

简而言之，本发明公开的一种X射线、超声、红外图像融合乳腺肿块图像检测方法，主要解决由于单幅乳腺肿块图像信息来源单一，信息欠精确的技术问题。其实现为：对乳腺X线图像，超声图像与红外乳腺图像进行图像融合；对三类图像融合后的乳腺图像预处理，进行去噪；对去噪后的乳腺图像的三类融合图像，采用方形网格覆盖法，分割出乳腺区域；对分割出乳腺区域的乳腺图像进行小波图像增强，使肿块更清晰，肿块与背景区域明显区分开来；用基于Top—hat的形态学方法检测乳腺区域中的肿块，用于辅助医生早期诊断。本发明将多种乳腺检查图像进行融合，提高了信息丰富度，获得更精确的诊断信息，对图像分析处理检测出肿块，利于乳腺癌的早期发现与诊治。MATLAB仿真实验结果符合预期目标。该方法可行且效果良好，对乳腺癌的早期诊断具有非常重要的意义。

Claims (5)

1.一种基于X射线、超声、红外三类图像融合的乳腺肿块图像检测方法，其特征在于，包括有如下步骤：

(1)对乳腺X射线、超声、红外三类图像进行融合，首先对同一患者同一时间同一部位的乳腺X线图像、乳腺超声图像和乳腺红外图像进行格式转换、图像配准一系列操作，使三幅图像位置匹配，以数字图像格式进行处理，然后对乳腺X线图像和乳腺超声图像进行图像融合，X线图像和超声图像的融合结果再与乳腺红外图像进行图像融合，得到X射线、超声、红外三类融合图像；

(2)对三类图像融合后的乳腺图像进行预处理，采用形态学方法对三类融合图像进行去噪，先进行一次开运算，再进行一次闭运算，去除三类融合图像中一些微小的噪声；

(3)分割出三类融合图像中的乳腺区域，对去噪后的三类融合图像，获取去噪后乳腺图像的灰度直方图,取阈值为50对图像进行二值化处理，然后采用方形网格覆盖法，去除背景，分割出三类融合图像中的乳腺区域；

(4)对分割出乳腺区域的三类融合乳腺图像进行小波图像增强，使乳腺区域中的肿块更加清晰，使肿块与背景明显的区分开来，得到增强后的乳腺肿块图像；

(5)检测出乳腺区域中的肿块区域图像，采用基于Top—hat的形态学方法对增强后的乳腺肿块图像进行检测，完成乳腺肿块的图像检测。

2.根据权利要求1所述的基于X射线、超声、红外三类图像融合的乳腺肿块图像检测方法，其特征在于，其中步骤(1)所述的得到X射线、超声、红外三类融合图像，包括有如下步骤：

(1a)将乳腺X线图像和超声图像分别进行小波分解，分别得到乳腺X线图像和超声图像的低频系数与高频系数，先将两幅图像小波分解后的低频系数进行融合，再将两幅图像小波分解后的高频系数进行融合，得到X线图像和超声图像融合后的低频系数与高频系数；

(1b)对红外乳腺图像进行小波变换，得到其低频系数与高频系数，先将红外乳腺图像的低频系数与X线图像和超声图像融合后的低频系数进行融合，再将红外乳腺图像的高频系数与X线图像和超声图像融合后的高频系数进行融合，得到X线、超声、红外三类图像融合后的低频系数与高频系数，然后进行小波逆变换，得到X射线、超声、红外三类融合图像。

3.根据权利要求1所述的基于X射线、超声、红外三类图像融合的乳腺肿块图像检测方法，其特征在于，其中步骤(3)所述的采用网格覆盖法分割出三类融合图像中的乳腺区域，包括有如下步骤：

(3a)对去噪后的三类融合图像，获取去噪后乳腺图像的灰度直方图,乳腺图像的灰度值大多集中在50～255，取阈值为50对图像进行二值化处理；

(3b)采用网格覆盖法分割出三类融合图像中的乳腺区域，从二值化乳腺影像区域的左上角开始，由左至右，由上至下，用128×128像素的方形区域覆盖影像，并且，每两次覆盖的区域需要有64×64像素大小的区域重叠，直至剩余的部分不足128×128像素，该不足区域是包含胸壁或影像的边缘区域，可以忽略；

(3c)判断是否为乳腺区域，对于每次方形区域所覆盖影像区域的四个顶点和中心点，判断其灰度值是否属于乳腺区间(即灰度值是否大于阈值50)，如果方形区域所覆盖影像区域的四个顶点或三个顶点及其中心都属于乳腺区域，则认为该方形区域所覆盖影像区域为乳腺区域，否则认为该方形区域所覆盖影像区域为非乳腺区域。

4.根据权利要求1所述的基于X射线、超声、红外三类图像融合的乳腺肿块图像检测方法，其特征在于，其中步骤(5)所述的采用基于Top-hat形态学方法对肿块进行检测，包括有如下步骤：

(5a)首先粗筛选一些种子点，为粗选种子点需要确定3个分割阈值：

(5a1)使用类间方差最大法分割原图像I，原图像即三类融合图像增强后的乳腺肿块图像，得到原图像的分割阈值T1；

(5a2)计算原图像的5×5邻域梯度图像G，用类间方差最大法分割邻域梯度图像G，求得G的分割阈值T2；

(5a3)对原图像经过Top—hat处理，再进行开运算,得到开运算后图像T，用类间方差最大法分割开运算后图像T，得到T的分割阈值T3；

(5b)将满足条件，I>T1&G>T2&T>T3的像素点作为粗筛选的种子点；对粗筛选的种子点进行开运算去除奇异点，剩下的点作为待测点，计算每个待测点的对比度，根据对比度条件，确定最终的种子点；

(5c)最后对最终种子点进行8邻域的区域生长并输出结果，完成乳腺肿块的图像检测。

5.根据权利要求4所述的基于X射线、超声、红外三类图像融合的乳腺肿块图像检测方法，其特征在于，步骤(5a3)中所述的经过Top—hat处理，用类间方差最大法得到开运算后图像T的分割阈值T3，具体包括：

(5a3.1)对原图像经过Top—hat处理，去除背景得到目标，Top-hat等效于原图像减去原图与结构元素进行开运算后得到的图像，选用合适的结构元素对原图进行开运算，得到尺寸大于结构元素的背景，再用原图像减去开运算后的图像，去除背景，检测到目标(肿块)；

(5a3.2)对经过Top—hat处理后的图像进行开运算，去除奇异点，得到开运算后图像T，考虑到大多数肿块形状特征接近于圆形，选用diskl作为开运算的结构元素；

(5a3.3)用类间方差最大法分割开运算后图像T，得到开运算后图像T的分割阈值T3。