CN101714153A - 基于视觉感知的交互式乳腺钼靶图像检索方法 - Google Patents

Abstract

本发明涉及基于视觉感知的交互式乳腺钼靶图像检索方法。本发明方法首先读入一幅待处理的乳腺钼靶图像，利用图像分割算法标志疑似病灶，将疑似病灶区域的特征抽取出来(包括面积、偏心率、紧凑度、不变矩、Gabor特征、分维数)，在病灶数据库中自动寻找一组与疑似病灶区域的特征(包括面积、偏心率、紧凑度、不变矩、Gabor特征、分维数)相关的并已经过活检证实的病灶样本，记录视觉感知信息，并使用模糊神经网络对视觉感知信息进行学习与分类处理；重复以上步骤，直到检索到与疑似病灶最相似的病灶。本发明方法可以有效提高诊断精度。

Description

基于视觉感知的交互式乳腺钼靶图像检索方法

技术领域

本发明属于医学影像技术领域，具体涉及到一种基于视觉感知的交互式乳腺钼靶图像检索方法。

背景技术

乳腺癌是危害妇女身体健康的最常见恶性肿瘤之一。美国每8个妇女中就有1个会患上乳腺癌，年发病率已达万分之十三。在中国，乳腺癌发病率目前正以每年3～4％的增长率急剧上升，每年约有18万名妇女罹患乳腺癌，1.3万名妇女死于乳腺癌。乳腺癌已成为中国改革开放以后死亡率增长最快的癌症。在中国京津、长三角、珠三角等发达地区，乳腺癌已经超过肺癌，成为女性的十大恶性肿瘤之首。

乳腺癌最终的致病原因还未完全研究清楚，目前预防与治疗乳腺癌的关键仍然在于“早发现，早诊断，早治疗”。早期诊断和治疗能够有效提高乳腺癌病人的存活率。钼靶X线摄影(mammography)由于其方便、经济、无创及早期无症状隐匿性乳腺癌良好的检测效果，是临床上乳腺癌检测的最主要手段。美国癌症协会建议年龄在40～49岁之间的妇女每两年进行一次钼靶X线检查，过了49岁之后则每年进行一次。在中国从2005年开始到2010年在全国大中城市实施一项“百万妇女乳腺普查工程”，按照国际通行标准，为100万中国妇女每人做4次乳腺检查，以帮助她们预防乳腺癌，提高生活质量。中国沪、京、津等乳腺癌高发地区，医学专家也开始建议中老年妇女每2～3年进行一次钼靶X线检查。最近中国又启动实施六项重大公共卫生服务项目，其中第二项就是农村妇女乳腺癌、宫颈癌检查项目。计划于2009年在中国200个左右县启动试点，完成乳腺癌检查40万人。通过试点，总结经验，进一步探索适合基层的“两癌”检查服务模式和优化方案，逐步形成制度化和规范化的工作机制。随着经济的继续发展、钼靶X线检查诊断手段的逐步普及和中国妇女防治乳腺癌意识的进一步提高，可以预计，未来一段时间内需要筛查的乳腺X线图像数量将会有大幅度的增长。

乳腺钼靶图像的阅读分析依赖于放射科医师的专业技术和读片经验。不仅对医师素质的要求很高，而且要求医师长时间处于精神集中状态。由于乳腺钼靶图像的复杂性、早期乳腺癌症状的隐匿性，假阴性和假阳性是医师钼靶X线检查中比较常见的问题。假阳性会导致不必要的跟踪和活检，假阴性会延误治疗。这不但会增加资源消耗和经济开支，还会给病人带来不必要的身体上和精神上的痛苦。

为了提高乳腺钼靶图像的阅读效率，帮助医师更好更快地诊断乳腺癌，可以引入计算机辅助诊断(computer-aided diagnosis，CAD)技术。乳腺钼靶CAD技术可以对图像进行初步检测，将图像中的疑似病灶区(包括微钙化簇和肿块)报告给医师进行决策。尽管乳腺钼靶CAD技术取得了许多进展，但目前其在检测病灶(特别是肿块)的精度和临床使用的有效性上仍然存在许多不足。如果在诊断过程中能够提供给医师检索历年来相似病例的功能，那么医师可以将经切片检查确诊的历史病例和当前病例进行比较，从而作出更准确的判断。利用基于内容的图像检索技术(content-based image retrieval，CBIR)在乳腺钼靶数据库中检索包含与查询病灶在视觉上和病理上内容相似病灶的钼靶图像辅助医师进行决策会有助于诊断精度的提高。国际上医学影像界的大量研究表明，利用医师在读片时的视觉感知信息能够降低读片时的假阴性和假阳性，提高诊断精度。在检索过程中利用医师读片时的视觉感知信息会有利于检索精度的提高。

乳腺钼靶检索系统不能单纯由计算机自动完成，必须使医师参与进来，引入交互式学习技术，通过人-机协同工作方式，将医师的诊断经验和检索结合起来，来完成检索任务；同时检索过程中如果结合了医师读片时的视觉感知信息，会更有助于检索精度的提高。从而为诊断提供更全面的参考意见，提高检测的准确率。

发明内容

本发明针对现有技术的不足，提供了一种基于视觉感知的交互式乳腺钼靶图像检索方法。

本发明方法的具体步骤是：

步骤(1)读入一幅待处理的乳腺钼靶图像；

步骤(2)利用图像分割算法标志疑似病灶，具体采用分水岭算法、迭代阈值分割法、水平集分割算法或基于小波分析的分割算法。

步骤(3)将疑似病灶区域的特征抽取出来(包括面积、偏心率、紧凑度、不变矩、Gabor特征、分维数)。

步骤(4)在病灶数据库中自动寻找一组与疑似病灶区域的特征(包括面积、偏心率、紧凑度、不变矩、Gabor特征、分维数)相关的并已经过活检证实的病灶样本；

步骤(5)记录视觉感知信息，并使用模糊神经网络对视觉感知信息进行学习与分类处理；

步骤(6)重复步骤(4)和步骤(5)直到检索到与疑似病灶最相似的病灶。

本发明所提供的基于视觉感知的交互式乳腺钼靶图像检索方法由一组功能模块组成，它们包括：图像管理模块、疑似病灶标识模块、病灶查询模块、样本选择模块和模糊神经网络学习模块。

图像管理模块负责通过磁盘、网络或其他应用系统(如HIS/PACS-Hospital Information System/Picture Archiving and CommunicationSystem)的接口读取或存储乳腺钼靶图像数据，查询、登记或更新与乳腺钼靶图像所对应的病历数据。

疑似病灶标识模块提供了供医师手工选择待诊断乳腺钼靶图像中的可疑区域作为可疑病灶区的功能。模块提供矩形区域、圆形区域和任意区域三种病灶区选择方式。如果医师采用的是前两种方式，则模块采用图像分割算法来自动分割得到更为精确的病灶区域。

病灶查询模块将当前病灶区域的特征抽取出来，在病灶数据库中寻找一组与之相关的并已经过活检证实的病灶样本。这组病灶样本是后续“样本选择模块”的数据来源。

样本选择模块在模块挑选出病灶样本的基础上，通过记录(采用眼动仪记录)并分析医师阅读这些样本时的视觉感知信息，从中选择出医师最关注的正例样本和最不关注的反例样本。同时在数据库中未选样本中再挑选一组模糊样本。这些数据将送入“模糊神经网络学习模块”中进行学习与分类处理。

模糊神经网络学习模块提供了一个机器学习工具，可以从“样本选择模块”提供的样本数据中自动学习得到一组与医师在“疑似病灶标识模块”中标识的病灶区相关的并已经过活检证实的病灶，为医师的诊断提供有价值的参考。样本选择模块和模糊神经网络学习模块是一个反复迭代进行的过程，直至检索结果符合医师需要或者医师中止检索过程为止。

采用本发明的系统框架与技术方案，放射科医师能够方便地将当前病灶与相关的且已由活检证实的病灶进行比对，从而提高诊断精度。本发明的一大特色是将眼动仪引入乳腺钼靶图像检索，这种基于人眼跟踪的交互技术为乳腺钼靶图像检索提供了一个自然快速的交互接口。相对于传统图像检索的人机接口(如键盘和鼠标)具有其优势；同时将通过眼动仪记录得到的医师视觉感知信息结合到乳腺钼靶图像检索过程中以辅助医师提高诊断精度。目前中国各级医疗机构中乳腺钼靶机覆盖面很广，本发明所提供的基于视觉感知的交互式乳腺钼靶图像检索系统将一系列CBIR技术、视觉感知信息采集与处理技术和乳腺钼靶图像的特点相结合，提供了一组功能强大又简单易用的辅助工具，无论对于尚处实习期的年轻医师还是经验丰富的读片行家来说，都是非常实用的。

具体实施方式

本发明所提供的基于视觉感知的交互式乳腺钼靶图像检索方法的具体实施方式如下：

(1)图像管理模块读入一幅待处理的乳腺钼靶图像。

(2)疑似病灶标识模块提供了一组供医师手工选择待诊断乳腺钼靶图像中的可疑区域作为可疑病灶区的局部区域标识工具。

局部区域标识工具包括：矩形区域选择工具、圆形区域选择工具和任意区域选择工具。其中矩形区域框选工具和圆形区域框选工具是由医师点击鼠标左键并进行拖动，从而在相应位置定义矩形或圆形的局部区域；任意区域选择工具是由医师在目标区域的边缘上不断点击鼠标左键并以点击右键作为结束，从而将所有点击位置连接起来形成不规则的局部区域；如果医师在处理时采用了矩形区域选择工具或者圆形区域选择工具，则本模块还提供了疑似病灶区分割工具122进行后续处理。

疑似病灶区分割工具主要采用一种对经典水平集分割法进行改进的窄带水平集方法，从而可以将医师标识的矩形或者圆形区域分割得到更为精确的病灶区域。水平集方法是处理封闭运动界面随时间演化过程中几何拓扑变化的有效计算工具。其基本思想是将平面闭合曲线隐含地表达为二维曲面函数的水平集，即具有相同函数值的点集。将对二维平面里界面运动的研究转化为三维空间中二维曲面运动的讨论。通过水平集函数曲面的进化隐含地求解曲线的运动，通过维数的拓展带来了求解上的很多优势，使曲线的拓扑变化能够得到很自然地处理，而且获得了惟一的满足熵条件的弱解。疑似病灶区分割工具122采用符号距离函数(signed distance function，SDF)作为水平集函数Ф(x，y，t)。在t时刻，对平面上的点(x，y)，计算其到曲线C的最短距离d(x，y，t)。Ф(x，y，t)定义为：

在演化过程中，曲线上的点都满足下面方程：

Ф(x，y，t)＝0(2-2)

Ф(x，y，t)的演变方程可表示为：

${\mathrm{\Φ}}_t=F|\▿\mathrm{\Φ}|---(2-3)$

(2-3)即为水平集方程。其中

$\▿\mathrm{\Φ}=[{\mathrm{\Φ}}_x,{\mathrm{\Φ}}_y]---(2-4)$

为函数Ф在二维平面上的梯度，F(x，y)为曲线上各个点沿着曲线法线方向的运动速度。则求解曲线演化问题转换为求解如下的偏微分方程：

初始条件为Ф(x，y，t＝0)＝±d(x，y，t＝0)    (2-5)

(2-5)的求解可以采用差分方法进行。

经典水平集方法的缺点是计算量比较大。针对这一问题，疑似病灶区分割工具采用了窄带水平集法。其主要算法为：将数值计算局限在曲线周围的一个窄带内，当曲线演化到窄带的边界时，再重新以当前曲线为中心建立窄带。这种方法将计算复杂度从O(N²)降到了O(kN)，其中N为x或y方向上将图像离散化成网格后的点数，k为窄带宽度。

使用疑似病灶区分割工具时，初始轮廓曲线即为医师初始选定的疑似病灶轮廓线。其他所涉及的一些参数(包括速度函数F(x，y)、窄带宽度k等)需要事先确定，系统提供了经验值作为其默认值，医师可以通过系统的配置选项自由设定。

(3)病灶查询模块通过对步骤(2)定义的局部疑似病灶区进行相关查询，得到一组样本，从而为后续步骤(4)进行数据准备。在本系统中称为“初次样本选择”。在读片过程中，医师有时很难对局部区域内的疑似病灶的真伪性或良恶性作出准确判断，因此需要将以往病例中与当前病灶相关的且已经得到活检验证的病灶进行比对鉴别。这里所提到的相关通常是指视觉相似性，也就是将病灶数据库中与当前病灶外观最像的一些病灶检索出来，它们的真伪性和良恶性对当前病灶的判断具有最大的参考价值。所采用的检索方法是CBIR技术中的经典方法：按例检索法(query-by-example，QBE)。它首先由医师指定疑似病灶的类型(肿块还是微钙化簇)，然后将当前局部区域的对应特征组抽取出来形成一个向量，最后将该特征向量与病灶数据库中所有同类型病灶(肿块对应肿块，微钙化簇对应微钙化簇)的特征向量按照特定的相似性度量函数进行比较，将和疑似病灶最相似的一定数量的病灶选作检索结果。

乳腺钼靶图像有其自身的特点，根据这些特点设计相应的视觉特征会取得较好的检索结果。系统所选用的肿块特征共有14个，包括3个病灶区域的全局特征以及11个计算区域及其周围环绕背景像素的局部特征(研究表明乳腺钼靶病灶区域的外围像素信息对辅助诊断有较大帮助)。

使用的3个全局特征为：

(A-1)平均像素灰度值：

$F_1=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{I}_i---(3-1)$

其中N为区域的像素个数，I_i为像素(i)的灰度值。

(A-2)区域内局部像素灰度值的平均变化率：

$F_2=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}p{f}_i---(3-2)$

计算时首先用一个5×5的高斯核和区域进行卷积运算，然后计算pf_i＝|max(I_i-I_k)|。其中(i)为5×5核中心像素，(k)为5×5核的周围像素。

(A-3)像素灰度标准差：

$F_3=\sqrt{\frac{1}{(N-1)}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(p{f}_i-F_2)}^2}---(3-3)$

使用的11个全局特征为(区域分割后的结果)：

(A-4)区域显著性：

$F_4=\frac{C}{\mathrm{LF}}---(3-4)$

其中

n和m分别为在一个分割好的肿块内像素数及其周围环绕背景的像素数。LF的计算方法和上述第(3-2)个特征是类似，即为

$\mathrm{LF}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{\mathrm{pf}}_i.$

(A-5)归一化区域径向长度均值：

$F_5=\frac{\stackrel{\‾}{r}}{n}---(3-5)$

其中 $\stackrel{\‾}{r}=\underset{i=k}{\overset{n_B}{\mathrm{\Σ}}}{r}_i,$ r_i为区域重心和区域边界上像素的距离，n_B是区域边界上像素的总数。n为区域内像素的个数。

(A-6)径向长度的标准差：

$F_6=\sqrt{\frac{1}{(n_B-1)}\underset{i=1}{\overset{n_B}{\mathrm{\Σ}}}{(r_i-\stackrel{\‾}{r})}^2}---(3-6)$

(A-7)径向长度的偏斜度：

$F_7=\frac{n_B}{(n_B-1)(n_B-2)}\underset{i=1}{\overset{n_B}{\mathrm{\Σ}}}{\left(\frac{r_i-\stackrel{\‾}{r}}{s}\right)}^3---(3-7)$

其中s＝F₆。

(A-8)形状因子比：

$F_8=\frac{P^2}{A}---(3-8)$

其中P和A分别是区域的周长(mm)和面积(mm²)。

(A-9)区域内像素灰度的标准差：

$F_9=\sqrt{\frac{1}{(n-1)}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(I_i-\stackrel{\‾}{I})}^2}---(3-9)$

其中I是区域内像素的平均灰度。

(A-10)区域边界像素梯度的标准差：

$F_{10}=\sqrt{\frac{1}{(n_B-1)}\underset{i=1}{\overset{n_B}{\mathrm{\Σ}}}{(G_i-\stackrel{\‾}{G})}^2}---(3-10)$

其中G_i＝I_i-I_i+1，而I_i和I_i+1分别是区域边界像素(i)及其和区域中心径向外像素的灰度值。

(A-11)区域边界像素梯度的偏斜度：

$F_{11}=\frac{n_B}{(n_B-1)(n_B-2)}\underset{i=1}{\overset{n_B}{\mathrm{\Σ}}}{\left(\frac{G_i-\stackrel{\‾}{G}}{s}\right)}^3---(3-11)$

其中s＝F₁₀。

(A-12)区域外围背景像素灰度值的标准差：

$F_{12}=\sqrt{\frac{1}{(m-1)}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{(I_i-{\stackrel{\‾}{I}}_m)}^2}---(3-12)$

其中I_m为区域外围背景像素灰度值的平均值。

(A-13)区域外围局部像素灰度值的平均变化率：

$F_{13}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\left|\max (I_i-I_k)\right|---(3-13)$

(A-14)归一化的中心位置偏移值：

$F_{14}=\frac{d_s}{A}---(3-14)$

其中d_s为区域重心和区域内灰度值最小像素之间的距离，A为区域的面积。

系统所选用的微钙化簇特征共有8个，包括：

(B-1)平均灰度：见前公式(3-1)；

(B-2)灰度标准差：见前公式(3-3)；

(B-3)面积：即区域中像素点个数；

(B-4)偏斜度：见前公式(3-7)；

(B-5)紧凑度：形状因子比的倒数，见前公式(3-8)；

(B-6)区域的空洞比率：统计区域内的空洞个数，并计算其个数与区域面积的比值；

(B-7)边界像素梯度的标准差：见前公式(3-10)；

(B-8)边界像素梯度的偏斜度：见前公式(3-11)。

特征在匹配前进行了归一化。匹配的相似性度量函数为余弦距离函数：

d(q，d)＝q^T*d/(||q||*||d||)    (3-15)

其中q和d分别表示查询病灶和数据库中确诊病灶的特征向量。计算得到的相似性度量值为区间[0，1]之间的一个数值，该值越大，表示图像越相似。经过本模块处理后，系统将得到K₁个样本。

(4)样本选择模块提供了基于医师视觉感知信息的样本选择功能。在本系统中称为“二次样本选择”。二次样本选择中结合了医师的视觉感知信息，从而使选择出的样本更加符合医师的主观判断。

眼动信息采集工具提供了采集医师在阅读样本时视觉感知信息的功能。在本系统中，眼动仪作为乳腺钼靶图像检索的人机交互接口并记录医师读片时的视觉感知信息以完成样本选择。在医师读片过程中，眼动仪追踪医师的眼动轨迹，记录其注视点参数。每个注视点包含四个参数(x，y，d，t)，其中(x，y)表示注视点坐标，d表示瞳孔直径，t表示停留时间。目前市场上的所有眼动仪产品均可保证眼球追踪时的精度问题(以美国ASL公司生产的ASL-H6单目眼动系统为例，其主要参数为：采样频率为50Hz，系统精确度为0.5度视角范围，分辨率为0.25度视角，视觉范围为水平50度，垂直40度)。

眼动信息采集工具使用了本系统中的关键硬件设备-眼动仪的制造厂家所提供的应用程序开发接口(application program interface，API)来读取注视点参数。它可以支持任何厂家生产的任何眼动仪设备。

正例与反例样本选择工具提供了选择在交互式反馈过程中供“模糊神经网络学习模块150”进行学习的正例和反例样本功能。经过“病灶查询模块130”处理后可以从病灶数据库中挑选出K₁个初始样本，这些样本将提供给医师浏览。在医师读片时，眼动信息采集工具141记录了一系列的注视点参数。正例与反例样本选择工具采用Mean-Shift聚类算法(采用Gaussian核函数)对这些眼动数据进行聚类，来选择最受医师“关注”的样本。聚类区域，即注意焦点区域(focus of attention，FOA)为医师在读片过程中注视比较集中的区域。聚类结束后，将FOA由大到小依次排列，选其对应的前K₂个样本为正例样本。剩余的(K₁-K₂)样本即为未被医师“关注”的样本，是反例样本。

模糊样本选择工具提供了选择在交互式反馈过程中供“模糊神经网络学习模块”进行学习的模糊样本集合功能。两个随机变量之间的相关熵，又称之为互信息。互信息可作为两个随机变量之间统计相关性的量度，或是一个变量包含另一个变量的信息量的量度。如果2幅不同图像之间的互信息量越大，则表明它们越相关(显然，图像和其自身之间的互信息量是最大的)。两幅不同图像x和y之间互信息的计算公式为：

$I(x,y)=\underset{\mathrm{xy}}{\mathrm{\Σ}}{p}_{\mathrm{xy}}(x,y)\×\log \left(\frac{p_{\mathrm{xy}}(x,y)}{p_x\left(x\right)\×p_y\left(y\right)}\right)---(4-1)$

其中p_xy(x，y)为随机变量x和y的联合概率密度，p_x(x)和p_y(y)分别为随机变量x和y的边缘概率密度。联合概率密度和边缘概率密度可以通过计算图像的直方图来得到。定义联合概率密度为：

$p_{\mathrm{xy}}(x,y)=\frac{h(x,y)}{\underset{\mathrm{xy}}{\mathrm{\Σ}}h(x,y)}---(4-2)$

这里随机变量x和y分别代表2幅不同图像像素的灰度值，式中h(x，y)是两幅图像重叠部分的图像灰度值为(x，y)的像素对总数，

为两幅图像重叠部分的像素对总数。定义边缘概率密度为：

$\left\{\begin{array}{c}{p}_x\left(x\right)=\underset{y}{\mathrm{\Σ}}{p}_{\mathrm{xy}}(x,y)\\ p_y\left(y\right)=\underset{x}{\mathrm{\Σ}}{p}_{\mathrm{xy}}(x,y)\end{array}\right.---(4-3)$

根据公式(4-1)、(4-2)和(4-3)可以计算出2幅图像之间的互信息量。

模糊样本选择工具选择模糊样本的算法为：经过“病灶查询模块”从数据库中挑选出K₁个初始样本后，假定数据库中剩余N_L个样本。经过“正例与反例样本选择工具”挑选出K₂个正例样本后，计算K₂个样本和N_L个样本之间的互信息量并进行排序(病灶数据库中所有样本之间的互信息量均在离线状态下事先计算完毕，所以这个计算过程相当于查表，可以保证实时性)，挑选互信息量最大的前m(m≥1)个样本作为模糊样本。

(5)模糊神经网络学习模块提供了机器学习功能，可以从“样本选择模块”提供的样本数据中自动学习得到一组与医师在“疑似病灶标识模块”中标识的病灶区相关的并已经过活检证实的病灶，为医师的诊断提供参考。这个模块和“样本选择模块”是一个反复迭代进行的相关反馈过程，直至检索结果符合医师需要或者医师中止检索过程为止。

由于医学图像的复杂性和医师理解图像的主观性，仅仅依靠图像底层视觉特征进行匹配的检索结果往往不尽如人意。医学图像检索中的相关反馈技术通过把医师的参与引入到医学图像检索过程中，从而把检索模式从一次进行变为交互式的多次进行，成为提高检索性能的有效方法。

模糊神经网络学习模块采用模糊径向基函数神经网络作为相关反馈中的学习机。采用的模糊径向基函数神经网络的Gaussian核函数层的参数由医师提供的正例样本(相关)、反例样本(不相关)和模糊样本学习得到。这些样本由正例与反例样本选择工具和模糊样本选择工具提供。

每轮反馈中网络将根据医师提供的样本动态训练生成，其中模糊径向基函数的核将根据医师提供的样本经过聚类得到。相关反馈过程由一个在线误差纠正学习算法通过调整网络参数(权重、基函数中心和宽度)来实现。针对医师标记后提供的正例样本和反例样本，网络的期望输出分别为1和0。如果第j个训练样本x_j为模糊样本，则网络的期望输出为区间[0，1]之间的一个数字，它可以通过后验概率P(ω_r|x_j)来估计得到，其中ω_r为相关的语义类(如“卵圆形肿块”)。计算时将通过病灶查询模块中定义的多种纹理和形状特征来得到。即令{x_ji}_i＝1 ^M为和训练样本x_j相关联的M个特征的集合，即x_ji为一个d_i维的特征向量。ω_r和ω_ir分别表示和样本相关及不相关的语义类。则有：

$P\left({\mathrm{\ω}}_r\right|x_j)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}P\left({\mathrm{\ω}}_r\right|x_{\mathrm{ji}})---(5-1)$

其中P(ω_r|x_ji)为模糊样本x_j的第i个特征向量x_ji的后验概率。根据Bayesian理论，则有：

$P\left({\mathrm{\ω}}_r\right|x_{\mathrm{ji}})=\frac{p\left(x_{\mathrm{ji}}\right|{\mathrm{\ω}}_r)P\left({\mathrm{\ω}}_r\right)}{p\left(x_{\mathrm{ji}}\right|{\mathrm{\ω}}_r)P\left({\mathrm{\ω}}_r\right)+p\left(x_{\mathrm{ji}}\right|{\mathrm{\ω}}_{\mathrm{ir}})P\left({\mathrm{\ω}}_{\mathrm{ir}}\right)}---(5-2)$

其中P(ω_r)和P(ω_ir)是相关和不相关语义类的先验概率，而p(x_ji|ω_r)和p(x_ji|ω_ir)是相应的条件概率。假定相关和不相关语义类的每个特征向量是满足Gaussian分布的，则上述条件概率可以利用Gaussian函数进行计算，其中均值和方差矩阵可以通过训练样本进行估计。学习过程中误差函数的最小化可以通过梯度下降法进行计算。

病灶查询模块、样本选择模块和模糊神经网络学习模块中所涉及的一些参数(包括K₁个初始样本、K₂个正例样本、m个模糊样本、模糊神经网络参数，如权重、基函数中心和宽度等)需要事先确定，系统提供了经验值作为其默认值，医师也可以通过系统的配置选项自由设定。

Claims (1)

1.基于视觉感知的交互式乳腺钼靶图像检索方法，其特征在于该方法的具体步骤是：

步骤(1)读入一幅待处理的乳腺钼靶图像；

步骤(2)疑似病灶标识模块提供了一组供医师手工选择待诊断乳腺钼靶图像中的可疑区域作为可疑病灶区的局部区域标识工具；

局部区域标识工具包括：矩形区域选择工具、圆形区域选择工具和任意区域选择工具；其中矩形区域框选工具和圆形区域框选工具是由医师点击鼠标左键并进行拖动，从而在相应位置定义矩形或圆形的局部区域；任意区域选择工具是由医师在目标区域的边缘上不断点击鼠标左键并以点击右键作为结束，从而将所有点击位置连接起来形成不规则的局部区域；

疑似病灶区分割工具采用一种对经典水平集分割法进行改进的窄带水平集方法，将标识的矩形或者圆形区域分割得到更为精确的病灶区域；疑似病灶区分割工具采用符号距离函数作为水平集函数Φ(x，y，t)；在t时刻，对平面上的点(x，y)，计算其到曲线C的最短距离d(x，y，t)；Φ(x，y，t)定义为：

在演化过程中，曲线上的点都满足下面方程：

Φ(x，y，t)＝0                             (2-2)

Φ(x，y，t)的演变方程可表示为：

${\mathrm{\Φ}}_t=F|\▿\mathrm{\Φ}|---(2-3)$

(2-3)即为水平集方程；其中

$\▿\mathrm{\Φ}=[{\mathrm{\Φ}}_x,{\mathrm{\Φ}}_y]---(2-4)$

为函数Φ在二维平面上的梯度，F(x，y)为曲线上各个点沿着曲线法线方向的运动速度；则求解曲线演化问题转换为求解如下的偏微分方程：

${\mathrm{\Φ}}_t=F|\▿\mathrm{\Φ}|,$ 初始条件为Φ(x，y，t＝0)＝±d(x，y，t＝0)      (2-5)

(2-5)的求解采用差分方法进行；

窄带水平集法为：将数值计算局限在曲线周围的一个窄带内，当曲线演化到窄带的边界时，再重新以当前曲线为中心建立窄带；

步骤(3)病灶查询模块通过对步骤(2)定义的局部疑似病灶区进行查询，得到一组样本，为后续步骤(4)进行数据准备；所采用的检索方法采用按例检索法；

步骤(4)样本选择模块提供了基于医师视觉感知信息的样本选择功能；

眼动信息采集工具提供了采集医师在阅读样本时视觉感知信息的功能；

眼动信息采集工具使用了本系统中的关键硬件设备-眼动仪的制造厂家所提供的应用程序开发接口来读取注视点参数；

模糊样本选择工具提供了选择在交互式反馈过程中供“模糊神经网络学习模块”进行学习的模糊样本集合功能；两幅不同图像x和y之间互信息的计算公式为：

$I(x,y)=\underset{\mathrm{xy}}{\mathrm{\Σ}}{p}_{\mathrm{xy}}(x,y)\×\log \left(\frac{p_{\mathrm{xy}}(x,y)}{p_x\left(x\right)\×p_y\left(y\right)}\right)---(4-1)$

其中p_xy(x，y)为随机变量x和y的联合概率密度，p_x(x)和p_y(y)分别为随机变量x和y的边缘概率密度；联合概率密度和边缘概率密度可以通过计算图像的直方图来得到；定义联合概率密度为：

$p_{\mathrm{xy}}(x,y)=\frac{h(x,y)}{\underset{\mathrm{xy}}{\mathrm{\Σ}}h(x,y)}---(4-2)$

随机变量x和y分别代表2幅不同图像像素的灰度值，式中h(x，y)是两幅图像重叠部分的图像灰度值为(x，y)的像素对总数，

为两幅图像重叠部分的像素对总数；定义边缘概率密度为：

$\left\{\begin{array}{c}{p}_x\left(x\right)=\underset{y}{\mathrm{\Σ}}{p}_{\mathrm{xy}}(x,y)\\ p_y\left(y\right)=\underset{x}{\mathrm{\Σ}}{p}_{\mathrm{xy}}(x,y)\end{array}\right.---(4-3)$

根据公式(4-1)、(4-2)和(4-3)可以计算出2幅图像之间的互信息量；

步骤(5)模糊神经网络学习模块提供了机器学习功能，从“样本选择模块”提供的样本数据中自动学习得到一组与医师在“疑似病灶标识模块”中标识的病灶区相关的并已经过活检证实的病灶，为医师的诊断提供参考；这个模块和“样本选择模块”是一个反复迭代进行的相关反馈过程，直至检索结果符合医师需要或者医师中止检索过程为止。