CN101231662A - 基于网格平台的分布式医学图像检索系统 - Google Patents

Abstract

针对医疗单位对于医学图像检索的广泛需求，设计了一种基于网格平台的分布式医学图像检索系统。用户通过网格门户向网格域管理中心提交医学图像检索请求。域管理中心将请求与资源元数据进行匹配，获取可用的医学图像专家库的网络服务标识，然后将请求分发给对应的医学图像专家库。医学图像专家库提取提交图像的形状、颜色、纹理等特征，并与库存的医学图像特征进行比对，获取与提交图像的综合相似度具有最大值的一组图像。域管理中心将各医学图像专家库返回的医学图像进行整合，并返回给用户。该系统提高了系统软硬件的利用效率，降低了医疗单位实现分布式医学图像检索需求的整体成本，为医学图像资源的广泛共享提供了有效的途径。

Description

基于网格平台的分布式医学图像检索系统

技术领域

本发明属于医疗信息技术领域，具体涉及一种基于网格平台的分布式医学图像专家库的集成和基于图像内容(Content Based Image Retrieval，CBIR)的检索系统。

背景技术

基于内容的医学图像检索(CBIR)技术是当今医疗信息技术领域的研究热点。在一家医院内部，不同科室的医生通过长期典型图片的收集建立自己的医学图像专家库来存储针对不同疾病的典型图片及相关的背景信息。并在实际应用中通过基于内容的医学图像检索工具来搜寻特征相似的医疗图片。这些图片以具体的图像样例向医生展示了各种典型的疾病发生及发展信息，对医生在临床诊断中排除疑似干扰因素、降低误诊率有着重要意义。但由于地理位置和临床经验的限制，单独一位医生或一家医院的医学图像库不可能拥有疾病所有的特征样本。

与一般的图像检索系统相比，医学图像的检索有其特殊性，因此将针对普通图像的检索方法应用到医学图像检索系统中意义不大。美国普渡大学开发的ASSERT系统主要针对高分辨率的肺部CT进行检索。由德国亚琛大学开发的IRMA系统主要用于医学图像的分类，将输入的医学图像按照成像类型、拍摄部位等分成不同的类型，以帮助图像库的管理。国内针对医学图像检索系统的研究还处于起步阶段，迄今为止还没有检索系统能够有效应用到临床上的相关报导。能够用于辅助诊断实践中的系统必须要把检索与图像类型、涉及器官、疾病特征、医学专科知识等紧密结合起来，针对不同的疾病提取不同的特征，并且能给出临床意义上的有效评价。

网格被誉为继互联网和Web之后的第三次信息技术浪潮。它利用现有互联网的架构，把地理上广泛分布的各种资源，包括计算资源、存储资源、带宽资源、软件资源、数据资源、信息资源、知识资源等整合成一个逻辑的整体，为用户提供一体化的信息、计算、存储和访问服务，实现资源的广泛共享和协同，彻底消除资源“孤岛”。因此在网格平台上实现分布式医学图像专家库的广泛共享并借助基于内容的医学图像检索进行查询，对医疗信息技术的发展和应用有着重要意义。

发明内容

本发明针对单一节点的医学图像检索系统的不足，提出一种基于网格平台的分布式医学图像检索系统，该系统具有可靠性高、扩展性好、效率高和成本低特点。

本发明提供的基于网格平台的分布式医学图像检索系统，包括网格域管理中心和位于网格互联各分布结点的医疗图像专家库；

网格域管理中心用于响应用户请求，将用户请求分发给匹配的医学图像专家库进行检索，并将返回的检索的结果后提供给用户；网格域管理中心还用于对各医疗图像专家库进行管理和调度注册；

各医学图像专家库均包括本地交互模块，任务控制模块，图像分割模块，特征提取模块，相似度计算模块，结果返回模块，图像元数据库，图像数据库；医学图像专家库被封装为Web服务的形式，按照统一的接口与消息定义与域管理中心进行交互；

本地交互模块接受来自网格域管理中心的查询请求中包含的医学图片，并将图片传送给任务控制模块，并将任务控制模块返回的图片集合发送给网格域管理中心；

任务控制模块接受本地交互模块发送的图片，并将图片发送给图像分割模块；本地查询完成后，任务控制模块接受来自结果返回模块返回的图片集合，并返回给本地交互模块；

图像分割模块接受来自任务控制模块的医学图像，并根据查询的疾病类型和图像格式，采用不同的图像分割算法对医学图像进行分割，得到关注区域，并将其发送给特征提取模块；

特征提取模块接受来自图像分割模块的关注区域图像，按照疾病所关注的不同图像特征，提取关注区域的图像特征，提取完成后，特征提取模块将特征向量Y发送给相似度计算模块；

相似度计算模块接受特征提取模块发送的特征向量Y，然后从图像元数据库中读取所有库存图像的特征向量集合X，并和特征向量Y进行相似度计算；相似度计算模块从图像元数据库中获取与特征向量Y具有最大相似度的若干张图片的编号及存放位置，并发送给结果返回模块；

结果返回模块接受相似度计算模块发送的图像编号及图像位置，然后在图像数据库中进行查找，得到图片以及图片的说明信息，并将其发送给任务控制模块；

图像元数据库用于存放医学图像专家库中的全部医学图像的元数据；

图像数据库用于存储各医学图像专家库管理的所有图片，它接受结果返回模块提交的图片编号及图片位置，经查找后，向其返回对应的图片以及图片的说明信息。

上述基于网格平台的分布式医学图像检索具有以下效果及优点：

(1)高可靠性

本发明基于网格平台实现分布式医学图像检索系统，医学图像专家库可以部署在本地或远程的服务器上，从而缓解了由于使用单一服务器所造成的资源竞争和操作延时。

(2)可扩展性强

对于新加入的医学图像库资源，系统只需向系统注册新的资源元数据，系统的其它配置无需做任何更改，较为简便地实现系统的扩展。

(3)高效率和低成本

系统可以同时部署众多的医学图像库和医学图像检索服务，打破了以往医学图像检索系统的软、硬件只能和固定的少数几种疾病和图像类型绑定的局限，从而提高了系统的利用的效率，并降低了医疗单位医学图像检索需求的整体成本。

附图说明

图1为基于网格平台的分布式医学图像检索系统互联拓补图；

图2为基于网格平台的分布式医学图像检索系统结构示意图；

图3为医学图像专家库进行图像检索的流程示意图。

具体实施方式

下面结合附图和实例对本发明作进一步详细的说明。

如图1所示，本发明基于网格的分布式医学图像检索系统包括网格域管理中心1和位于网格互联各分布结点的医疗图像专家库2A、2B、......2N。本发明使用网格域管理中心1来响应用户请求，并管理和调度注册的医疗图像专家库2A、2B、......2N。医学图像专家库2A、2B、......2N由不同科室的不同医生独立创建，存放了医生收集的针对不同疾病的典型图片、图片说明信息、针对不同类型特征的特征值等。

网格用户通过网格门户(如JSP页面)提交医学图像查询请求给网格域管理中心1。网格域管理中心1将用户请求分发给匹配的医学图像专家库2进行检索。医学图像专家库2检索的结果经网格域管理中心1集成后返回给用户。

如图2所示，本发明基于网格平台的分布式医学图像检索系统的具体结构为：

域管理中心1包括网格门户11、网格交互模块12、任务调度模块13、任务队列14、资源匹配模块15和资源元数据库16。这模块可以根据需要进行分解，部署在一台或多台服务器上。

网格门户11用来接受网格用户的请求(包括：文本关键字，如查询的疾病类型、性别、年龄等；以及待检索的医学图像文件)，并将请求经过格式转换后发送给网格交互模块12；网格交互模块12在分布式查询结束后将查询的结果返回给网格门户11，并由网格门户返回给网格用户。

网格交互模块12接受网格门户11的查询请求，并将请求发送给任务调度模块13，任务调度模块13将匹配的资源信息，包括医学图像专家库2的地址及访问信息(如访问用户名/密码等)返回给网格交互模块12。网格交互模块12按照资源信息，将用户请求分发给不同的医学图像专家库2的本地交互模块21。本地交互模块21将查询得到的图片集合返回给网格交互模块12，由网格交互模块12进行整合，并返回给网格门户11。

任务调度模块13接受网格交互模块12提交的用户查询请求，并提交给资源匹配模块15。资源匹配模块15将匹配的资源信息返回给任务调度模块13。任务调度模块13向任务队列14注册本次查询的信息，包括请求用户名、进入队列时间、匹配的资源(医学图像专家库集合)信息等。任务队列14向任务调度模块13返回注册成功信息。任务调度模块13，定时检查任务队列14，对于超出生命期的任务，任务调度模块13可以强行终止该任务。

任务队列14接受任务调度模块13注册的医学图像检索任务信息，并向任务调度模块13返回注册成功信息。

资源匹配模块15接受任务调度模块13提交的资源匹配请求，并按照请求的文本关键字信息与资源元数据库16中的医学图像专家库2的信息进行匹配，获取能够满足用户请求的医学图像专家库2的集合。

资源元数据库16用于存放域管理中心1互联的各分布结点的医疗图像专家库2的描述信息，主要包括网络服务标识(Uniform Resource Identifier，URI)、访问权限、图像类型、存储格式。资源元数据库16接受资源匹配模块15提交的资源匹配请求后，向其返回与请求匹配的医学图像专家库2的网络服务标识信息。

网格域管理中心1的信息流向为：网格用户向网格门户11提交医学图像检索请求，信息查询请求经网格门户11格式转换化后提交给网格交互模块12。网格交互模块12将请求发送给任务调度模块13，任务调度模块13将请求发送给资源匹配模块15，资源匹配模块15在资源元数据库中16中查找和请求匹配的资源信息，并返回给任务调度模块13；任务调度模块将任务信息写入任务队列14，然后将资源信息送往网格交互模块12；网格交互模块12根据资源信息将用户请求发送给分布的医学图像专家库12的本地交互模块21。查询在医学图像专家库2执行结束后，网格交互模块12接受来自不同医学图像专家库2的本地交互模块21返回的图片集合，并进行整合，然后返回给网格门户11。网格门户11将查询的结果返回给网格用户。

为表述方便，下文中将医学图像专家库2A、2B、......2N统称为医学图像专家库2。

各医学图像专家库2均包括本地交互模块21，任务控制模块22，图像分割模块23，特征提取模块24，相似度计算模块25，结果返回模块26，图像元数据库27，图像数据库28。医学图像专家库2被封装为Web服务的形式，接受网格域管理中心1的管理和调度。由于Web服务的实现透明性，所以只需要遵循统一的接口定义，医学图像专家库的底层实现方法、编程语言、操作系统、数据库类型对于网格平台是完全透明的。

本地交互模块21接受来自网格域管理中心1的网格交互模块12的查询请求中包含的医学图片，并将图片传送给任务控制模块22。本地查询结束后，本地交互模块21将任务控制模块22返回的图片集合(包括图片说明信息)发送给网格域管理中心1的网格交互模块12。

任务控制模块22接受本地交互模块21发送的图片，并将图片发送给图像分割模块23。本地查询完成后，任务控制模块22接受来自结果返回模块26返回的图片集合，并返回给本地交互模块21。

图像分割模块23接受来自任务控制模块22的医学图像，并根据查询的疾病类型和图像格式，采用不同的图像分割算法对医学图像进行分割，如区域分割、阈值分割、大津分割等，分割的结果即为关注区域(Region ofInterest，ROI)，它被送给特征提取模块24。

特征提取模块24接受来自图像分割模块的ROI图像，按照疾病所关注的不同图像特征，提取ROI的图像特征，主要包括长度、颜色和纹理特征，这些特征被量化为特征值y的形式。提取完成后，特征提取模块24将特征向量Y(由多个特征值组成)发送给相似度计算模块25。

相似度计算模块25接受特征提取模块24发送的特征向量Y，然后从图像元数据库27中读取所有库存图像的特征向量集合X，并和Y进行相似度计算。相似度计算模块25从图像元数据库27中获取与Y具有最大相似度的n张图片的编号及存放位置，并发送给结果返回模块26。n为系统根据平均查全率和查准率设定，通常情况下5≤n≤10。

结果返回模块26接受相似度计算模块25发送的图像编号及图像位置，然后在图像数据库28中进行查找，并将查找结果(包括图像及其说明信息)发送给任务控制模块22。

图像元数据库27中存放了医学图像专家库2中的全部医学图像的元数据，包括图像特征向量、存放位置、存储类型等。图像元数据库27接受相似度计算模块25的查询请求，向其返回所有图片的特征向量。相似度计算完成后，它根据相似度计算模块25返回的相似度排序结果，向其返回具有最大相似度的几张图片的编号及存放位置。

图像数据库28中存放了医学图像专家库2管理的所有图片，它接受结果返回模块26提交的图片编号及图片位置，经查找后，向其返回对应的图片以及图片的说明信息。

医学图像专家库2的主要信息流程如下：本地交互模块21接受网格域管理中心1的网格交互模块12提交的待检索图像，然后送往任务控制模块22。任务控制模块22将图片送往图像分割模块23。图像分割模块23根据疾病及图像的类型采用不同的算法对图像进行分割获取ROI区域。ROI区域被图像分割模块23送往特征提取模块24。特征提取模块24采用不同的特征提取算法获取图像特征向量。图像特征向量被特征提取模块24送往相似度计算模块25，相似度计算模块25从图像元数据库27中读取库存医学图像的特征向量，并进行相似度计算。相似度计算模块25从图像元数据库27中获取与提交特征向量具有最大相似度的n张图片的图像编号和存放位置，并送往结果返回模块27。结果返回模块27根据图像编号和存放位置从图像数据库28中获得图片文件及其说明信息，并送往任务控制模块22。任务控制模块22将这些信息送往本地交互模块21，并由本地交互模块21返回给网格域管理中心1的网格交互模块12。

如图3所示，本发明在医学图像专家库2中进行医学图像检索，按照以下步骤进行：

(1)本地交互模块21获取用户提交待检索图像。

医学图像专家库2的本地交互模块21从网格域管理中心1的网格交互模块12获取待检索的医学图片(如计算机断层图片CT、磁共振图片MRI、正电子放射断层图片PET、计算机放射线图片CR等)，并经任务控制模块22发送给图像分割模块23。

(2)图像分割模块23根据用户提交的疾病及图像类型自动分割图像

(2.1)使用5*5大小的模板进行图像平滑。[1，1，1，1，1]/5算子能够平滑掉一些噪声峰值，并且该算子相对较小，不会影响一些重要特征的位置。

(2.2)计算X轴方向灰度投影。

(2.3)找出器官边界和参照物(如脊柱、中线的位置)。根据医学图像所呈现的对称特点，找到脊柱或中线位置M，器官外边界Lmax，器官左中线Lmin，器官右边界Rmax，器官右中线Rmin。

(2.4)计算器官的纵膈边界。利用公式Ls＝M-(Rmin-Lmin)/12和Rs＝M+(Rmin-Lmin)/12求得器官纵膈边界。

(2.5)分别计算器官区域内y轴方向上的灰度投影及梯度。

(2.6)分别找出器官的顶部及底部边界。顶部和底部边界分别位于图像上部和下部的极值位置，分割出器官所在的矩阵区域。

(2.7)根据图像及疾病类型的不同，选择不同的分割算法如阈值安割、ROBERT算子处理、大津分割等，获取医学图像的ROI区域。

(3)特征提取模块24对ROI区域进行特征提取。

(3.1)灰度特征。计算ROI区域的灰度直方图，使用16位数组保存。

(3.2)器官形状特征。根据已划分的区域计算出器官的长宽比，在医学上，器官的形变是病变的特征之一，可以从整体上预估医学图像对应病人的健康情况。

(3.3)透光度。从医学影像学的角度，疾病患者的器官会有一定的透光度变化(明暗变化)，反应到医学图片上就是透光度增加或减少，器官的局部区域比正常的黑或白。所以可以找到器官最黑、最亮的区域(小的方块)的面积、个数，并进行量化作为该项指标。

(3.4)纹理。纹理特征是疾病的影像学的重要表现之一。因此，在ROI的基础上进一步找到不同疾病对应的易发生病变的矩阵区域，并计算出此矩形区域的灰度共生矩阵，然后根据灰度共生矩阵进行二阶特征提取，获得能量、熵、局部稳定性、惯性矩和相关性等纹理特征。

(3.5)器官曲率。疾病患者在体征上的另一个形状表现是器官的曲率特征。对ROI区域的边界点进行三次曲线拟合，然后根据得到的曲线方程计算平均曲率等统计量。

(3.6)按照疾病所关注的不同图像特征类型，提取ROI的不同图像特征(主要分为长度、颜色和纹理特征三类)，这些特征被量化为特征值y的形式。

(4)相似度计算模块25进行相似度计算

(4.1)相似度计算模块25接受特征提取模块24发送的特征向量Y，然后从图像元数据库27中读取所有库存图像的特征向量集合X＝{x₁，...x_n}。

(4.2)相似度计算模块25对X和Y进行相似度计算。公式1是一个归一化的相似度计算函数。其中X_i＝{x₁，...x_n}是医学图像库中图像对应某一特征所有医学图像的特征值集合，y是对应的输入图像特征值。函数Max(y，X_i)返回|x_i-y|序列的最大值，函数Min(y，X_i)返回|x_i-y|序列的最小值。由于基于灰度直方图的相似度计算可以转化为计算输入图像和特征库图像的直方图两者的欧氏距离，所以以欧氏距离作为输入，同样也可以用公式1作为相似度计算公式。综合相似度是基于各种特征的归一化相似度的加权和，如公式2所示。θ(i)是不同的特征对应的权值，它由系统设计人员根据疾病类型和经验设定。通常情况下，形状特征和曲率特征的权值最低、灰度特征和透光度特征的权值较高，而纹理特征的权值最高，各种特征的权值之和为1。

$\mathrm{RD}\left(i\right)=\mathrm{\ψ}(y,x_i)=1-\frac{|x_i-y|-\mathrm{Min}(y,X_i)}{\mathrm{Max}(y,X_i)-\mathrm{Min}(y,X_i)}---\left(1\right)$

(4.3)相似度计算模块25将计算的相似度进行排序，向结果返回模块26发送具有最大相似度的n张图片的编号和存放位置。

(5)结果返回模块26根据图片的编号和存放位置，从图像数据库中28中获取对应的图片，并返回给任务控制模块22。

实例：

本发明的网格域管理中心1的服务器端基本硬件配置如表1所示。如果系统的负载较大，可以将域管理中心1的模块分别安装在多个服务器上。

CPU	内存	硬盘	操作系统	网络
					PIV3.0G	1G	80G	Linux Red Hat9.0或Windows系列	双1000M网卡及以上交换机

           表1网格域管理中心服务器的硬件及网络配置

医学图像专家库2对医学图像进行处理，获取图像特征并与库存图像进行相似度计算，要求的配置较高，其基本配置如下。

CPU	内存	显卡	硬盘	操作系统	网络
						PIV3.0G	512M	Geforce IV	80G	Windows系列或Linux	10M无线网卡

                         表2医学图像专家库2的硬件及网络配置

本发明将网格技术和基于内容的医学图像检索技术进行了有效的结合。它利用网格整合异构资源的优势，将分布的医学图像专家库资源封装成不同的Web服务，接受网格的管理和调度，实现了分布的医学图像专家库的集成。该系统对于打破现有的医学图像检索系统覆盖的医学图像、疾病类型的局限性，实现广大地域范围内的医学图像资源的共享，提高医生的诊断水平有着重要的意义，具有较大的应用潜力。

Claims (3)

1.一种基于网格平台的分布式医学图像检索系统，包括网格域管理中心(1)和位于网格互联各分布结点的医疗图像专家库；

网格域管理中心(1)用于响应用户请求，将用户请求分发给匹配的医学图像专家库进行检索，并将返回的检索的结果后提供给用户；网格域管理中心(1)还用于对各医疗图像专家库进行管理和调度注册；

各医学图像专家库均包括本地交互模块(21)，任务控制模块(22)，图像分割模块(23)，特征提取模块(24)，相似度计算模块(25)，结果返回模块(26)，图像元数据库(27)，图像数据库(28)；医学图像专家库(2)被封装为Web服务的形式，按照统一的接口与消息定义与域管理中心(1)进行交互；

本地交互模块(21)接受来自网格域管理中心(1)的查询请求中包含的医学图片，并将图片传送给任务控制模块(22)，并将任务控制模块(22)返回的图片集合发送给网格域管理中心(1)；

任务控制模块(22)接受本地交互模块(21)发送的图片，并将图片发送给图像分割模块(23)；本地查询完成后，任务控制模块(22)接受来自结果返回模块(26)返回的图片集合，并返回给本地交互模块(21)；

图像分割模块(23)接受来自任务控制模块(22)的医学图像，并根据查询的疾病类型和图像格式，采用不同的图像分割算法对医学图像进行分割，得到关注区域，并将其发送给特征提取模块(24)；

特征提取模块(24)接受来自图像分割模块(23)的关注区域图像，按照疾病所关注的不同图像特征，提取关注区域的图像特征，提取完成后，特征提取模块(24)将特征向量Y发送给相似度计算模块(25)；

相似度计算模块(25)接受特征提取模块(24)发送的特征向量Y，然后从图像元数据库(27)中读取所有库存图像的特征向量集合X，并和特征向量Y进行相似度计算；相似度计算模块(25)从图像元数据库(27)中获取与特征向量Y具有最大相似度的若干张图片的编号及存放位置，并发送给结果返回模块(26)；

结果返回模块(26)接受相似度计算模块(25)发送的图像编号及图像位置，然后在图像数据库(28)中进行查找，得到图片以及图片的说明信息，并将其发送给任务控制模块(22)；

图像元数据库(27)用于存放医学图像专家库中的全部医学图像的元数据；

图像数据库(28)用于存储各医学图像专家库管理的所有图片，它接受结果返回模块(26)提交的图片编号及图片位置，经查找后，向其返回对应的图片以及图片的说明信息。

2.根据权利要求1所述的分布式医学图像检索系统，其特征在于：域管理中心(1)包括网格门户(11)、网格交互模块(12)、任务调度模块(13)、任务队列(14)、资源匹配模块(15)和资源元数据库(16)；

资源元数据库(16)用于存放域管理中心(1)互联的各分布结点的医疗图像专家库(2)的描述信息，包括网络服务标识(URI)、访问权限、图像类型和存储格式；

网格门户(11)用来接受网格用户的请求，并将请求经过格式转换后发送给网格交互模块(12)；网格交互模块(12)在分布式查询结束后将查询的结果返回给网格门户(11)，并由网格门户返回给网格用户；

网格交互模块(12)接受网格门户(11)的查询请求，并将请求发送给任务调度模块(13)，任务调度模块(13)将匹配的资源信息，包括医学图像专家库(2)的地址及访问信息；返回给网格交互模块(12)；网格交互模块(12)按照资源信息，将用户请求分发给不同的医学图像专家库(2)的本地交互模块(21)；本地交互模块(21)将查询得到的图片集合返回给网格交互模块(12)，由网格交互模块(12)进行整合，并返回给网格门户(11)；

任务调度模块(13)接受网格交互模块(12)提交的用户查询请求，并提交给资源匹配模块(15)；资源匹配模块(15)将匹配的资源信息返回给任务调度模块(13)；任务调度模块(13)向任务队列(14)注册本次查询的信息，包括请求用户名、进入队列时间、匹配的资源信息；任务队列(14)向任务调度模块(13)返回注册成功信息；任务调度模块(13)，定时检查任务队列(14)，对于超出生命期的任务，任务调度模块(13)可以强行终止该任务；

任务队列(14)接受任务调度模块(13)注册的医学图像检索任务信息，并向任务调度模块(13)返回注册成功信息；

资源匹配模块(15)接受任务调度模块(13)提交的资源匹配请求，并按照请求的文本关键字信息与资源元数据库(16)中的医学图像专家库的信息进行匹配，获取能够满足用户请求的医学图像专家库的集合。

3.根据权利要求(1)或(2)所述的分布式医学图像检索系统，其特征在于：相似度计算模块(25)采用下述公式(I)对特征向量集合X和特征向量Y进行相似度的计算：

其中， $\mathrm{RD}\left(i\right)=\mathrm{\ψ}(y,x_i)=1-\frac{|x_i-y|-\mathrm{Min}(y,X_i)}{\mathrm{Max}(y,X_i)-\mathrm{Min}(y,X_i)},X_i=\{x_{\left(1\right)},\·\·\·,x_n\},$ 为医学图像库中图像对应某一特征所有医学图像的特征值集合，y是对应的输入图像特征值；函数Max(y，X_i)返回|x_i-y|序列的最大值，函数Min(y，X_i)返回|x_i-y|序列的最小值，θ(i)是不同的特征对应的权值，各种特征的权值之和为1。

Images