CN102156715A

CN102156715A - 面向医学影像数据库的基于多病灶区域特征的检索系统

Info

Publication number: CN102156715A
Application number: CN2011100713109A
Authority: CN
Inventors: 张建国; 朱燕杰
Original assignee: Shanghai Institute of Technical Physics of CAS
Current assignee: Shanghai Institute of Technical Physics of CAS
Priority date: 2011-03-23
Filing date: 2011-03-23
Publication date: 2011-08-17

Abstract

本发明公开了一种面向医学影像数据库的基于多病灶区域特征的检索系统，该发明通过高级图像描述符对图像进行全方位描述，包括图像区域内容，病理学表现，解剖学位置信息，实现了对多个病灶区域的准确定位和匹配方法，采用语义导航和高维数据索引相结合的方法实现对大规模图像特征值的快速查询，提高了检索效率，并在一定程度上缓解了传统的图像检索技术中的“语义鸿沟”现象。本发明充分的利用了PACS数据库中的历史图像和诊断资料，可作为计算机辅助诊断的有效手段，广泛应用于医学临床，研究和教学领域。

Description

面向医学影像数据库的基于多病灶区域特征的检索系统

技术领域

本发明属于医疗信息技术和信息检索技术领域，具体为一种面向医学影像数据库的基于多病灶区域特征的检索系统。

背景技术

医学影像信息学及其工程应用的关键核心系统是医学图像归档与通信系统(PACS)。PACS集医学图像的采集、通信、处理、存储与显示于一体，是医院实现数字化的关键信息系统和技术支撑平台。随着医学成像技术的发展和医学信息系统的普及，一所现代化医院的放射科每天会产生大量的放射医学图像，这些图像是医生进行临床诊断、病情跟踪、手术计划、预后研究、鉴别诊断的重要客观依据。医学图像数据的多样性和重要性亟待高效的医学图像检索方法，希望用计算机代替人眼，从海量历史图像数据中选出需要的图像并反馈给用户，以最大限度地利用医学图像所提供的信息，可广泛用于医学诊断，研究机构和教学系统中。

现有的医学图像存储系统中，一般是通过元数据进行查询，如利用病人姓名，检查时间，DICOM图像文件头中的信息等来找到相关的图像，该方法针对性较强，但无法与图像自身的内容相关联。少部分引入了文本检索和基于内容的检索方法(Content-base Image Retrieval，CBIR)，利用医生诊断报告中的关键词或图像的一些视觉特征(如：灰度值、形状、纹理等)来查询图像系列。文本查询的速度较快，但文本描述的多样性和各异性使其无法准确描述出图像中包含的信息；而当前的CBIR系统大多针对孤立病灶或整体内容进行检索，如针对胸部X光图片，肺结节，乳腺癌图像等，但实际的医学图像通常会有多种病症并发出现，而基于图像的整体内容进行检索会弱化对病灶区域的描述，且当图像数据库达到一定规模后，计算图像特征向量间的距离将非常耗时，使得CBIR技术在大规模图像数据库中无法实用化；低层视觉特征与用户查询所使用的高层概念之间存在的“语义鸿沟”，也成为制约CBIR系统进一步发展的瓶颈，因此，单一的采用文本或仅使用图像内容进行检索无法取得较好的结果。

发明内容

本发明的目的在于提供了一种面向医学影像数据库的基于多病灶区域特征的检索系统(Regional Content based Image Retrieval，RCBIR)，解决当前无法利用“样图”快速有效的检索相关医学图像的问题。

本发明采用的技术方案是：

一种面向医学影像数据库基于多病灶图像区域特征的检索系统，其特征在于，将该检索系统与PACS显示工作站集成，实现与放射科医生诊断工作流的无缝结合；采用高级图像描述符对图像信息进行全方位的描述，通过文本导航和高维数据索引相结合的方式缩小检索空间。一个有效的查询请求至少由示例图像和高级图像描述符组成。放射科医生在诊断过程中，可选出图像系列中的关键图像作为示例图像。高级图像描述符由图像基本信息和感兴趣区域列表组成。图像基本信息包括了病人和DICOM文件头中的基本信息，病人姓名、检查日期、检查设备类型、检查部位、以往病史。感兴趣区域列表顺次列出了每个感兴趣区域病灶名称、解剖学位置、中心点，轮廓坐标，特征矢量值和优先级，当一幅图像中有多个同种病灶时，可通过优先级确定比较次序。

本发明提出了一种面向医学影像数据库多病灶放射图像的基于区域的检索系统，其系统工作流程如下：步骤1.放射科医生指定感兴趣的病灶区域，对病灶区域进行文本标注，通过该区域的图像内容来计算病灶区域的中心点和区域特征值，生成高级图像描述符并发送到RCBIR服务器中查询相似图像。步骤2.RBIR服务器利用描述符中的信息和特征值矢量在高维索引文件中查询，根据距离阈值，选择和查询具有相同标注信息和相似特征矢量的区域簇作为候选结果集。步骤3.精确计算示例图像和候选图像的相似度值，根据计算所得结果对候选结果排序，并去除不符合要求的结果，将结果返回给用户。用户最终得到的搜索结果集中的每条结果都由两部分组成，一部分是结果图像中每个感兴趣区域的信息列表，包括文本标注、解剖学位置、病理诊断结果信息，另一部分是与示例图像具有相似视觉特征的图像缩略图。步骤4.若用户想查看某一图像的详细信息，可发送请求至PACS服务器，来提取完整的图像系列；若用户不满意当前搜索结果，可通过重新指定感兴趣区域，调整距离阈值来重新查询。

本发明的效果和优点如下：

1.通过高级图像描述符对图像进行全方位描述，实现对感兴趣区域的准确定位，使得对具有多种影像表现的复杂病灶图像的检索成为可能，且便于用户将示例图像中的感兴趣区域与检索结果图像的病灶区域相对应；

2.通过高维数据索引的方法实现对大规模图像特征值的快速查询，大大减少了一次查询过程中需要进行特征向量间距离计算的图像的数量，且检索时间不随图像数据库的增长而显著增加；

3.将文本检索和基于内容的图像检索(CBIR)技术有效整合，形成了本发明的语义导航的基于多病灶图像区域特征的检索系统，充分发挥了两种技术的优势，在一定程度上缓解传统CBIR的“语义鸿沟”现象，具有更好的性能和更高的准确度。

附图说明

图1是本发明面向医学影像数据库的基于多病灶区域特征的检索系统的结构框图。

图2是本发明实施实例面向医学影像数据库的基于多病灶区域特征的检索系统的客户端工作流程图。

图3是本发明实施实例面向医学影像数据库的基于多病灶区域特征的检索系统的RCBIR服务器端的工作流程图。

具体实施方式

下面结合附图给出了本发明的一个较好的实施例，进一步对本发明进行详细阐述，使得更易于了解本发明的结构特征和功能特征。

本发明的面向医学影像数据库的基于多病灶区域特征的检索系统，采用服务器-客户端架构，其结构图如图1所示，其主要由RCBIR客户端，RCBIR服务器和PACS、RIS服务器组成。其中：

第一部分客户端

本实施例的RCBIR客户端通常集成在PACS显示工作站中，主要包括图像查询模块(101)，诊断报告查询模块(102)，图像显示及用户交互模块(103)，图像区域特征提取模块(104)，图像标注模块(105)，查询接口模块(106)。其中，图像查询模块(101)根据图像的唯一标识符(UID)从PACS服务器查询提取图像；诊断报告查询模块(102)用于从RIS服务器中查询图像系列的诊断报告；用户显示交互模块(103)实现图像的显示、感兴趣区域的选择(通过自动分割或人工干预来指定感兴趣区域)、输入区域的文本标志符、解剖位置以及其它相关信息，并提交查询请求；特征提取模块(104)执行图像感兴趣区域的特征提取操作，包括灰度统计特征、共生矩阵特征、纹理特征、马尔可夫随机域参数特征、形状特征；图像标注模块(105)读取DICOM文件头中的基本信息，并根据区域轮廓坐标来计算中心点位置，结合提取出的特征，形成高级图像描述符，利用图像标注语言(Image markup language)对高级图像描述符进行分层管理，并保存为xml格式文件；查询接口模块负责显示工作站与服务器端进行交互的接口操作。

第二部分服务器端

本实施例的服务器端为RCBIR服务器，主要包括图像特征选择模块(109)，高维数据索引模块(110)，图像匹配模块(111)，管理模块(112)。其中，图像特征选择模块(109)采用支持向量机递归越减(Support Vector Machine Recursive Feature Elimination)算法选择出每种病灶的高效特征子集，提高匹配的精确度；高维数据索引模块(110)根据VA-Tire算法(或其它高维数据索引算法)和语义导航相结合，构建高维索引文件，该算法通过对高维空间的每一维进行切分，将分布在同一个空间超立方体中的特征矢量聚集在一起，形成一个数据簇，并通过树结构来管理分割的数据空间，使得查询性能有了较大的提升；图像匹配模块(111)用于计算感兴趣区域的特征矢量间的相似度，采用一对一的匹配模式，即每个图像病灶检索区域和目标图像中的一个区域相对应，反之亦然，匹配原则为相似度优先原则；管理模块用于对感兴趣区域的特征矢量，图像缩略图以及图像标注文件进行管理。

PACS服务器：PACS服务器是系统的影像中心存储单元，接收来自各个采集网关的各种医学DICOM图像，并进行统一存储、归档和备份。PACS服务器中的数据库保存着与病人有关的所有数字图像，用户可以通过病人编号、

病人姓名、检查类别、检查时间来查询和提取病人的图像资料。RIS服务器：RIS系统是放射科信息管理系统，是放射科的登记、分诊、影像诊断报告的管理系统。RIS服务器是信息管理系统的中心存储单元，对放射科的各项信息，影像诊断报告进行管理，可通过报告编号来查询图像系列的相关诊断报告。

本实施例的检索流程如下：

本实施例的客户端工作流程如图2所示：步骤201：通过图像查询模块(101)从PACS服务器中提取待诊断的图像系列；步骤202：若用户需要查询历史数据中的相似图像，则执行步骤203，否则可按正常的诊断流程书写诊断报告；步骤203：选择系列中关键的图像帧作为示例图像；步骤204：用户通过交互模块(103)来指定图像中感兴趣区域(疑似病灶区)，用户可指定一个或多个感兴趣区域，并为每个区域添加文本标注；步骤205：通过特征提取模块(104)计算感兴趣区域的视觉特征矢量值(灰度统计特征、共生矩阵特征、纹理特征、马尔可夫随机域参数特征、形状特征)；步骤206：利用图像标注模块(105)提取DICOM文件头中的信息，并结合区域轮廓坐标和特征值矢量，生成高级图像描述符；步骤207：通过查询接口模块(106)将高级图像描述符发送到RCBIR服务器，提交查询请求，等待服务器响应；步骤208：RCBIR服务器将结果集(Results group)返回，结果集中的每条结果都由两部分组成，一部分是结果图像(Returned image)中每个感兴趣区域的信息列表，包括文本标注、解剖学位置、病理诊断结果信息，另一部分是与示例图像具有相似视觉特征的图像缩略图；步骤209：将结果集通过图像显示模块(103)显示出来；步骤201，若用户对当前结果不满意，则返回步骤203，重新选择关键图像帧，或返回步骤204，重新指定感兴趣区域，并调整参数值，再次查询，若用户满意当前结果，则执行步骤211；步骤211：可通过图像查询模块(101)来提取结果集中某条记录的整个图像系列，或通过诊断报告查询模块(102)来查询该记录完整的诊断报告，检索过程结束。

本实施例的RCBIR服务器端工作流程如下，如图3所示：步骤301：RCBIR服务器收到查询请求；步骤302：服务器对查询请求进行验证，若请求无效则执行步骤303，若请求查询是有效的则进行步骤304；步骤303：服务器通过查询接口模块(106)返回出错提示至图像显示模块(103)，检索过程结束；步骤304：特征选择模块(109)根据高级图像描述符中的病灶名称，对特征矢量进行选择，利用高效的特征子集来进行相似度匹配；步骤305：利用特征子集从高维索引文件中查询相似特征矢量簇，将对应的记录号作为候选结果，根据距离阈值，可通过调节高维数据索引模块(110)中的距离阈值参数，来限制候选结果集的数目；步骤306：对候选结果集进行验证，若候选结果集为空(即没有找到匹配的相似特征矢量)，则进行步骤307，若候选结果不为空则进行步骤308；步骤307：通过查询接口模块106返回空的搜索结果，检索过程结束；步骤308：使用特征数据库中提取出候选结果集对应的特征矢量；步骤309：通过图像匹配模块(111)计算示例图像与候选集中图像的精确相似度值；步骤310：去掉相似度值不满足距离阈值参数的结果(即高维索引检索中多检的结果)，并根据相似度值对结果按照相似度从高到低的顺序进行排序；步骤311：通过管理模块(112)将结果集中对应的图像缩略图、图像标注文件返回至接口模块(106)，并在客户端显示出来，检索过程结束。

Claims

1.一种面向医学影像数据库的基于多病灶区域特征的检索系统，系统包括RCBIR客户端和RCBIR服务器两个部分，其特征在于：

所述的RCBIR客户端集成在PACS显示工作站中，包括图像查询模块，诊断报告查询模块，图像显示及用户交互模块，特征提取模块，图像标注模块，查询接口模块，实现从PACS服务器中提取图像，从RIS服务器中提取诊断报告，图像的显示，感兴趣区域的选择，输入区域相关信息，感兴趣区域的特征矢量提取，生成高级图像描述符，提交查询请求；所述的RCBIR服务器包括特征选择模块，高维数据索引模块，图像匹配模块，特征矢量、图像缩略图以及图像标注文件的管理模块，实现对高效特征子集的特征选择，维护高维索引文件，计算最优相似度，管理特征矢量、图像缩略图以及图像标注文件功能；

其工作流程为，放射科医生指定感兴趣的病灶区域，对病灶区域进行文本标注，通过该区域的图像纹理内容来计算病灶区域的中心点和区域特征矢量值，生成高级图像描述符并发送到RCBIR服务器中查询相似图像；RCBIR服务器对每种病灶选择出高效特征子集，利用描述符中的信息和特征值子集在高维索引文件中查询，根据距离阈值，选择和查询具有相同标注信息和相似特征矢量的区域簇作为候选结果集；通过相似度计算方法精确计算示例图像和候选图像的相似度值，根据计算所得结果对候选结果排序，并去除不符合要求的结果，将结果返回给用户。

2.根据权利要求1所述的一种面向医学影像数据库的基于多病灶区域特征的检索系统，其特征在于：所述的高级图像描述符由图像基本信息和感兴趣区域列表组成，图像基本信息包括了病人和DICOM文件头中的基本信息，具体为：病人姓名、病人性别、检查日期、检查设备类型、检查部位和以往病史；感兴趣区域列表顺次列出了每个感兴趣区域病灶名称、解剖学位置、中心点，轮廓坐标，特征矢量值和优先级。

3.根据权利要求1所述的一种面向医学影像数据库的基于多病灶区域特征的检索系统，其特征在于：所述的利用描述符中的信息和特征值矢量在高维索引文件中查询，是采用了文本导航和高维数据索引的方式来缩小检索空间，减少一次查询过程中需要进行特征向量间距离计算的图像的数量，文本导航是通过与已标注图像的病灶名称相匹配或对RIS报告的进行全文检索实现的。

4.根据权利要求1所述的一种面向医学影像数据库的基于多病灶区域特征的检索系统，其特征在于：所述的选择出高效特征子集，是利用特征选择算法选出相应病灶的高效特征子集，来提高特征匹配的准确度，减少了部分无效特征对相似度计算结果的影响。

5.根据权利要求1所述的面向医学影像数据库的基于多病灶区域特征的检索系统，其特征在于：所述的相似度计算方法，是采用一对一的匹配模式，即每个检索区域和目标图像中的一个区域相对应，反之亦然，对于多个同种病灶之间的相似度计算，采用匹配原则为相似度优先原则。