CN102483761A - 对基于内容的图像检索的相关性的可视化 - Google Patents

对基于内容的图像检索的相关性的可视化 Download PDF

Info

Publication number
CN102483761A
CN102483761A CN2010800388040A CN201080038804A CN102483761A CN 102483761 A CN102483761 A CN 102483761A CN 2010800388040 A CN2010800388040 A CN 2010800388040A CN 201080038804 A CN201080038804 A CN 201080038804A CN 102483761 A CN102483761 A CN 102483761A
Authority
CN
China
Prior art keywords
image
retrieved
correlativity
query
query image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800388040A
Other languages
English (en)
Other versions
CN102483761B (zh
Inventor
D·于纳伊
A·伊金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102483761A publication Critical patent/CN102483761A/zh
Application granted granted Critical
Publication of CN102483761B publication Critical patent/CN102483761B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种用于从图像的存储检索图像的系统(100),所述系统包括:检索单元(110),其用于基于来自图像的存储的图像与查询图像的相似性从图像的存储检索图像,其中,相似性是借助于相似性函数定义的;相关性单元(120),其用于计算被检索图像的第一部分与查询图像的相应的第一部分以及被检索图像的第二部分与查询图像的相应的第二部分的相关性;以及可视化单元(130),其用于对被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性进行可视化。被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性可以利用第一和第二相关性函数来计算。所计算的相关性的值可以例如利用颜色编码以及对每幅被检索图像的第一和第二部分着色来可视化。经着色的部分容易查看和分析。因而,本发明的系统便于将被检索图像相对于彼此以及与查询图像进行可视化和比较。

Description

对基于内容的图像检索的相关性的可视化
技术领域
本发明涉及基于内容的图像检索,更具体而言,涉及对基于内容的图像检索进行可视化。
背景技术
基于内容的信息检索(CBIR)试图解决在大数据库中搜索数字图像的问题。CBIR文献中的关注点之一是关于如何对这些相似性搜索的结果排序,以及如何使该排序可视化。数字图像可以以多种不同方式与查询图像“相似”。CBIR系统应当使得用户清楚相似性的定义以及如何解释被检索图像与查询图像之间的关系。通常,基于被检索图像与查询图像的相似性对被检索图像进行排序。该系统被布置成将被检索图像按贯序向用户显示,更相似的图像在欠相似的那些图像之前。在由R.Datta等人在ACMComputing Surveys 40(第2期第5:1-60页,2008)上出版的题为“Imageretrieval,ideas,influences and trends of the new age”的刊物文章中描述了CBIR系统的若干范例。
现有CBIR方法的缺点是用户常常不能够理解为什么被检索图像与查询图像相似或者不相似。具体而言,查询图像的感兴趣可疑部分是否与被检索图像的相应部分相似常常是不明显的。还难以将被检索图像相对于彼此进行比较和评估。
发明内容
提供一种便于将被检索图像相对于彼此以及与查询图像进行比较的CBIR系统将是有利的。
因此,在一方面,本发明提供了一种用于从图像的存储检索图像的系统,该系统包括:
-检索单元,其用于基于来自图像的存储的图像与查询图像的相似性,从图像的存储检索图像,其中,所述相似性是借助于相似性函数定义的;
-相关性单元,其用于计算被检索图像的第一部分与查询图像的相应的第一部分(portion)以及被检索图像的第二部分与查询图像的相应的第二部分的相关性;以及
-可视化单元,其用于对被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性进行可视化。
被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性可以利用第一和第二相关性函数来计算。所计算的相关性的值可以例如利用颜色编码和对每幅被检索图像的第一和第二部分着色来可视化。经着色的部分容易查看和分析。因此,本发明的系统便于对被检索图像相对于彼此以及与查询图像进行可视化和比较。
在一实施例中,所述系统还包括用于确定查询图像的第一和/或第二部分的部分单元。查询图像的第一和/或第二部分可以基于用户输入。用户输入可以包括用于限定包括查询图像的第一或第二部分的像素的封闭轮廓的控制点。在另一实施例中,查询图像可以被划分成多个(part),并且用户可以例如使用鼠标指针指出包括在查询图像的第一和/或第二部分中的各部分。这允许用户限定图像的重要区域。
在该系统的一实施例中,部分单元适于分割查询图像,并且所述查询图像的第一和/或第二部分是基于对查询图像的所述分割来确定的。这允许基于例如表示患者的被成像身体部分的解剖特征的图像特征来确定查询图像的第一和/或第二部分。
在一实施例中,该系统还包括用于确定被检索图像的排序的排序单元,并且所述排序是基于被检索图像与查询图像的相似性和/或基于被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性而确定的。排序单元可以适于采用各种方法。在一实施例中,第一部分的相关性被认为比第二部分的相关性更为重要。排序是第一和第二部分相关性的加权和。更为重要的第一部分的相关性具有更高的权重。
在该系统的一实施例中,检索单元适于将来自图像的存储的图像与查询图像进行配准。这使得计算图像相似性以及第一和第二部分的相关性更为简单。同样地,这简化了基于查询图像的第一和第二部分对被检索图像的第一和第二部分的确定;例如,与查询图像配准的被检索图像的各部分的像素或体素坐标可以与查询图像的各部分的相应的像素或体素坐标相同。
在一实施例中,该系统还包括用于基于所计算的被检索图像的第一和第二部分的相关性的值更新相似性函数的更新单元。基于相关性反馈更新相似性函数的方法例如可以从Rui等人的“Relevance Feedback:A PowerTool for Interactive Content-Based Image Retrieval”(IEEE Transaction onCircuits and System for Video Technology,第6卷,1998年9月,第644-655页)或者从Akgul等人的“Automated Diagnosis of Alzheimer’s Disease usingImage Similarity and User Feedback”(Proc.of ACM International Conferenceon Image and Video Retrieval(CIVR),Santorini,Greece,2009)的文献中获知。使用经更新的相似性函数可以改善图像检索。具体而言,经更新的相似性函数可以被布置成证实其第一和第二部分相似于查询图像的第一和第二部分的图像。
在一实施例中,该系统还包括反馈单元,其用于接收关于被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性的用户反馈,并且更新单元适于利用该用户反馈来更新相似性函数。例如,用户可以指示被检索图像的第一或第二部分与查询图像的相应的第一或第二部分是否有意义。如果相关性被指示为有意义,对相关性值有贡献的项可以被包括在相似性函数中,以检索具有与查询图像的相应的第一或第二部分相似的第一或第二部分的被检索图像。
在该系统的一实施例中,被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性是借助于相似性函数计算的。所述相似性函数可以包括用于计算被检索图像的各部分与查询图像的相应部分的相似性的项的和。所计算的被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相似性可以被用作被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性。
在该系统的一实施例中,可视化单元适于利用颜色编码来指示所计算的被检索图像的第一部分与查询图像的相应的第一部分以及被检索图像的第二部分与查询图像的相应的第二部分的相关性,并且其中,用户能够选择所述编码的颜色和/或透明度。因此,用户能够查看第一和第二部分相关性分数而对图像细节的妨碍最小化。
在另一方面中,根据本发明的系统包括在数据库系统中,本发明的系统改进了数据库可视化函数。
在另一方面中,根据本发明的系统包括在图像采集设备中。
在另一方面中,根据本发明的系统包括在工作站中。
在另一方面中,本发明提供了从图像的存储检索图像的方法,该方法包括:
-检索步骤,其用于基于来自图像的存储的图像与查询图像的相似性,从图像的存储检索图像,其中,所述相似性是借助于相似性函数定义的;
-相关性步骤,其用于计算被检索图像的第一部分与查询图像的相应的第一部分以及检索图像的第二部分与查询图像的相应的第二部分的相关性;以及
-可视化步骤,其用于对被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性进行可视化。
在另一方面中,本发明提供了一种要由计算机装置加载的计算机程序产品,该计算机程序包括用于从图像的存储检索图像的指令。该计算机装置包括处理单元和存储器,计算机程序产品在被加载后,为所述处理单元提供执行所述方法的步骤的能力。
本领域技术人员应当认识到,上述实施例、实施方式和/或本发明的各方面中的两个或多个可以按照认为有用的任何方式进行组合。
本领域技术人员基于本说明书,能够实现对系统、数据库、图像采集设备、工作站、方法和/或计算机程序产品的修改和变型,其对应于系统或方法的所述修改和变型。
本领域技术人员应当领会到,所述方法可以被应用于多维图像数据,例如通过各种采集模态所采集的2维(2-D)、3维(3-D)或4维(4-D)图像数据,所述采集模态例如(但不限于)X射线成像、计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)和核医学(NM),。
独立权利要求限定了本发明。从属权利要求限定了有利实施例。
附图说明
从下文参考附图所描述的实施方式和实施例,本发明的这些方面和其他方面将变得显而易见,在附图中:
图1示出了系统的例示性实施例的框图;
图2示出了根据本发明实施例的查询图像和由本发明系统所检索的图像的范例;
图3示出了方法的例示性实施例的流程图;
图4示意性示出了数据库系统的例示性实施例;以及
图5示意性示出了图像采集设备的例示性实施例;以及
图6示意性示出了工作站的例示性实施例。
在整个附图之中相同的附图标记被用于表示相似部件。
具体实施方式
图1示意性示出了用于从图像的存储检索图像的系统100的例示性实施例的框图,该系统包括:
-检索单元110,其用于基于来自图像的存储的图像与查询图像的相似性,从图像的存储检索图像,其中,所述相似性是借助于相似性函数定义的;
-相关性单元120,其用于计算被检索图像的第一部分与查询图像的相应的第一部分以及被检索图像的第二部分与查询图像的相应的第二部分的相关性;以及
-可视化单元130,其用于对被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性进行可视化。
系统100的例示性实施例还包括:
-部分单元105,其用于确定查询图像的第一和/或第二部分;
-排序单元125,其用于确定检索图像的排序,其中,所述排序是基于被检索图像与查询图像的相似性和/或基于被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性来确定的;
-更新单元140,其用于基于所计算的被检索图像的第一和第二部分的相关性的值来更新相似性函数;
-反馈单元150,其用于接收关于被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性的用户反馈,并且其中,更新单元140适于利用该用户反馈来更新相似性函数;
-控制单元160,其用于控制系统100的工作;
-用户接口165,其用于用户和系统100之间的通信;以及
-存储器单元170,其用于存储数据。
在系统100的一实施例中,存在用于输入数据的三个输入连接器181、182和183。第一输入连接器181被布置成接收来自数据存储器件的数据,所述数据存储器件例如但不限于硬盘、磁带、闪速存储器或光盘。第二输入连接器182被布置成接收来自用户输入装置的数据,所述用户输入装置例如但不限于鼠标或触摸屏。第三输入连机器183被布置成接收来自诸如键盘的用户输入装置的数据。输入连接器181、182和183被连接到输入控制单元180。
在系统100的一实施例中,存在用于输出数据的两个输出连接器191和192。第一输出连接器191被布置成将数据输出到数据存储器件,所述数据存储器件例如为硬盘、磁带、闪速存储器或光盘。第二输出连接器192被布置成将数据输出到显示器装置。输出连接器191和192经由输出控制单元190接收相应的数据。
本领域技术人员应当理解,存在许多种方式以将系统100的输入装置连接到输入连接器181、182和183以及将输出装置连接到输出连接器191和192。这些方式包括(但不限于)有线和无线连接、诸如(但不限于)局域网(LAN)和广域网(WAN)、因特网、数字电话网络的数字网络以及模拟电话网络。
在系统100的一实施例中,系统100包括存储器单元170。系统100被布置成经由任意输入连接器181、182和183从外部装置接收输入数据并将所接收的输入数据存储到存储器单元170中。将输入数据加载到存储器单元170允许系统100的各单元快速访问相关数据部分。输入数据包括查询图像。任选地,输入数据包括来自图像的存储的图像数据。或者,图像的存储可以通过存储器170来实施。此外,输入数据可以包括用户反馈。存储器单元170可以通过各种装置来实施,例如(但不限于),CPU的寄存器文件、缓存存储器、随机存取存储器(RAM)芯片、只读存储器(ROM)芯片和/或硬盘驱动器和硬盘。存储器单元170可以进一步被布置成存储输出数据。输出数据包括由检索单元110检索的一幅或多幅图像,其中,被检索图像的第一和第二部分的相关性被可视化。输出数据还可以包括例如关于经更新的相似性函数的有用信息。存储器单元170还可以被布置成经由存储器总线175从系统100的各单元接收数据和/或将数据提供给系统100的各单元,系统100的各单元包括部分单元105、检索单元110、相关性单元120、排序单元125、可视化单元130、更新单元140、反馈单元150、控制单元160和用户接口165。存储器单元170被进一步布置成使得外部装置能够经由任何输出连接器191和912获得输出数据。在存储单元170中存储来自系统100的各单元的数据可以有利地改善系统100的各单元的性能以及来自系统100的各单元的输出数据传输到外部装置的速率。
在系统100的一实施例中,系统100包括用于控制系统100的控制单元160。控制单元160可以被布置成从系统100的各单元接收控制数据以及向系统100的各单元提供控制数据。例如,在计算被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性之后,相关性单元120可以被布置成将控制数据“计算了相关性”提供给控制单元160,并且控制单元160可以被布置成将控制数据“使所计算的相关性可视化”提供给可视化单元130。或者,控制功能可以在系统100的另一单元中实施。
在系统100的一实施例中,系统100包括用于用户和系统100之间的通信的用户接口165。用户接口165可以被布置成接收用户输入,以将查询图像下载到存储器170中,或者以选择用于对相关性进行可视化的颜色和/或透明度。任选地,用户接口可以接收用户输入,以选择系统的操作模式,例如将来自存储的图像与查询图像进行配准,或者更新相似性函数。本领域技术人员应当理解,可以在系统100的用户接口165中有利地实施更多功能。
在一实施例中,系统100适于从表示脑部切片的2D图像的存储检索图像。所有的图像是标准化的,即所述切片具有相等的缩放比例和定位,位置例如由脑部的矢状、冠状或轴向切面限定。查询图像以相同的方式进行标准化。因此,不需要存储图像与查询图像的配准。
在系统100的一实施例中,每幅图像被规则网格分成多个尺寸相同的正方形。第一和第二部分是由每个部分中包括的正方形定义的。每个部分基于指示要被包括在查询图像的第一和第二部分中的正方形的用户输入来预先定义或定义的。由于图像是标准化的,因此被检索图像的第一和第二部分包括在与查询图像的第一和第二部分相同位置处的正方形。任选地,所述系统可以适于处理查询图像和被检索图像中的多个部分,所述多个部分包括多于两个的部分。本领域技术人员应当理解,可以使用定义图像部分的其他方式,例如标记2D图像的像素或3D图像的体素、限定几何约束、或者使用轮廓或表面。权利要求的范围不应被解释为受限于所描述的定义图像部分的方式。
在一实施例中,系统100适于从图像的存储检索多幅图像,并且排序单元125适于基于被检索图像与查询图像的相似性对这些图像进行排序。可视化单元130适于示出若干幅最相关的图像。
图2示出了根据本发明实施例的查询图像Q和由本发明系统所检索的图像R1、R24、R74、R124和R174的范例。查询图像和图像的存储中的图像都是脑部的轴向切片。图像被划分成尺寸相同的正方形。查询图像示出了患有阿尔茨海默(Alzheimer)病的受检者的脑部切片。所述系统适于计算查询图像的正方形与来自图像的存储的图像的相应的正方形的相似性。所述相似性的和是查询图像与来自存储的图像的相似性。在图2中图示的实施例中,所述和包括来自每对正方形的贡献。或者,所述和可以包括来自特定对正方形组的贡献。
在图2中图示的实施例中,在查询图像中选择六个部分,每个部分都是正方形的。被检索图像的每个部分与查询图像的相应部分的相关性等于被检索图像的所述每个部分与查询图像的所述相应部分的相似性,并且被检索图像的排序等于被检索图像与查询图像的相似性。检索图像的相似性和检索图像的每个部分的相关性使用颜色进行编码。在图2中图示了颜色编码图CC。在颜色编码图CC的左端MR处的红色对应于高相关性和相似性值,而在颜色编码图CC的右端LR处的蓝色对应于低相关性和相似性值。图2示出了五幅图像R1、R24、R74、R124和R174,其分别具有排序1、24、74、124、174。被检索图像中的每幅图像与查询图像的相似性的值被表示为被检索图像的该幅图像周围的帧的颜色。被检索图像中的每幅图像的每个部分与查询图像的相应部分的相关性被表示为被检索图像中的该幅图像的所述部分的颜色。着色是半透明的以示出着色部分中的解剖细节。第一图像R1是具有最高排序1的图像。该图像中的每个部分都以红色色度进行着色,其指示每个部分都与查询图像的相应部分非常相关。另一方面,排序为174的最后的图像R174的三个正方形是不同色度的蓝色,一个正方形是黄色的,而两个正方形是不同色度的红色。
图2图示了本发明的系统100的重要方面。所述系统适于指示每幅被检索图像与查询图像在选定的感兴趣区域中有多相似。这有助于医师基于被检索图像以及基于对被检索图像的感兴趣部分的着色来诊断查询图像。本领域技术人员应当理解,在一些实施例中,能够使用其他视觉和/或音频指示符来代替着色。这样的指示符的范例包括(但不限于)亮度、不同颜色的帧、线条宽度或线条类型,以及对被检索图像中的感兴趣部分的显示或声觉描述。
本领域技术人员还应当理解,被检索图像与查询图像的相似性以及被检索图像的一部分与查询图像的相应部分的相关性可以彼此独立地进行计算。相似性函数可以是仅仅基于图像的,即仅仅取决于图像内容。或者,相似性函数还可以基于与图像数据相关联的非图像数据。类似地,用于计算被检索图像的一部分与查询图像的相应部分的相关性的相关性函数可以基于图像数据或者与图像数据相关联的非图像数据。在一实施例中,所计算的被检索图像的一部分与查询图像的相应部分的相关性被用于更新相似性函数。正如背景部分中已提到的,例如在由Rui等人的文献中或者在Akgul等人的文献中描述了基于相关性更新相似性函数的方法。
在系统100的实施例中,相似性函数是基于查询图像的选定感兴趣部分的相似性而计算的。查询图像的其余部分并不用于计算相似性。如果相似性函数是相似性贡献的和,其中基于图像的一部分计算每个相似性贡献,则相似性贡献的和可以是强调对相似性的最重要贡献(例如,图像的最重要部分)的相似性贡献的加权和。任选地,权重可以基于用户输入。
本领域技术人员应当领会到,系统100可以是用于在医师工作的许多方面中对其进行辅助的有价值工具。此外,尽管利用该系统的医学应用说明了该系统的实施例,但是也能想到该系统的非医学应用。
本领域技术人员还应当理解,系统100的其他实施例也是可能的。另外,可能重新定义系统的各单元并且重新分配其功能。尽管所描述的实施例应用于医学图像,但是该系统不涉及医学应用的其他应用也是可能的。
系统100的各单元可以利用处理器来实施。一般而言,各单元的功能是在软件程序产品的控制下执行的。在运行期间,软件程序产品一般被加载到存储器中,如被加载到RAM中,并从那里运行。程序可以由诸如ROM、硬盘、或磁性和/或光学存储器的后台存储器加载,或者可以经由像因特网的网络加载。任选地,专用集成电路可以提供所描述的功能。
图3示意性示出了从图像的存储检索图像的方法M的例示性流程图。方法M开始于划分步骤S05,其用于确定查询图像的第一和/或第二部分。在划分步骤S05之后或者与这一步骤同时,方法M继续到配准步骤S06,其用于将查询图像与来自图像的存储的图像配准。在划分步骤S05和配准步骤S06之后,方法M继续到检索步骤S10,其用于基于来自图像的存储的图像与查询图像的相似性从图像的存储检索图像。相似性是借助于相似性函数来定义和计算的。在检索步骤S10之后,方法M继续到相关性步骤S20,其用于计算被检索图像的第一部分与查询图像的第一部分以及被检索图像的第二部分与查询图像的第二部分的相关性。在相关性步骤S20之后,方法M继续到排序步骤S25,其用于确定被检索图像的排序,其中,所述排序是基于被检索图像与查询图像的相似性和/或基于检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性来确定的。在排序步骤S25之后,方法M继续到可视化步骤S30,其用于对被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性进行可视化。所述相关性可以通过显示被检索图像的每个部分的相关性的值来可视化,所述值在视觉上与相应的部分相关联。优选地,被检索图像的每个部分是根据用于利用颜色对相关性值进行编码的颜色编码来着色的。在可视化步骤S30之后,方法M继续到反馈步骤S50,其用于接收关于被检索图像的第一和第二部分与查询图像的相应的第一和第二部分的相关性的用户反馈。如果用户通过提供ACC输入接受所计算的相关性,所述方法终止。否则,用户提供UPD输入,然后方法M继续到更新步骤S40,其用于基于所计算的被检索图像的第一和第二部分的相关性的值来更新相似性函数。任选地,在反馈步骤S50中,用户可以根据评估方案评估所计算的相关性的值。所述评估方案可以基于评估尺度,评估尺度可以是二值的(例如,好和差)、三值的(例如,好、中、差)等。用户评估包括在用户输入UPD中。在评估所计算的相关性的值之后,方法M继续到更新步骤S40,其用于基于所计算的被检索图像的第一和第二部分的相关性的值来更新相似性函数,以及任选地,还使用包括在用户反馈UPD中的用户评估,以更新相似性函数。在更新步骤S40之后,方法返回到检索步骤S10并遵循步骤S20、S25、S30和S50。
本领域技术人员可以在不脱离本发明原理的情况下改变一些步骤的次序或者使用线程模型、多处理器系统或多处理来并行执行一些步骤。任选地,方法M的两个或多个步骤可以被组合成一个步骤。任选地,方法M的一步骤可以被拆分成多个步骤。
图4示意性示出了采用本发明的系统100的数据库系统400的例示性实施例,所述数据库系统400包括经由内部连接而连接到系统100的数据库单元410、外部输入连接器401和外部输出连接器402。这种布置有利地提高了数据库系统400的性能,同时为所述数据库系统400提供了系统100的有利性能。
图5示意性示出了采用本发明的系统100的图像采集设备500的例示性实施例,所述图像采集设备500包括经由内部连接与系统100连接的采集单元510、输入连接器501和输出连接器502。这种布置有利地提高了图像采集设备500的性能,同时为所述图像采集设备500提供了系统100的有利性能。
图6示意性示出了工作站600的例示性实施例。所述工作站包括系统总线601。处理器610、存储器620、盘输入/输入(I/O)适配器630,以及用户接口(UI)640操作性地连接到系统总线601。盘存储装置631操作性地耦合到盘I/O适配器630。键盘641、鼠标642和显示器643操作性地耦合到UI 640。实施为计算机程序的本发明系统100存储在盘存储装置631中。工作站600被布置成将程序和输入数据加载到存储器620中并在处理器610上运行所述程序。用户能够利用键盘641和/或鼠标642将信息输入到工作站600中。工作站被布置成将信息输出到显示器装置643和/或盘631。本领域技术人员应当理解,存在本领域已知的工作站600的诸多其他实施例,并且本实施例用作说明本发明的目的,而不应被解释为将本发明限制为这一具体的实施例。
应当注意到,上述实施例说明而非限制本发明,并且本领域技术人员将能够在不脱离权利要求书范围的情况下设计替代实施例。在权利要求书中,括号内的任何附图标记不应被解释为限制权利要求。“包括”一词并不排除存在权利要求书和说明书中未列出的元件或步骤。元件前的定语“一”或“一个”不排除存在多个这样的元件。本发明能够借助于包括若干分离元件的硬件,以及借助于经编程的计算机来实施。在列举了若干单元的系统权利要求中,这些单元中的若干个能够由同一记录的硬件或软件来实现,第一、第二、第三等的使用并不指示任何次序。这些词应被解释为名称。

Claims (14)

1.一种用于从图像的存储检索图像的系统(100),所述系统包括:
-检索单元(110),其用于基于来自所述图像的存储的图像与查询图像的相似性,从所述图像的存储检索图像,其中,所述相似性是借助于相似性函数定义的;
-相关性单元(120),其用于计算被检索图像的第一部分与所述查询图像的相应的第一部分以及所述被检索图像的第二部分与所述查询图像的相应的第二部分的相关性;以及
-可视化单元(130),其用于对所述被检索图像的所述第一和第二部分与所述查询图像的所述相应的第一和第二部分的所述相关性进行可视化。
2.根据权利要求1所述的系统(100),还包括部分单元(105),其用于确定所述查询图像的所述第一和/或第二部分。
3.根据权利要求2所述的系统(100),其中,所述部分单元(105)适于分割所述查询图像,并且其中,所述查询图像的所述第一和/或第二部分是基于对所述查询图像的所述分割而确定的。
4.根据权利要求1所述的系统(100),还包括排序单元(125),其用于确定所述被检索图像的排序,其中,所述排序是基于所述被检索图像与所述查询图像的所述相似性和/或基于所述被检索图像的所述第一和第二部分与所述查询图像的所述相应的第一和第二部分的所述相关性而确定的。
5.根据权利要求1所述的系统(100),其中,所述检索单元(110)适于将来自所述图像的存储的图像与所述查询图像进行配准。
6.根据权利要求1所述的系统(100),还包括更新单元(140),其用于基于所计算的所述被检索图像的所述第一和第二部分的相关性的值来更新所述相似性函数。
7.根据权利要求6所述的系统(100),还包括反馈单元(150),其用于接收关于所述被检索图像的所述第一和第二部分与所述查询图像的所述相应的第一和第二部分的所述相关性的用户反馈,并且其中,所述更新单元(140)适于利用所述用户反馈来更新所述相似性函数。
8.根据权利要求1所述的系统(100),其中,利用所述相似性函数来计算所述被检索图像的所述第一和第二部分与所述查询图像的所述相应的第一和第二部分的所述相关性。
9.根据权利要求1所述的系统(100),其中,所述可视化单元(130)适于利用颜色编码指示所计算的所述被检索图像的所述第一部分与所述查询图像的所述相应的第一部分以及所述被检索图像的所述第二部分与所述查询图像的所述相应的第二部分的相关性,并且其中,所述用户能够选择所述编码的颜色和/或透明度。
10.一种数据库系统(400),其包括根据前述权利要求中的任一项所述的系统(100)。
11.一种图像采集设备(500),其包括根据前述权利要求中的任一项所述的系统(100)。
12.一种工作站(600),其包括根据前述权利要求中的任一项所述的系统(100)。
13.一种从图像的存储检索图像的方法(M),所述方法包括:
-检索步骤(S10),其用于基于来自所述图像的存储的图像与查询图像的相似性从所述图像的存储检索图像,其中,所述相似性是借助于相似性函数定义的;
-相关性步骤(S20),其用于计算被检索图像的第一部分与所述查询图像的相应的第一部分以及所述被检索图像的第二部分与所述查询图像的相应的第二部分的相关性;以及
-可视化步骤(S30),其用于对所述被检索图像的所述第一和第二部分与所述查询图像的所述相应的第一和第二部分的所述相关性进行可视化。
14.一种由计算机装置加载的计算机程序产品,其包括用于从图像的存储检索图像的指令,所述计算机装置包括处理单元和存储器,所述计算机程序产品在被加载之后,为所述处理单元提供执行根据权利要求11所述的方法的步骤的能力。
CN201080038804.0A 2009-09-04 2010-08-30 对基于内容的图像检索的相关性的可视化 Expired - Fee Related CN102483761B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09169495 2009-09-04
EP09169495.0 2009-09-04
PCT/IB2010/053872 WO2011027275A1 (en) 2009-09-04 2010-08-30 Visualization of relevance for content-based image retrieval

Publications (2)

Publication Number Publication Date
CN102483761A true CN102483761A (zh) 2012-05-30
CN102483761B CN102483761B (zh) 2017-02-22

Family

ID=43242632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080038804.0A Expired - Fee Related CN102483761B (zh) 2009-09-04 2010-08-30 对基于内容的图像检索的相关性的可视化

Country Status (6)

Country Link
US (1) US9495388B2 (zh)
EP (1) EP2473930A1 (zh)
JP (1) JP5826749B2 (zh)
CN (1) CN102483761B (zh)
BR (1) BR112012004693A2 (zh)
WO (1) WO2011027275A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018107371A1 (zh) * 2016-12-13 2018-06-21 上海联影医疗科技有限公司 图像搜索系统及方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268792B2 (en) 2011-01-24 2016-02-23 T-Mobile Usa, Inc. Automatic selection of digital images with an apparatus
US10691743B2 (en) * 2014-08-05 2020-06-23 Sri International Multi-dimensional realization of visual content of an image collection
US9110989B2 (en) 2012-12-04 2015-08-18 At&T Intellectual Property I, L.P. Methods, systems, and products for recalling and retrieving documentary evidence
US20150278463A1 (en) 2014-04-01 2015-10-01 Merge Healthcare Incorporated Systems and methods for pre-authorizing image studies
EP4099185A1 (en) 2018-03-29 2022-12-07 Google LLC Similar medical image search
US10825071B2 (en) * 2018-04-09 2020-11-03 International Business Machines Corporation Adaptive multi-perceptual similarity detection and resolution
US11126649B2 (en) * 2018-07-11 2021-09-21 Google Llc Similar image search for radiology
WO2020013814A1 (en) * 2018-07-11 2020-01-16 Google Llc Similar image search for radiology

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6584221B1 (en) * 1999-08-30 2003-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for image retrieval with multiple regions of interest
US20080118151A1 (en) * 2006-11-22 2008-05-22 Jean-Yves Bouguet Methods and apparatus for retrieving images from a large collection of images
CN101266612A (zh) * 2007-03-13 2008-09-17 株式会社理光 图像检索装置,图像检索方法及计算机程序

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5413477A (en) * 1992-10-16 1995-05-09 Gas Research Institute Staged air, low NOX burner with internal recuperative flue gas recirculation
US5764792A (en) * 1996-01-19 1998-06-09 Oncor, Inc. Method and apparatus for processing images
JP2001134765A (ja) * 1999-11-09 2001-05-18 Canon Inc 画像検索方法及び装置
US6804683B1 (en) * 1999-11-25 2004-10-12 Olympus Corporation Similar image retrieving apparatus, three-dimensional image database apparatus and method for constructing three-dimensional image database
JP2002007413A (ja) * 2000-06-20 2002-01-11 Fujitsu Ltd 画像検索装置
DE60041893D1 (de) * 2000-11-24 2009-05-07 Kent Ridge Digital Labs Verfahren und vorrichtungen zur verarbeitung medizinischer bilder
JP2002245048A (ja) 2001-02-20 2002-08-30 Mitsubishi Electric Corp 画像検索方法および画像検索装置
TW501035B (en) 2001-03-20 2002-09-01 Ulead Systems Inc Interactive image searching method based on local object
FR2825817B1 (fr) * 2001-06-07 2003-09-19 Commissariat Energie Atomique Procede de traitement d'images pour l'extraction automatique d'elements semantiques
US7155043B2 (en) * 2001-11-21 2006-12-26 Confirma, Incorporated User interface having analysis status indicators
US7043474B2 (en) * 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
US6724190B2 (en) * 2002-05-15 2004-04-20 Koninklijke Philips Electronics N.V. Retrospective selection and various types of image alignment to improve DTI SNR
JP2004164503A (ja) * 2002-11-15 2004-06-10 Olympus Corp 三次元モデル検索方法、三次元モデル検索装置、三次元モデル検索プログラム、及び三次元モデル検索システム
JP2004240751A (ja) * 2003-02-06 2004-08-26 Canon Inc 画像検索装置
WO2007023522A1 (ja) * 2005-08-22 2007-03-01 National Center Of Neurology And Psychiatry 脳疾患の診断支援方法及び装置
EP1996959A4 (en) * 2006-03-03 2012-02-29 Medic Vision Brain Technologies Ltd SYSTEM AND METHOD FOR PRIORITIZE PRIORITIZATION AND AUTOMATIC ANALYSIS OF MEDICAL IMAGES
DE102006029718A1 (de) * 2006-06-28 2008-01-10 Siemens Ag Verfahren zur Auswertung zweier Abbilder sowie medizinisches Abbildungssystem
US8538776B2 (en) * 2006-10-25 2013-09-17 Bruce Reiner Method and apparatus of providing a radiation scorecard
JP2008192011A (ja) * 2007-02-06 2008-08-21 Sharp Corp 相違箇所抽出装置、画像読取装置、相違箇所抽出方法、プログラムおよびその記録媒体
JP4976164B2 (ja) * 2007-03-02 2012-07-18 富士フイルム株式会社 類似症例検索装置、方法、およびプログラム
JP2008269471A (ja) * 2007-04-24 2008-11-06 Sony Corp 類似画像判定装置と類似画像判定方法およびプログラムと記録媒体
CN101359285B (zh) 2007-08-02 2010-10-27 珠海金山软件有限公司 一种将控件插入到文档里的装置和方法
KR101497690B1 (ko) * 2007-09-11 2015-03-06 삼성전자주식회사 생체 신호 및 증상 정보에 기반한 건강관리 프로그램서비스 제공 시스템 및 방법
JP2009086762A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 類似度算出装置及び類似度表示装置
JP2009123196A (ja) * 2007-10-22 2009-06-04 Hitachi Kokusai Electric Inc 画像検索装置
US20100259263A1 (en) * 2007-11-14 2010-10-14 Dominic Holland Longitudinal registration of anatomy in magnetic resonance imaging
US8180125B2 (en) * 2008-05-20 2012-05-15 General Electric Company Medical data processing and visualization technique
JP5243865B2 (ja) * 2008-07-07 2013-07-24 浜松ホトニクス株式会社 脳疾患診断システム
CN102203826B (zh) * 2008-12-25 2015-02-18 梅迪奇视觉成像解决方案有限公司 医学图像的降噪
ES2581178T3 (es) * 2009-07-29 2016-09-01 Pharnext Nuevas herramientas de diagnóstico para enfermedad de Alzheimer
JP5521727B2 (ja) * 2010-04-19 2014-06-18 ソニー株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6584221B1 (en) * 1999-08-30 2003-06-24 Mitsubishi Electric Research Laboratories, Inc. Method for image retrieval with multiple regions of interest
US20080118151A1 (en) * 2006-11-22 2008-05-22 Jean-Yves Bouguet Methods and apparatus for retrieving images from a large collection of images
CN101266612A (zh) * 2007-03-13 2008-09-17 株式会社理光 图像检索装置,图像检索方法及计算机程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHIYUN XUE ET AL: "investigating CBIR techniques for cervicographic images", 《PROCEEDINGS OF AMERICAN MEDICAL INFORMATICS ASSOCIATION ANNUAL SYMPOSIUM》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018107371A1 (zh) * 2016-12-13 2018-06-21 上海联影医疗科技有限公司 图像搜索系统及方法

Also Published As

Publication number Publication date
WO2011027275A1 (en) 2011-03-10
EP2473930A1 (en) 2012-07-11
US9495388B2 (en) 2016-11-15
BR112012004693A2 (pt) 2019-09-24
JP5826749B2 (ja) 2015-12-02
US20120158717A1 (en) 2012-06-21
JP2013504112A (ja) 2013-02-04
CN102483761B (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN102483761A (zh) 对基于内容的图像检索的相关性的可视化
US8412541B2 (en) Method and system for intelligent qualitative and quantitative analysis for medical diagnosis
US20090228299A1 (en) Methods and apparatus for context-sensitive telemedicine
CN110598722B (zh) 多模态神经影像数据自动信息融合系统
CN101765843A (zh) 使用医学相关术语访问医学图像数据库
US20100293505A1 (en) Anatomy-related image-context-dependent applications for efficient diagnosis
CN101903888B (zh) 用于基于跨模态病例的计算机辅助诊断的方法和系统
US20170262584A1 (en) Method for automatically generating representations of imaging data and interactive visual imaging reports (ivir)
US11037659B2 (en) Data-enriched electronic healthcare guidelines for analytics, visualization or clinical decision support
CN104750951A (zh) 一种医疗图像数据的分析处理方法及装置
JP2022036125A (ja) 検査値のコンテキストによるフィルタリング
CN105580017A (zh) 实现对医学图像的观察
CN106407642A (zh) 信息处理装置及信息处理方法
CN109478423A (zh) 注释医学图像
US11769599B2 (en) Evaluation of decision tree using ontology
CN102656586A (zh) 将采集的图像与对象相关联
CN117581310A (zh) 用于医学图像数据的自动跟踪读取的方法和系统
WO2015078754A1 (en) Document management system for a medical task
KR102665091B1 (ko) 의료 정보 처리 장치 및 방법
Joshi et al. Interactive exploration of neuroanatomical meta-spaces
US20120191720A1 (en) Retrieving radiological studies using an image-based query
Perez et al. RADStation3G: a platform for cardiovascular image analysis integrating PACS, 3D+ t visualization and grid computing
EP4111942A1 (en) Methods and systems for identifying slices in medical image data sets
WO2012001594A1 (en) Viewing frames of medical scanner volumes
Dong et al. Visualization index for image-enabled medical records

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170222

Termination date: 20200830

CF01 Termination of patent right due to non-payment of annual fee