CN102473182B - 用于基于内容的图像检索的关联性反馈 - Google Patents
用于基于内容的图像检索的关联性反馈 Download PDFInfo
- Publication number
- CN102473182B CN102473182B CN201080029460.7A CN201080029460A CN102473182B CN 102473182 B CN102473182 B CN 102473182B CN 201080029460 A CN201080029460 A CN 201080029460A CN 102473182 B CN102473182 B CN 102473182B
- Authority
- CN
- China
- Prior art keywords
- image
- value
- attribute
- images
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
Abstract
本发明涉及一种用于从图像存储装置中检索图像的系统(100),该系统包括:检索单元(110),用于基于来自图像存储装置的所述图像与查询图像之间的相似性来从图像存储装置中检索多个图像,其中所述相似性由相似性函数定义;并且包括关联性单元(120),用于基于与查询图像相关的第一属性的值和与所检索的多个图像中的图像相关的第二属性的值,来计算所检索的多个图像中的所述图像的关联性的值;以及更新单元(130),用于基于所计算的关联性的值来更新所述相似性函数;并且其中所述检索单元(110)还适于基于所更新的相似性函数来从图像存储装置中检索图像。第一和第二属性的值由检索单元用于计算从图像存储装置中检索的多个图像的关联性值(例如,分级)。因此,消除了用户根据用户定义的标准来比较检索图像并评价它们的关联性的任务。有利地,由系统计算的关联性值较少地取决于或不取决于用户的主观性。可选地,该系统还包括预测单元(140),用于使用由更新单元(130)更新的相似性函数,基于由检索单元(110)检索的图像来预测与查询图像相关的属性的值。
Description
技术领域
本发明涉及基于内容的图像检索,并且更具体地涉及使用关联性计算来改进基于内容的图像检索。一方面,本发明进一步涉及基于图像检索做出预测性假设(hypothesis),尤其是预测性诊断假设。
背景技术
放射线学者正面临着由于待分析、分类和/或描述的图像的数量不断增长而导致不断增长的工作负荷。基于新图像与存储在旧图像存储器中的图像之间的相似性,检索存储在所述旧图像存储器中的、描述由某种疾病感染的旧病症并与描述新病症的新图像相似的图像会非常有助于诊断该新病症。基于内容的图像检索(CBIR)已经成为用于检索图像的重要技术。在该方法中,通过描述诸如特征向量的图像特征的结构来表示每一个图像。相似性函数(SF)例如基于两个向量之间的差异的长度来计算相似性值:两个特征向量之间的差异越短,这两个图像之间的相似性越大。
在Rui等人的文章“Relevance Feedback:A Power Tool for InteractiveContent-Based Image Retrieval”(IEEE Transaction on Circuits and System forVideo Technology,1998年9月第6卷,第644-655页)中描述了CBIR方法的缺点:因为图像特征向量通常包括常常并不与由高级别概念确定的人类感知相对应的低级别特征,因此这样的系统往往是以计算机为中心的。由Rui等人提出的解决方案是基于用户的反馈将特征分类为有用的或没有用/不太有用。为此,要求用户对基于特征向量的相似性检索到的图像从高度关联到非关联进行分级(rank)。如果在新图像和分类为高度关联的检索图像中特征的值非常相似,或者如果在新图像和分类为非关联的检索图像中特征的值非常不同,则该特征被认为是相关联的。随后,将相关联的特征用于重新定义用于CBIR的SF。这通过将较高的权重赋予与高度关联的特征对应的SF项并将较低的权重赋予与非关联的特征对应的SF项来实现。虽然Rui等人的方法改进了CBIR,但是它需要由用户对检索图像进行交互式分级。这是不方便的并且耗时。
发明内容
有利地提供并不需要由用户对所检索的图像进行交互式分级的CBIR。
因此,在一方面,本发明提供一种用于从图像存储装置中检索图像的系统,所述系统包括:
-检索单元,用于基于来自图像存储装置的图像与查询图像的相似性来从图像存储装置中检索多个图像,其中所述相似性由相似性函数定义;
-关联性单元,用于基于与查询图像相关的第一属性的值和与所检索的多个图像中的图像相关的第二属性的值,来计算所检索的多个图像中的所述图像的关联性的值;以及
-更新单元,用于基于所计算的关联性的值来更新所述相似性函数;
并且其中所述检索单元(110)还适于基于所更新的相似性函数来从图像存储装置中检索图像。
第二属性的值可以存储在图像存储装置,并且可以从图像存储装置中获得。第二属性可以例如是针对在所存储的图像中被部分或整体成像的患者执行的测试。例如,该值可以表示诸如心率测量、血压测量或临床痴呆评定(CDR)的测试结果。可替换地,可以根据各自的图像来计算第二属性的值,例如图像像素的平均灰度值。与查询图像相关的第一属性的值例如可以存储在查询图像数据中(例如在图像报头(header)内),或由关联性单元从查询图像或从用户输入取得。第一和第二属性的这些值由检索单元用于计算从图像存储装置中检索的多个图像的关联性值(例如,分级)。因此,消除了用户根据用户定义的标准来比较检索图像并评价它们的关联性的任务。有利地,由系统计算的关联性值较少地取决于或不取决于用户的主观性。
在该系统的实施例中,相似性函数包括用于计算相似性值的多个基值(contribution),并且更新单元还设置为选择该多个基值中的某些基值以包含在所更新的相似性函数中。例如,当在新图像中和所检索的图像中被分类为高度关联的特征的值相似,或如果在新图像中和所检索的图像中被分类为非关联的特征的值非常不同,则该特征可以被认为是关联的。
在该系统的实施例中,所述第二属性的值存储在图像存储装置中,该第二属性的每一个值与来自图像存储装置的一个图像相对应。可以基于用户对该图像的评价,针对在该图像中拍摄的对象执行的测试来获得第二属性的值,或根据该图像来计算第二属性的值。在图像存储装置可容易地获得第二属性的值使得能够基于第二属性来计算从图像存储装置中检索的多个图像的关联性,而无需任何用户交互。可替换地,可以基于该多个图像来计算与多个图像中的图像相关的第二属性的值,该第二属性的值例如为像素值的平均值或包含在使用基于模型的分割而适应于在该图像中拍摄的对象的对象模型中的最大圆的直径。
在该系统的实施例中,基于用户输入来计算所述第一属性的值。用户输入可以包括第一属性的值,在这种情况下,该计算将输入值赋予第一属性的值。在更详细的情况中,用户输入可以包括灰度值,并且第一属性是像素值大于所输入的灰度值的像素的百分比。
在该系统的实施例中,所述第一属性与所述第二属性相同。这常常简化了基于与查询图像相关的第一属性的值和与所检索的多个图像中的图像相关的第二属性的值,对所检索的多个图像中的该图像的关联性的计算。如果对于多个所检索的图像中的图像,第二属性的值与第一属性的值相似,则该图像被赋予高关联性值。
在该系统的实施例中,第一和第二属性是查询图像和来自图像存储装置的图像分别满足条件的假设。因此,如果与查询图像相关的假设和与所检索的多个图像中的图像相关的假设两者均为真(true),即具有相同的逻辑值,则认为所检索的多个图像中的图像的关联性被认为高。
在该系统的实施例中,基于用户输入来计算第一属性的值,并且所述用户输入是假设为真的概率。关联性单元设置为使用如在实施例的描述中更详细地公开的统计测试,来计算假设的逻辑值。
在该系统的实施例中,假设是诊断假设。假设可以是与身体或部分身体被拍摄在图像中的患者相关的诊断陈述(statement)。因此,该系统适于检索具有相似诊断陈述的图像。本发明系统的这样的诊断应用适于帮助医师得出诊断。
在实施例中,该系统还包括预测单元,所述预测单元用于使用由所述更新单元更新的相似性函数,基于由检索单元检索的图像来预测与查询图像相关的属性的值。例如,与具有最高相似性值的所检索图像相关的诊断陈述可以由预测单元应用于该查询图像。在另一应用中,在大量最相似的图像中最频繁出现的诊断陈述可以应用于该查询图像。
在进一步方面,根据本发明的系统包含在数据库系统中。数据库包括具有图像数据的图像存储装置。而且,数据库可以存储用于包含在数据库中一些或全部图像的诸如第二属性的值的其他数据。本发明的系统提高了数据库的搜索能力并且扩展了其功能。
在进一步方面,根据本发明的系统包含在图像获取装置中。
在进一步方面,根据本发明的系统包含在工作站中。
在进一步方面,本发明提供一种用于从图像存储装置中检索图像的方法,所述方法包括:
-检索步骤,用于基于来自图像存储装置的图像与查询图像的相似性,从图像存储装置中检索与查询图像相似的多个图像,所述相似性由相似性函数定义;
-关联性步骤,用于基于查询图像的第一属性的值和所检索的多个图像中的图像的第二属性的值,来计算所检索的多个图像中的所述图像的关联性的值;以及
-更新步骤,用于至少基于所计算的关联性的值来更新所述相似性函数;并且其中所述检索单元(110)还适于基于所更新的相似性函数来从图像存储装置中检索图像。
在进一步方面,本发明提供一种用于从图像存储装置中检索图像的装置,所述装置包括:
-检索模块,用于基于来自图像存储装置的图像与查询图像的相似性,从图像存储装置中检索与查询图像相似的多个图像,所述相似性由相似性函数定义;
-关联性模块,用于基于所述查询图像的第一属性的值和所检索的多个图像中的图像的第二属性的值,来计算所检索的多个图像中的所述图像的关联性的值;以及
-更新模块,用于至少基于所计算的关联性的值来更新所述相似性函数;并且其中所述检索模块还适于基于所更新的相似性函数来从图像存储装置中检索图像。
本领域技术人员应当理解,本发明的上述实施例、实现和/或方面中的两个或两个以上可以采用任何被认为有用的方式进行组合。
本领域技术人员基于本说明书可以对该系统、数据库系统、图像获取装置、工作站、该方法和/或计算机程序产品进行的修改和变形,该修改和变形与该系统和该方法的所描述的修改和变形相对应。
本领域技术人员应当理解,该方法可以应用于诸如2-维(2-D)、3-维(3-D)或4-维(4-D)图像数据的多维图像数据,该多维图像数据可由各种获取模式来获取,诸如但不限于X射线成像、计算机断层扫描(CT)、磁共振成像(MRI)、超声波(US)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)以及核医学(NM)。
本发明由独立权利要求限定。有利的实施例在从属权利要求中限定。
附图说明
参照附图并且参照一下描述的实现和实施例本发明的这些和其他方面将明显和清楚,其中:
图1示出系统的示例性实施例的方框图;
图2示出根据本发明的诊断协议的示意性描述;
图3示出方法的示例性实现的流程图;
图4示意性示出数据库系统的示意性实施例;以及
图5示意性示出图像获取装置的示意性实施例;以及
图6示意性示出工作站的示意性实施例。
在整个附图中相同的附图标记用于表示相似的部件。
具体实施方式
图1示意性示出用于从图像存储装置中检索图像的系统100的示意性实施例的方框图,该系统包括:
-检索单元110,用于基于来自所述图像存储装置的图像与查询图像的相似性来从图像存储装置中检索多个图像,其中该相似性由相似性函数定义;
-关联性单元120,用于基于与查询图像相关的第一属性的值和与所检索的多个图像中的图像相关的第二属性的值,来计算所检索的多个图像中的所述图像的关联性的值;以及
-更新单元130,用于基于所计算的关联性的值来更新该相似性函数;
并且其中,检索单元(110)还适于基于所更新的相似性函数来从图像存储装置中检索图像。
该系统100的示意性实施例还包括预测单元140,该预测单元用于使用由更新单元130更新的相似性函数,基于由检索单元110检索的图像,来预测与查询图像相关的属性的值;
-控制单元160,用于控制系统100的工作;
-用户界面165,用于用户和系统100之间的通信;以及
-存储器单元170,用于存储数据。
在系统100的实施例中,具有三个用于输入数据的输入连接器181、182以及183。第一输入连接器181设置为接收从诸如但并不限于,硬盘、磁带、闪存或光盘的数据存储装置进入的数据。第二输入连接器182设置为接收从诸如但并不限于,鼠标或触摸屏的用户输入设备进入的数据。第三输入连接器183设置为接收从诸如键盘的用户输入设备进入的数据。输入连接器181、182以及183连接到输入控制单元180。
在系统100的实施例中,具有两个用于输出数据的输出连接器191和192。第一输出连接器191设置为将数据输出到诸如硬盘、磁带、闪存或光盘的数据存储装置。第二输出连接器192设置为将数据输出到显示设备。输出连接器191和192经由输出控制单元190接收各自的数据。
本领域技术人员应当理解有许多将输入设备连接到系统100的输入连接器181、182以及183,并且将输出设备连接到输出连接器191和192的方式。这些方式包括,但并不限于,有线和无线连接、数字网络,诸如但并不限于局域网(LAN)和广域网(WAN)、因特网、数字电话网络以及模拟电话网络。
在系统100的实施例中,系统100包括存储器单元170。系统100设置为经由任一个输入连接器181、182以及183从外部设备接收输入数据,并且将所接收的输入数据存储在存储器单元170中。将输入数据加载到存储单元170使得能够由系统100的单元快速地获取关联数据部分。输入数据包括查询图像。可选地,输入数据包括来自图像存储装置的图像数据。可替换地,图像存储装置可以由存储器170来实现。而且,输入数据可以包括用户输入和/或包含在图像存储装置中的图像的第二属性的值。存储器单元170可以由诸如,但并不限于,CPU的寄存器文件、高速缓冲存储器、随机存取存储器(RAM)芯片、只读存储器(ROM)芯片、和/或硬盘驱动器和硬盘,来实现。存储器单元170还可以配置为存储输出数据。输出数据包括由检索单元110检索到的图像。输出数据还可以包括,例如关于更新的相似性函数以及与查询图像相关的属性的预测值的有用信息。存储器单元170还可以设置为经由存储器总线175从包括检索单元110、关联性单元120、更新单元130、预测单元140、控制单元160以及用户界面165的系统100的单元接收数据和/或将数据提供给系统100的单元。存储器单元170还设置为使输出数据经由任一输出连接器191和192对于外部设备可用。将来自系统100的单元的数据存储在存储器单元170,可以有利地提高系统100的单元的性能以及输出数据从系统100的单元到外部设备的传输速率。
在系统100的实施例中,系统100包括用于控制系统100的控制单元160。控制单元可以设置为接收来自系统100的单元的控制数据以及将控制数据提供给系统100的单元。例如,在更新相似性函数后,更新单元130可以设置为将控制数据“相似性函数被更新”提供给控制单元160,并且控制单元160可以设置为将控制数据“检索图像”提供给检索单元110。可替换地,可以在系统100的另一单元中实现控制功能。
在系统100的实施例中,系统100包括用于用户和系统100之间的通信的用户界面165。用户界面165可以设置为接收用于将查询图像下载到存储器170中或用于计算第一属性的值的用户输入。用户界面还可以提供用于显示由检索单元110检索到的多个图像的装置。可选地,用户界面可以接收诸如用于选择系统的操作模式的用户输入,该操作模式例如是用于更新相似性函数的方法。本领域技术人员应当理解,在系统100的用户界面165中可以有利地实现更多功能。
在实施例中,本发明的系统100适于根据基本的测试分数(score)预测复杂的认知测试分数。举例而言,小型精神状态检查(MMSE)是简单的常用问卷,其中在(30分中)27以上的分数被有效地认为正常,而较低的分数将愈加与患上痴呆相关联。虽然该测试仅在五分钟之内就能够完成,但是已经观察到,简单地将阈值设定在27(在30分中)通常难以检测出患上痴呆。在另一方面,临床痴呆评定(CDR)是更加精细,但也是耗时的测试,被相信能够以高精度辨别出甚至轻度级别的痴呆。CDR分数为0表示没有痴呆,而越高的分数显示越严重的痴呆。数据库的每一个图像被赋予一CDR。
该方法是基于首先检索视觉上与未知的新病症相似的过去病症,随后使用简单测试分数将它们中的一些标记为关联或不关联,并且最后自动学习新的自适应相似性测量,该自适应相似性测量能够更准确地探测出某种状况的存在或不存在。在图1中示出在本发明中提出的协议,并且包括以下步骤:
(S1)用户将新病症(查询图像)输入到系统100中;检索单元110基于视觉相似性(例如,测量作为MR图像的强度柱状图之间的近似性),返回过去病症(数据库图像)的分级列表。
(S2-1)基于新病症的MMSE分数自动产生关于该查询的假设,例如,其可以包含在查询图像数据的报头或可以由用户输入。
(S3-1)由关联性单元120使用该公式:关联性=(MMSE<27)AND(CDR>0),来计算基于查询图像与一人所想要的数据库图像之间的关联性关系的关联性值(例如,布尔值真(TRUE)或假(FALSE))。可以由用户指定或者可以基于性能基准评价来确定被计算关联性的数据库图像的数量M。
(S4)由更新单元130使用先前步骤的输出(对于M个数据库图像中的每一个数据库图像的关联性值)作为训练集(training set);它由M个图像组成;基于该集,使用机器学习来更新相似性函数。
(S5)使用该更新的相似性函数,检索单元110返回根据更新的相似性函数的值而分级的数据库图像的新列表。
(S6-1)最后,由预测单元140预测的与查询相关的CDR分数是在步骤S5中获得的分级列表的首个图像(top image)的CDR分数。
在另一实施例中,本发明的系统100适于使用图像相似性和不确定用户假设来辅助医师诊断精神障碍。数据库的每一个图像被赋予一诊断。该算法的步骤是:
(S1)用户将新病症(查询图像)输入到系统100中;检索单元110基于视觉相似性(例如,测量作为MR图像的强度柱状图之间的近似性)返回过去病症(数据库图像)的分级列表。
(S2-2)用户提供关于查询图像的诊断假设和/或相关的置信(confidence)陈述(例如,相关的置信陈述可以经由口头陈述或者经由调节用户界面上的滑动条来进行)。
(S3-2)基于置信陈述,例如,诊断假设为真的概率p来测试诊断假设。例如,使用均匀分布在[0,1]区间的随机数的发生器来产生随机数r。如果r≤p,则测试结果为(即,诊断假设为真);否则结果为假(即,诊断假设为假)。根据该公式:关联性=(测试结果)AND(假设<=诊断)来计算基于诊断假设测试的结果和基于对于M个检索图像中的每一个检索图像是否(假设<=诊断)的关联性值(例如布尔值真或假)。可以由用户指定或可以基于性能基准评价来确定数量M。
(S4)由更新单元130使用先前步骤的输出(对于M个数据库图像中的每一个数据库图像的关联性值)作为训练集;它由M个图像组成;基于该集,使用机器学习来更新相似性函数。
(S5)使用该更新的相似性函数,检索单元110返回根据更新的相似性函数的值而分级的数据库图像的新的列表。
(S6-2)最后,由预测单元140预测的与查询相关的诊断是与在步骤S5中获得的分级列表的首个图像相关的诊断。
图5中示意性示出检索来自图像存储装置的图像的方法M的两个示例性实现的流程图。在不偏离本发明原有概念的情况下,本领域技术人员可以使用线程模型、多处理器系统或多个处理来改变一些步骤的顺序或同时执行一些步骤。可选地,方法M的两个或多个步骤可以组合成一个步骤。可选地,方法M的一个步骤可以分成多个步骤。可选地,方法M可以进一步包括用于检查条件的迭代步骤S7。该条件可以基于用户输入。如果满足该条件,方法M设置成重复步骤S1至S5,以进一步的更新相似性函数。如果不满足该条件,方法M继续至最后的步骤S6,并随后终止。
本领域技术人员应当理解,“图像”通常指的是2D或3D图像。可替换地,“图像”还可以表示诸如但并不限于一串字符或符号的对象。
在实施例中,由更新单元130以以下方式在步骤S4中确定相似性函数。令q=(qk)∈RK表示该查询的K维图像特征向量,并且令m=1,2,…,M表示来自由检索单元110在步骤S1中检索到的多个图像中的第m个图像的图像特征向量。第k个图像特征的基值具有权重向量w的权重wk。用于计算由特征向量x描述的检索图像与由特征向量q描述的查询图像的相似性的相似性函数可以定义为:
本领域技术人员应当了解基于与由检索单元110检索的多个图像相对应的特征向量xm和由关联性单元120计算的关联性值ym来计算值wk的许多方式。任何适合的方法均可以在更新步骤S4中实施并且由更新单元130使用。例如,可以使用在前述Rui等人的论文中描述的Rui方法或使用机器学习来计算权重。在例如Telecom ParisTech和Bogazici University2007年的博士论文,C.B.AKgul的著作的第3章题为“Density-based shape descriptorsand similarity learning for 3D object retrieval”中描述了适合的机器学习方法。并且,在该著作中所引用的参考文献有助于理解在所述第3章中描述的相似性的统计学习。本领域技术人员应当理解,权利要求的保护范围并不受限于相似性函数的定义或用于更新诸如上述示例性实施例中的权重wk的相似性函数参数的方法。
本领域技术人员应当理解,系统100会是辅助医师的工作的许多方面的有价值的工具。而且,尽管采用系统的医疗应用来说明该系统的实施例,然而也可以预期该系统的非医疗应用。
本领域技术人员还应当理解,该系统100的其他实施例也是可能的。此外,可以重新定义系统的单元并且重新分配它们的功能。虽然所述的实施例应用于医疗图像,但是系统的并不涉及医疗应用的其他应用也是可能的。
可以采用处理器来实施系统100的单元。通常,在软件程序产品的控制下执行它们的功能。在执行期间,通常将软件程序产品加载到像RAM的存储器中,并从那里执行。程序可以从诸如ROM、硬盘或磁和/或光存储器的后台存储器加载,或可以经由像因特网的网络加载。可选地,特定应用的集成电路可以提供所描述的功能性。
图4示意性示出使用本发明的系统100的数据库系统400的示例性实施例,所述数据库系统400包括经由内部连接方式连接到系统100的数据库单元410、外部输入连接器401以及外部输出连接器402。该配置有利地提高了数据库系统400的性能,使数据库系统400具有系统100的有利性能。
图5示意性示出使用本发明的系统100的图像获取装置500的示例性实施例,所述图像获取装置500包括经由内部连接方式与系统100连接的图像获取单元510、输入连接器501以及输出连接器502。该配置有利地提高了图像获取装置500的性能,使图像获取装置500具有系统100的有利性能。
图6示意性示出工作站600的示例性实施例。工作站包括系统总线601。处理器610、存储器620、磁盘输入/输出(I/O)适配器630以及用户界面(UI)640可操作地连接到系统总线601。磁盘存储设备631可操作地耦合到磁盘I/O适配器630。键盘641、鼠标642以及显示器643可操作地耦合到UI640。实现为计算机程序的本发明的系统100存储在磁盘存储设备631中。工作站600设置成加载该程序并且输入数据到存储器620,并且在处理器610上执行该程序。用户可以使用键盘641和/或鼠标642将信息输入到工作站600。工作站设置成将信息输出到显示设备643和/或磁盘631。本领域技术人员应当理解在本领域中已知有多种工作站600的其他实施例,本实施例旨在用于说明本发明而不应解释为将本发明限制于该具体实施例。
应该注意,上述实施例说明而不是限制本发明,并且在不偏离所附权利要求的范围的情况下,本领域技术人员可以设计出可替换的实施例。在权利要求中,位于括号之间的任何附图标记不应该理解为对权利要求的限定。词语“包括”并不排除在权利要求或说明书中没有列出的元件或步骤的存在。在元件前面的词语“一”或“一个”并不排除多个这样元件的存在。可以利用包括若干不同元件的硬件和利用编程计算机来实施本发明。在该系统中,权利要求列举了若干单元,这些单元中的一些可以由硬件或软件的同一记录来体现。词语第一、第二、第三等的使用并不表示任何顺序。这些单词应被解释为名称。
Claims (14)
1.一种用于从图像存储装置中检索图像的系统(100),所述系统包括:
-检索单元(110),用于基于来自所述图像存储装置的图像与查询图像的相似性来从图像存储装置中检索多个图像,其中所述相似性由相似性函数定义;
-关联性单元(120),用于基于与所述查询图像相关的第一属性的值和与所检索的多个图像中的图像相关的第二属性的值,来计算所检索的多个图像中的所述图像的关联性的值;以及
-更新单元(130),用于基于所计算的关联性的值来更新所述相似性函数;
并且其中所述检索单元(110)还适于基于所更新的相似性函数来从图像存储装置中检索图像。
2.根据权利要求1所述的系统(100),其中所述相似性函数包括用于计算相似性值的多个基值,并且其中所述更新单元(130)还设置为选择所述多个基值中的某些基值以包含在所更新的相似性函数中。
3.根据权利要求1或2所述的系统(100),其中所述第二属性的值存储在所述图像存储装置中,所述第二属性的每一个值与来自图像存储装置的一个图像相对应。
4.根据权利要求1或2所述的系统(100),其中基于用户输入来计算所述第一属性的值。
5.根据权利要求1或2所述的系统(100),其中所述第一属性与所述第二属性相同。
6.根据权利要求5所述的系统(100),其中所述第一属性和所述第二属性是所述查询图像和来自图像存储装置的所述图像分别满足条件的假设。
7.根据权利要求6所述的系统(100),其中基于用户输入来计算所述第一属性的值,并且其中所述用户输入是所述假设为真的概率。
8.根据权利要求6或7所述的系统(100),其中所述假设是诊断假设。
9.根据权利要求1或2所述的系统(100),还包括预测单元(140),所述预测单元用于使用由所述更新单元(130)更新的所述相似性函数,基于由所述检索单元(110)检索的图像来预测与所述查询图像相关的属性的值。
10.一种数据库系统(400),包括前述权利要求中任一项所述的系统(100)。
11.一种图像获取装置(500),包括前述权利要求中任一项所述的系统(100)。
12.一种工作站(600),包括前述权利要求中任一项所述的系统(100)。
13.一种用于从图像存储装置中检索图像的方法(M),所述方法包括:
-检索步骤(S1),用于基于来自图像存储装置的图像与查询图像的相似性,从图像存储装置中检索与查询图像相似的多个图像,所述相似性由相似性函数定义;
-关联性步骤(S3),用于基于所述查询图像的第一属性的值和所检索的多个图像中的图像的第二属性的值,来计算所检索的多个图像中的所述图像的关联性的值;以及
-更新步骤(S5),用于至少基于所计算的关联性的值来更新所述相似性函数;
并且其中所述检索步骤(S1)还适于基于所更新的相似性函数来从图像存储装置中检索图像。
14.根据权利要求13所述的方法(M),还包括预测步骤(S6),所述预测步骤用于使用由所述更新步骤(S5)更新的所述相似性函数,基于由所述检索步骤(S1)检索的图像来预测与所述查询图像相关的所述第一属性的所述值。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP09164122.5 | 2009-06-30 | ||
EP09164122 | 2009-06-30 | ||
PCT/IB2010/052845 WO2011001331A1 (en) | 2009-06-30 | 2010-06-23 | Relevance feedback for content-based image retrieval |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102473182A CN102473182A (zh) | 2012-05-23 |
CN102473182B true CN102473182B (zh) | 2015-07-22 |
Family
ID=42562551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080029460.7A Active CN102473182B (zh) | 2009-06-30 | 2010-06-23 | 用于基于内容的图像检索的关联性反馈 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20120114256A1 (zh) |
EP (1) | EP2449484B1 (zh) |
JP (1) | JP5676597B2 (zh) |
CN (1) | CN102473182B (zh) |
RU (1) | RU2559712C2 (zh) |
WO (1) | WO2011001331A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102232220B (zh) * | 2010-10-29 | 2014-04-30 | 华为技术有限公司 | 一种视频兴趣物体提取与关联的方法及系统 |
CN107885757B (zh) * | 2016-09-30 | 2020-06-26 | 华为技术有限公司 | 图像检索的方法及装置 |
WO2018107371A1 (zh) | 2016-12-13 | 2018-06-21 | 上海联影医疗科技有限公司 | 图像搜索系统及方法 |
JP7192990B2 (ja) * | 2019-06-17 | 2022-12-20 | 日本電信電話株式会社 | 学習装置、検索装置、学習方法、検索方法、学習プログラム、及び検索プログラム |
EP3910645A1 (en) * | 2020-05-13 | 2021-11-17 | Siemens Healthcare GmbH | Image retrieval |
EP4016543A1 (de) * | 2020-12-15 | 2022-06-22 | Siemens Healthcare GmbH | Verfahren und vorrichtung zur bereitstellung einer medizinischen information |
CN113434573B (zh) * | 2021-06-29 | 2023-03-24 | 中国科学院自动化研究所 | 多维度图像检索系统、方法及设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5666524A (en) * | 1994-08-31 | 1997-09-09 | Price Waterhouse Llp | Parallel processing system for traversing a transactional database |
US6859802B1 (en) * | 1999-09-13 | 2005-02-22 | Microsoft Corporation | Image retrieval based on relevance feedback |
US7099860B1 (en) * | 2000-10-30 | 2006-08-29 | Microsoft Corporation | Image retrieval systems and methods with semantic and feature based relevance feedback |
KR100516289B1 (ko) * | 2000-11-02 | 2005-09-21 | 주식회사 케이티 | 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반영상 검색 장치 및 그 방법 |
JP2005514673A (ja) * | 2001-06-22 | 2005-05-19 | オモイグイ,ノサ | 知識の取得、管理、伝達、及び提示のシステム及び方法 |
US20040100563A1 (en) * | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
US7298376B2 (en) * | 2003-07-28 | 2007-11-20 | Landmark Graphics Corporation | System and method for real-time co-rendering of multiple attributes |
US7870140B2 (en) * | 2006-06-12 | 2011-01-11 | D&S Consultants, Inc. | System and method of incorporating user preferences in image searches |
JP4997892B2 (ja) * | 2006-09-19 | 2012-08-08 | 富士ゼロックス株式会社 | 検索システム、検索方法及び検索プログラム |
US8472705B2 (en) * | 2008-05-23 | 2013-06-25 | Yahoo! Inc. | System, method, and apparatus for selecting one or more representative images |
-
2010
- 2010-06-23 WO PCT/IB2010/052845 patent/WO2011001331A1/en active Application Filing
- 2010-06-23 US US13/380,951 patent/US20120114256A1/en not_active Abandoned
- 2010-06-23 RU RU2012102940/08A patent/RU2559712C2/ru not_active IP Right Cessation
- 2010-06-23 JP JP2012518139A patent/JP5676597B2/ja not_active Expired - Fee Related
- 2010-06-23 EP EP10734313.9A patent/EP2449484B1/en active Active
- 2010-06-23 CN CN201080029460.7A patent/CN102473182B/zh active Active
Non-Patent Citations (1)
Title |
---|
Haiying Guan et al..Bridging the Semantic Gap Using Ranking SVM for Image Retrieval.《ISBI"09 Proceedings of the Sixth IEEE international conference on Symposium on Biomedical Imaging: From Nano to Macro》.2009, * |
Also Published As
Publication number | Publication date |
---|---|
US20120114256A1 (en) | 2012-05-10 |
EP2449484A1 (en) | 2012-05-09 |
JP5676597B2 (ja) | 2015-02-25 |
RU2012102940A (ru) | 2013-08-10 |
CN102473182A (zh) | 2012-05-23 |
WO2011001331A1 (en) | 2011-01-06 |
JP2012532375A (ja) | 2012-12-13 |
RU2559712C2 (ru) | 2015-08-10 |
EP2449484B1 (en) | 2019-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102473182B (zh) | 用于基于内容的图像检索的关联性反馈 | |
RU2533500C2 (ru) | Система и способ для объединения клинических признаков и признаков изображений для диагностики с применением компьютера | |
RU2543563C2 (ru) | Системы и способы поддержки клинических решений | |
Jannin et al. | Validation of medical image processing in image-guided therapy. | |
EP2283444B1 (en) | Medical workflow systems and methods with process workflow recordation | |
Faghani et al. | Mitigating bias in radiology machine learning: 3. Performance metrics | |
US20040193036A1 (en) | System and method for performing probabilistic classification and decision support using multidimensional medical image databases | |
CN102483761B (zh) | 对基于内容的图像检索的相关性的可视化 | |
CN112334070B (zh) | 医用图像处理装置和方法、机器学习系统以及存储介质 | |
CN109155152B (zh) | 临床报告检索和/或比较 | |
CN113808738B (zh) | 一种基于自识别影像的疾病识别系统 | |
WO2020005865A1 (en) | Methods and apparatus to adapt medical imaging user interfaces based on machine learning | |
JP2022036125A (ja) | 検査値のコンテキストによるフィルタリング | |
Chang et al. | A cross-domain recommender system through information transfer for medical diagnosis | |
CN107408123A (zh) | 用于对临床发现的背景敏感性评价的方法和系统 | |
CN110993091B (zh) | 从数据生成向量 | |
EP4111942A1 (en) | Methods and systems for identifying slices in medical image data sets | |
WO2023274599A1 (en) | Methods and systems for automated follow-up reading of medical image data | |
US20120191720A1 (en) | Retrieving radiological studies using an image-based query | |
CN114765072A (zh) | 用于数据处理的方法、设备和介质 | |
JP2020149684A (ja) | 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム | |
CN117292839A (zh) | 基于遗传标记的健康管理系统及方法 | |
CN115605890A (zh) | 基于上下文的绩效基准测试 | |
IL291370A (en) | Medical database, data extraction system and method | |
Zrimec et al. | A medical image assistant for efficient access to medical images and patient data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |