CN106796621A - 图像报告注释识别 - Google Patents

Abstract

一种用于创建具有注释的报告的方法包括接收输入图像以进行注释。所述方法还包括将所述输入图像与一组先前注释的图像进行比较。所述方法还包括基于对应的比较的结果来生成针对所述先前注释的图像中的每幅的相似性度量。所述方法还包括针对多个预定注释中的每个识别具有最高相似性的先前注释的图像。所述方法还包括针对每个注释与所述注释一起视觉地显示所识别的图像。所述方法还包括接收输入信号，所述输入信号识别所显示的图像中的一幅。所述方法还包括利用所显示的图像中所识别的图像来注释所述输入图像。所述方法还包括以电子格式生成针对所述输入图像的报告，所述报告包括所识别的注释。

Description

图像报告注释识别

技术领域

以下总体涉及基于先前注释的图像来为电子格式图像报告确定注释。

背景技术

在医学成像中，通常使用结构化报告来捕获感兴趣组织(如肿瘤病变)的描述性信息。利用结构化报告，放射科医使用文本注释的标准化的集合在图像中标记感兴趣组织，所述文本注释的标准化的集合以更加容易地被其他熟悉注释术语的人解读的方式描述了所述组织的形状、取向、位置、和/或其它特征。

例如，在乳房成像中，乳房成像报告和数据系统(BI-RADS)是由美国放射学会开发的标准。根据所述标准，在MRI上评估的病变应通过形状(圆形、椭圆形、小叶、不规则)，边界(平滑、不规则、毛刺)，增强(均质、异质、边缘增强、暗内部分割、中央增强)以及类别来描述。

类似地，在乳房超声中，团块应该关于它们的形状(椭圆形、圆形、不规则)，取向(平行、不平行)，边界(自限的(circumscribed)、不清楚、有角度、微小叶、毛刺)、以及其他种类被注释。针对于其他器官，例如肺，存在或正在考虑类似的系统。利用这样的标准，放射科医生审查图像并基于他或她的观察和对注释术语的定义理解来选择文本注释。

结构化报告的基本方法包括让用户直接选择针对图像或发现的文本注释。这可以简单地实现为，例如，下拉菜单，用户通过鼠标，触摸屏，键盘和/或其他输入设备从所述下拉菜单中选择类别。然而，这种方法受制于用户的专业知识和对这些术语的含义的解读。对结构化报告的一种备选方法是视觉报告。

使用视觉报告，文本的下拉列表被来自数据库的范例图像(规范图像)替换，并且用户在范例图像的辅助下选择注释。例如，替代仅选择术语“毛刺”，用户可以从一组预定的固定图像中选择示出范例性毛刺组织的图像。这降低了主观性，因为结构化注释的定义由图像而不是由文本术语给出。

这种视觉图像注释帮助确保所有用户对术语有共同的理解。然而，范例图像是固定的(即，总是示出相同的规范的“毛刺”图像)，并且在某些组织(例如，病变)中可能存在宽的可变性。这样，规范范例可能在视觉上不类似于当前图像。例如，即使当前患者图像是“毛刺”，它也可能不足够接近地类似于要被认为是匹配的规范的“毛刺”图像。

发明内容

本文中描述的各方面解决上述问题和其他问题。

在一个方面中，一种用于创建具有图像注释的电子格式的图像报告的方法，包括接收患者的输入图像以进行注释。所述方法还包括将所述输入图像与一组先前注释的图像进行比较。所述方法还包括基于对应的比较的结果来生成针对所述先前注释的图像中的每幅的相似性度量。所述方法还包括针对多个预定注释中的每个识别具有最高相似性的先前注释的图像。所述方法还包括针对每个注释与所述注释一起视觉地显示所识别的图像。所述方法还包括接收输入信号，所述输入信号识别所显示的图像中的一幅。所述方法还包括利用所显示的图像中所识别的图像来注释所述输入图像。所述方法还包括以电子格式生成针对所述输入图像的报告，所述报告包括所识别的注释。

在另一方面中，一种计算装置包括接收患者的输入图像以进行注释的第一输入设备。所述计算装置还包括处理器，所述处理器：将所述输入图像与一组先前注释的图像进行比较，基于对应的比较的结果来生成针对所述先前注释的图像中的每幅的相似性度量，并且针对多个预定注释中的每个识别具有最高相似性的先前注释的图像。所述计算装置还包括显示器，所述显示器针对每个注释与所述注释一起视觉地显示所识别的图像。

在另一方面中，一种被编码有计算机可读指令的计算机可读存储介质，所述计算机可读指令在由处理器运行时，令所述处理器：接收患者的输入图像以进行注释，将所述输入图像与一组先前注释的图像进行比较，基于对应的比较的结果来生成针对所述先前注释的图像中的每幅的相似性度量，针对多个预定注释中的每个识别具有最高相似性的先前注释的图像，针对每个注释与所述注释一起视觉地显示所识别的图像，接收输入信号，所述输入信号识别所显示的图像中的一幅，利用所显示的图像中所识别的图像来注释所述输入图像，并且以电子格式生成针对所述输入图像的报告，所述报告包括所识别的注释。

附图说明

本发明可以采取各种部件和各部件的布置以及各种步骤和各步骤的安排的形式。附图仅出于图示优选的实施例的目的并且不应被解释为对本发明的限制。

图1示意性地图示了具有报告模块的范例计算系统，

图2示意性地图示了报告模块的范例，

图3图示了示出针对多个不同注释类型的最佳匹配图像的范例显示，

图4图示了用于生成具有注释的报告的范例方法。

具体实施方式

图1图示了具有计算装置102的系统100，计算装置102包括至少一个处理器104，所述至少一个处理器104执行存储在计算机可读存储介质108中的一条或多条计算机可读指令106，所述计算机可读存储介质108排除瞬态介质并且包括物理存储器和/或其他非瞬态存储介质。处理器104可以额外地或备选地执行由载波、信号或其他瞬态介质承载的一条或多条计算机可读指令。

计算装置102从诸如键盘，鼠标，触摸屏等的一个或多个输入设备110接收信息和/或将信息传送到一个或多个输出设备112，例如一个或多个显示监视器。图示的计算装置102还与网络116以及与网络通信的一个或多个设备(例如至少一个数据仓库118、至少一个成像系统120和/或一个或多个其他设备)通信。

数据存储库118的范例包括但不限于图像存档及通信系统(PACS)、放射学信息系统(RIS)、医院信息系统(HIS)、以及电子医疗记录(EMR)。成像系统120的范例包括但不限于计算机断层摄影(CT)系统、磁共振(MR)系统、正电子发射断层摄影(PET)系统、单光子发射计算机断层摄影(SPECT)系统、超声(US)系统、以及X射线成像系统。

计算装置102可以是位于医生办公室，健康护理机构，成像中心等处的通用计算机等。计算装置102至少包括允许授权人员生成电子医疗报告的软件。计算装置102可以使用诸如健康级别七(HL7)、可扩展标记语言(XML)、医学数字成像及通信(DICOM)和/或(一种或多种)其他格式来传送和/或接收信息。

所述至少一条计算机可读指令106包括报告模块122，所述报告模块122在由至少一个处理器104执行时，以电子格式为要被注释的输入图像生成包括注释的报告。如下面更详细地描述的，报告模块122基于要注释的输入图像和其他患者的先前获取的和注释的图像的集合来确定注释。在一个实例中，最终报告包括对应于图像的注释，其与具有感兴趣组织的通用表示的固定范例图像相比更好地视觉匹配输入图像中的感兴趣组织。

图2示意性地图示了报告模块122的范例。

报告模块122接收要被注释的(对象或目标的)图像作为输入。输入图像可以来自(一个或多个)成像系统120、(一个或多个)数据仓库118和/或其他设备。在该范例中，所述输入图像是医学图像，例如MRI、CT、超声、乳房X射线摄影、X射线、SPECT或PET图像。然而，在变型中，输入图像可以是非医学图像，例如与非破坏性测试、安全筛选(例如，机场)和/或其它非医学应用相关的对象的图像。

在该范例中，报告模块122可以访问(一个或多个)数据仓库118。应当理解，报告模块122可以访问存储先前采集的和注释的图像的其他数据存储设备，包括基于云的存储设备、分布式存储设备和/或其他存储设备。(一个或多个)数据仓库118至少包括已经创建注释的其他患者的图像的数据库。针对这种图像的范例图像格式包括DICOM、JPG、PNG和/或其他电子图像格式。

在一个实例中，(一个或多个)数据仓库118是单独保存的策展数据库，其中，图像已经被具体地审查以供在应用中使用。在另一实例中，(一个或多个)数据仓库118是经过医疗机构的患者的数据库，例如，如存储在PACS中的数据库。本文还预期其他数据存储库。在该范例中，所述(一个或多个)数据仓库118包括图像和注释。在另一范例中，图像和注释存储在分离的设备上。

通常，所述(一个或多个)数据仓库118包括表示可用注释中的每个的至少一幅图像。例如，在一个实例中，可用注释的集合包括边缘注释(例如，“毛刺”或“自限的”)，形状注释(例如，“圆形”或“不规则”)和/或一个或多个其他注释。对于该集合，所述(一个或多个)数据仓库118包括至少一个毛刺范例图像，至少一个自限的范例图像，至少一个圆形范例图像和至少一个不规则范例图像。

报告模块122包括图像比较模块202。图像比较模块202确定输入图像与(一个或多个)数据仓库118中的一个或多个先前注释的图像之间的相似性度量。

为了比较，在一个实例中，报告模块122接收识别输入图像内的点或子区域的用户输入，以识别要注释的输入图像中的感兴趣组织。在另一实例中，要注释整个输入图像，而不是仅输入图像的点或子区域。在后者实例中，不需要用户输入。

为了比较，在一个范例中，比较所识别的部分或整个两个图像(即，输入图像和先前注释的图像)。为此，首先使用已知和/或其他方法来分割该部分。然后使用已知和/或其他方法来计算量化特征，生成描述物体及其周围的大小、位置、亮度、对比度、形状、质量的数字特征，产生“特征向量”。然后，使用例如欧几里德距离测量来比较两个特征，其中较短的距离表示更相似的对象。

在另一范例中，以逐像素(逐体素或逐像素或体素的子组)方法比较图像，例如平方差求和、互信息、归一化互信息、互相关等。在图示的范例中，单个图像比较模块(例如，图像比较模块202)执行所有的比较。在另一范例中，存在针对每个注释的单独的图像比较模块，针对两个或更多个比较的至少一幅图像比较模块以及针对不同比较的至少一幅其他图像比较模块等。

报告模块122还包括图像选择模块204。图像选择模块204针对每个注释选择候选图像。

在一个实例中，选择单个最相似的图像。这可以通过识别具有最高相似性度量和必要注释的图像来完成。例如，当病变通过边缘(“毛刺”或“自限的”)和形状(“圆形”或“不规则”)来描述时，识别最相似的“毛刺”病变，识别最相似的“自限的”病变，最相似的“圆形”病变，和最相似的“不规则”病变。可能存在重叠，例如，最相似的自限的病变也可以是最相似的圆形病变。

在另一种情况下，识别一组相似的图像，其中每组包括至少一幅图像。这可以通过选择相似性大于预设阈值的具有给定的注释的图像的子集(来自数据仓库118)来实现。备选地，这可以通过选择情况的百分比来完成。例如，如果在0到1的尺度上测量相似性，则利用上述范例，可以选择具有大于0.8的相似性的所有毛刺病变，或者可以选择具有最高相似性的毛刺病变中的5％。针对每个注释类型重复此。

报告模块122还包括呈现模块206。呈现模块206(例如，经由输出设备112的显示器)视觉地呈现每个注释以及针对每个注释的至少一幅最相似的图像。图3中示出了范例，其示出了具有用于注释毛刺306的毛刺组织304的图像302，以及具有用于注释微小叶312的微小叶组织310的图像308。在另一实例中，可以针对注释示出多个图像。例如，代替示出表示图3中的“毛刺”306的单幅图像，针对注释“毛刺”306示出了多幅图像。

报告模块122还包括注释模块208。注释模块208响应于接收到用户输入而用所显示的图像注释输入图像，所述用户输入识别所显示的图像和/或注释。视觉呈现的图像(例如，图3)帮助用户选择正确的注释。用户可以选择图像，例如通过点击附近的按钮，点击图像和/或类似的操作。

报告模块122还包括报告生成模块210。报告生成模块210以电子格式生成针对输入图像的报告306，其包括用户选择的注释毛刺306。在变型中，报告是视觉报告，其进一步将所识别的注释的图像302作为视觉图像注释。

图4示出了根据本文公开内容的范例流程图。

要理解，本文中描述这些方法的动作的顺序不是限制性的。这样，本文中预期其他顺序。另外，可以省略一个或多个动作和/或可以包括一个或多个额外的动作。

在402，获得要注释的图像。

在404，获得先前注释的图像。

在406，确定两幅图像之间的相似性度量。

在408，确定是否要比较另一先前注释的图像。

响应于存在要比较的另一先前注释的图像，重复动作404至408。

在410，响应于没有要比较的另一先前注释的图像，基于相似性度量针对每个注释识别最相似的图像。

在412，视觉地呈现针对每个注释的最相似的先前注释的图像以及相应的注释的标识。

在414，接收指示用户识别的先前注释的图像和/或注释的输入。

在416，用所识别的注释来注释输入图像。

在418，针对输入图像生成具有所识别的注释以及任选地所识别的图像的电子格式的报告，作为视觉图像注释。

以上可以通过被编码在或嵌入在计算机可读介质中计算机可读指令的方式来实施，所述计算机可读指令在由(一个或多个)处理器运行时，令所述(一个或多个)处理器执行所描述的动作。额外地或备选地，至少一条计算机可读指令由信号、载波或其他暂态介质承载。

己经参考优选的实施例描述了本发明。他人在阅读并理解了前述详细说明之后可以进行修改和变形。目的是，本发明被理解为包括所有这样的修改和变形，只要它们落入权利要求书或其等价方案的范围之内。

Claims (20)

1.一种用于创建具有图像注释的电子格式的图像报告的方法，包括：

接收患者的输入图像以进行注释；

将所述输入图像与一组先前注释的图像进行比较；

基于对应的比较的结果来生成针对所述先前注释的图像中的每幅的相似性度量；

针对多个预定注释中的每个识别具有最高相似性的先前注释的图像；

针对每个注释与所述注释一起视觉地显示所识别的图像；

接收输入信号，所述输入信号识别所显示的图像中的一幅；

利用所识别的图像的所述注释来注释所述输入图像；并且

以电子格式生成针对所述输入图像的报告，所述报告包括所识别的注释。

2.如权利要求1所述的方法，还包括：

针对预定注释识别两幅或更多幅先前注释的图像；

针对所述注释与所述注释一起视觉地显示所识别的两幅或更多幅先前注释的图像；并且

接收输入信号，所述输入信号识别所显示的图像中的一幅。

3.如权利要求2所述的方法，其中，所述两幅或更多幅先前注释的图像中的每幅具有比预定阈值相似性水平更高的相似性。

4.如权利要求2所述的方法，其中，所述两幅或更多幅先前注释的图像中的每幅具有在相似性的预定百分比范围内的相似性。

5.如权利要求1至4中任意一项所述的方法，其中，所述一组先前注释的图像包括针对其他患者的先前注释的图像。

6.如权利要求1至5中任意一项所述的方法，其中，所述一组先前注释的图像包括对应于所述多个预定注释中的每个的至少一幅注释的图像。

7.如权利要求1至6中的任一项所述的方法，其中，对所述输入图像的整体和所述一组先前注释的图像中的每幅图像的整体进行比较。

8.如权利要求7所述的方法，其中，图像通过以下方式中的一种被比较：逐像素、逐体素、逐像素的子组、或者逐体素的子组。

9.如权利要求1至6中的任一项所述的方法，还包括：

接收指示输入图像的子区域的信号，其中，仅对所述输入图像的所述子区域与所述一组先前注释的图像中的每幅图像的对应的子区域进行比较。

10.如权利要求9所述的方法，还包括：

分割所述输入图像的所述子区域以及所述一组先前注释的图像中的每幅图像的所述对应的子区域；并且

对所述输入图像的分割的子区域与所述一组先前注释的图像中的每幅图像的分割的子区域进行比较。

11.如权利要求7至10中的任一项所述的方法，还包括：

针对所述输入图像中的每幅与所述一组先前注释的图像中的每幅图像生成量化特征向量，其中，所述比较包括对所述量化特征向量进行比较。

12.如权利要求11所述的方法，其中，所述量化特征向量包括描述以下中的一个或多个的数值特征：尺寸、位置、亮度、对比度、形状、或者质地。

13.一种计算装置(102)，包括：

第一输入设备(110)，其接收患者的输入图像以进行注释；

处理器(104)，其将所述输入图像与一组先前注释的图像进行比较，基于对应的比较的结果来生成针对所述先前注释的图像中的每幅的相似性度量，并且针对多个预定注释中的每个识别具有最高相似性的先前注释的图像；以及

显示器(112)，其针对每个注释与所述注释一起视觉地显示所识别的图像。

14.如权利要求13所述的计算装置，包括：

第二输入设备，其接收识别所述被显示图像中的一幅的输入信号，其中，所述处理器利用所显示的图像中所识别的图像来注释所述输入图像，并且以电子格式生成针对所述输入图像的报告，所述报告包括所识别的注释。

15.如权利要求13至14中的任一项所述的计算装置，其中，所述处理器针对预定注释识别两幅或更多幅先前注释的图像，并且针对所述注释与所述注释一起视觉地显示所识别的两幅或更多幅先前注释的图像。

16.如权利要求13至15中的任一项所述的计算装置，其中，所述一组先前注释的图像包括针对其他患者的先前注释的图像并且包括对应于所述多个预定注释中的每个的至少一个注释的图像。

17.如权利要求13至16中的任一项所述的计算装置，其中，所述处理器通过以下方式中的一种来对所述输入图像的整体与所述一组先前注释的图像中的每幅图像的整体进行比较：逐像素、逐体素、逐像素的子组、或者逐体素的子组。

18.如权利要求13至16中的任一项所述的计算装置，其中，所述处理器：接收指示所述输入图像的子区域的信号；分割所述输入图像的所述子区域以及所述一组先前注释的图像中的每幅图像的对应的子区域；并且仅对所述输入图像的分割的子区域与所述一组先前注释的图像中的每幅图像的分割的子区域进行比较。

19.如权利要求13至18中的任一项所述的计算装置，其中，所述处理器针对所述输入图像中的每幅与所述一组先前注释的图像中的每幅图像生成量化特征向量，其中，所述比较包括对所述量化特征向量进行比较。

20.一种被编码有计算机可读指令的计算机可读存储介质，所述计算机可读指令在由处理器运行时，令所述处理器：

接收患者的输入图像以进行注释；

将所述输入图像与一组先前注释的图像进行比较；

基于对应的比较的结果来生成针对所述先前注释的图像中的每幅的相似性度量；

针对多个预定注释中的每个识别具有最高相似性的先前注释的图像；

针对每个注释与所述注释一起视觉地显示所识别的图像；

接收输入信号，所述输入信号识别所显示的图像中的一幅；

利用所识别的图像的所述注释来注释所述输入图像；并且

以电子格式生成针对所述输入图像的报告，所述报告包括所识别的注释。