CN112136155A - 使用域无关的异常分析生成图像的文本描述 - Google Patents

Abstract

生成图像的文本描述包括将由图像数据表示的图像分类为域特定的类别，以及基于该域特定的类别来分割该图像数据中的一个或多个元素。将所述一个或多个元素中的每个元素与域无关模型进行比较，以检测所述一个或多个元素中的一个或多个统计异常。使用一个或多个域无关的文本短语来表征一个或多个检测到的统计异常。基于域特定的类别，该一个或多个独立于域的文本短语被转换成一个或多个域特定的描述。

Description

使用域无关的异常分析生成图像的文本描述

技术领域

本发明总体上涉及用于生成图像的文本描述的方法、系统和计算机程序产品。更具体地，本发明涉及用于使用域无关(domain independent)的异常分析来生成图像的文本描述的方法、系统和计算机程序产品。

背景技术

存在多种基于人工智能的推理系统，用于分析数据的基于文本或基于语义网络的表示，以从数据中提取期望的信息，诸如确定对关于与数据相关联的给定主题的问题的答案。这些推理系统通常包括在数据处理硬件上执行的应用。有时，对这些系统造成的问题也具有图像组件。例如，来自医学许可检查的一些问题包括注释的解剖学图或放射学图像。遗憾的是，不存在直接的方式来转换这些基于语义的(例如，基于语言的)网络以向推理系统提供分析图像数据以及文本数据以确定回答以提取所需信息(诸如回答与文本数据和图像数据有关的问题)的能力。因而，现有的推理系统通常忽略这些图像，尽管它们对于回答问题具有明显的效用。

发明内容

说明性实施例提供了一种方法、系统和计算机程序产品。一种用于生成图像的文本描述的方法的实施例包括：将由图像数据表示的图像分类为特定于领域(domain-specific)的类别；以及基于所述特定于领域的类别来分割所述图像数据中的一个或多个元素。实施例还包括将一个或多个元素中的每个元素与域无关的模型进行比较以检测一个或多个元素中的一个或多个统计异常，以及使用一个或多个域无关的文本短语来表征一个或多个检测到的统计异常。实施例还包括基于特定领域类别将一个或多个独立于领域的文本短语转换成一个或多个特定于领域的描述。

一个实施例还包括输出所述一个或多个域特定的描述。另一实施例进一步包含接收所述图像数据，以及接收指示该图像数据的上下文的上下文信息。

在实施例中，将图像分类到因特定于领域的类别是基于上下文信息的。在另一实施例中，上下文信息包括与图像数据相关联的元数据。在另一实施例中，上下文包括图像数据的形态和视点。

在另一实施例中，分割一个或多个元素使用域特定特定类别的分割过程。在另一实施例中，分割一个或多个元素使用特定于该元素的分割过程。在又一实施例中，分割一个或多个元素使一般分割的元素与和域特定类别相关联的粗略模型对齐(align)。

在另一实施例中，域无关的模型是基于轮廓的形状模型。在另一实施例中，域无关的模型是基于纹理的内部模型。

在另一实施例中，表征检测到的统计异常包括注意缺失的或表示不足的元素。在另一实施例中，表征检测到的统计异常包括额外标注的或过度表示的元素。

实施例包括计算机可用程序产品。计算机可用程序产品包括一个或多个计算机可读存储设备，以及存储在一个或多个存储设备中的至少一个上的程序指令。

实施例包括计算机系统。该计算机系统包括一个或多个处理器、一个或多个计算机可读存储器和一个或多个计算机可读存储设备，以及存储在该一个或多个存储设备中的至少一个上的用于由该一个或多个处理器中的至少一个经由该一个或多个存储器中的至少一个执行的程序指令。

附图说明

在所附权利要求中阐述了被认为是本发明的特征的某些新颖特征。然而，当结合附图阅读时，通过参考说明性实施例的以下详细说明，将最好地理解本发明本身以及使用的优选模式、其进一步的目的和优点，在附图中：

图1描绘了可以实现说明性实施例的数据处理系统的网络的框图；

图2描绘了可以实现说明性实施例的数据处理系统的框图；

图3描绘了根据说明性实施例的用于使用域无关的异常分析来生成图像的文本描述的应用的示例配置的框图；

图4描绘了根据另一说明性实施例的用于使用域无关的异常分析来生成医学图像的文本描述的应用的示例配置的框图；

图5A-5B描绘根据说明性实施例的医学图像分析表面原语(primitive)的实例；

图6A-6B描绘了根据说明性实施例的医学图像分析管原语的示例；

图7A-7B描绘了根据说明性实施例的医学图像分析立体三维(3D)对象原语的示例；并且

图8描绘了根据说明性实施例的用于使用域无关的异常分析来生成图像的文本描述的示例过程的流程图。

具体实施方式

本文描述的说明性实施例一般涉及使用域无关的异常分析来生成图像的文本描述。说明性实施例认识到，用于生成图像的文本描述的当前可用的工具或解决方案没有解决这些需要或提供用于这些需要的解决方案。

用于生成图像的文本描述的一种现有方法是将图像识别为诸如“海滩”、“草地”或“城市景点”的一些场景类的成员。存在这种处理的较弱版本，其仅尝试图像的部分描述(诸如“室内”或“X射线”)(其相比场景本身的内容更多地描述环境)。虽然这种部分描述明显好于将图像数据视为大的“比特包”，但是这些部分描述通常不够特定以允许智能推理。

用于生成图像的文本描述的另一种现有方法是通过图像包含的对象来表征图像。这种表征可以是一般表征如“人”或“动物”，或更具体的表征如“约翰史密斯”和“Labradoodle”。不幸的是，必须针对每个细粒度类别学习特定的模型，因此这样的方法需要大量的标记的训练数据和计算时间。

甚至列出对象可能对一些推理系统不是特别有帮助的。例如，指示特定医学诊断是“胸部X射线”并且其包括“左肺”、“右肺”以及“心脏”具有很少或没有诊断值。对于这样的系统，必须训练甚至更细粒度的概念，例如“肺结节”、“梗塞”或“星形胶质瘤”。因此，通常将需要可能过于大量的类别来描述医学图像。

现有的专门医学图像分析系统可用于各种器官、状况和模态，例如心脏血流、心电图(EKG)、细胞计数。然而，这些专用系统需要小心手工编码程序以便有效。此外，存在机器学习系统用于检测和/或诊断特定器官、病症或模态，例如黑素瘤、乳腺癌和糖尿病性视网膜病。然而，这些机器学习系统需要许多准确标记的训练示例。进一步，存在主要用于网络照片而不是医学影像的深度学习图像至文本生成系统。然而，这些现有的深度学习图像至文本生成系统需要受监督的训练数据。

用于描述本发明的说明性实施例通常解决和处理上述问题和与产生图像的文本描述相关的其他问题。

本文描述的一个或多个实施例提供了首先将图像分类成某些宽泛类别的应用。从宽泛的类别中，期望存在场景组成和内容的某些元素。这些元素是以域无关的方式建模的。例如，在具体的示例性模型中，不是“沙滩沙”是模型，而是“扩展的水平光条带，在图像中间附近的颜色可能是淡黄色”。在一个或多个实施例中，这些模型包含正规条件，如“水平”，这些正规条件已经统计地衍生自多个标记的实例。在实施例中，系统尝试找到每个指定元素的候选项，并记录关于其模型的任何异常。例如，系统可以识别在图像中存在看起来类似于模型的彩色区域，但是稍微对角而不是纯水平。一旦已经在域无关的模型中检测到该异常，系统就使用合适的依赖于域的术语来重新表征该异常。例如，当海滩图像的沙子部分呈对角线时，其通常是存在“凹穴”的证据。因此，整个图像可以被给予文本描述“海湾的海滩景色”。

一个或多个实施例提供了如下优点：一组小的域无关模型类型可以潜在地覆盖系统可能遇到的所有图像。例如，3D“斑点”、2D“表面”和1D“管”对于几乎所有可视对象是足够的。这与专门的表示形成对比，如用于心脏的计算机断层摄影(CT)扫描的“心内膜壁”以及用于外周血涂片的“红细胞”。

在一个或多个实施例中，将图像描述为某个基本类加上与基本类的偏差可能是有利的。在医学领域中，这样的描述可能是特别有用的，因为虽然不是所有的异常都是病理学，但是通常病理学引起异常。例如，检测肺具有在远端边缘上具有“圆角”而不是尖锐的3D团块(域无关的表征)可以用于推断在肋肾角中存在流体累积(与域有关的表征)。类似地，一些元件的错误纹理、颜色或计数(所有域无关的表征)通常具有诊断分支。在一个或多个实施例中，在第一遍中以域无关的方式检测这样的条件节省了构建另外将需要的大得多数量的更专门化的检测器所需的时间和精力。

在实施例中，应用接收输入图像并应用一组域特定的分类器以确定图像的宽域分类。在该实施例中，应用基于分类结果来选择多个域无关的元素模型。在实施例中，应用尝试分割输入图像中对应于这些模型的元素，并且检查找到的元素以确定域无关的异常或来自域无关的模型的元素的偏差。在一个或多个实施例中，元素是在图像内发现的具有预期外观、位置、大小和/或形状的特征。例如，元件可包括身体器官的预期外观、位置、大小和/或形状。在一个或多个实施例中，统计异常可以包括与元素的预期出现位置、大小和/或形状的偏差多于确定的量。

在本实施例中，应用生成独立于的域的异常描述，该异常描述以域无关的方式描述异常的特性。在实施例中，该应用将域无关的异常描述翻译或重新表征为包括域特定的项的异常的域特定的文本描述。在实施例中，应用生成表示域特定的文本描述的输出文本描述。在一个或多个实施例中，域特定的文本描述可以包括异常的位置，例如以下各项中的一项或多项：对身体器官的地标(例如，肺的“顶端”)附近的区域的标识，异常的轮廓(例如，“共心角”)的部分或异常的整体解剖坐标(例如，“左”、“远”)。

在一个或多个实施例中，可以学习针对许多视觉特性的群落。例如，可以学习诸如“暗”、“浑浊”和“条纹”的一般外观术语。在另一个示例中，可以学习几何术语，如“肿胀”、“变窄”、和“放大”。

在多个具体实施例中，使用域特定的分类器对图像的初始分类不一定需要基于图像本身的外观来执行。在一个或多个实施例中，初始分类可以基于与图像相关联(而不是替代图像数据或在图像数据之外附加)的替代信息、附加信息或的元数据，。例如，包含图像的问题的文本可以陈述“拍摄胎儿超声来确认”。在此实例中，应用程序可仅从文本直接推断图像的基本性质。在另一实例中，假设发现图像驻留在足病医生办公室的X射线机器的盘上。该应用可以推断这种信息是被检查的图像的类别是“脚的X射线”的强有力的证据。

仅作为实例，关于某些类型的图像数据、分类器、模型、域、装置、数据处理系统、环境、组件和应用来描述说明性实施例。这些和其他类似产物的任何特定表现不旨在限制本发明。可以在说明性实施例的范围内选择这些和其他类似产物的任何合适的表现。

此外，说明性实施例可以相对于任何类型的数据、数据源或通过数据网络对数据源的访问来实现。在本发明的范围内，任何类型的数据存储设备可以在本地在数据处理系统处或通过数据网络向本发明的实施例提供数据。在使用移动装置描述实施例的情况下，在说明性实施例的范围内，适合于与移动装置一起使用的任何类型的数据存储装置可在本地在移动装置处或经由数据网络将数据提供到此实施例。

使用特定代码、设计、架构、协议、布局、示意图和工具仅作为实例来描述说明性实施例，且实例不限于说明性实施例。此外，为了描述的清楚起见，在一些实例中仅使用特定软件、工具和数据处理环境作为例子来描述说明性实施例。说明性实施例可以结合其他可比较的或类似用途的结构、系统、应用或架构来使用。例如，在本发明的范围内，其他类似的移动设备、结构、系统、应用或其架构可以结合本发明的这样的实施例来使用。说明性实施例可在硬件、软件或其组合中实施。

本公开中的示例仅用于描述的清楚性，并且不限于说明性实施例。从本公开中可以想到附加的数据、操作、动作、任务、活动和操纵，并且这些附加的数据、操作、动作、任务、活动和操纵被构想在说明性实施例的范围内。

在此列出的任何优点仅是示例并且不旨在限制这些说明性实施例。另外的或不同的优点可以通过特定的说明性实施例来实现。此外，特定说明性实施例可具有上文列出的优点中的一些、全部或没有上述优点。

参考附图，特别是参见图1和2，这些图是可以实现说明性实施例的数据处理环境的示例图。图1和2仅是示例并且不旨在断言或暗示关于其中可以实现不同实施例的环境的任何限制。特定实施例可基于以下描述对所描绘的环境做出许多修改。

图1描绘了可以实现说明性实施例的数据处理系统的网络的框图。数据处理环境100是其中可以实现说明性实施例的计算机网络。数据处理环境100包括网络102。网络102是用于在数据处理环境100内连接在一起的不同设备和计算机之间提供通信链路的介质。网络102可包括连接，诸如有线、无线通信链路或光纤电缆。

客户端或服务器仅是连接到网络102的某些数据处理系统的示例角色，并且不旨在排除这些数据处理系统的其他配置或角色。服务器104和服务器106与存储单元108一起耦合到网络102。在一个或多个实施例中，存储装置108可以被配置成用于将一个或多个模型、域特定的分类器、域无关的元件模型、域无关的异常描述、域特定的异常描述和/或元件描述存储在数据库109内。软件应用程序可在数据处理环境100中的任何计算机上执行。客户端110、112和114也耦合到网络102。诸如服务器104或106或客户端110、112或114的数据处理系统可以包含数据并且可以具有在其上执行的软件应用或软件工具。

仅作为实例，并且不暗示对此类架构的任何限制，图1描绘了在实施例的示例实现中可用的某些组件。例如，服务器104和106以及客户端110、112、114仅作为示例被描绘为服务器和客户端，而不暗示对客户端-服务器架构的限制。作为另一示例，实施例可以如所示跨若干数据处理系统和数据网络分布，而另一实施例可以在说明性实施例的范围内在单个数据处理系统上实现。数据处理系统104、106、110、112和114还表示集群中的示例节点、分区和适于实现实施例的其他配置。

设备132是本文描述的设备的示例。例如，设备132可以采取智能电话、PDA、平板计算机、膝上型计算机、固定或便携式形式的客户端110、可穿戴计算设备或任何其他合适的设备的形式。被描述为在图1中的另一数据处理系统中执行的任何软件应用可被配置成以类似方式在设备132中执行。在图1中的另一数据处理系统中存储或产生的任何数据或信息可被配置成以类似方式在装置132中存储或产生。

服务器104的应用105实现用于使用如本文所述的域无关的异常分析来生成图像的文本描述的过程的实施例。服务器106的认知应用107实现如本文所述相对于不同实施例的认知推理系统。成像装置116配置成捕获表示希望为其生成文本描述的主体或对象(诸如身体部位)的图像数据。在多个具体实施例中，成像装置116可包括照相机、x射线机、扫描仪或任何其他合适的成像装置。在其他实施例中，可以省略成像装置116，并且可以从另一合适的源获得图像数据。

服务器104和106、存储单元108以及客户端110、112和114可以使用有线连接、无线通信协议或其他合适的数据连接性耦合到网络102。客户端110、112和114可以是例如个人计算机或网络计算机。

在所描绘的示例中，服务器104可以向客户端110、112和114提供数据，诸如启动文件、操作系统映像(images)和应用。在此示例中，客户端110、112和114可以是服务器104的客户端。客户端110、112、114或其某种组合可以包括它们自己的数据、启动文件、操作系统映像和应用程序。数据处理环境100可以包括附加的服务器、客户端和未示出的其他设备。

在所描绘的示例中，数据处理环境100可以是互联网。网络102可表示使用传输控制协议/互联网协议(TCP/IP)和其他协议来彼此通信的网络和网关的集合。互联网的核心是主节点或主机计算机之间的数据通信链路的主干，包括路由数据和消息的数千个商业、政府、教育和其他计算机系统。当然，数据处理环境100还可以被实现为许多不同类型的网络，例如内联网、局域网(LAN)或广域网(WAN)。图1旨在作为实例，而不是作为不同说明性实施例的体系结构限制。

除了其他用途之外，数据处理环境100可以用于实现其中可以实现说明性实施例的客户端-服务器环境。客户端-服务器环境使得软件应用和数据能够跨网络分布，使得应用通过使用客户端数据处理系统和服务器数据处理系统之间的交互来起作用。数据处理环境100还可采用面向服务的架构，其中跨网络分布的可互操作软件组件可被一起封装为一致的业务应用。数据处理环境100还可以采取云的形式，并且采用服务递送的云计算模型以便能够方便，对可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)的共享池的按需网络访问，所述可配置计算资源可以用最小的管理努力或与服务提供者的交互来快速配置和释放。

参见图2，该图描绘了可以实现说明性实施例的数据处理系统的框图。数据处理系统200是计算机的示例，例如图1中的服务器104和106，或客户端110、112和114，或另一类型的设备，其中实现过程的计算机可用程序代码或指令可以被定位以用于说明性实施例。

数据处理系统200还表示数据处理系统或其中的配置，实现说明性实施例的处理的计算机可用程序代码或指令可以位于其中。数据处理系统200仅作为实例被描述为计算机，而不限于此。其他设备形式的实现可诸如通过添加触摸界面来修改数据处理系统200，并且甚至从数据处理系统200中消除某些所描绘的组件，而不背离本文描述的数据处理系统200的操作和功能的一般描述。

在所描绘的示例中，数据处理系统200采用包括北桥和存储器控制器集线器(NB/MCH)202和南桥和输入/输出(I/O)控制器集线器(SB/ICH)204的集线器架构。处理单元206、主存储器208和图形处理器210耦合到北桥和存储器控制器集线器(NB/MCH)202。处理单元206可以包含一个或多个处理器并且可以使用一个或多个异构处理器系统来实现。处理单元206可以是多核处理器。在某些实现中，图形处理器210可以通过加速图形端口(AGP)耦合到NB/MCH202。

在所描绘的示例中，局域网(LAN)适配器212耦合到南桥和I/O控制器集线器(SB/ICH)204。音频适配器216、键盘和鼠标适配器220、调制解调器222、只读存储器(ROM)224、通用串行总线(USB)和其他端口232、以及PCI/PCIe设备234通过总线238耦合到南桥和I/O控制器集线器204。硬盘驱动器(HDD)或固态驱动器(SSD)226和CD-ROM 230通过总线240耦接到南桥和I/O控制器集线器204。PCI/PCIe设备234可包括例如用于笔记本计算机的以太网适配器、附加卡和PC卡。PCI使用卡总线控制器，而PCIe不使用。ROM 224可以是例如闪存二进制输入/输出系统(BIOS)。硬盘驱动器226和CD-ROM 230可以使用例如集成驱动电子设备(IDE)、串行高级技术附件(SATA)接口或者诸如外部SATA(eSATA)和微型SATA(mSATA)的变体。超级I/O(SIO)设备236可以通过总线238耦合到南桥和I/O控制器集线器(SB/ICH)204。诸如主存储器208、ROM 224或闪存(未示出)之类的存储器是计算机可用存储设备的一些示例。硬盘驱动器或固态驱动器226、CD-ROM 230和其他类似可用的设备是计算机可用存储设备的一些示例，包括计算机可用存储介质。

操作系统在处理单元206上运行。操作系统协调和提供对图2中的数据处理系统200内的不同组件的控制。操作系统可以是用于任何类型的计算平台的商业上可获得的操作系统，包括但不限于服务器系统、个人计算机和移动设备。面向对象或其他类型的编程系统可以结合操作系统来操作，并且提供从在数据处理系统200上执行的程序或应用对操作系统的调用。

用于操作系统、面向对象的编程系统和应用或程序(诸如图1中的认知应用105和文档创作应用107)的指令，位于存储设备上，诸如以硬盘驱动器226上的代码226A的形式，并且可以被加载到一个或多个存储器中的至少一个，诸如主存储器208，用于由处理单元206执行。说明性实施例的处理可以由处理单元206使用计算机实现的指令来执行，这些指令可以位于存储器中，例如，主存储器208、ROM 224或者一个或多个外围设备中。

此外，在一种情况下，代码226A可通过网络201A从远程系统201B下载，其中类似的代码201C存储在存储设备201D上。在另一情况下，代码226A可通过网络201A下载到远程系统201B，其中下载的代码201C存储在存储设备201D上。

图1-2中的硬件可以取决于实现方式而变化。除了图1-2中描绘的硬件之外或代替图1-2中描绘的硬件，可以使用其他内部硬件或外围设备，诸如闪存、等效非易失性存储器或光盘驱动器等。此外，说明性实施例的处理可以应用于多处理器数据处理系统。

在一些说明性实例中，数据处理系统200可以是个人数字助理(PDA)，其通常配置有快闪存储器以提供用于存储操作系统文件和/或用户产生的数据的非易失性存储器。总线系统可以包括一个或多个总线，例如系统总线、I/O总线和PCI总线。当然，总线系统可以使用任何类型的通信结构或架构来实现，该通信结构或架构提供附连到该结构或架构的不同组件或设备之间的数据传送。

通信单元可包括用于发送和接收数据的一个或多个设备，诸如调制解调器或网络适配器。存储器可以是例如主存储器208或高速缓存，诸如在北桥和存储器控制器集线器202中找到的高速缓存。处理单元可以包括一个或多个处理器或CPU。

图1-2中描绘的示例和上述示例不意味着暗示架构限制。例如，除了采取移动或可穿戴设备的形式之外，数据处理系统200还可以是平板计算机、膝上型计算机或电话设备。

在计算机或数据处理系统被描述为虚拟机、虚拟设备或虚拟组件的情况下，虚拟机、虚拟设备或虚拟组件使用数据处理系统200中描绘的一些或所有组件的虚拟化表现来以数据处理系统200的方式操作。例如，在虚拟机、虚拟设备或虚拟组件中，处理单元206表现为主机数据处理系统中可用的全部或一些数量的硬件处理单元206的虚拟化实例，主存储器208表现为在主机数据处理系统中可用的主存储器208的全部或一些部分的虚拟化实例，并且磁盘226表现为在主机数据处理系统中可用的磁盘226的全部或一些部分的虚拟化实例。在这种情况下，主机数据处理系统由数据处理系统200表示。

参见图3，该图描绘了根据说明性实施例的用于使用域无关的异常分析来生成图像的文本描述的应用302的示例配置的框图。应用302是图1中的应用105的示例。应用302包括被配置成接收输入图像304以及文本和/或元数据306的域特定的分类器组件308。输入图像304是包含一个或多个特征或元素的图像，该一个或多个特征或元素是域特定的文本描述所期望的。文本和/或元数据306包括指示输入图像304的上下文(诸如输入图像304的形态或视点)的文本、元数据或其他附加信息。在特定实施例中，图像的模态包括用于获取身体部分的结构或功能图像的成像设备的类型，包括但不限于射线照相术、超声、核医学、计算机断层摄影(CT)、磁共振成像(MRI)和可见光。

域特定的分类器组件308被配置成应用一个或多个域特定的分类器构成的集合以基于输入图像304和文本和/或元数据306来确定输入图像304的广域分类。在该实施例中，域无关元素模型组件310被配置成基于分类结果来选择一个或多个域无关元素模型。一个或多个域无关元素模型包括可在输入图像304中找到的元素或特征的模型。在实施例中，元素分割组件312尝试分割输入图像304中对应于一个或多个域无关元素模型的元素。在一个或多个实施例中，元素是在图像内发现的具有预期外观、位置、大小和/或形状的特征。例如，元素可包括身体器官的预期外观、位置、大小和/或形状。域无关的异常检测组件314被配置成检查经分割的元素以从基于域无关的模型来确定/检测经分割的元素域无关的统计异常或偏差。在一个或多个实施例中，统计异常可以包括与元件的预期位置、大小和/或形状偏差超过预期或可接受的量。

在实施例中，域无关的异常描述组件316生成以域无关的方式描述统计异常的特性的域无关的异常描述。在特定实施例中，域无关的异常描述包括使用非特定于特定域的项的异常的文本描述。

在实施例中，域特定的重新表征组件318将域无关的异常描述翻译或重新表征为统计异常的域特定的文本描述，包括特定于所确定的特定域的术语以描述统计异常。在实施例中，文本描述组件320使用域特定的术语来生成表示域特定的文本描述的输出文本描述来描述统计异常。

参见图4，该图描绘了根据另一说明性实施例的用于使用域无关的异常分析来生成医学图像的文本描述的应用402的示例配置的框图。在该实施例中，应用402被配置为执行与医学图像解译相关的操作以识别医学图像中的异常区域或身体部位的部分。

在实施例中，应用402接收图像404和模态和视点信息406。在具体实施例中，从诸如图3的域特定的分类器308之类的域特定的分类器接收模态和视点信息406作为输出。在多个具体实施例中，对于医学图像，形态和视点信息406通常由分类信息的几个部分组成。在具体实施例中，一个分类信息部分是所使用的放射学或图像的类型，如X射线、CT、正电子发射断层摄影术(PET)、MRI、显微术等。分类信息的另一部分是图像404内的解剖结构的一部分，诸如脚、心脏、肾、大脑等。分类信息的另一部分是所使用的成像方向。例如，胸部X射线可以在患者躺在桌子上的情况下从前到后方向(“前-后”或“AP”)获取，或者在患者站立的情况下从侧面(“侧向”)方向获取。在这两个视点中可见的元素有时是不同的，它们的预期外观(位置、形状、纹理等)也是不同的。

在实施例中，基于形态和视点信息406，在数据库109内的语义数据库中查找图像404中的预期元素410。例如，对于AP胸部X射线，可以预期看到左肺、右肺、心脏、隔膜和锁骨。预期这些元素具有包括粗糙外观、大小、形状和/或位置的特定粗糙表征412。例如，左肺在AP X-射线的右侧显现，是大的垂直伸长区域，颜色较暗，并且大约是图像的一半高度。存在从数据库109内的图形数据库查找其他预期元素的类似粗略表征。使用结构分割408基于明显的外观将输入图像404细分为可能的区域，以形成候选区域。在实施例中，候选区域与粗略描述匹配以形成预期元素名称与图像区域之间的对应和标记414。

在替换实施例中，代替粗略的图形描述，可以为每个预期元素检索诸如主动形状模型(ASM)或者主动外观模型(AAM)的更详细的模型，并且将相关联的更复杂的分割方法应用于输入图像以定位每个元素。应当理解，本文所描述的方法(诸如ASM和AAM)不是特定于医学领域的，而是可以与许多不同类型的对象(例如，飞机、汽车和马)一起使用。

在实施例中，以域无关的方式检查部分分割的图像以发现异常。在一个具体实施例中，进行比较以确保所有预期元素都存在，并且以正确的量确定预期元素是否缺失/表示不足416。例如，如果不能找到右肺，则可能是右肺已经塌陷并因此应当注意不存在的情况。类似地，如果发现不是预期元素列表的成员的不同对象(例如，子弹)，则还应记录该额外/过度表示的元素418。对于一些类型的图像，仅仅存在或不存在是不够的，而是一些类型的元素的预期数量是重要的。例如，在外周血涂片显微图像和红细胞的情况下–对于每M种其他元素(例如，白细胞)应看到这些元素中的N种。在具体示例中，这种异常的域无关的文本描述可以包括“缺失的元素2”或“过多数量的元素7”。

在该实施例中，图像元件的更详细的分析还检查元件的形状和纹理。在实施例中，从数据库109中检索相关联的图像元素的统计模型，以识别元素的统计轮廓422并且识别元素的异常段420。在一实施例中，应用402使用基于轮廓的形状模型来比较每一元素。在另一实施例中，应用402使用基于纹理的内部模型来比较每个元素。在实施例中，进一步从数据库109检索统计外观模型以标识元素的统计外观426，从而确定统计外观426的异常区域424。在多个具体实施例中，统计模型通过获取相同类型的多个“健康”示例图像中的适当元素上的变化的各种模式的平均外观和可能性来学习。例如，当检测到的变化与集合的平均值相距多于两个标准偏差时，可标记异常。或者，在更复杂的分析中，当所观察到的变化的可能性小于训练示例的主成分分析(PCA)分解中的百分之一(1％)时，可以声明异常。这些类型的异常的示例初始的域无关的描述可以包括“边界区段12上的过度曲率”或“区域8中的条纹纹理不足”。在某些实施例中，总体表征如“元件4太大”或“元件23斑点纹理而不是透明”也是可能的。

申请人402还被配置为将域无关的异常描述转换成与域相关的文本。例如，如果在外周血涂片中发现了太少的带凹痕的圆形结构，这可以被翻译成医学相关的文本串“低RBC”，作为缺失/表示不足的(under represented)元素416的域特定文本表征428，指示低红细胞(RBC)计数。类似地，如果一个意外的深色元件在腹部的CT图像(计算机断层摄影术)中的一个卵形结构内显现，那么这种观察结果可以被转换成短语“左肾中的深结节”，作为额外/过度表示的元素418的域特定文本表征430。

轮廓形状和内部外观的异常也可被转换成更有意义的形式。例如，如果某个对象的轮廓的区段在某一位置处向外凸出，则这个异常首先被转换成域无关的术语“元素6的轮廓的区段45中的凸出”。然后，由于具有异常轮廓的元素的已知身份和像差的位置，腿X射线中的意外发现可以被渲染为“股骨头附近的隆起”，作为异常区段元素422的域特定文本表征432。在另一个实例中，发现大卵形物体的一部分比胸部X射线中预期的更暗。由于包含元素的已知身份以及此元素内的异常的位置，描述可以从仅“元素9中的暗区域”转换成“阴影化的下叶”，作为异常区域元素424的域特定文本表征434。在一个或多个实施例中，这样的域特定的文本描述不仅将异常的类别转换成某一特定项，而且还提供异常的相关解剖位置。

一个或多个实施例依赖于使用域无关元素模型和域无关方法来检测从输入图像确定的元素中的异常。在一个或多个实施例中，大多数感兴趣的项可以被建模为三种类型中的一种或多种：表面(主要是二维的)、管(主要是一维的)、以及对象或斑点(主要是三维的)。在多个具体实施例中，特定类型的测量与这些类型中的每个相关联，并且基于测量的性质，用于发现异常的处理。

现在参见图5A-5B，这些图描绘了根据说明性实施例的医学图像分析表面原语的示例。图5A描绘包含AP胸部X射线的隔膜的表面原语的实例。表面原语的基本测量是其曲率图案502，例如，开始是直的然后急剧向下弯曲。在实施例中，曲率502的左侧图案不是由词语表示，而是由如图5B中所示的值504的图表表示。在隔膜的示例表面原语中，曲率图案的特征可以在于在一端开始并且沿着轮廓移动以便最佳对准。在一个实施例中，来自健康个体的此类图表的集合限定了“正常条带”。在该实施例中，从输入图像导出的测试光阑轮廓的落在频带之外的部分被认为是异常的。

在其他实施例中，曲率不是可针对表面评估的唯一特性。另一种可能性是在轮廓的任一侧观察图像片503A和503B以确定光阑的纹理。在多个具体实施例中，图像片503A和503B可以由它们的灰度平均值、强度的标准偏差、以及边缘方向的分布表示。再次，可以对片503A和503B(或跨表面的片差异)进行统计分析，以提供“正常”的定量定义。

在一些实施例中，“正常”不必仅关于其他个体来定义。许多解剖结构成对出现，两者在相同的图像中可见。因此，与整个图像采集相比，光阑的左侧可以看起来是平坦的，但是它在曲率上类似于在该同一图像中看到的光阑的右侧。所以，尽管有些不寻常，但它不一定被标记为异常。在另一示例中，可以相对于地标检查振膜的相对位置。

现在参见图6A-6B，这些图描绘了根据说明性实施例的医学图像分析管原语的示例。图6A描绘了包括血管602的管原语的示例。在一个或多个实施例中，管原语是线性扩展的项。管通常具有一个方向，该方向可以沿着管的长度变化，正如表面的曲率可以变化一样。可能更有趣的是，管具有沿着对称轴线变化的特征宽度。因此，管原语的测量是血管宽度。图6B描绘了沿着血管602的计数器的血管宽度变化604的图。血管宽度变化604的图可以与从健康个体获得的类似图进行比较以突出异常。例如，冠状动脉中的不寻常的变窄是动脉粥样硬化的迹象，并且因此是呈现异常的域特定文本描述的重要方面。可识别的另一异常是可指示例如骨折的不均匀纹理。可使用轴向形状或相对位置(诸如寻找管的扭结、拉伸或分支)来识别其他异常。可通过寻找相对于地标的偏转来识别其他异常。

现在参见图7A-7B，这些图描绘了根据说明性实施例的医学图像分析立体三维(3D)对象原语的示例。图7A描绘了肺的3D对象原语的示例。类似于表面原语，3D对象原语具有带曲率的轮廓，所述曲率可绘图为根据相对于某一起始参考点的位置的函数。类似于管，3D对象原语具有可以被绘制的宽度，也许作为与对象质心的径向角度而不是轴向管位置的函数。图7A示出了肺的3D对象原语的径向702。图7B示出了绘制距图7A的3D对象原语的形心的径向距离704的图表，该径向距离704可以用于开发人口的统计模型，从而提供对正常形状与异常形状的指导。

除了边界之外，对象还具有内部区域，该内部区域的外观可以多种方式表征。在多个具体实施例中，小图像片703A-703C可以通过它们的强度分布和对卷积纹理内核的响应来描述。此外，每个小片703A-703C的局部位置是已知的，所以还可以开发预期外观的局部表征。即，仅仅因为特定片比从肺部提取的所有片的平均值更暗，它不一定是异常的。如果片来自中心附近，考虑到这样的区域模型，片可能会更暗。

同样，如针对表面原语所描述的，可以在相应的对侧元素之间(而不是仅仅从众多其他个体导出的聚合模型)执行比较。例如，在肺的情况下，内部边界与脊柱中心之间的距离可能看起来在两侧上的正常限制内。然而，如果一个肺明显比另一个更接近该线，则这可能是值得注意的异常。

虽然给出的示例主要来自医学领域，但是该方法可以与其他类型的图像一起使用。考虑最初被分类为“海滩场景”的图像(无论是通过外观、相关联的文本、还是其他手段)。鉴于这种类别，预期在图像的底部(“砂”)找到浅色带，在图像的中间(“海洋”)附近找到深蓝色带，并且在中间之上找到浅蓝色区域(“天空”)。如先前所讨论的，砂部分中的偏差反而可以导致“凹穴(cove)”的图形描述。假设砂区域通常在其中具有明亮颜色的斑点(空白和伞形)，如果这些斑点缺失，那么描述将变成“空海滩”(不仅仅是“缺失斑点”)。类似地，可以预期天空区域在其中具有几个无定形白色斑点(“云”)。如果与该类别的统计平均值相比存在太多这些白斑点，则可以将总体描述改变为“暴风雨海滩”(不仅仅是“太多白色斑点”)。最后，天空区域可能典型地示出淡黄色圆形元素(“太阳”)。如果存在淡黄色圆形元素，但是错误的绿色颜色，则生成文本描述“具有绿色太阳的海滩场景”(与“顶部区域中的错误颜色元素”相反)。

参见图8，该图描绘了根据说明性实施例的用于使用域无关的异常分析来生成图像的文本描述的示例过程800的流程图。在一个或多个实施例中，过程800可以在应用105中实现。在其他实施例中，过程800可在客户端设备110或设备132中实现。

在块802中，应用105接收包含一个或多个特征或元素的输入图像数据，对于所述一个或多个特征或元素，一个或多个特征或元素的域特定的文本描述是期望的。在框804中，应用105接收指示输入图像数据的上下文的上下文信息。在多个具体实施例中，上下文信息包括与输入图像数据相关联的文本和/或元数据。在多个具体实施例中，输入图像数据的上下文包括输入图像数据的形态和视点。

在框806中，应用105基于上下文信息将由输入图像数据表示的整体图像分类为域特定的类别。在框808中，应用105基于域特定的类别来分割图像中的一个或多个元素。在特定实施例中，分割一个或多个元素使用特定于域特定类别的分割过程。在另一具体实施例中，分割所述一个或一个以上元素使用特定于所述元素的分割过程。在另一实施例中，分割一个或多个元素将一般分割的元素与和类别相关联的粗略模型对齐(align)。

在块810中，应用105将一个或多个元素中的每个元素与域无关的模型进行比较，以检测一个或多个元素中的统计异常。在一实施例中，应用105使用基于轮廓的形状模型来比较每个元素。在另一实施例中，应用105使用基于纹理的内部模型来比较每个元素。

在块812中，应用105使用一个或多个域无关的文本短语来表征检测到的统计异常。在实施例中，表征检测到的统计异常包括标注缺失的或表示不足的元素。在实施例中，表征所检测的统计异常包括额外标注或过度表示的元素。

在块814中，应用105基于域特定的类别将一个或多个域无关的文本短语转换成一个或多个域特定的描述。在框816中，应用105输出一个或多个域特定描述。此后过程800结束。

由此，在示范性实施例中提供了用于使用域无关的异常分析和其他相关特征、功能或操作来生成图像的文本描述的计算机实现的方法、系统或装置和计算机程序产品。在关于一种类型的设备描述实施例或其一部分的情况下，计算机实施的方法、系统或设备、计算机程序产品或其一部分被适配或配置为与该类型的设备的合适且可比较的表现一起使用。

在实施例被描述为在应用中实现的情况下，在说明性实施例的范围内设想了软件即服务(SaaS)模型中的应用的传递。在SaaS模型中，通过在云基础结构中执行应用来向用户提供实现实施例的应用的能力。用户可通过瘦客户端接口(诸如web浏览器(例如，基于web的电子邮件))或其他轻量级客户端应用使用各种客户端设备来访问应用。用户不管理或控制包括网络、服务器、操作系统或云基础设施的存储的底层云基础设施。在一些情况下，用户甚至可以不管理或控制SaaS应用的能力。在一些其他情况下，应用的SaaS实现可允许有限的用户专用应用配置设置的可能例外。

本发明可以是任何可能的集成技术细节水平的系统、方法和/或计算机程序产品。所述计算机程序产品可包含上面具有计算机可读程序指令的计算机可读存储媒体(或媒体)，所述计算机可读程序指令用于致使处理器执行本发明的方面。

计算机可读存储媒质可以是可以保留和存储指令以供指令执行设备使用的有形设备。计算机可读存储媒质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述各项的任何合适的组合。计算机可读存储媒质的更具体例子的非穷举列表包括以下：便携式计算机盘，硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)，静态随机存取存储器(SRAM)、便携式致密盘只读存储器(CD-ROM)，数字通用盘(DVD)、记忆棒、软盘、机械编码设备(诸如穿孔卡片)或具有记录在其上的指令的凹槽中的凸起结构)，以及上述的任意合适的组合。如本文中所使用的计算机可读存储媒质不应被解释为瞬态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输媒质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过导线传输的电信号。

本文所述的计算机可读程序指令可从计算机可读存储介质下载到相应的计算/处理设备，或经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储媒质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令，指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据，集成电路的配置数据，或以一种或多种编程语言的任何组合编写的源代码或目标代码，包括面向对象的Smalltalk、C++等编程语言，以及过程式编程语言，例如“C”编程语言或类似的编程语言。计算机可读程序指令可完全在用户的计算机上执行、部分在用户的计算机上执行、作为独立软件包执行、部分在用户的计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情形中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。在一些实施例中，电子电路(包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA))可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化，以便执行本发明的方面。

本文中参考根据本发明的实施例的方法、设备(系统)和计算机程序产品的流程图说明和/或框图描述本发明的方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令来实现。

这些计算机可读程序指令可以被提供给通用计算机的处理器，专用计算机或其他可编程数据处理装置，以产生机器，其通过计算机或其他可编程数据处理装置的处理器执行，创建用于实现在流程图和/或方框图的一个或多个方框中指定的功能/动作的装置。这些计算机可读程序指令还可存储在可指导计算机的计算机可读存储媒质中，可编程数据处理装置，和/或以特定方式起作用的其他设备，使得具有存储在其中的指令的计算机可读存储媒质包括制品，该制品包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各方面的指令。

计算机可读程序指令还可以加载到计算机、其他可编程数据处理装置上，或使得在计算机上执行一系列操作步骤的其他装置，其他可编程装置或其他设备，以产生计算机实现的过程，使得在计算机上执行的指令，其他可编程装置或其他设备实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图图示了根据本发明的不同实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。对此，流程图或框图中的每个方框可以代表模块、段或指令的一部分，其包括用于实现规定的逻辑功能的一个或多个可执行指令。在一些替代实施例中，框中所标注的功能可以不以图中所标注的次序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。还将注意的是，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合可以由基于专用硬件的系统来实现，所述基于专用硬件的系统执行指定的功能或动作或执行专用硬件与计算机指令的组合。

Claims (20)

1.一种用于生成图像的文本描述的计算机实现的方法，包括：

将由图像数据表示的图像分类为域特定类别；

基于所述域特定的类别来分割所述图像数据中的一个或多个元素；

将所述一个或多个元素中的每个元素与域无关模型进行比较，以检测所述一个或多个元素中的一个或多个统计异常；

使用一个或多个域无关的文本短语来表征所述一个或多个检测到的统计异常；以及

基于所述域特定的类别将所述一个或多个域无关的文本短语转换成一个或多个域特定的描述。

2.根据权利要求1所述的方法，进一步包括：

输出所述一个或多个域特定的描述。

3.根据权利要求1所述的方法，进一步包括：

接收所述图像数据；以及

接收指示所述图像数据的上下文的上下文信息，其中将所述图像分类到所述域特定的类别是基于所述上下文信息的。

4.根据权利要求3所述的方法，其中，该上下文信息包括与该图像数据相关联的元数据。

5.根据权利要求3所述的方法，其中，该上下文包括该图像数据的形态和视点。

6.根据权利要求1所述的方法，其中，对该一个或多个元素进行分割使用特定于该域特定类别的分割过程。

7.根据权利要求1所述的方法，其中，分割所述一个或多个元素使用特定于所述元素的分割过程。

8.根据权利要求1所述的方法，其中，分割所述一个或多个元素将通用分割的元素与和所述域特定的类别相关联的粗糙模型对齐。

9.根据权利要求1所述的方法，其中，该域无关的模型是基于轮廓的形状模型。

10.根据权利要求1所述的方法，其中，该域无关的模型是基于纹理的内部模型。

11.根据权利要求1所述的方法，其中，表征所检测到的统计异常包括标注缺失的或表示不足的元素。

12.根据权利要求1所述的方法，其中，表征所检测到的统计异常包括额外标注的或过度表示的元素。

13.一种计算机可用程序产品，包括一个或多个计算机可读存储设备，以及存储在所述一个或多个存储设备中的至少一个上的程序指令，所存储的程序指令包括：

用于将由图像数据表示的图像分类为域特定类别的程序指令；

用于基于所述域特定的类别来分割所述图像数据中的一个或多个元素的程序指令；

用于将所述一个或多个元素中的每个元素与域无关模型进行比较以检测所述一个或多个元素中的一个或多个统计异常的程序指令；

使用一个或多个域无关的文本短语来表征所述一个或多个检测到的统计异常的程序指令；以及

用于基于所述域特定的类别将所述一个或多个域无关的文本短语转换成一个或多个域特定的描述的程序指令。

14.根据权利要求13所述的计算机可用程序产品，进一步包括：

用于输出所述一个或多个域特定的描述的程序指令。

15.根据权利要求13所述的计算机可用程序产品，进一步包括：

用于接收所述图像数据的程序指令；以及

用于接收指示所述图像数据的上下文的上下文信息的程序指令，其中将所述图像分类到所述域特定的类别是基于所述上下文信息的。

16.根据权利要求15所述的计算机可用程序产品，其中，该上下文信息包括与该图像数据相关联的元数据。

17.根据权利要求15所述的计算机可用程序产品，其中，该上下文包括该图像数据的形态和视点。

18.根据权利要求13所述的计算机可用程序产品，其中该计算机可用代码被存储在数据处理系统中的计算机可读存储设备中，并且其中该计算机可用代码通过网络从远程数据处理系统被传送。

19.根据权利要求13所述的计算机可用程序产品，其中，该计算机可用代码被存储在服务器数据处理系统中的计算机可读存储设备中，并且其中，通过网络将所述计算机可用代码下载到远程数据处理系统，以供在与所述远程数据处理系统相关联的计算机可读存储设备中使用。

20.一种计算机系统，包括一个或多个处理器、一个或多个计算机可读存储器，以及一个或多个计算机可读存储设备，以及存储在所述一个或多个存储设备中的至少一个上的用于由所述一个或多个处理器中的至少一个经由所述一个或多个存储器中的至少一个执行的程序指令，所存储的程序指令包括：

用于将由图像数据表示的图像分类为域特定类别的程序指令；

用于基于所述域特定的类别来分割所述图像数据中的一个或多个元素的程序指令；

用于将所述一个或多个元素中的每个元素与域无关模型进行比较以检测所述一个或多个元素中的一个或多个统计异常的程序指令；

使用一个或多个域无关的文本短语来表征所述一个或多个检测到的统计异常的程序指令；并且

用于基于所述域特定的类别将所述一个或多个域无关的文本短语转换成一个或多个域特定的描述的程序指令。

Images