CN107862726A - 基于深度学习的彩色二维影片医学成像 - Google Patents

Abstract

基于深度学习的彩色二维影片医学成像。对2D医学图像进行彩色化。在一种方案中，深度学习的分类器被训练（20）为从彩色2D医学图像进行彩色化。用于训练（20）的彩色2D医学图像被从板片进行影片渲染（16）以便添加颜色。在另一种方案中，深度机器学习的生成器就像与2D医学图像相邻那样创建（34）切片。切片和2D医学图像形成板片，所述板片被以影片方式渲染（36）以便添加颜色。结果是彩色化的2D医学图像。

Description

基于深度学习的彩色二维影片医学成像

相关申请

本专利文档在35 U.S.C. §119(e)之下要求2016年9月20日提交的临时美国专利申请序列号62/397,214的提交日的利益，该临时美国专利申请通过引用并入于此。

背景技术

本实施例涉及医学成像。二维医学成像以彩色执行。

为了更好地传达检查结果，放射学家可以创建检查结果的体积渲染（volumerendering）。影片渲染从体积或者三维（3D）扫描数据中创建逼真的渲染。这样的渲染向患者和委托医生二者生动地展示解剖结构和检查结果。相比于传统的体积渲染方案，影片渲染器计算基于物理的光传输，所述基于物理的光传输仿效真实世界的光行为并且允许典型地与超现实主义相关联的特殊效果（准确的阴影、环境遮蔽、颜色溢出、准确的相机透镜模拟等）。这些效果改进了从单个图像对3D结构的空间理解，而更简单的渲染器可能要求与所述数据的用户交互以便获得相同级别的理解。图1示出了来自下脊椎的MR体积的板片（slab）（体积，其沿着两个维度的长度大于沿着第三维度的长度）的影片渲染。3D渲染使用查找表来添加颜色，而光传输模拟则负责来自附近结构的阴影、遮蔽和颜色溢出。

利用二维（2D）MR数据集，不可能通过传统的体积或影片渲染来进行3D渲染。经常地，在常见的计算机断层扫描（CT）、磁共振成像（MR）、荧光谱透视或超声（US）检查中，所述数据包含有限的3D体积信息或者不包含3D体积信息。作为示例，脊椎的MR图像使用特定位置处的详细2D视图而不是3D体积。任何体积渲染方法，包括影片渲染器，在面对严格的2D数据时都是低效的或者受限制的。MR、CT和US生成黑白图像（例如，灰度图像）。可以使用颜色映射而不是灰度。由于缺少颜色或者具有看起来不自然的颜色，放射学家可能不能够以更容易被患者或者医生理解的方式传达检查结果。3D渲染不能被用于向2D数据添加颜色。

发明内容

通过介绍，以下描述的优选实施例包括用于彩色化2D医学图像的方法、系统、指令和计算机可读介质。在一种方案中，深度学习的分类器被训练为从彩色2D医学图像进行彩色化。用于训练的彩色2D医学图像被利用影片渲染器从3D板片进行渲染以便添加颜色。在另一种方案中，深度机器学习的生成器好像邻近于2D医学图像那样来创建切片（slice）。切片和2D医学图像形成板片，所述板片被以影片方式渲染以便添加颜色。结果是彩色化的2D医学图像。

在第一方面中，提供了一种用于训练深度机器学习的分类器以便彩色化二维医学图像的方法。将代表多个患者的体积（例如，测量结果的3D分布）的训练数据加载到存储器中。所述体积包括来自患者的医学扫描的标量值。对板片进行隔离，每一个板片代表每一个体积中的多个切片。利用影片渲染将所述板片的标量值三维地彩色渲染成二维彩色图像。将所述二维彩色图像用于利用深度机器学习来训练深度机器学习的分类器，以便彩色化所述二维医学图像。

在第二方面中，提供了一种用于彩色化患者的二维医学图像的方法。深度机器学习的生成器基于所述二维医学图像的输入而生成代表第一平面的第一二维切片。形成所述第一二维切片和所述二维医学图像的板片。渲染器利用影片渲染器对所述板片进行彩色渲染。经过彩色渲染的板片被显示为所述二维医学图像的彩色化版本。

在第三方面中，提供了一种用于二维影片医学成像的系统。医学扫描仪被配置为扫描患者的第一平面并且生成针对第一平面的扫描数据。机器被配置为通过将针对第一平面的扫描数据应用于深度机器学习的外推器而输出针对第二平面的扫描数据。图形处理单元被配置为以影片方式从板片渲染第一平面的彩色图像，所述板片从第一平面的扫描数据和第二平面的扫描数据形成。显示器被配置为显示该彩色图像。

在第四方面中，提供了一种用于彩色化二维医学成像的系统。医学扫描仪被配置为扫描患者的第一平面并且生成针对第一平面的扫描数据。机器被配置为通过将针对第一平面的扫描数据应用于从板片的影片渲染训练的深度机器学习的着色器而从针对第一平面的扫描数据输出彩色图像。显示器被配置为显示该彩色图像。

本发明由以下权利要求限定，并且本节中的任何内容都不应当视为对那些权利要求的限制。本发明的另外的方面和优点在下文中结合优选实施例予以讨论并且稍后可以独立地或者组合地被要求保护。

附图说明

本专利或申请文件包含以彩色绘出的至少一个附图。具有（多个）彩色附图的本专利或专利申请公布的副本将由专利局根据请求和必要费用的缴纳而提供。

组件和附图未必按照比例绘制，相反地重点放在图解本发明的原理上。此外，在附图中，相似的参考标记贯穿不同视图而指代对应部件。

图1是来自板片的示例3D渲染的彩色图像；

图2是用于训练深度机器学习的分类器以用于彩色化2D医学图像的方法的一个实施例的流程图；

图3是用于训练深度机器学习的分类器以用于彩色化2D医学图像的方法的另一个实施例的流程图；

图4示出了四个示例图像，包括两个输入的MR 2D图像以及通过应用经训练的颜色分类器而得到的彩色化版本；

图5是用于学习以进行彩色化的示例神经网络；

图6是使用多标记掩模信息进行彩色化的一个实施例的流程图；

图7示出了使用机器学习的颜色分类器对体积的切片进行彩色化的四个示例图像，然后使用任何类型的渲染对所述体积进行渲染；

图8示出了超声图像的示例彩色化版本；

图9是用于彩色化2D医学图像的方法的一个实施例的流程图；

图10是用于彩色化2D医学图像的方法的另一个实施例的流程图；

图11是用于训练深度机器学习的外推器以用于生成针对图9和10的方法的切片的数据选择的流程图；以及

图12是用于彩色化2D医学图像的系统的一个实施例的框图。

具体实施方式

使用深度学习和影片渲染来彩色化2D医学图像。将人体的2D医学图像做为输入并且产生彩色化2D图像来作为输出。在一种方案中，深度机器学习的外推器将附近切片外推成输入的2D医学图像。外推的切片和输入的图像形成薄3D体积，向该薄3D体积的影片体积渲染产生经彩色渲染的图像。应用于该图像的颜色可以基于从体积渲染获得的颜色。

在另一种方案中，训练深度机器学习以便彩色化输入的2D医学图像。深度机器学习可以用于彩色化照片。不幸的是，相同的方案难以直接应用于医学图像。照片的颜色和纹理与医学图像没有多少关系。附加地，针对颜色的地面真值（ground truth）是不可立即用于为医学图像生成，或者针对颜色的地面真值立即为医学图像生成是不可行的，而彩色照片可容易地用于训练。薄板片的影片渲染被用于生成针对深度学习的地面真值。

代替于使用影片渲染来创建训练图像，真实世界对来自数据库（例如，参见Visible Human、Visible Korean等项目）或者来自实际人类（例如，尸体或活组织检查）的整个身体的解剖图像进行了分割。训练图像可以来自于全身体项目，比如Visible Human，或者它们可以是具有和没有病症的患者和器官特定的解剖图像。这扩展了基于照片的学习，其中机器学习以模仿针对人类组织的实际外观的方式基于断层图像（sectionalimages）进行彩色化。换言之，扫描模态（CT/MR）与该组织的物理外观之间的对应由经训练的着色器进行。该训练教导着色器基于相机或断层彩色图像来添加颜色，然后将着色器应用于来自扫描模态的2D图像。

基于机器学习的方案并入了来自影片渲染的信息，诸如强度、纹理和/或空间信息。用于彩色化的各种方案是基于增强2D医学图像以便更好理解的概念。这些方法提供具有2D医学数据的逼真图像。颜色可以用于帮助区分组织中的异常。这种能力允许改进放射学家与委托医生或患者之间的沟通。颜色信息可以进一步以“非假定性”方式用于影像组学（radiomics）。

图2示出了用于训练深度机器学习的分类器以用于彩色化2D医学图像的方法的一个实施例。通过板片的影片渲染来生成彩色地面真值数据。从板片得到的彩色图像用作地面真值2D医学图像以便训练用于彩色化2D医学图像的网络。使用所得到的深度学习的网络，输入的2D医学图像得以彩色化。得到逼真的颜色和光效果。

图3示出了该方法的另一个实施例。图3代表图2的动作12-16和20。下面一起描述图2和3。

图2和3的方法由服务器、计算机或其它机器中的处理器和图像处理单元实现。在一个实施例中，图12的系统在具有或者没有医学成像仪56和/或显示器54的情况下实现图1或2的方法。例如，通过从存储器加载而输入数据，处理器执行训练数据的生成以及基于该数据的机器训练，并且存储器存储所学习的人工智能。作为另一个示例，医学扫描仪和/或存储器将数据输入到服务器，所述服务器执行板片隔离和训练。对于应用而言，不同的医学扫描仪、计算机、服务器或其它处理器应用机器学习的分类器以便彩色化输入的2D图像。

以所示出的次序（从上到下或者按照数值）或者以另外的次序执行这些动作。例如，动作18的分割在动作12之后执行或者在动作14之后并且在动作16之前执行。对输入的体积数据或2D图像进行分割，然后在动作14中创建3D板片。对于每一个板片，在考虑到分割掩模的情况下渲染2D图像（例如，对于分割为肿瘤或断骨的区域，增加量度、改变渲染材料属性等）。使用彩色的2D图像来训练网络，在彩色的2D图像中颜色负责分割。

可以提供附加的、不同的或者更少的动作。例如，不提供动作18、动作22和/或动作24。作为另一个示例，提供用于应用着色器的动作。在又一个示例中，提供用于选择训练数据、配置渲染和/或配置训练的动作。

在动作12中，输入体积数据。使用体积数据来创建用于机器学习的训练数据，对于训练数据同样如此。由于彩色化地面真值信息典型地不可用于2D医学图像，所以体积数据用于创建彩色化地面真值。体积数据本身可以不是为训练而输入，而是为了提取训练数据而输入。

体积数据从一个或多个存储器、传感器和/或扫描仪收集。所收集的数据可以被存储和/或传送给缓冲区、存储器、缓存器、处理器或其它设备。

输入相同类型数据的许多样本。为了学习可能足够复杂的统计或其它关系，提供数十个、数百个或者数千个样本，其中人类不能感知到处于相同级别的关系。每一个样本是体积。由于薄板片用于生成地面真值，所以一个体积可以用于生成多个彩色化2D医学图像。可以需要较少的体积来提供样本。

可以使用任何体积数据。体积数据是从扫描一个或多个患者而来的扫描数据。对于每一个样本，扫描数据代表患者。患者的同一个分区被代表在每一个体积中，诸如关节或器官。

体积数据代表3D分区。体积数据以任何格式、诸如扫描格式（例如，极坐标）内插到规则或无规则网格和/或重构的对象。对于格式化为在笛卡尔网格上的体积数据，该体积数据覆盖NxMxO分区，其中N、M和O是大于1的整数，诸如N=M=O=64,128,254或508（例如，254x254x254）。N、M和O可以不相等（例如，128x254x254）。

3D或体积数据不同于2D数据。2D数据只是代表平面。3D数据可以从数据的2D帧堆栈形成。3D数据代表体积或者不仅仅只是平面。切片是平面或者仅仅代表平面的数据。切片可以对应于或者不对应于2D扫描分区，诸如是体积中的任意平面的切片。体积的标量值可以内插到切片。

对于机器训练而言，利用样本输入数据输入目标或者地面真值信息。在该情况下，地面真值是彩色2D医学图像。体积数据和任何2D切片是标量值，诸如来自医学扫描的测量结果。对于US而言，标量值代表声波返回（acoustic return）的强度。对于MR而言，标量值代表磁响应的T1、T2或其它度量。对于CT而言，标量值代表密度或者x射线衰减。标量值具有任何分辨率，诸如为4、8或16位值。标量值不包括颜色信息，诸如不包括红色、绿色、蓝色（RGB）信息，或者具有基本上相等（例如，+/-5%）的RGB值。动作14和16针对的是以用于训练的彩色2D医学图像的形式提供地面真值。

在可替换实施例中，输入数据是只代表平面的2D图像的集合。将平面信息外推到3D板片中，而不是通过在动作14中选择子集而隔离板片。

在动作14中，处理器隔离板片。该隔离是根据成员资格，诸如将位置或者平面切片标记为板片的部分。可替换地，该隔离是通过提取标量值并且形成存储器中的单独的板片代表。

每一个板片代表体积中的多个切片。板片是体积的子集。例如，体积是64x64x64。一个薄板片包括该体积的两组七个（two-seven）切片，诸如3x64x64。可以使用更多的切片。板片是3D的，但是少于所有的体积。板片可以处在相对于体积的任何取向下。内插可以用于形成处在板片的取向下的标量值。

可以从每一个体积形成任何数目的板片。同一个切片可以使用在多个板片中，诸如使用限定板片的移动窗口。在一个实施例中，将所有的体积划分为平行切片的重叠或非重叠板片，其中这些板片平行于彼此。在其它实施例中，仅部分体积被使用。例如，应用图像处理以便标识感兴趣的一个或多个切片。自动地选择仅代表体积中的平面的切片，但是可以使用手动或者半自动选择。然后选择相邻的切片以形成对应的一个或多个板片。标识仅代表平面的两个到四个或者其它数目的相邻切片（即，与感兴趣的切片或者所选择的切片直接相邻）并且将这些相邻切片包括在板片中。可以包括除相邻切片之外的其它附近（例如，在3个网格点内）的切片。板片由所选择的切片以及相邻和/或附近的切片形成。

将板片隔离以便利用使用影片渲染器的板片渲染来提供针对地面真值的颜色基础。通过隔离用于多个体积的一个或多个板片，从患者的体积标识数十个、数百个或者数千个板片。

在动作16中，渲染器将板片的标量值3D渲染为2D彩色图像。该渲染使3D板片坍塌成2D彩色图像，所述3D板片代表多个平面。在板片包括若干平面并且用于渲染的相机位置与板片正交或者基本上与板片正交地观看板片的情况下，经3D渲染的2D彩色图像类似于单个平面的2D彩色图像。基本上负责+/-10度。该渲染使标量值的3D分布坍塌为2D分布以便在2D显示设备上显示。在深度或者第三维度中的标量值变化可以更改或者导致与仅仅将2D数据用于成像不同的像素值。

渲染每一个板片。通过渲染数十个、数百个或者数千个板片，提供了相同数目的彩色2D图像。通过更改渲染设置以及重新渲染任何数目的板片，可以提供不同的彩色2D图像。可以使用任何渲染设置。在一个实施例中，使用适用于应用（例如，针对特定器官、损伤、关节和/或组织的检查）的渲染设置。

渲染器是用于影片渲染的基于物理的渲染器。该基于物理的渲染器是图形处理单元、图像处理单元的阵列、工作站、服务器、计算机、或者能够进行所要求的光模拟的其它机器。可以使用能够计算光传输的任何基于物理的渲染算法，诸如路径追踪、无偏路径追踪、蒙特卡罗路径追踪或者大都市光传输。基于物理的渲染模拟光传播的物理过程（例如，吸收概率、散射概率和/或许多光子的通过概率，导致沿着不同的基于概率的路径的光交互的累积）以便创建图像。影片渲染不同于如传统体积渲染所做的累积具有沿着来自相机的观看射线的局部光照的体积样本。在针对基于物理的渲染所实现的路径追踪中，对光或者光子的路径（包括由于散射和吸收所致）进行建模并且将这些路径用于渲染。基于物理的渲染结果随时间积累，因为该渲染依赖于概率性散射以及对数百万光路径的追踪。

影片渲染使用转移函数，包括颜色查找表。查找表使标量值与颜色相关。由于路径追踪，颜色基于周围位置的光交互而变化。颜色是基于不只是仅仅查找具有值的颜色，因为与周围位置的光交互影响给定位置处的光。使用影片渲染器，首先针对特定3D医学图像应用或者类似3D图像的集合设立查找表和渲染属性。

影片渲染导致照片级的图像。在构建或者渲染图像时（即，在添加越来越多的追踪光路径时），可以提供图像序列。可替换地，对于渲染参数的给定的值集合，输出单个图像。图1示出了具有给定颜色查找表的厚板片（例如，数十个切片）的影片渲染的示例。

如图3中所示（参见17），在相机位置与板片间隔开并且与板片正交或者基本上正交地观看板片的情况下执行渲染。在面向板片的正交投影相机设置情况下渲染所选择的切片和相邻或者附近的切片，使得渲染中的每一个像素与原始板片的像素匹配。结果是彩色图像19的1-1匹配，该彩色图像19还包含镜面成分以及基于组织强度和纹理的其它效果。由于影片渲染的使用，输出的2D彩色医学图像可以包括应用于纹理的某些镜面或者其它照明效果，这些效果不可能在没有渲染的情况下使用查找表来创建，所述查找表使像素标量值与颜色相关。

在动作18中，生成多标记掩模。针对2D彩色图像的子集或者全部中的每一个生成多标记掩模。多标记掩模标记彩色图像的不同部分，诸如对一个或多个器官或者类型的组织进行分割。可替换地或者附加地，注释标记。可以使用指示除彩色化像素之外的图像内容的任何标记。为不同分区指定或者分配不同标记。

2D医学图像中的检查结果由放射学家归档，但是对于患者或者委托医生可能不是显而易见的。诸如箭头的直接注释有助于定位检查结果，但是医学图像本身对于非放射学家来说可能仍然是神秘的。例如，膝盖的X射线图像可以示出对于所咨询的放射学家显而易见的损伤，但是也许委托医生或其患者没有领会到细微之处。为了改进图像及其检查结果的有效传达，使用多标记掩模作为向深度机器学习的分类器的着色中的输入。逼真但又清楚区分开的着色可以极大地帮助检查结果的视觉传达。着色器可以学习基于多标记掩模信息而不同地着色。

在另一个实施例中，在执行动作16之前，对来自动作12的输入数据执行医学图像分割。将掩模或注释输入到影片渲染器以便渲染训练图像。影片渲染基于该分割而按位置（像素）更改颜色、转移函数或其它设置。

图6示出示例方案。可以执行动作60-68以用于生成训练数据。动作66的着色通过影片渲染器进行，诸如基于掩模的标记而按分区不同地渲染。在可替换或者附加的实施例中，作为部分应用而执行动作60-68，其中动作66的着色由深度机器学习的着色器来执行。

输入具有或者没有颜色的每一个2D医学图像60以用于多标记掩模的分割或创建62。从被不同地标记这一角度来突显不同分区，从而导致多标记掩模64。处理器自动地生成多标记掩模。作为示例，基于种子的随机游走（Random Walker）算法用于对图像的不同分区进行标记。可替换地，可以使用手动或者半自动生成。例如，用户对图像的不同分区或者检查结果进行分割或者标记以便创建多标记掩模。动作66中的着色至少部分地基于掩模64。例如，不同的阴影、颜色、亮度和/或其它颜色特性用于不同的分区或者分割。作为结果，彩色2D图像68包括响应于掩模的着色。掩模的注释可以或者也可以包括在图像68中。

再次参照图2，从渲染薄板片生成的彩色2D医学图像的集群用于在动作20中训练深度机器学习的分类器。使用数十个、数百个或者数千个样本彩色2D医学图像以便学习如何向灰度输入2D医学图像分配颜色。一个或多个人工智能经机器训练。包括地面真值彩色图像和开始的2D灰度图像（例如，薄板片的中心或另一个切片）的所收集的样本用于训练。诸如处理器、计算机、服务器或者其它设备的机器从样本中学习。使用机器学习，从大量样本中提取大量（例如，数十个、数百个、数千个或者更多）输入变量与任何数目的输出变量之间的复杂统计关系。

该训练用于任何上下文中的成像。可以针对任何数目的成像情况学习一种模型。可替换地，针对不同情况训练不同模型。不同情况可以包括不同扫描模态（例如，用于CT、MR或US的不同模型）。不同情况可以包括不同类型的感兴趣组织（例如，肝脏对照肾脏）、不同诊断目的或工作流（例如，恶性病变对照骨骼钙化）和/或不同用户（例如，不同操作者可以具有针对可视化的不同偏好）。

可以使用任何现在已知的或者之后研发的机器学习。使用递归、分类和/或强化学习。可以使用神经网络、贝叶斯网络或者支持向量机训练。可以使用分层或其它方案。可以使用不受监管的、受监管的或者半监管的机器学习。

为了训练，从输入数据中提取特征。哈尔小波、可操纵的或者其它特征可以从训练数据的图像中被提取出来。可替换地，使用输入数据本身（例如，扫描数据集的标量值）。对于深度学习，机器学习特征来作为训练的部分。例如，深度学习（例如，深度结构化学习、分层学习或者深度机器学习）通过使用具有包括多个非线性变换的结构的多个处理层来对数据中的高级抽象进行建模，其中输入数据特征没有像在浅显学习算法中那样被明确地工程化。深度学习查明到头来提供良好着色器的数据特征。深度学习从适用于经训练的任务的低级输入数据（例如，原始数据）中提取高级抽象（特征），因此可以比手工制作的特征更方便和更高级。

深度神经网络经由多个层的特征提取来处理输入以便产生用于导出输出颜色的特征。图5示出用于深度学习的一个示例卷积神经网络。该深度网络包括八个卷积层，包括两个膨胀层。可以使用其它数目的层和/或类型的层。前五个层形成视觉几何分组，并且最后三个层提供用于监管该深度学习的反馈。可以训练和应用其它深度学习的稀疏自动编码模型。机器训练在给定输入样本（即，特征矢量）的情况下学习要使用的特征以及如何分类方面是不受监管的。深度监管自动地提供反馈以便在给定地面真值的情况下确定最佳特征。深度学习分析纹理和强度以便学习导出颜色估计。

通过训练，机器学习了矩阵，所述矩阵代表用于彩色化输入的灰度2D医学图像的深度机器学习的分类器。地面真值彩色2D医学图像引导该训练。训练这样的网络以便对医学图像进行着色可能是困难的，因为缺少逼真着色的2D医学数据。使用由3D影片渲染器创建的彩色训练数据提供了用于学习彩色化的地面真值。该学习可以使用细节，诸如肌肉组织上的镜面成分，以便对图像着色。

仅从输入的训练样本来训练卷积神经网络。可替换地，最初执行使用照片的深度学习，从而提供起点。训练照片是彩色以及黑白的。照片可以是或者可以不是患者或组织的照片。这种现有网络或其部分可以用作用于对来自扫描患者内部的成像仪或扫描仪的医学图像进行训练的起点（例如，使用节点权重）。随后的训练基于来自影片渲染的彩色2D医学图像。

在图6的一个实施例中，训练包括利用多标记掩模进行着色的训练。训练数据包括多标记掩模。一旦多标记掩模可用，经标记的分区就可以各自被不同地处理。可以利用不同的特性训练不同权重的网络，所述不同的特性诸如正常、明亮、鲜艳和/或发亮。掩模的标记决定用于该位置的着色样式。例如，将2D MRI中受伤的肌肉标记为彩色鲜艳的以便特别地突显该肌肉。在另一种实现中，训练单个深度学习着色器以便基于掩模标记而不同地着色。掩模中的每一个标记用于通过使用嵌入在机器学习的管线中的自定义规则而以独特方式对图像进行着色，以便对每一个标记不同地着色。

一旦经过训练，深度机器学习的着色器（渲染器）接收2D医学图像来作为输入。将仅仅代表平面或者不代表第三维度的标量值输入到深度机器学习的着色器的一个或多个矩阵。深度机器学习的着色器响应于该输入而输出彩色化2D医学图像。基于通过薄板片的影片渲染而创建的训练数据，训练了着色器。在应用中，着色器在没有3D渲染的情况下向输入的2D医学图像应用颜色。彩色化2D医学图像可以更直观地或者以更加可识别的方式指示器官或组织的差异或特性。

图4展示了利用从薄板片中的灰度标量值的影片渲染的深度学习而可能的一些逼真着色。将膝盖的两个不同视图的MR切片的2D灰度图像输入到深度机器学习的着色器。图4的左侧示出了输入的灰度图像。着色器输出2D彩色医学图像。图4的右侧示出了输出的彩色化图像。在图4的彩色图像中示出的效果和彩色图像特征是基于来自影片渲染的彩色训练数据，因此这些效果和彩色图像特征不可能通过向颜色分配不同标量值的简单颜色查找表实现。例如，肌肉组织中的颜色效果响应于纹理以及由于学习从影片渲染进行着色的使用而突显的其它上下文。相比于黑白图像，彩色图像总的来说对于传达以及报告更为高效。

在用于应用的另一个实施例中，使用经训练的着色器以便允许在动作22中使用任何类型的渲染来进行3D渲染。将深度机器学习的分类器应用于各个切片，所述各个切片仅表示代表患者的新体积中的平面。逐个切片地向整个体积应用颜色以便限定这些颜色。将各个彩色化切片组装成彩色体积。然后使用任何类型的渲染对该彩色体积进行3D渲染。

图7示出了示例的彩色化图像。上一行示出了应用于CT切片的彩色化2D图像。下一行示出了利用3D影片渲染来渲染的图像，所述3D影片渲染是来自融合回到体积中并且被渲染的彩色切片的堆叠。由于切片中的改变而在右下方图像中观察到不同颜色的细微线条。这种伪像可以通过跨不同切片平面来混合彩色切片而予以解决。下部两个图像展示了所提出的方法可以如何用于向3D数据提供颜色分配。可以使用从彩色体积的其它渲染，诸如射线投射、alpha混合、体积渲染或者表面渲染。

在图2中表示的另一个实施例中，在动作24中将深度机器学习的着色器向2D医学图像的应用结果应用于另外的机器学习的分类器。所述另外的机器学习的分类器可以被训练为深度学习中的神经网络的部分。所学习的颜色用于对输入的2D医学图像做出另外的分类。可替换地，所述另外的机器学习的分类器是单独的分类器，诸如另一个深度机器学习的分类器、支持向量机或者贝叶斯网络。

所述另外的机器学习的分类器被训练为基于2D医学图像的彩色化版本的输入来对诊断或者治疗特性进行分类。“影像组学”使用机器学习的分类器来标识和创建图像特征，所述图像特征对于裸眼可能不可见并且与特定结论或者治疗预测相关。例如，在CT数据中，肿瘤中的某些纹理指示肿瘤恶性。

这些特征被创建并且基于数据集合而与已知结论相关。经常地，难以使2D图像的人类观看者识别这些特征，因此使用机器训练。特征相关最初是用经标记的训练数据集合来建立的，特别是在深度学习的情况下。在“非假定性”方案中，图像的着色不是基于之前肿瘤结论的经标记的训练数据集合。这是“非假定性”影像组学，因为原始图像数据是根据以彩色图像训练的无偏网络而被直接着色。肿瘤纹理或形状中的轻微改变可能导致所确定的颜色中的显著改变。通过机器训练，颜色信息可以用于分类针对患者的诊断或者预断。

图8示出了甲状腺的三幅彩色化2D US图像。所有图像属于相同的身体分区，但是来自不同的患者。尽管在天然地观看（黑白）时图像的纹理看起来类似，但是由于上下文中的细微差异（例如，强度变化或纹理），着色产生不同结果。该着色没有偏向任何特定患者结论或诊断。另一个分类器接收有区别的颜色信息并且使用“非假定性”影像组学来输出诊断或者预断。

在其中作为着色器的训练的部分或者链接到着色器的训练而训练所述另外的分类器的实施例中，着色器被训练为取决于肿瘤的诊断或预断而输出特定颜色。向经训练的分类器的输入是针对患者的一个或多个灰度2D医学图像。跨多个时间点的图像被输入，诸如在具有或者没有一个或多个干预治疗的情况下的数天或数周内。经训练的网络具有多通道输入，其中针对每一个时间或2D图像使用不同的通道。时间信息可以指示肿瘤的特性，从而指示给定的预断或诊断。

在图1的方案中，来自之前患者的数据的影片渲染用于创建训练数据，使得深度机器学习的着色器可以被训练为直接地彩色化针对当前患者的输入的2D医学图像。图9示出了另一种方案，其中使用影片渲染来彩色化针对当前患者的输入的2D医学图像。图9示出了用于彩色化患者的二维医学图像的方法的一个实施例。使用薄板片的基于物理的体积渲染来从2D数据集获得逼真彩色图像。用于生成图2中的经标记的颜色数据的方案以一种方式被颠倒以便对2D图像进行着色。深度机器学习用于训练外推器以便在给定输入切片的情况下外推一个或多个附加的切片。由于不能直接地渲染输入的2D图像，所以深度机器学习的外推器提供切片来形成用于3D渲染的薄板片。

图10示出了图9的方法的另一个实施例。图9和10针对的是使用深度机器学习的外推器的应用。图11针对的是训练深度机器学习的外推器。外推器被训练为在给定输入的2D医学图像的情况下生成一个或多个2D切片。经训练的外推器然后用于生成切片以便用输入的2D医学图像形成板片，从而允许经构造的3D板片的影片渲染以生成彩色2D图像。该方案抵消了针对影片渲染器中使用的查找表和方法的图像的着色。

该方法可以用于产生图2和3的方法的针对直接深度学习彩色化的训练数据。图9和10的方法的合成板片渲染可以利用轻度（例如，+/-20度）透视图来加以执行。这样的观看选项对于图2和3的方法是不可能的，因为深度机器学习的着色器在像素对像素的基础上直接转换为彩色图像。

图9和10的动作被利用处理器执行，诸如计算机、服务器、医学扫描仪或工作站。在一个实施例中，通过计算机、工作站或医学扫描仪的处理器执行动作30-34。动作36由图形处理单元执行，诸如多个图形卡。动作38-42在具有或者没有显示设备的情况下由处理器执行。

这些动作以所示出的次序或者另外的次序执行。可以使用附加的、不同的或者更少的动作。例如，没有执行动作38-42。作为另一个示例，没有执行动作30，因为在没有从存储器加载的情况下接收2D医学图像的传送。

在动作30中，从存储器、传感器和/或其它源加载2D医学图像。医学扫描仪可以提供针对图像的数据帧，诸如仅仅代表患者的平面的医学数据集。可以获得来自图片存档和通信服务器的医学信息。可以使用任何源。图像用于代表可以经处理以形成图像的扫描数据、用于当前或之前显示的图像的数据、或者代表来自患者的返回或测量信号的空间分布的其它成像相关数据帧。

医学数据是用于给定患者。尽管训练可以使用来自许多患者的样本进行训练以生成一个或多个切片，但是将所学习的模型应用于针对患者的医学数据以便输出针对该患者的一个或多个切片。将相同或不同的机器学习的模型应用于针对任何数目的患者的数据。

对于应用而言，2D医学图像是代表2D切片的扫描数据。其它切片或3D数据是不可用的。对于图11的训练，使用体积。体积或板片数据提供多个切片。该训练学习基于给定单个切片的输入而生成相邻或附近切片。切片以及相邻或附近切片的许多样本作为地面真值被用于学习。对于不受监管的训练，从3D体积提取训练数据。在给定3D体积的情况下，将任何切片选择为开始或输入的2D图像。将相邻切片选择为来自外推网络的预期输出（即，地面真值）。由于该任务不要求手动监管，所以可以自动地收集训练数据的大集合。可以使用手动选择。

在动作32中，实现深度机器学习的外推器的处理器生成代表相邻或附近平面的一个或多个2D切片。该深度机器学习的生成器基于2D医学图像的输入而创建2D切片。所生成的切片属于与输入的2D医学图像的平面不同的平面。这些平面是平行的，但是可以不平行。在一个实施例中，生成一个或两个2D切片来作为输入的2D医学图像的每一侧上的相邻切片。在可替换实施例中，深度机器学习的外推器在没有单独生成2D切片的情况下直接地生成板片。

所生成的切片或者板片具有用于不同像素或空间位置的标量值。标量值不包括颜色信息。可替换地，标量值仅包括灰度信息（例如，RGB值全部相等或者在动态范围中彼此的5%内）。

可以使用任何机器学习和对应机器学习的分类器。在一个实施例中，深度机器学习的生成器是经训练的卷积深度学习的神经网络。例如，基于VGG-19的卷积网络深度学习架构或者其它架构可以用于输出附近切片。深度学习可以学习从输入的2D图像中生成2D图像，但是由于在空间上有偏移而具有变化。将2D图像输入到外推深度学习网络中，从而产生附近切片。提取3D中的纹理细节并且将其传授到附近切片中。附加地，可以在附近切片中预测定义明确的对象（诸如某些骨骼和器官）的形状改变。

在图6的多标记实施例中，所输入的2D医学图像包括或者被处理为创建多标记掩模64。由外推器生成的切片是带着对应的掩模生成的。由于其它切片中的器官或组织的形状中的变化，外推器可以被训练为包括所生成的切片中的多标记掩模。所生成的切片包括所生成的多标记掩模。

在图9和10的动作34中，处理器生成薄板片。输入的2D图像和所生成的相邻或附近切片被分组在一起，从而创建薄板片。可以包括任何数目的切片，诸如2-4个切片以及输入的2D图像。切片和输入的2D图像被形成堆叠。所生成的切片可以具有相对于输入的2D图像的特定位置，所以该堆栈并入排序。这种分组形成了代表空间位置的3D分布的体积或数据。合成外推切片与原始切片组合以便形成薄板片，所述薄板片用作针对渲染器的输入。一旦网络经过训练，在给定2D医学图像的情况下，将对应切片外推和形成到3D板片中。

对于医学使用情况，板片应当为薄的，使得任何之后的临床决策都不因所计算的附加切片而有偏见。薄可以是五个或者更少的平行切片。可以使用较厚的板片。

在动作36中，渲染器（例如，图形处理器）对动作34中形成的板片进行彩色渲染。将影片渲染应用于板片。3D渲染使用光传输的路径追踪或者其它模拟来向2D显示或图像进行渲染。渲染使用将标量值与颜色链接的查找表以及来自相邻位置的光交互以便向渲染中的给定像素分配颜色。该颜色是响应于周围的纹理。与输入的2D图像不同，板片是可以利用影片渲染器渲染的体积的类型。为了基于输入的2D医学图像来创建彩色2D医学图像，用于渲染的相机视图面向输入的2D图像的切片（即，与板片正交）或者随着取决于期望效果的视角而轻微离轴。

在所生成的切片和/或输入的2D图像包括多标记掩模的情况下，影片渲染可以使用标记信息来控制彩色化。照明效果可以被更改或者对于由多标记掩模指定的不同分区是不同的。经标记的分区可以各自被不同地处理。为了渲染可以应用不同的渲染特性，诸如正常、明亮、鲜艳或发亮。掩模的标记然后决定用于该位置的渲染样式。例如，在2D MRI中受伤的肌肉可以被标记为予以鲜艳地渲染以便特别地突显该肌肉。在另一种实现中，渲染规定一些位置基于标记而更加明亮。

在动作38中，从薄板片渲染的2D图像被显示在显示设备上。3D渲染创建2D彩色医学图像。由于使用了具有基本上正交于板片的观看角度的薄板片，所以该板片的所渲染的2D图像被显示为输入的2D医学图像的彩色化版本。由于渲染器生成具有颜色的2D图像，所以为输入的2D医学图像提供了颜色。将输入的2D医学图像的彩色化版本输出到显示器。

在动作40中，2D医学图像的彩色化版本用于影像组学。在动作42中将彩色2D医学图像输入到机器学习的分类器。在动作40中，机器学习的分类器基于该输入而输出诊断或者治疗分类。机器学习的分类器在具有或者没有其它输入特征的情况下使用颜色信息来诊断或者预测结论。颜色信息可以被直接输入，或者特征可以从颜色和其它图像信息中被提取出来。对于深度机器学习的分类器，输入彩色2D医学图像，并且将所学习的特征与图像进行卷积以便确定输出。

用于彩色化图2和3或者图9和10的输入的2D医学图像的方案可以用于各种应用。彩色化可以帮助呈现非体积成像中的检查结果。例如，在下脊椎检查中，在特定位置处以脊椎的矢状位拍摄高分辨率2D MR图像。避免了3D体积成像，因为3D成像可能导致在感兴趣平面处总体较低的分辨率并且可能花费附加的采集时间。合成2D数据切片将放射学家与委托医生或患者之间对检查结果的传达限制为单个黑白或灰度图像。所提出的方法允许呈现逼真的彩色2D图像，从而改进了放射学家的传达以及因此提高了放射学家的价值。要注意的是，利用传统体积渲染方案，简单的呈现可能由于数据的2D本性而不大可能。此外，简单地使用查找表来彩色化没有基于图像的纹理和较高级特征进行着色。

在另一个示例应用中，提供了基于用于非体积成像的颜色信息的影像组学。在肝脏的MR图像的情况下，纹理和外观中的轻微变化可以创建在颜色方面更明显的改变。通过确保类似的扫描协议，这些细微改变可能对于放射学家更为可见。着色可以对应于不同等级的肿瘤疗法有效性或者肿瘤类型。不管任何诊断或预断考虑如何或者独立于任何诊断或预断考虑地应用颜色。着色可以允许图像中的细微改变的更好检测，诸如通过机器学习的分类器。彩色图像可以与彼此更好地比较以便示出随时间的改变。可替换地，着色是基于诊断或者预断考虑。如果对照肿瘤类型或者治疗而训练用于彩色化的机器学习的网络，该网络还可以用作传达所建立的相关性的图形方式以及用作用于结论决策的统计特征。

图12示出了用于二维影片医学成像的系统的一个实施例的框图。该系统用于利用机器学习的训练和/或机器学习的模型的应用。使用深度学习，该系统学习提供切片以便形成用于3D渲染的板片来添加颜色，或者学习基于来自3D彩色渲染的训练数据进行彩色化。

该系统实现图2,3,6,9,10和/或11的方法。可以实现其它方法或动作，所述其它方法或动作组合影片渲染和深度机器学习或者深度机器学习的分类器以便基于输入的非彩色、仅2D的图像来提供彩色2D医学图像。

该系统包括机器50、存储器52、显示器54、医学成像仪56和渲染器58。可以提供附加的、不同的或者更少的组件。例如，不提供医学成像仪56和/或存储器52。在另一个示例中，提供网络或者网络连接，诸如用于与医学成像网络或者数据存档系统联网。可以提供用户接口——诸如用户输入设备（例如，鼠标、追踪器、触摸板和/或键盘），以用于与机器50、渲染器58或者其它组件进行交互。

机器50、存储器52、渲染器58和/或显示器54是医学成像仪56的部分。可替换地，机器50、存储器52、渲染器58和/或显示器54是与医学成像仪56分离的服务器、工作站或计算机的部分。机器50、存储器52、渲染器58和/或显示器54是个人计算机，诸如桌上型电脑或膝上型电脑、工作站、服务器、网络或其组合。在其它的实施例中，机器50和存储器52是与渲染器58分离的计算机的部分。

医学成像仪56是医学诊断成像系统。可以使用US、CT、x射线、荧光透视、正电子成像术（PET）、单光子发射计算机断层扫描（SPECT）和/或MR系统。医学成像仪56可以包括传送器，并且包括用于扫描或者接收数据的检测器，所述数据代表患者的内部（例如，仅仅平面或者体积）。医学成像仪56采集代表患者的扫描数据。对于训练，扫描数据可以代表患者的体积或者仅仅平面。对于应用，扫描数据仅仅表示患者的平面。

在可替换实施例中，不提供医学成像仪56，但是将针对患者的之前采集的数据集（例如，2D图像）存储在存储器52中。在其它的可替换方案中，在存储器52中提供许多医学图像和/或3D体积来作为训练数据。

机器50是计算机、工作站、服务器、处理器、或者配置为应用机器学习和/或应用机器学习的模型的其它设备。机器50由软件、硬件和/或固件进行配置。对于学习，机器50由一个或多个机器学习算法来配置。对于应用所学习的模型，机器50部分地通过所学习的一个或多个将输入数据与输出值相关联的矩阵予以配置。

机器50应用机器学习的模型，诸如利用深度学习而学习的一个模型。如由机器50实现的机器学习的模型基于来自患者扫描的医学数据的应用而生成输入特征和/或输出。在一个实施例中，机器配置为从灰度2D图像或扫描数据的输入而输出彩色图像。将2D扫描数据输入到从薄板片影片渲染所训练的深度机器学习的着色器，其中该影片渲染与薄板片正交。输出是针对由输入的2D扫描数据代表的相同平面的彩色图像。在另一个实施例中，响应于2D扫描数据的输入的输出是代表其它平面和/或周围板片的一个或多个扫描数据集合。深度机器学习的外推器从输入的2D扫描数据生成3D板片。

存储器52是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、缓存器存储器、硬驱动、光学介质、磁性介质、闪速驱动、缓冲器、数据库、其组合、或者其它现在已知或之后研发的存储器设备，以用于存储训练数据、用于渲染设置的值、颜色查找表、2D图像、彩色化2D图像和/或其它信息。存储器52是医学成像仪56的部分、与机器50相关联的计算机的部分、与渲染器58相关联的计算机的部分、数据库、另一个系统的部分、图片存档存储器或者独立的设备。

存储器52或者其它存储器可替换地或者附加地是存储数据的非暂时性计算机可读存储介质，所述数据代表由编程机器50可执行的指令，以用于学习或应用机器学习的模型、用于影片渲染、用于生成掩模（masking）、用于诊断或预断预测、或者用于其它过程。用于实现本文讨论的过程、方法和/或技术的指令被提供在非暂时性计算机可读存储介质或存储器上，诸如缓存器、缓冲区、RAM、可移除介质、硬驱动、或者其它计算机可读存储介质。非暂时性计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或上的一个或多个指令集合而执行在附图中图示或者在本文中描述的功能、动作或任务。所述功能、动作或任务独立于特定类型的指令集合、存储介质、处理器或处理策略，并且可以通过软件、硬件、集成电路、固件、微代码等执行，无论是单独操作还是组合地。同样地，处理策略可以包括多处理、多任务、并行处理等。

在一个实施例中，所述指令存储在可移除介质设备上以用于由本地或远程系统读取。在其它实施例中，所述指令存储在远程位置中以用于通过计算机网络或者通过电话线路传递。在其它的实施例中，所述指令存储在给定计算机、CPU、GPU或系统内。

渲染器58是图形处理单元、图形卡、图形芯片、多核处理器或者其它处理器，以用于运行实现影片渲染（例如，路径追踪或者基于物理的渲染）的软件封装。渲染器58由应用编程接口配置为从代表患者的3D扫描数据渲染图形。使用基于物理的渲染来渲染照片级图像。在一个实施例中，影片渲染用于从3D薄板片生成彩色图像，以用于利用深度学习进行训练来彩色化2D图像。在另一个实施例中，图形处理单元被配置为以影片方式从板片渲染平面的彩色图像，所述板片从该平面的扫描数据以及由深度机器学习的外推器外推的其它平面的扫描数据中形成。

显示器54是监视器、LCD、投影仪、等离子体显示器、CRT、打印机、或者用于显示一个或多个彩色图像的其它现在已知或之后研发的设备。显示器54从机器50、存储器52、渲染器58或医学成像仪56接收图像。显示由医学成像仪56捕获的组织的彩色图像。代替于或者附加于显示患者的灰度2D图像，显示彩色化或者彩色2D图像。也可以显示其它信息，诸如所生成的图形（例如，用于多标记掩模）、文本、或者作为虚拟覆盖（a virtual overlay）的数量。

尽管已经在上文通过引用各种实施例描述了本发明，但是应当理解到，可以做出许多改变和修改而不脱离本发明的范围。因此意欲将前述详细描述视为说明性而非限制性，并且要理解到，接下来的权利要求书（包括所有等同方案）旨在限定本发明的精神和范围。

Claims (21)

1.一种用于训练（20）深度机器学习的分类器以用于彩色化二维医学图像的方法，所述方法包括：

向存储器加载（12）代表多个患者的体积的训练（20）数据，所述体积包括来自所述患者的医学扫描的、分布在三个维度中的标量值；

对板片进行隔离（14），每一个板片代表每一个体积中的多个切片；

利用影片渲染（16）将所述板片的标量值三维彩色渲染（16）为二维彩色图像；

利用深度机器学习从所述二维彩色图像来训练（20）深度机器学习的分类器，以便彩色化所述二维医学图像。

2.权利要求1所述的方法，其中隔离（14）包括选择仅代表所述体积中的第一平面的第一切片并且添加仅代表相邻平面的两个到四个相邻切片，所述第一平面和相应的相邻平面包括所述板片。

3.权利要求1所述的方法，其中三维彩色渲染（16）包括利用无偏路径追踪的渲染（16）。

4.权利要求1所述的方法，其中三维彩色渲染（16）包括利用查找表的渲染（16），所述查找表将所述标量值与颜色相关。

5.权利要求1所述的方法，其中三维彩色渲染（16）包括利用基本上正交于所述板片取向的相机的渲染（16）。

6.权利要求1所述的方法，其中三维彩色渲染（16）包括从代表多个平面的所述板片坍塌成针对所述二维彩色图像的单个平面。

7.权利要求1所述的方法，其中训练（20）包括训练（20）卷积神经网络。

8.权利要求1所述的方法，其中训练（20）包括通过将每一个板片的切片之一的标量值作为输入图像并且将所述二维彩色图像作为地面真值而进行的训练（20）。

9.权利要求1所述的方法，还包括向仅代表新体积中的平面的各个切片应用（24）深度机器学习的分类器、将各个彩色化切片组装成彩色体积、以及从所述彩色体积进行渲染（16）。

10.权利要求1所述的方法，还包括生成（18）多标记掩模，并且其中三维彩色渲染（16）包括基于所述多标记掩模的渲染（16）。

11.权利要求1所述的方法，还包括训练（20）第二机器学习的分类器以便基于所述二维医学图像的彩色化版本的输入来分类诊断或治疗特性。

12.一种用于彩色化患者的二维医学图像的方法，所述方法包括：

生成（32）代表第一平面的第一二维切片，所述生成由深度机器学习的生成器基于所述二维医学图像的输入而进行；

形成（34）所述第一二维切片和所述二维医学图像的板片；

通过渲染器（58）利用影片渲染（58）对所述板片进行彩色渲染（36）；以及

在显示器上将经过彩色渲染的所述板片显示（38）为所述二维医学图像的彩色化版本。

13.权利要求12所述的方法，其中生成还包括生成（32）代表与第一平面不同的第二平面的第二二维切片，所述第一平面和所述第二平面不同于由所述二维医学图像代表的第三平面，并且其中形成（34）板片包括形成在堆叠中的第一和第二二维切片以及所述二维医学图像的板片。

14.权利要求12所述的方法，其中生成（32）包括利用深度机器学习的生成器进行生成（32），所述深度机器学习的生成器包括卷积深度学习的神经网络。

15.权利要求12所述的方法，其中形成（34）板片包括形成（34）体积，并且其中彩色渲染（16）包括对所述体积进行三维渲染。

16.权利要求12所述的方法，其中彩色渲染（16）包括利用路径追踪的三维渲染（36）。

17.权利要求12所述的方法，其中所述二维医学图像和所述第一二维切片包括没有颜色信息的标量值，并且其中彩色渲染（36）包括利用查找表的三维渲染（36），所述查找表将标量值与颜色链接。

18.权利要求12所述的方法，其中所述二维医学图像包括第一多标记掩模，其中生成（32）包括生成（32）具有第二多标记掩模的所述第一二维切片，并且其中彩色渲染（36）包括根据第一和第二多标记掩模的彩色渲染（36）。

19.权利要求12所述的方法，还包括：

将所述二维医学图像的所述彩色化版本输入（42）到机器学习的分类器；以及

通过所述机器学习的分类器基于所述输入而输出（40）诊断或治疗分类。

20.一种用于彩色化二维医学成像的系统，所述系统包括：

医学扫描仪（56），配置为扫描患者的第一平面并且生成针对所述第一平面的扫描数据；

机器，配置为通过将针对所述第一平面的扫描数据应用于深度机器学习的外推器而输出针对第二平面的扫描数据；

图形处理单元，配置为从板片对所述第一平面的彩色图像进行影片渲染，所述板片从所述第一平面的扫描数据和所述第二平面的扫描数据形成；以及

显示器，配置为显示所述彩色图像。

21.一种用于彩色化二维医学图像的系统，所述系统包括：

医学扫描仪（56），配置为扫描患者的第一平面并且生成针对所述第一平面的扫描数据；

机器（50），配置为通过将针对所述第一平面的扫描数据应用于深度机器学习的着色器而从针对所述第一平面的扫描数据输出彩色图像，所述深度机器学习的着色器是从板片的影片渲染来训练的；以及

显示器（54），配置为显示所述彩色图像。