CN116324890A - 医学图像的匿名指纹化 - Google Patents

Abstract

本文公开了一种包括存储器(110、110′)的医学系统(100、300)，存储器存储机器可执行指令(120、120′)和至少一个经训练的神经网络(122)。至少一个神经网络中的每个被配置用于接收医学图像(130)作为输入。至少一个经训练的神经网络中的每个包括多个隐藏层。至少一个经训练的神经网络中的每个已被修改为响应于接收到医学图像而提供隐藏层输出(124)。隐藏层输出是从多个隐藏层中的一个或多个隐藏层直接输出的。医学系统还包括计算系统(104、104′)。对机器可执行指令的运行使计算系统：接收(200)医学图像；响应于将医学图像输入到至少一个经训练的神经网络中的每个中而接收(202)隐藏层输出；提供(204)匿名图像指纹(126)，匿名图像指纹包括来自至少一个经训练的神经网络中的每个的隐藏层输出；并且响应于使用匿名图像指纹查询历史图像数据库而接收(210)对医学图像的图像评估(128)。

Description

医学图像的匿名指纹化

技术领域

本发明涉及诸如磁共振成像之类的医学成像，特别涉及在使用医学成像系统时处理错误和异常情况的困难。

背景技术

各种断层摄影医学成像技术(例如，磁共振成像(MRI)、计算机断层摄影、正电子发射断层摄影以及单光子发射计算机断层摄影)实现了对对象的解剖结构的详细可视化。应用这些成像模态的常见问题是，对医学成像的解读和对仪器的正确操作需要多年的训练。当操作者在图像采集期间遇到操作者之前没有遇到过的异常故障或图像伪影时，操作者可能无法做出适当的反应。

Gatys等人的“Image Style Transfer Using Convolutional Neural Networks”(IEEE计算机视觉和图案识别(CVPR)会议记录，2016年，第2414-2423页)公开了以不同风格呈现图像的语义内容是一项困难的图像处理任务。按理说，以前方法的主要限制因素是缺乏明确表示语义信息的图像表示，因此无法将图像内容与风格分离开。使用从针对目标识别而优化的卷积神经网络导出的图像表示(其使得高级图像信息更明确)。还使用了艺术风格的神经算法，所述艺术风格的神经算法能够分离和重组自然图像的图像内容和风格。该算法允许产生高感知质量的新图像，所述高感知质量的新图像将任意照片的内容与众多知名艺术作品的外观相结合。结果提供了针对卷积神经网络学习的深度图像表示的新见解，并且证明了其在高级图像合成和处理方面的潜力。

Ho Bae等人的文章“AnomiGAN:Generative adversarial networks foranonymising private medical data”(检索自Arxiv.)公开了一种生成模型，所述生成模型用于产生保留采集信息并保留私人诊断信息的合成数据。

发明内容

本发明在独立权利要求中提供了医学系统、计算机程序和方法。在从属权利要求中给出了实施例。

实施例可以提供向医学成像系统的操作者或研究医学图像的操作者或医学系统提供指导和指令的改进手段。一个示例是操作者控制磁共振成像系统。另一示例是在成像工作站的放射科医师解读医学图像。

实施例可以通过提供一种系统来潜在地实现这一点，该系统根据医学图像来创建匿名图像指纹，然后使用该匿名图像指纹来搜索历史图像数据库。历史图像数据库响应于被用匿名图像指纹查询而提供图像评估。使用历史图像数据库使得操作者能够从以前的医学图像采集中搜索相关信息，并且不需要受到地理位置的限制。当仅考虑来自单个成像站点或医院的医学图像时，信息量可能会受到限制。如果使用匿名图像指纹来汇集这些信息，那么来自许多站点的数据可能会被合并，同时还保护了对象隐私并提供了数据安全。

通过将医学图像输入到至少一个经训练的神经网络中并从每个神经网络中获取隐藏层输出来构建匿名图像指纹。隐藏层输出也被称为特征向量。这类似于在使用卷积神经网络(CNN)进行风格转换(style transfer)时使用的技术，但有几个显著的差异。在风格转换中，只能使用单个神经网络。在实施例中，可以使用一个以上的神经网络。可以组合来自同一神经网络或来自多个神经网络的不同隐藏层的输出。例如，它们能够级联成更大的向量或矩阵。

能够用于生成隐藏层输出的神经网络的类型和种类也非常广泛。可以使用经过广泛的图像分类训练的CNN。也可以使用诸如用于医学图像的图像分割的U-net之类的专用神经网络。如上面所提到的，可以使用这些不同类型的经训练的神经网络的组合。一个优点是，可以在没有专门训练的情况下使用已经被训练用于其他图像处理目的的神经网络。

在最简单的情况下，匿名图像指纹是根据隐藏层输出(来自隐藏层的特征向量)来构建的。然而，也可以包括额外信息，例如，描述医学图像的类型、对象的定位、当采集医学图像时医学成像系统的配置的元数据。所包括的这些额外数据可以是有用的，例如作为针对历史图像数据库的查询的部分以及用于过滤历史图像数据库的输出。

可以将匿名图像指纹发送到历史图像数据库。可以使用匿名图像指纹来搜索数据库中具有相似图像指纹的条目。可以使用神经网络来执行这个操作，但并非一定要使用神经网络。可以使用各种数据聚类技术或应用匿名图像指纹与历史图像数据库中的条目的图像指纹之间的相似性量度来识别历史图像数据库中的条目，而无需训练。

历史图像数据库可以例如包含针对每个记录的图像指纹，然后是历史数据。历史数据可以包含各种信息，例如，用于随后扫描的医学成像系统的配置、关于所识别的解剖结构、伪影或者甚至所识别的硬件故障的信息。能够将该信息以原始形式返回操作者，也可以过滤该信息。这种历史图像数据库的优点是，能够根据操作者的需求动态调整历史图像数据库提供的信息的类型。

在一个方面，本发明提供了一种医学系统，所述医学系统包括存储器，所述存储器存储机器可执行指令，并且还存储至少一个经训练的神经网络。所述至少一个神经网络中的每个神经网络被配置用于接收医学图像作为输入。也就是说，所述至少一个神经网络中的每个神经网络被配置为接收图像数据作为输入。所述至少一个经训练的神经网络中的每个经训练的神经网络包括多个隐藏层。所述至少一个经训练的神经网络中的每个经训练的神经网络已被修改为响应于接收到所述医学图像而提供隐藏层输出。所述隐藏层输出是从所述多个隐藏层中的一个或多个隐藏层直接输出的。

隐藏层输出取自当医学图像被输入到该神经网络时神经元产生的值。能够以不同的方式提供隐藏层输出。在一些示例中，获取隐藏层内的节点或神经元的所有值并将其用作隐藏层输出。在一些情况下，可能只获取一部分节点。在其他示例中，将来自多个隐藏层的节点或神经元的值级联在一起以形成隐藏层输出。同样，可以将一个以上的神经网络的隐藏层输出级联在一起。来自单个神经网络的隐藏层输出可以被称为特征向量。

所述医学系统还包括计算系统。在不同的示例中，医学系统可能会采取不同的形式。在一个示例中，医学系统可以是用于处理医学图像的工作站或计算机，例如，在放射科中可以找到的工作站或计算机。在其他示例中，医学系统可以是远程计算机系统，远程计算机系统可以是由用于远程处理医学图像的云或互联网连接来提供的。在其他示例中，医学系统可以包括医学成像系统。在该示例中，医学系统能够包括任何种类的成像模态，例如，超声、计算机断层摄影或其他核成像技术。

对所述机器可执行指令的运行使所述计算系统接收所述医学图像。对所述机器可执行指令的运行还使所述计算系统响应于将所述医学图像输入到所述至少一个经训练的神经网络中的每个经训练的神经网络中而接收所述隐藏层输出。这可以例如涉及计算系统被编程为读取至少一个经训练的神经网络中的每个经训练的神经网络内的节点或神经元的值。如果使用多个隐藏层和/或多个经训练的神经网络，那么提供隐藏层输出还可以涉及级联来自多个隐藏层中的每个隐藏层的输出。

对所述机器可执行指令的运行还使所述计算系统提供匿名图像指纹，所述匿名图像指纹包括来自所述至少一个经训练的神经网络中的每个经训练的神经网络的所述隐藏层输出。隐藏层输出可以用于提供匿名图像指纹，因为它们必然包含比原始医学图像更少的信息。这使得能够产生描述原始医学图像及其属性但仍是匿名的图像指纹。这使得能够以安全的方式提供医学图像，从而保护了提供其医学图像的对象的身份和隐私。

对所述机器可执行指令的运行还使所述计算系统响应于使用所述匿名图像指纹查询历史图像数据库而接收对所述医学图像的图像评估。换句话说，能够将匿名图像指纹发送到内部数据库系统或外部数据库系统，然后该内部数据库系统或外部数据库系统将匿名图像指纹与以前采集的其他图像指纹进行比较。这可以使用各种搜索算法和人工智能技术来执行。图像评估可以是已经被附到该历史图像数据库内的其他图像指纹的数据。这可以例如是描述图像质量的数据，例如，图像伪影或损伤或其他非标准组织结构的存在以及在产生图像或后续图像中使用的配置。例如，在一个实例中，图像评估可以是对由于对象的运动或者甚至是医学成像系统内的部件的故障而存在的特定类型的图像伪影的识别。在其他示例中，医学图像可以例如是以预备方式使用的侦察图像或调查图像。对相似侦察图像的图像评估可以是用于采集后续诊断医学图像的设置。

该实施例具有几个非常显著的优点。在通常情况下，出于隐私和安全考虑，不可能维护大型的医学图像数据的数据库。该实施例提供了一种向大型中央数据库提供描述性匿名图像指纹的方式。而且，能够从各种来源搜集用于产生历史图像数据库的数据，而无需担心安全性或个人数据泄露。因此，该实施例在医学图像数据库方面提供了提高的安全性。

另一个显著的益处是，不需要预先训练该系统来识别特定的图像问题或伪影或损伤。也不需要训练该系统来识别各种硬件故障。可以根据已被训练用于一般地处理图像的神经网络来构造至少一个经训练的神经网络。例如，可以使用图像分类神经网络，包括尚未专门针对诸如伪影识别或分割之类的医学成像处理而训练的图像分类神经网络。训练用于图像处理的神经网络的过程使得其能够识别各种组合和结构。

所述至少一个经训练的神经网络还可以是为了执行诸如图像重建或图像分割之类的医学成像任务而专门训练的神经网络。然而，起作用的神经网络的类型是极其广泛的。然后，匿名图像指纹使得能够在历史图像数据库中搜索，而无需预先训练。可以自然地训练神经网络并且使用经训练的神经网络将匿名图像指纹与历史图像数据库中的其他图像指纹进行匹配，但这不是必需的。能够使用不需要训练的各种度量和最近邻或聚类技术来提供图像评估。这意味着医学系统可以在没有特定的预先训练的情况下提供图像评估。这是极其强大的。

在另一实施例中，所述历史图像数据库是经由网络连接来查询的。例如，在该示例中，历史图像数据库可以位于远程或不同的位置。

通过网络连接使用匿名指纹非常有益，因为它为原始医学图像提供了安全性和匿名性。这可以实现在没有加密系统的情况下远程使用历史图像数据库。

在另一实施例中，所述图像评估包括对一个或多个图像伪影的识别。例如，这可以用作对操作者的警告来警告操作者搜索图像伪影或者意识到医学图像可能具有一个或多个图像伪影。

在另一实施例中，所述图像评估还包括对图像质量值的分配。例如，以前可能已经手动地或经由某种算法为历史图像数据库中的图像分配了图像质量值。可以使用匿名图像指纹与历史图像数据库中的最靠近或最接近的邻居的匹配来分配图像质量值。这可以例如是数值，或者也可以是更主观的内容，例如，放射科医师以前判断的图像质量足够或不足。

所述图像评估还包括检索到的诊断指南。匿名图像指纹可以用于在历史图像数据库中搜索具有相似属性并附有诊断指南的图像。然后，可以将该图像作为检索到的诊断指南来提供。

所述图像评估还包括用于重复对所述医学图像的测量的指令。例如，历史图像数据库中的图像可能已经被标记为图像已经失败或者不具有质量或者具有足够的噪声或伪影而使其不具有诊断用途。然后，可以在利用匿名图像指纹搜索历史图像数据库的过程中检测到或找到这些图像。可以使用这些图像来提供用于对医学图像的重复测量的指令。

在另一实施例中，所述图像评估包括对额外医学图像的后续采集的建议。例如，在搜索历史图像数据库期间，匿名图像指纹可以识别具有不容易看到但存在于图像中的结构或损伤的图像。然后，可以这种图像来提供能够用于生成对后续采集的建议的数据。

在另一实施例中，所述图像评估包括对图像采集问题的识别。这可以例如是医学成像系统的配置或设置中的错误。这也可以指示医学成像系统的部件的故障。

在另一实施例中，所述图像评估包括对不正确视场的识别。

在另一实施例中，所述图像评估还包括对不恰当对象定位的识别。

在另一实施例中，所述图像评估还包括对有规律的或不符合标准的对象吸气或呼吸的识别。

在另一实施例中，所述图像评估还包括对金属伪影的识别。

在另一实施例中，所述图像评估还包括对运动伪影的识别。

在另一实施例中，所述图像评估还包括对所述图像中的异物的识别。

在另一实施例中，所述图像评估还包括医学图像扫描规划指令。例如，医学图像可以是调查或侦察扫描。然后可以将该调查或侦察扫描与其他调查或侦察扫描进行匹配，以提供能够用于后续图像采集规划的数据。这可以对医学系统的操作者有很大帮助。

在另一实施例中，所述图像评估还包括一组工作流程推荐。可以为几幅图像或以前的图像检索工作流程推荐并且提供这些工作流程推荐以帮助规划进一步的工作流程。

如从上述内容所看到的，图像评估能够采取多种形式。在构建历史图像数据库时，能够将各种类型的信息一起捆绑在目标或文件中并且将这该目标或文件附到每个记录的图像指纹本身。在某些情况下，可能不希望检索附到历史图像数据库中的匹配图像的所有信息。在这些情况下，在历史图像数据库内或在医学图像本身内可能存在过滤器，该过滤器限制或选择向操作者呈现的信息的类型。

在另一实施例中，所述医学系统包括所述历史图像数据库。所述历史图像数据库被配置为通过以下操作来提供所述图像评估：通过将所述匿名图像指纹与所述图像数据库中的图像指纹进行比较来识别一组相似图像。所述一组相似图像均包括历史数据。所述医学系统历史图像数据库还被配置为提供历史数据的至少部分作为所述图像评估。如上面所提到的，该步骤可以涉及过滤步骤。例如，医学系统的操作者可以具有选择操作者想要接收的信息的类型的用户接口。在其他示例中，医学系统可以被预先配置为过滤历史数据。在多个记录与匿名图像指纹相匹配的情况下，可能有选择机制来查找历史数据中的共性。

在另一实施例中，所述匿名图像指纹与所述图像数据库中的图像指纹之间的所述比较是通过将相似性量度应用于所述图像指纹中的每个图像指纹和所述匿名图像指纹来执行的。

在另一实施例中，所述匿名图像指纹与所述图像数据库中的所述图像指纹之间的所述比较是通过将学习的相似性量度应用于所述图像指纹中的每个图像指纹和所述匿名图像指纹来执行的。

在另一实施例中，所述匿名图像指纹与所述图像数据库中的图像指纹之间的所述比较是通过将度量应用于所述图像指纹中的每个图像指纹和所述匿名图像指纹来执行的。该度量可以例如是最靠近的邻居的量度。

在另一实施例中，所述匿名图像指纹与所述图像数据库中的图像指纹之间的所述比较是通过计算所述匿名图像指纹与所述图像指纹中的每个图像指纹之间的Minkowski距离来执行的。

在另一实施例中，所述匿名图像指纹与所述图像数据库中的图像指纹之间的所述比较是通过计算所述匿名图像指纹与所述图像指纹中的每个图像指纹之间的Mahalanobis距离来执行的。

在另一实施例中，所述匿名图像指纹与所述图像数据库中的图像指纹之间的所述比较是通过将余弦相似性量度应用于所述匿名图像指纹与所述图像指纹中的每个图像指纹之间的差异来执行的。

在另一实施例中，所述匿名图像指纹与所述图像数据库中的图像指纹之间的所述比较是通过使用经训练的向量比较神经网络来执行的。除了上述神经网络实施例之外，也能够在没有训练的情况下执行比较。使用经训练的向量比较神经网络可以是有益的，因为例如可以调谐所述经训练的向量比较神经网络以提供更好或更准确的匹配。然而，这可能涉及训练。例如，一个人可能必须手动浏览历史图像数据库并且检索具有相关数据的图像或记录。因此，对经训练的向量比较神经网络的训练将会非常简单直接，但是涉及大量的人工劳动。

在另一实施例中，所述神经网络是经预训练的图像分类神经网络。该实施例是有益的，因为已经被训练用于某种其他目的(例如识别图像中的动物或其他项目类型)的图像分类神经网络可以被使用或重新用于这种用途。

在另一实施例中，所述神经网络是经预训练的图像分割神经网络。该实施例也可以是有益的，因为可以针对实施例为经预训练的图像分割神经网络重新分配任务。

在另一实施例中，所述神经网络是U-Net神经网络。

在另一实施例中，所述神经网络是ResNet神经网络。

在另一实施例中，所述神经网络是DenseNet神经网络。

在另一实施例中，所述神经网络是EfficientNet神经网络。

在另一实施例中，所述神经网络是Xception神经网络。

在另一实施例中，所述神经网络是Inception神经网络。

在另一实施例中，所述神经网络是VGG神经网络。

在另一实施例中，所述神经网络是自动编码器神经网络，所述自动编码器神经网络可以例如被配置用于自动编码图像。

在另一实施例中，所述神经网络是递归神经网络。

在另一实施例中，所述神经网络是LSTM神经网络。

在另一实施例中，所述神经网络是前馈神经网络。

在另一实施例中，所述神经网络是多层感知器。

在另一实施例中，所述神经网络是通过神经网络架构搜索得到的网络。例如，上述神经网络中的任一个或全部都是可用的，并且可以对它们进行测试以了解哪一个神经网络最有效。

在另一方面中，所提供的隐藏层输出是从以下各项中的任一项提供的：卷积层、密集层、激活层、池化层、反池化层、归一化层、padding层、dropout层、递归层、transformer层、线性层、重新采样层、来自自动编码器的嵌入表示，以及其组合。卷积层可以例如是转置卷积层、扩张卷积层或稀疏卷积层。

所述存储器还存储词袋模型，所述词袋模型被配置为响应于接收到所述医学图像而输出一组图像描述符。对所述机器可执行指令的运行还包括响应于将所述医学图像输入到所述词袋模型中而接收所述一组图像描述符。所述匿名图像指纹还包括所述一组图像描述符。

所述医学系统还包括医学成像系统。对所述机器可执行指令的运行还使所述计算系统控制所述医学成像系统以采集医学图像数据。对所述机器可执行指令的运行还使所述计算系统根据所述医学成像数据来重建所述医学图像。

在另一实施例中，所述医学成像系统是磁共振成像系统。

在另一实施例中，所述医学成像系统是计算机断层摄影系统。

在另一实施例中，所述医学成像系统是超声成像系统。

在另一实施例中，所述医学成像系统是X射线系统。

在另一实施例中，所述医学成像系统是荧光镜，例如，数字荧光镜。

在另一实施例中，所述医学成像系统是正电子发射断层摄影系统。

在另一实施例中，所述医学成像系统是单光子发射计算机断层摄影系统。

在另一实施例中，所述医学图像是断层摄影医学图像。

在另一实施例中，所述匿名图像指纹还包括描述在对所述断层摄影医学图像数据的采集期间所述断层摄影医学成像系统的配置的元数据。该实施例可以是有益的，因为元数据可以用于搜索匹配的图像指纹。

在另一实施例中，所述图像评估包括扫描规划指令。对于未经训练的操作者来说，扫描规划可能特别困难。在图像评估中包括扫描规划指令可以提供用于提供扫描规划指令的自动化手段，而不需要训练系统。而且，能够从远程位置(例如，甚至可以位于不同国家或大陆的中央数据库)获取扫描规划指令。这使得能够以提供数据安全性和患者保密性的方式共享数据和扫描规划指令。例如，医学图像可以是调查图像。图像评估然后可以包括扫描规划指令，然后操作者提供和使用该扫描规划指令来辅助或配置医学成像系统以采集诊断医学图像。

在另一实施例中，所述医学系统还包括显示器。对所述机器可执行指令的运行还使所述处理器在所述显示器上至少呈现所述扫描规划指令。这可以例如提供用于在采集另外的医学图像期间配置医学系统的控制系统。

在另一方面，本发明提供了一种医学成像或操作医学系统的方法。所述方法包括接收医学图像。所述方法还包括响应于将所述医学图像输入到至少一个经训练的神经网络中的每个经训练的神经网络中而接收隐藏层输出。所述至少一个经训练的神经网络中的每个经训练的神经网络包括多个隐藏层。所述至少一个经训练的神经网络中的每个经训练的神经网络已被修改为响应于接收到所述医学图像而提供隐藏层输出。所述隐藏层输出是从所述多个隐藏层中的一个或多个隐藏层直接输出的。所述方法还包括提供匿名图像指纹，所述匿名图像指纹包括来自所述至少一个经训练的神经网络中的每个经训练的神经网络的所述隐藏层输出。所述方法还包括响应于使用所述匿名图像指纹查询历史图像数据库而接收对所述医学图像的图像评估。

在另一方面，本发明提供了一种计算机程序，所述计算机程序包括机器可执行指令和至少一个经训练的神经网络，所述计算机程序用于由控制医学成像系统的计算系统来运行。所述至少一个神经网络中的每个神经网络被配置用于接收医学图像作为输入。所述至少一个经训练的神经网络中的每个经训练的神经网络包括多个隐藏层。所述至少一个经训练的神经网络中的每个经训练的神经网络已被修改为响应于接收到所述医学图像而提供隐藏层输出。所述隐藏层输出是从所述多个隐藏层中的一个或多个隐藏层直接输出的。对所述机器可执行指令的运行使所述计算系统接收所述医学图像。

对所述机器可执行指令的运行还使所述计算系统响应于将所述医学图像输入到所述至少一个经训练的神经网络中的每个经训练的神经网络中而接收所述隐藏层输出。对所述机器可执行指令的运行使所述计算系统提供匿名图像指纹，所述匿名图像指纹包括来自所述至少一个经训练的神经网络中的每个经训练的神经网络的所述隐藏层输出。对所述机器可执行指令的运行使所述计算系统响应于使用所述匿名图像指纹查询历史图像数据库而接收对所述医学图像的图像评估。

应当理解，可以组合本发明的前述实施例中的一个或多个实施例，只要所组合的实施例并不相互排斥即可。

本领域的技术人员将意识到，本发明的各方面可以被实施为装置、方法或计算机程序产品。因此，本发明的各方面可以采用以下形式：完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或在本文中全部被通称为“电路”、“模块”或“系统”的组合了软件方面和硬件方面的实施例。此外，本发明的各方面可以采用被实施在一个或多个计算机可读介质中的计算机程序产品的形式，所述一个或多个计算机可读介质具有被实施在其上的计算机可执行代码。

可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。本文使用的“计算机可读存储介质”涵盖可以存储能由计算设备的处理器或计算系统执行的指令的任何有形存储介质。计算机可读存储介质可以被称为计算机可读非瞬态存储介质。计算机可读存储介质还可以被称为有形计算机可读介质。在一些实施例中，计算机可读存储介质还能够存储能够由计算设备的计算系统访问的数据。计算机可读存储媒介的示例包括但不限于：软盘、磁硬盘驱动器、固态硬盘、闪速存储器、USB拇指驱动器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁光盘以及计算系统的寄存器文件。光盘的示例包括压缩盘(CD)和数字多用盘(DVD)，例如，CD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW或DVD-R盘。术语“计算机可读存储介质”还指能够由计算机设备经由网络或通信链路进行存取的各种类型的记录媒介。例如，可以在调制解调器上、在互联网上或在局域网上检索数据。可以使用任何适当的介质来传输在计算机可读介质上实施的计算机可执行代码，所述任何适当的介质包括但不限于：无线、有线、光纤缆线、RF等，或前项的任何合适的组合。

计算机可读信号介质可以包括例如在基带中或作为载波的部分的、在其中实施计算机可执行代码的传播的数据信号。这样的经传播的信号可以采用各种形式中的任何形式，包括但不限于：电磁、光学或其任何合适的组合。计算机可读信号介质可以是这样的任何计算机可读介质：所述计算机可读介质不是计算机可读存储介质并且能够传递、传播或传输用于由指令执行系统、装置或设备使用的程序或与指令执行系统、装置或设备结合使用的程序。

“计算机存储器”或“存储器”是计算机可读存储介质的示例。计算机存储器是能由计算系统直接访问的任何存储器。“计算机存储设备”或“存储设备”是计算机可读存储介质的另外的示例。计算机存储设备是任何非易失性计算机可读存储介质。在一些实施例中，计算机存储设备也可以是计算机存储器，或者反之亦然。

本文使用的“计算系统”涵盖能够运行程序或机器可执行指令或计算机可执行代码的电子部件。对包括“计算系统”的示例在内的计算系统的引用应被解读为可能包含一个以上计算系统或处理核。计算系统例如可以是多核处理器。计算系统也可以指在单个计算机系统之内的或被分布在多个计算机系统之间的计算系统的集合。术语“计算系统”也应被解读为可能指多个计算设备的集合或网络，所述多个计算设备中的每个计算设备均包括处理器或计算系统。机器可执行代码或指令可以由可以在相同的计算设备之内或者甚至可以被分布在多个计算设备上的多个计算系统或处理器来运行。

机器可执行指令或计算机可执行代码可以包括令处理器或其他计算系统执行本发明的一方面的指令或程序。用于执行针对本发明的各方面的操作的计算机可执行代码可以被写成一种或多种编程语言的任何组合，包括面向对象的编程语言(例如，Java、Smalltalk、C++等)和常规程序编程语言(例如，“C”编程语言或类似的编程语言)，并且被编译成机器可执行指令。在一些实例中，计算机可执行代码可以是高级语言的形式或是预编译的形式，并且可以与解读器联合使用，所述解读器在运行中生成机器可执行指令。在其他实例中，机器可执行指令或计算机可执行代码可以是对可编程逻辑门阵列进行编程的形式。

计算机可执行代码可以完全在用户的计算机上、部分在用户的计算机上、作为独立软件包、部分在用户的计算机上并且部分在远程计算机上，或者完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络连接到用户的计算机，所述网络包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)的连接。

参考根据本发明的实施例的流程图图示和/或方法、装置(系统)以及计算机程序产品的框图描述了本发明的各方面。应当理解，在适当时能够由计算机可执行代码形式的计算机程序指令来实施流程图、图示和/或框图的框的每个框或部分。还应当理解，当互不排斥时，可以对不同的流程图、图示和/或框图中的框进行组合。可以将这些计算机程序指令提供给通用计算机、专用计算机或其它可编程数据处理装置的计算系统以产生机器，使得经由计算机或其它可编程数据处理装置的计算系统运行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的单元。

这些机器可执行指令或计算机程序指令也可以被存储在计算机可读介质中，所述计算机可读介质能够指导计算机、其他可编程数据处理装置或其他设备来以特定方式起作用，使得被存储在计算机可读介质中的指令产生制造品，所述制造品包括实施在流程图和/或一个或多个框图框中指定的功能/动作的指令。

机器可执行指令或计算机程序指令也可以被加载到计算机、其他可编程数据处理装置或其他设备上，以引起要在计算机、其他可编程装置或其他设备上执行的一系列操作步骤，从而产生计算机实施的过程，使得在计算机或其他可编程装置上运行的指令提供用于实施在流程图和/或一个或多个框图框中指定的功能/动作的过程。

本文使用的“用户接口”是允许用户或操作者与计算机或计算机系统交互的接口。“用户接口”还可以被称为“人机接口设备”。用户接口可以向操作者提供信息或数据和/或从操作者接收信息或数据。用户接口可以使得来自操作者的输入能够被所述计算机接收，并且可以从计算机向用户提供输出。换言之，用户接口可以允许操作者控制或操纵计算机，并且接口可以允许计算机指示操作者的控制或操纵的效果。在显示器或图形用户接口上显示数据或信息是向操作者提供信息的示例。通过键盘、鼠标、跟踪球、触控板、指点杆、图形输入板、操纵杆、游戏手柄、网络摄像头、头戴式设备、脚踏板、有线手套、遥控器以及加速度计来接收数据是使得能够从操作者接收信息或数据的用户接口部件的全部示例。

本文使用的“硬件接口”涵盖使得计算机系统的计算系统能够与外部计算设备和/或装置交互和/或控制外部计算设备和/或装置的接口。硬件接口可以允许计算系统向外部计算设备和/或装置发送控制信号或指令。硬件接口还可以使得计算系统能够与外部计算设备和/或装置交换数据。硬件接口的示例包括但不限于：通用串行总线、IEEE 1394端口、并行端口、IEEE 1284端口、串行端口、RS-232端口、IEEE-488端口、蓝牙连接、无线局域网连接、TCP/IP连接、以太网连接、控制电压接口、MIDI接口、模拟输入接口以及数字输入接口。

本文使用的“显示器”或“显示设备”涵盖适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、听觉和/或触觉的数据。显示器的示例包括，但不限于：计算机监视器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(CRT)、存储管、双稳显示器、电子纸、矢量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子显示面板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影仪以及头戴式显示器。

医学成像数据在本文中被定义为由医学成像系统做出的描述对象的记录测量结果。医学成像数据可以被重建成医学图像。医学图像在本文中被定义为对医学成像数据内包含的解剖数据的重建的二维或三维可视化。能够使用计算机来执行这种可视化。

k空间数据数据在本文中被定义为是在磁共振成像扫描期间使用磁共振装置的天线记录的对通过原子自旋发射的射频信号的测量结果。磁共振数据是医学图像数据的示例。

磁共振成像(MRI)图像或MR图像在本文中被定义为是对在磁共振成像数据内包含的解剖数据重建的二维可视化或三维可视化。能够使用计算机来执行这种可视化。磁共振图像是医学图像的示例。

附图说明

下面将参考附图并且仅通过示例的方式描述本发明的优选实施例，在附图中：

图1图示了医学系统的示例；

图2示出了图示使用图1的医学系统的方法的流程图；

图3图示了医学系统的另外的示例；并且

图4图示了医学系统的功能。

附图标记列表

100 医学系统

102 计算机

102′任选的计算机

104计算系统

104′计算系统

106硬件接口

106′硬件接口

108任选的用户接口

108′任选的用户接口

110存储器

110′存储器

112 网络连接

120 机器可执行指令

120′机器可执行指令

122 至少一个神经网络

124 隐藏层输出

126 匿名图像指纹

128 图像评估

130 医学图像

140 历史图像数据库

142 一组相似图像

144 历史数据

146 过滤器模块

200 接收医学图像

202响应于将医学图像输入到至少一个经训练的神经网络中的每个经训练的神经网络中而接收隐藏层输出

204提供匿名图像指纹，该匿名图像指纹包括来自至少一个经训练的神经网络中的每个经训练的神经网络的隐藏层输出

206通过将匿名图像指纹与图像数据库中的图像指纹进行比较来识别一组相似图像

208提供历史数据的至少部分作为图像评估

210响应于使用匿名图像指纹查询历史图像数据库而接收对医学图像的图像评估

300 医学系统

302 磁共振成像系统

304 磁体

306 磁体的膛

308 成像区

309 感兴趣区域

310 磁场梯度线圈

312 磁场梯度线圈电源

314 射频线圈

316 收发器

318 对象

320 对象支撑物

330 脉冲序列命令

332 k空间数据

334 元数据

336 词袋模型

338 一组图像描述符

340 显示器

342 扫描规划指令

400 图像采集

402使用CNN生成特征向量F404将特征向量F发送到云

406接收最佳匹配情况的工作流程标签和特征向量F(C)

408从云查询中选择具有高特征相似性的结果

410将工作流程提议显示给操作者

具体实施方式

在这些附图中，相同编号的元件要么是等效的元件，要么执行相同的功能。如果功能是等效的，则先前已经讨论过的元件将不必在后面的附图中再进行讨论。

图1图示了医学系统100的示例。医学系统被示为包括具有计算系统104的计算机102。计算系统104可以例如表示位于一个或多个位置的一个或多个处理核心。计算系统104被示为连接到任选的硬件接口106。硬件接口106可以例如是使得计算系统104能够与医学系统100的其他部件以及其他计算机102′通信的接口。例如，硬件接口106可以是网络接口。计算系统104还被示为连接到任选的用户接口108。

计算系统104还被示为连接到存储器110。存储器110旨在表示计算系统104可访问的任何类型的存储器。在该示例中，计算机102被示为任选地连接到额外的计算机102′。额外的计算机102′同样被示为包括计算系统104′，计算系统104′连接到任选的用户接口108′、硬件接口106′和存储器110′。在一些示例中，医学系统100仅包括作为计算机102的部分的那些部件。在其他示例中，医学系统100包括计算机102、任选的计算机102′和网络连接112的部件。

网络连接112被示为连接硬件接口106、106′，并且使得两个计算系统104和104′能够通信。在其他示例中，计算机102和任选的计算机102′的部件相互组合。例如，存储器110和存储器110′的内容可以组合在一起以形成单个计算机102。计算机102′可以例如表示远程服务器或基于云的计算机。

存储器110被示为包含机器可执行指令120。机器可执行指令120可以例如使得计算系统104能够提供基本的图像和数据处理任务并且能够控制医学系统100。同样，存储器110′被示为包含机器可执行指令120′，机器可执行指令120′使得计算系统104′能够执行等同的任务。

存储器110还被示为包含至少一个神经网络122。至少一个神经网络122已经被修改为使得它们提供隐藏层输出124。隐藏层输出124可以被认为是从至少一个神经网络122的隐藏层提供的特征向量。如果有一个以上的神经网络122，那么可以例如将来自神经网络中的每个神经网络的隐藏层输出124级联在一起。存储器110还被示为包含匿名图像指纹126。在最简单的情况下，匿名图像指纹126仅仅是来自至少一个神经网络122的隐藏层输出124。存储器110还被示为包含医学图像130，医学图像130可以被输入到至少一个神经网络122中以生成隐藏层输出124。

匿名图像指纹126还可以包含除了隐藏层输出124以外的信息。例如，可能存在与医学图像130相关联的元数据，例如，扫描类型或可以用于缩小历史图像数据库内的搜索范围的其他数据。匿名图像指纹126还可以例如包括图像描述符或描述医学图像130的其他数据。存储器110还被示为包含医学图像130的图像评估128。这是响应于查询历史图像数据库140而接收到的。

在存储器110中，示出存在历史图像数据库140。历史图像数据库140包括与图像指纹相关联的历史图像。应当注意，在一些示例中，历史图像数据库140可以包含原始图像，或者历史图像数据库140可以仅包含这些历史图像的图像指纹。图像数据库中的历史图像中的每幅历史图像或仅图像指纹与历史数据相关联。可以利用匿名图像指纹126来查询历史图像数据库140。计算机102将匿名图像指纹126传送到计算机102′。计算机102′然后利用匿名图像指纹126来查询历史图像数据库140。这样就返回了一组相似图像142。这组相似图像142包括历史数据144。历史数据144能够被认为是历史图像数据库140中关于图像的各种信息的容器。例如，如果图像具有伪影或者图像具有硬件故障或者在历史图像中的一幅历史图像中存在特定诊断或肿瘤，那么可以在历史数据144中被标示这些信息。

在一些情况下，简单地返回历史数据144作为图像评估128。在其他示例中，还可以存在过滤器模块146，过滤器模块146从历史数据144中选择用于编译或提供图像评估128的数据类型。例如，过滤器模块146可以移除某些类型的数据。例如，如果医学系统100的操作者只对如何配置医学系统感兴趣，那么过滤器模块146可以移除其他类型的数据。在其他实例中，医学系统100的操作者可能正在寻找某些类型的肿瘤或某些类型的图像伪影。这也可以使用过滤器模块146来选择。因此，医学系统100可以提供一种无需预先训练就能够提供各种类型的信息的系统。匿名图像指纹126可以是来自被输出到隐藏层输出124中的神经元的个体数值。可以使用各种分组和最近邻算法来确定这组相似图像142，而无需预先训练。

图2示出了图示操作图1所示的医学系统100的方法的流程图。首先，在步骤200中，接收医学图像130。在一些示例中，可以通过将医学图像130传送到存储器110来接收医学图像130。在其他示例中，医学系统100还可以包括医学成像系统，并且可以通过采集医学图像130来接收医学图像130。接下来，在步骤202中，通过将医学图像130输入到至少一个神经网络122中来接收隐藏层输出124。接下来，在步骤204中，计算系统104使用隐藏层输出124来构建匿名图像指纹126。如果有额外的元数据或描述符可用，那么在一些实例中，可以将这些额外的元数据或描述符附到隐藏层输出124以构建匿名图像指纹126。接下来，在步骤206中，通过利用匿名图像指纹126查询历史图像数据库140来提供这组相似图像142。

在匿名图像指纹126仅包括隐藏层输出124这一最简单的情况下，可能存在某种最靠近的邻居或度量，这种最靠近的邻居或度量用于计算哪些历史图像属于这组相似图像142。在匿名图像指纹126包括额外的描述符或元数据的情况下，这些描述符或元数据可以用于首先查询历史图像数据库140并且在使用度量或最近邻算法之前减少图像的数量。这例如可以使系统更高效。接下来，在步骤208中，提供历史数据的至少部分作为图像评估128。例如，可以存在过滤器模块146，过滤器模块146减少用于构建图像评估128的历史数据144的量。最后，在步骤210中，计算机102从另一计算机系统102′接收图像评估128。如前所述，在一些示例中，可以组合计算机102和102′。

图3图示了医学系统300的另外的示例。医学系统300类似于图1所示的医学系统，不同之处在于医学系统300被示为额外地包括磁共振成像系统302。磁共振成像系统302旨在总体上描绘医学成像系统。例如，可以用例如诊断超声系统、计算机断层摄影系统、正电子发射断层摄影系统或单光子发射断层摄影系统来代替磁共振成像系统302。

磁共振成像系统302包括磁体304。磁体304是超导圆柱型磁体，该超导圆柱型磁体具有穿过其中的膛306。使用不同类型的磁体也是可能的；例如，也可以使用分裂式圆柱形磁体和所谓的开放式磁体。分裂式圆柱形磁体类似于标准圆柱形磁体，不同之处在于低温恒温器已被分成两段，以允许接近磁体的等平面，这样的磁体可以例如与带电粒子束治疗结合使用。开放式磁体具有两个磁体部段，一个在另一个之上，其间有足够大的空间以容纳对象：这两个部段区域的布置类似于亥姆霍兹线圈。开放式磁体很受欢迎，因为对象受到的限制较少。在圆柱形磁体的低温恒温器内部，存在超导线圈的集合。

在圆柱形磁体304的膛306内存在成像区308，在成像区308中磁场足够强且均匀而能够执行磁共振成像。感兴趣区域309被示出在成像区308内。所采集的磁共振数据通常是针对感兴趣区域采集的。对象318被示为由对象支撑物320支撑，使得对象318的至少部分在成像区308和感兴趣区域309内。

在磁体的膛306内还存在一组磁场梯度线圈310，这组磁场梯度线圈310用于采集预备磁共振数据，以对磁体304的成像区308内的磁自旋进行空间编码。磁场梯度线圈310连接到磁场梯度线圈电源312。磁场梯度线圈310旨在具有代表性。通常，磁场梯度线圈310包含三组单独的线圈，这三组单独的线圈用于在三个正交的空间方向上进行空间编码。磁场梯度电源向磁场梯度线圈供应电流。供应给磁场梯度线圈310的电流是根据时间受控的，并且可以是斜坡变化的或脉冲变化的。

邻近成像区308的是射频线圈314，射频线圈314用于操纵成像区308内的磁自旋的取向，并且用于接收来自成像区308内的自旋的无线电发射。射频天线可以包含多个线圈元件。射频天线也可以被称为通道或天线。射频线圈314连接到射频收发器316。射频线圈314和射频收发器316可以被单独的发射线圈和接收线圈以及单独的发射器和接收器代替。应当理解，射频线圈314和射频收发器316是代表性的。射频线圈314还旨在表示专用发射天线和专用接收天线。同样，收发器316也可以表示单独的发射器和接收器。射频线圈314也可以具有多个接收/发射元件，并且射频收发器316可以具有多个接收/发射通道。例如，如果执行诸如SENSE之类的并行成像技术，那么射频线圈314将具有多个线圈元件。

收发器316和梯度控制器312被示为连接到计算机系统102的硬件接口106。

存储器110被示为包含脉冲序列命令330。脉冲序列命令是能够用于控制磁共振成像系统302以采集k空间数据332的命令或能够被转换成该命令的数据。存储器110还被示为包括k空间数据332，k空间数据332是通过利用脉冲序列命令330控制磁共振成像系统302来采集的。计算系统104还可以根据k空间数据332来重建磁共振图像(医学图像130)。k空间数据332旨在表示一般医学成像数据。

存储器110还被示为包含元数据334，元数据334可以例如描述对k空间数据332的采集。例如，它可以指示扫描的类型或者甚至对象318被扫描的区域309。元数据334可以例如被附到匿名图像指纹126。

存储器110还被示为包含词袋模型336。医学图像130可以例如被输入到词袋模型336中，以任选地提供一组图像描述符338。像元数据334一样，如果存在这组图像描述符338，那么可以任选地将这组图像描述符338附到匿名图像指纹126。然后可以使用元数据334和/或这组图像描述符338来任选地查询历史图像数据库140，以缩小对这组相似图像142的搜索范围。

医学系统300被示为还包括显示器340。显示器340被示为描绘了使用图像评估128生成的扫描规划指令342。扫描规划指令342可以例如是关于如何配置医学系统300以进行进一步的医学图像采集的一组详细指令。

如上所述，操作医学成像系统(例如，MRI或CT)的技术人员常常面临无法预见的情况(例如，图像质量问题或没有预料到的病理情况)。目前，操作者通常必须依靠他/她的经验来选择最合适的动作(例如，修改采集参数)。这种流程易于出错，特别是对于缺乏经验的工作人员和/或诸如硬件缺陷之类的罕见事件。

示例可以提供所公开的用于医学成像系统的多站点工作流程辅助工具(医学系统)。它依赖于所采集的图像(医学图像130)与来自多个其他站点(来自历史图像数据库144)的相似情况的比较，从而访问了大量知识。相似性评估基于使用专用卷积神经网络(使用至少一个神经网络122)计算的特征向量(隐藏层输出124)。由于只有这些特征向量(以及可能的元数据)在站点之间共享，因此系统不会违反隐私规定。替代地，该系统也能够在单个站点内使用，以例如确保遵守针对偶然发现的内部指南。

先进的成像系统(例如，MRI或CT扫描器)需要有很高技能的操作者。在临床常规中，技术人员必须能够处理各种各样的无法预见的情况，包括需要适当纠正措施的图像质量问题以及可能需要插入额外的专用扫描的病理情况。图像质量问题的示例包括FOV选择不当、患者定位不正确、金属伪影、运动伪影或由于技术限制(例如，准备阶段不成功)而产生的问题。在大多数情况下，足够的纠正措施可以解决这些问题。需要额外扫描的病理情况的示例是血管狭窄，它需要血管造影术和/或灌注序列以实现可靠的诊断。

在当前的临床常规中，技术人员通常依靠他/她的经验来分析图像并记住以前情况中的适当措施。这种情况很成问题：需要很长的训练时间来使新的技术人员能够可靠地分析图像并积累足够的经验。另外，许多有问题的情况(例如，偶然发现或硬件缺陷)很少发生，因此即使是有经验的技术人员也很难正确解读图像。对于病例数较少的临床站点来说，这可能尤其成问题。

原则上，可以使用在全球范围内由医学扫描器(例如，磁共振成像系统)持续产生的大量医学图像来缓解该问题：与来自其他站点的相似图像的比较常常揭示出最适当的措施。特别地，具有不太专业的健康护理概况的较小站点可以从访问具有专业科室和员工的大型站点的知识数据库中获益匪浅。然而，由于许多国家有严格的法律和隐私法规，因此诊所之间共享医学图像具有挑战性。

示例可以提供一种系统，这种系统使得能够(经由历史图像数据库)快速比较医学图像与来自多个其他临床站点的图像，从而实现了依赖于大量知识的工作流程辅助。这种比较基于使用专用的经预训练的卷积神经网络(CNN)计算的特征向量(匿名图像指纹126)，使得仅这些匿名向量需要在站点之间共享。因此，该系统不违反隐私法规。

图4图示了可以实施的医学系统的另外的示例。图4提供了对示例的示意性概览，其中描绘了没有预料到的颅内出血。图4以流程图的形式图示了这一点。这些操作的步骤被分成将由例如在图1和图3中描绘的计算机102以及例如也在图1和图3中描绘的第二计算机102′执行的那些步骤。在该示例中，计算机102′被实施为基于云的节点。

该方法开始于步骤400，在步骤400中，采集图像。这是医学图像130。接下来，使用卷积神经网络来生成402特征向量。这等同于使用至少一个神经网络122来生成匿名图像指纹126。在该步骤中国，使用经预训练的CNN来计算所采集的图像的特征向量。在最简单的情况下，该网络是(理想地是在医学图像上)被训练用于图像分类的标准CNN。然而，在一项概念验证研究中，在ImageNet数据集(即，自然图像)上被训练用于分类的CNN也获得了令人满意的结果。使用位于网络深处的隐藏层(例如，ResNet中的密集层之前的最后一个卷积层)的输出来提取特征向量。所提取的特征向量对应于所输入的图像数据的高级抽象。然后通过比较不同图像的特征向量与标准度量(例如，均方误差(MSE)、L1范数、余弦相似度等)或基于机器学习的相似性量度(参见下面的示例3)来评估图像相似度。

重要的是，应当限制对CNN的参数的访问，以确保通过反推法无法估计图像内容。

接下来，在步骤404中，将特征向量发送到基于云的计算机102′。当特征向量到达基于云的计算机时，云节点然后查询它们的本地数据库并选择其相关联的特征向量与图像130的特征向量f产生高相似性得分的情况或历史图像。在该示例中，将数据库描述为存储这些图像。然而，不需要将图像存储在基于云的计算机102′本身中。可以将数据与图像指纹相关联。这将提供例如使包含在计算机系统102′中的数据库的历史数据匿名化的手段。然后，将计算出的特征向量发送到中心节点，在中心节点处，将计算出的特征向量与来自不同站点的其他向量进行比较。这些向量中的每个向量都与对应的工作流程标签存储在一起，该工作流程标签描述了最适当的措施(例如，添加特定序列以用于进一步的图像采集)。然后将最佳匹配结果返回到查询站点(图4中的站点1)，并且将与最佳匹配(最高相似性得分)相关联的工作流程推荐显示给操作者。

接下来，在步骤406中，接收最佳匹配情况的工作流程标签和特征向量。在一些情况下，不接收特征向量，仅接收工作流程标签或等效的图像评估128。接下来，在步骤408中，从云查询中选择具有高特征相似性的结果。这可以由如图1和图3所示的计算机102或计算机102′来执行。最后，在步骤410中，将工作流程或图像评估128显示给操作者。

对于许多应用，能够自动提取工作流程标签(用于稍后提供图像评估128)，而不需要操作者的手动注释：

o通过简单的日志文件分析能够检测到在成像协议中插入新的扫描的插入操作。

o通过检测在不修改几何参数的情况下重复的扫描能够提取修改扫描参数以减轻伪影的修改操作。

o通过分析(通常也包含在日志文件中的)工作台移动能够检测对患者的重新定位。

通过简单的用户交互模块也能够获得更详细的注释，该用户交互模块收集特定情况下的反馈(“为什么以这种方式重复扫描？这个流程成功吗？”)。

示例：

1、在一个示例中，该系统被用作单个临床站点内的内部工具，其中，本地图像存档用于查找最相似的图像。如果应当遵循内部指南(例如，如果出现偶然发现，那么运行已定义的额外扫描列表)，那么该流程能够是希望的流程。另外，该应用场景的优点在于，可以以受限的隐私关注将包括图像在内的以前检查的细节显示给用户。

2、在另一示例中，医学系统还用于自动扫描规划：在采集了调查/侦察扫描之后，计算对应的特征向量并将其与来自其他站点的向量进行比较。在这种情况下，返回到查询站点的工作流程标签是扫描规划参数，即，角度/偏移参数。

3、在另一实施例中，针对目标图像相似性任务来调整对经训练的神经网络的训练，例如通过训练网络以产生得到更好的匹配(更相似的图像)的特征向量来实现这一点。此外，代替将不同的特征向量与诸如MSE之类的标准度量进行比较，能够训练专用网络来优化这种比较(即，基于机器学习的相似性量度)。

还能够通过在相似性量度中包括系统信息(例如，扫描器类型)、协议信息(T1w、T2w、……)或者甚至患者信息(年龄、性别、临床指征……)来实现更全面的比较。

4、除了CNN特征之外，还可以使用计算机视觉领域的技术来搜索相似的图像。例如，常见的方法包括使用视觉词袋模型。使用这种方法，在第一步骤中，使用特征检测器来识别图像中的相关区域，同时根据特征描述符来表征这些区域。在第二步骤中，将这些特征与一组有限的码本条目进行比较，对应的频率直方图提供了能够以类似于CNN特征的方式用于搜索相关图像的表示。

5、代替使用控制与其他站点的通信的中心节点，也能够实施站点之间的分散(p2p)通信。

虽然已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或示例性的，而非限制性的；本发明不限于所公开的实施例。

本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实施对所公开的实施例的其他变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实施在权利要求中记载的若干项的功能。虽然某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。计算机程序可以被存储/分布在合适的介质上，例如，与其他硬件一起或作为其他硬件的部分而供应的光学存储介质或固态介质，但是也可以以其他形式分布，例如，经由互联网或其他有线或无线的电信系统进行分布。权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (15)

1.一种医学系统(100、300)，包括：

存储器(110、110′)，其存储机器可执行指令(120、120′)和至少一个经训练的神经网络(122)，其中，所述至少一个神经网络中的每个神经网络被配置用于接收医学图像(130)作为输入，其中，所述至少一个经训练的神经网络中的每个经训练的神经网络包括多个隐藏层，其中，所述至少一个经训练的神经网络中的每个经训练的神经网络已被修改为响应于接收到所述医学图像而提供隐藏层输出(124)，其中，所述隐藏层输出是从所述多个隐藏层中的一个或多个隐藏层直接输出的；

计算系统(104、104′)，其中，对所述机器可执行指令的运行使所述计算系统：

接收(200)所述医学图像；

响应于将所述医学图像输入到所述至少一个经训练的神经网络中的每个经训练的神经网络中而接收(202)所述隐藏层输出；

提供(204)匿名图像指纹(126)，所述匿名图像指纹包括来自所述至少一个经训练的神经网络中的每个经训练的神经网络的所述隐藏层输出；并且

响应于使用所述匿名图像指纹查询历史图像数据库而接收(210)对所述医学图像的图像评估(128)。

2.根据权利要求1所述的医学系统，其中，所述历史图像数据库是经由网络连接(112)来查询的。

3.根据权利要求1或2所述的医学系统，其中，所述图像评估包括以下各项中的任一项：

对一个或多个图像伪影的识别；

对图像质量值的分配；

检索到的诊断指南；

用于重复对所述医学图像的测量的指令；

对额外医学图像的后续采集的建议；

对图像采集问题的识别；

对不正确视场的识别；

对不恰当对象定位的识别；

对无规律对象吸气的识别；

对金属伪影的识别；

对运动伪影的识别；

对图像中的异物的识别；

医学图像扫描规划指令；

一组工作流程推荐；以及

其组合。

4.根据权利要求1、2或3中的任一项所述的医学系统，其中，所述医学系统包括所述历史图像数据库，其中，所述历史图像数据库被配置为通过以下操作来提供所述图像评估：

通过将所述匿名图像指纹与所述历史图像数据库中的图像指纹进行比较来识别(206)一组相似图像(142)，其中，所述一组相似图像均包括历史数据；

提供(208)所述历史数据的至少部分作为所述图像评估。

5.根据权利要求4所述的医学系统，其中，所述匿名图像指纹与所述历史图像数据库中的图像指纹之间的所述比较是使用以下各项中的任一项来执行的：

将相似性量度应用于所述图像指纹中的每个图像指纹和所述匿名图像指纹；

将学习的相似性量度应用于所述图像指纹中的每个图像指纹和所述匿名图像指纹；

将度量应用于所述图像指纹中的每个图像指纹和所述匿名图像指纹；

计算所述匿名图像指纹与所述图像指纹中的每个图像指纹之间的Minkowski距离；

计算所述匿名图像指纹与所述图像指纹中的每个图像指纹之间的Mahalanobis距离；

将余弦相似性量度应用于所述匿名图像指纹与所述图像指纹中的每个图像指纹之间的差异；并且

使用经训练的向量比较神经网络。

6.根据前述权利要求中的任一项所述的医学系统，其中，所述神经网络是以下各项中的任一项：

经预训练的图像分类神经网络；

经预训练的图像分割神经网络；

U-Net神经网络；

ResNet神经网络；

DenseNet神经网络；

EfficientNet神经网络；

Xception神经网络；

Inception神经网络；

VGG神经网络；

自动编码器神经网络；

递归神经网络；

LSTM神经网络；

前馈神经网络；

多层感知器；以及

通过神经网络架构搜索得到的网络。

7.根据前述权利要求中的任一项所述的医学系统，其中，所提供的隐藏层输出是从以下各项中的任一项提供的：

卷积层；

密集层；

激活层；

池化层；

反池化层；

归一化层；

padding层；

dropout层；

递归层；

transformer层；

线性层；

重新采样层；

来自自动编码器的嵌入表示；以及

其组合。

8.根据前述权利要求中的任一项所述的医学系统，其中，所述存储器还存储词袋模型(336)，所述词袋模型被配置为响应于接收到所述医学图像而输出一组图像描述符(338)，其中，对所述机器可执行指令的运行还包括响应于将所述医学图像输入到所述词袋模型中而接收所述一组图像描述符，其中，所述匿名图像指纹还包括所述一组图像描述符。

9.根据前述权利要求中的任一项所述的医学系统，其中，所述医学系统还包括医学成像系统，其中，对所述机器可执行指令的运行还使所述计算系统：

控制所述医学成像系统以采集医学图像数据；并且

根据所述医学成像数据来重建所述医学图像。

10.根据权利要求9所述的医学系统，其中，所述医学图像系统是以下系统中的任一种系统：磁共振成像系统、计算机断层摄影系统、超声成像系统、X射线系统、荧光镜、正电子发射断层摄影系统，以及单光子发射计算机断层摄影系统。

11.根据权利要求10所述的医学系统，其中，所述匿名图像指纹还包括描述在对所述医学图像数据的采集期间所述医学成像系统的配置的元数据。

12.根据前述权利要求中的任一项所述的医学系统，其中，所述图像评估包括扫描规划指令(342)。

13.根据权利要求12所述的医学系统，其中，所述医学系统还包括显示器(340)，其中，对所述机器可执行指令的运行还使所述处理器在所述显示器上至少呈现所述扫描规划指令。

14.一种医学成像的方法，其中，所述方法包括：

接收(200)医学图像(130)；

响应于将所述医学图像输入到至少一个经训练的神经网络(122)中的每个经训练的神经网络中而接收(202)隐藏层输出(124)，其中，所述至少一个经训练的神经网络中的每个经训练的神经网络包括多个隐藏层，其中，所述至少一个经训练的神经网络中的每个经训练的神经网络已被修改为响应于接收到所述医学图像而提供隐藏层输出，其中，所述隐藏层输出是从所述多个隐藏层中的一个或多个隐藏层直接输出的；并且

提供(204)匿名图像指纹(126)，所述匿名图像指纹包括来自所述至少一个经训练的神经网络中的每个经训练的神经网络的所述隐藏层输出；并且

响应于使用所述匿名图像指纹查询历史图像数据库而接收(210)对所述医学图像的图像评估(128)。

15.一种计算机程序，包括机器可执行指令(120、120′)和至少一个经训练的神经网络(122)，所述计算机程序用于由控制医学成像系统(100、300)的计算系统来运行，其中，所述至少一个神经网络中的每个神经网络被配置用于接收医学图像(130)作为输入，其中，所述至少一个经训练的神经网络中的每个经训练的神经网络包括多个隐藏层，其中，所述至少一个经训练的神经网络中的每个经训练的神经网络已被修改为响应于接收到所述医学图像而提供隐藏层输出(124)，其中，所述隐藏层输出是从所述多个隐藏层中的一个或多个隐藏层直接输出的，其中，对所述机器可执行指令的运行使所述计算系统：

接收(200)所述医学图像；

响应于将所述医学图像输入到所述至少一个经训练的神经网络中的每个经训练的神经网络中而接收(202)所述隐藏层输出；

提供(204)匿名图像指纹(126)，所述匿名图像指纹包括来自所述至少一个经训练的神经网络中的每个经训练的神经网络的所述隐藏层输出；并且

响应于使用所述匿名图像指纹查询历史图像数据库而接收(210)对所述医学图像的图像评估(128)。

Images