CN108021819B - 使用深度学习网络的匿名和安全分类 - Google Patents

Abstract

使用深度学习网络的匿名和安全分类。机器学习分类器被用于更匿名的数据传送。诸如神经网络机器学习之类的深度学习导致具有多个不同的层的分类器。每个层处理在前的层的输出。当与对层的输入相比时，输出是不同的。通过本地应用层的子集，可以将得到的输出提供给云服务器用于应用到其余层。由于深度学习分类器的层的输出与输入不同，所以被传输到云服务器并且在云服务器处可用的信息比原始数据更匿名或与原始数据不同，云服务器还可以应用最近的机器学习分类器作为其余层。

Description

使用深度学习网络的匿名和安全分类

背景技术

本实施例涉及由远程服务器应用的机器学习。基于云的处理可以应用最近的机器学习方法和应用特征以提供快速和鲁棒的结果用于多种目的。例如，经由基于云的应用在社交联网站点上完成脸检测和标记。在关注诸如医学数据之类的隐私的情况下，由于服从规则（例如，如健康保险便利和责任法案（HIPPA）），相同的方法可能是有问题的。另外，在一些情况下，当处理个人照片时人们更喜欢隐私。如果在现场外完成处理，则军事应用也需要实质的安全性。最后，因为数据具有价值，所以尽管有优势，数据的所有者也可能不愿意在云中共享数据，而是可能代之以更喜欢仅本地运行应用。

去除标识符（匿名化）并且加密数据用于传输和存储是一种用于允许基于私有云的应用的技术方案。数据的所有者必须在正确地处理、加密、删除和使用数据方面完全信任应用提供者。然而，加密和服务器可能被破坏，并且因此可能不提供对隐私的足够保护。即使利用匿名化，数据也可以被用于标识患者。在照片的情况下，如果数据被损害，则人可以被容易地标识。在形态学医学图像（morphological medical image）中，可以通过形状特征来标识患者。

为了避免这些忧虑，可以在用户的机器上本地运行应用。该情况放弃了具有最近的应用和基于云的处理的优势的能力。通常用标记的图像或体积（volume）的数据库来训练此类系统，并且一旦部署，就在从新数据学习方面保持固定。不幸的是，在该情况下，系统可能从不从在临床使用中时犯的错误学习。另外，此类本地系统占用空间并且必须频繁地在专门化的工作站上运行。

发明内容

通过介绍，以下描述的优选的实施例包括用于用于匿名数据传送的机器学习分类器的使用的方法、系统、指令和非暂态计算机可读介质。诸如神经网络机器学习之类的深度学习导致了具有多个不同层的分类器。每个层处理在前的层的输出。当与对层的输入相比时，输出是不同的。通过本地应用层的子集，可以将得到的输出提供给云服务器用于应用于其余层。由于深度学习分类器的层的输出与输入不同，所以被传输到云服务器并且在云服务器处可用的信息比原始数据更匿名或与原始数据不同，云服务器还可以应用最近的机器学习分类器作为其余层。

在第一方面中，提供了一种用于在医学成像中的机器学习分类器的使用的方法。医学扫描器获取表示患者的扫描数据。第一处理器通过深度学习网络的层的第一集合处理扫描数据。深度学习网络包括层的第一集合和层的第二集合，并且层的第一集合包括两个或更多层。将层的第一集合的输出通过通信网络从第一处理器传输到第二处理器。输出与扫描数据不同并且对患者而言是匿名的。第二处理器通过深度学习网络的层的第二集合来处理层的第一集合的输出。层的第二集合的输出是对扫描数据的分类、评估或分割。将用于患者的扫描数据的分类通过通信网络从第二处理器传输到第一处理器。

在第二方面中，提供了一种用于用于匿名数据传送的机器学习分类器的使用的方法。在第一位置中的第一计算机上操作由总共k层组成的神经网络的第一n层。将从神经网络的第一部分得到的激活数据传输到在远离第一位置的第二位置处的云服务器。由第一计算机从云服务器接收神经网络的其余k-n层的输出。该输出来自神经网络的只第二部分的操作。在第一计算机上显示输出。

在第三方面中，提供了一种用于用于匿名数据传送的机器学习分类器的使用的方法。从第一机器接收由于原始数据应用于并非所有机器学习处理的部分而对人匿名的特征数据。第二机器用特征数据作为输入来执行机器学习处理的其余部分。将机器学习处理的结果传输到第一机器。

通过以下权利要求书来限定本发明，并且在该部分中没有什么应被看作是对那些权利要求的限制。以下结合优选的实施例讨论本发明的其他方面和优势并且之后可以独立地或组合地要求保护本发明的其他方面和优势。

附图说明

部件和图不一定按比例，代之以将重点置于说明本发明的原理。此外，在图中，相同的参考标号贯穿不同的视图指定相应的部分。

图1是用于用于匿名数据传送的机器学习分类器的使用的系统的一个实施例的框图；

图2图示了用于匿名数据传送和机器学习分类器的基于云的应用的本地和云机器之间的不同层的示例分布；

图3图示了用于在医学成像中的机器学习分类器的使用的方法的一个实施例；

图4是用于用于匿名数据传送的机器学习分类器的使用的方法的一个实施例的流程图；以及

图5图示了通过本地实现神经网络的一个或多个层提供的示例压缩和匿名化。

具体实施方式

当前应用本地运行或者带有潜在的隐私忧虑在云中运行。对于基于云的应用，将数据传送到云。用户必须信任应用提供者不将数据用于其他目的并且不允许其他人访问数据。网络和加密必须是安全的以维护隐私。提供信息用于对应用进行重新训练需要进一步的信任。对于本地运行的应用，不将数据传送到云，因此存在隐私违反的较少风险并且不需要信任云提供者。物理地安装任何升级，因此应用的最近的版本可能不可用。本地机器位置、可访问性和硬件可能限制有效性和使用。可以将重新训练限制于在一个位置处只是可用的样本，并且在本地设施处应用的专家不可用的情况下可能难以管理重新训练。

用提供的方法可以避免这些妥协。使用深度学习网络提供具有或不具有增量训练的匿名化的和安全的云处理。通过深度学习或其他机器学习方法来提供神经网络或其他分类器参数。第一层接受并且处理原数据（例如，图片、医学图像体积（medical imagevolume）、心电图数据等）。该原数据可以包括私有信息或者可以被用于将给定的情况与人相关。第一层和/或之后的层渐进地输出与网络的期望的目的有关的原始数据的较高级别内容。本地执行第一层。将来自第n隐藏层的数据发送到云以使用其余层来计算最终输出。来自第n层的该数据是固有地匿名的或比原始数据更匿名。例如，被设计以对脸进行标识的网络将提取在隐藏层中的与脸标识有关的抽象的脸概念。如果未针对此类情况训练网络，则该相同内容对于诸如对图像中的车进行标识之类的另一任务将不那么有用。相似地，被训练以对医学图像中的胸骨（sternum）进行标识的网络可能不包含将被重新应用于另一使用的较深级别上的必要特征。采用该抽象性质以提供数据用于由基于云的应用进一步处理。通过仅传送来自神经网络的较深层的数据，原始数据没有由于传送而被置于风险中，并且用于其他目的的重用被进一步限制。云服务器将来自较深层接收的数据应用于神经网络的其余部分，提供来自神经网络的结果。

通过选择要本地实现的深度学习分类器的层的数量，提供了数据安全性和可重用性的因素中的粒度。当与先前的层的输出比较时，每层添加了更多抽象性，因此本地运行的更多层增加了隐私性或减少了风险。由于附加的安全性和限制的重用保证，该保证可以促进进一步的数据共享和使用，使得更多数据可用于重新训练。

对于重新训练，可以对在云中实现的神经网络的部分进行重新训练而不变更神经网络的本地部分。为了进一步的保护，可以加密本地实现的层的参数。即使在提供针对对云的输出的访问的安全性违反的情况下，也需要参数来反转，如果甚至可能的话，传输的数据以导出原始数据。

在基于云的应用中传送真正匿名化的数据，其中，数据还可以被用于为了改进的结果对深度学习网络进行增量训练。可以减少将数据用于预期之外的其他目的可能性。用该技术方案，对应用提供者的基本信任不再是那样必要的，因为破坏云服务器不侵犯隐私。云服务器不具有标识信息，并且拥有的信息不容易被用于标识。发送到云服务器的数据仅用于当前应用的改进并且不能用于其他目的。通过设计，该数据是私有的。

机器学习网络可以具有各种应用之一。分类器被用于医学环境，诸如用于对组织或病变（lesion）进行分类、针对预后（prognosis）或诊断的评估或者用于产生分割。替代地，分类器用于在医学环境中或者不在医学环境中的人识别、对象识别或其他分析。以下讨论使用医学环境，其中患者的标识将被保持安全，但是可以使用其中数据被保持安全的其他环境。

图1是用于比原始数据的传送具有更匿名数据传送的机器学习的使用的系统的一个实施例的框图。该系统包括成像系统80、处理器82、存储器84、显示器86、通信网络87、服务器88和数据库90。可以提供附加的、不同的或更少的部件。例如，提供网络连接或接口，诸如用于与医学成像网络或数据档案系统联网。在另一个示例中，提供用户接口。作为另一个示例，不提供服务器88和数据库90，或者仅提供服务器88和数据库90。在其他示例中，服务器88通过网络87与许多成像系统80和/或处理器82连接。

处理器82、存储器84和显示器86是医学成像系统80的部分。替代地，处理器82、存储器84和显示器86是诸如与医学记录数据库工作站或服务器关联的、与成像系统80分离的档案和/或图像处理系统的部分。在其他实施例中，处理器82、存储器84和显示器86是诸如台式或膝上计算机之类的个人计算机、工作站、服务器、网络或其组合。在没有用于通过扫描患者来获取数据的其他部件的情况下，可以提供处理器82、显示器86和存储器84。

在相同位置处提供成像系统80、处理器82、存储器84和显示器86。位置可以是相同房间、相同建筑物或相同设施。该位置相对于服务器88而言是本地的。服务器88通过处于不同设施中或者通过处于不同城市、县、州或者国家而通过网络87被间隔开。服务器88和数据库90远离处理器82和/或成像系统80的位置。

成像系统80是医学诊断成像成像系统。可以使用超声、计算断层摄影术（computedtomography）（CT）、x-射线、荧光透视法（fluoroscopy）、正电子发射断层摄影术（positronemission tomography）（PET）、单光子发射计算断层摄影术（single photon emissioncomputed tomography）（SPECT）和/或磁共振（MR）系统。成像系统80可以包括发射机并且包括用于扫描或接收表示患者的内部的数据的检测器。

在一个实施例中，成像系统80是CT系统。x-射线源与构台（gantry）连接。检测器也与和x-射线源相对的构台连接。将患者定位在源和检测器之间。源和检测器在患者的相反侧并且在患者周围旋转和/或平移。检测的穿过患者的x-射线能量被转换、重建或变换成为表示患者中的不同空间位置的数据。

在另一个实施例中，成像系统80是MR系统。MR系统包括诸如低温磁体（cryomagnet）之类的主场磁体（main field magnet）和梯度线圈（gradient coil）。提供用于传输和/或接收的整体线圈（whole body coil）。可以使用局部线圈（local coil），诸如用于响应于脉冲接收原子发射的电磁能量。可以提供其他处理部件，诸如用于基于序列来规划和生成用于线圈的传输脉冲和用于接收并且处理接收的k-空间数据。用傅里叶处理将接收的k-空间数据转换成为对象或图像空间数据。

存储器84可以是用于存储数据或视频信息的图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓存存储器、硬盘驱动器、光学介质、磁介质、闪存驱动器、缓冲器、数据库、其组合或其他现在已知的或以后开发的存储器设备。存储器84是成像系统80的部分、是与处理器82相关联的计算机的部分、是数据库的部分、是另一个系统的部分、是图片档案存储器或者是独立的设备。

存储器84存储表示患者的医学成像数据、组成机器学习分类器的层中的一些的参数的权重或值、来自不同层的输出、机器学习矩阵的一部分和/或图像。存储器84可以替代地或附加地在处理期间存储数据。

存储器84或其他存储器替代地或附加地是存储表示可由编程的处理器82执行的供在医学成像中的机器学习分类器的使用的指令的数据的非暂态计算机可读存储介质。在诸如高速缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读存储介质之类的非暂态计算机可读存储介质或存储器上提供用于实现在本文中讨论的过程、方法和/或技术的指令。非暂态计算机可读存储介质包括各种类型的易失性的和非易失性的存储介质。响应于存储在计算机可读存储介质中或存储在计算机可读存储介质上的指令的一个或多个集合，执行在图中图示的或在本文中描述的功能、动作或任务。功能、动作或任务独立于特定类型的指令集合、存储介质、处理器或处理策略并且可以由单独或组合操作的软件、硬件、集成电路、固件、微代码以及诸如此类执行。同样地，处理策略可以包括多处理、多任务、并行处理以及诸如此类。

在一个实施例中，将指令存储在可移动介质设备上用于由本地或远程系统读取。在其他实施例中，将指令存储在远程位置中用于通过计算机网络或在电话线上传送。在又一其他实施例中，将指令存储在给定的计算机、CPU、GPU或系统内。

处理器82是用于机器学习分类的通用处理器、中央处理单元、控制处理器、图形处理器、数字信号处理器、三维渲染处理器、图像处理器、专用集成电路、场可编程门阵列、数字电路、模拟电路、其组合或其他现在已知的或以后开发的设备。处理器82是单个设备或串行、并行或分离地操作的多个设备。处理器82可以是诸如膝上或台式计算机之类的计算机的主处理器，或可以是用于在诸如在成像系统80中之类的较大系统中处理一些任务的处理器。处理器82被指令、设计、硬件和/或软件配置成执行在本文中讨论的动作。

处理器82被配置成执行以上讨论的用于本地学习的动作。在一个实施例中，处理器82被配置成实现机器训练分类器的部分但不是全部。实现层的子集。将原始数据输入到第一层。按顺序实现任何数量的附加层，导致原始数据的抽象性。该抽象化的数据更匿名，使得数据以如下方式与原始数据不同，其中查看适当格式的数据（例如，图像、医学记录或表）不能被用于标识患者。

处理器82被配置成通过网络87将抽象化的数据传输到服务器88并且从服务器88接收分类结果。处理器82可以被配置成生成用于接收分类结果的修正或验证并且将该修正或验证提供给服务器88的用户接口。

显示器86是用于输出视觉信息的监视器、LCD、投影仪、等离子体显示器、CRT、打印机或其他现在已知的或以后开发的设备（devise）。显示器86从处理器82、存储器84、成像系统80和/或服务器88接收图像、图形、文本、数量或其他信息。显示一个或多个医学图像。图像是关于患者的区域的。图像包括分类结果的指示，诸如图形或着色，所述分类结果诸如病变的类型的定位的解剖学结构或注释（例如，良性的或恶性的）。替代地或附加地，图像包括基于分类的数量。在没有患者的医学图像表示的情况下，可以将数量显示为图像。在其他实施例中，在没有表示患者的解剖的医学图像的情况下，显示分类结果。

网络87是局域、广域、企业、其他网络或其组合。在一个实施例中，网络87至少部分地是因特网。使用TCP/IP通信，网络87提供处理器82和服务器88之间的通信。可以使用用于通信的任何格式。在其他实施例中，使用专用或直接通信。

服务器88是处理器或处理器的组。可以提供多于一个服务器88。服务器88被硬件和/或软件配置成接收由在由处理器82实现的层的子集中的最后层输出的抽象化的数据。服务器88使用该抽象化的数据来分类。以抽象化的数据作为到其余层中的第一层的输入来应用机器学习分类器的其余层。其余层中的最后层输出分类结果。

服务器88可以进一步被配置成创建抽象化的数据和相应的分类的数据库。可以提供关于分类的修正的反馈。该反馈可以被用于重新训练。替代地，没有对机器学习分类器输出的分类的参考的抽象化的数据和验证的分类被存储用于重新训练。

数据库90是诸如存储器组之类的存储器，用于存储抽象化的数据、由服务器88实现的其余层的参数的权重或值、表示分类器的其余部分的矩阵和/或相应的分类。对于重新训练，数据库90针对抽象化的数据中的每个集合存储修正的分类和/或医师验证的分类。

用训练数据创建机器学习分类器。机器学习分类器对组织、患者或其他数据进行分类。分类是数据的标识、分割（例如，对器官被定位在何处进行分类）、预后、诊断或其他表征。具有地面实情（ground truth）的输入数据的样本被机器学习系统用于基于输入数据来学习分类、评估或分割。分类器学习输入数据的特征以从训练数据进行提取。替代地，至少对于输入，特征被人工编程，诸如过滤扫描数据和输入过滤的结果。训练通过一个或多个层将输入数据与分类相关。一个层可以是要被输入的特征集合的创建。对于深度学习网络，可以存在其他层，所述其他层根据可通过之前的（pervious）层的输出创建其他抽象特征。得到的机器训练分类器是用于输入、权重和组合以输出分类和/或类成员的可能性的矩阵。机器训练分类器包括将输入与类相关的两个或更多层。

可以使用任何机器学习或训练。在一个实施例中，使用神经网络。可以训练和应用其他深度学习的、稀疏的自动编码分类器（sparse auto-encoding classifier）。在学习要使用的特征和如何对给定的特征矢量进行分类中，机器训练是无监督的。在替代的实施例中，训练并且应用Bayes网络或支持矢量机器。可以使用层级的方法或其他方法。可以使用监督的或半监督的机器学习。

在创建之后，机器学习分类器包括至少两个层。对于人工编程的特征，所述两个层可以是将特征与另一层中的类相关的网络和一个层中的特征计算。对于深度学习网络，从训练数据学习而不是人工编程至少特征层。可以提供多于两个层，诸如具有三个或更多层的神经网络。

机器训练分类器被分布在处理器82和服务器88之间。由于处理器82实现机器训练分类器中的一些，所以由处理器82向服务器88输出的数据是更匿名的。抽象性将数据的性质改变为特定于机器学习分类器的形式，使得来自隐藏层的输出具有限制的使用并且可能不被用于标识患者。

在本地处理和云处理之间划分层。图2示出了分布在本地和远程或云处理之间的机器学习分类器的k层的分布。由于该分布，提供基于部分云的深度神经网络。因为不同层处理来自先前的层的信息，所以信息变得更抽象并且有时被压缩。给定总共k层的网络，其中每个层是完全连接层、卷积层、最大池化（max pooling）层、上卷积（up convolution）层或其他层之一，由处理器82本地计算直到第n层的数据。第n层的输出被发送到服务器88。同时还发送、之后的时间还发送或从不发送用于分类的正确标签。在云服务器88处应用其余k-n层。服务器88将结果返回到处理器82或返回到另一个位置或计算机。

通过决定哪个层n来输出数据用于发送用于进一步处理，粒度虑及在信息抽象性和原始数据之间的定制（custom）平衡。对于重新训练，给予云应用的正确标签被用于对网络的最后k-n层（用先前的数据完全地或增量地）进行重新训练以在未来提供改进的结果。n的选择决定了相对于原始数据的抽象性的量网络的什么部分可以被重新训练。设置

导致标准的基于云的应用，其中在没有机制保证用户的标签外（off-label）使用的情况下，裸数据被发送并且可以被用于任何目的。n的较高值导致更多抽象数据和更多“冻结”层（1-n），在没有重新部署或对本地机器进行更新的情况下，所述“冻结”层（1-n）不能被重新训练。

通过仅在层

处发送激活，本地应用实际上正在发送数据中的仅感兴趣的特征，而不是整个数据集合。还取决于层n+1的输入，数据还可以被压缩。附加地，由于仅第一n层存在于本地设备上，因此本地系统不能被反向设计（engineer）来提取完整的神经网络，在运行整个神经网络的独立机器上这将是可能。

图3示出了用于用于更匿名的数据传送的机器学习分类器的使用的方法的一个实施例。该方法在医学成像的上下文中被图示，但是可以被应用在其他上下文中。按顺序分离机器学习分类器，使得本地执行第一部分并且在云中执行最后部分（参见图2）。第一部分被用于变更要被传输的数据。在云服务器处使用的传输的数据比原始数据更匿名。

可以提供附加的、不同的或更少的动作。例如，图4是方法的另一个实施例。图4提供了具有附加的动作的图3的方法的更详细的示例。作为另一个示例，不执行动作36。对于图4，可以不执行各种动作中的任何动作，诸如动作14、20、26和/或36。

由图1的系统或其他系统执行图3和4的方法。例如，由诸如在医院或其他设施处的计算机或成像系统之类的本地机器执行动作12-22和32-34，并且在云中执行动作24-30和36，诸如由远离本地机器的云服务器执行动作24-30和36。

以示出的顺序（例如，上到下）或其他顺序执行动作。例如，先于动作12执行动作14。作为另一个示例，用在动作34之后被提供的正确标签将动作22分开为不同的传输用于不同类型的数据，使得然后在动作34之后也执行动作36。替代地，先于动作26-34中的任何动作执行动作36。

在图3中，在动作12中获取患者数据。在动作16中，机器本地运行n层的部分神经网络。从原始患者数据抽象来自部分网络的第n层或最后层的激活数据。该激活数据是神经网络的隐藏层数据并且在动作22中被发送到云用于在动作28中经由神经网络的其余部分继续处理。在此类技术方案中，机构（即，在本地设施处的实体）保留原始患者数据，并且在动作22中，仅传送与原始患者图像不具有明显相似性的匿名化的特征数据。由于正在被传送的数据单独地由用于该特定应用的理想化的特征组成，因此用户或医院更有可能共享并且发送该数据，因为该数据的值主要用于该特定目的。在动作30中，来自完整神经网络的应用的结果被提供回到本地设施，诸如被提供回到实现动作16的相同机器。显示该结果用于诊断或预后。

发送隐藏层数据和正确标签两者用于在可选的动作36中对基于云的k-n层进行重新训练。在本地设施或多个本地设施处的医师（用户）使用云服务器修正或确认给定的结果。这些修正和确认可以被用于改进应用。一旦收集了修正的标签或分类的任何数量的附加样本，就可以用在k-n层上的给定的数据对算法进行机器训练以提供改进。可以实现分类和/或学习的新方法用于由云服务器实现的k-n层。取决于神经网络的架构，诸如一些原始数据或由层n之前的层输出的数据之类的附加信息可以被k-n中的层使用。也可以以附加信息可以减少匿名性的理解发送该附加信息。

参考图4，在动作12中获取医学数据。用于信息的人工录入的医学扫描器、传感器和/或用户接口获取数据。处理器可以从图片档案通信系统或医学记录数据库提取数据。替代地，获取不在医学环境中的数据，诸如捕捉或加载照片或视频。

由成像系统获取医学图像或数据集合。替代地，获取来自记忆装置或存储器，诸如从PACS获取先前创建的数据集合。

可以获取任何类型的医学数据。例如，数据是家族史、实验室结果、EKG、脉搏血氧（pulse-ox）、临床数据或其他感测数据。在一个实施例中，用医学扫描器获取数据中的至少一些。可以获得任何类型的医学扫描器和表示患者的相应的扫描数据。例如，获得CT、MR、超声、PET或SPECT扫描数据。

扫描数据是医学成像数据。医学图像是表示患者的数据的帧。数据可以是任何格式的。当使用术语图像和成像时，图像或成像数据可以是先于图像的实际显示的格式。例如，医学图像可以是与显示格式不同的Cartesian或极坐标格式的表示不同位置的多个标量值。作为另一个示例，医学图像可以是输出到显示器用于生成显示格式的图像的多个红、绿、蓝（例如，RGB）值。医学图像可以是显示格式或另一格式的当前或之前显示的图像。图像或成像是诸如表示患者的扫描数据之类的可以被用于成像的数据集合。

可以使用任何类型的医学图像。在一个实施例中，医学图像是用CT系统获取的胸CT图像。例如，胸CT数据集合可以被用于检测肺中的支气管树（bronchial tree）裂隙（fissure）和/或血管。对于CT，原数据被重建成为三维表示。作为另一个示例，获取表示患者的MR数据。用MR系统来获取MR数据。使用用于扫描患者的成像序列来获取数据。获取表示患者的内部区的数据。对于MR，磁共振数据是k空间（k-space）数据。执行傅里叶分析以将来自k空间的数据重建成为三维对象或图像空间。

医学图像表示患者的组织和/或骨结构。替代地，医学图像表示在患者内的流、速度或流体。在其他实施例中，医学图像表示流和结构两者。对于PET和SPECT，扫描数据表示诸如摄取（uptake）之类的组织的功能。

医学图像表示患者的一维、二维或者三维区。例如，医学图像表示患者的区域或片。针对以二维或三维分布的多个位置中的每个提供值。获取医学图像作为数据的帧。数据的帧表示在给定时间或时段处的扫描区。数据集合可以表示随时间的区域或体积，诸如提供患者的4D表示。

对于动作16的处理而言本地获取扫描数据。例如，用于获取扫描数据的医学扫描器还实现机器学习分类器的部分。作为另一个示例，与用于医院或设施的局域网络连接的工作站或计算机实现在医院或设施中的机器学习分类器的部分，医学扫描器被定位在所述医院或设施中。替代地，在远离动作16的实现的位置处获取扫描数据。

在动作14中，存储本地使用的机器学习分类器的层的参数。记忆装置对于在动作16中的实现而言是本地的。用于实现机器学习分类器的部分的机器或计算机的存储器存储该部分的参数。存储用于参数的诸如在矩阵中的权重或值。

部分的参数形成层。对于卷积层，参数可以是应用于该层的过滤器核之一或过滤器核的组。存储输出的数量、过滤器核的大小、权重、相互连接或定义层的其他参数。可以使用在机器学习分类器中的层的任何现在已知的或以后开发的参数化。

在一个实施例中，对存储的参数进行加密。可以使用任何加密。需要密钥或密码来对参数的值进行解密用于使用。如果在动作22中输出的数据由第三方拦截，则然后可以尝试通过内容重建来重建动作12的原始医学数据。为了执行该重建，攻击必须具有对层1-n的参数的值的访问。对本地运行的1-n层的值和设计进行加密可以阻止攻击者获得对原始值的访问。如果在足够大的值处选择n，则即使攻击者既拦截了数据并且又击败了在本地应用上的加密，原始图像的准确的重建可能也是不可能的。在替代的实施例中，不对参数的值和/或设计（例如，哪些参数）进行加密。

在动作16中，本地操作机器学习分类器的只一部分。机器学习分类器包括操作的序列，其中的每个操作响应于训练。例如，将深度学习应用于创建诸如神经网络之类的多层机器学习分类器。作为另一个示例，机器学习包括学习将被随后的处理使用的一个或多个特征。机器训练分类器的一个部分提取特征。其他部分可以处理相继的特征以确定类成员。本地应用总体机器学习分类器的仅部分。例如，本地应用k层中的n层，其中k大于n，诸如在给定的位置（例如，建筑物、房间、设施或相同计算机系统）处应用。

在适于分类的数据上操作机器训练分类器的本地部分。训练分类器以根据输入信息的一个或多个类型来分类。例如，输入与人有关的数据。该数据可以是照片、医学扫描数据、医学传感器数据和/或其他数据。

在医学成像示例中，训练机器学习分类器以提供自动化计算机辅助诊断（CAD）。CAD报告标识的肿瘤、分割的组织、病变的类型或其他诊断信息。在用于机器学习分类的基于云的应用的传统的情况中，通过计算机网络传送针对整个体积的扫描数据。机器训练分类器的提议的划分可以减少数据大小以及保护隐私。通过选择n的较大值和/或具有较少输入的激活层用于本地操作，发生数据的较大压缩。

在另一个示例中，操作机器学习分类器用于来自照片的对象或人标识。在照片上操作机器学习分类器的本地部分。个人照片或其他照片可以受益于先进的算法以对人进行标识和标记和/或对场景进行定位。然而，如果图像被加载到云中用于处理，则隐私是忧虑，诸如不想以可以被其他人窃取的方式标识人。数据安全性破坏先前已经损害了人的个人照片。使用提议的方法，用户的本地计算机仅发送抽象化的数据，所述抽象化的数据被特别地设计用于分类应用并且对于替代的使用是几乎没有价值的。这将不仅减少从包括的服务器获得的数据的值，而且还使得它成为对于黑客的较无价值的目标。

在又一示例中，操作机器学习分类器用于通过诸如可穿戴设备之类的来自人的传感器的测量的分析。可穿戴设备或其他传感器收集可以被传输的分析信息用于基于云的分析。通过本地实现机器学习分类的部分，可以以压缩格式发送数据，所述压缩的格式隐藏了用户可标识的信息。作为示例，用户具有记录详细心率数据的表。被发送到云网络的数据是用于预期应用的理想的压缩格式。用户可以具有增加的信任度，因为归因于本地操作分类器的部分，数据几乎不具有与原始形式的相似性。

为了操作机器学习分类器的本地部分，在动作18中处理输入数据。在医学成像的示例中，处理扫描数据。处理器在扫描数据上进行操作，将扫描数据输入到第一层、生成第一层的输出并且然后将输出转发作为任何接下来的层的输入。该处理通过深度学习网络的层继续。在通过所有的本地层之后，最后的本地层输出数据的抽象化特征集合以传送到云用于在动作28中通过机器学习分类器的其余部分进一步处理。可以本地使用任何数量的层，诸如一个或多个层。

在图2的示例中，存在本地处理的层的子集中的n层。例如，机器学习分类器包括k层。层的设计（例如，层的类型和层的数量）被创建为学习的部分或由程序员设置。通过机器学习来学习定义每个层的参数。具有已知分类的表示其他患者的扫描的训练数据被用于训练机器学习分类器。在该示例中，深度学习网络是用层的两个集合来学习的神经网络。指派层1-n的第一集合以被本地处理，并且指派层k-n的第二集合以在云中或远离本地处理被处理。本地集合可以是一个、两个或更多层（图2示出了在本地集合中的至少3层）。云集合可以是一个、两个或更多层（图2示出了在云集合中的两层）。

可以提供层的任何划分。通过选择值n用于转移（pass off）到基于云的处理或应用中来提供粒度。n的选择确定了在传送的数据中的抽象性的度。可以将指派用于本地处理的层提供给一个或多个位置，诸如提供给多个医院。在机器学习分类器将要被升级的情况下，在云中处理的层的升级可以被更容易地管理，诸如在一个或一些数量的位置处升级。本地层基本上是固定的，因为本地层可能不如在云中的层那样容易地被升级。因此，要被指派用于本地处理的层的数量和类型可以被保持尽可能的鲁棒。将本地处理限制到尽可能少的层可能有帮助，但是与匿名化的级别一起被权衡。使用卷积、最大池化或两者，而不本地使用完全连接的或上卷积（up convolution）层可以导致更鲁棒的划分。在云中处理包括完全连接的和/或上卷积层的任何层。在替代的实施例中，本地包括一个或多个完全连接的层和/或上卷积层。

在保持本地层鲁棒的另一个方法中，即使这些图像不是必要的医学图像，也用从在数百万或数十亿的图像上训练的网络获得的权重来初始化用于本地层的训练权重。用于另一个分类器或使用具有很多更可用的样本的图像的相同层结构但不同类型的训练被用于初始化训练，其中其余训练基于初始权重并且训练数据特定于用于医学成像的分类。

在动作20中，对来自通过本地层的处理的匿名化数据的输出特征集合进行加密。可以使用诸如无损加密之类的任何加密。加密和解密可以被包括在深度学习中，其中层分布在训练之前是已知的，使得可以使用有损加密。在其他实施例中，在没有加密的情况下执行训练。提供加密用于实现。在替代的实施例中，不使用加密。对于没有加密的隐私依赖于通过经过本地层的处理的抽象性。

在动作22中，处理器使用接口卡和通信网络将输出特征集合传输到云服务器或处理器。例如，在具有医学扫描器的设施中的处理器，诸如是医学扫描器的部分，向云服务器进行传输用于用机器学习分类器的其余部分完成分类。云服务器远离该设施，诸如在不同的建筑物、城市、州或国家中。

传输各种类型的信息中的任何类型的信息。例如，传输包括用于保留的正确结果、应用的选择和/或本地处理的最后层的输出。可以传输附加的、不同的或较少类型的信息，诸如只是传输最后层或其他本地层的输出。

在一个实施例中，本地层可以与多于一个其他应用一起被使用。本地层对多个机器学习分类器而言是公共的。从第n激活层获得的数据可以被置于完全不同的网络中用于检测或执行相似任务。例如，设计网络以分析肝脏中的肿瘤并且确定肝脏中的肿瘤为良性的或恶性的。在第n层处的相同特征还可以潜在地被用于确定肾脏中的肿瘤是良性的还是恶性的。这可以通过用具体用于肾脏肿瘤的新分类网络替代n+1到k层（即，云层）来完成。训练用于不同应用的不同的云层集合以使用相同的本地层作为初始层。不同训练数据被用于随后创建的应用，但是最初被固定的本地层处理。与其中医师或医院将不得不放弃完整的数据集合的传统方法不同，传输仅对云层的肿瘤分类或训练有用的特征。这限制了数据的重用价值并且建立了通过设计来设置的信任，虑及潜在更多的合作者和数据的更安全的和潜在压缩的传输。为了使用，传输包括要在云中针对给定患者被使用的机器学习分类器的相应的其余部分和应用中的哪个的选择。

传输包括本地层的输出。传输来自本地层的最后层的输出。例如，传输来自层的本地集合的最后隐藏层的激活数据。取决于机器学习分类器的设计，可以使用来自其他层的输出。

即使未加密，输出也与用于本地处理的扫描数据输入不同。层的处理创建了对患者而言比原始患者数据更匿名的输出。对于成像，如果用于生成图像，则输出可以不包括可以被容易地与特定患者相关的特征。在没有反向设计或不具有用于本地层的参数或权重的情况下，可能无法将数据与特定患者相关。即使知道本地层的参数或权重，可能也无法相关数据。本地层的处理生成相对于扫描数据是抽象的输出，因此本地层的处理去除了人的标识信息而维持了特定于分类的信息。

图5图示了在通过神经网络的本地层之后要被传输的匿名化激活数据的示例。机器学习分类器将补丁的区或者在体积中的区分类为骨、血管或两者都不是。在左边的图像示出了原始图像数据，而在右边的线性结构表示在通过单个层之后的相同数据。

激活数据与输入扫描数据不同。在该示例中，使用表示患者的一个或多个多骨（boney）区的体积作为输入。体积是测定体积的CT图像的

子体积，提供15片。图5示出了15片中的3片作为图像。一旦该体积通过单个本地层（即，在到达云中的完全连接层三之前），激活数据就是由根据先前的层确定的特征组成的数据的仅矢量。该激活数据由浮点值组成。为了查看，通过将最大值线性映射到白并且将最低值线性映射到黑来将浮点值表示为图像。注意，在图5的右侧的该线性图像是用于说明性的目的并且可以不执行此类表示。代之以，传输这些浮点值。

图像示出了匿名化的示例。即使获得了浮点值，抽象化的浮点值也不指示特定患者的骨中的足够的结构以将该患者与其他患者区分开。与原始数据相比，部分处理的数据是不同的并且甚至被压缩。特别地训练部分网络用于骨检测，因此变更的数据可能难以用于其他目的。事实上，该数据甚至可以未经加密被发送而不损害患者的标识，因为重建是不可能的或极其困难的。

不是将整个体积传送到云，通过深度学习网络的仅部分的本地处理减少了传输数据的大小并且如果由未授权的实体或甚至运行应用的实体访问，则使数据较不可能是有用的。通过选择n的较大值或具有较少输入的激活层，要被传输的激活数据被固有地压缩。替代地，如果由云中的层需要的数据的量大于或等于先前的层的数据的量，则不提供压缩。

对于照片，在动作22中传输的激活数据与照片不同。本地计算机仅发送抽象数据，所述抽象数据被具体设计用于给定应用并且对于替代的使用是无价值的。这不仅减少了从包括的服务器获得的数据的值，而且还使得传输的数据成为对于黑客的较无价值的目标。通过本地处理执行的任何压缩也可以是有益的。

对于诸如可穿戴设备之类的传感器，激活数据可以是不同的并且通过本地处理压缩。以隐藏了用户可标识信息的压缩格式发送激活数据。作为示例，用户具有记录了详细心率数据的表。在机器学习分类器的仅部分的本地处理之后，激活数据被发送到云中的其余分类器并且以用于预期应用的理想压缩格式被存储。归因于本地处理，用户可以对应用提供者具有增加的信任，因为传输数据几乎不具有与原始形式的相似性。

动作22的传输向云服务器或者远离动作18的本地处理的其他处理器提供激活数据。在动作24中，由云服务器或远程处理器接收传输。接收由机器学习分类器的部分输出的特征数据。归因于由部分而不是全部机器学习处理的对原始数据的处理，该特征数据对患者而言更匿名。

如果激活数据被加密，则应用解密。处理器使用密钥或密码对激活数据进行解密。如果传输的激活数据未被加密，则不应用解密。

在动作26中，处理器选择应用。在提供多于一个应用的情况下，选择要被应用于给定患者的应用。例如，选择肝脏肿瘤应用，并且不选择肾脏肿瘤应用。两个应用都使用来自本地处理的相同特征来分类，但是用于不同类型的组织。每个应用对应于机器学习分类器的不同的其余部分。例如，肝脏肿瘤应用具有与乳腺肿瘤应用不同的参数、权重和/或在层n+1到k中的层。选择确定要使用机器训练分类器的其余部分中的哪个。

在动作28中，机器（例如，云服务器或远程处理器）执行机器学习处理的其余部分。将接收的特征或激活数据输入到机器学习分类器的其余部分。将本地层的输出输入到深度学习网络的云层的第一层。例如，将图2的层n的输出输入到层n+1（图2的k-1）。在其余部分包括两个或更多个层的情况下，使用来自层中的每个的输出作为对随后层的输入。用诸如完全连接层、上卷积层、卷积层和/或最大池化层之类的多个层执行分类。

基于训练，机器学习分类器的其余部分输出分类、评估（例如，预后或诊断）或分割。例如，最后层输出分类。分类可以是诸如良性的或恶性的之类的二元的。可以使用多于两个类。分类可以是概率性的，诸如在两个或更多个类中的每个中的可能性。在其他实施例中，分类是关于组织的类型、组中的成员、结果的预测、匿名的标识、病变的标识、疾病的阶段或其他分类的。此外，还可以输出分割或评估。由分类器的远程或云部分对原始地输入到分类器的本地部分的扫描数据进行完全地分类。

在动作30中，机器将机器学习处理的结果传输回到本地机器。例如，云服务器或远程处理器通过通信网络将对于患者的扫描数据的分类传输到本地处理器，诸如在照顾患者的设施处的医学扫描器或工作站的处理器。传输将结果返回到机器学习分类器的本地部分。响应于特征数据的接收，提供结果。在其他实施例中，结果被存储并且被授权用户查看，因此传输可能不发生直到之后的请求。在替代的实施例中，将结果或分类传输到另一个位置，诸如与部门、医学记录系统或医师相关联的计算机。该传输代替回到应用分类器的本地部分的处理器的传输，或者是除了回到应用分类器的本地部分的处理器的传输之外的传输。

在动作32中，由本地处理器接收来自远程处理器或云服务器的结果。例如，由执行神经网络的本地部分的处理器接收由云服务器应用的神经网络的部分的输出。接收医学成像数据的分类、评估或分割。对于另一个实施例，接收人的标识或照片的内容的标记。在另一个实施例中，接收对于人或对象的测量的分析。在实施例中的任何实施例中，接收来自另一个机器学习分类器或神经网络的其余部分（例如，云部分）的操作的输出。该输出基于对初始部分的输入和初始部分的处理。在提供用于给定特征集合的多个可能的应用的情况下，接收的输出是用于选择应用的。

在动作34中，显示输出。可以提供任何显示，诸如显示具有分类结果的医学记录。显示可以是通知或弹出窗口（pop-up）的部分。对于成像，显示可以是在来自扫描数据的图像的显示上的或者通过来自扫描数据的图像的显示的注释、标记、着色、醒目显示或标记。显示器可以提供输出用于计算机辅助诊断，诸如用于医学成像结果的第二复核以辅助医师。

对于其中数据的隐私是重要的基于云的应用，使用在本地和远程处理之间的机器学习分类器的划分可以保持最终用户信任。通过经过机器学习分类器的部分处理创建的数据比扫描数据更匿名，并且具有限制于应用的使用，因此避免了向云服务器提供扫描数据或其他原始数据的风险。作为在医学数据的情况下的具体示例，大数据使用和云应用正在变得更普遍。用于开发和维护此类应用的数据正在变得更有价值到公司正在被购买只是为了它们的数据的程度。通过使用在本地和云机器之间的机器学习分类器的划分，可以与远程服务提供者安全地共享数据。即使原始数据是不可访问的，这也可以增加服务提供者访问有用信息的更大量的能力。由于成本或其他约束而不可获得的数据现在归因于通过设计保证的信任而不是通过承诺保护确保的信任而可能是可用的。

对更多信息或更大数量的样本的访问可以协助重新训练，提供更有效的分类。在动作22中，将用于给定情况的正确标签传输到云服务器、远程处理器或其他用于重新训练的处理器。正确标签是地面实情或医师审核的结果。例如，医师查看来自医学扫描数据的图像、活检病变或否则验证分类。传输医师验证的结果。

验证的结果与由机器学习分类器的部分操作输出的特征数据一起被传输。可以提供验证的结果用于单独重新训练，使得不应用分类的其余部分。替代地，基于完整分类提供验证的结果。患者的医师或其他医师审核在动作30中提供的机器学习分类器的输出。该分类被验证为正确的或不正确的。在不正确的结果的情况下，如果用户愿意提供正确的值，则正确的分类连同在动作22中发送的特征数据一起可以被用于对网络的n+1至k层进行重新训练。

在动作36中，对机器学习分类器进行重新训练。重新训练可以是增量的，诸如针对每个验证的结果或验证的结果的组进行重新训练。不正确分类的验证结果的反馈被用于调整一个或多个权重。可以限制调整或重新训练以避免过度调整。替代地，重新训练可以是完全重新训练，诸如使用验证结果的收集和相应的激活数据与原始训练数据以从头开始重新训练。

为了避免在改变在一个或多个本地位置处的分类器的部分中的复杂性，不对本地部分进行重新训练。例如，维持图2的层1-n相同。重新训练只是针对机器学习分类器的云或远程层。例如，对层n+1到k进行重新训练。重新训练使用来自本地层的输出和地面实情（验证的结果）来对深度学习网络的其余部分进行重新训练。替代地，对整个机器学习分类器进行重新训练。向本地机器提供重新训练的本地层用于操作。在此类情况中，版本号码可以与数据一起被提供，并且基于云的分类器参考网络的较旧或较新版本以保持与较旧本地客户端可兼容。

虽然以上通过参考各种实施例已经描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以做出许多改变和修改。因此旨在将前述的详细的描述视为说明性的而不是限制性的，并且要理解，包括所有等同物的以下的权利要求书旨在限定本发明的精神和范围。

Claims (21)

1.一种用于在医学成像中的机器学习分类器的使用的方法，所述方法包括：

用医学扫描器获取表示患者的扫描数据；

用第一处理器通过深度学习网络的层的第一集合来处理所述扫描数据，所述深度学习网络包括层的所述第一集合和层的第二集合，层的所述第一集合包括两个或更多层；

将层的所述第一集合的输出通过通信网络从所述第一处理器传输到第二处理器，所述输出与所述扫描数据不同并且对患者而言比所述扫描数据更匿名；

用所述第二处理器通过所述深度学习网络的层的所述第二集合来处理层的所述第一集合的输出，层的所述第二集合的输出是所述扫描数据的分类；以及

将对于患者的所述扫描数据的所述分类通过所述通信网络从所述第二处理器传输到所述第一处理器。

2.如权利要求1所述的方法，其中获取扫描数据包括获取所述扫描数据作为计算断层摄影术、磁共振、超声、正电子发射断层摄影术或单光子发射计算断层摄影术数据。

3.如权利要求1所述的方法，其中处理所述扫描数据包括用深度学习网络处理，所述深度学习网络是从具有已知分类的其他患者的扫描的训练数据学习的神经网络。

4.如权利要求1所述的方法，其中处理所述扫描数据包括用包括卷积层、最大池化层或所述卷积层和所述最大池化层两者的层的所述第一集合处理；以及

其中，处理所述输出包括用包括完全连接层、上卷积层或所述完全连接层和所述上卷积层两者的层的所述第二集合处理。

5.如权利要求1所述的方法，其中处理所述扫描数据包括将所述扫描数据输入到层的所述第一集合的第一层，并且将所述第一层的输出输入到层的所述第一集合的第二层。

6.如权利要求1所述的方法，其中传输所述输出包括相对于所述扫描数据传输所述输出作为抽象，并且其中传输所述分类包括传输所述分类作为解剖的标识、病变的标识、良性的或恶性的标识或疾病的阶段。

7.如权利要求1所述的方法，其中传输所述输出包括从在具有所述医学扫描器的设施中的所述第一处理器传输到所述第二处理器，所述第二处理器包括云服务器。

8.如权利要求1所述的方法，其中处理所述输出包括用在层的所述第二集合中的两个或更多层来处理。

9.如权利要求1所述的方法，进一步包括：

将层的所述第一集合的参数存储为加密的。

10.如权利要求1所述的方法，进一步包括：

对所述输出进行加密，其中传输所述输出包括将所述输出传输为加密的；以及

在处理所述输出之前，由所述第二处理器对作为加密的所述输出进行解密。

11.如权利要求1所述的方法，进一步包括：

将所述分类的医师验证的结果传输到所述第二处理器；以及

基于所述医师验证的结果和层的所述第一集合的输出并且在不对层的所述第一集合进行重新训练的情况下，对所述深度学习网络的层的所述第二集合进行重新训练。

12.一种用于用于匿名化数据传送的机器学习系统的使用的方法，所述方法包括：

在第一位置中的第一计算机上操作k层的神经网络的仅第一部分，所述第一部分包括所述k层中的n层；

将从所述神经网络的所述第一部分得到的激活数据传输到在远离所述第一位置的第二位置处的云服务器；

从所述云服务器接收所述神经网络的输出，所述输出来自所述神经网络的仅第二部分的操作，所述第二部分是k-n层；以及

在所述第一计算机上显示所述输出。

13.如权利要求12所述的方法，其中，操作包括在对于人的数据上操作，并且其中传输包括在所述第一部分的操作去除了人的标识信息的情况下传输所述激活数据。

14.如权利要求12所述的方法，进一步包括当在所述第一计算机上被存储时，对所述神经网络的所述第一部分的参数进行加密。

15.如权利要求12所述的方法，进一步包括将用于所述输出的正确标签传输到所述云服务器。

16.如权利要求12所述的方法，其中操作包括操作患者的医学成像数据，其中传输包括传输与所述医学成像数据不同的所述激活数据，并且其中接收所述输出包括接收所述医学成像数据的分类。

17.如权利要求12所述的方法，其中操作包括在照片上操作，其中传输包括传输与所述照片不同的所述激活数据，并且其中接收所述输出包括标记所述照片的内容。

18.如权利要求12所述的方法，其中操作包括在来自传感器的对人的测量上操作，其中传输包括传输通过操作压缩的所述激活数据，并且其中接收所述输出包括接收对于所述人的所述测量的分析。

19.如权利要求12所述的方法，进一步包括：

将应用的选择传输到所述云服务器；

其中接收所述输出包括基于基于所述选择被选择的第二部分接收所述输出。

20.如权利要求12所述的方法，进一步包括：

将所述输出的医师验证的结果传输到所述云服务器；以及

基于所述医师验证的结果和所述神经网络的所述第一部分的所述输出并且在不对所述第一部分进行重新训练的情况下对所述神经网络的所述第二部分进行重新训练。

21.一种用于用于数据传送的机器学习分类器的使用的方法，所述方法包括：

从第一机器接收由于原始数据应用于机器学习处理的部分但不是全部而对人匿名的特征数据；

由第二机器用所述特征数据作为输入来执行所述机器学习处理的其余部分；以及

将所述机器学习处理的结果传输到所述第一机器。

Images