CN111311536A - 医学图像数据 - Google Patents

Abstract

提供了医学图像数据。在数据处理系统处接收医学图像数据，所述数据处理系统是基于人工智能的系统。在数据处理系统处执行标识过程，以标识对包括一个或多个目标腱的感兴趣的区进行表示的医学图像数据的子集。在数据处理系统处执行确定过程以确定与所述一个或多个目标腱的一个或多个异常相关的一个或多个特性。输出异常数据，所述异常数据与所述一个或多个异常相关并且基于所述一个或多个特性。

Description

医学图像数据

相关案

本申请要求于2018年11月22日提交的EP 18207738.8的权益，EP 18207738.8由此通过引用以其全部被并入。

技术领域

本实施例涉及处理医学图像数据。处理涉及一种数据处理系统，其是基于人工智能的系统。

背景技术

医学成像技术可以用于获得关于人体或动物体的信息。例如，X射线图像可以用于检测骨折并且对骨折进行分类。在另一示例中，磁共振成像（MRI）可以用于对身体的组织进行成像。

图像数据、诸如MRI图像数据可以用于确定异常的特性。例如，MRI图像数据可以用于检测疑似的腱或肌肉撕裂、诸如肩袖肌肉或腱的撕裂。然而，用于这样做的过程可能是复杂且耗时的。例如，可以在一个或多个成像平面（例如矢状平面、冠状平面和横断平面）中获取一个或多个MRI图像系列，这导致大量图像。医学专业人员然后可以手动地检查所述大量图像，以便检测撕裂并且如果检测到撕裂的话则手动地确定撕裂的相关特性。

因此，通过使用诸如MRI图像数据之类的医学图像数据来检测诸如腱撕裂之类的异常需要显著的资源（例如医学专业人员的时间和努力）。此外，以此方式来检测异常的过程遭受观察者间的可变性。例如，不同的医学专业人员可达成关于异常的不同结论，可不同地报告他们的发现、等等。

本发明的目的是要解决有关用于分析医学图像数据的过程的困难中的至少一些。

发明内容

根据第一方面，提供有一种用于处理医学图像数据的方法。所述方法包括：在数据处理系统处接收医学图像数据，所述数据处理系统是基于人工智能的系统；在数据处理系统处执行标识过程，以标识对包括一个或多个目标腱的感兴趣的区进行表示的医学图像数据的子集；在数据处理系统处执行确定过程，包括处理医学图像数据的子集，以确定与所述一个或多个目标腱的一个或多个异常相关的一个或多个特性；以及输出与所述一个或多个异常相关的异常数据，所述异常数据基于所述一个或多个特性。

第一方面有利地提供一种在不直接涉及医学专业人员以及他们的时间和努力花费的情况下处理医学图像数据的方法。所述方法使用基于人工智能的系统，并且因此使确定异常的特性的以其它方式的复杂且耗时的手动过程自动化。

首先通过标识医学图像数据的子集来标识感兴趣的区有利地意指仅仅在相关的医学图像数据的部分上执行后续处理（即确定过程）。与第一方面形成对比，使用基于人工智能的系统的图像分类的已知方式可以并不直接被应用于对医学图像数据进行分类。这是因为，关于所述一个或多个异常（例如腱撕裂）的信息可能是强局部化的，其中大多数医学图像数据不承载任何关于所述一个或多个异常的相关信息。

根据第一方面，仅有相关的医学图像数据的部分被进一步处理。这在现有技术方法之上可以减少对于执行相同医学图像数据处理所需要的时间。此外，通过根据第一方面的方法所实现的结果在现有技术方法之上可以更准确，因为仅有相关数据被处理，并且结果不受非相关医学图像数据影响。

可选地，所述标识过程包括：分割过程，其用于确定与医学图像数据中所述一个或多个目标腱相关的掩模；界标检测过程，其用于检测与所述一个或多个目标腱相关的至少一个界标；或回归过程，其在本文中被称为标识回归过程，用于将限界框定位在所述一个或多个目标腱的至少一部分周围。

分割过程有利地导致在医学图像数据中标识所述一个或多个目标腱，使得准确地标识感兴趣的区。分割过程可以因此有利地提供在感兴趣的区的确定方面的大的准确性。

界标检测过程与分割过程相比可以有利地在计算上不太昂贵，而同时仍提供感兴趣的区的确定的良好准确性。

标识回归过程可以有利地不需要为了标识感兴趣的区而执行单独的任务。这是因为限界框可以被定位在感兴趣的区之上，使得不需要用于基于标识回归过程的结果来标识感兴趣的区的附加过程。

可选地，感兴趣的区是人体或动物体的肩区。

感兴趣的区是肩区意指可以确定肩区中的腱的异常的特性。诸如对肩区中腱的损伤之类的异常可能出现，并且可以有利地通过使用根据第一方面的方法来被评定。

可选地，所述一个或多个目标腱包括以下各项中的至少一个：冈上肌腱；冈下肌腱；小圆肌腱；以及肩胛下肌腱。

以上提及的腱是肩袖腱。关于肩袖腱的损伤、诸如腱撕裂是肩部疼痛的相对常见的起因。关于肩袖腱来实现根据第一方面的方法有利地提供关于肩部疼痛的常见起因的自动化确定。这可以有利地节省大量医学专业人员的时间。

可选地，数据处理系统是神经网络系统，其包括：通过使用训练数据的第一集合而被训练的第一神经网络，所述训练数据的第一集合包括其中指示了与感兴趣的区相关的信息的地面真值（ground truth）输出图像的集合；以及通过使用训练数据的第二集合而被训练的第二神经网络，所述训练数据的第二集合包括其中指示了与所述一个或多个异常的所述一个或多个特性相关的信息的地面真值输出图像的集合；并且所述方法包括：通过使用第一神经网络来执行标识过程；以及通过使用第二神经网络来执行确定过程。

采用通过使用训练数据的适当集合而被训练的神经网络提供处理医学图像数据的稳健方式。神经网络可以应对复杂的医学图像数据，并且与用于图像处理的其它现有技术计算技术相比提供更准确的结果。

可选地，数据处理系统是神经网络系统，其包括用于执行标识过程和确定过程的神经网络，所述神经网络通过使用单个训练过程而被训练。

使用通过利用单个训练过程而被训练的相同神经网络来执行标识过程以及确定过程与使用单独的神经网络相比可以是更有利的。这是因为，通过利用单个端对端的训练机制，标识过程和确定过程可以同时被训练。

可选地，标识过程包括将医学图像数据裁剪成图像数据的子集。

将图像数据裁剪成子集可以改善确定过程的结果的准确性。裁剪有利地意指：非相关的数据被省略并且不必在后续过程中以某种方法来应对。

可选地，所述方法包括在数据处理系统处执行定位过程，以标识所述一个或多个异常的位置。

执行定位过程有利地给予医学专业人员关于异常的更多相关信息。异常的位置可以有助于治疗规划。例如，对于规划相关外科手术的各方面而言，可能需要知道腱撕裂的位置。

可选地，医学图像数据包括磁共振成像数据。

实现用于MRI数据的方法有利地允许来自通常使用的医学成像技术的数据的处理的自动化。例如，MRI成像用于诊断肩袖腱撕裂。MRI成像还用于各种其它的医学成像应用。

可选地，所述一个或多个异常包括所述一个或多个目标腱的腱撕裂。

有利地，根据第一方面的方法可以被应用于腱撕裂，所述腱撕裂是腱可能发生的特定类型的异常。

可选地，确定过程是分类过程，其用于基于所述一个或多个特性来关于腱撕裂而对所述一个或多个目标腱进行分类。

提供关于腱撕裂的分类有利地指示腱撕裂的类型/程度（以及腱撕裂的其它方面）。这在例如选择治疗类型方面可以是有帮助的。

可选地，从包括两个或更多不同分类的分类列表中选择被归于所述一个或多个目标腱的分类，所述列表中的每个分类指示：无腱撕裂；存在腱撕裂；部分撕裂；低等级部分撕裂；高等级部分撕裂；或完全撕裂。

有利地，从包括特别地指示腱撕裂的类型的分类的列表中选择分类。

可选地，异常数据包括对关于所述一个或多个异常的信息进行指示的报告，其中所述信息包括以下各项中的一个或多个：对所述一个或多个异常存在的可能性进行描述的评分；根据医学图像数据中的位置来描述所述一个或多个异常存在的可能性的图（map）；所述一个或多个异常的类型；所述一个或多个异常的位置；所述一个或多个异常的尺寸；所述一个或多个异常的表示图像；与一个或多个所确定的特性相关的置信水平的指示；可能的诊断的指示；以及可能的治疗计划的指示。

在所述方法中并入报告的提供有利地提供用于以无观察者间可变性的方式来对异常进行报告的方法。报告可以与彼此一致，并且可以被配置成提供医学专业人员期望看到的所有可用信息。

根据第二方面，提供有一种计算机可读存储介质，其存储：一个或多个神经网络，其被训练成确定与一个或多个异常相关的一个或多个特性，所述异常与医学图像数据中的一个或多个目标腱相关；以及指令，所述指令当由处理器执行的时候使得处理器：接收医学图像数据；向所述一个或多个神经网络提供医学图像数据以执行：标识过程，用于标识对包括一个或多个目标腱的感兴趣的区进行表示的医学图像数据的子集；以及确定过程，其包括处理医学图像数据的子集，以确定与所述一个或多个目标腱的一个或多个异常相关的一个或多个特性；以及输出与所述一个或多个异常相关的异常数据，所述数据基于所述一个或多个特性。

提供计算机可读存储介质允许根据第一方面的有利方法被例如医学专业人员使用。所述计算机可读存储介质允许对具有上述优点的根据第一方面的方法的访问。

根据第三方面，提供有一种用于处理医学图像数据的装置。所述装置包括一个或多个处理器；以及存储器，所述存储器存储：一个或多个神经网络，其被训练成确定与一个或多个异常相关的一个或多个特性，所述异常与医学图像数据中的一个或多个目标腱相关；以及指令，所述指令当由所述一个或多个处理器执行的时候使得所述一个或多个处理器：接收医学图像数据；向所述一个或多个神经网络提供医学图像数据以执行：标识过程，用于标识对包括一个或多个目标腱的感兴趣的区进行表示的医学图像数据的子集；以及确定过程，其包括处理医学图像数据的子集，以确定与所述一个或多个目标腱的一个或多个异常相关的一个或多个特性；以及输出与所述一个或多个异常相关的异常数据，所述数据基于所述一个或多个特性。

第三方面有利地提供了用于实现具有上述优点的根据第一方面的方法的硬件。

可选地，根据第三方面的装置包括被配置成获取医学图像数据的成像装置。

并入成像装置有利地提供了一种可以执行获取相关医学图像数据的附加任务的装置。所述装置可以作为单个系统来被提供，所述单个系统可以获取相关的医学图像并且还根据所描述的有利方法来处理它们。

可选地，根据第三方面的装置包括：输入接口，其用于允许所述装置的用户盖写和/或手动地校正所述装置的输出。

输入接口有利地允许用户按需要做出对输出的改变。例如，如果结果被判定为是不准确的，则用户因此可以修改输出。

附图说明

现在将参考附图、仅仅作为举例来描述本发明，在所述附图中：

图1是一流程图，其图示了根据示例的用于处理医学图像数据的方法；

图2是一示意图，其表示根据示例的可以作为图1中所图示的方法的部分来被执行的过程；

图3A是一示意图，其图示了根据示例的作为标识过程的部分而被执行的第一过程；

图3B是一示意图，其图示了根据示例的作为标识过程的部分而被执行的第二过程；

图3C是一示意图，其图示了根据示例的作为标识过程的部分而被执行的第三过程；

图4A是一示意图，其图示了根据示例的第一数据处理系统；

图4B是一示意图，其图示了根据示例的第二数据处理系统；以及

图5是一示意图，其图示了根据示例的计算装置。

具体实施方式

图1是一框图，其图示了用于处理医学图像数据的方法100。方法100此后被称为医学图像处理方法100。在医学图像处理方法100的框102处，在数据处理系统处接收医学图像数据。数据处理系统可以是基于人工智能的系统，诸如基于机器学习的系统。在以下进一步提供关于数据处理系统的示例和另外的细节。医学图像数据可以是MRI图像数据、X射线图像数据、计算机断层扫描数据、超声数据、或可以被分析以标识人体或动物体内的异常的任何其它种类的医学图像数据。

在框104处，在数据处理系统处执行标识过程，以标识对包括一个或多个目标腱的感兴趣的区进行表示的医学图像数据的子集。

医学图像数据可以表示人体或动物体内的图像体积。例如，医学图像数据可以包括在一个或多个成像平面（例如矢状平面、冠状平面和横断平面）中的二维（2D）图像的集合。将理解到，每个2D图像可以由多个像素构成。在一些示例中，医学图像数据可以已经通过使用三维（3D）获取过程来获取并且可以是以3D格式。在3D格式的示例中，图像可以由多个体素构成。在以下讨论中，我们提供了示例，其中医学图像数据是MRI数据、例如一系列2DMRI图像。然而，将领会到，可以使用其它类型的图像数据。

在以下示例中，感兴趣的区是由MRI图像数据所表示的图像体积的、其中存在所述一个或多个目标腱的至少一部分的区。医学图像数据的子集例如是与感兴趣的区相对应的MRI图像的像素的子集。

感兴趣的区可以是人体或动物体的肩区。所述一个或多个目标腱可以包括肩袖肌腱。例如，所述一个或多个目标腱可以包括以下各项中的至少一个：冈上肌腱、冈下肌腱、小圆肌腱、以及肩胛下肌腱。以下示例是在单个目标腱的上下文中，所述单个目标腱是肩袖腱。

在医学图像处理方法100的框106处，在数据处理系统处执行确定过程。确定过程包括处理医学图像数据的子集，以确定与目标腱的一个或多个异常相关的一个或多个特性。所述一个或多个特性可以与以下各项相关：目标腱的形态、目标腱或其相应的肌肉的尺寸、目标腱的形貌特征、目标腱的部分关于其它特征（例如骨）的定位、目标腱的部分是否与彼此分离或与另一特征（例如附连到目标肌肉的骨或肌肉）分离等等。

所述一个或多个异常可以包括物理损伤、诸如伤害。例如，伤害可以是目标腱的腱撕裂。以下示例是在目标腱的撕裂的上下文中。

确定所述一个或多个特性可以使得能够检测并且确定与目标腱相关的异常（如果存在异常的话）的类型。例如，可以存在目标腱的关于腱撕裂的分类。确定过程可以是如以下进一步描述的分类过程。分类过程可以用于基于所述一个或多个特性来关于腱撕裂而对目标腱进行分类。被归于目标腱的分类可以选自包括两个或更多不同分类的分类列表。列表中的每一个分类可以例如指示：无腱撕裂、存在腱撕裂、部分撕裂、低等级部分撕裂、高等级部分撕裂、或完全撕裂。在一些示例中，分类列表可以包括指示除了腱撕裂的类型之外的信息的分类。例如，分类列表可以包括指示撕裂程度、关于腱撕裂的回缩度的一个或多个分类，或可以向医学专业人员提供有用信息例如用于规划治疗的其它分类。应当领会到，本文中所描述的分类不针对穷举列表。

可替换于确定过程是分类过程，确定过程可以是回归过程，其在本文中被称为异常回归过程，用于检测并且确定异常的类型（例如，如果存在腱撕裂的话则腱撕裂的类型）。例如，异常回归过程可以包括处理感兴趣的区并且输出对异常类型进行指示的异常值。例如，指示不存在腱撕裂的异常值可以是“0”，对于部分撕裂而言它可以是“1”，并且对于完全撕裂而言它可以是“2”。以下进一步描述确定过程作为异常回归过程的示例。

在医学图像处理方法100的框108处，输出与所述一个或多个异常（在本示例中是腱撕裂）相关的异常数据。异常数据基于所述一个或多个特性。

异常数据可以包括报告，所述报告指示从医学图像处理方法100的在前的框所获得的关于腱撕裂的信息。该信息可以包括以下中的一个或多个。对腱撕裂存在的可能性进行描述的评分可以被确定并且作为报告的部分被提供。根据MRI图像中的位置来对腱撕裂存在的可能性进行描述的图（例如热图）可以被确定并且作为报告的部分被提供。所述信息可以指示腱撕裂的类型（例如部分、完全等等）、其位置、腱撕裂的尺寸；和/或腱撕裂的表示图像（例如清楚地示出腱撕裂的MRI图像之一）。与一个或多个所确定的特性相关的置信水平的指示可以被确定并且被包括在报告中。此外，对可能的诊断的指示和/或对可能的治疗计划的指示可以被确定并且被包括在报告中。报告可以包括能从作为医学图像处理方法100的部分被执行的处理所获得的任何信息，所述信息可以帮助医学专业人员做出关于腱撕裂的决策（例如是否应当执行外科手术等等）。

在一些示例中，可以执行另外的处理。例如，医学图像处理方法100还可以包括执行定位过程以标识所述一个或多个异常的位置（在本示例中，腱撕裂的位置）。

此后参考图2来描述以上关于医学图像处理方法100所描述的过程的另外的示例。图2图示了以上关于框104所描述的标识过程的示例200。在该示例中，接收与目标腱204相对应的MRI图像数据202。

示例标识过程200包括通过使用基于人工智能（基于AI）的系统来处理MRI图像数据202，以标识对感兴趣的区206进行表示的子集。感兴趣的区206可以是例如MRI图像数据202中的一个或多个2D MRI图像的一部分。感兴趣的区206可以被标识使得它包括目标腱204的至少一部分。可以通过使用多个不同的基于AI的系统之一来标识感兴趣的区206。在图3A到3C中图示了感兴趣的区206的标识的一些示例。

图3A图示了标识过程200的第一示例，其包括第一分割过程300，用于确定与MRI图像数据202中的目标腱204相关的掩模。掩模可以是目标腱204的掩模，或可以是目标腱204及其相应的肌肉的。在图3A的示例中，掩模是目标腱204及其相应的肌肉的目标特征掩模302。在其它示例中，掩模可以是另一特征、例如与目标腱204相邻的特征的掩模，基于所述掩模可以标识感兴趣的区206。目标特征掩模302实际上是被确定为其中存在目标腱204的区的MRI图像数据202的经突出的区。例如，一旦被分割，给定的MRI图像就可以包括如下指示：针对被确定为不表示目标腱204的那些像素的“0”，以及针对被确定为表示目标腱204的那些像素的“1”。

对MRI图像数据202的分割可以通过使用被配置成执行图像分割的基于AI的系统来被执行。在一些示例中，可以使用基于机器学习的系统。例如，可以使用基于深度学习（基于DL）的分割过程，其使用诸如卷积神经网络（CNN）之类的神经网络，所述神经网络采用具有编码级和解码级的编码和解码机制。在这样的示例中，在编码级中，给定的输入MRI图像被投影到非线性子空间中。在编码级中的较早先的层处，以此方式来投影输入MRI图像可以导致简单特征（例如边缘、拐角等等）的标识。在编码级中更后的层中，可以标识更复杂的特征（例如特定的形状等等）。解码级的输出可以是与输入MRI图像相对应的经分割的图像，其中借助于目标特征掩模302而突出了目标腱204。

在图3A的示例中，目标腱204及其相应肌肉的目标特征掩模302通过使用上述第一分割过程300来被确定。

感兴趣的区206然后可以基于目标特征掩模302来被标识。感兴趣的区可以包括如在第一分割过程300中所标识的目标腱204的至少一部分，如在图3A中所图示的那样。例如，一旦标识了目标腱204，感兴趣的区206就可以被标识为腱撕裂208很可能在其中的目标腱204的区。可以通过被标注为感兴趣的区的部分的、被包括在感兴趣的区中的MRI图像的像素（或在3D情况中的体素）来标识感兴趣的区。例如，没有被包括在感兴趣的区中的像素可以用“0”标注，并且被包括的像素可以用“1”标注。在一些示例中，MRI图像数据202的区可以借助于限界框等等而被标识为感兴趣的区。

分割过程300可以有利地产生感兴趣的区的详细定位，因为分割提供目标腱204的形状、定位等等的丰富细节。

图3B图示了标识过程200的第二示例，其包括界标检测过程310。界标检测过程310是用于检测与目标腱204相关的至少一个界标的过程。例如，界标检测过程310可以检测与MRI图像数据202中的目标腱204相关的某些特征的位置。例如，界标检测过程310可以检测目标腱204附连到相关的骨所处的位置。

界标检测过程310可以通过使用被配置成在图像上执行界标检测的基于AI的系统来被执行。在一些示例中，可以采用机器学习系统、诸如与先前描述的那个类似的使用CNN的基于DL的系统，除了在该示例中，基于DL的系统将会是界标检测系统而不是分割系统。例如，可以使用深度图像对图像网络（DI2IN）。DI2IN可以输出体积，其中在位置 x 处的体素强度I(x)由在以下等式（1）中所表示的高斯分布来限定。该输出体积可以充当针对所期望的界标的界标掩模。在2D MRI图像集合的示例中，体积可以由一个或多个MRI图像的某些区来限定。体素强度I(x)可以是构成该体积的MRI图像的像素的强度。

在等式（1）中，μ表示被检测的界标的位置，并且σ是标准偏差。因此，DI2IN可以输出以被检测的界标的位置为中心的高斯界标掩模。

在图3B中所图示的示例中，界标检测过程310包括第一界标位置312a和第二界标位置312b的标识。感兴趣的区206然后可以基于第一界标位置312a和第二界标位置312b来被确定，以便包括第一和第二界标位置312a、312b。在其它示例中，可以检测仅一个界标位置或多于两个界标位置，并且感兴趣的区206被确定以便包括所检测的一个界标或多个界标。在一些示例中，感兴趣的区206可以基于所检测的（多个）界标位置来被确定，而不一定包括所检测的（多个）界标位置。例如，所检测的（多个）界标位置可以被用作参考点，以标识感兴趣的区206应当定位在何处。感兴趣的区206可以由被标注为感兴趣的区的部分的相关像素（或体素）、由限界框等等来标识（如上所述）。

图3C图示了标识过程200的第三示例。在该示例中，标识过程200包括标识回归过程320。标识回归过程320是用于在不需要如上所述的分割或界标检测的情况下将限界框322定位在目标腱204的至少一部分周围的过程。标识回归过程320可以通过使用被配置成执行关于图像的回归过程的基于AI的系统来被执行。用于执行标识回归过程320的基于AI的系统可以是基于机器学习的系统，其被训练成通过使用例如地面真值MRI图像来定位限界框322，在所述地面真值MRI图像中指示限界框的所期望的定位、尺寸和定向。因而，用于标识回归过程320的基于AI的系统可以被训练成将限界框322定位在所期望的感兴趣的区之上。以下在数据处理系统的上下文中进一步讨论所描述的基于AI的系统的训练。

例如，标识回归过程320可以包括针对每个2D MRI图像确定限界框322的位置坐标（例如x、y和z坐标）、限界框322的尺寸参数（例如高度、宽度和深度）、以及限界框322的定向参数（例如角度

、

和

，其是关于x、y和z轴的角度，所述x、y和z轴关于所讨论的MRI图像而被限定）。所描述的坐标和参数可以被确定，使得限界框322指示感兴趣的区206。

如上所述，利用分割过程300和界标检测过程310，在执行了分割或界标检测（视情况而定）之后标识感兴趣的区。有利地，标识回归过程320导致感兴趣的区被直接标识为输出，因为执行标识回归过程320的基于AI的系统被训练成将限界框322定位在感兴趣的区206之上。因此，在该示例中，感兴趣的区206不必作为单独的任务而被标识。

尽管第一分割过程300、界标检测过程310和标识回归过程320涉及如上所述的不同的处理，但是这些过程中每一个的输出是感兴趣的区206的标识。如上所述，感兴趣的区是由MRI图像数据202所表示的图像体积的区。因此，在MRI图像数据是2D MRI图像集合的情况中，感兴趣的区206可以包括来自一个或多个2D MRI图像的像素。

上述基于AI的系统可以是基于机器学习的系统，其通过使用经标注的训练数据而被训练以便生成所描述的输出。以下在数据处理系统的构成的上下文中进一步描述可以用来训练所描述的基于AI的系统的方式。

再次参考图2，标识过程200还可以包括将MRI图像数据202裁剪成对感兴趣的区206进行表示的医学图像数据的子集。换言之，MRI图像数据202可以被裁剪，从而导致经裁剪的MRI图像数据210，其包括如通过例如第一分割过程300、界标检测过程310或标识回归过程320之一所标识的感兴趣的区206。

图2图示了示例确定过程220。经裁剪的MRI图像数据210可以被输入到确定过程220中，如在图2的示例中那样。尽管在图2的示例中，MRI图像数据202被裁剪，但是在一些示例中，MRI图像数据202可以不被裁剪。例如，具有经标识的感兴趣的区206的MRI图像数据202可以在没有被裁剪的情况下被输入到确定过程220中。例如，如果使用分割过程300，则目标特征掩模302连同没有任何裁剪的MRI图像数据202可以被输入到确定过程220中。然后可以在所标识的感兴趣的区206（例如，与目标特征掩模302相对应的MRI图像数据202的区）上执行根据确定过程220的处理。

在图2的示例中，经裁剪的MRI图像数据210被生成并且被输入到确定过程220中。在该示例中，确定过程220是分类过程，其用于基于所述一个或多个特性来关于腱撕裂208而对目标腱204进行分类。在该示例中，目标腱204被分类为以下中任一个：没有撕裂（例如如果不存在腱撕裂208的话）、具有部分撕裂或完全撕裂，如图2中所图示的那样。在其它示例中，分类可以简单地指示是否存在腱撕裂208。如上所述，在一些示例中，可以提供其它分类，例如如果腱撕裂208是部分撕裂（例如高等级或低等级部分撕裂）则为量化、等等。可以通过使用基于AI的系统、诸如适合用于执行图像分类的神经网络来执行分类过程220。

在其它示例中，确定过程220可以是异常回归过程。异常回归过程可以是用于检测并且确定腱撕裂208的类型的过程。异常回归过程可以通过使用被配置成执行关于图像的回归过程的基于AI的系统来被执行。用于执行异常回归过程的基于AI的系统可以是基于机器学习的系统，其被训练成输出对腱撕裂的类型进行指示的异常值。如上所述，指示不存在腱撕裂的异常值可以是“0”，对于部分撕裂而言它可以是“1”，并且对于完全撕裂而言它可以是“2”。用于执行异常回归过程的基于AI的系统可以通过使用例如地面真值输出图像来被训练，所述地面真值输出图像包括：无撕裂MRI图像的集合，其示出了没有腱撕裂的目标腱，用异常值“0”标注；部分撕裂MRI图像的集合，其示出了具有部分撕裂的目标腱，用异常值“1”标注；以及完全撕裂MRI图像的集合，其示出了具有完全撕裂的目标腱，用异常值“2”标注。

在一些示例中，异常回归过程可以输出与上述不同数目的异常值（即多于或少于上述的三个值）。例如，异常回归过程可以输出异常值，所述异常值指示是否存在低等级部分撕裂或高等级部分撕裂等等。

异常回归过程可以是有利的，因为被输出的异常值带有与彼此的关系（即，例如“2”是比“1”更远离指示无撕裂的“0”的值）。因此，异常回归过程可以有利地提供腱撕裂208的严重性的指示。

如所描述的，医学图像处理方法100可以涉及标识腱撕裂208的位置。图2图示了示例定位过程230。例如，如果目标腱204被分类使得腱撕裂208被分类为部分或完全撕裂，则可以执行定位过程230以标识腱撕裂208的位置。

在该示例中，定位过程230是由经适当配置的基于AI的系统所执行的第二分割过程。例如，可以使用基于DL的系统，其使用CNN，所述CNN使用编码和解码机制。第二分割过程可以导致腱撕裂的位置被标识。例如，作为第二分割过程的结果，可以在感兴趣的区206中突出腱撕裂208。

然后可以指示腱撕裂208的位置232。第二分割过程还可以有助于确定其它信息，诸如撕裂的程度、例如腱撕裂208的尺寸。

图4A和4B图示了数据处理系统的示例，在所述数据处理系统处可以执行上述过程。如上所述，数据处理系统是基于AI的系统。数据处理系统可以包括用于执行上述过程的一个或多个基于AI的子系统。图4A图示了示例的基于AI的系统400，其包括以第一神经网络402的形式的第一基于AI的子系统、以及以第二神经网络404的形式的第二基于AI的子系统。第一神经网络402可以通过使用训练数据的第一集合来被训练，所述训练数据的第一集合包括其中指示了与感兴趣的区206相关的信息的地面真值输出图像的集合。第二神经网络404可以通过使用训练数据的第二集合来被训练，所述训练数据的第二集合包括其中指示了与所述一个或多个异常的所述一个或多个特性相关的信息的地面真值输出图像的集合。

例如，第一和第二神经网络402、404可以通过使用训练数据的不同集合来被训练，使得它们可以被用于执行医学图像处理方法100的不同过程。医学图像处理方法100可以包括通过使用第一神经网络402来执行标识过程，以及通过使用第二神经网络404来执行确定过程。

例如，第一神经网络402可以被训练成执行上述第一分割过程300。例如，第一神经网络402可以通过使用编码和解码机制来实现所描述的基于DL的分割过程。训练数据的第一集合可以包括：其中存在目标腱204的身体的肩区的给定的输入MRI图像，以及其中已经指示或标注了目标特征掩模302的地面真值输出图像的第一集合。

例如，在训练期间，第一神经网络402可以处理给定的输入MRI图像，并且将所生成的输出与地面真值输出图像的第一集合进行比较。对在所生成的输出与地面真值输出图像的第一集合之间的误差进行指示的第一损失函数可以通过调节对第一神经网络402进行控制的权重来减小。可以按需要迭代训练过程，以减小或最小化损失函数。

在一些示例中，第一神经网络402可以被训练成执行上述界标检测过程310。在这些示例中，训练数据的第一集合可以包括：其中存在目标腱204的身体的肩区的给定的输入MRI图像（如以上那样），以及其中已经标识或标注了所期望的界标的地面真值输出图像的第二集合。例如，地面真值输出图像的第二集合可以包含所期望的界标的上述高斯界标掩模，使得它们的位置被标识。将理解到，训练过程可以类似于针对第一分割过程300的上下文所描述的那个。例如，可以生成输出，并且通过对过程进行迭代来最小化第一损失函数。

在一些示例中，第一神经网络402可以被训练成执行上述标识回归过程320。训练数据的第一集合可以包括：其中存在目标腱204的身体的肩区的给定的输入MRI图像（如以上那样），以及其中存在相应的限界框用以指示感兴趣的区206的地面真值输出图像的第三集合。在训练过程中，第一神经网络402可以生成针对限界框的坐标和参数，并且将它们与训练数据的第一集合中的限界框进行比较。如以上那样，可以迭代该过程以最小化第一损失函数。

第二神经网络404可以被训练成执行上述确定过程的任何示例。例如，在确定过程是分类过程的情况下，训练数据的第二集合可以包括：其中指示了感兴趣的区206的肩区的给定的输入MRI图像，以及其中已经标注了目标腱204关于腱撕裂208的分类的地面真值输出图像。可以迭代训练过程以最小化与以下相关的第二损失函数：在训练数据的第二集合中的经标注的分类与第二神经网络404所生成的输出之间的误差。

在其中确定过程是异常回归过程的示例中，训练数据的第二集合可以包括：其中指示了感兴趣的区206的肩区的给定的输入MRI图像，以及其中例如通过使用异常值而标注了异常（例如腱撕裂）的类型的地面真值输出图像。可以迭代训练过程以最小化第二损失函数，所述第二损失函数在该情况中将与以下相关：在第二神经网络404所输出的异常值与地面真值输出图像的异常值之间的误差。在该示例中，误差可以以更直接的方式而与异常（例如腱撕裂）的严重性相关。

在一些示例中，数据处理系统400可以包括以通过使用训练数据的第三集合而被训练的第三神经网络406的形式的第三基于AI的子系统。这可以是例如在其中还执行定位过程230的情况。第三神经网络406可以被训练成执行定位过程230。例如，第三神经网络406可以被训练成执行第二分割过程。

训练数据的第三集合可以包括肩区的给定的输入MRI图像，其中标注了感兴趣的区206并且提供了目标腱204关于腱撕裂208的分类。训练数据的第三集合还可以包括地面真值输出图像，其中标识/标注了腱撕裂208的位置232。在训练过程中，第三神经网络406可以处理给定的输入MRI图像，并且将所生成的输出与训练数据的第三集合的地面真值输出图像中腱撕裂208的相应所指示位置进行比较。可以按需要迭代训练过程以最小化第三损失函数。第三损失函数可以表示在所生成的输出与训练数据的第三集合中腱撕裂208的所指示位置之间的误差。

可以使用的损失函数的示例是交叉熵损失函数、L1损失函数和L2损失函数。例如，在所讨论的过程是分类过程的情况下，可以使用交叉熵损失函数。

因此，在数据处理系统400的示例中，医学图像处理方法100的不同过程可以由被特别地训练成执行那些过程的单独的神经网络来执行。

在图4B的示例中，第二数据处理系统410是神经网络系统，其包括用于执行标识过程和确定过程的神经网络412。第二数据处理系统410的神经网络可以被称为单一神经网络412。单一神经网络412可以通过使用单个训练过程来被训练。

在该示例中，单一神经网络412可以执行根据任何所描述示例的标识过程和确定过程。在其中医学图像处理方法100包括定位过程的示例中，单一神经网络412还可以执行定位过程。因此，在该示例中，相同的基于AI的系统、即单一神经网络412被用于执行所描述过程中的两个或更多。

单个训练过程可以是监督式训练过程，其中单一神经网络412被训练成标识感兴趣的区206，并且然后处理感兴趣的区以确定与所述一个或多个目标腱的一个或多个异常相关的一个或多个特性。在其中包括定位过程的示例中，单一神经网络412可以标识腱撕裂412的位置232。

单个训练过程可以涉及使用训练数据的集合，所述训练数据的集合包括：其中存在目标腱204的身体的肩区的给定的输入MRI图像；以及地面真值输出图像，其中标识了对感兴趣的区206进行表示的MRI图像的子集、（在确定过程是分类过程的示例中）提供了所期望的分类、以及（在包括定位过程的情况下）提供了腱撕裂208的位置。例如，在适当时可以标注地面真值输出图像。

与使用不同的神经网络来执行不同的过程相比，使用通过利用单个训练过程而被训练的单个神经网络、诸如单一神经网络412来执行医学图像处理方法100中所涉及的不同过程可以是更有利的。这是因为，例如通过利用单个端对端的训练机制，不同的过程可以同时被训练。

上述地面真值输出图像可以例如由医学专业人员基于对所讨论的图像的检查来预备。医学专业人员可以例如检查MRI图像，并且在适当时提供标注或指示。例如，在上述标识回归过程320的情况中，医学专业人员可以指示在相应的地面真值输出图像中限界框的位置。例如，在分类过程的情况中，医学专业人员可以在适当时为相应的地面真值输出图像提供与无撕裂、部分撕裂等等相对应的标注。可以通过提供适当的信息（例如标注、指示等等）来类似地预备针对其它所描述示例的地面真值输出图像。

在一些示例中，在地面真值输出图像的预备中可以将其它信息考虑在内。例如，可以提供针对给定图像的指示或标注，所述指示或标注将来自与给定图像所表示的区相关的外科手术过程的报告考虑在内。例如，外科手术过程可以是关节镜外科手术。来自外科手术过程的报告可以指示例如关于给定图像中的所述一个或多个目标腱的部分撕裂、完全撕裂等等。

在MRI图像的上下文中描述了医学图像处理方法100的上述示例。由于在例如2DMRI图像的集合中的大量数据，所描述的医学图像处理方法100对于MRI图像而言可以是特别有用的。这是因为在标识过程200中标识了相关数据之后，仅有所述相关数据被进一步处理。然而，医学图像处理方法100还可以用于其它类型的医学图像数据，诸如X射线图像数据、计算机断层扫描数据、超声数据等等。

图5示意性地图示了用于处理医学图像数据的装置500。装置500包括以计算机502的形式的计算设备。计算机502包括一个或多个处理器504以及存储器506。存储器506可以是以计算机可读存储介质的形式。存储器506已在其上存储了一个或多个神经网络，所述神经网络被训练成确定与一个或多个异常相关的一个或多个特性，所述异常与医学图像数据中的一个或多个目标腱相关。例如，存储器506可以使得上述神经网络被存储在其上。存储器506还可以存储指令，所述指令当由所述一个或多个处理器504执行的时候使得所述一个或多个处理器执行上述医学图像处理方法。所述一个或多个处理器可以包括例如一个或多个图形处理单元（GPU）、或其它类型的处理器。使用GPU可以优化装置500以用于利用所描述的神经网络。这是因为，如将领会到的，GPU可以同时处置大量线程。

当装置500被供给到用户的时候，所述一个或多个神经网络和指令可以被存储在存储器506上。可替换地，所述一个或多个神经网络和指令可以在此后借助于计算机可读存储介质来被供给（例如以计算机程序产品的形式），所述计算机可读存储介质诸如致密盘（CD）、数字通用盘（DVD）、硬盘驱动器、固态驱动器、闪速存储器设备等等。可替换地，所述一个或多个神经网络和指令可以经由数据通信网络（例如万维网）来被下载到存储介质506上。

在一些示例中，装置500还可以包括被配置成获取医学图像数据的成像装置508。例如，装置500可以包括MRI图像获取机器以及计算机502。

在一些示例中，装置500可以包括输入接口，诸如鼠标、键盘（或用于连接它的相应连接接口）、触摸屏接口等等。装置500的用户可以使用输入接口来将信息输入到装置500中。例如，用户可以手动地校正和/或盖写装置500的输出。例如，如果装置500基于医学图像数据而提供了不存在腱撕裂的分类，并且用户判定事实上存在腱撕裂，则用户可以改变分类、指示腱撕裂的位置等等。

虽然已经在特定示例的上下文中详细图示和描述了本发明，但是本发明不限于所公开的示例。在不离开所要求保护的发明的保护范围的情况下，本领域技术人员可以推断其它变型。

总而言之，所公开的是用于处理医学图像数据的方法、计算机可读存储介质和装置。在数据处理系统处接收医学图像数据，所述数据处理系统是基于人工智能的系统。在数据处理系统处执行标识过程，以标识对包括一个或多个目标腱的感兴趣的区进行表示的医学图像数据的子集。在数据处理系统处执行确定过程以确定与所述一个或多个目标腱的一个或多个异常相关的一个或多个特性。输出异常数据，所述异常数据与所述一个或多个异常相关并且基于所述一个或多个特性。

Claims (17)

1.一种用于处理医学图像数据的方法，所述方法包括：

在数据处理系统处接收医学图像数据，所述数据处理系统是基于人工智能的系统；

由所述数据处理系统标识对包括一个或多个目标腱的感兴趣的区进行表示的医学图像数据的子集；

由所述数据处理系统根据所述医学图像数据的子集来确定与所述一个或多个目标腱的一个或多个异常相关的一个或多个特性；以及

输出与所述一个或多个异常相关的异常数据，所述异常数据基于所述一个或多个特性。

2.根据权利要求1所述的方法，其中标识包括：

确定与所述医学图像数据中的所述一个或多个目标腱相关的掩模；

检测与所述一个或多个目标腱相关的至少一个界标；或

通过回归过程来将限界框定位在所述一个或多个目标腱的至少一部分周围。

3.根据权利要求1所述的方法，其中：

所述感兴趣的区是人体或动物体的肩区。

4.根据权利要求3所述的方法，其中所述一个或多个目标腱包括以下各项中的至少一个：

冈上肌腱；

冈下肌腱；

小圆肌腱；以及

肩胛下肌腱。

5.根据权利要求1所述的方法，其中：

所述数据处理系统是神经网络系统，其包括：

第一神经网络，其通过使用训练数据的第一集合来被训练，所述训练数据的第一集合包括其中指示了与所述感兴趣的区相关的信息的地面真值输出图像的集合；以及

第二神经网络，其通过使用训练数据的第二集合来被训练，所述训练数据的第二集合包括其中指示了与所述一个或多个异常的所述一个或多个特性相关的信息的地面真值输出图像的集合；

并且所述方法包括：

通过使用第一神经网络（402）来进行标识；以及

通过使用第二神经网络（404）来进行确定。

6.根据权利要求1所述的方法，其中：

所述数据处理系统是神经网络系统，其包括用于执行所述标识和所述确定的神经网络，所述神经网络已经通过使用单个训练过程来被训练。

7.根据权利要求1所述的方法，其中标识包括：

将所述医学图像数据裁剪成图像数据的子集。

8.根据权利要求1所述的方法，此外包括：

通过所述数据处理系统来标识所述一个或多个异常的位置。

9.根据权利要求1所述的方法，其中所述医学图像数据包括磁共振成像数据。

10.根据权利要求1所述的方法，其中：

所述一个或多个异常包括所述一个或多个目标腱的腱撕裂。

11.根据权利要求10所述的方法，其中：

确定包括基于所述一个或多个特性来关于所述腱撕裂而对所述一个或多个目标腱进行分类。

12.根据权利要求11所述的方法，其中：

从包括两个或更多不同分类的分类列表中选择被归于所述一个或多个目标腱的分类，所述列表中的每个分类指示：

无腱撕裂；

存在腱撕裂；

部分撕裂；

低等级部分撕裂；

高等级部分撕裂；或

完全撕裂。

13.根据权利要求1所述的方法，其中：

所述异常数据包括报告，所述报告指示关于所述一个或多个异常的信息，其中所述信息包括以下各项中的一个或多个：

对所述一个或多个异常存在的可能性进行描述的评分；

根据所述医学图像数据中的位置来描述所述一个或多个异常存在的可能性的图；

所述一个或多个异常的类型；

所述一个或多个异常的位置；

所述一个或多个异常的尺寸；

所述一个或多个异常的表示图像；

与一个或多个所确定的特性相关的置信水平的指示；

可能的诊断的指示；以及

可能的治疗计划的指示。

14.一种计算机可读存储介质，其：存储一个或多个神经网络，所述神经网络被训练成确定与一个或多个异常相关的一个或多个特性，所述异常与医学图像数据中的一个或多个目标腱相关；并且存储指令，所述指令当由处理器执行的时候使得所述处理器：

接收医学图像数据；

向所述一个或多个神经网络提供所述医学图像数据以执行：

标识过程，用于标识对包括一个或多个目标腱的感兴趣的区进行表示的医学图像数据的子集；以及

确定过程，其包括处理所述医学图像数据的子集，以确定与所述一个或多个目标腱的一个或多个异常相关的一个或多个特性；以及

输出与所述一个或多个异常相关的异常数据，所述数据基于所述一个或多个特性。

15.一种用于处理医学图像数据的装置，所述装置包括：

一个或多个处理器；以及

存储器，其存储：

一个或多个神经网络，其被训练成确定与一个或多个异常相关的一个或多个特性，所述异常与医学图像数据中的一个或多个目标腱相关；以及

指令，所述指令当由所述一个或多个处理器执行的时候使得所述一个或多个处理器：

接收医学图像数据；

向所述一个或多个神经网络提供所述医学图像数据以：

标识对包括一个或多个目标腱的感兴趣的区进行表示的医学图像数据的子集；以及

根据所述医学图像数据的子集来确定与所述一个或多个目标腱的一个或多个异常相关的一个或多个特性；以及

输出与所述一个或多个异常相关的异常数据，所述数据基于所述一个或多个特性。

16.根据权利要求15所述的装置，此外包括被配置成提供所述医学图像数据的成像装置。

17.根据权利要求15所述的装置，此外包括：

输入接口，其用于允许所述装置的用户盖写和/或手动地校正所述装置的输出。

Images