CN114171166B - 可视化数字病理人工智能的模型的管理系统 - Google Patents

Abstract

本公开描述一种可视化数字病理人工智能的模型的管理系统，其包括数据采集模块采集标注结果以获得包括医疗图像及对应的标注结果的目标图像集，计算分析模块基于当前的流水单元和目标图像集获得分析结果或迭代分析结果，可视化模块基于标注结果绘制参照线形图，基于分析结果绘制对比线形图以对比标注结果和分析结果，基于迭代分析结果绘制迭代线形图，判断模块确定是否迭代当前的流水单元，若需要且迭代形成迭代流水单元，直至对比符合预设要求，数据存储模块存储医疗图像、标注结果、分析结果、以及迭代分析结果。由此，能够较为全面地记录医疗图像的数据且能够比较标注结果和分析结果。

Description

可视化数字病理人工智能的模型的管理系统

技术领域

本公开大体涉及一种可视化数字病理人工智能的模型的管理系统。

背景技术

近年来，随着计算能力的增强，人工智能技术取得了长足的进步，特别是由于医学图像数据的爆炸式增加，人工智能技术开始应用于医学例如医学诊断的各个领域。

然而，人工智能技术需要大量的数据，这些数据的采集、归档、存储都是极其繁杂的过程，特别是医疗图像数据，除了医疗图像，还需要收集来自不同医生的大量人工标注和诊断结果，在利用这些医疗图像数据进行训练时，由于模型不同或模型版本的不同，会输出更多不同的计算结果，为了全面地记录和梳理这些数据，需要一个系统来管理这些数据。

现有的一些系统尽管能够记录数据，但仅仅给用户进行模型训练所必要的图像和标注数据，但却不能保存模型迭代过程中的计算结果使得数据的记录不全面，也不能将计算结果和医生的标注结果进行对比分析。

发明内容

本公开是有鉴于上述的状况而提出的，其目的在于提供一种能够较为全面地记录医疗图像的数据且能够比较标注结果和分析结果的可视化数字病理人工智能的模型的管理系统。

为此，本公开提供了一种可视化数字病理人工智能的模型的管理系统，包括：数据采集模块，其用于采集标注结果以获得包括医疗图像及对应的标注结果的目标图像集，所述医疗图像为病理玻片数字图像；计算分析模块，其基于当前的流水单元和所述目标图像集中的医疗图像获得分析结果，并且若所述当前的流水单元为迭代流水单元，则所述分析结果为迭代分析结果；可视化模块，其基于所述目标图像集中的标注结果和分析结果分别绘制参照线形图和对比线形图以对比所述标注结果和所述分析结果，并且若该目标图像集存在所述迭代分析结果，则还基于所述迭代分析结果绘制迭代线形图；判断模块，其基于所述标注结果与所述分析结果或所述迭代分析结果的对比确定是否需要迭代所述当前的流水单元，响应于需要迭代而迭代形成所述迭代流水单元并作为所述当前的流水单元，直至所述标注结果和所述迭代分析结果的对比符合预设要求；以及数据存储模块，其用于存储所述医疗图像、所述标注结果、所述分析结果、以及所述迭代分析结果。

在本公开中，数据采集模块采集标注结果以获得包括医疗图像及标注结果的目标图像集，计算分析模块基于当前的流水单元和目标图像集的医疗图像获得分析结果或迭代分析结果，可视化模块基于标注结果绘制参照线形图，并基于分析结果绘制对比线形图以对比标注结果和分析结果，基于迭代分析结果绘制迭代线形图以对比标注结果和迭代分析结果，判断模块基于标注结果与分析结果或迭代分析结果的对比确定是否需要迭代当前的流水单元，响应于需要迭代而形成迭代流水单元并作为当前的流水单元，直至标注结果和迭代分析结果的对比符合预设要求，数据存储模块存储医疗图像、标注结果、分析结果、以及迭代分析结果。在这种情况下，能够较为全面地记录包括医疗图像、标注结果、分析结果、以及迭代分析结果的医疗图像的数据，且通过可视化模块能够比较标注结果和分析结果或迭代分析结果。另外，能够对流水单元的迭代过程进行追溯。

另外，在本公开所涉及的管理系统中，可选地，所述数据采集模块基于多张所述医疗图像形成至少一个图像集，并针对所述图像集中的各张所述医疗图像进行标注以获得所述目标图像集。由此，能够获得包括医疗图像及对应的标注结果的目标图像集。

另外，在本公开所涉及的管理系统中，可选地，基于所述标注结果和所述分析结果的对比或基于所述标注结果和所述迭代分析结果的对比，在所述数据采集模块更新所述分析结果或所述迭代分析结果。由此，能够便于后续利用更新后的分析结果或迭代分析结果训练新的模型。

另外，在本公开所涉及的管理系统中，可选地，所述目标图像集中的同一张医疗图像分别经过迭代前的流水单元以及迭代后的流水单元获得不同的分析结果，基于相应的分析结果获取所述流水单元中的模型的迭代的情况。由此，能够监控模型的进化情况。

另外，在本公开所涉及的管理系统中，可选地，每个流水单元包括至少一个计算子单元，每个计算子单元由一个模型和所述模型的配置形成，所述迭代流水单元由至少一个新的计算子单元形成，新的计算子单元由新的模型和新的模型的配置形成，其中，所述流水单元中的模型和所述迭代流水单元中的模型基于所述目标图像集中的医疗图像和标注结果训练生成，所述模型是人工神经网络、随机森林、支持向量机或梯度提升树中的至少一种。由此，能够基于目标图像集对流水单元中的模型进行训练，且能够基于不同的模型获得不同的流水单元或迭代流水单元。

另外，在本公开所涉及的管理系统中，可选地，所述预设要求为所述参照线形图与所述对比线形图重合或所述参照线形图与所述迭代线形图重合。由此，能够基于参照线形图与对比线形图重合情况或参照线形图与迭代线形图的重合情况确定流水单元是否需要迭代。

另外，在本公开所涉及的管理系统中，可选地，若所述当前的流水单元迭代预设次数，则所述可视化模块同时显示参照线形图、对比线形图和与所述预设次数相同的数量的所述迭代线形图，并利用不同的颜色或线型绘制所述参照线形图、所述对比线形图和所述迭代线形图。由此，能够便于区分标注结果、分析结果或迭代分析结果对应的线形图，且能够实现标注结果和分析结果或迭代分析结果的可视化对比。

另外，在本公开所涉及的管理系统中，可选地，当前的流水单元包括一个流水单元或多个流水单元，其中，多个流水单元至少包括初始流水单元和终止流水单元，所述分析结果为所述终止流水单元输出的计算结果，其中一个流水单元的输出的计算结果是另一个的流水单元的输入数据，该两个流水单元具有前置关系，计算结果为另一个的流水单元的输入数据的流水单元是接收该输入数据的流水单元的前置流水单元，所述数据存储模块还存储多个流水单元的前置关系。

另外，在本公开所涉及的管理系统中，可选地，所述数据存储模块利用冷数据存储形式将所述医疗图像、所述分析结果和所述迭代分析结果存储在文件中，若需要纠错，则自所述文件读取至数据库形成热数据，所述数据存储模块还存储各张所述医疗图像、所述流水单元与文件位置的三者间的对应关系，利用热数据存储形式将所述标注结果、所述对应关系和多个流水单元的前置关系进行存储。由此，能够降低数据存储对数据库的要求。

另外，在本公开所涉及的管理系统中，可选地，所述管理系统包括数据管理模块，所述数据管理模块与所述数据存储模块通过HTTP协议和GRPC协议连接，所述数据管理模块与所述计算分析模块通过消息中间件和HTTP协议连接，所述数据存储模块与所述计算分析模块通过HTTP协议连接，所述数据管理模块、所述数据存储模块和所述计算分析模块之间基于etcd实现模块注册以及服务感知和服务管理。由此，能够实现数据存储模块与计算分析模块的横向扩展。

基于本公开的管理系统，能够较为全面地记录医疗图像的数据且能够比较标注结果和分析结果。

附图说明

现在将仅通过参考附图的例子进一步详细地解释本公开，其中：

图1是示出了本公开示例所涉及的可视化数字病理人工智能的模型的管理系统的框图。

图2是示出了本公开示例所涉及的可视化数字病理人工智能的模型的管理系统的流程示意图。

图3是示出了本公开示例所涉及的数据采集模块与计算分析模块之间的关系的示意图。

图4是示出了本公开示例所涉及的流水单元的框图。

图5是示出了本公开示例所涉及的计算子单元的框图。

图6是示出了本公开示例所涉及的计算链的示意图。

图7是示出了本公开示例所涉及的计算链的另一种示例的示意图。

图8是示出了本公开示例所涉及的可视化模块显示线形图的示意图。

图9是示出了本公开示例所涉及的可视化数字病理人工智能的模型的管理系统的框图。

具体实施方式

以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本公开涉及一种可视化数字病理人工智能的模型的管理系统。本公开的可视化数字病理人工智能的模型的管理系统有时可以简称为系统、管理系统或数据管理平台。本公开的管理系统用于管理医疗图像的数据。本公开的管理系统能够较为全面地记录医疗图像的数据，且能够比较标注结果和分析结果。另外，能够对流水单元的迭代过程进行追溯。另外，本公开的管理系统还能够比较标注结果和迭代分析结果、或标注结果、分析结果和至少一个迭代分析结果。

图1是示出了本公开示例所涉及的可视化数字病理人工智能的模型的管理系统的框图。图2是示出了本公开示例所涉及的可视化数字病理人工智能的模型的管理系统的流程示意图。

在一些示例中，如图1所示，管理系统1可以包括数据采集模块10、计算分析模块20、可视化模块30和数据存储模块40。数据采集模块10可以用于采集标注结果。计算分析模块20可以基于包括模型的流水单元和医疗图像获得分析结果。可视化模块30可以基于标注结果和分析结果分别绘制线型图以比较标注结果和分析结果。数据存储模块40可以用于存储医疗图像、标注结果及分析结果。由此，管理系统1能够较为全面地记录包括医疗图像、标注结果以及分析结果的医疗图像的数据，且通过可视化模块30能够比较标注结果和分析结果。

在一些示例中，管理系统1可以采用B/S架构。用户可以通过浏览器登录管理系统1。

在一些示例中，如上所述，管理系统1可以包括数据采集模块10(参见图1)。

在一些示例中，数据采集模块10可以基于多张医疗图像形成至少一个图像集。具体地，数据采集模块10可以形成至少一个图像集。每个图像集可以包括多张医疗图像。在一些示例中，医疗图像可以为医疗影像，图像集可以为影像集。

在一些示例中，医疗图像例如可以是病理玻片数字图像。在一些示例中，医疗图像可以是彩色图像或灰度图像。

在一些示例中，医疗图像可以保存在数据存储模块40(后续描述)中。

在一些示例中，数据采集模块10可以将多张医疗图像进行打包形成图像集。换言之，用户可以通过数据采集模块10将任意多张医疗图像创建为图像集。

在一些示例中，一张医疗图像可以属于不同的图像集。在一些示例中，基于不同的目的，可以从多张医疗图像中选取所需的医疗图像形成不同的图像集。

在一些示例中，数据采集模块10可以用于采集标注结果。由此，能够获得包括医疗图像及对应的标注结果的目标图像集。

在一些示例中，数据采集模块10可以针对图像集中的各张医疗图像进行标注以获得包括医疗图像及对应的标注结果的目标图像集。具体地，数据采集模块10可以针对每个图像集中的医疗图像进行标注获得对应的标注结果。不同的图像集可以具有相应的一套标注结果。由此，能够获得包括医疗图像及对应的标注结果的目标图像集。

在一些示例中，经过标注的图像集可以称为目标图像集。也即，创建一个新的图像集相应的可以存放一套新的标注结果，从而可以形成一个新的目标图像集。换言之，目标图像集可以包括医疗图像和标注结果。在一些示例中，若医疗图像为医疗影像，目标图像集可以为目标影像集。

在一些示例中，目标图像集中的标注结果可以存储在数据存储模块40中。

在一些示例中，医生可以通过数据采集模块10对图像集中的医疗图像进行标注。换言之，如图2所示，在数据采集模块10能够进行医生标注。其中，进行标注后的标注结果可以存储于数据存储模块40中。

在一些示例中，在数据采集模块10，可以通过网页平台提供的看图界面和标注工具对图像集的各张医疗图像进行标注。在这种情况下，医生能够利用在线方式完成标注。由此，能够提高标注的便捷性。

在一些示例中，通过数据采集模块10可以更新计算分析模块20输出的分析结果或迭代分析结果。具体地，若医生需要纠错，医生能够通过在数据采集模块10查看或修改分析结果或迭代分析结果等数据。换言之，如图2所示，在数据采集模块10能够进行医生纠错。其中，修改的分析结果或迭代分析结果可以存储于数据存储模块40。

在一些示例中，基于标注结果和分析结果(后续描述)的对比或基于标注结果和迭代分析结果(后续描述)的对比，可以在数据采集模块10更新分析结果或迭代分析结果。由此，能够便于后续利用更新后的分析结果或迭代分析结果训练新的模型。例如，医生能够基于标注结果和分析结果的对比或基于标注结果和迭代分析结果的对比在数据采集模块10更新分析结果或迭代分析结果。

图3是示出了本公开示例所涉及的数据采集模块10与计算分析模块20之间的关系的示意图。

在一些示例中，能够利用医疗图像和更新的分析结果或利用医疗图像和更新的迭代分析结果训练新的人工智能的模型(后续描述)。也即，可以将更新的分析结果或更新的迭代分析结果作为新的标注结果，利用医疗图像和新的标注结果训练新的人工智能的模型。由此，能够提高模型训练效率。具体地，如图3所示，数据采集模块10采集的标注结果可以用于对人工智能的模型进行训练，进而计算分析模块20可以基于人工智能的模型获取分析结果或迭代分析结果，分析结果或迭代分析结果经由数据采集模块10进行更新可以形成新的标注结果用于对新的人工智能的模型进行训练，进而计算分析模块20可以基于新的人工智能的模型获取分析结果或迭代分析结果。

图4是示出了本公开示例所涉及的流水单元的框图。图5是示出了本公开示例所涉及的计算子单元的框图。图6是示出了本公开示例所涉及的计算链的示意图。

在一些示例中，如上所述，管理系统1可以包括计算分析模块20(参见图1)。计算分析模块20可以基于流水单元和医疗图像获得分析结果。具体地，医疗图像可以作为输入数据输入至流水单元，经过流水单元的计算处理输出分析结果。

在一些示例中，每个流水单元可以包括至少一个计算子单元。例如，如图4所示，一个流水单元可以包括n个计算子单元。其中n为自然数。

在一些示例中，每个计算子单元可以由一个模型和模型的配置形成(参见图5)。在这种情况下，基于不同的模型和不同的配置能够获得不同的计算子单元。

在一些示例中，不同的计算子单元进行组合可以形成不同的流水单元。在这种情况下，相同的医疗图像基于不同的流水单元能够获得不同的分析结果。

在一些示例中，流水单元中的模型可以基于目标图像集中的医疗图像和标注结果训练生成。由此，能够基于目标图像集对流水单元中的模型进行训练。

在一些示例中，模型可以是人工智能的模型。例如，模型可以是人工神经网络、随机森林、支持向量机或梯度提升树中的至少一种。由此，能够基于不同的模型获得不同的流水单元或迭代流水单元。

在一些示例中，流水单元可以进行迭代。迭代后的流水单元可以称为迭代流水单元。计算分析模块20可以基于迭代流水单元(即迭代后的流水单元)和医疗图像获得迭代分析结果(后续描述)。

具体地，如上所述，流水单元可以包括由模型和模型的配置形成的计算子单元，由于模型的配置可以基于标注结果和分析结果的比较(后续描述)被更改，因此，基于更改后的模型配置和模型形成新的计算子单元，基于新的计算子单元能够获得迭代流水单元。换言之，迭代流水单元可以由至少一个新的计算子单元形成，新的计算子单元可以由新的模型和新的模型的配置形成。在这种情况下，基于不同的新的模型和不同的新的配置能够获得不同的计算子单元，进而能够基于新的模型获得迭代流水单元。

在一些示例中，新的模型可以是基于原来的模型更新生成的或利用纠错或更新的分析结果或迭代分析结果作为标注结果训练模型形成的。在这种情况下，新的模型可以看做是原来的模型的迭代更新。由此，能够通过迭代更新的模型形成新的计算子单元进而获得迭代流水单元。在这种情况下，计算分析模块20可以基于迭代流水单元和目标图像集的医疗图像获得迭代分析结果。

在一些示例中，原来的模型和每一次迭代更新形成的新的模型均可以被保存。由此，能够便于数据或计算结果的溯源。

在一些示例中，新的模型可以搭配不同的模型配置进而形成多个不同的流水单元。在这种情况下，能够基于不同的流水单元获得不同的分析结果进而判断每个模型配置的优劣和影响。

在一些示例中，同一张医疗图像分别经过迭代前的流水单元以及迭代后的流水单元可以获得不同的分析结果，基于相应的分析结果获取流水单元中模型的迭代(也即进化)的情况。由此，能够监控模型的进化情况。

在一些示例中，计算分析模块20用于实时计算的流水单元可以看做是当前的流水单元。若流水单元存在迭代，每一次迭代结束后获得迭代流水单元为当前的流水单元。如上所述，计算分析模块20可以基于迭代流水单元和医疗图像获得迭代分析结果。也即，若当前的流水单元为迭代流水单元，则分析结果可以为迭代分析结果。

在一些示例中，基于上述涉及的流水单元获得的分析结果以及基于上述涉及的迭代流水单元获得的迭代分析结果都可以存储于数据存储模块40中。

在一些示例中，医疗图像、基于当前的流水单元获得的分析结果、该流水单元中的模型和模型的配置的关系可以存储于数据存储模块40中。

在一些示例中，当前的流水单元的数量可以是一个。换言之，计算分析模块20可以基于一个流水单元和医疗图像获得分析结果。在这种情况下，该流水单元输出的计算结果即为计算分析模块20输出的分析结果。

在一些示例中，当前的流水单元的数量可以是多个。换言之，计算分析模块20可以基于多个流水单元和医疗图像获得分析结果。

在一些示例中，多个当前的流水单元可以至少包括初始流水单元和终止流水单元。在一些示例中，分析结果可以为终止流水单元输出的计算结果。

在一些示例中，某个流水单元可以基于其他至少一个流水单元的计算结果进行计算。换言之，在多个当前的流水单元中，其中一个流水单元的输出的计算结果可以是另一个的流水单元的输入数据。在这种情况下，该两个流水单元具有前置关系。其中，计算结果为另一个的流水单元的输入数据的流水单元是接收该输入数据的流水单元的前置流水单元。

在一些示例中，除初始流水单元外，其他流水单元的前置流水单元的数量可以为一个或多个。

在一些示例中，除终止流水单元外，其他流水单元可以为至少一个流水单元的前置流水单元。

在一些示例中，具有前置关系的两个流水单元及该前置关系可以存储于数据存储模块40中。在这种情况下，即使推理过程比较复杂，管理系统1也能够追溯计算分析模块20输出的分析结果的来源过程。

例如，如图6所示，多个流水单元可以包括流水单元A和流水单元B。流水单元A输出的计算结果为流水单元B的输入数据。具体地，医疗图像可以作为输入数据输入至流水单元A，流水单元A输出的计算结果可以存储于数据存储模块40中，流水单元B从数据存储模块40中调取流水单元A的计算结果并基于该计算结果进行计算。流水单元A为流水单元B的前置流水单元。

在一些示例中，多个流水单元可以构成一个计算链。如上所述，多个当前的流水单元可以至少包括初始流水单元和终止流水单元，因此一个计算链至少可以包括初始流水单元和终止流水单元。医疗图像可以作为输入数据输入至初始流水单元，初始流水单元的计算结果输入至终止流水单元进行计算获得分析结果。

在一些示例中，初始流水单元的数量至少为一个。终止流水单元的数量至少为一个。

图7是示出了本公开示例所涉及的计算链的另一种示例的示意图。

在一些示例中，如图7所示，计算链中可以包括初始流水单元、中间流水单元和终止流水单元。医疗图像可以作为输入数据输入至初始流水单元，初始流水单元的计算结果输入至中间流水单元获得中间流水单元的计算结果，中间流水单元的计算结果输入至终止流水单元进行计算获得计算结果并作为分析结果。其中，中间流水单元的数量至少为一个。多个中间流水单元可以是并行和/或穿行关系。另外，对于迭代流水单元对应的计算链，终止流水单元输出的结果可以为迭代分析结果。

在一些示例中，上述涉及的每个流水单元的计算结果和分析结果都可以存储于数据存储模块40中。例如计算结果和分析结果可以存储于数据存储模块40的文件(例如pkl文件)中。由此，能够实现每个流水单元的计算结果的可追溯性。

在一些示例中，由于数据采集模块10可以基于多张医疗图像形成图像集并进行标注获得目标图像集，因此，计算分析模块20可以基于当前的流水单元和目标图像集的医疗图像获得分析结果。具体地，目标图像集中的医疗图像可以作为输入数据输入至当前的流水单元，经过当前流水单元的计算输出分析结果。在一些示例中，当前的流水单元的可以是由多个流水单元组成。

在一些示例中，由于目标图像集中的标注结果存储于数据存储模块40中，因此，计算分析模块20可以读取数据存储模块40中的目标图像集的医疗图像，并基于读取的医疗图像和当前的流水单元获得分析结果(参见图2)。

在一些示例中，基于计算分析模块20获得的分析结果或迭代分析结果可以在数据采集模块10进行医生纠错。分析结果或迭代分析结果可以为冷数据，若需要纠错，则分析结果或迭代分析结果自存储冷数据的文件(例如pkl文件)读取至数据库形成热数据，并在数据采集模块10进行医生纠错(参见图2)。

在一些示例中，对分析结果或迭代分析结果的纠错或更新例如可以是对分析结果或迭代分析结果中漏标的内容进行补充，或对错标的内容进行修正。

在一些示例中，可以将纠错或更新的分析结果或迭代分析结果作为标注结果并对新的模型进行训练。在这种情况下，相对于利用医生的标注结果对新的模型进行训练，利用纠错或更新的分析结果或迭代分析结果作为标注结果并对新的模型进行训练，能够减少人工标注成本，即能够提高医生标注效率。

在一些示例中，可以将纠错或更新的分析结果或迭代分析结果导出为xml文件并对新的模型进行训练。由此，能够利用包括纠错或更新的分析结果或迭代分析结果的xml文件对新的模型进行训练。

在一些示例中，如上所述，管理系统1可以包括可视化模块30(参见图1)。

在一些示例中，可视化模块30可以读取数据存储模块40的文件(后续描述)中的分析结果和迭代分析结果。

在一些示例中，可视化模块30可以基于目标图像集的标注结果绘制参照线形图。具体地，可视化模块30可以从数据存储模块40中读取标注结果，基于读取的标注结果绘制参照线形图。

在一些示例中，可视化模块30可以基于该目标图像集的分析结果绘制对比线形图。具体地，可视化模块30可以从数据存储模块40中读取分析结果，基于读取的分析结果绘制对比线形图。

在一些示例中，可视化模块30可以基于参照线形图和对比线形图对比标注结果和分析结果。由此，能够直观地获知医生的标注结果与计算分析模块20计算得到的分析结果或迭代分析结果的重合情况。

综上所述，可视化模块30可以基于目标图像集中的标注结果和分析结果分别绘制参照线形图和对比线形图以对比标注结果和分析结果。

在一些示例中，如上所述，相同的医疗图像能够基于不同的流水单元能够获得不同的分析结果。可视化模块30可以绘制并显示在不同的流水单元的条件下相同的医疗图像的不同的对比线形图。

在一些示例中，若流水单元存在迭代且计算分析模块20输出迭代分析结果，则可视化模块30可以基于迭代分析结果绘制迭代线形图。也即，若目标图像集存在迭代分析结果，则计算分析模块20还基于所迭代分析结果绘制迭代线形图。

在一些示例中，若当前的流水单元迭代预设次数，则可视化模块30可以同时显示与预设次数相同的数量的迭代线形图。由此，能够便于直观根据各个迭代线形图的重合情况以判断流水单元(或流水单元中的模型)的进化效果。

在另一些示例中，若当前的流水单元的数量可以是多个，则可视化模块30可以同时显示当前的流水单元中多个流水单元的计算结果对应的线形图。

图8是示出了本公开示例所涉及的可视化模块30显示线形图的示意图。

在一些示例中，可视化模块30可以同时显示参照线形图、对比线形图和与预设次数相同的数量的迭代线形图。也即，可视化模块30可以显示标注结果和至少一次结果对应的线形图。作为示例，图8示出了标注结果对应的参照线形图P1、以及三次结果(分析结果或迭代分析结果)分别对应的线形图P2、线形图P3和线形图P4，其中，三次结果中的各个结果可以对应不同的流水单元。在一些示例中，可视化模块30可以接收关闭或开启线形图的操作，以隐藏或者显示相应的线形图。由此，能够方便地选择对全部或部分线形图进行对比。

在一些示例中，可视化模块30可以利用openseadragon库和paperjs库显示参照线形图、对比线形图和迭代线形图。由此，能够实现标注结果和分析结果或迭代分析结果的可视化对比。但本公开的可视化模块30利用的库不限于openseadragon库和paperjs库。

在一些示例中，可视化模块30可以利用不同的颜色或线型绘制参照线形图、对比线形图和迭代线形图。由此，能够便于区分标注结果、分析结果或迭代分析结果对应的线形图。

在一些示例中，可视化模块30可以利用不同的线宽和虚实线形对标注结果和分析结果进行绘制。由此，能够便于区分标注结果与分析结果对应的线形图。

在一些示例中，可视化模块30可以利用不同的线宽和虚实线形对标注结果、分析结果或迭代分析结果进行绘制。由此，能够便于区分标注结果、分析结果或迭代分析结果对应的线形图。

在一些示例中，可视化模块30可以利用不同的线宽和虚实线形将标注结果、分析结果或迭代分析结果对应的线形图绘制到canvas中。在这种情况下，将相同的医疗图像基于流水单元以及迭代预设次数的迭代流水单元对应的对比线形图和迭代线形图同时绘制显示，由此，能够直观根据对比线形图和迭代线形图的重合情况判断流水单元(或流水单元中的模型)的进化效果。

在一些示例中，如上所述，管理系统1可以包括数据存储模块40(参见图1)。

在一些示例中，数据存储模块40可以用于存储医疗图像、标注结果和分析结果。由此，管理系统1能够较为全面地记录包括医疗图像、标注结果、以及分析结果等的医疗图像的数据。

在一些示例中，若流水单元中的模型迭代后，计算分析模块20输出迭代分析结果。迭代分析结果也可以存储于数据存储模块40。在这种情况下，数据存储模块40能够用于存储医疗图像、标注结果、分析结果和迭代分析结果。由此，管理系统1能够较为全面地记录包括医疗图像、标注结果、分析结果以及迭代分析结果等的医疗图像的数据。

在一些示例中，用户可以通过数据存储模块40的数据库多对多关系，将任意多张医疗图像创建为图像集。其中，医疗图像可以存储在数据存储模块40中。在这种情况下，数据存储模块40能够存储医疗图像、标注结果、分析结果以及迭代分析结果。

在一些示例中，创建一个新的图像集相应的可以存放一套新的标注结果，从而可以形成一个新的目标图像集。其中，目标图像集可以存储在数据存储模块40中的医疗图像和标注结果。在这种情况下，数据存储模块40能够存储医疗图像、标注结果、分析结果以及迭代分析结果。

在一些示例中，如上所述，不同的流水单元之间可以存在前置关系。其中，前置关系可以存储在数据存储模块40中。在这种情况下，数据存储模块40能够存储医疗图像、标注结果、分析结果、迭代分析结果以及多个流水单元的前置关系。

在一些示例中，数据存储模块40中的图像集或目标图像集中增加了保护字段。在这种情况下，使得医疗图像、目标图像集中的标注结果不易被修改。由此，能够使图像集或目标图像集处于保护状态。

在一些示例中，数据存储模块40可以采用冷热数据分开存储的方式进行数据的存储。

在一些示例中，数据存储模块40例如可以包括数据库和文件。

在一些示例中，文件可以用于存储冷数据。也即文件可以利用冷数据存储形式进行数据的存储。文件例如可以是存储设备。在一些示例中，数据存储模块40可以利用冷数据存储形式将医疗图像、分析结果和迭代分析结果存储在文件中。

在一些示例中，文件例如可以包括pkl文件。

在一些示例中，分析结果和迭代分析结果可以存储于pkl文件中。

在一些示例中，数据库可以用于存储热数据。也即数据库可以利用热数据存储形式进行数据的存储。在一些示例中，数据库例如可以是Mysql数据库。

在一些示例中，数据存储模块40还可以存储各张医疗图像、流水单元和文件位置的三者间的对应关系。由此，能够降低数据存储对数据库的要求，且能够降低对数据库的压力。

在一些示例中，数据存储模块40可以利用热数据存储形式将标注结果、对应关系和多个流水单元的前置关系进行存储。

在一些示例中，各张医疗图像可以存储在多个服务器中。数据库还可以存储多个服务器的服务器表。服务器例如可以是玻片服务器。玻片(即病理玻片数字图像)路径可以存于玻片服务器多对多中间表中。由此，玻片能够存储于不同的服务器上，另外也可以在不同的服务器上保存相同的病理玻片数字图像，由此，能够对病理玻片数字图像进行备份。

在一些示例中，各张医疗图像可以存储在分布式存储服务器中。

在一些示例中，由于pkl文件中数据可以导入数据库形成热数据，若医生需要纠错，则管理系统1可以将分析结果或迭代分析结果从pkl文件调至数据库中形成热数据，从而使得医生在数据采集模块10查看或修改分析结果或迭代分析结果等数据。在这种情况下，通过可视化模块30找出分析结果或迭代分析结果错误的数据，只需将分析结果或迭代分析结果中错误的数据导入数据库，并交给医生纠错。由此，能够较为完整地记录所有的分析结果或迭代分析结果、减轻数据库的压力、以及降低庞大的分析结果或迭代分析结果使数据库撑爆的风险。

在一些示例中，由于数据存储模块40中存储了计算分析模块20基于不同模型和不同配置下的流水单元的分析结果或迭代分析结果，因此，便于医生在数据采集模块10查看或修改分析结果或迭代分析结果，且便于可视化模块30读取标注结果、分析结果或迭代分析结果进行绘制对比。

在一些示例中，管理系统1可以包括判断模块50(参见图1)。判断模块50可以确定是否迭代当前的流水单元。在一些示例中，判断模块50可以基于标注结果与分析结果或迭代分析结果的对比确定是否需要迭代当前的流水单元。

在一些示例中，判断模块50可以基于标注结果和分析结果的对比确定是否需要迭代当前的流水单元。在一些示例中，判断模块50可以基于标注结果和分析结果的比较结果确定是否需要迭代流水单元。若标注结果和分析结果的比较结果满足预设要求，则不需要迭代流水单元，若标注结果和分析结果的比较结果不满足预设要求，则需要迭代流水单元。在这种情况下，预设要求可以为参照线形图与对比线形图重合。由此，能够基于参照线形图与对比线形图重合情况确定流水单元是否需要迭代。

在一些示例中，判断模块50可以基于标注结果和迭代分析结果的对比确定是否需要迭代当前的流水单元。在一些示例中，判断模块50可以基于标注结果和迭代分析结果的比较结果确定是否需要迭代流水单元。在一些示例中，若流水单元迭代后形成迭代流水单元，计算分析模块20生成迭代分析结果，则判断模块50可以基于标注结果和迭代分析结果的比较结果确定是否需要迭代流水单元。若标注结果和迭代分析结果的比较结果满足预设要求，则不需要迭代流水单元，若标注结果和迭代分析结果的比较结果不满足预设要求，则需要迭代流水单元。在这种情况下，预设要求可以为参照线形图与迭代线形图重合。由此，能够基于参照线形图与迭代线形图的重合情况确定流水单元是否需要迭代。

在一些示例中，若判断模块50确定当前的流水单元需要迭代，且迭代当前的流水单元形成迭代流水单元，则迭代流水单元为当前的流水单元(也即，响应于需要迭代而迭代形成迭代流水单元并作为当前的流水单元)，计算分析模块20可以基于迭代流水单元和目标图像集的医疗图像获得迭代分析结果。可视化模块30可以基于迭代分析结果绘制迭代线形图。判断模块50可以基于标注结果和迭代分析结果的对比确定是否需要迭代当前的流水单元，若需要迭代，则迭代当前的流水单元，直至标注结果和迭代分析结果的对比符合预设要求。

其中，每次迭代当前的流水单元，则计算分析模块20和可视化模块30重复执行分析对比判断步骤。其中，分析对比判断步骤包括计算分析模块20可以基于迭代流水单元(当前的流水单元)和目标图像集的医疗图像获得迭代分析结果。可视化模块30可以基于迭代分析结果绘制迭代线形图。判断模块50可以基于标注结果和迭代分析结果的对比确定是否需要迭代当前的流水单元。在分析对比判断步骤的过程中若标注结果和迭代分析结果的对比符合预设要求，则停止迭代当前的流水单元。

在本公开中，管理系统1可以采集标注结果以获得包括医疗图像及标注结果的目标图像集。计算分析模块20可以基于当前的流水单元和目标图像集的医疗图像获得分析结果或迭代分析结果。可视化模块30可以基于标注结果绘制参照线形图，并基于分析结果绘制对比线形图以对比标注结果和分析结果，基于迭代分析结果绘制迭代线形图以对比标注结果和迭代分析结果。判断模块50可以基于标注结果与分析结果或迭代分析结果的对比确定是否需要迭代当前的流水单元。响应于需要迭代而形成迭代流水单元并作为当前的流水单元，直至标注结果和迭代分析结果的对比符合预设要求。数据存储模块40可以存储医疗图像、标注结果、分析结果、迭代分析结果以及多个流水单元的前置关系。在这种情况下，管理系统1能够较为全面地记录包括医疗图像、标注结果、分析结果、迭代分析结果以及多个流水单元的前置关系的医疗图像的数据，且通过可视化模块能够比较标注结果和分析结果或迭代分析结果。另外，能够对流水单元的迭代过程进行追溯。

图9是示出了本公开示例所涉及的管理系统1的框图。

在一些示例中，管理系统1可以包括数据管理模块60(参见图9)。数据管理模块60可以用于数据的管理。其中数据可以包括上述的图像集、目标图像集、标注结果、分析结果、以及迭代分析结果等医疗图像的数据。数据还可以包括流水单元中的模型和模型的配置等数据。

在一些示例中，管理系统1中数据管理模块60与数据存储模块40通过HTTP协议和GRPC协议连接。数据管理模块60与计算分析模块20通过消息中间件和HTTP协议连接。具体地，计算分析模块20通过HTTP协议向数据管理模块60传输信息。数据管理模块60通过消息中间件向计算分析模块20反馈信息。数据存储模块40与计算分析模块20通过HTTP协议连接。另外，数据管理模块60、数据存储模块40和计算分析模块20之间可以基于etcd实现模块注册以及服务感知和服务管理。在这种情况下，能够实现数据存储模块40与计算分析模块20的横向扩展。

但本公开的示例不限于此，在另一些示例中，管理系统1中数据管理模块60可以与数据存储模块40通过HTTP协议连接。数据管理模块60与计算分析模块20通过RabbitMQ和HTTP协议连接。具体地，计算分析模块20通过HTTP协议向数据管理模块60传输信息。数据管理模块60通过RabbitMQ向计算分析模块20反馈信息。数据存储模块40与计算分析模块20通过HTTP协议连接。在这种情况下，能够实现数据存储模块40与计算分析模块20的横向扩展。

本公开涉及的管理系统1可以用于实施基于流水线的模型管理追溯方法，通过包括但不限于模型的数据集管理(例如标注数据的管理)、模型的发布管理和模型的评估管理，以最终达到数据、模型、性能、用户的关联追溯。以下描述一种本公开的管理系统1实施模型管理追溯方法的示例流程：

首先，训练作业任务绑定了模型和模型训练所使用的目标图像集(例如，目标图像集可以分为训练数据集、验证数据集和测试数据集)。该步骤可以由数据采集模块10实施。

接着，当训练完成后，将训练作业任务中模型的模型元数据和模型库地址自动提交，发布成为流水线(也即，流水单元)。另外，模型元数据可以包括模型版本号、模型名字、模型标识(也即，唯一的id)、模型所关联的容器基础镜像id、容器框架和资源需求等。该步骤可以由管理系统1的流水管理模块(未图示)实施。

接着，流水线发布后可以创建基于该流水线的计算任务，对目标图像集进行推理任务，推理任务发布后可以创建执行该推理任务所需的计算资源(例如，可以调用kubernetes(K8S)API创建执行推理任务所需的计算资源)并运行推理任务。推理任务运行期间可以对推理任务进度、执行日志进行监控和跟踪、以及对推理任务进行调试。该步骤可以由计算分析模块20实施。

最后，推理任务执行完成后，可以提供数据可视化和计算可视化界面，用于模型效果评估和追溯。其中，模型效果评估和追溯可以包括但不限于模型自身的性能曲线、检测模型的预测结果与目标图像集的交并比(Intersection over Union，IoU)和平均精度(meanaverage precision，MAP)评价、模型的敏感度评价、模型的特异性评价。在一些示例中，模型的评价不仅可以是横向的多模型比较评价，还可以是纵向的历次模型(也即，流水线关联的模型)版本的比较评价、模型与标注和金标准的比较评价。该步骤可以由可视化模块30实施。

另外，整个模型管理追溯方法的数据可以由数据存储模块40进行存储。

虽然以上结合附图和实施例对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。

Claims (8)

1.一种可视化数字病理人工智能的模型的管理系统，其特征在于，包括：

数据采集模块，其用于采集标注结果以获得包括医疗图像及对应的标注结果的目标图像集，所述医疗图像为病理玻片数字图像；

计算分析模块，其基于当前的流水单元和所述目标图像集中的医疗图像获得分析结果，并且若所述当前的流水单元为迭代流水单元，则所述分析结果为迭代分析结果，其中，所述当前的流水单元中的模型基于所述目标图像集中的医疗图像和标注结果训练生成，所述目标图像集中的同一张医疗图像分别经过迭代前的流水单元以及迭代后的流水单元获得不同的分析结果，基于相应的分析结果获取所述当前的流水单元中的模型的迭代的情况，所述当前的流水单元包括多个流水单元，所述多个流水单元至少包括初始流水单元和终止流水单元，所述分析结果为所述终止流水单元输出的计算结果，在所述多个流水单元中，若一个流水单元的输出的计算结果是另一个的流水单元的输入数据，表示该两个流水单元具有前置关系，每个流水单元包括多个计算子单元，每个计算子单元由一个模型和该模型的配置形成；

可视化模块，其基于所述目标图像集中同一张医疗图像的标注结果和分析结果分别绘制参照线形图和对比线形图以对比所述标注结果和所述分析结果，并且若该目标图像集存在该同一张医疗图像的所述迭代分析结果，则还基于所述迭代分析结果绘制迭代线形图，其中，若所述当前的流水单元迭代预设次数，则所述可视化模块同时显示参照线形图、对比线形图和与所述预设次数相同的数量的所述迭代线形图以根据各个迭代线形图与所述参照线形图的重合情况判断所述当前的流水单元的进化效果；

判断模块，其基于所述标注结果与所述分析结果或所述迭代分析结果的对比确定是否需要迭代所述当前的流水单元，响应于需要迭代而迭代形成所述迭代流水单元并作为所述当前的流水单元，直至所述目标图像集中的同一张医疗图像的标注结果和所述迭代分析结果的对比符合预设要求，其中，所述预设要求为所述参照线形图与所述对比线形图重合或所述参照线形图与所述迭代线形图重合；以及

数据存储模块，其用于利用冷数据存储形式将所述医疗图像、所述分析结果和所述迭代分析结果存储在文件中，所述数据存储模块还存储各张所述医疗图像、所述流水单元与文件位置的三者间的对应关系，利用热数据存储形式将所述标注结果、所述对应关系、和所述前置关系进行存储。

2.根据权利要求1所述的管理系统，其特征在于：

所述数据采集模块基于多张所述医疗图像形成至少一个图像集，并针对所述图像集中的各张所述医疗图像进行标注以获得所述目标图像集。

3.根据权利要求1所述的管理系统，其特征在于：

基于所述标注结果和所述分析结果的对比或基于所述标注结果和所述迭代分析结果的对比，在所述数据采集模块更新所述分析结果或所述迭代分析结果。

4.根据权利要求1所述的管理系统，其特征在于：

所述迭代流水单元由至少一个新的计算子单元形成，新的计算子单元由新的模型和新的模型的配置形成，所述模型是人工神经网络、随机森林、支持向量机或梯度提升树中的至少一种。

5.根据权利要求1所述的管理系统，其特征在于：

利用不同的颜色或线型绘制所述参照线形图、所述对比线形图和所述迭代线形图。

6.根据权利要求1所述的管理系统，其特征在于：

在具有前置关系的两个流水单元中，计算结果为另一个的流水单元的输入数据的流水单元是接收该输入数据的流水单元的前置流水单元。

7.根据权利要求1所述的管理系统，其特征在于：

若需要纠错，则自所述文件读取至数据库形成热数据。

8.根据权利要求1所述的管理系统，其特征在于：

所述管理系统包括数据管理模块，所述数据管理模块与所述数据存储模块通过HTTP协议和GRPC协议连接，所述数据管理模块与所述计算分析模块通过消息中间件和HTTP协议连接，所述数据存储模块与所述计算分析模块通过HTTP协议连接，所述数据管理模块、所述数据存储模块和所述计算分析模块之间基于etcd实现模块注册以及服务感知和服务管理。

Images