CN111784284A - 一种宫颈图像多人协同标记云服务系统及云服务方法 - Google Patents

Abstract

本发明公开了一种宫颈图像多人协同标记云服务系统及云服务方法，采用云计算为基础支撑平台，设计一种支持分布在异地的不同医生协作完成一张宫颈病理图像的细胞标记工作云服务系统，该系统通过一系列云端服务的相互协作完成，这些服务包括权限管理服务、缓存服务器、存储管理WEB服务、协商管理服务、图像数据存储服务、图像多分辨率服务、平台监控分析器、配置服务、异步消息服务、并发控制管理、图像标记WEB服务、协商管理服务。支持分布在异地的多人协同医疗图像的标注工作，提高了标注效率、可靠性和准确性，基于严格流程控制的协同标注，使标注数据准确无争议，形成宫颈细胞诊断的标准数据平台。

Description

一种宫颈图像多人协同标记云服务系统及云服务方法

技术领域

本发明涉及一种宫颈图像标记处理领域，尤其是涉及一种使用于面向宫颈病理细胞的AI（人工智能）模型训练的大规模细胞标记需要的宫颈图像多人协同标记云服务系统及云服务方法。

背景技术

宫颈细胞病变筛查分析的关键方法是病理形态学分析发现，该分析发现方法通过在显微镜下进行宫颈细胞学涂片检查有无异常细胞以发现有无宫颈癌和癌前病变等疾病。很多发达国家的经验表明，开展以细胞形态学为基础的宫颈癌筛查，可以有效降低宫颈癌的发生。作为一种无创性检查，该技术容易实施，也容易被人接受。然而，一张宫颈病理涂片一般包含五到十万细胞，病理医生需要在显微镜下通过调整视野仔细观察才能发现可能的疾病，该病理医生带来巨大的脑力和体力负担。

而且我国的宫颈病理诊断需求巨大，目前我国的适龄妇女人群超过3.5亿人；而按照每三到五年的筛查需求，每年大约有七千万人次的诊断需求，与此不成比例的是，目前的注册病理医生不到两万人，根本无法承担如此巨大的宫颈细胞病变筛查分析工作量。

随着以深度学习为代表的人工智能（AI）技术不断发展，逐渐成为医疗界的基础技术手段之一，在智能诊疗分析、智能影像筛查以及智能健康等领域得到推广使用。使得基于计算机视觉的AI病理医生能够自动阅读分析图像数据进行宫颈癌筛查，可以大大降低病理医生的判读工作量，解决病理医生不足的情况，也有利于提高广大女性的健康水平。

而AI病理医生的关键在于精准高效的宫颈筛查AI模型，该模型基于病理形态学深度学习病理专家经验知识，从而在诊疗分析应用中能够达到甚至超越病理医生的水准。AI模型的“专家知识”来自于大量标准病理细胞样本并进行训练才能获得。人工智能模型训练样本数量极大，以目前人工智能领域广泛使用的ImageNet数据集为例，其图片数量规模达到一千五百万之多，考虑到宫颈病理图像的本身复杂性，其模型训练样本将更加巨大，可以说，宫颈病理AI模型的成功，很大程度上也依赖于病理专家的专业知识积累，也即需要巨量学习样本的获取方可获得更为成功的宫颈病理AI模型。而现有宫颈病理AI模型可获得的学习样本量较为有限与分散，导致难以获得更为成功的宫颈病理AI模型或需要较长的学习样本量时间获取，而这也不利于更快更有效的服务于广大需要宫颈细胞病变筛查分析的适龄妇女人群身体健康维持与提高。

发明内容

本发明为解决现有宫颈病理AI模型可获得的学习样本量较为有限与分散，导致难以获得更为成功的宫颈病理AI模型或需要较长的学习样本量时间获取，而这也不利于更快更有效的服务于广大需要宫颈细胞病变筛查分析的适龄妇女人群身体健康维持与提高等现状而提供的一种可以为宫颈病理AI模型获取更多更有效的宫颈病理AI模型训练样本的标记、核对、存储和/或管理的学习样本量，可获得更为成功的宫颈病理AI模型，更快更有效的服务于广大需要宫颈细胞病变筛查分析的适龄妇女人群身体健康维持与提高的宫颈图像多人协同标记云服务系统及云服务方法。

本发明为解决上述技术问题所采用的具体技术方案为：一种宫颈图像多人协同标记云服务系统，包括采用云计算的基础支撑平台和交互客户端，其特征在于：还包括图像数据存储单元、病理细胞标记单元、协作协商管理单元、平台自动化管理单元和权限管理服务单元，其中图像数据存储单元包括图像数据存储服务器、图像多分辨率服务器、存储管理WEB服务器和异步消息服务器，病理细胞标记器包括图像标记WEB服务器、智能标记WEB服务器和用户/图像标记数据库，协作协商管理单元包括并发控制管理服务器、协商管理服务器、工作流管理服务器和异步消息服务器，平台自动化管理单元包括平台监控分析器、配置服务器和异步消息服务器；上述系统各单元通过上述系列相互协作的系列云服务器通讯连接；图像多分辨率服务器用于将图像进行多分辨率金字塔分解并存储于数据磁盘中，平台监控分析器器用于通过网络采集系统各个服务器的运行状态，配置服务器用于维护一个树状数据结构，记录并监听每个服务节点信息；异步消息服务器用于使系统中的各个服务器之间自由方便地传递数据和通知消息，并发控制管理服务器用于控制多人并行标注情况下的冲突，对并发标记操作进行有序控制，正确协调系统中出现的并发操作使其能够正确执行，保证各种并发操作不会破坏标记数据的完整性和一致性；图像标记WEB服务器用于提供用户交互标记的系列接口，并为AI模型提供标记数据的访问接口；智能标记WEB服务器用于对基于已有AI模型对数据进行判别处理，并将结果反馈给标注医生进行交互校对。可以为宫颈病理AI模型获取更多更有效的宫颈病理AI模型训练样本的标记、核对、存储和/或管理的学习样本量，可获得更为成功的宫颈病理AI模型，更快更有效的服务于广大需要宫颈细胞病变筛查分析的适龄妇女人群身体健康维持与提高。支持分布在异地的多人协同宫颈图像标注，不仅提高了效率，而且通过协同协商机制，可以解决对图像争议区域的有效标注，提高了标注的可靠性和准确性，这对于提高病理AI模型的准确性至关重要；能够广泛收集来自各地的医疗图像进行标注，满足AI模型训练的海量样本需求；基于严格流程控制的协同标注，使标注数据准确无争议，形成宫颈细胞诊断病理分析的标准数据平台。支持分布在异地的多人协同医疗图像的标注工作，提高了标注效率、可靠性和准确性，基于严格流程控制的协同标注，使标注数据准确无争议，形成宫颈细胞诊断的标准数据平台。

作为优选，所述的图像数据存储服务器采用基于统一的文件格式，以分布式文件存储系统为基础存储海量的高分辨率宫颈图像数据存储服务，图像数据存储于多个服务器组中。提高宫颈图像多人协同标记云服务图像数据存储的协同、存储、索引稳定可靠有效性。

作为优选，所述的图像多分辨率服务器用以支持分辨率达到10～100亿像素的宫颈图像网络化传输和显示。提高对病理图像的高分辨率传输与显示效率。

作为优选，所述的异步消息服务器包括异步消息发送服务器和异步消息接收服务器，异步消息服务器用于实现基于高级消息队列协议实现各个服务之间的信息交换服务。提高各服务器之间的信息交换服务快捷准确可靠有效性。

作为优选，所述的图像标记WEB服务器用于为用户提供交互标记的系列接口包括标记数据增加接口、删除接口和查询接口；所述的权限管理服务器用于将资源访问控制限制在具有相应权限的用户、服务范围内，从而保障特定信息安全访问，实现可配置的安全规则或者安全策略，控制用户可以访问而且只能访问被授权的资源；访问权限包括加密、系统认证、授权和/或web访问；所述的存储管理WEB服务器用于为其他服务以及终端用户提供图像文件存储访问的Web接口。提高云标记协同操作及传输等权限安全可靠有效性。

作为优选，所述的协商管理服务器用于针对图像协同标记中医生之间的诊断分歧，提供协商管理机制和/或审阅标签服务接口；所述的工作流管理服务器用于设置不同的工作步骤以及业务流转来实现标注业务流程的自动化执行管理。提高云标记协商管理可靠有效性。

本发明的另一个发明目的在于提供一种宫颈图像多人协同标记云服务方法，其特征在于：医生进行协同标记的云端服务协作方式如下：用户通过交互客户端登录后，上述技术方案之一所述的权限管理服务器将获取相应的角色信息以及操作权限，并通过工作流管理服务器获得对应的工作事项；上述技术方案之一所述的图像标记WEB服务器提供接口实现用户交互标记，各相关操作命令数据将进入上述技术方案之一所述的并发控制管理服务器，并发控制管理服务器管理一个命令队列并判断可能存在的冲突；若发现冲突，将启动上述技术方案之一所述的协商管理服务器；否则，将操作命令数据写入永久存储，同时将数据发送到其他关联的用户端，即所有工作于同一张病理图像的交互客户端。支持分布在异地的多人协同宫颈图像标注，不仅提高了效率，而且通过协同协商机制，可以解决对图像争议区域的有效标注，提高了标注的可靠性和准确性，这对于提高病理AI模型的准确性至关重要；能够广泛收集来自各地的医疗图像进行标注，满足AI模型训练的海量样本需求；基于严格流程控制的协同标注，使标注数据准确无争议，形成宫颈细胞诊断的标准数据平台。

作为优选，所述的医生进行协同标记流程中多个服务器之间的相互协作过程为：用户在交互客户端上请求登录后，限管理服务器将获取相应的角色信息以及操作权限，并通过工作流管理服务器获得对应的工作事项；用户的标记数据将进入并发控制管理服务器，由并发控制管理服务器管理一个命令队列并判断可能存在的冲突信息，若发现冲突信息，将启动协商管理服务器；否则，将标记数据写入用户/图像标记数据库进行永久存储，同时将标记数据发送到其他关联的交互客户端，即所有工作于同一张病理图像的交互客户端；上述标记流程中涉及的多个服务器包括图像标记WEB服务器、图像标记WEB服务器、并发控制管理服务器、工作流管理服务器、协商管理服务器、图像数据存储服务器和权限管理服务器。

作为优选，所述的医生进行协同标记流程中的并发控制管理服务器采用的并发控制方法为：并发控制管理针对所有工作于同一张病理图像的前端用户，包括病理医生，由于病理图像的高分辨率，同一张病理图像往往需要多个病理医生进行同时判断并标记，因此其并发控制管理的基本对象是单张病理图像；并发控制管理的基本粒度则是每一个标记操作，在图中用Op命令队列表示；所有用户的在初始工作时，都会基于其工作的病理图像，将同一个病理图像的标记连接定向到同一个图像标记WEB服务器，同时图像标记WEB服务器会关联一个并发控制管理服务器，并由其完成基本的冲突检测并发控制工作；并发控制管理服务器管理一个面向单张病理图像的命令队列，串行执行每个命令，判断其区域交叠和/或细胞类型冲突情况，若不存在冲突，则将该命令广播到该病理图像的所有用户端，否则，将启动协商管理服务器，将命令/冲突信息告知相关交互客户端。提高协同云标记流程中的并发控制管理高效可靠有效性。

作为优选，所述的病理图像在存储过程中各个服务器之间的交互协作方法采用为：用户通过交互客户端将扫描设备扫描得到的病理图像文件通过存储管理WEB服务器提交到系统，通过文件索引服务器基于轮询查找可用存储设备，将图像文件重定向到写入图像数据存储集群设备；图像文件存储服务基于异步消息发送服务器发送文件转换消息，并通过异步消息接收服务器通知统一数据管理器，由其基于规则将图像文件转换为同一格式，然后统一数据管理器发送多分辨率转换消息，并通过异步消息收发服务器推动多分辨率转换，最终的多分辨率图像文件数据存储到单独的高速磁盘设备。提高协同云标记流程中的各个服务器之间的交互协作可靠有效性。提高协同云标记流程中的病理图像在存储过程中各个服务器之间的交互协作高效可靠有效性。

本发明的有益效果是： 发明基于云计算平台，建立一种宫颈图像多人协同标记云服务系统，解决宫颈病理AI模型训练样本的标记、核对、存储、管理等问题。支持分布在异地的多人协同宫颈图像标注，不仅提高了效率，而且通过协同协商机制，可以解决对图像争议区域的有效标注，提高了标注的可靠性和准确性，这对于提高病理AI模型的准确性至关重要；能够广泛收集来自各地的医疗图像进行标注，满足AI模型训练的海量样本需求；基于严格流程控制的协同标注，使标注数据准确无争议，形成宫颈细胞诊断病理分析的标准数据平台。可以为宫颈病理AI模型获取更多更有效的宫颈病理AI模型训练样本的标记、核对、存储和/或管理的学习样本量，可获得更为成功的宫颈病理AI模型，更快更有效的服务于广大需要宫颈细胞病变筛查分析的适龄妇女人群身体健康维持与提高。支持分布在异地的多人协同医疗图像的标注工作，提高了标注效率、可靠性和准确性，基于严格流程控制的协同标注，使标注数据准确无争议，形成宫颈细胞诊断的标准数据平台。

附图说明：

下面结合附图和具体实施方式对本发明做进一步的详细说明。

图1是本发明宫颈图像多人协同标记云服务系统的结构原理示意图。

图2是发明宫颈图像多人协同标记云服务方法中医生进行协同标记流程中多个服务器之间的相互协作过程示意图。

图3是发明宫颈图像多人协同标记云服务方法中医生进行协同标记流程中的并发控制管理服务器采用的并发控制方法的并发控制示意图。

图4是发明宫颈图像多人协同标记云服务方法中医生进行协同标记流程中病理图像存储管理方法示意图。

具体实施方式

实施例1

图1所示的实施例中，一种宫颈图像多人协同标记云服务系统，包括采用云计算的基础支撑平台A7和交互客户端A6，还包括图像数据存储单元A1、病理细胞标记单元A2、协作协商管理单元A3、平台自动化管理单元A4和权限管理服务单元A5，其中图像数据存储单元A1包括图像数据存储服务器12、图像多分辨率服务器13、存储管理WEB服务器11和异步消息服务器，病理细胞标记器包括图像标记WEB服务器21、智能标记WEB服务器22和用户/图像标记数据库23，协作协商管理单元包括并发控制管理服务器32、协商管理服务器31、工作流管理服务器33和异步消息服务器，平台自动化管理单元A4包括平台监控分析器44、配置服务器43和异步消息服务器；上述系统各单元通过上述系列相互协作的系列云服务器通讯连接；图像多分辨率服务器13用于将图像进行多分辨率金字塔分解并存储于数据磁盘中，平台监控分析器器44用于通过网络采集系统各个服务器的运行状态，配置服务器用于维护一个树状数据结构，记录并监听每个服务节点信息；异步消息服务器用于使系统中的各个服务器之间自由方便地传递数据和通知消息，并发控制管理服务器32用于控制多人并行标注情况下的冲突，对并发标记操作进行有序控制，正确协调系统中出现的并发操作使其能够正确执行，保证各种并发操作不会破坏标记数据的完整性和一致性；图像标记WEB服务器21用于提供用户交互标记的系列接口，并为AI模型提供标记数据的访问接口；智能标记WEB服务器22用于对基于已有AI模型对数据进行判别处理，并将结果反馈给标注医生进行交互校对。通过图像数据存储单元A1进行海量病理图像数据存储，采用分布式文件系统将扫描得到的病理图像安全可靠地保存，并具有硬件容错性，采用特定的技术进行数据格式统一化以及金字塔多分辨率预处理，并将结果存储到高速磁盘进行保存。病理细胞标记单元A2采用动态获取数据的方式，可视化地显示所有病理细胞的局部图像，支持半自动的细胞标记工作，实现不同标记方式以满足不同AI模型的样本需求。协作协商管理单元A3对并发标记操作进行有序控制，正确协调系统中出现的并发操作使其能够正确执行，保证各种并发操作不会破坏标记数据的完整性和一致性。权限管理服务单元A5将资源访问控制限制在具有相应权限的用户、服务范围内，从而保障信息安全访问。协商管理服务器31针对协同标注的特点而专门设计，由于病理细胞的判读可能存在二义性，即不同的病理医生可能有不同的解读，因此通过协商管理来对特殊区域进行特殊判读。协商管理服务器31的另外一个机制是通过工作流管理服务器33实现业务流程自动化，将争议病理自动提交到具有更高级别的病理医生，由后者判读该图像作为最终的结果。协作协商管理单元A3的第三个关键之处是并发控制管理服务器32保证不同医生的感知一致，即当多人协同标注时，一个医生的标记要实时反馈到其他正在工作的医生界面，该功能可通过WebSocket保持长连接方式实时同步所有相关客户端的数据。异步消息服务（包括异步消息发送服务与异步消息接收服务）实现上述不同服务之间高效、可靠、安全的信息交换服务，使各个服务之间自由方便地传递数据和通知消息。图像多分辨率服务器13包括多分辨率转换器17和从存储1、存储2到存储n的多个存储器。图像数据存储服务器12包括文件索引服务器15、统一管理服务器16和从存储1、存储2到存储n具有多个存储器的图像数据存储集群14。图像数据存储单元A1、病理细胞标记单元A2、协作协商管理单元A3、平台自动化管理单元A4和权限管理服务单元A5构成本发明申请宫颈图像多人协同标记云服务系统的云服务处理中心30。

图像数据存储服务器12采用基于统一的文件格式，以分布式文件存储系统为基础存储海量的高分辨率宫颈图像数据存储服务，图像数据存储于多个服务器组中。进一步的图像数据存储服务器基于统一的文件格式，以分布式文件存储系统为基础存储海量的高分辨率宫颈图像数据，并支持文件上传下载以及数据同步。图像数据具体存储于多个服务器组，并对图像文件内容做hash处理，避免出现重复文件；文件索引服务接受用户请求，并选择合适的存储服务器完成用户请求。针对不同厂商扫描设备的数据格式不同问题，设计了统一数据管理器，将不同数据转换到特定格式。

图像多分辨率服务器13用以支持分辨率达到10～100亿像素的宫颈图像网络化传输和显示。进一步的图像多分辨率服务器用以支持分辨率达到10-100亿像素的宫颈图像网络化传输和显示，该服务将图像进行多分辨率金字塔分解并存储于高速磁盘，实现了图像“模糊到清晰”的流式体验，实现无缝平滑地打开超大分辨率图像而勿需等待很长时间。为了适应不同设备扫描图像的不同格式，图像多分辨率服务器13设计了单独的图像统一转换格式服务，将其统一转换到固定格式进行存储。另外，该类高分辨率图像难以满足网络环境下的流式传输需要，因此对其进行金字塔多分辨率预处理，并将结果存储到高速磁盘进行保存。该模块通过存储管理WEB服务器支持用户端的数据上传、下载、统计等操作，并提供数据访问接口，供系统其他服务进行访问。异步消息服务器（包括异步消息发送服务器与异步消息接收服务器）实现上述不同服务之间高效、可靠、安全的信息交换服务，使各个服务之间自由方便地传递数据和通知消息。

异步消息服务器包括异步消息发送服务器41和异步消息接收服务器42，异步消息服务器用于实现基于高级消息队列协议实现各个服务之间的信息交换服务。异步消息服务实现上述不同服务之间高效、可靠、安全的信息交换服务，使各个服务之间自由方便地传递数据和通知消息。该模块支持不同标记方式，包括矩形、多边形以及自由手绘方式，以满足不同AI模型的样本需要。异步消息服务：基于高级消息队列协议（Advanced MessageQueuing Protocol，AMQP）是实现各个服务之间高效、可靠、安全的信息交换服务，使系统中的各个服务之间自由方便地传递数据和通知消息。包括异步发送服务和异步接收服务两部分，前者接收来自各个服务（配置服务、监控分析服务、数据存储服务等）的消息，并将这些异步消息分发到消息消费者，后者通过异步接收服务接收并进行处理，例如图像多分辨处理服务接收来自存储管理WEB服务的文件消息，将其转换为图形多分辨率格式并存储到高速磁盘。该服务运行于Linux系统，可基于Kafka以及Puppet实现。

图像标记WEB服务器用于为用户提供交互标记的系列接口包括标记数据增加接口、删除接口和查询接口；异步消息服务器基于高级消息队列协议实现各个服务之间高效、可靠、安全的信息交换服务，使系统中的各个服务之间自由方便地传递数据和通知消息，包括异步发送服务和异步接收服务。

权限管理服务器A5用于将资源访问控制限制在具有相应权限的用户、服务范围内，从而保障特定信息安全访问，实现可配置的安全规则或者安全策略，控制用户可以访问而且只能访问被授权的资源；访问权限包括加密、系统认证、授权和/或web访问。权限管理服务器A5采用图1中权限管理服务器实现，将资源访问控制限制在具有相应权限的用户、服务范围内，从而保障信息安全访问。

存储管理WEB服务器11用于为其他服务以及终端用户提供图像文件存储访问的Web接口。

协商管理服务器31用于针对图像协同标记中医生之间的诊断分歧，提供协商管理机制和/或审阅标签服务接口；

工作流管理服务器33用于设置不同的工作步骤以及业务流转来实现标注业务流程的自动化执行管理。

平台监控分析器44通过网络采集系统各个服务的状态（各个服务器的CPU使用率、内存占用、存储资源状态、各个Web服务器的负载等）帮助系统管理员掌控系统性能，及时发现硬件、软件的错误。平台监控分析器集中处理系统各个服务的运行日志信息，帮助系统管理员掌控系统性能，及时发现硬件、软件的错误。一些典型平台工具为上述需求提供有力支持。

配置服务器43维护一个树状数据结构，记录并监听每个服务节点信息，为整个系统的服务器状态同步、集群管理、应用配置更新等提供支持。配置服务器器能通过自动化工具对系统服务的配置、变动、启停等自动处理。实现的配置服务包括：维护一个树状数据结构，记录并监听每个服务节点信息，为整个系统的服务器状态同步、集群管理、应用配置更新等提供支持。该服务运行于Linux操作系统，可基于zookeeper、puppet等实现。

并发控制管理服务器32控制多人并行标注情况下的冲突，对并发标记操作进行有序控制，正确协调系统中出现的并发操作使其能够正确执行，保证各种并发操作不会破坏标记数据的完整性和一致性。采用锁机制通过锁定图像局部区域来保证彼此之间标记语义互不冲突。并发控制管理服务器32是协作协商管理单元A3的关键组件之一，其基本目的是对并发标记操作进行有序控制，正确协调系统中出现的并发操作使其能够正确执行，保证各种并发操作不会破坏标记数据的完整性和一致性，确保系统正确运行，同时尽量做到系统的高并发度和实时响应，降低并发控制导致的系统开销。并发控制管理：该服务主要针对多人工作于同一图像的标记，保证分布在异地的用户（医生）协同标注时能够保持一致性，不会由于并行无序访问操作破坏语义一致性。本系统中的并发控制目的是对并发标记操作进行有序控制，正确协调各种并发操作使其能够正确执行，防止协作过程中破坏标记数据的完整性和一致性。针对本系统，锁机制是非常有效的并发控制手段，即用户通过锁定图像区域来保证彼此之间标记语义互不冲突。另外，该服务需要以实时方式进行数据的分布式同步更新，以保证多人协同标注时彼此感知。该服务运行与Linux，可基于Java编程实现。

图像标记WEB服务器21是系统的核心服务，提供用户交互标记的一系列接口服务，包括标记数据增加、删除、查询，管理图像数据金字塔数据的配置信息以辅助前端的流式显示，并为AI模型提供标记数据的访问接口，为不同的标记角色（病理医生）提供统计查询服务。图像标记WEB服务器处理病理标记细胞的增加、删除、修改等基本操作，以及查询统计与可视化等高级操作，并通过用户/图像标记数据库23存储标记数据。例如，针对特定标记细胞类别，采用动态截取图像数据的方式，可视化地显示所有病理细胞的局部图像。图像标记WEB服务：该服务是图像标记的核心服务，提供用户交互标记的一系列接口服务，包括标记数据增加、删除、查询，管理图像数据金字塔数据的配置信息以辅助前端的流式显示，并为AI模型提供标记数据的访问接口，为不同的标记角色（医生）提供统计查询服务，如按照细胞类别实时切图并列表显示。该服务支持不同方式的数据标记方式，包括矩形、多边形、自由手绘方式。该服务运行于Linux系统，可以基于通用Web开发框架如SpringBoot实现，并支持WebSocket，应用服务器可以采用Tomcat。

智能标记WEB服务器22基于已有AI模型对数据进行判别处理，并将结果反馈给标注医生进行交互校对，提高样本采集效率，该服务采用异步方式。智能标记WEB服务支持半自动细胞标记工作，其方式是通过AI模型进行图像判断识别，获得机器识别结果并将其导入到系统，这些结果将作为标记医生的基础数据进行标记，病理医生只要将这些机器识别结果进行勘误即可，大大提高标记效率。智能标记WEB服务：该服务基于已有AI模型对图像进行预先判别处理，然后将结果反馈给标注医生进行交互校对，标记医生通过修改AI模型的错误结果收集标注样本，大大提高了样本采集效率。由于识别一张图像需要一到两分钟的时间，在多人同时标注时容易出现计算资源拥堵，因此该服务采用异步方式，在后台运行AI模型并得到结果，该服务只是读取识别结果加以返回。该服务运行于Linux系统，可以基于通用Web开发框架如SpringBoot实现，并支持WebSocket，应用服务器可以采用Tomcat。其AI模型运行可以基于流行的机器学习框架实现，如Tensorflow、PyTorch等。

权限管理服务器A5将资源访问控制限制在具有相应权限的用户、服务范围内，从而保障特定信息安全访问，实现可配置的安全规则或者安全策略，控制用户可以访问而且只能访问被授权的资源，包括加密、系统认证、授权、web访问等。权限管理服务：权限管理将资源访问控制限制在具有相应权限的用户、服务范围内，从而保障信息安全访问。比较理想的方法是基于角色视图的数据访问控制方法，该方法基于“可访问接口以及资源”生成面向特定角色的安全规则。该服务可基于安全框架如Shiro实现，实现可配置的安全规则或者安全策略控制用户可以访问而且只能访问被授权的资源，包括系统认证、授权、加密、web访问等。

存储管理WEB服务器11为其他服务以及终端用户提供图像文件存储访问的Web接口，包括文件上传、下载、查询统计列表等。存储管理WEB服务：为其他服务以及终端用户提供图像文件存储访问的Web接口，包括文件上传、下载、查询统计列表等。例如工作流管理需要得到当前尚未标记的图像信息，则可通过该服务提供的Rest接口获取对应的图像文件位置信息以及对应的多分辨文件位置信息。

协商管理服务器31针对图像协同标记中医生之间的诊断分歧，提供协商管理机制。提供审阅标签服务接口，在已标注的图像区域附加不同医生的审阅意见，并将该意见通知到相关病理医生。协商管理服务：针对图像协同标记中医生之间的诊断分歧，提供协商管理机制。提供审阅标签服务接口，在已标注的图像区域附加不同医生的审阅意见，并将该意见通知到相关病理医生。设置不同层级的医生角色，具有分歧的图像区域将由经验丰富的复核医生决定最终结果。

工作流管理服务器33设置不同的工作步骤以及业务流转来实现标注业务流程的自动化执行管理。通过设置不同标注角色以及标注流程，以汇集多个医生的标注信息，进行自动比对判断，并针对矛盾设计仲裁流程。工作流管理服务：工作流服务通过设置不同的工作步骤以及业务流转来实现标注业务流程的自动化执行管理。该服务实现整个标注流程按照设定流程进行。病理细胞的标记依赖于医生的专业知识，不同的医生有时会对同一图像有不同的解释，因此设置不同标注角色以及标注流程，通过汇集多个医生的标注信息，进行自动比对判断，并针对矛盾给出仲裁流程。该服务可基于工作流引擎如Osworkflow开发，或基于Java从底层构建。

交互客户端A6也即用户端包括桌面系统和便携移动系统两种。桌面系统主要通过浏览器以Web方式实现用户交互标记等操作，移动用户端可以采用HTML5为基础的移动Web，也可以采用原生的APP方式。用户端与后台服务的通讯方式包括两种，其一是基于HTTPRestful接口方式，这钟方式主要针对管理性的业务，如数据查询、数据分析统计等；另一种是基于Websocket方式，以实时将数据传输到相互协作的用户端，实现多用户协同标记数据的同步一致。

用户通过交互客户端A6将扫描设备扫描得到的病理图像文件直接通过存储管理WEB服务器提交到系统，通过文件索引服务器基于轮询查找可用存储设备，当然也可以是交互客户端A6通过负载均衡/反向代理单元20进行基于流式数据传输，将扫描设备扫描得到的病理图像文件提交到系统.

实施例2

图2、图3、图4所示的实施例中，一种宫颈图像多人协同标记云服务方法，其特征在于：医生进行协同标记的云端服务协作方式如下：用户通过交互客户端登录后，实施例1所述的权限管理服务器将获取相应的角色信息以及操作权限，并通过工作流管理服务器获得对应的工作事项；实施例1所述的图像标记WEB服务器提供接口实现用户交互标记，各相关操作命令数据将进入实施例1所述的并发控制管理服务器，并发控制管理服务器管理一个命令队列并判断可能存在的冲突；若发现冲突，将启动实施例1所述的协商管理服务器；否则，将操作命令数据写入永久存储，同时将数据发送到其他关联的用户端，即所有工作于同一张病理图像的交互客户端。

医生进行协同标记流程中多个服务器之间的相互协作过程为：用户在交互客户端A6上请求登录后，权限管理服务器A5根据用户的登录请求将获取相应的角色信息以及操作权限，并通过工作流管理服务器33获得对应的工作事项；用户在交互客户端A6上的标记数据将进入并发控制管理服务器32，由并发控制管理服务器（见图2）管理一个命令队列并判断可能存在的冲突信息，若发现冲突信息，将启动协商管理服务器31将冲突信息反馈回至交互客户端A6上显示，以便再进行前述数据标记等操作；否则，将标记数据写入用户/图像标记数据库23（见图2）进行永久存储，同时将标记数据发送到其他关联的交互客户端A6，即所有工作于同一张病理图像的交互客户端；上述标记流程中涉及的多个服务器包括图像标记WEB服务器、图像标记WEB服务器、并发控制管理服务器、工作流管理服务器、协商管理服务器、图像数据存储服务器和权限管理服务器。

医生进行协同标记流程中的并发控制管理服务器采用的并发控制方法为：并发控制管理针对所有工作于同一张病理图像的前端用户，包括病理医生，由于病理图像的高分辨率，同一张病理图像往往需要多个病理医生在交互客户端A6上发出工作请求进行同时判断并标记，因此其并发控制管理的基本对象是单张病理图像；并发控制管理的基本粒度则是每一个标记操作，在图中用Op命令队列A8表示；所有用户的在初始工作时，都会基于其工作的病理图像，将同一个病理图像的标记连接定向到同一个图像标记WEB服务器21，同时图像标记WEB服务器21会关联一个并发控制管理服务器32（见图3），并由其完成基本的冲突检测并发控制工作；并发控制管理服务器管理一个面向单张病理图像的命令队列A8，串行执行每个命令，判断其区域交叠和/或细胞类型冲突情况，若不存在冲突，则将该命令广播到该病理图像的所有用户端即交互客户端A6，否则，将启动协商管理服务器，将命令/冲突信息告知相关交互客户端A6。

病理图像在存储过程中各个服务器之间的交互协作方法采用为：用户通过交互客户端A6将扫描设备扫描得到的病理图像文件通过存储管理WEB服务器11提交到系统，通过文件索引服务器15基于轮询查找可用存储设备，将图像文件重定向到写入图像数据存储集群12设备；图像文件存储服务基于异步消息发送服务器41发送文件转换消息，并通过异步消息接收服务器42通知统一数据管理器，由其基于规则将图像文件转换为同一格式，然后统一数据管理器发送多分辨率转换处理消息，并通过异步消息收发服务器推动多分辨率转换器17进行多分辨率转换处理，最终的多分辨率图像文件数据存储到单独的图像数据存储集群12。

以上内容和结构描述了本发明产品的基本原理、主要特征和本发明的优点，本行业的技术人员应该了解。上述实例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都属于要求保护的本发明范围之内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种宫颈图像多人协同标记云服务系统，包括采用云计算的基础支撑平台和交互客户端，其特征在于：还包括图像数据存储单元、病理细胞标记单元、协作协商管理单元、平台自动化管理单元和权限管理服务单元，其中图像数据存储单元包括图像数据存储服务器、图像多分辨率服务器、存储管理WEB服务器和异步消息服务器，病理细胞标记器包括图像标记WEB服务器、智能标记WEB服务器和用户/图像标记数据库，协作协商管理单元包括并发控制管理服务器、协商管理服务器、工作流管理服务器和异步消息服务器，平台自动化管理单元包括平台监控分析器、配置服务器和异步消息服务器；上述系统各单元通过上述系列相互协作的系列云服务器通讯连接；图像多分辨率服务器用于将图像进行多分辨率金字塔分解并存储于数据磁盘中，平台监控分析器器用于通过网络采集系统各个服务器的运行状态，配置服务器用于维护一个树状数据结构，记录并监听每个服务节点信息；异步消息服务器用于使系统中的各个服务器之间自由方便地传递数据和通知消息，并发控制管理服务器用于控制多人并行标注情况下的冲突，对并发标记操作进行有序控制，正确协调系统中出现的并发操作使其能够正确执行，保证各种并发操作不会破坏标记数据的完整性和一致性；图像标记WEB服务器用于提供用户交互标记的系列接口，并为AI模型提供标记数据的访问接口；智能标记WEB服务器用于对基于已有AI模型对数据进行判别处理，并将结果反馈给标注医生进行交互校对。

2.按照权利要求1所述的宫颈图像多人协同标记云服务系统，其特征在于：所述的图像数据存储服务器采用基于统一的文件格式，以分布式文件存储系统为基础存储海量的高分辨率宫颈图像数据存储服务，图像数据存储于多个服务器组中。

3.按照权利要求1所述的宫颈图像多人协同标记云服务系统，其特征在于：所述的图像多分辨率服务器用以支持分辨率达到10～100亿像素的宫颈图像网络化传输和显示。

4.按照权利要求1所述的宫颈图像多人协同标记云服务系统，其特征在于：所述的异步消息服务器包括异步消息发送服务器和异步消息接收服务器，异步消息服务器用于实现基于高级消息队列协议实现各个服务之间的信息交换服务。

5.按照权利要求1所述的宫颈图像多人协同标记云服务系统，其特征在于：所述的图像标记WEB服务器用于为用户提供交互标记的系列接口包括标记数据增加接口、删除接口和查询接口；所述的权限管理服务器用于将资源访问控制限制在具有相应权限的用户、服务范围内，从而保障特定信息安全访问，实现可配置的安全规则或者安全策略，控制用户可以访问而且只能访问被授权的资源；访问权限包括加密、系统认证、授权和/或web访问；所述的存储管理WEB服务器用于为其他服务以及终端用户提供图像文件存储访问的Web接口。

6.按照权利要求1所述的宫颈图像多人协同标记云服务系统，其特征在于：所述的协商管理服务器用于针对图像协同标记中医生之间的诊断分歧，提供协商管理机制和/或审阅标签服务接口；所述的工作流管理服务器用于设置不同的工作步骤以及业务流转来实现标注业务流程的自动化执行管理。

7.一种宫颈图像多人协同标记云服务方法，其特征在于：医生进行协同标记的云端服务协作方式如下：用户通过交互客户端登录后，权利要求1～6之一所述的权限管理服务器将获取相应的角色信息以及操作权限，并通过工作流管理服务器获得对应的工作事项；权利要求1～6之一所述的图像标记WEB服务器提供接口实现用户交互标记，各相关操作命令数据将进入权利要求1～6之一所述的并发控制管理服务器，并发控制管理服务器管理一个命令队列并判断可能存在的冲突；若发现冲突，将启动权利要求1～6之一所述的协商管理服务器；否则，将操作命令数据写入永久存储，同时将数据发送到其他关联的用户端，即所有工作于同一张病理图像的交互客户端。

8.按照权利要求7所述的宫颈图像多人协同标记云服务方法，其特征在于：所述的医生进行协同标记流程中多个服务器之间的相互协作过程为：用户在交互客户端上请求登录后，权限管理服务器将获取相应的角色信息以及操作权限，并通过工作流管理服务器获得对应的工作事项；用户的标记数据将进入并发控制管理服务器，由并发控制管理服务器管理一个命令队列并判断可能存在的冲突信息，若发现冲突信息，将启动协商管理服务器；否则，将标记数据写入用户/图像标记数据库进行永久存储，同时将标记数据发送到其他关联的交互客户端，即所有工作于同一张病理图像的交互客户端；上述标记流程中涉及的多个服务器包括图像标记WEB服务器、图像标记WEB服务器、并发控制管理服务器、工作流管理服务器、协商管理服务器、图像数据存储服务器和权限管理服务器。

9.按照权利要求7所述的宫颈图像多人协同标记云服务方法，其特征在于：所述的医生进行协同标记流程中的并发控制管理服务器采用的并发控制方法为：并发控制管理针对所有工作于同一张病理图像的前端用户，包括病理医生，由于病理图像的高分辨率，同一张病理图像往往需要多个病理医生进行同时判断并标记，因此其并发控制管理的基本对象是单张病理图像；并发控制管理的基本粒度则是每一个标记操作，在图中用Op命令队列表示；所有用户的在初始工作时，都会基于其工作的病理图像，将同一个病理图像的标记连接定向到同一个图像标记WEB服务器，同时图像标记WEB服务器会关联一个并发控制管理服务器，并由其完成基本的冲突检测并发控制工作；并发控制管理服务器管理一个面向单张病理图像的命令队列，串行执行每个命令，判断其区域交叠和/或细胞类型冲突情况，若不存在冲突，则将该命令广播到该病理图像的所有用户端，否则，将启动协商管理服务器，将命令/冲突信息告知相关交互客户端。

10.按照权利要求7所述的宫颈图像多人协同标记云服务方法，其特征在于： 所述的病理图像在存储过程中各个服务器之间的交互协作方法采用为：用户通过交互客户端将扫描设备扫描得到的病理图像文件通过存储管理WEB服务器提交到系统，通过文件索引服务器基于轮询查找可用存储设备，将图像文件重定向到写入图像数据存储集群设备；图像文件存储服务基于异步消息发送服务器发送文件转换消息，并通过异步消息接收服务器通知统一数据管理器，由其基于规则将图像文件转换为同一格式，然后统一数据管理器发送多分辨率转换消息，并通过异步消息收发服务器推动多分辨率转换，最终的多分辨率图像文件数据存储到单独的高速磁盘设备。

Images