CN110362586B - 一种无患者数据共享的多中心生物医学数据协同处理系统及方法 - Google Patents

Abstract

本发明公开了一种无患者数据共享的多中心生物医学数据协同处理系统及方法，该系统包括用于协同各医疗中心模型参数与异步计算的云端服务器和用于对数据开展本地高性能计算的医疗中心客户端；其中云端服务器包括参数管理器和任务调度器；本发明将参数共享机制和异步通信机制通过云端服务器的参数管理器和任务调度器连接管理，共同应用到多中心医学数据协同计算；能够满足医疗中心数据与云端服务器的安全隔离，充分保护医疗中心患者数据的隐私性；同时相比直接同步交换数据计算结果有效减少计算等待时间，大幅提高多中心协同处理的分析效率和数据处理能力。

Description

一种无患者数据共享的多中心生物医学数据协同处理系统及 方法

技术领域

本发明属于数据协同处理领域，尤其涉及一种无患者数据共享的多中心生物医学数据协同处理系统及方法。

背景技术

大数据技术的发展以及对大数据的分析研究在社会发展与进步的各个方面发挥支撑促进作用。随着现代数字化技术进展、医院诊疗过程信息化和电子病历的推行，医疗过程会产生海量数据。每年全球产生的生物医学数据达到EB级别，但各医疗中心数据相互独立，且接诊人群具有较大异质性，因此生物医学研究部鼓励存在具有整体关联性的医学大数据协同处理。

在现有多医疗中心分布式协同处理流程中，要求医疗中心的数据部分或全部共享到云端服务器以达到最大程度的协同化和数据分布均衡化，由云端服务器对融合数据做指定的医学问题分析并将结果下发给各医疗中心。现有技术的缺点如下：

(1)在现有协同处理过程中患者隐私性被极大忽略。模型的构建依赖多中心数据的融合，在医疗中心数据和云端服务器数据频繁交换的过程中，数据极容易造成泄露。协同分析为医疗数据提供优势平台的同时为数据的安全保护带来了隐患，且由于计算机性能的不断提升，云计算、云存储技术的推广使数据存储的载体已经从过去的物理转向虚拟，这给现代数据隐私保护技术提出了更高的要求。

(2)异步协同处理模式需要等待各医疗中心计算进度以更新云端服务器模型，造成协同时间的浪费。多中心协同模型的参数需要被所有的节点频繁的访问，机器性能差异大的情况下会出现不同的等待时间，同时云环境中的容错能力也需要兼顾考虑，为医学数据协同分析的效率提高带来了一定的影响。

发明内容

本发明的目的在于针对现有多中心医学数据协同过程中用户数据隐私泄露及同步更新模型等待时间过长的问题，提出一种新的无患者数据共享的多中心医学数据协同处理系统及方法，本发明面对实际应用场景，在充分避免所有患者数据外部流通和泄露风险的前提下，运用分布式协同处理方法解决医疗大数据分析问题，并通过异步共享模型的方法完成了模型的协同优化和运算效率的提升。

本发明是通过以下技术方案来实现的：一种无患者数据共享的多中心生物医学数据协同处理系统，该系统包括用于协同各医疗中心模型参数与异步计算的云端服务器和用于对数据开展本地高性能计算的医疗中心客户端；

所述医疗中心客户端具有发起者和参与者两个角色；作为发起者时，向云端服务器发出医学数据协同处理请求，同时传输用户预定义分析模型及模型参数，以及拟邀请协同处理的医疗中心名单，等待任务调度器传回的初始化协同分析模型及模型参数；作为参与者时，接收任务调度器下发的协同处理内容及邀请后，确定是否参与协同处理，若确定参与协同则向任务调度器发送确认参与协同指令，并将该参与者的初始化本地分析模型及模型参数发送给参数管理器，等待任务调度器传回的初始化协同分析模型及模型参数，否则结束该参与者的协同处理流程；

所述医疗中心客户端接收到初始化协同分析模型及模型参数后，准备本地医学数据，将本地医学数据和初始化协同分析模型及模型参数一起存入缓存中，在本地进行模型迭代计算，在每次到达预定义的迭代次数时或接收到任务调度器传回的更新后的协同分析模型及模型参数时，将计算得到的模型参数和计算进度上传到任务调度器；其中接收到任务调度器传回的更新后的协同分析模型及模型参数时，释放掉本地缓存，存入更新后的协同分析模型及模型参数；不断迭代直到计算精度满足设定阈值，终止计算；

所述云端服务器包括参数管理器和任务调度器；所述任务调度器接收医疗中心客户端发起的医学数据协同处理请求后，向从该请求解析出来的医疗中心名单中的所有医疗中心客户端发送协同处理内容及邀请；所述任务调度器对医疗中心名单中的所有医疗中心客户端的邀请响应情况进行判断，响应情况包括收到确认参与协同指令、收到拒绝参与协同指令及超时未处理；判断结束后开启参数管理器，在参数管理器根据发起者的预定义分析模型及模型参数，以及参与者的初始化本地分析模型及模型参数，构建初始化协同分析模型，并向确认参与协同的参与者以及发起者发送初始化协同分析模型和模型参数；

所述任务调度器接收到医疗中心客户端上传的模型参数和计算进度后，对该模型进行资源分割，同时将模型参数存入参数管理器中，计算状态存入任务调度器中；任务调度器在拿到对应医疗中心客户端上传的计算状态时，从参数管理器上取回当前模型参数并计算梯度，对模型及模型参数进行更新，将更新后的模型及模型参数覆盖之前该医疗中心客户端在参数管理器中存储的模型及模型参数，并将更新后的模型及模型参数传回该医疗中心客户端。

进一步地，所述医疗中心客户端和云端服务器均具有各自的网络接口层，网络接口层基于python语言下Flask轻量级Web应用框架开发，包括但不限于Spring Boot等web应用框架的使用，用于实现医学数据协同处理请求和模型参数的通信。

进一步地，所述医疗中心客户端将协同处理请求、模型和数据存储在缓存中，缓存采用Nosql数据库中的非关系型内存数据库Redis，缓解协同请求过于频繁造成的客户端处理压力。

进一步地，所述医疗中心客户端使用GPU加速数据运算与处理。所述医疗中心客户端分析算法基于Python语言，包括但不限于Scala，C++，R，Julia，GO等，用到的科学计算库包含但不限于Numpy、Pandas、Scipy、Breeze、Blitz++、POOMA、BLAS等。

进一步地，所述任务调度器给各医疗中心客户端分配一个服务节点和一个工作节点；所述服务节点只负责维护自己分配到的医疗中心客户端的模型参数和计算进度的管理和更新；当有新的医疗中心客户端加入协同处理时，新的服务节点使用系统中的分布式hash表随时动态地插入到服务组中；所述工作节点只负责自己分配到的医疗中心客户端的处理任务，其中参数被表示成(key,value)的集合，通过push和pull的操作实现各医疗中心和云端服务器之间梯度的同步和更新；所述任务调度器负责维护元数据的一致性，比如各个节点的状态、参数的分配情况等。

进一步地，所述参数管理器在实际的迭代过程中，通过如下规则进行单家医疗中心客户端在云端服务器的协同模型参数的更新：抑制单家医疗中心客户端小梯度值，等待各医疗中心客户端梯度值累积到自定义阈值时再进行该医疗中心客户端梯度的更新，在算法收敛速度和系统性能之间做平衡。

一种无患者数据共享的多中心生物医学数据协同处理方法，该方法包括以下步骤：

(1)医疗中心客户端发起者向云端服务器发出医学数据协同处理请求，同时传输用户预定义分析模型及模型参数，以及拟邀请协同处理的医疗中心名单，等待任务调度器传回的初始化协同分析模型及模型参数；

(2)云端服务器任务调度器接收医疗中心客户端发起的医学数据协同处理请求后，向从该请求解析出来的医疗中心名单中的所有医疗中心客户端发送协同处理内容及邀请；

(3)医疗中心客户端参与者接收任务调度器下发的协同处理内容及邀请后，确定是否参与协同处理，若确定参与协同则向任务调度器发送确认参与协同指令，并将该参与者的初始化本地分析模型及模型参数发送给参数管理器，等待任务调度器传回的初始化协同分析模型及模型参数，否则结束该参与者的协同处理流程；

(4)云端服务器任务调度器对医疗中心名单中的所有医疗中心客户端的邀请响应情况进行判断，响应情况包括收到确认参与协同指令、收到拒绝参与协同指令及超时未处理；

(5)云端服务器任务调度器判断结束后开启参数管理器，在参数管理器根据发起者的预定义分析模型及模型参数，以及参与者的初始化本地分析模型及模型参数，构建初始化协同分析模型，并向确认参与协同的参与者以及发起者发送初始化协同分析模型和模型参数；

(6)医疗中心客户端接收到初始化协同分析模型及模型参数后，准备本地医学数据，将本地医学数据和初始化协同分析模型及模型参数一起存入缓存中，在本地进行模型迭代计算，在每次到达预定义的迭代次数时或接收到任务调度器传回的更新后的协同分析模型及模型参数时，将计算得到的模型参数和计算进度上传到任务调度器；

(7)云端服务器任务调度器接收到医疗中心客户端上传的模型参数和计算进度后，对该模型进行资源分割，同时将模型参数存入参数管理器中，计算状态存入任务调度器中；任务调度器在拿到对应医疗中心客户端上传的计算状态时，从参数管理器上取回当前模型参数并计算梯度，对模型及模型参数进行更新，将更新后的模型及模型参数覆盖之前该医疗中心客户端在参数管理器中存储的模型及模型参数，并将更新后的模型及模型参数传回该医疗中心客户端；

(8)医疗中心客户端接收到任务调度器传回的更新后的协同分析模型及模型参数时，释放掉本地缓存，存入更新后的协同分析模型及模型参数；不断迭代直到计算精度满足设定阈值，终止计算。

本发明的有益效果是：本发明将参数共享机制和异步通信机制通过云端服务器的参数管理器和任务调度器连接管理，共同应用到多中心医学数据协同计算；能够满足医疗中心数据与云端服务器的安全隔离，充分保护医疗中心患者数据的隐私性，保证数据高度隐私性的同时，实现多中心医学数据协同处理的医学问题计算；同时相比直接同步交换数据计算结果有效减少计算等待时间，大幅提高多中心协同处理的分析效率和数据处理能力。

附图说明

图1为本发明无患者数据共享的多中心生物医学数据协同处理系统实现流程图；

图2为任务调度器工作原理图；

图3参数管理器梯度更新示意图；

图4主要业务流程及描述。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

本发明提供了一种无患者数据共享的多中心生物医学数据协同处理系统，如图1所示，该系统包括用于协同各医疗中心模型参数与异步计算的云端服务器和用于对数据开展本地高性能计算的医疗中心客户端。

医疗中心客户端和云端服务器均具有各自的网络接口层，网络接口层基于python语言下Flask轻量级Web应用框架开发，包括但不限于Spring Boot等web应用框架的使用，用于实现医学数据协同处理请求和模型参数的通信。

医疗中心客户端具有发起者和参与者两个角色；作为发起者时，向云端服务器发出医学数据协同处理请求，同时传输用户预定义分析模型及模型参数，以及拟邀请协同处理的医疗中心名单，等待任务调度器传回的初始化协同分析模型及模型参数；作为参与者时，接收任务调度器下发的协同处理内容及邀请后，确定是否参与协同处理，若确定参与协同则向任务调度器发送确认参与协同指令，并将该参与者的初始化本地分析模型及模型参数发送给参数管理器，等待任务调度器传回的初始化协同分析模型及模型参数，否则结束该参与者的协同处理流程。

医疗中心客户端接收到初始化协同分析模型及模型参数后，准备本地医学数据，将本地医学数据和初始化协同分析模型及模型参数一起存入缓存中，在本地进行模型迭代计算，在每次到达预定义的迭代次数时或接收到任务调度器传回的更新后的协同分析模型及模型参数时，将计算得到的模型参数和计算进度上传到任务调度器；其中接收到任务调度器传回的更新后的协同分析模型及模型参数时，释放掉本地缓存，存入更新后的协同分析模型及模型参数；不断迭代直到计算精度满足设定阈值，终止计算。

医疗中心客户端将协同处理请求、模型和数据存储在缓存中，缓存可以采用Nosql数据库中的非关系型内存数据库Redis，缓解协同请求过于频繁造成的客户端处理压力。医疗中心客户端使用GPU(Graphic Processing Unit)加速数据运算与处理。医疗中心客户端分析算法基于Python语言，包括但不限于Scala，C++，R，Julia，GO等，用到的科学计算库包含但不限于Numpy、Pandas、Scipy、Breeze、Blitz++、POOMA、BLAS等。

云端服务器包括参数管理器和任务调度器；所述任务调度器接收医疗中心客户端发起的医学数据协同处理请求后，向从该请求解析出来的医疗中心名单中的所有医疗中心客户端发送协同处理内容及邀请；所述任务调度器对医疗中心名单中的所有医疗中心客户端的邀请响应情况进行判断，响应情况包括收到确认参与协同指令、收到拒绝参与协同指令及超时未处理；判断结束后开启参数管理器，在参数管理器根据发起者的预定义分析模型及模型参数，以及参与者的初始化本地分析模型及模型参数，构建初始化协同分析模型，并向确认参与协同的参与者以及发起者发送初始化协同分析模型和模型参数。

任务调度器接收到医疗中心客户端上传的模型参数和计算进度后，对该模型进行资源分割，同时将模型参数存入参数管理器中，计算状态存入任务调度器中；任务调度器在拿到对应医疗中心客户端上传的计算状态时，从参数管理器上取回当前模型参数并计算梯度，对模型及模型参数进行更新，将更新后的模型及模型参数覆盖之前该医疗中心客户端在参数管理器中存储的模型及模型参数，并将更新后的模型及模型参数传回该医疗中心客户端。

任务调度器主要工作原理如图2所示，任务调度器给各医疗中心客户端分配一个服务节点和一个工作节点；所述服务节点只负责维护自己分配到的医疗中心客户端的模型参数和计算进度的管理和更新；当有新的医疗中心客户端加入协同处理时，新的服务节点使用系统中的分布式hash表随时动态地插入到服务组中；所述工作节点只负责自己分配到的医疗中心客户端的处理任务，其中参数被表示成(key,value)的集合，通过push和pull的操作实现各医疗中心和云端服务器之间梯度的同步和更新；所述任务调度器负责维护元数据的一致性，比如各个节点的状态、参数的分配情况等。

参数管理器梯度更新的方法如图3所示，在实际的迭代过程中，并不是每次计算的梯度对于最终优化都是有价值的，根据多家医疗中心频繁发送的很小的梯度值更新模型对于整体计算效率是低效的，因此可通过如下规则进行单家医疗中心客户端在云端服务器的协同模型参数的更新：抑制单家医疗中心客户端小梯度值，等待各医疗中心客户端梯度值累积到自定义阈值时再进行该医疗中心客户端梯度的更新，在算法收敛速度和系统性能之间做平衡。

协同处理的具体步骤包括：

(1)医疗中心客户端发起者向云端服务器发出医学数据协同处理请求，同时传输用户预定义分析模型及模型参数，以及拟邀请协同处理的医疗中心名单，等待任务调度器传回的初始化协同分析模型及模型参数；

(2)云端服务器任务调度器接收医疗中心客户端发起的医学数据协同处理请求后，向从该请求解析出来的医疗中心名单中的所有医疗中心客户端发送协同处理内容及邀请；

(3)医疗中心客户端参与者接收任务调度器下发的协同处理内容及邀请后，确定是否参与协同处理，若确定参与协同则向任务调度器发送确认参与协同指令，并将该参与者的初始化本地分析模型及模型参数发送给参数管理器，等待任务调度器传回的初始化协同分析模型及模型参数，否则结束该参与者的协同处理流程；

(4)云端服务器任务调度器对医疗中心名单中的所有医疗中心客户端的邀请响应情况进行判断，响应情况包括收到确认参与协同指令、收到拒绝参与协同指令及超时未处理；

(5)云端服务器任务调度器判断结束后开启参数管理器，在参数管理器根据发起者的预定义分析模型及模型参数，以及参与者的初始化本地分析模型及模型参数，构建初始化协同分析模型，并向确认参与协同的参与者以及发起者发送初始化协同分析模型和模型参数；

(6)医疗中心客户端接收到初始化协同分析模型及模型参数后，准备本地医学数据，将本地医学数据和初始化协同分析模型及模型参数一起存入缓存中，在本地进行模型迭代计算，在每次到达预定义的迭代次数时或接收到任务调度器传回的更新后的协同分析模型及模型参数时，将计算得到的模型参数和计算进度上传到任务调度器；

(7)云端服务器任务调度器接收到医疗中心客户端上传的模型参数和计算进度后，对该模型进行资源分割，同时将模型参数存入参数管理器中，计算状态存入任务调度器中；任务调度器在拿到对应医疗中心客户端上传的计算状态时，从参数管理器上取回当前模型参数并计算梯度，对模型及模型参数进行更新，将更新后的模型及模型参数覆盖之前该医疗中心客户端在参数管理器中存储的模型及模型参数，并将更新后的模型及模型参数传回该医疗中心客户端；

(8)医疗中心客户端接收到任务调度器传回的更新后的协同分析模型及模型参数时，释放掉本地缓存，存入更新后的协同分析模型及模型参数；不断迭代直到计算精度满足设定阈值，终止计算。

协同处理过程的主要业务流程如图4所示：

医疗中心客户端方面，用户通过可视化的界面，基于待研究问题发布协同需求，详细列出自己待研究的问题、数据需求、成果归属、责权细则等信息，等待有意向的协同中心共同加入研究。若已存在类似队列，则用户只需在队列池中选择相应队列，若需新建队列，则用户要将入组条件共享给所有参与该研究的协同中心，各中心创建新的队列，筛选出队列数据，完成队列数据选定。

根据待研究问题的结果需求，用户可选择一种或多种分析方法，自定义适配的参数和要求计算的结果。在结果生成过程中，对于复杂分析如SVM、神经网络等需要多次迭代的算法，页面会同步展示结果生成进度和当前结果参考值。若对结果不满意或发现变量选择错误等，可以选择性终止处理过程。若未选择终止则会继续等待直至协同处理结束，在页面生成最终结果，用户可以根据需求保存结果概要报告或只做参考使用。

本发明在无共享多中心患者数据的条件下，对多家医疗中心的生物医学数据进行协同处理，分析出针对既定协同医学问题的对应结果。对于多中心协同处理任务，数据在医疗中心客户端存储，医疗中心客户端将本地模型计算过程中产生的参数和计算进程等提交给云端服务器。云端服务器利用参数管理器对计算进程统一管理并更新模型，完成协同计算后将更新后模型及模型参数下发到医疗中心客户端，达到多中心在无患者数据共享的条件下的生物医学数据协同处理。本发明能够有效保护各医疗中心患者数据隐私的同时利用协同处理模型进行大数据分析。计算过程中患者数据不在各医疗中心件流通，无患者数据隐私泄露的风险，且能利用异步的参数共享机制有效减少计算等待时间，提高协同处理的效率，使医疗数据在保证私密性的情况下得到最有效的利用。

以上仅为本发明的实施实例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，不经过创造性劳动所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (7)

1.一种无患者数据共享的多中心生物医学数据协同处理系统，其特征在于，该系统包括用于协同各医疗中心模型参数与异步计算的云端服务器和用于对数据开展本地高性能计算的医疗中心客户端；

所述医疗中心客户端具有发起者和参与者两个角色；作为发起者时，向云端服务器发出医学数据协同处理请求，同时传输用户预定义分析模型及模型参数，以及拟邀请协同处理的医疗中心名单，等待任务调度器传回的初始化协同分析模型及模型参数；作为参与者时，接收任务调度器下发的协同处理内容及邀请后，确定是否参与协同处理，若确定参与协同则向任务调度器发送确认参与协同指令，并将该参与者的初始化本地分析模型及模型参数发送给参数管理器，等待任务调度器传回的初始化协同分析模型及模型参数，否则结束该参与者的协同处理流程；

所述医疗中心客户端接收到初始化协同分析模型及模型参数后，准备本地医学数据，将本地医学数据和初始化协同分析模型及模型参数一起存入缓存中，在本地进行模型迭代计算，在每次到达预定义的迭代次数时或接收到任务调度器传回的更新后的协同分析模型及模型参数时，将计算得到的模型参数和计算进度上传到任务调度器；其中接收到任务调度器传回的更新后的协同分析模型及模型参数时，释放掉本地缓存，存入更新后的协同分析模型及模型参数；不断迭代直到计算精度满足设定阈值，终止计算；

所述云端服务器包括参数管理器和任务调度器；所述任务调度器接收医疗中心客户端发起的医学数据协同处理请求后，向从该请求解析出来的医疗中心名单中的所有医疗中心客户端发送协同处理内容及邀请；所述任务调度器对医疗中心名单中的所有医疗中心客户端的邀请响应情况进行判断，响应情况包括收到确认参与协同指令、收到拒绝参与协同指令及超时未处理；判断结束后开启参数管理器，在参数管理器根据发起者的预定义分析模型及模型参数，以及参与者的初始化本地分析模型及模型参数，构建初始化协同分析模型，并向确认参与协同的参与者以及发起者发送初始化协同分析模型和模型参数；

所述任务调度器接收到医疗中心客户端上传的模型参数和计算进度后，对该模型进行资源分割，同时将模型参数存入参数管理器中，计算状态存入任务调度器中；任务调度器在拿到对应医疗中心客户端上传的计算状态时，从参数管理器上取回当前模型参数并计算梯度，对模型及模型参数进行更新，将更新后的模型及模型参数覆盖之前该医疗中心客户端在参数管理器中存储的模型及模型参数，并将更新后的模型及模型参数传回该医疗中心客户端。

2.根据权利要求1所述的一种无患者数据共享的多中心生物医学数据协同处理系统，其特征在于，所述医疗中心客户端和云端服务器均具有各自的网络接口层，网络接口层基于python语言下Flask轻量级Web应用框架开发，用于实现医学数据协同处理请求和模型参数的通信。

3.根据权利要求1所述的一种无患者数据共享的多中心生物医学数据协同处理系统，其特征在于，所述医疗中心客户端将协同处理请求、模型和数据存储在缓存中，缓存采用Nosql数据库中的非关系型内存数据库Redis，缓解协同请求过于频繁造成的客户端处理压力。

4.根据权利要求1所述的一种无患者数据共享的多中心生物医学数据协同处理系统，其特征在于，所述医疗中心客户端使用GPU加速数据运算与处理；所述医疗中心客户端分析算法基于Python语言，包括Scala，C++，R，Julia，GO，用到的科学计算库包含Numpy、Pandas、Scipy、Breeze、Blitz++、POOMA、BLAS。

5.根据权利要求1所述的一种无患者数据共享的多中心生物医学数据协同处理系统，其特征在于，所述任务调度器给各医疗中心客户端分配一个服务节点和一个工作节点；所述服务节点只负责维护自己分配到的医疗中心客户端的模型参数和计算进度的管理和更新；当有新的医疗中心客户端加入协同处理时，新的服务节点使用系统中的分布式hash表随时动态地插入到服务组中；所述工作节点只负责自己分配到的医疗中心客户端的处理任务，其中参数被表示成(key,value)的集合，通过push和pull的操作实现各医疗中心和云端服务器之间梯度的同步和更新。

6.根据权利要求1所述的一种无患者数据共享的多中心生物医学数据协同处理系统，其特征在于，所述参数管理器在实际的迭代过程中，通过如下规则进行单家医疗中心客户端在云端服务器的协同模型参数的更新：抑制单家医疗中心客户端小梯度值，等待各医疗中心客户端梯度值累积到自定义阈值时再进行该医疗中心客户端梯度的更新。

7.一种无患者数据共享的多中心生物医学数据协同处理方法，其特征在于，该方法包括以下步骤：

(1)医疗中心客户端发起者向云端服务器发出医学数据协同处理请求，同时传输用户预定义分析模型及模型参数，以及拟邀请协同处理的医疗中心名单，等待任务调度器传回的初始化协同分析模型及模型参数；

(2)云端服务器任务调度器接收医疗中心客户端发起的医学数据协同处理请求后，向从该请求解析出来的医疗中心名单中的所有医疗中心客户端发送协同处理内容及邀请；

(3)医疗中心客户端参与者接收任务调度器下发的协同处理内容及邀请后，确定是否参与协同处理，若确定参与协同则向任务调度器发送确认参与协同指令，并将该参与者的初始化本地分析模型及模型参数发送给参数管理器，等待任务调度器传回的初始化协同分析模型及模型参数，否则结束该参与者的协同处理流程；

(4)云端服务器任务调度器对医疗中心名单中的所有医疗中心客户端的邀请响应情况进行判断，响应情况包括收到确认参与协同指令、收到拒绝参与协同指令及超时未处理；

(5)云端服务器任务调度器判断结束后开启参数管理器，在参数管理器根据发起者的预定义分析模型及模型参数，以及参与者的初始化本地分析模型及模型参数，构建初始化协同分析模型，并向确认参与协同的参与者以及发起者发送初始化协同分析模型和模型参数；

(6)医疗中心客户端接收到初始化协同分析模型及模型参数后，准备本地医学数据，将本地医学数据和初始化协同分析模型及模型参数一起存入缓存中，在本地进行模型迭代计算，在每次到达预定义的迭代次数时或接收到任务调度器传回的更新后的协同分析模型及模型参数时，将计算得到的模型参数和计算进度上传到任务调度器；

(7)云端服务器任务调度器接收到医疗中心客户端上传的模型参数和计算进度后，对该模型进行资源分割，同时将模型参数存入参数管理器中，计算状态存入任务调度器中；任务调度器在拿到对应医疗中心客户端上传的计算状态时，从参数管理器上取回当前模型参数并计算梯度，对模型及模型参数进行更新，将更新后的模型及模型参数覆盖之前该医疗中心客户端在参数管理器中存储的模型及模型参数，并将更新后的模型及模型参数传回该医疗中心客户端；

(8)医疗中心客户端接收到任务调度器传回的更新后的协同分析模型及模型参数时，释放掉本地缓存，存入更新后的协同分析模型及模型参数；不断迭代直到计算精度满足设定阈值，终止计算。

Images