CN111680798A - 联合学习模型系统和方法、装置和计算机可读存储介质 - Google Patents
联合学习模型系统和方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111680798A CN111680798A CN201910235758.6A CN201910235758A CN111680798A CN 111680798 A CN111680798 A CN 111680798A CN 201910235758 A CN201910235758 A CN 201910235758A CN 111680798 A CN111680798 A CN 111680798A
- Authority
- CN
- China
- Prior art keywords
- joint
- learner
- update
- edge devices
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 title claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 26
- 230000036541 health Effects 0.000 claims description 20
- 238000010586 diagram Methods 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 9
- 241000257303 Hymenoptera Species 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005094 computer simulation Methods 0.000 description 5
- 239000003814 drug Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000011282 treatment Methods 0.000 description 5
- 241000238631 Hexapoda Species 0.000 description 4
- 229940079593 drug Drugs 0.000 description 4
- 239000003999 initiator Substances 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000000902 placebo Substances 0.000 description 2
- 229940068196 placebo Drugs 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 230000011273 social behavior Effects 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000272470 Circus Species 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000000172 allergic effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000010668 atopic eczema Diseases 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013503 de-identification Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000126 in silico method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
联合学习模型系统和方法、装置和计算机可读存储介质公开了用于医疗保健应用的具有联合学习模型的方法和系统。用于联合学习的系统包括最终用户的多个边缘装置，一个或多个联合学习器更新存储库以及一个或多个云。每个边缘装置包括联合学习器模型，其被配置为将张量发送到联合学习器更新存储库。云包含联合学习器模型，配置为将张量发送到联合学习器更新存储库。联合学习器更新存储库包括后端配置，配置为将模型更新发送到边缘装置和云。
Description
技术领域
所公开的系统和方法属于机器学习领域，更具体地，属于利用边缘装置和/或云的计算能力的联合机器学习领域。
背景技术
传统软件(1.0)使用声明性输入并遵循确定性逻辑树，但机器学习(2.0)处理噪声输入并使用概率。自认识论开始以来，有两种理论，自上而下(柏拉图理论)和自下而上(亚里士多德理论)。自上而下的深度学习始于理论，而不是数据。贝叶斯逻辑结合了生成模型和概率理论来计算在给定数据的情况下特定答案的真实可能性。自下而上的深度学习始于数据，而不是理论。它包括标记大量数据(“正确”和“错误”数据)以确定关联并为模式识别奠定基础。它甚至可以进行无监督地学习，检测没有标签的数据中的模式，并识别聚类(因子分析)。
2013年至2016年是对机器学习技术重新引起兴趣的时代，随后是深度学习技术时代，跨越2016年至2019年。2019年引领我们进行智能和/或神经形态计算的下一次深入研究，即联合学习(federated learning)技术。
通过机器学习，人类可以录入输入和所需的输出。此后，输出来自算法产生的算法。不必直接编程所产生的算法，而是对生成该算法的语义进行编程。这样，人类用较低复杂度的规则来编码复杂行为。尽管该算法不需要编程，但这些神经元网络仍然需要由人类进行训练。神经元网络需要以结构化的方式呈现输入数据。因此，收集、清理和标记数据涉及许多人工辅助工作。还需要努力通过将模型引导到正确的方向来评估模型。然而，人们承认，以这种方式表达的机器学习的美妙之处在于它甚至可以递归地应用于自身。
与正常的机器学习不同，深度学习通过处理多层数据网络来训练自身，几乎不需要人为干预。深度学习机器从自己的错误中学习。然而，在以正确的格式收集数据并以足够的存储和计算能力将数据发送到计算的中心节点时，仍然存在需要大量前端人工的剩余问题。此外，在技术之外的社会层面，近年来随着隐私数据转移到云计算出现了新的担忧，伴随着社会对数据安全、数据所有权、隐私保护以及数据的正确授权和使用的关注。
在本公开中，将讨论用于联合学习的系统和方法。
发明内容
联合学习云部分地被最终用户群所取代，最终用户(端用户)使用应用程序，最终用户通过该应用程序收集数据、训练、计算和评估存储在这些应用程序运行的装置中的数据。没有数据离开其所存储和被计算的装置。装置稍后通过将“派生的见解”(技术上是一群张量)发送到计算云来在全局联合数据，在计算云中，所有这些派生的见解被进行平均。然后，装置从计算云接收更新的矩阵，该矩阵可以改善这些装置的本地预测。改进的局部预测再次改进了作为更新的派生见解。通过联合学习，边缘装置可以向模型发送潜在的去识别更新，而不必承担发送整个原始数据以便更新模型的负担。因此，联合学习极大地减少了隐私问题，因为数据永远不会离开这些装置，只是加密的、受扰的数据梯度离开装置。联合学习进一步大大减少了所有权问题的担忧，因为针对共享在装置中创建的更新，最终用户可以被允许选择加入或退出。联合学习进一步大大减少了安全性担忧，因为整个系统整体上没有单点故障，而黑客无法逐个攻击数百万部手机。
从根本上说，一个简单的算法是基于一个过程模型来实现机器中越来越复杂的技能和内部工作。首先，定义成本函数，例如，网络如何解决想要最小化的问题。其次，网络运行一次，看看在成本函数方面工作如何。第三，调整连接的值，并再次运行网络。第四，这两个结果之间的差异就是网络在这两个试验之间移动的方向或斜率。此过程称为梯度。第五，如果斜率是下坡的，则连接在下坡方向改变，并且如果斜率是上坡，则连接在相反的方向上改变。步骤三到五进行重复，直到在任何方向都没有任何改善为止。这意味着梯度下降的系统进行了优化，并达到了该系统优化的界限，也称为局部最小值。为了摆脱局部最小值，使用随机梯度下降对值进行随机改变。最终，经过多次挖掘计算范围以获得正确的梯度，可以得到更深或甚至全局的最小值。
大体提供的是利用边缘装置和云的计算能力的联合学习系统。该系统包括最终用户的多个边缘装置、一个或多个联合学习器更新存储库、以及一个或多个云。每个边缘装置包括联合学习器模型，其被配置为将张量发送到联合学习器更新存储库。云包含联合学习器模型，配置为将张量发送到联合学习器更新存储库。联合学习器更新存储库包括后端配置，配置为将模型更新发送到边缘装置和云。
大体提供的是利用边缘装置和云的计算能力的联合学习方法。该方法包括通过联合学习模型由多个边缘装置和/或云发送张量，通过联合学习更新存储库从具有联合学习模型的多个边缘装置和/或云接收张量，从联合学习更新存储库发送模型更新，以及通过具有联合学习模型的多个边缘装置和/或云来接收模型更新。
大体提供的是包括多个联合学习器的联合学习系统，而每个联合学习器被配置为为边缘装置环境构建的最终用户侧库。此类联合学习器根据边缘装置中收集的数据来更新模型计算、模型后处理、与中央联合学习器更新存储库的模型共享、更新后模型的下载、以及对类似于模型更新的评估度量进行共享的模型评估。
大体提供的是联合学习器更新存储库，即联合学习器团体(Flea Circus)，包括联合学习后端配置，负责收集从Flea最终用户发送的模型更新和评估，这需要高可用性；组织可根据最终用户端更新来更新的模型以及执行这些更新所需的操作；根据最终用户发送的条件和/或元数据，允许或拒绝来自每个最终用户的建议更新；将可接受的最终用户更新聚合到每个模型的单个更新中；如果具有可用性，则将更新的模型重新分发给最终用户端；根据与更新中使用的类似的可接受性标准来报告模型评估的聚合。
本公开提供一种联合学习模型方法，包括：
从最终用户的多个边缘装置接收张量、条件和/或元数据，其中，所述多个边缘装置电耦合到通信网络，所述边缘装置存储有最终用户数据，所述张量表示根据所述最终用户数据计算得到的推断结论；
根据所述最终用户发送来的所述条件和/或元数据，允许或拒绝来自每个最终用户的对联合学习模型的建议更新；
在允许所述建议更新的情况下，利用接收到的张量进行与所述最终用户数据有关的联合学习模型更新；
将所述模型更新发送到所述多个边缘装置。
本公开提供一种联合学习模型方法，包括：
在最终用户的多个边缘装置处配置联合学习器，其中，所述多个边缘装置电耦合到通信网络；
使得所述联合学习器根据所述边缘装置所存储的最终用户数据来计算得到张量，所述张量表示与联合学习模型有关的推断结论；
使得所述多个边缘装置的联合学习器向联合学习器更新存储库发送所述张量、条件和/或元数据，其中，所述联合学习器更新存储库电耦合到所述通信网络，所述条件和/或元数据与所述最终用户对所述联合学习模型的建议更新是否被允许有关；
在所述建议更新被允许的情况下，从所述联合学习器更新存储库来接收模型更新。
本公开提供一种联合学习模型方法，包括：
从一个或多个云接收张量、条件和/或元数据，其中，所述云电耦合到通信网络，所述张量是基于公共域中可用的数据来计算的；
根据所述云发送来的条件和/或元数据，允许或拒绝来自所述云的对联合学习模型的建议更新；
在允许所述建议更新的情况下，利用接收到的张量进行与所述公共域中可用的数据有关的联合学习模型更新；
将所述模型更新发送到所述云。
本公开提供一种联合学习模型方法，包括：
在一个或多个云处配置联合学习器，其中，所述云电耦合到通信网络；
使得所述联合学习器根据所述云存储的公共域中可用的数据来计算得到张量，所述张量表示与联合学习模型有关的推断结论；
使得所述云的联合学习器向联合学习器更新存储库发送所述张量、条件和/或元数据，其中，所述联合学习器更新存储库电耦合到所述通信网络，所述条件和/或元数据与所述云对所述联合学习模型的建议更新是否被允许有关；
在所述建议更新被允许的情况下，从所述联合学习器更新存储库来接收模型更新。
本公开提供一种利用联合学习模型的装置，包括：
存储器，包括计算机可执行指令；
处理器，在执行所述计算机可执行指令的情况下使所述利用联合学习模型的装置执行以下：
从最终用户的多个边缘装置接收张量、条件和/或元数据，其中，所述多个边缘装置电耦合到通信网络，所述边缘装置存储有最终用户数据，所述张量表示根据所述最终用户数据计算得到的推断结论；
根据所述最终用户发送来的所述条件和/或元数据，允许或拒绝来自每个最终用户的对联合学习模型的建议更新；
在允许所述建议更新的情况下，利用接收到的张量进行与所述最终用户数据有关的联合学习模型更新；
将所述模型更新发送到所述多个边缘装置。
本公开提供一种利用联合学习模型的装置，包括：
存储器，包括计算机可执行指令；
处理器，在执行所述计算机可执行指令的情况下使所述利用联合学习模型的装置执行以下：
在最终用户的多个边缘装置处配置联合学习器，其中，所述多个边缘装置电耦合到通信网络；
使得所述联合学习器根据所述边缘装置所存储的最终用户数据来计算得到张量，所述张量表示与联合学习模型有关的推断结论；
使得所述多个边缘装置的联合学习器向联合学习器更新存储库发送所述张量、条件和/或元数据，其中，所述联合学习器更新存储库电耦合到所述通信网络，所述条件和/或元数据与所述最终用户对所述联合学习模型的建议更新是否被允许有关；
在所述建议更新被允许的情况下，从所述联合学习器更新存储库来接收模型更新。
本公开提供一种计算机可读存储介质，其存储有计算机可执行指令，所述指令在由计算机执行的情况下使计算机执行以下：
从最终用户的多个边缘装置接收张量、条件和/或元数据，其中，所述多个边缘装置电耦合到通信网络，所述边缘装置存储有最终用户数据，所述张量表示根据所述最终用户数据计算得到的推断结论；
根据所述最终用户发送来的所述条件和/或元数据，允许或拒绝来自每个最终用户的对联合学习模型的建议更新；
在允许所述建议更新的情况下，利用接收到的张量进行与所述最终用户数据有关的联合学习模型更新；
将所述模型更新发送到所述多个边缘装置。
本公开提供一种利用边缘装置和云的计算能力的联合学习模型系统，包括：
最终用户的多个边缘装置，电耦合到通信网络，每个所述边缘装置包括
存储器，用于存储最终用户数据；和
联合学习器，被配置为发送张量、条件和/或元数据，其中所述张量是基于存储在存储器中的最终用户数据来计算的；
电耦合到通信网络的云，所述云包括联合学习器，并被配置为发送张量，其中所述张量是基于公共域中可用的数据来计算的；以及
联合学习器更新存储库，配置为从所述多个边缘装置和所述云接收所述张量，所述联合学习器更新存储库包括后端配置，所述后端配置根据所述多个边缘装置发送来的所述条件和/或元数据，允许或拒绝来自每个所述边缘装置的与联合学习模型有关的建议更新，并在允许所述建议更新的情况下将所述建议更新发送到所述多个边缘装置和所述云。
本公开提供一种利用边缘装置和云的计算能力的联合学习模型的方法，包括：
通过具有联合学习器的多个边缘装置向联合学习器更新存储库发送第一组张量以及条件和/或元数据，其中所述条件和/或元数据与对所述联合学习模型的建议更新是否被允许有关，并且基于所述多个边缘装置存储有的最终用户数据计算所述第一组张量；
通过具有联合学习器的一个或多个云向所述联合学习器更新存储库发送第二组张量，其中基于公共域中可用的数据计算所述第二组张量；
通过所述联合学习器更新存储库来接收所述第一组张量和所述第二组张量，还接收来自所述多个边缘装置的所述条件和/或元数据；
在根据所述条件和/或元数据判断为允许所述建议更新的情况下，通过所述联合学习器更新存储库向所述多个边缘装置以及所述一个或多个云发送所述建议更新。
在上述具体实现的一个或多个中，根据上述的最终用户数据可以是所述最终用户的消费爱好相关数据和/或生活习性相关数据。
根据上述的张量可以是基于所述最终用户的个人数据计算得到的个人模型，所述联合学习模型更新是与从新的专业意见提供者分发第二意见的模型相关的更新。
根据上述的最终用户数据可以是所述最终用户的医疗相关数据。
根据上述的医疗相关数据可以是与临床试验有关的数据，所述张量表示与临床试验有关的计算得到的推断结论，并且所述模型更新与临床试验有关。
根据上述的张量可以表示与临床试验的参与者的自动资格授予有关的推断结论，所述模型更新与所述自动资格授予有关。
根据上述的张量可以表示与去中心化的患者登记有关的推断结论。
根据上述的张量可以表示与一个所述最终用户的健康状况有关的推断结论，并且利用接收到的所述张量来配置用于比较多个最终用户的健康状况的对等健康状况比较器，并且进行与所述健康状况有关的模型更新。
根据上述的张量可以表示与群体相比存在超出边际的异常的推断结论。根据上述的模型更新可以与所述最终用户的健康状况的发展演变有关。
提供本内容是为了有效地呈现本公开的一般概念，而不应将其解释为限制权利要求的范围。
附图说明
为了便于理解实施例，附图和描述示出了其实施例、实施例的各种结构、构造、操作方法以及可以理解和理解的许多优点。根据惯例，附图的各种特征未按比例绘制。相反，为了解释和清楚的目的，扩展或减小了各种特征的尺寸。
图1是示出了与本公开的实施例一致的机器学习工作流程的示例性核心模板的流程图。
图2是示出了与本公开的实施例一致的具有多个边缘装置和中央计算云的示例性联合学习模型的图。
图3A是示出了与本公开的实施例一致的联合学习器系统的示例性用例的示图，其包括分布式临床试验用的一对多张量。
图3B是示出与本公开的实施例一致的一个联合学习器系统的示例性用例的示图，其包括用于分布式临床试验用的Flea(联合学习器)。
图4是示出了与本公开的实施例一致的示例性联合学习器团体的图。
图5是示出了与本公开的实施例一致的联合学习器系统的张量全局化的示例性用例的图。
图6A和图6B是符合本公开的实施例示出的联合学习器系统在线性训练试验和在自适应不断学习的分布式试验中的示例用例，包括联合学习器和用于数据试用应用的联合学习器团体。
图7是示出与本公开的实施例一致的联合学习器系统的示例性用例的图，该联合学习器系统包括用于试验的模拟控制臂。
具体实施方式
结合其它可用信息阅读本公开的全部内容，本方面的许多替代实施例可能是适当的并且是可以预期的，包括如这些详细实施例中所述的替代，但是还包括可能未在本文中明确示出或描述、但是作为显而易见的变型或者根据本领域普通技术人员显而易见的预期的替代方案。例如，可以预期，关于一个或多个实施例示出和描述的特征也可以与另一个实施例组合包括在本公开中，即使没有以该特定组合方式明确示出和描述。
出于效率的目的，可以在附图之间重复附图标记的引用编号，它们旨在表示在其它方面改变的实施例之间的类似特征，但是这些特征也可以在指定的范围内或者以明显为本领域普通技术人员所知程度的其它方式包含实施例之间的某些差异，如在各自图中清楚显示出的差异那样。
现在参考图1。参照图1，其是示出了与本公开的实施例一致的机器学习工作流程的示例性核心模板的流程图。
在一些实施例中，机器学习工作流程的核心模板包括四个步骤。第1步是数据收集，配置为获得原始数据。第2步是数据重新格式化，配置为以正确的格式准备数据。第3步是建模，配置为选择和应用学习算法。第4步是预测分析，配置为进行预测。这些预测是可能影响未来事件的变量。这些预测的变量以多维矩阵表示，称为张量。
多维矩阵或张量具有某些特征使其自身适用于机器学习技术。在计算机上执行线性代数运算是有效率的。线性化或微分使得将优化问题框架化为线性代数问题是可行的。另一方面，大数据被观察到达到了没有张量更难处理的规模。许多软件工具已经上市，使得张量计算变得更容易，例如TensorLab、Matlab包、Google TensorFlow等。此外，硬件正在跟随软件。工程师小组正致力于张量加速器芯片，例如NVDIA GPU、Google TPU、Apple A11、Amazon Inferentia、Graviton和Echo-chip、Facebook Glow、以及制造专门用张量计算软件来计算张量的专用集成电路(ASIC)的各种技术公司。
现在参照图2，其是示出了与本公开的实施例一致的具有多个边缘装置和中央计算云的示例性联合学习模型的图。
在一些实施例中，系统200包括最终用户的多个边缘装置202、云204和联合学习器更新存储库206。多个边缘装置202电耦合到通信网络，每个边缘装置202包括被配置为存储最终用户数据的存储器和被配置为发送张量的联合学习器，其中基于存储在存储器中的最终用户数据来计算这样的张量。云204被电耦合到通信网络，其中云204包括被配置为发送张量的联合学习器，其中基于公共域中可用的数据来计算这样的张量。在一个示例中，公共域中可用的数据表示在符合法律法规的情况下可以由任何公众自由获得的数据。在一个具体实现中，公共域中可用的数据例如可以是公开发布的与企业经营状况有关的数据，如企业的社会信用数据、重大事项公告数据等。在一个具体实现中，公共域中可用的数据例如可以是与公民的失信状况有关的数据，如公开发布的失信被执行人名单等等。联合学习器更新存储库206配置为从边缘装置202和云204接收张量，并将模型更新发送到边缘装置202和云204。
联合学习器(Flea)被配置为最终用户侧库。联合学习器为边缘装置环境构建，并且根据边缘装置环境中收集的数据进行模型更新计算、模型更新后处理和扰动(例如，出于隐私目的加密和引入噪声)、与中央Flea更新存储库(即联合学习器团体)共享的模型更新、更新后模型的可选下载、以及共享类似于模型更新的评估指标的模型评估，即Flea-iOS(适用于iPhone)、Flea-Android(适用于Android手机)、Flea-kubernetes(适用于云端客户端)等。
Flea最终用户可以彼此通信和协作(可能与一个或多个Flea团体后端串联)以多种方式构建和更新计算模型。这些配置在医学研究用例的背景下描述。
在一些实施例中，Flea最终用户彼此通信和协作以一对一的方式构建和更新横向张量集合中的计算模型。最终用户也可以横向组织自己的试验和选择要发送梯度的中央云目录，并以分布式的方式获取回平均梯度。这可以应用于社会遗传学中。
在本公开的又一些其它实施例中，利用分布式临床试验用的一对一张量，张量被配置成用作张量式握手(tensorial handshake)。最终用户还可以横向组织他们自己的试验并选择中央云目录来发送梯度，并且以分布式方式取回平均梯度。
在一些实施例中，Flea最终用户以多对一的方式彼此通信和协作以在张量经济中建立和更新计算模型。例如，对于分布式临床试验用的张量，在数个主办发起者的情况下可以邀请每个最终用户同时进行数个试验，并可以使用相同的基础数据来创建新的张量。
在本公开的其它一些实施方式中，存在用于分布式临床试验的多对一张量。在数个主办发起者的情况下可以邀请每个最终用户在同一时间期间进行多个数据试验。
在一些实施例中，Flea最终用户彼此通信和协作以多对多方式构建和更新自主张量集合中的计算模型。就像算法开始自己编写自己一样，没有人为干预的装置将开始在彼此之间收集信息。这些装置会像包括在栖息地一起工作的蚂蚁和蜜蜂等的许多昆虫物种一样，它们的合作行为决定了整个群体的生存。这个装置群体像一个单一的有机体一样运作，每个个体都在一个群体中，就像身体中的一个细胞一样，成为一个“超级有机体”。联合深度学习只需要像蚂蚁、蜜蜂这样的昆虫、小动物等小玩家那样，利用巨大、复杂和适应性的社会力量和雄心勃勃的使命来创造大而聪明的工作。
在本公开的其它一些实施方式中，存在用于分布式临床试验的多对多张量。正如算法开始自己编写一样，装置被配置为在彼此之间收集信息而无需人为干预。便宜的微型计算机单元(MCU)可以很快部署在任何地方，无需主电源、对接或电池更换。这些MCU可以被配置为如同包括在栖息地一起工作的蚂蚁和蜜蜂等的任何昆虫物种那样运作。MCU组的协作行为决定了整个组的生存。这个群体就像一个有机体一样运作，每个“栖息地”中的个体都像身体中的一个细胞一样运作，成为一个“超级有机体”。联合深度学习算法需要像蚂蚁和蜜蜂等的昆虫和小动物这样的小型玩家，利用具有巨大、复杂和适应性的社会力量和雄心勃勃的使命来创造大而聪明的工作成果。
在一些实施例中，Flea最终用户以一对多的方式彼此通信和协作以在垂直张量集合中建立和更新计算模型。使用联合学习，将全局协议从一个中央机构发送给很多参与者，其中，这许多参与者在其边缘装置202上收集信息，给信息贴标签并在本地进行计算，之后这些边缘装置202将张量发送到主办发起者的中央云。中央云聚合汇总了所有的张量，然后将更新和进行平均后的张量报告给每个参与者。
现在参考图3A，其是示出了符合本公开的实施例的示例性用例的传统的临床试验的示意图，其中可应用到用于分布式临床试验的一对多张量。
在一些实施例中，张量集合在一对多结构中是垂直的，称为垂直张量集合(Vertical Tensor Ensembles)。大多数临床试验是集中的，有一个主办发起者302。该主办发起者302集中产生协议，并使用许多最终用户306可以前往进行体检和实验室测试的多个站点308。这个过程耗时且昂贵，并且大部分外包给合同研究组织(CRO,Contract ResearchOrganization)304。
现在参考图3B，其是与本公开的实施例一致的、示出执行一到多张量用于分布式临床试验的包括Flea的联合学习器系统300的示例性用例的图。
通过联合学习，全局协议从一个中央机构发送到许多最终用户306’，这些最终用户306’在其例如智能手机的边缘装置312上收集信息，标记信息并在本地计算，之后将结果张量发送到主办发起者302’的中央云。中央机构聚合所有张量，然后将更新和平均后的张量报告给每个最终用户306’。这种一对多张量配置为进行分布式临床试验。
在一些实施例中，数字临床试验、即数据试验的主办发起者，通过安装在最终用户306’的装置中的应用程序直接向最终用户306’宣布数据试验。具有应用程序的每个最终用户装置312被配置为安装联合学习器。装置312的联合学习器被配置为与集中的联合学习器团体310’共享与数据有关的张量。集中式联合学习器团体310’被配置为仅向主办发起者302’共享全局模型而不是每个最终用户306’的数据。
在一些实施例中，数据试验的主办发起者302’直接向最终用户306’宣布试验。最终用户306’可以从许多特定站点308中自由选择参与数据试验。这些特定站点308中的每一个都被配置为与保持有联合学习器团体的CRO304’连接。类似地，装置312的联合学习器被配置为与CRO联合学习器团体共享数据的张量。CRO集中式联合学习器团体被配置为仅向主办发起者302’共享全局模型而不是每个最终用户306’的数据。
与涉及机构审查委员会(IRB,Institutional Review Board)的传统临床试验程序相比，这些实施例可以大大提高临床试验的效率。最终用户在参与临床试验方面享有好得多的灵活性。从制药公司的数据管理角度来看，一对多试验减少了对CRO的需求。最终用户不会将自己的数据进行共享，而只是训练模型的权重。最终用户可以选择转到首选的站点，而不是仅限于为他们选择和分配好的站点。这也意味着可以在不引入数据质量问题的情况下实现更虚拟方式的试验。联合学习器团体中介，不管是集中式联合学习器团体还是具有许可的联合学习器团体的CRO，都可以对权重进行全局平均。例如制药公司的主办发起者不对权重进行全局平均，从而消除了对主办发起者存在任何偏见的怀疑。审计是关于权重和算法的，因此消除了在检查数据质量时的大多数人为偏见。
现在参照图4，其是示出了与本公开的实施例一致的示例性联合学习器团体400的图。
Flea(联合学习器)配置为嵌入属于最终用户的各种边缘装置402中。这种边缘装置402可以是但不限于能够连接到互联网或类似网络的任何电子装置。例如，移动电话、智能手表、汽车或家庭中的传感器模块、或云服务器等。
Flea团体400设计为负责进行以下工作的联合学习后端：收集需要高可用性的FLEA最终用户所发送的模型更新和评估；组织可以根据最终用户侧更新、与执行这些更新所要求的操作一起进行更新的模型；基于诸如最终用户的提交文件的历史(例如最终用户的信誉得分)、以及最终用户发送的元数据来认可或拒绝各最终用户所提出的更新；将认可的最终用户更新聚合到单一更新中提供给各个模型；在具有可用性的情况下，将更新的模型重新分配给最终用户侧；根据与更新中使用的类似的可接受性标准来报告模型评估的聚合；并进行张量式握手，即管理联合学习器最终用户和联合学习器团体之间、或者联合学习器最终用户自身的集合之间的信息交换的协议。
现在参照图5，其是示出了与本公开的实施例一致的联合学习器系统500的张量全局化的示例性用例的图。
在一些实施方式中，生物技术公司具有针对帕金森氏病训练的联合学习器模型。传统上，大多数临床试验是集中的。该试验由一个主办发起者集中制作协议，并使用许多参与者可以前往进行检查和测试的多个站点。该过程耗时且昂贵并且大部分外包给临床研究组织(CRO)。
但现在有一些替代方案正在变得可选，因为我们操纵张量的技术已得到发展。临床试验的分布式结构代替扁平可以弯曲成n维流形。这也改变了模型的本质。模型本身只是张量集合，随着边缘计算单元变得更加强大，边缘上的每个计算单元都可以容纳自己的模型。在单元之间，不仅可以自由交换数据导出的张量，还可以交换模型集合。
联合学习器团体被配置为至少提供联合学习器模型和多维矩阵。从该模型中得出的张量将与生物技术模型的张量进行平均。经由上述方法和系统，上述所例示的生物技术公司获取回了全局模型。
在一些其它实施例中，描述了具有联合学习器系统的新出现的张量模型的示例性用例。例如，一家技术公司有一个应用程序，数百万成员经常使用该应用程序来执行某项功能，但这项操作会留下数字痕迹，该痕迹显示他们对数据路径的兴趣。联合学习模型可以应用于与消费爱好有关的场景。在此情况下，边缘装置处可以产生与消费爱好有关的最终用户数据，并且张量可以是在边缘装置处根据最终用户的消费爱好数据计算得到的推断结论。例如，有人可能会寻找餐馆，则张量可以是与该最终用户喜好的餐馆有关的推断结论。在该示例中，技术公司需要用户反馈以改进其预测模型的质量以更好地服务于用户。该技术公司将此输入提供给联合学习器团体，并以异步或同步方式获取回张量。这样做不使用最终用户的原始数据，并且不会侵入最终用户的隐私。该技术公司只获得了整个人口的感兴趣全局模型以及使他们能够针对特定的预测行动的、不同行为细分中更精确的模型。如果愿意，该公司还可以共享全局张量或精密张量。没有数据被传输，而只有经过联合学习器系统500处理后得出的推断结论被传输。
现在参考图6A和图6B，其分别示出传统数据试验中线性训练试验的示意图以及与本公开的实施例一致的联合学习器系统600在自适应和连续学习分布式试验中的示例性用例的图，其中该系统包括联合学习器和联合学习器团体602以供数据试验应用。
通过联合学习器和联合学习器团体602，临床试验可以不要求访问站点604。如图6A所示，在访问站点604时，CRO 606从站点604接收数据，艰苦的数据收集过程花费大量时间，以及/或者最终在试验完成后分析数据，这需要花费大量的时间和金钱。在图6A所示的数据试验中，纠正模型错误是非常昂贵的，特别是如果必须重新评估部分试验。对于如图6B所示的联合学习器，试验可以是实时的，特别是因为试验的终点已经被作为预测模型或分析简历。管理员可以控制幕后的数据训练和频率，并且代替CRO 606中的人、所提出的算法本身是自适应的。由此，如图6B所示例的试验可以更加简化和并行化。试验速度可以显著提高，即使它可能意味着快速得出试验失败的结果。反馈循环要快得多，主办发起者608或CRO606可以更好地了解试验是否从早期开始正常运行。
最终用户610可以使用他们选择的站点604，前提是数据试验也选择了该站点。最终用户610的电话上的数据用于训练与试验终点相关的模型。由于分析和模型不是在试验后完成的，而是利用联合学习器602实时处理的，这意味着试验的管理员可以快速适应偏见、混淆等问题。这可以迅速使得数据试验加速。最终用户610可以是虚拟的或现场的。此外，试验可以使用可为训练提供更多维度的工具来利用真实世界数据。
现在参照图7，图7是示出与本公开的实施例一致的联合学习器系统700的示例性用例的图，该联合学习器系统包括用于数据试验的应用的模拟控制臂。医疗领域的技术人员了解，臂通常指临床试验中用来对照的组。
在所公开的联合学习器系统700的一些实施例中，合成控制臂被配置为在现有群体上通过大规模收集的数据进行操作。相同的群体可用于训练相似群体的生成模型。基于其模拟特征，这些生成模型可以使得群体的实用效用方面增加许多倍。
合成控制臂不是从试验招募的被分配到控制臂或标准护理臂的患者中收集数据，而是使用先前从常规护理生成的健康数据等来源收集的真实数据对这些比较器进行建模。从常规护理生成的数据包括电子健康记录、行政索赔数据、来自健身追踪器或家庭医疗设施的患者生成数据、疾病登记记录(disease registries)和历史临床试验数据等。这可以通过联合学习模型利用边缘装置发送梯度到云来完成。
合成控制臂为制药行业和应用带来了明显的好处。它可以减少甚至消除登记控制端用户，提高效率、功效和一致性。通过减少或消除对控制端用户的需求，合成控制臂可以提高效率，减少延迟，降低试验成本，并加快将挽救生命的疗法推向市场。这种混合试验设计为主办发起者将现实数据元素引入受监管的试验提供了一种风险较低的方式，并且还可以通过告知可行或不可行的发展决策来降低后期失败的风险。安慰剂(placebo)恐惧是患者选择不参加临床试验的最主要原因之一。当个体的预后(prognosis)较差或目前的护理标准效果有限时，这种担忧会被放大。使用合成控制臂代替标准控制臂可以确保所有参与者接受积极治疗，可以消除对治疗分配作业的担忧。合成控制臂的方法和系统应对重要的参与者担忧，也可以消除招募数据试验参与者的重要障碍。使用模拟控制臂还可以消除以下情况下揭盲(unblinding)的风险：患者依靠疾病支持社交网络发布他们的治疗、进展和副作用等可能损害试验完整性的细节。
在一些实施例中，联合学习器系统可用于张量双胞胎(tensorial twins)。该张量双胞胎表示使用称为最近邻分析的AI(人工智能)子类型对数据点的最大比例进行算法匹配所导出的最近邻患者。使用AI分析来识别最近邻以近似摹本(facsimile)，其中摹本是指根据患者的特征尽可能接近精确副本的另一个人，用以帮助提供最佳治疗、结果甚至预防。
我们可以使用全面描述每个个体的信息，包括人口统计学、生物组学、生理学、解剖学和环境，以及针对医疗条件的治疗和结果。
扰动子空间方法(PSM,Perturbed Subspace Method)使用通常从逻辑回归获得的、基于观察到的预测因子的例如治疗组或对照组的组成员资格的预测概率，以创建反事实组。倾向得分也可用于匹配或作为协变量，单独使用或与其它匹配变量或协变量一起使用。通过联合学习，可以将每个群组配置为以非常复杂的方式进行自适应，因为具有联合学习器的成员可以发送增量。在这种情况下，系统不断地使成员和队列群体之间的关系变得脆弱，直至重新定义了正常状态并开始充当计算机模拟的患者(patients in silico)，从而为精准医学的随机正向模型做好准备。
在本公开的一些实施例中，联合学习器系统可以使用模糊张量群集。过去仅负责收集数据的装置将配置为运行下游计算。这种配置可以应用于各种场景。例如，心率监测器，自动血压泵，气象微站等。计算能力和速度可以大幅提高。随着这些装置之间更高带宽连接的出现(例如，由于5G)，需要这些装置将数据发送到中央位置、其中古老的批处理运行器生成更新的数据处理器并将其运回每个装置的旧模式变得过时。当心率监测器可以更新其自己的数据处理算法时，引发系统范围内的开销就不再有意义了。这种心率监测系统只需要接入例如血压泵和气象微站。与心率监测器的情况一样，系统本身更新系统自己的数据处理算法的能力对于关键任务功能尤其如此，在这些情况下，几秒钟可能产生生与死的差异。利用这个额外的计算能力和带宽，每个装置将部署自己的自适应数据处理模块，被放置在装置的网络网格中，并配备(例如，协议驱动)的本体以向该装置描述它可以从网格中该装置的每个邻居处导出的信息类型。网格中的每个装置都配置为向其邻居提供该装置的任何基元，以及对其自身的数据导出的更新。总之，互连装置的集合形成模糊张量群集，其中每个装置具有智能数据处理模块和本体协议。在这个模糊张量群集中，出现的行为被配置为针对集中式模型构建工作流所允许的功能上的最小等效，尽管在延迟和开销方面可能不是最佳的。通过5G和物联网技术，每个装置都可以以物理方式或非物理方式连接，并将数据流传输到数百万个其它智能数据捕获装置，这些装置可以创建垂直世界的实时模型。来自数百万图形处理单元的丰富信息可以反馈给其它对象或者这些对象的碳、硅或神经元用户。被动收集可以货币化，成为虚拟现实(VR)的服务行业，可以创建并行的存在维度作为服务。
在本公开的一些实施例中，联合学习器模型可以适用于联合学习以及临床数据和标准的对抗性快速测试。在装置上以靠近数据的方式完成的数据训练消除了隐私控制的必要性。训练得到的模型基本上试图预测症状何时发生，并且可以使用户能够进行验证。然后，这种生成对抗网络(GAN,Generative Adversarial Networks)模型可用于生成真实世界证据(RWE,Real World Evidence)支持的患者模拟，以验证临床试验、数据、异常检测等。制药公司可以将这些模型向外许可作为新收入。最终用户的模拟数据是基于他们的遗传学、暴露组(exposome)、药物预测(即，在概率风险计算器上推断出的)和其它组学数据。一旦这些模型建成，制药公司也可以在其它数据试验中使用模型进行基础工作分析。
临床试验可以使用消费者医疗保健移动装置、例如苹果手表，在GAN认为可能很快会出现症状的情况下参与者可以确认或否认。该模型在最终用户装置上进行训练，并且仅将模型发送回服务器。然后在其它患者中测试模型并一遍又一遍地验证。这种症状模型可用于模拟围绕类似药物的现有临床试验。如果它可以重现研究结果，那么这些模型可以用在围绕这些类型的药物的控制板(dashboard)中。
在本公开的一些实施例中，联合学习模型可以适用于参与者的临床试验的自动资格授予，并可以除去昂贵的人工验证过程。
在本公开的一些实施例中，联合学习模型可以应用于去中心化的患者登记。这样的注册表处于例如边缘装置处并且是分散的，但是由被授权的人员(例如最终用户)通过“询问”命令而聚集在一起。
在本公开的一些实施例中，联合学习模型可以应用于配置对等健康状况比较器，以比较一个最终用户相对于另一最终用户的健康状况，而不共享任何个人数据。
在本公开的一些实施例中，联合学习模型可应用于分发第二意见。例如，在最终用户对原有的专业意见提供者的意见不满意或不满足时，可以从新的专业意见提供者向最终用户分发第二意见。在该示例中，可以使一个最终用户与新的医生或公民科学家分享他或她的个人模型，而不会泄露任何数据。在本公开中，仅比较张量而不比较真实数据。Flea团体所提供的模型更新可以与代表个人模型的张量之间的比较有关。
在本公开的一些实施例中，联合学习模型可以通过模型异常检测应用于健康异常检测。可以配置张量以指示与群体相比存在超出边际的异常。一旦确定了一些问题，该模型就可以给出与健康相关的建议。
在本公开的一些实施例中，联合学习模型可以应用于健康指纹。健康指纹可以表示最终用户所特有的健康状况标记，进而代表该最终用户。基于最终用户数据所构建的模型可以是最终用户的唯一签名。该模型随着最终用户的健康状况的发展而演变。该模型可以用作及时的身份表示。
本公开的实施例中的最终用户数据可以是医疗相关数据，诸如心率、脉搏等，再如对哪些药物过敏、做过哪些医疗手术等个人健康数据。最终用户数据可以是诸如喜好的餐馆、喜爱的音乐书籍等的消费爱好相关数据。最终用户数据可以是诸如几点起床、用哪只手写字等生活习性相关数据。本公开不以上述示例为限。
Claims (18)
1.一种联合学习模型方法，包括：
从最终用户的多个边缘装置接收张量、条件和/或元数据，其中，所述多个边缘装置电耦合到通信网络，所述边缘装置存储有最终用户数据，所述张量表示根据所述最终用户数据计算得到的推断结论；
根据所述最终用户发送来的所述条件和/或元数据，允许或拒绝来自每个最终用户的对联合学习模型的建议更新；
在允许所述建议更新的情况下，利用接收到的张量进行与所述最终用户数据有关的联合学习模型更新；
将所述模型更新发送到所述多个边缘装置。
2.一种联合学习模型方法，包括：
在最终用户的多个边缘装置处配置联合学习器，其中，所述多个边缘装置电耦合到通信网络；
使得所述联合学习器根据所述边缘装置所存储的最终用户数据来计算得到张量，所述张量表示与联合学习模型有关的推断结论；
使得所述多个边缘装置的联合学习器向联合学习器更新存储库发送所述张量、条件和/或元数据，其中，所述联合学习器更新存储库电耦合到所述通信网络，所述条件和/或元数据与所述最终用户对所述联合学习模型的建议更新是否被允许有关；
在所述建议更新被允许的情况下，从所述联合学习器更新存储库来接收模型更新。
3.一种联合学习模型方法，包括：
从一个或多个云接收张量、条件和/或元数据，其中，所述云电耦合到通信网络，所述张量是基于公共域中可用的数据来计算的；
根据所述云发送来的条件和/或元数据，允许或拒绝来自所述云的对联合学习模型的建议更新；
在允许所述建议更新的情况下，利用接收到的张量进行与所述公共域中可用的数据有关的联合学习模型更新；
将所述模型更新发送到所述云。
4.一种联合学习模型方法，包括：
在一个或多个云处配置联合学习器，其中，所述云电耦合到通信网络；
使得所述联合学习器根据所述云存储的公共域中可用的数据来计算得到张量，所述张量表示与联合学习模型有关的推断结论；
使得所述云的联合学习器向联合学习器更新存储库发送所述张量、条件和/或元数据，其中，所述联合学习器更新存储库电耦合到所述通信网络，所述条件和/或元数据与所述云对所述联合学习模型的建议更新是否被允许有关；
在所述建议更新被允许的情况下，从所述联合学习器更新存储库来接收模型更新。
5.如权利要求1或2所述的方法，所述最终用户数据是所述最终用户的消费爱好相关数据和/或生活习性相关数据。
6.如权利要求1或2所述的方法，所述张量是基于所述最终用户的个人数据计算得到的个人模型，所述联合学习模型更新是与从新的专业意见提供者分发第二意见的模型相关的更新。
7.如权利要求1或2所述的方法，所述最终用户数据是所述最终用户的医疗相关数据。
8.如权利要求7所述的方法，其中，所述医疗相关数据是与临床试验有关的数据，所述张量表示与临床试验有关的计算得到的推断结论，并且所述模型更新与临床试验有关。
9.如权利要求8所述的方法，其中，所述张量表示与临床试验的参与者的自动资格授予有关的推断结论，所述模型更新与所述自动资格授予有关。
10.如权利要求7所述的方法，其中，所述张量表示与去中心化的患者登记有关的推断结论。
11.如权利要求7所述的方法，其中，所述张量表示与一个所述最终用户的健康状况有关的推断结论，并且利用接收到的所述张量来配置用于比较多个最终用户的健康状况的对等健康状况比较器，并且进行与所述健康状况有关的模型更新。
12.如权利要求7所述的方法，其中，所述张量表示与群体相比存在超出边际的异常的推断结论。
13.如权利要求7所述的方法，其中，所述模型更新与所述最终用户的健康状况的发展演变有关。
14.一种利用联合学习模型的装置，包括：
存储器，包括计算机可执行指令；
处理器，在执行所述计算机可执行指令的情况下使所述利用联合学习模型的装置执行以下：
从最终用户的多个边缘装置接收张量、条件和/或元数据，其中，所述多个边缘装置电耦合到通信网络，所述边缘装置存储有最终用户数据，所述张量表示根据所述最终用户数据计算得到的推断结论；
根据所述最终用户发送来的所述条件和/或元数据，允许或拒绝来自每个最终用户的对联合学习模型的建议更新；
在允许所述建议更新的情况下，利用接收到的张量进行与所述最终用户数据有关的联合学习模型更新；
将所述模型更新发送到所述多个边缘装置。
15.一种利用联合学习模型的装置，包括：
存储器，包括计算机可执行指令；
处理器，在执行所述计算机可执行指令的情况下使所述利用联合学习模型的装置执行以下：
在最终用户的多个边缘装置处配置联合学习器，其中，所述多个边缘装置电耦合到通信网络；
使得所述联合学习器根据所述边缘装置所存储的最终用户数据来计算得到张量，所述张量表示与联合学习模型有关的推断结论；
使得所述多个边缘装置的联合学习器向联合学习器更新存储库发送所述张量、条件和/或元数据，其中，所述联合学习器更新存储库电耦合到所述通信网络，所述条件和/或元数据与所述最终用户对所述联合学习模型的建议更新是否被允许有关；
在所述建议更新被允许的情况下，从所述联合学习器更新存储库来接收模型更新。
16.一种计算机可读存储介质，其存储有计算机可执行指令，所述指令在由计算机执行的情况下使计算机执行以下：
从最终用户的多个边缘装置接收张量、条件和/或元数据，其中，所述多个边缘装置电耦合到通信网络，所述边缘装置存储有最终用户数据，所述张量表示根据所述最终用户数据计算得到的推断结论；
根据所述最终用户发送来的所述条件和/或元数据，允许或拒绝来自每个最终用户的对联合学习模型的建议更新；
在允许所述建议更新的情况下，利用接收到的张量进行与所述最终用户数据有关的联合学习模型更新；
将所述模型更新发送到所述多个边缘装置。
17.一种利用边缘装置和云的计算能力的联合学习模型系统，包括：
最终用户的多个边缘装置，电耦合到通信网络，每个所述边缘装置包括
存储器，用于存储最终用户数据；和
联合学习器，被配置为发送张量、条件和/或元数据，其中所述张量是基于存储在存储器中的最终用户数据来计算的；
电耦合到通信网络的云，所述云包括联合学习器，并被配置为发送张量，其中所述张量是基于公共域中可用的数据来计算的；以及
联合学习器更新存储库，配置为从所述多个边缘装置和所述云接收所述张量，所述联合学习器更新存储库包括后端配置，所述后端配置根据所述多个边缘装置发送来的所述条件和/或元数据，允许或拒绝来自每个所述边缘装置的与联合学习模型有关的建议更新，并在允许所述建议更新的情况下将所述建议更新发送到所述多个边缘装置和所述云。
18.一种利用边缘装置和云的计算能力的联合学习模型的方法，包括：
通过具有联合学习器的多个边缘装置向联合学习器更新存储库发送第一组张量以及条件和/或元数据，其中所述条件和/或元数据与对所述联合学习模型的建议更新是否被允许有关，并且基于所述多个边缘装置存储有的最终用户数据计算所述第一组张量；
通过具有联合学习器的一个或多个云向所述联合学习器更新存储库发送第二组张量，其中基于公共域中可用的数据计算所述第二组张量；
通过所述联合学习器更新存储库来接收所述第一组张量和所述第二组张量，还接收来自所述多个边缘装置的所述条件和/或元数据；
在根据所述条件和/或元数据判断为允许所述建议更新的情况下，通过所述联合学习器更新存储库向所述多个边缘装置以及所述一个或多个云发送所述建议更新。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962816880P | 2019-03-11 | 2019-03-11 | |
| US62/816,880 | 2019-03-11 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111680798A true CN111680798A (zh) | 2020-09-18 |
Family
ID=72429730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910235758.6A Pending CN111680798A (zh) | 2019-03-11 | 2019-03-27 | 联合学习模型系统和方法、装置和计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2020149656A (zh) |
| CN (1) | CN111680798A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112435747A (zh) * | 2020-11-26 | 2021-03-02 | 新智数字科技有限公司 | 疾病风险预测方法、装置、设备和计算机可读介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114764967A (zh) * | 2021-01-14 | 2022-07-19 | 新智数字科技有限公司 | 联合学习框架下设备故障报警的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150324686A1 (en) * | 2014-05-12 | 2015-11-12 | Qualcomm Incorporated | Distributed model learning |
| CN107871160A (zh) * | 2016-09-26 | 2018-04-03 | 谷歌公司 | 通信高效联合学习 |
| CN108427992A (zh) * | 2018-03-16 | 2018-08-21 | 济南飞象信息科技有限公司 | 一种基于边缘云计算的机器学习训练系统及方法 |
| CN108805292A (zh) * | 2017-05-05 | 2018-11-13 | 英特尔公司 | 用于自主机器的机器学习中的即时深度学习 |
-
2019
- 2019-03-27 CN CN201910235758.6A patent/CN111680798A/zh active Pending
- 2019-05-24 JP JP2019097904A patent/JP2020149656A/ja not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150324686A1 (en) * | 2014-05-12 | 2015-11-12 | Qualcomm Incorporated | Distributed model learning |
| CN107871160A (zh) * | 2016-09-26 | 2018-04-03 | 谷歌公司 | 通信高效联合学习 |
| CN108805292A (zh) * | 2017-05-05 | 2018-11-13 | 英特尔公司 | 用于自主机器的机器学习中的即时深度学习 |
| CN108427992A (zh) * | 2018-03-16 | 2018-08-21 | 济南飞象信息科技有限公司 | 一种基于边缘云计算的机器学习训练系统及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112435747A (zh) * | 2020-11-26 | 2021-03-02 | 新智数字科技有限公司 | 疾病风险预测方法、装置、设备和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020149656A (ja) | 2020-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11853891B2 (en) | System and method with federated learning model for medical research applications | |
| US20210225463A1 (en) | System and Method with Federated Learning Model for Medical Research Applications | |
| US20220344049A1 (en) | Decentralized artificial intelligence (ai)/machine learning training system | |
| Połap et al. | Agent architecture of an intelligent medical system based on federated learning and blockchain technology | |
| KR102634785B1 (ko) | 보호된 데이터에 관한 분산형 개인정보 보호 컴퓨팅 | |
| Lu et al. | Decentralized federated learning for electronic health records | |
| Morshed et al. | Deep osmosis: Holistic distributed deep learning in osmotic computing | |
| US20140088989A1 (en) | Rapid Learning Community for Predictive Models of Medical Knowledge | |
| CN117238458B (zh) | 基于云计算的重症护理跨机构协同平台系统 | |
| CN110544528B (zh) | 基于深度学习的上下级眼科远程诊断平台及其构建方法 | |
| Talaat | Effective deep Q-networks (EDQN) strategy for resource allocation based on optimized reinforcement learning algorithm | |
| Jiang et al. | Distributed deep learning optimized system over the cloud and smart phone devices | |
| CN111680798A (zh) | 联合学习模型系统和方法、装置和计算机可读存储介质 | |
| Son et al. | Predictive reliability and validity of hospital cost analysis with dynamic neural network and genetic algorithm | |
| Muazu et al. | A federated learning system with data fusion for healthcare using multi-party computation and additive secret sharing | |
| Urmela et al. | A framework for distributed data mining heterogeneous classifier | |
| Stripelis et al. | Federated learning over harmonized data silos | |
| Gupta et al. | Wellness detection using clustered federated learning | |
| US20230197255A1 (en) | Methods and systems to identify collaborative communities from multiplex healthcare providers | |
| Özmen et al. | Interactive evolutionary approaches to multiobjective feature selection | |
| Mosavi et al. | Characteristics of the intelligent decision support system for precision medicine (IDSS4PM) | |
| Mu et al. | Explainable federated medical image analysis through causal learning and blockchain | |
| US20230351252A1 (en) | Decentralized training method suitable for disparate training sets | |
| US20240061951A1 (en) | Patient care record management system | |
| Kryszkiewicz et al. | Foundations of Intelligent Systems: 23rd International Symposium, ISMIS 2017, Warsaw, Poland, June 26-29, 2017, Proceedings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200918 |