CN109670583A - 去中心化的数据分析方法、系统以及介质 - Google Patents

去中心化的数据分析方法、系统以及介质 Download PDF

Info

Publication number
CN109670583A
CN109670583A CN201811610257.3A CN201811610257A CN109670583A CN 109670583 A CN109670583 A CN 109670583A CN 201811610257 A CN201811610257 A CN 201811610257A CN 109670583 A CN109670583 A CN 109670583A
Authority
CN
China
Prior art keywords
model
node
data
analysing method
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811610257.3A
Other languages
English (en)
Inventor
吴增德
吴晓东
沈乐平
陈玲珑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201811610257.3A priority Critical patent/CN109670583A/zh
Publication of CN109670583A publication Critical patent/CN109670583A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开涉及去中心化的数据分析方法、系统以及介质。去中心化的数据分析方法包括以下步骤：将用于进行数据分析的机器学习模型的模型文件发送给多个工作结点；从所述多个工作结点接收多个模型训练结果，其中所述多个模型训练结果是分别由所述多个工作结点根据所述模型文件进行模型训练得到的；根据接收到的所述多个模型训练结果，生成汇聚的模型训练结果。

Description

去中心化的数据分析方法、系统以及介质
技术领域
本公开涉及去中心化的数据分析方法、系统以及介质。
背景技术
机器学习有三大要素：数据、算力、算法。近几年机器学习巨大发展的关键因素是数据、算力和算法的快速发展。图1示出了现有的机器学习模型。该模型中各个数据结点把数据汇集到机器学习结点。机器学习结点将数据加标注后，用这些数据训练机器学习模型。
发明内容
本申请的发明人发现集中式机器学习模型在机器学习三大要素方面都存在很大的局限性。在数据方面，机器学习开发是基于所收集的数据进行的，但由于需要的数据量巨大以及容易产生隐私数据泄漏，很难把各个企业的数据汇集到一起有效开发。在算力方面，很多企业以及研究机构拥有强大的计算能力，但其计算能力有时被闲置而没有得到有效利用。在算法方面，某些初创公司和研究机构具有强大的模型开发能力，但因没有足够的数据和算力，无法优化机器学习模型。
为了解决上述技术问题中的一个或多个，本公开提出利用多个结点训练机器学习模型来实现去中心化的数据分析。
本发明提供一种去中心化的数据分析方法，包括以下步骤：a)将用于进行数据分析的机器学习模型的模型文件发送给多个工作结点；b)从所述多个工作结点接收多个模型训练结果，其中所述多个模型训练结果是分别由所述多个工作结点根据所述模型文件进行模型训练得到的；c)根据接收到的所述多个模型训练结果，生成汇聚的模型训练结果。
在本公开的一些实施例中，所述机器学习模型是神经网络模型，所述模型文件包括所述神经网络模型的多个神经元的排列信息以及赋予所述多个神经元之间的多个连接的多个参数。
在本公开的一些实施例中，数据分析方法还包括以下步骤：基于所述汇聚的模型训练结果，更新所述模型文件；再次执行步骤a)至c)。
在本公开的一些实施例中，所述多个工作结点分别用自身的本地数据进行所述模型训练。
在本公开的一些实施例中，数据分析方法还包括以下步骤：从应用结点接收模型请求，基于所述模型请求从模型库中选择所述模型文件。
在本公开的一些实施例中，数据分析方法还包括以下步骤：从应用结点接收模型请求；将所述模型请求发送给开发结点；从开发结点接收所述模型文件，其中所述模型文件是由所述开发结点基于所述模型请求生成的。
在本公开的一些实施例中，数据分析方法还包括以下步骤：基于所述模型请求，利用区块链智能合约减少与应用结点对应的账户值并且增加与工作结点对应的账户值。
在本公开的一些实施例中，数据分析方法还包括以下步骤：基于所述模型请求，利用区块链智能合约增加与开发结点对应的账户值。
在本公开的一些实施例中，数据分析方法还包括以下步骤：将所述汇聚的模型训练结果发送给所述应用结点。
在本公开的一些实施例中，所述模型请求包括模型评价函数和测试数据集；并且数据分析方法还包括：将所述测试数据集发送给所述工作结点；从所述工作结点接收模型测试结果，其中，所述模型测试结果是由所述工作结点对所述测试数据集运行机器学习模型得到的，基于所述模型评价函数和所述模型测试结果评价所述机器学习模型。
本公开提供了一种计算机系统，包括：一个或更多个处理器；以及一个或更多个存储器，被配置为存储一系列计算机可执行指令，其中所述一系列计算机可执行指令在由所述一个或更多个处理器运行时使得所述一个或更多个处理器执行本公开的任意数据分析方法。
本公开提供了一种非暂态的计算机可读介质，其上存储有计算机可执行指令，所述计算机可执行指令在由一个或更多个处理器运行时使得所述一个或更多个处理器执行本公开的任意数据分析方法。
本公开提供了一种用于去中心化的数据分析的系统，包括用于执行本公开的任意数据分析方法的步骤的部件。。
根据参照附图的以下描述，本发明的其它特性特征和优点将变得清晰。
附图说明
所包括的附图用于说明性目的，并且仅用于提供本文所公开的发明性装置以及将其应用到计算设备的方法的可能结构和布置的示例。这些附图决不限制本领域的技术人员在不脱离实施方案的实质和范围的前提下可对实施方案进行的在形式和细节方面的任何更改。所述实施方案通过下面结合附图的具体描述将更易于理解，其中类似的附图标记表示类似的结构元件。
图1是示出现有的机器学习模型的示意图。
图2是示出根据本公开的实施例的去中心化的数据分析系统的示意图。
图3是示出根据本公开的实施例的分别由四个工作结点1～4进行的神经网络模型的模型训练的示意图。
图4是示出根据本公开的实施例由四个工作结点1～4迭代地执行模型训练的示意图。
图5是示出根据本公开的实施例的去中心化的数据分析方法500的示意图。
图6是示出可以实现根据本发明的实施例的计算设备的示例性配置图。
具体实施方式
在本部分中提供了根据本文所述实施方案的装置和方法的代表性应用。提供这些示例仅是为了添加上下文并有助于理解所述实施方案。对于本领域的技术人员因此将显而易见的是，本发明所述的实施方案可在不具有这些具体细节中的一些或全部的情况下实施。在其它情况下，未详细描述熟知的工艺步骤，以便避免不必要地模糊本发明所述的实施方案。其它应用也是可能的，使得以下示例不应视为是限制性的。
图2是示出根据本公开的实施例的去中心化的数据分析系统200的示意图。如图2所示，数据分析系统200包括应用结点201、开发结点202、机器学习共享服务器203、区块链智能合约204、分发结点205、工作结点206、汇聚结点207、报表结点208、结果存贮结点209。在数据分析系统200中，应用结点201是机器学习模型的需求方。开发结点202是机器学习模型的开发方。工作结点206是机器学习模型的训练方。机器学习共享服务器203、区块链智能合约204、分发结点205、汇聚结点207、报表结点208、结果存贮结点209负责协调机器学习模型的需求方、开发方和训练方的工作。
应用结点201是例如电信运营商、网络运营商、APP或社区平台运营商等企业的设备，其通常拥有海量数据并需要机器学习模型来处理这些海量数据。例如，应用结点201可能拥有海量的人脸图片，并且需要机器学习模型来进行人脸识别。
在本公开的一些实施例中，应用结点201向机器学习共享服务器203发送模型请求，以获得一个经过训练的机器学习模型。模型请求可以包括模型类型信息、训练数据集、测试数据集、模型评价函数、模型训练截止日期、以及模型费用等中的一项或多项。
模型类型信息指示应用结点201请求的模型类型。模型类型包括例如人脸识别模型、语音识别模型、指纹识别模型等。在应用结点201需要机器学习模型来进行人脸识别的情况下，模型请求中的模型类型信息指示人脸识别模型。训练数据集供开发方用于开发机器学习模型，测试数据集用于对开发得到的机器学习模型进行测试。模型评价函数用于评价机器学习模型的性能。例如，模型评价函数可以根据机器学习模型的测试结果从运行时间、识别准确率等方面来评价机器学习模型的性能。例如，模型评价函数可以为每个评价因素赋予一个分值。通过对机器学习模型的每个评价因素打分可以获得机器学习模型的总体分值，该总体分值的高低反映机器学习模型的性能的高低。模型费用是应用结点201愿意为机器学习模型支付的费用。模型费用可以以实际货币(例如，人名币、美元等)或虚拟货币(例如，比特币、以太币等)为单位，并被表示为区块链智能合约204中的相应账户值。
机器学习共享服务器203在接收到模型请求后，把模型请求中的内容写入区块链智能合约204。机器学习共享服务器203可以根据模型请求中的模型类型信息在已有模型库中选择一个或多个机器学习模型用于进行模型训练。替代地，机器学习共享服务器203可以将模型请求中的内容发送给开发结点202，以指示开发结点202开发符合需求的机器学习模型。在一些实施例中，应用结点201可以自主选择已有模型库中的机器学习模型。在一些实施例中，应用结点201可以选择已有模型库中机器学习模型还是开发新的机器学习模型。
例如，机器学习共享服务器203可以将模型类型信息发送给开发结点202，以指示开发结点202开发模型类型信息所指示的机器学习模型。例如，机器学习共享服务器203可以将训练数据集发送给开发结点202，以供开发结点202用于开发机器学习模型。替代地，机器学习共享服务器203将训练数据集的存储地址发送给开发结点202，以供开发结点202根据存储地址获取训练数据集。
开发结点202是例如初创公司、科研机构等的设备，其通常具有强大的机器学习模型开发能力。例如，开发结点202能够根据应用结点201的需求开发用于进行人脸识别的机器学习模型。
开发结点202基于模型请求通过模型开发生成机器学习模型的模型文件，并将模型文件发送给机器学习共享服务器203。模型文件指示机器学习模型的配置。在本公开的一些实施例中，机器学习模型是神经网络模型，模型文件包括例如神经网络模型的多个神经元的排列信息以及赋予多个神经元之间的多个神经连接的多个参数。
机器学习共享服务器203可以从开发结点202接收机器学习模型的模型文件并将其存储在模型库中。
机器学习共享服务器203上的每个机器学习模型都和区块链智能合约204中的合约关联。区块链智能合约204对每个合约进行数字签名。
在本公开的一些实施例中，可以存在多个开发结点202。机器学习共享服务器203可以选择多个开发结点202开发的一个或多个机器学习模型用于进行模型训练。机器学习共享服务器203可以将选择的机器学习模型的模型文件发送给分发结点205。
在本公开的一些实施例中，机器学习共享服务器203还将应用结点201提供的测试数据集发送给分发结点205。替代地，机器学习共享服务器203将测试数据集的存储地址发送给分发结点205，以供工作结点206根据存储地址获取测试数据集。
分发结点205从机器学习共享服务器203接收机器学习模型的模型文件，并把模型文件发送给多个工作结点206，以指示工作结点206进行模型训练。在本公开的一些实施例中，分发结点205从机器学习共享服务器203接收测试数据集或测试数据集的存储地址，并把测试数据集或测试数据集的存储地址发送给多个工作结点206，以指示工作结点206进行模型测试。
工作结点206是例如计算中心等的设备，其通常具有丰富的计算资源，并且可能还具有丰富的本地数据。工作结点206从分发结点205接收机器学习模型的模型文件，并根据模型文件进行模型训练得到模型训练结果。在本公开的一些实施例中，工作结点206具有本地数据，并用自身的本地数据进行模型训练。在本公开的一些实施例中，工作结点206从网络获取数据，并用获取到的数据进行模型训练。工作结点206将模型训练结果发送给汇聚结点207。
图3是示出根据本公开的实施例的分别由四个工作结点1～4进行的神经网络模型的模型训练的示意图。为了简化说明，本文假设使用的神经网络模型包括三层神经元，第一层包括两个神经元、第二层包括三个神经元、第三层包括两个神经元。此外，假设相邻两层神经元之间是全连接的关系，总共有12条神经连接。每条神经连接对应一个参数。因此，对于图3中的神经网络模型，需要通过模型训练确定总共12个神经连接参数，由参数矩阵W＝[k1，...，k12]表示。工作结点206将包括参数矩阵W的模型训练结果发送给汇聚结点207。
汇聚结点207根据多个工作结点206的多个模型训练结果，生成汇聚的模型训练结果，并更新模型文件。在本公开的一些实施例中，汇聚结点207将多个模型训练结果的平均值作为汇聚的模型训练结果。例如，汇聚结点207将工作结点1～4通过模型训练得到的4个参数矩阵的均值矩阵(即，各个矩阵的对应位置的元素的均值构成的矩阵)作为汇聚的模型训练结果的参数矩阵
在本公开的一些实施例中，模型训练在工作结点206处被迭代地执行。图4是示出根据本公开的实施例由四个工作结点1～4迭代地执行模型训练的示意图。
在初始化阶段，分发结点发送给工作结点1～4的模型文件中的神经连接由缺省参数矩阵W0表示，该缺省参数矩阵W0可以是由开发结点确定的。
在第1次迭代中，四个工作结点1～4在接收到包括缺省参数矩阵W0的模型文件后根据该模型文件进行模型训练，分别得到参数矩阵W1，1、W1，2、W1，3、W1，4。四个工作结点1～4然后可以将包括参数矩阵W1，1、W1，2、W1，3、W1，4的模型文件发送给汇聚结点。汇聚结点将参数矩阵W1，1、W1，2、W1，3、W1，4的均值矩阵作为第1次迭代中汇聚的模型训练结果的参数矩阵。然后，汇聚结点将模型文件中的参数矩阵更新为均值矩阵
在第2次迭代中，汇聚结点将包括均值矩阵的更新的模型文件发送给四个工作结点1～4，并且四个工作结点1～4根据该模型文件进行模型训练，分别得到参数矩阵W2，1、W2，2、W2，3、W2，4。四个工作结点1～4然后可以将参数矩阵W2，1、W2，2、W2，3、W2，4发送给汇聚结点。汇聚结点将参数矩阵W2，1、W2，2、W2，3、W2，4的均值矩阵作为第2次迭代中汇聚的模型训练结果的参数矩阵。然后，汇聚结点将模型文件中的参数矩阵更新为均值矩阵
按照上述方式迭代N次，包括均值矩阵的更新的模型文件被作为最终的汇聚的模型训练结果。迭代次数N可以由开发结点在模型文件中指定。在每次迭代中，四个工作结点1～4可以分别用自身本地数据的一部分或全部进行模型训练。
回到图2，汇聚结点207将训练得到的最终的模型文件发送给工作结点206。工作结点206根据训练后的模型文件用测试数据集进行模型测试，并将测试结果发送给汇聚结点207。汇聚结点207然后将训练后的模型文件和/或测试结果发送给报表结点208。
报表结点208根据工作结点的模型训练时间、计算量、处理的数据量等信息调用区块链智能合约204，从应用结点所属账户扣除一定的账户值添加到工作结点所属账户。
报表结点208根据训练后的模型文件和/或测试结果生成训练结果及报表结果。训练结果包括与模型训练相关的信息，诸如训练时间、识别准确率、模型文件等，报表结果包括支付的费用、开发者、模型准确度等信息。
报表结点208把训练结果及报表结果保存于结果存贮结点209，并通过非对称加密算法用公钥进行加密，只有拥有私钥的特定客户才能解密并访问。
共享服务器203可以基于应用结点提交的模型评价函数比较多个开发结点的机器学习模型的测试结果，从中选出开发出最优模型的开发结点，并通过区块链智能合约204从应用结点所属账户扣除一定的账户值添加到该开发结点所属账户。共享服务器203可以将最优的机器学习模型的模型文件发送给应用结点201。
注意，应用结点201、开发结点202、机器学习共享服务器203、区块链智能合约204、分发结点205、工作结点206、汇聚结点207、报表结点208、结果存贮结点209是对数据分析系统200中的部件的逻辑划分，它们中的一个或多个可以被集成在同一个硬件设备中或者分立于不同的硬件设备中。
图5是示出根据本公开的实施例的去中心化的数据分析方法500的示意图。在步骤S502，将用于进行数据分析的机器学习模型的模型文件发送给多个工作结点。在步骤S504，从所述多个工作结点接收多个模型训练结果，其中所述多个模型训练结果是分别由所述多个工作结点根据所述模型文件进行模型训练得到的。在步骤S506，根据接收到的所述多个模型训练结果，生成汇聚的模型训练结果。此外，数据分析方法500还可以包括以上针对数据分析系统200描述的操作步骤中的一个或多个，在此不再赘述。
本公开的一些实施例可利用未开发的私人数据进行机器学习，同时保护数据隐私。本公开的一些实施例可连接并利用单个设备的闲置处理能力进行机器学习。本公开的一些实施例可利用区块链智能合约技术提供一个中间平台，协调拥有不同资源的机器学习贡献者。
图6示出了可以实现根据本发明的实施例的计算设备800的示例性配置。计算设备800是可以应用本发明的上述方面的硬件设备的实例。计算设备800可以是被配置为执行处理和/或计算的任何机器。计算设备800可以是但不限制于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助手(PDA)、智能电话、车载计算机或以上组合。
如图6所示，计算设备800可以包括可能经由一个或多个接口与总线820连接或通信的一个或多个元件。总线802可以包括但不限于，工业标准架构(Industry StandardArchitecture，ISA)总线、微通道架构(Micro Channel Architecture，MCA)总线、增强ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及外设组件互连(PCI)总线等。计算设备800可以包括例如一个或多个处理器804、一个或多个输入设备806、以及一个或多个输出设备808。一个或多个处理器804可以是任何种类的处理器，并且可以包括但不限于一个或多个通用处理器或专用处理器(诸如专用处理芯片)。输入设备806可以是能够向计算设备输入信息的任何类型的输入设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备808可以是能够呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。
计算设备800还可以包括或被连接至非暂态存储设备814，该非暂态存储设备814可以是任何非暂态的并且可以实现数据存储的存储设备，并且可以包括但不限于盘驱动器、光存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁性介质、压缩盘或任何其他光学介质、缓存存储器和/或任何其他存储芯片或模块、和/或计算机可以从其中读取数据、指令和/或代码的其他任何介质。计算设备800还可以包括随机存取存储器(RAM)810和只读存储器(ROM)812。ROM 812可以以非易失性方式存储待执行的程序、实用程序或进程。RAM 810可提供易失性数据存储，并存储与计算设备800的操作相关的指令。计算设备800还可包括耦接至数据链路818的网络/总线接口816。网络/总线接口816可以是能够启用与外部装置和/或网络通信的任何种类的设备或系统，并且可以包括但不限于调制解调器、网络卡、红外线通信设备、无线通信设备和/或芯片集(诸如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设施等)。
可单独地或以任何组合方式来使用前述实施方案的各个方面、实施方案、具体实施或特征。可由软件、硬件或硬件与软件的组合来实现前述实施方案的各个方面。
例如，前述实施方案可体现为计算机可读介质上的计算机可读代码。计算机可读介质为可存储数据的任何数据存储设备，所述数据其后可由计算机系统读取。计算机可读介质的示例包括只读存储器、随机存取存储器、CD-ROM、DVD、磁带、硬盘驱动器、固态驱动器和光学数据存储设备。计算机可读介质还可分布在网络耦接的计算机系统中使得计算机可读代码以分布式方式来存储和执行。
例如，前述实施方案可采用硬件电路的形式。硬件电路可以包括组合式逻辑电路、时钟存储设备(诸如软盘、触发器、锁存器等)、有限状态机、诸如静态随机存取存储器或嵌入式动态随机存取存储器的存储器、定制设计电路、可编程逻辑阵列等的任意组合。
在一个实施方案中，可以通过用诸如Verilog或VHDL的硬件描述语言(HDL)编码电路描述来实现根据本公开的硬件电路。可以针对给定集成电路制造技术设计的单元库合成HDL描述，并可以出于定时、功率和其他原因修改，以获得最终的设计数据库，可以将最终的设计数据库传输到工厂以通过半导体制造系统生产集成电路。半导体制造系统可通过(例如在可包括掩膜的晶片上)沉积半导体材料、移除材料、改变所沉积材料的形状、(例如通过掺杂材料或利用紫外处理修改介电常数)对材料改性等等来生产集成电路。集成电路可以包括晶体管并还可以包括其他电路元件(例如，诸如电容器、电阻器、电感器等无源元件)以及晶体管和电路元件之间的互连。一些实施方案可以实现耦接在一起的多个集成电路，以实现硬件电路，和/或可以在一些实施方案中使用离散元件。
虽然已通过示例详细展示了本发明的一些具体实施例，但是本领域技术人员应当理解，上述示例仅意图是说明性的而不限制本发明的范围。本领域技术人员应该理解，上述实施例可以在不脱离本发明的范围和实质的情况下被修改。本发明的范围是通过所附的权利要求限定的。

Claims (13)

1.一种去中心化的数据分析方法，包括以下步骤：
a)将用于进行数据分析的机器学习模型的模型文件发送给多个工作结点；
b)从所述多个工作结点接收多个模型训练结果，其中所述多个模型训练结果是分别由所述多个工作结点根据所述模型文件进行模型训练得到的；
c)根据接收到的所述多个模型训练结果，生成汇聚的模型训练结果。
2.如权利要求1所述的数据分析方法，其中，所述机器学习模型是神经网络模型，所述模型文件包括所述神经网络模型的多个神经元的排列信息以及赋予所述多个神经元之间的多个连接的多个参数。
3.如权利要求1所述的数据分析方法，还包括以下步骤：
基于所述汇聚的模型训练结果，更新所述模型文件；
再次执行步骤a)至c)。
4.如权利要求1所述的数据分析方法，其中，所述多个工作结点分别用自身的本地数据进行所述模型训练。
5.如权利要求1所述的数据分析方法，还包括以下步骤：
从应用结点接收模型请求，基于所述模型请求从模型库中选择所述模型文件。
6.如权利要求1所述的数据分析方法，还包括以下步骤：
从应用结点接收模型请求；
将所述模型请求发送给开发结点；
从开发结点接收所述模型文件，其中所述模型文件是由所述开发结点基于所述模型请求生成的。
7.如权利要求5或6所述的数据分析方法，还包括以下步骤：
基于所述模型请求，利用区块链智能合约减少与应用结点对应的账户值并且增加与工作结点对应的账户值。
8.如权利要求6所述的数据分析方法，还包括以下步骤：
基于所述模型请求，利用区块链智能合约增加与开发结点对应的账户值。
9.如权利要求5或6所述的数据分析方法，还包括以下步骤：
将所述汇聚的模型训练结果发送给所述应用结点。
10.如权利要求6所述的数据分析方法，其中
所述模型请求包括模型评价函数和测试数据集；
并且所述数据分析方法还包括：
将所述测试数据集发送给所述工作结点；
从所述工作结点接收模型测试结果，其中，所述模型测试结果是由所述工作结点对所述测试数据集运行机器学习模型得到的；
基于所述模型评价函数和所述模型测试结果评价所述机器学习模型。
11.一种计算机系统，包括：
一个或更多个处理器；以及
一个或更多个存储器，被配置为存储一系列计算机可执行指令，
其中所述一系列计算机可执行指令在由所述一个或更多个处理器运行时使得所述一个或更多个处理器执行根据权利要求1-10中的任意一个所述的数据分析方法。
12.一种非暂态的计算机可读介质，其上存储有计算机可执行指令，所述计算机可执行指令在由一个或更多个处理器运行时使得所述一个或更多个处理器执行根据权利要求1-10中的任意一个所述的数据分析方法。
13.一种用于去中心化的数据分析的系统，包括用于执行根据权利要求1-10中的任意一个所述的数据分析方法的步骤的部件。
CN201811610257.3A 2018-12-27 2018-12-27 去中心化的数据分析方法、系统以及介质 Pending CN109670583A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811610257.3A CN109670583A (zh) 2018-12-27 2018-12-27 去中心化的数据分析方法、系统以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811610257.3A CN109670583A (zh) 2018-12-27 2018-12-27 去中心化的数据分析方法、系统以及介质

Publications (1)

Publication Number Publication Date
CN109670583A true CN109670583A (zh) 2019-04-23

Family

ID=66146322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811610257.3A Pending CN109670583A (zh) 2018-12-27 2018-12-27 去中心化的数据分析方法、系统以及介质

Country Status (1)

Country Link
CN (1) CN109670583A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457808A (zh) * 2019-08-02 2019-11-15 泰康保险集团股份有限公司 机械手设计方法、装置、介质及电子设备
CN110490305A (zh) * 2019-08-22 2019-11-22 腾讯科技（深圳）有限公司 基于区块链网络的机器学习模型处理方法及节点
CN110554047A (zh) * 2019-09-06 2019-12-10 腾讯科技（深圳）有限公司 产品缺陷检测数据处理方法、装置、系统和设备
CN111753984A (zh) * 2020-06-28 2020-10-09 中国银行股份有限公司 基于区块链进行分布式ai训练方法、装置及系统
CN112084255A (zh) * 2019-06-12 2020-12-15 国际商业机器公司 机器学习应用的有效验证
CN112101576A (zh) * 2020-09-09 2020-12-18 上海松鼠课堂人工智能科技有限公司 分布式设备使用机器学习模型聚合系统
WO2021052394A1 (zh) * 2019-09-17 2021-03-25 华为技术有限公司 模型训练方法、装置及系统
CN113032647A (zh) * 2021-03-30 2021-06-25 北京云从科技有限公司 数据分析系统
WO2022127474A1 (en) * 2020-12-18 2022-06-23 International Business Machines Corporation Providing explainable machine learning model results using distributed ledgers

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107864198A (zh) * 2017-11-07 2018-03-30 济南浪潮高新科技投资发展有限公司 一种基于深度学习训练任务的区块链共识方法
CN108282459A (zh) * 2017-12-18 2018-07-13 中国银联股份有限公司 基于智能合约的数据传递方法及系统
CN108323200A (zh) * 2018-01-25 2018-07-24 深圳前海达闼云端智能科技有限公司 基于区块链的数据训练方法、装置、存储介质及区块链节点
CN108628745A (zh) * 2018-05-03 2018-10-09 深圳市牛鼎丰科技有限公司 应用程序的跟踪记录系统、方法、计算机设备和存储介质
CN108898219A (zh) * 2018-06-07 2018-11-27 广东工业大学 一种基于区块链的神经网络训练方法、装置及介质
CN109032671A (zh) * 2018-06-25 2018-12-18 电子科技大学 一种基于数据并行策略的分布式深度学习方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107864198A (zh) * 2017-11-07 2018-03-30 济南浪潮高新科技投资发展有限公司 一种基于深度学习训练任务的区块链共识方法
CN108282459A (zh) * 2017-12-18 2018-07-13 中国银联股份有限公司 基于智能合约的数据传递方法及系统
CN108323200A (zh) * 2018-01-25 2018-07-24 深圳前海达闼云端智能科技有限公司 基于区块链的数据训练方法、装置、存储介质及区块链节点
CN108628745A (zh) * 2018-05-03 2018-10-09 深圳市牛鼎丰科技有限公司 应用程序的跟踪记录系统、方法、计算机设备和存储介质
CN108898219A (zh) * 2018-06-07 2018-11-27 广东工业大学 一种基于区块链的神经网络训练方法、装置及介质
CN109032671A (zh) * 2018-06-25 2018-12-18 电子科技大学 一种基于数据并行策略的分布式深度学习方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084255A (zh) * 2019-06-12 2020-12-15 国际商业机器公司 机器学习应用的有效验证
CN110457808A (zh) * 2019-08-02 2019-11-15 泰康保险集团股份有限公司 机械手设计方法、装置、介质及电子设备
CN110490305A (zh) * 2019-08-22 2019-11-22 腾讯科技（深圳）有限公司 基于区块链网络的机器学习模型处理方法及节点
CN110554047A (zh) * 2019-09-06 2019-12-10 腾讯科技（深圳）有限公司 产品缺陷检测数据处理方法、装置、系统和设备
CN110554047B (zh) * 2019-09-06 2021-07-02 腾讯科技（深圳）有限公司 产品缺陷检测数据处理方法、装置、系统和设备
WO2021052394A1 (zh) * 2019-09-17 2021-03-25 华为技术有限公司 模型训练方法、装置及系统
CN111753984A (zh) * 2020-06-28 2020-10-09 中国银行股份有限公司 基于区块链进行分布式ai训练方法、装置及系统
CN112101576A (zh) * 2020-09-09 2020-12-18 上海松鼠课堂人工智能科技有限公司 分布式设备使用机器学习模型聚合系统
WO2022127474A1 (en) * 2020-12-18 2022-06-23 International Business Machines Corporation Providing explainable machine learning model results using distributed ledgers
GB2617945A (en) * 2020-12-18 2023-10-25 Ibm Providing explainable machine learning model results using distributed ledgers
CN113032647A (zh) * 2021-03-30 2021-06-25 北京云从科技有限公司 数据分析系统
CN113032647B (zh) * 2021-03-30 2024-04-12 北京云从科技有限公司 数据分析系统

Similar Documents

Publication Publication Date Title
CN109670583A (zh) 去中心化的数据分析方法、系统以及介质
CN108898218A (zh) 一种神经网络模型的训练方法、装置、及计算机设备
TW432304B (en) Integrated circuit design method, database apparatus for designing integrated circuit and integrated circuit design support apparatus
CN110366734A (zh) 优化神经网络架构
CN110782042A (zh) 横向联邦和纵向联邦联合方法、装置、设备及介质
JP2021505993A (ja) 深層学習アプリケーションのための堅牢な勾配重み圧縮方式
CN105446988B (zh) 预测类别的方法和装置
US10489542B2 (en) Machine learning based post route path delay estimator from synthesis netlist
CN112989085B (zh) 图像处理方法、装置、计算机设备及存储介质
CN109559214A (zh) 虚拟资源分配、模型建立、数据预测方法及装置
Christidis et al. Enabling serverless deployment of large-scale ai workloads
CN106462803A (zh) 增强具有外部存储器的神经网络
US20220405455A1 (en) Methods and systems for congestion prediction in logic synthesis using graph neural networks
CN106648556A (zh) 前后端集成开发测试的方法及装置
US12086711B2 (en) Data dividing method and processor for convolution operation
CN109783833A (zh) 集成电路及其设计的方法及其设计系统
Klemmer et al. Spate-gan: Improved generative modeling of dynamic spatio-temporal patterns with an autoregressive embedding loss
Hui et al. Large-scale urban cellular traffic generation via knowledge-enhanced gans with multi-periodic patterns
CN116151179A (zh) 芯片设计的布局规划方法及相关设备
CN107678741A (zh) 列表视图的实现方法、装置、可读存储介质及设备
Chen et al. Silhouette: Efficient cloud configuration exploration for large-scale analytics
Zhang et al. Deep model reduction-model learning for reservoir simulation
Pang et al. Early termination strategies with asynchronous parallel optimization in application to automatic calibration of groundwater PDE models
CN115953651A (zh) 一种基于跨域设备的模型训练方法、装置、设备及介质
CN116049887A (zh) 基于轨迹预测的隐私轨迹发布方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination