CN115051835A - 一种处理数据的方法、电子设备、存储介质及系统 - Google Patents

Abstract

本申请实施例提供一种处理数据的方法、电子设备、存储介质及系统，属于数据安全技术领域。本申请实施例提供的处理数据的方法，针对任一目标数据，先获取目标数据的属性信息，根据该目标数据的属性信息确定该目标数据的处理机制，然后使用目标数据的处理机制有针对性地对该目标数据进行处理，由于不同的属性信息对应的处理机制的安全性不同，因此本方法能够满足物联网中数据多样性的需求，实现对目标数据的精准定位和保护，从而保证数据的安全性和可靠性。

Description

一种处理数据的方法、电子设备、存储介质及系统

技术领域

本申请属于数据安全技术领域，尤其涉及一种处理数据的方法、电子设备、存储介质及系统。

背景技术

物联网是一种包括多种设备的数字化网络，物联网通过互联网将设备的数据上传到云端进行数据融合，进而对数据进行管理和分析。随着物联网的发展，数据规模化增长速度越来越快，数据交互流通的频率增加，一旦数据遭泄露、篡改、滥用等，将可能影响生产经营安全、国计民生甚至国家安全，因此，保障数据安全在物联网发展中是非常重要的部分。

目前大多数企业专注于网络安全、基础设施安全以及管理安全，对于数据安全，一般采用安全认证、数据加密等方式对数据做统一处理。但是物联网中流通的数据是多种多样的，安全认证、数据加密等方式不能满足安全防护的需求，如何保护数据安全是目前需要解决的问题。

发明内容

针对上述技术问题，本申请实施例提供一种处理数据的方法、电子设备、存储介质及系统，能够满足物联网中的多种应用场景对数据的要求，有效保护数据安全。

第一方面，本申请实施例提供了一种处理数据的方法，该方法包括：

获取目标数据的属性信息；

根据目标数据的属性信息，对目标数据进行处理，不同的属性信息对应的处理机制不同。

结合第一方面，在第一方面的某些实现方式中，根据目标数据的属性信息，对目标数据进行处理，包括：根据目标数据的属性信息与数据的安全等级之间的对应关系，确定目标数据的安全等级；根据目标数据的安全等级，从预设多种处理机制中，确定与目标数据的安全等级对应的处理机制；根据目标数据的处理机制，对目标数据进行处理。

结合第一方面和上述实现方式，在第一方面的某些实现方式中，目标数据的属性信息包括目标数据的类型与目标数据的应用场景中的至少一种。

结合第一方面和上述实现方式，在第一方面的某些实现方式中，该处理数据的方法应用于数据处理系统，数据处理系统包括多个计算节点，在对目标数据进行处理之前，该方法还包括：

确定目标数据的大小和地理位置；

根据目标数据的大小、地理位置以及多个计算节点的计算能力，从多个计算节点中确定目标计算节点，目标计算节点用于对目标数据进行处理。

本申请实施例中，目标计算节点是多个计算节点中距离目标数据最近的具备处理能力的计算节点，在目标计算节点对目标数据进行处理，可以减少网络传输和多级转发带来的宽度和时延损耗，提高数据安全性以及处理数据的效率。

结合第一方面和上述实现方式，在第一方面的某些实现方式中，根据目标数据的大小、地理位置以及多个计算节点的计算能力，从多个计算节点中确定目标计算节点，包括：

根据目标数据的类型、大小、地理位置以及多个计算节点的计算能力，从多个计算节点中确定目标计算节点，目标计算节点匹配的数据类型与目标数据的类型相同。

结合第一方面，在第一方面的某些实现方式中，根据目标数据的属性信息，对目标数据进行处理，包括：

将目标数据的大小、地理位置和目标数据的属性信息，输入到预先训练的网络模型，得到用于处理目标数据的处理机制以及目标计算节点；

在目标计算节点，使用目标数据的处理机制，对目标数据进行处理。

第二方面，本申请实施例提供了一种装置，该装置包括：

获取单元，用于获取目标数据的属性信息；

处理单元，用于根据目标数据的属性信息，对目标数据进行处理，不同的属性信息对应的处理机制不同。

第三方面，本申请实施例还提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如第一方面所述的处理数据的方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如第一方面所述的处理数据的方法。

第五方面，本申请实施例还提供了一种计算机程序产品，计算机程序产品包括计算机程序，当计算机程序产品在计算机上运行时，实现如第一方面所述的处理数据的方法。

第六方面，本申请实施例还提供了一种数据处理系统，该数据处理系统用于实现如第一方面所述的处理数据的方法。

本申请实施例提供的处理数据的方法，针对任一目标数据，先根据该目标数据的属性信息确定该目标数据的处理机制，然后使用目标数据的处理机制有针对性地对该目标数据进行处理，由于不同的属性信息对应的处理机制不同，因此本方法能够满足物联网中数据多样性的需求，实现对目标数据的精准定位和保护，从而保证数据的安全性和可靠性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种数据处理系统的结构示意图；

图2是本申请实施例提供的一种数据处理的方法的示意性流程图；

图3是本申请实施例提供的又一种数据处理的方法的示意性流程图；

图4是本申请实施例提供的一种装置400的结构示意图；

图5是本申请实施例提供的一种电子设备500的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上，“至少一个”、“一个或多个”是指一个、两个或两个以上。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

物联网是一种由相互连接的设备、机械、平台和系统组成的数字化网络，其中，包括各种各样的设备，从以消费者为中心的设备(例如保健用可穿戴设备)到以企业为中心的机械(例如自动化制造设备)等，设备或者机械连接了各种传感器，传感器使用互联网进行通信，从而物联网通过互联网进行数据生成和交换。

随着物联网的发展，数据规模化增长速度越来越快，数据交互流通的频率增加。物联网的数据可能包括含有企业商业机密的技术资料以及关乎国家经济发展的数据等，一旦数据遭泄露、篡改、滥用等，将可能影响生产经营安全、国计民生甚至国家安全，因此，保障数据安全在数据融合中非常重要的部分。

目前大多数企业专注于网络安全、基础设施安全、应用安全以及管理安全，对于数据安全，一般采用安全认证、数据加密等方式对数据做统一处理，以保证数据安全。但是物联网应用场景十分广泛，不同的应用场景对数据的要求多种多样，安全认证、数据加密等方式不能满足安全防护的需求，缺乏结合数据场景的安全策略，特别是基于数据融合场景的安全策略，面对多种多样的数据，如何在数据融合时保护数据安全是目前需要解决的问题。

为此，本申请实施例提出一种处理数据的方法，该方法获取目标数据的属性信息，通过属性信息对数据分类，不同的属性信息对应的处理机制不同，不同的处理机制对应的安全级别不同，根据目标数据的属性信息对目标数据进行处理，满足物联网中数据多样性的需求，满足物联网中多种应用场景的需求，能够根据数据的变化动态提供处理机制，实现对目标数据的精准定位和保护，从而保证数据的安全性和可靠性。以下详细说明。

图1是本申请实施例提供的一种数据处理系统，如图1所示，该数据处理系统包括端计算节点11、边缘云计算节点12、区域云计算节点13、中心云计算节点14以及决策模块15。端计算节点11、边缘云计算节点12、区域云计算节点13以及中心云计算节点14均具有处理数据的能力。端计算节点11为设备本地的计算节点，端计算节点11可以是手机、个人电脑、物联网设备等。

边缘云计算节点12指在靠近端计算节点11的网络侧构建的业务平台，处于整个云计算的边缘，提供存储、计算、网络等资源。物联网中会产生大量的数据，若数据都上传到中心云进行处理，会对中心云造成巨大的压力，而且有些数据不需要实时上传到中心云，此时可以将部分关键业务下沉到网络边缘，使用边缘云计算节点12对数据进行处理，以减少网络传输和多级转发带来的宽度和时延损耗。边缘云计算节点12包括边缘网关、边缘控制器、边缘服务器等多种类型的设备。

区域云计算节点13所在的区域包括多个端计算节点11和多个边缘云计算节点12。区域云计算节点13可以对本区域内的数据进行处理。中心云计算节点14对所有上传到中心云的数据进行处理。

其中，数据是指物联网模式下，在企业开展研发设计、生产制造、经营管理等业务时，围绕工业生产经营环节和过程所产生和采集的数据，该数据可以包括生产制造数据(如工况状态、工艺参数等)、研发设计数据、运营管理数据、外部协同数据、运行维护数据(设备运行数据、维护数据、测试数据)等。

决策模块15用于确定针对数据的处理机制，以及确定用于处理数据的目标计算节点。当需要对数据进行数据融合处理时，决策模块15根据目标数据的属性信息，确定针对目标数据的处理机制。一种实现方式中，部分目标数据通过传感器自动上传到决策模块15，部分目标数据从数据提供商处获取，另一种实现方式中，传感器将数据传输给数据提供商，然后数据提供商将数据提供给决策模块15。数据提供商根据业务需求确定目标数据的属性信息，将目标数据的属性信息提供给决策模块15。或者。物联网数据直接被传输到决策模块15，决策模块15确定目标数据的属性信息。

每个计算节点加入到数据处理系统时，向中心云上报自身的计算能力，决策模块15从中心云获取数据处理系统中每个计算节点的计算能力，结合数据大小、计算节点的计算能力、地理位置等多个因素，从多个计算节点中确定用于处理目标数据的目标计算节点。决策模块15可以部署在边缘云计算节点12、区域云计算节点13以及中心云计算节点14等位置，可根据实际情况进行确定。

总之，本申请实施例提供了一个端边云协同的数据处理系统，不同的处理机制对应的安全等级不同，通过不同的处理机制和不同的计算节点，在数据融合场景下对数据进行分层分级动态处理，实现端边云协同处理的同时保证数据安全。此外，使用边缘云计算节点，可以减少系统交互，实现低碳目标。边缘计算和业务流程逐渐融合，促使应用服务向网络边缘迁移，能够带来更多的实时应用场景，催生新业态发展。

图2为本申请实施例提供的一种处理数据的方法，如图2所示，该方法至少包括以下步骤：

S201：获取目标数据的属性信息。

S202：根据目标数据的属性信息，对目标数据进行处理，不同的属性信息对应的处理机制不同。

在业务中需要使用的数据即为目标数据。目标数据的属性信息可以根据数据本身进行确定，例如属性信息可以是目标数据的类型，根据不同的类型设置不同的处理机制。目标数据的类型可以是媒体类型，例如目标数据的类型分为图片、视频、文本、数字等。或者，目标数据的类型可以按照数据的内容划分，例如可以按照数据的敏感程度划分，例如，个人身份证明、密码等为第一类型的数据，消费信息、一般浏览信息等为第二类型的数据。

目标数据的属性信息也可以根据业务的需求确定，例如属性信息可以是目标数据的应用场景。例如，业务的需求来源于多方数据融合，或者数据共享、数据交换、数据流通，或者安全认证等，不同的应用场景使用不同的处理机制。

本申请实施例中，预先设置数据的属性信息与数据的安全等级之间的关联关系，每个属性信息对应一个安全等级，即不同属性信息的数据要求的保密级别不同，同时预先设置多种处理机制，划分处理机制的安全等级，使处理机制的安全等级与数据的安全等级匹配，即高保密要求的数据使用高安全等级的处理机制，低保密要求的数据使用低安全等级的处理机制，从而有针对性的为数据提供安全保护，提高效率，降本增效。

在处理业务时，获取目标数据的属性信息后，根据目标数据的属性信息与数据的安全等级之间的对应关系，确定目标数据的安全等级，根据目标数据的安全等级，从预设多种处理机制中，确定与目标数据的安全等级对应的处理机制；根据目标数据的处理机制，对目标数据进行处理。例如，目标数据的属性信息为根据数据内容划分的第一类型，表明目标数据为敏感程度高的数据，则使用安全等级高的处理机制对目标数据进行处理。例如，目标数据的属性信息为根据数据内容划分的第二类型，表明目标数据为敏感程度低的数据，则使用安全等级低的处理机制对目标数据进行处理。

例如，属性信息根据业务的需求确定时，将目标数据的安全等级分为高保密、中保密以及低保密三个级别。高保密级别主要面向数据安全相对要求很高的数据使用场景，从业务上看安全计算的需求来源于多方数据融合的情况下，目标数据的安全等级为高保密级别；中保密级别主要面向数据安全相对要求中等的数据使用场景，从业务上看安全计算的需求来源于数据共享、数据交换、数据流通的情况下，目标数据的安全等级为中保密级别；低保密级别主要面向数据安全相对要求较低的数据使用场景，从业务上看安全计算的需求用于实现数据基础安全保障的情况下，如数据流转、受理申请、安全认证等，目标数据的安全等级为低保密级别。

在一种实现方式中，每个保密级别对应设置一种处理机制，在确定目标数据的安全等级后，确定对应安全等级的处理机制。

例如，高保密级别可以使用联邦学习、多方安全计算、数据沙箱、区块链等处理机制，中保密级别可以使用数据加密、数据脱敏等处理机制。

在一种实现方式中，每个保密级别对应设置一组处理机制，在确定目标数据的安全等级后，确定一组对应的处理机制，再结合更细致的数据融合条件，例如，是否需要构建模型、目标数据是否出域、目标数据是否为敏感数据等，确定对应的处理机制。

例如，某个业务需要使用多方数据进行数据融合，为防止多个来源的数据泄露造成重大损失，使用高保密级别对应的处理机制对数据进行处理。

进一步的，在业务需要使用多方数据进行模型构建的情况下，即联合建模，涉及训练数据是否出域的问题，此时，可以采用联邦学习的方式对数据进行处理，联邦学习支持数据不出域，满足既有明文的计算，也有加密的中间数据的聚合计算和传输，满足高安全级别的业务需求。

在业务需要多方进行数据的交换和使用的情况下，要求数据在数据使用过程中不在网络上流动，也不存放在某个使用方，在有第三方建立数据沙箱的情况下，可以采用数据沙箱的方式对数据进行处理，将数据放到数据沙箱里面，确保数据的安全性。数据沙箱采用检测-响应式的安全策略，其运行流程是：让疑似病毒的可疑行为在虚拟的“沙盒”里充分表演，“沙盒”记录可疑行为的每一个动作，当疑似病毒充分暴露了其病毒属性后，“沙盒”执行“回滚”机制，将病毒的痕迹和动作抹去，恢复系统到正常状态。

在业务需要多方数据进行联合计算的情况下，要求全部样本在密文下训练模型，计算全过程隐私数据包括全局、局部、中间数据均没有暴露，计算过程中也不需要在参与方之间传递梯度和模型，此时，可以采用多方安全计算的方式对数据进行处理。

在业务涉及到可信硬件运行环境，要求以可信硬件为载体，提供硬件级强安全隔离和通用计算环境，可以采用可信计算模式对数据进行处理。可信计算是从逻辑正确验证、计算体系结构和计算模式等方面的技术创新，以解决逻辑缺陷不被攻击者所利用的问题，形成攻防矛盾的统一体，确保完成计算任务的逻辑组合不被篡改和破坏。可信计算的思想是在计算机系统中先建立一个信任根：从信任根开始，到硬件平台、操作系统、应用，一级度量一级，一级信任一级，把这种信任扩展到整个计算机系统，并采取防护措施，确保计算资源的数据完整性和行为的预期性，从而提高计算机系统的可信性。

例如，某个业务需要使用中保密级别对应的处理机制对数据进行处理。进一步的，如果该业务涉及到敏感数据，且在业务处理过程中需要使用敏感数据，则可以采用数据加密的方式，以满足安全要求。如果该业务涉及到敏感数据，在业务处理过程中不需要使用敏感数据，则可以采用数据脱敏的方式，以满足安全要求。

综上所述，本申请实施例根据不同保密级别和不同应用场景下的业务需求，给出了一套基于规则确定处理机制的方法，可以规范数据融合的处理流程，确保不同保密级别和不同应用场景下的数据安全。

在确定处理机制之后，决策模块15还需要确定用于处理数据的计算节点。在确定业务中需要使用的目标数据后，决策模块15确定目标数据的大小，目标数据是否来源于多个数据拥有者，以及每个数据拥有者的地理位置，也就是说目标数据可能包括多个地理位置的数据，然后结合每个计算节点的计算能力，确定本次的目标计算节点。

例如，在高保密级别涉及联合建模，采用联邦学习的方式进行数据融合的情况下，判断多方数据中各方数据拥有者所在的区域，如果联邦学习中的某一方用户数据在用户本地，则数据融合处理涉及混合云模式；基于混合云的特点，根据目标数据的地理位置，判断多方数据是否跨区域，在多方数据跨区域的情况下，即分散在多个区域，则目标计算节点为中心云计算节点14，数据融合模式为联邦学习-中心云。

在多方数据不跨区域的情况下，即在一个区域云范围内，则进一步判断多方数据是否在一个端计算设备管辖范围内，若是，则再判断端计算节点11的计算能力以及网络资源是否满足要求，如果端计算节点11的计算能力满足计算要求，则目标计算节点为端计算节点11，数据融合模式为联邦学习-端节点。如果多方数据不是在一个端计算设备管辖范围或者端计算节点11的计算能力不足，则判断是否存在边缘云计算节点12，以及边缘云计算节点12的计算能力是否计算要求。如果存在边缘云计算节点12，并且其计算能力满足计算要求，则目标计算节点为边缘云计算节点12，数据融合模式为联邦学习-边缘云；如果其计算能力不满足计算要求，则目标计算节点为区域云计算节点13，数据融合模式为联邦学习-区域云。

其中，边缘云计算节点的计算能力还包括边缘云计算节点的设备类型，例如，有些数据是图片，边缘设备需要能够针对图片做处理，而有的边缘设备只能对纯文本进行处理，此时就需要对边缘云计算节点的设备类型进行筛选。

其中，云分为公有云、私有云以及混合云的模式，混合云模式为私有云和公有云二者结合处理，当用户部分数据在本地时，就属于混合云的模式。通过网络带宽、数据大小、地理位置、各级计算能力等多个因素考虑在哪个计算节点进行数据融合，选出离设备较近的节点作为目标计算节点，能够减少数据传输的路径，节省成本。

例如，在高保密级别涉及数据共享，采用数据沙箱的方式进行数据融合的情况下，根据多方数据的地理位置，查找最近的数据沙箱，即查找有哪些位置有数据沙箱，然后计算出各个沙箱的传输路径和，传输路径和短的为最佳选择。

然后根据数据沙箱的位置，确定目标计算节点，若数据沙箱在端计算节点11，则目标计算节点为端计算节点11，数据融合模式为数据沙箱-端节点；若数据沙箱在边缘端，则目标计算节点为边缘云计算节点12，数据融合模式为数据沙箱-边缘云；若数据沙箱在区域云，则目标计算节点为区域云计算节点13，数据融合模式为数据沙箱-区域云；若数据沙箱在中心云，则目标计算节点为中心云计算节点14，数据融合模式为数据沙箱-中心云。

例如，在高保密级别涉及联合计算，采用多方安全计算的方式进行数据融合的情况下，根据多方安全计算协议，判断使用的保密协议方式(混淆电路、秘密共享、不经意传输和同态加密等)是哪一种，根据使用的保密协议方式，判断多方用户所在数据位置对应的各级计算节点的资源环境是否满足计算要求。若端计算节点11满足计算要求，则目标计算节点为端计算节点11，数据融合模式为多方安全计算-端节点；若端计算节点11不满足计算要求，边缘云计算节点12满足计算要求，则目标计算节点为边缘云计算节点12，数据融合模式为多方安全计算-边缘云；若边缘云计算节点12不满足计算要求，区域云计算节点13满足计算要求，则目标计算节点为区域云计算节点13，数据融合模式为多方安全计算-区域云；若区域云计算节点13不满足计算要求，则目标计算节点为中心云计算节点14，数据融合模式为多方安全计算-中心云；或者根据中心云计算节点14的配置，跨区域实现数据融合，数据融合模式为多方安全计算-跨区域云。

例如，在高保密级别涉及可信计算，采用可信计算的方式进行数据融合的情况下，根据目标数据位置，查找最近的可信计算环境；根据可信计算环境的位置，确定数据融合模式为可信计算-端节点，或者可信计算-边缘云，或者可信计算-区域云，或者可信计算-中心云。

例如，在中保密级别涉及敏感数据，采用数据加密的方式进行数据融合的情况下，根据数据加密的方式以及各计算节点的计算能力、网络环境等，确定数据融合模式为数据加密-端节点，或者数据加密-边缘云，或者数据加密-区域云，或者数据加密-中心云。

例如，在中保密级别涉及敏感数据，采用数据脱敏的方式进行数据融合的情况下，根据数据脱敏的方式以及各计算节点的计算能力、网络环境等，确定数据融合模式为数据脱敏-端节点，或者数据脱敏-边缘云，或者数据脱敏-区域云，或者数据脱敏-中心云。

综上所述，本申请实施例，结合端边云协同的实际情况，结合数据安全的要求，提出了处理机制与计算节点结合的数据融合模式的确定方法，规范数据融合的处理流程，分级分层对数据进行处理，确保不同保密级别和不同应用场景下的数据安全，更好的利用有限的算力资源，提高数据融合方法的能效，为双碳作贡献。

除了上述基于规则的确定方法之外，如图3所示，本申请实施例还提出一种基于模型的确定方法，以下进行说明。

本申请实施例中，预先选择训练样本，对训练样本进行预处理，基于训练样本，训练一个分类模型。预处理包括处理缺失值，如特征值和离散值，如引入新的指示变量以表示特征值，对于连续值用平均数以及中位数等插补缺失值。对于离散值使用众数填充，或者把缺失值当作一个单独的类别。对于文本数据，在文本数据不是特别充足的时候，打乱数据顺序，可以泛化模型，提高模型的质量和预测能力；还有做停用词删除/词干提取、小写字母化、标点符号删除、去除非常高/低百分位数、以及作TF-IDF标准化等处理。预处理还包括对数据进行特征处理，通过数值分箱法、组合新特征、特征变换等方式，将原始数据转换为更具有代表性的形式。通过对数据进行预处理，对数据数值上的各种异常情况的处理，让数据适应模型，匹配模型的需求。

在某个业务需要确定数据融合的模式时，确定数据类型xt、数据大小xm、数据的地理位置xl、数据的保密等级xs、边缘设备的类型xk、各计算节点的计算能力xc、数据融合场景xa(即业务要求)，将这些内容输入到预先训练的分类模型中，分类模型输出数据融合的模式，包括处理机制以及处理层级(即目标计算节点)。

分类模型可以表示为：Y＝(W₁*xt+W₂*xm+W₃*xl+W₄*xs+W₅*xk+W₆*xc+W₇*xa)b，其中，W₁是xt的权重，W₂是xm的权重，W₃是xl的权重，W₄是xs的权重，W₅是xk的权重，W₆是xc的权重，W₇是xa的权重，b是偏置量。

输出的处理机制包括：A、高保密-联邦学习法；B、高保密-多方计算法；C、高保密-可信计算法；D、高保密-沙箱法；E、中保密-数据加密法；F、中保密-数据脱敏法。

输出的处理层级方式包括：A、端节点；B、边缘云计算节点；C、区域云计算节点；D、中心云计算节点；E、混合云计算模型。

本申请实施例提供的分类模型，可以根据环境、场景、数据等多方面的因素，结合安全的需求，动态分析端边云协同进行数据融合时的实施路径以及执行的安全保障措施。

联邦学习涉及到参数交互的过程，一方面，参数交互耗费网络资源，另一方面，过多的交互会引起更多的安全风险。为了减少参数交互和安全风险，本申请实施例提供一种联邦学习-端节点融合模式，以下对该融合模式的处理过程进行说明。端计算节点11在实现联邦学习时，执行以下步骤：任务初始化、局部模型训练和更新、以及全局模型聚合和更新。其中，在局部模型训练和更新之后，将模型参数上传到全局模型管理器，进行参数的全局更新，全局更新后再将更新后的参数发给局部模型。这其中

1)任务初始化：端计算主节点决定训练任务以及相应的数据需求，并指定全局模型和训练过程的超参数，例如学习率。然后，服务器将初始化的全局模型的超参数和任务广播给选定的联邦学习的参与节点。为了减少交互，以及考虑到训练后的模型在应用时模型压缩的问题，端计算主节点判断该训练模型后续是否应用在端计算推理，若是，则服务器在向联邦学习的参与节点广播超参数和任务的同时，还广播指示参数M_c。

2)局部模型训练与更新：基于全局模型W_tg，其中t表示当前迭代索引，每个参与节点W_ti分别使用其本地数据和设备更新本地模型参数，迭代t中参与节点i的目标为找到使损失函数最小的最佳参数W_ti。更新本地模型参数后，参与节点在本地判断指示参数M_c是否为true，如果是，则参与节点判断本轮迭代的参数变化率，当参数变化率大于预设阈值时，将更新后的参数传递给端计算主节点进行参数更新。并且在传递参数时，参与节点根据模型参数进行权重排序，将预设范围内(例如前30％-60％)的参数发送给端计算主节点。

3)全局模型聚合和更新：端计算主节点聚合多个参与节点上传的局部模型，然后将更新后的全局模型参数迭代W_gt+1发送给数据所有者。

重复步骤2)和步骤3)，直到全局损失函数收敛或达到理想的训练精度。

以上对本申请实施例提供的处理数据的方法进行了说明，以下，对本申请实施例提供的装置与电子设备进行说明。

图4为本申请实施例提供的一种处理数据的装置400，该装置400包括获取单元401，处理单元402。

其中，获取单元401，用于获取目标数据的属性信息。

处理单元402，用于根据目标数据的属性信息，对目标数据进行处理，不同的属性信息对应的处理机制不同。

在某些实现方式中，处理单元402，还用于根据目标数据的属性信息与数据的安全等级之间的对应关系，确定目标数据的安全等级；根据目标数据的安全等级，从预设多种处理机制中，确定与目标数据的安全等级对应的处理机制；根据目标数据的处理机制，对目标数据进行处理。

在某些实现方式中，处理单元402，还用于确定目标数据的大小和地理位置；根据目标数据的大小、地理位置以及多个计算节点的计算能力，从多个计算节点中确定目标计算节点，目标计算节点用于对目标数据进行处理。

在某些实现方式中，处理单元402，还用于根据目标数据的类型、大小、地理位置以及多个计算节点的计算能力，从多个计算节点中确定目标计算节点。

在某些实现方式中，处理单元402，还用于将目标数据的大小、地理位置和目标数据的属性信息，输入到预先训练的网络模型，得到用于处理目标数据的处理机制以及目标计算节点；在目标计算节点，使用目标数据的处理机制，对目标数据进行处理。

应理解的是，本申请实施例的装置400可以通过专用集成电路(application-specific integrated circuit，ASIC)实现，或可编程逻辑器件(programmable logicdevice，PLD)实现，上述PLD可以是复杂程序逻辑器件(complex programmable logicaldevice，CPLD)，现场可编程门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。也可以通过软件实现图2所示的方法，通过软件实现图2所示的方法时，装置400及其各个模块也可以为软件模块。

图5为本申请实施例提供的一种电子设备500的结构示意图。如图5所示，该设备500包括处理器501、存储器502、通信接口503和总线504。其中，处理器501、存储器502、通信接口503通过总线504进行通信，也可以通过无线传输等其他手段实现通信。该存储器502用于存储指令，该处理器501用于执行该存储器502存储的指令。该存储器502存储程序代码5021，且处理器501可以调用存储器502中存储的程序代码5021执行图2所示的处理数据的方法。

应理解，在本申请实施例中，处理器501可以是CPU，处理器501还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。

该存储器502可以包括只读存储器和随机存取存储器，并向处理器501提供指令和数据。存储器502还可以包括非易失性随机存取存储器。该存储器502可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double datadate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

该总线504除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图5中将各种总线都标为总线504。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘(solid state drive，SSD)。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种处理数据的方法，其特征在于，所述方法包括：

获取目标数据的属性信息；

根据所述目标数据的属性信息，对所述目标数据进行处理，不同的属性信息对应的处理机制不同。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据的属性信息，对所述目标数据进行处理，包括：

根据所述目标数据的属性信息与数据的安全等级之间的对应关系，确定所述目标数据的安全等级；

根据所述目标数据的安全等级，从预设多种处理机制中，确定与所述目标数据的安全等级对应的处理机制；

根据所述目标数据的处理机制，对所述目标数据进行处理。

3.根据权利要求2所述的方法，其特征在于，所述目标数据的属性信息包括所述目标数据的类型与所述目标数据的应用场景中的至少一种。

4.根据权利要求1至3任一项所述的方法，其特征在于，应用于数据处理系统，所述数据处理系统包括多个计算节点，在对所述目标数据进行处理之前，所述方法还包括：

确定所述目标数据的大小和地理位置；

根据所述目标数据的大小、地理位置以及所述多个计算节点的计算能力，从所述多个计算节点中确定目标计算节点，所述目标计算节点用于对所述目标数据进行处理。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标数据的大小、地理位置以及所述多个计算节点的计算能力，从所述多个计算节点中确定目标计算节点，包括：

根据所述目标数据的类型、大小、地理位置以及所述多个计算节点的计算能力，从所述多个计算节点中确定目标计算节点，所述目标计算节点匹配的数据类型与所述目标数据的类型相同。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据的属性信息，对所述目标数据进行处理，包括：

将所述目标数据的大小、地理位置和所述目标数据的属性信息，输入到预先训练的网络模型，得到用于处理所述目标数据的处理机制以及目标计算节点；

在所述目标计算节点，使用所述目标数据的处理机制，对所述目标数据进行处理。

7.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至6中任一项所述的方法。

9.一种数据处理系统，其特征在于，所述数据处理系统用于实现权利要求1至6任一项所述的方法。

Images