CN111404905B - 一种跨域数据安全计算及模型协同的方法 - Google Patents

Abstract

本发明提出了一种跨域数据安全计算及模型协同的方法，包括：设置跨域模型协同规则；任务管理中心通过跨域碰撞服务端接收来自用户端的任务指令，并对任务指令进行任务调度与任务分发；发起者客户端接收到任务调度中心的任务后，将任务执行指令传输给本地模型平台，驱动本地模型运算，生成发起者模型运算结果，并输送至流式碰撞管道；共享模型者客户端的本地建模平台接收到模型执行指令后，生成共享者模型运算结果，并输送流式碰撞管道；流式碰撞管道进行数据解密、解压缩后，根据碰撞规则进行模型碰撞，计算出最终的流式碰撞结果，并返回至发起者客户端。本发明打破数据的壁垒，使数据以知识共享的形式进行协作，使数据的用途更广。

Description

一种跨域数据安全计算及模型协同的方法

技术领域

本发明涉及数据安全管理技术领域，特别涉及一种跨域数据安全计算及模型协同的方法。

背景技术

随着技术的进步及信息化系统的完善，数据的生产效率呈现了几何级的增长，包括各要素的基本信息、行为规律信息等；大数据技术的兴起为海量数据的分析以及数据之间的关联挖掘分析提供了技术支撑，社会进入了一个数据为王的时代，大数据成为了社会生产力不可或缺的部分；同时，大数据在各领域的严重壁垒成为了一种发展的阻碍，这种现象在企业与企业、政府各部门之间表现的特别明显。

如何消除这种数据之间的壁垒成为了关键；本质上数据形成知识才能为社会使用，相对来说知识不会是人与人之间，组织与组织之间的壁垒，所以，知识共享是促进各领域协同发展的源动力，知识共享站在技术性实用性理解可以叫做模型协同，模型协同在各领域的具体应用：

公安领域在模型协同方面的需求较为明显。公安领域是国家的执法办案机构，地域性政策及管理较为明显，一旦跨地域、跨部门办事效率立马较为缓慢，甚至阻碍了办事及办案的进程；如果在日常办公及办案过程中使用模型协同的方式，日常办公效率将大大提高，流串作案破案率将大大提高，地方维稳工作将变得容易。

公安与其他社会企业同样可以跨行业进行模型协同。目前，各个行业、各个领域都呈现深井式的发展现象，导致各个行业坐井观天的现象，但是，犯罪分子的作案手段是没有局限性的，反而会为犯罪人员提供了机会，造成社会的不稳定因素；如果，使用模型协同就会形成公安领域与社会企业、互联网企业等的智力共享，国家安全边界会更广；同时，公安也能更好的服务社会其他企业，为企业健康发展提供优良环境，形成良性闭环。

下面对共享智力进行介绍：

未来，共享智力将会渗透到各个领域，智慧警务也不会例外。

(一)特点

(1)联通性，网络链路的联通性是智力共享的基础；

(2)开放性，信息资源的开放性是智力共享的前提；

(3)合作性，参与方的合作性是智力共享的意识条件；

(4)创新性，应用服务的创新性是智力共享的驱动；

(二)作用

(1)智力成果效能最大化；比如、全球设计师线上平台洛客平台，促使

设计产品受到普遍认可。

(2)推动行业整体水平提升；据相关研究数据，2012年在线短租市场

起步时市场规模仅有1.4亿，2015年超100亿元。

(3)激发创造性与创新能力；互联网行业是共享智力的摇篮，同时也是

新技术、新思维的主要领域。

(三)共享智力在智慧警务前景

共享智力在公安信息化应用方面，通过构建警用知识库、专家库以及实战模型共享库，完成全警知识和智慧的固化和分享，促使各地技战法的提升与融合，实现跨区域的警务协同作战，催生警务大脑，走向智慧警务的最终目标。

但是上述方式还存在以下缺陷与不足：

市面上此类数据共享的方式有很多，应用在公安、政府机关及企业之间暴露出来不少的缺陷及不足：

(1)资源种类共享有限

数字化时代，数据对单位及个人的重要性是比较高的，想要从对方那里获得足够多的数据出来，是非常难的，往往能够共享出来的数据表及数据内容不足以支撑我们所做的业务。

(2)数据交换效率低

共享出来的数据，需要双方进行大量的对接工作，双方的内部机制是对对方保密的，所以往往出现问题对接起来繁琐复杂；一切顺利的话，数据量足够大，传统的接口对接也很难支撑大数据量的传输。

(3)数据安全性差

大数据时代，数据的安全变的愈发重要，往往双方交换到的数据都要存储在自己的库中，这样基础数据出去以后，就变的不那么受控，安全级别相对降低。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种跨域数据安全计算及模型协同的方法。

为了实现上述目的，本发明的实施例提供一种跨域数据安全计算及模型协同的方法，包括：

步骤S1，设置跨域模型协同规则，所述跨域模型协同规则用于设置两个模型的交互运算方式；

步骤S2，任务管理中心通过跨域碰撞服务端接收来自用户端的任务指令，并对任务指令进行任务调度与任务分发，其中，跨域碰撞服务端通过任务调度中心的通讯协议与发起者客户端和共享模型者客户端进行通信协同；

步骤S3，所述发起者客户端接收到任务调度中心的任务后，将任务执行指令传输给本地模型平台，驱动本地模型运算，生成发起者模型运算结果，并输送至流式碰撞管道；所述共享模型者客户端的本地建模平台接收到模型执行指令后，利用本地大数据集群算力运算共享模型，并按照预设逻辑算法结合本地大数据算力，对数据进行协作运算，生成共享者模型运算结果，并输送至流式碰撞管道；

步骤S4，所述流式碰撞管道根据所述跨域模型协同规则将接收到的发起者模型运算结果和共享者模型运算结果进行数据解密、解压缩后，根据碰撞规则进行模型碰撞，使用流式碰撞的方式生成碰撞结果，并返回至发起者客户端。

进一步，在所述步骤S2中，用户端通过rest接口向跨域碰撞服务端发送任务指令，所述跨域碰撞服务端接收用户端的跨域碰撞任务，并将任务放入所述调度中心。

进一步，所述跨域碰撞服务端在接收到用户端的任务指令后，同时向用户端返回一个任务状态编码，以使得所述用户端获知任务的当前执行状态。

进一步，在所述步骤S2中，所述跨域碰撞服务端与发起者客户端和共享模型者客户端采用的通讯协议的通信编码，包括：心跳机制、认证编码、进度执行编码、发起者信息、任务信息。

进一步，在所述步骤S3中，所述发起者客户端进行本地模型计算，确认模型协同计算接口规范，将生成的发起者模型运算结果以数据流形式进行加密后传输至流式碰撞管道。

进一步，在所述步骤S3中，所述共享者客户端对任务及执行指令进行共享模型本地化计算，确认模型协同计算接口规范，将生成的共享者模型运算结果进行以数据流形式进行加密后传输至流式碰撞管道。

进一步，采用snappy压缩算法对数据流程进行压缩，采用国密4加密算法动态加密传输，然后将加密后的数据流传输至流式碰撞管道。

进一步，在所述步骤S4中，所述碰撞规则为：流式碰撞管道根据taskid索引到双发模型输出结果；根据碰撞条件conditon，取结果相等的内容即交集为符合条件的内容，作为最终结果输出。

本发明实现了流式管道计算服务及支撑集群的本地化搭建，保障了数据的安全性，使模型共享参与者不必担心数据的安全性；实现了本地模型黑盒运算及跨域模型碰撞的方法及规范。本发明通过不同区域的模型协同，做到智力共享从而产生新的智力及新的知识结果；模型与模型碰撞在流式管道中计算，参与计算的模型运算结果不落地，保障了数据的安全性。打破了数据的壁垒，使数据以知识共享的形式进行协作，使数据的用途更广，作用更大。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的跨域数据安全计算及模型协同的方法的流程图；

图2为根据本发明实施例的跨域数据安全计算及模型协同的方法的示意图；

图3a至图3c分别为根据本发明实施例的模型A、模型B和两个模型的碰撞效果示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1和图2所示，本发明实施例的跨域数据安全计算及模型协同的方法，包括如下步骤：

步骤S1，设置跨域模型协同规则，跨域模型协同规则用于设置两个模型的交互运算方式。

具体的，模型协同的目的是以结果为导向，是双方业务单位知识的一种碰撞，所以模型运算结果数据信息具有关键性、信息项少的特点；完成的动作为两个模型输出的交集(关键字段相等的形式)。图3a为模型A的信息；图3b为模型B的信息；图3c为模型A和B的碰撞结果示意图。

步骤S2，任务管理中心通过跨域碰撞服务端接收来自用户端的任务指令，并对任务指令进行任务调度与任务分发，其中，跨域碰撞服务端通过任务调度中心的通讯协议与发起者客户端和共享模型者客户端进行通信协同。

本步骤所需条件或设备如下：

1、用户发起请求发送任务与状态到任务管理中心条件和设备：

系统处于运行状态；

用户在界面选择跨域碰撞模型及模型碰撞条件，把执行跨域碰撞模型的跨域碰撞服务端处于运行状态；

一台应用服务器；

一台跨域碰撞服务端服务器。

2、任务管理中心进行任务调度与分发条件和设备：

跨域碰撞服务处于正常运行状态；

模型协同客户端处于正常运行状态；

模型协同客户端服务器。

具体的，用户端通过rest接口向跨域碰撞服务端发送任务指令，跨域碰撞服务端接收用户端的跨域碰撞任务，并将任务放入调度中心。

此外，跨域碰撞服务端在接收到用户端的任务指令后，同时向用户端返回一个任务状态编码，以使得用户端获知任务的当前执行状态。

任务的状态编码及状态值，如表1所示：

表1

在本发明的实施例中，跨域碰撞服务端与发起者客户端和共享模型者客户端采用的通讯协议的通信编码，包括：心跳机制、认证编码、进度执行编码、发起者信息、任务信息。通过心跳机制确认对方处于正常及异常状态；通过认证编码确认合法身份；通过进度执行编码确认任务执行到哪一步；通过发起者信息确认任务从何而来们如何返回信息；任务信息确认任务执行状态。

跨域碰撞服务端通过任务调度中心的自定义通讯协议与其他客户端程序进行通信协同，通讯协议具体编码，如表2所示。

表2

步骤S3，发起者客户端接收到任务调度中心的任务后，将任务执行指定传输给本地模型平台，驱动本地模型运算，生成发起者模型运算结果，并输送至流式碰撞管道。本发明中的发起者客户端及共享模型者客户端。在本发明中，每个客户端都有自己的私有碰撞集群，而且是流式计算，数据不落地。流式碰撞管道可以理解为所有平台用户之间的网络及所有单位的碰撞集群。

参考图2，模型协同规则与任务调度中心属于平台方，双方模型流式碰撞管道是一种控制命令，发起者与共享者本地都有专门的碰撞集群，发起者模型碰撞结果会以数据流的形式通过网络输送到共享者碰撞集群中，发起者模型结果与共享者模型结果在共享者碰撞集群中，根据碰撞规则以流式碰撞的方式得出结果，返回给发起者，进而可在平台查看碰撞结果，之所以以流式发送到共享者集群碰撞，是为了保障共享者模型结果不搬家，而且不落地，保证共享者的数据安全。

本步骤所需条件或设备如下：

1、客户端任务接收任务及任务执行条件及设备：

模型协同客户端处于正常运行状态；

本地模型运算服务处于正常运行状态；

2、任务驱动模型利用本地大数据集群算力计算生成结果条件：

本地模型运算服务处于正常运行状态

3、结果集被推送到流式碰撞管道条件：

管道碰撞集群及服务处于运行正常状态。

发起者客户端接收到任务调度中心的任务后，将任务执行指定传输给本地模型平台，驱动本地模型运算。(通讯标准遵循本发明通讯协议编码规则)。

具体的，发起者客户端进行本地模型计算，确认模型协同计算接口规范，将生成的发起者模型运算结果进行以数据流形式进行加密后传输至流式碰撞管道。

共享模型者客户端的本地建模平台接收到模型执行指令后，利用本地大数据集群算力运算共享模型，按照预设逻辑算法与本地大数据算力进行协作运算，生成共享者模型运算结果，并输送至流式碰撞管道。

具体的，共享者客户端对任务及执行指令进行共享模型本地化计算，确认模型协同计算接口规范，将生成的共享者模型运算结果进行以数据流形式进行加密后传输至碰撞管道。

1、共享模型本地化计算

本地建模平台接收到模型执行指令后，利用本地大数据集群算力运算本地模型；模型运算状态有4种，模型通过restful接口的形式，按照定义好的逻辑结合本地大数据算力，对数据进行协作运算；最终运算结果以流的形式被输送到碰撞管道。模型执行状态，见表3。

Rest接口规则

下面对确认模型协同计算接口规范进行说明：

本发明编写了一种符合国际标准的模型碰撞接口，用于模型碰撞条件约定。在本发明中提供了一个标准的json格式的模型碰撞接口，以应对输入和输出的数据。

JSON(JavaScript Object Notation,JS对象标记)是一种轻量级的数据交换格式。它基于ECMAScript(w3c制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。具体见http://www.json.org/。

在本发明中模型碰撞的标准数据接口如下：

发起者模型输出格式：

共享者模型输出格式：

这里表示了两个模型数据集合，中间用“，”分隔开，每个模型数据集合都在{}中，每个模型数据集合的格式都是标准的固定的。

taskID:表示模型碰撞的任务ID，值是系统约定规则自动生成，字符串格式

condition:表示模型碰撞的关键属性项，值是发起者模型输出数据集合的关键属性项，字符串格式

srcCityId:表示发起者地域ID，值是地域名称_精确地域名称，字符串格式

srcCityName:表示发起者单位名称，值是发起单位英文名称，字符串格式

srcResultName:表示发起者模型结果名称，值是src_Result_name_序列号，字符串形式

srcResultData:表示发起者模型结果信息，值是发起者模型输出结果集合，json格式

srcCondition:表示模型碰撞的关键属性项，值是发起者模型输出数据集合的关键属性项，字符串格式

dstCityId:表示共享者地域ID，值是地域名称_精确地域名称，字符串格式

dstCityName:表示共享者单位名称，值是共享单位英文名称，字符串格式

dstResultName:表示共享者模型结果名称，值是dst_Result_name_序列号，字符串形式

dstResultData:表示共享者模型结果信息，值是模型输出结果集合，json格式举例：

发起者模型数据格式：

共享者模型数据格式：

解释：json数据串实际上定义了以下信息：任务锁定、发起者关键信息、共享者关键信息，以此接口规范作为双方模型输出结果承载器。本系统和其他软件系统进行数据交换都使用这里建议的json数据接口。

在本步骤中，发起者客户端和共享模型者客户端在传输数据时，均采用snappy压缩算法对数据流程进行压缩，采用国密4加密算法动态加密传输，然后将加密后的数据流传输至流式碰撞管道。

具体的，对于发起者模型和共享者模型的双方模型运算结果，以parquet字节流的形式输入到流式管道中；为了传输效率采用snappy压缩算法；为了运算结果的安全性，本发明采用国密4加密算法动态加密传输。

步骤S4，流式碰撞管道根据跨域模型协同规则将接收到的发起者模型运算结果和共享者模型运算结果进行数据解密、解压缩后，根据碰撞规则进行模型碰撞，使用流式碰撞的方式生成碰撞结果，并返回至发起者客户端。

本步骤所需条件或设备如下：

1、双方模型计算结果在流式碰撞管道中根据计算条件生成最终结果集的条件及设备：

管道碰撞集群及服务处于运行正常状态；

最少三台服务器搭建碰撞集群。

2、流式碰撞结果集最终执行状态返回给发起者的条件及设备：

请求方本地计算集群处于正常运行状态；

请求方本地客户端处于正常运行状态。

具体的，发起者与共享者模型计算输出结果被推送到流式管道碰撞中，本发明的流式碰撞管道服务将数据解密、解压缩后，根据碰撞规则进行模型碰撞，计算出最后结果。

在本发明的实施例中，碰撞规则为：流式碰撞管道根据taskid索引到双发模型输出结果；根据碰撞条件conditon，取结果相等的内容即交集为符合条件的内容，作为最终结果输出。

流式碰撞管道将流式碰撞结果返回发起者。同样这里最终计算出的模型碰撞结果，会以上面定义的json数据标准格式返回。

例如：

发起者模型输出结果＝{A,B,C}；

共享者模型输出结果＝{B,D}；

流式管道碰撞服务计算返回结果＝{B}。

本发明实现了流式管道计算服务及支撑集群的本地化搭建，保障了数据的安全性，使模型共享参与者不必担心数据的安全性；实现了本地模型黑盒运算及跨域模型碰撞的方法及规范。本发明通过不同区域的模型协同，做到智力共享从而产生新的智力及新的知识结果；模型与模型碰撞在流式管道中计算，参与计算的模型运算结果不落地，保障了数据的安全性。打破了数据的壁垒，使数据以知识共享的形式进行协作，使数据的用途更广，作用更大。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (8)

1.一种跨域数据安全计算及模型协同的方法，其特征在于，包括：

步骤S1，设置跨域模型协同规则，所述跨域模型协同规则用于设置两个模型的交互运算方式；

步骤S2，任务管理中心通过跨域碰撞服务端接收来自用户端的任务指令，并对任务指令进行任务调度与任务分发；其中，跨域碰撞服务端通过任务调度中心的通讯协议与发起者客户端和共享模型者客户端进行通信协同；

步骤S3，所述发起者客户端接收到任务调度中心的任务后，将任务执行指令传输给本地模型平台，驱动本地模型运算，生成发起者模型运算结果，并输送至流式碰撞管道；所述共享模型者客户端的本地建模平台接收到模型执行指令后，利用本地大数据集群算力运算共享模型，并按照预设逻辑算法结合本地大数据算力，对数据进行协作运算，生成共享者模型运算结果，并输送至流式碰撞管道；

步骤S4，所述流式碰撞管道根据所述跨域模型协同规则将接收到的发起者模型运算结果和共享者模型运算结果进行数据解密、解压缩后，根据碰撞规则进行模型碰撞，使用流式碰撞的方式生成碰撞结果，并返回至发起者客户端。

2.如权利要求1所述的跨域数据安全计算及模型协同的方法，其特征在于，在所述步骤S2中，用户端通过rest接口向跨域碰撞服务端发送任务指令，所述跨域碰撞服务端接收用户端的跨域碰撞任务，并将任务放入所述调度中心。

3.如权利要求2所述的跨域数据安全计算及模型协同的方法，其特征在于，所述跨域碰撞服务端在接收到用户端的任务指令后，同时向用户端返回一个任务状态编码，以使得所述用户端获知任务的当前执行状态。

4.如权利要求1所述的跨域数据安全计算及模型协同的方法，其特征在于，在所述步骤S2中，所述跨域碰撞服务端与发起者客户端和共享模型者客户端采用的通讯协议的通信编码，包括：心跳机制、认证编码、进度执行编码、发起者信息、任务信息。

5.如权利要求1所述的跨域数据安全计算及模型协同的方法，其特征在于，在所述步骤S3中，所述发起者客户端进行本地模型计算，确认模型协同计算接口规范，将生成的发起者模型运算结果进行以数据流形式进行加密后传输至流式碰撞管道。

6.如权利要求1所述的跨域数据安全计算及模型协同的方法，其特征在于，在所述步骤S3中，所述共享模型者客户端对任务及执行指令进行共享模型本地化计算，确认模型协同计算接口规范，将生成的共享者模型运算结果进行以数据流形式进行加密后传输至流式碰撞管道。

7.如权利要求5或6所述的跨域数据安全计算及模型协同的方法，其特征在于，采用snappy压缩算法对数据流程进行压缩，采用国密4加密算法动态加密传输，然后将加密后的数据流传输至流式碰撞管道。

8.如权利要求1所述的跨域数据安全计算及模型协同的方法，其特征在于，在所述步骤S4中，所述碰撞规则为：流式碰撞管道根据taskid索引到双方模型输出结果；根据碰撞条件conditon，取结果相等的内容即交集为符合条件的内容，作为最终结果输出。

Images