CN115081199A - 数据处理方法、装置、通信设备及可读存储介质 - Google Patents
数据处理方法、装置、通信设备及可读存储介质 Download PDFInfo
- Publication number
- CN115081199A CN115081199A CN202210653557.XA CN202210653557A CN115081199A CN 115081199 A CN115081199 A CN 115081199A CN 202210653557 A CN202210653557 A CN 202210653557A CN 115081199 A CN115081199 A CN 115081199A
- Authority
- CN
- China
- Prior art keywords
- participant
- model
- data
- joint analysis
- script
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/31—Programming languages or programming paradigms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Storage Device Security (AREA)
Abstract
本申请提供一种数据处理方法、装置、通信设备及可读存储介质。服务器包括资源管理平台;方法包括:在获取到p个参与方分别授权至少一个原始表的联合分析权限的情况下,若接收到第一输入,则在资源管理平台创建模型结果表,以及与p个参与方一一对应的p个中间表,第一输入为触发进行联合分析的输入,模型结果表仅授权读取权限给p个参与方,各中间表仅授权写入权限给其对应的参与方;在p个中间表写入数据,各参与方对应的中间表写入的数据为:各参与方通过执行对应的参与方执行脚本获取到的第一数据;在检测到各参与方执行完对应的参与方执行脚本情况下,在资源管理平台执行联合分析执行脚本,并将联合分析执行脚本的执行结果写入模型结果表。
Description
技术领域
本申请实施例涉及通信技术领域,尤其涉及一种数据处理方法、装置、通信设备及可读存储介质。
背景技术
随着通信技术的发展,为了促进业务发展,不同公司或者同一公司的不同业务部门之间可以联合建模,实现数据合作。而多方联合建模可能涉及原始数据的泄露。因此,有必要提供一种既能实现多方联合建模,又能保护原始数据不泄露的数据处理方法。
发明内容
本申请实施例提供一种数据处理方法、装置、通信设备及可读存储介质,能够解决多方联合建模,以及保护原始数据不泄露的问题。
为解决上述问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种数据处理方法,由服务器执行,所述服务器包括资源管理平台;所述方法包括:
在获取到p个参与方分别授权至少一个原始表的联合分析权限的情况下,若接收到第一输入,则在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表,其中,第一输入为触发进行联合分析的输入,所述模型结果表仅授权读取权限给所述p个参与方,各中间表仅授权写入权限给其对应的参与方,p为大于1的整数;
在所述p个中间表写入数据,其中,各参与方对应的中间表写入的数据为:各参与方通过执行对应的参与方执行脚本获取到的第一数据;
在检测到各参与方执行完对应的所述参与方执行脚本情况下,在所述资源管理平台执行联合分析执行脚本,并将所述联合分析执行脚本的执行结果写入所述模型结果表。
第二方面,本申请实施例提供了一种数据处理方法,由第一参与方执行,所述方法包括:
在所述第一参与方授权至少一个原始表的联合分析权限的情况下,获取所述第一参与方对应的第一参与方执行脚本;
执行所述第一参与方执行脚本,得到第一数据;
向服务器发送所述第一数据,所述第一数据写入所述服务器的资源管理平台的第一中间表中,所述第一中间表与所述第一参与方对应。
第三方面,本申请实施例还提供一种数据处理装置,应用于服务器,所述服务器包括资源管理平台;所述装置包括:
创建模块,用于在获取到p个参与方分别授权至少一个原始表的联合分析权限的情况下,若接收到第一输入,则在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表,其中,第一输入为触发进行联合分析的输入,所述模型结果表仅授权读取权限给所述p个参与方,各中间表仅授权写入权限给其对应的参与方,p为大于1的整数;
第一写入模块,用于在所述p个中间表写入数据,其中,各参与方对应的中间表写入的数据为:各参与方通过执行对应的参与方执行脚本获取到的第一数据;
第二写入模块,用于在检测到各参与方执行完对应的所述参与方执行脚本情况下,在所述资源管理平台执行联合分析执行脚本,并将所述联合分析执行脚本的执行结果写入所述模型结果表。
第四方面,本申请实施例还提供一种数据处理装置,应用于第一参与方,包括:
第二获取模块,用于在所述第一参与方授权至少一个原始表的联合分析权限的情况下,获取所述第一参与方对应的第一参与方执行脚本;
第一执行模块,用于执行所述第一参与方执行脚本,得到第一数据;
第一发送模块,用于向服务器发送所述第一数据,所述第一数据写入所述服务器的资源管理平台的第一中间表中,所述第一中间表与所述第一参与方对应。
第五方面,本申请实施例还提供一种通信设备,该通信设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的数据处理方法。
第六方面,本申请实施例还提供一种可读存储介质,该可读存储介质上存储有程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的数据处理方法。
第七方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第八方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,通过设置在服务器中的资源管理平台实现多方数据的联合建模。具体地,在获取到p个参与方分别授权至少一个原始表的联合分析权限的情况下,若接收到触发进行联合分析的输入,则可以在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表,并将所述模型结果表的读取权限仅授权给所述p个参与方,各中间表的写入权限仅授权给其对应的参与方,从而可以避免各表中的数据的泄露。所述p个参与方可以通过分别执行自身对应的执行脚本获取自身用于联合分析的数据,并将获取到的数据写入自身对应的中间表中。这样,在检测到各参与方执行完对应的所述参与方执行脚本情况下,所述资源管理平台可以通过执行联合分析执行脚本,将所述联合分析执行脚本的执行结果写入所述模型结果表,从而实现所述p个参与方的联合建模。可见,通过本申请实施例,可以通过所述资源管理平台实现多方数据的联合建模,以及用于联合分析的多方数据的隐私保护。
附图说明
图1是本申请实施例提供的数据处理方法的流程图之一;
图2是本申请实施例提供的模型编辑器的示意图;
图3是本申请实施例提供的数据处理方法的流程图之二;
图4a是本申请实施例提供的数据处理架构;
图4b是本申请实施例提供的数据处理方法的流程图之三;
图5是本申请实施例提供的数据处理方法的结构图之一;
图6是本申请实施例提供的数据处理方法的结构图之二;
图7是本申请实施例提供的通信设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
在大型公司内部,存在竞争关系的不同的业务线之间,为了保护自己的业务,可能不会将各自业务线独有的数据进行联合建模,尽管从公司角度来说,各业务线的数据融合明显能够带来更多的价值。
为了使用多方的数据进行联合建模,同时又保护参与方的原始数据,通常有2种方案:
安全区:建立一个独立的第三方大数据空间,此空间包含常用的大数据系统,以及相应的数据出入管控审计设施。参与方可以通过数据入口将数据导入到独立空间中,然后在空间内进行建模计算,并通过数据出口获得建模结果数据。参与方的所有操作都将会进行审计,并随时可以切断数据的输入或输出。
联邦学习:无需建立独立的第三方空间,而是通过对模型进行改造,使得模型可以在参与方内部运行,然后通过交换模型迭代过程数据,最终达到建模目的。联邦学习使得参与方将原始数据保留在本地,实现了“数据可用不可见”。
然而,上述2中方案存在如下缺陷:
安全区:需要建立独立的区域,通常意味着搭建一套独立的大数据系统,同时还要建立进出隔离区的管理审计机制,投入较大。对于同一公司的不同业务线而言,投入产出比较低。
联邦学习:业务侵入性较高,需要对模型进行改造,以便适合联邦学习的运算逻辑,需要投入大量的开发人力进行开发;同时需要建立相应的网络通信机制,交换联邦学习过程中的中间数据;联邦学习过程中,交换的中间数据也存在被恶意用户还原从而获得原始数据的可能性。
因此,本申请实施例提供了一种数据处理方法,可以无需重复投入建设独立的隔离区,以及无需投入大量的开发人力,实现多方的联合建模,并保护多方用于联合分析的数据不泄露。
为了方便理解,以下对本申请实施例涉及的一些内容进行说明:
p个参与方的联合建模由所述p个参与方中的一个参与方发起,p为大于1的整数。在本申请实施例中,发起所述p个参与方的联合建模的发起方可以称为目标参与方或模型设计方。
所述目标参与方在发起联合建模之前,可以先确定期望用于联合分析的原始表,以及各原始表分别所属参与方。之后,向各参与方分别申请各原始表的联合分析权限。在各参与方同意授权各原始表的联合分析权限的情况下,可以编写联合分析模型。可以理解地是,在实际应用中,不同参与方授权联合分析权限的原始表数量可以相等或不等,具体可根据实际情况确定,本申请实施例对此不做限定。
在编写好所述联合分析模型之后,可以执行所述联合分析模型,以通过联合分析模型获取各原始表的数据,并输出联合分析结果。
值得注意的是,在本申请实施例中,对于授权了联合分析权限的原始表,联合分析模型仅能读取该原始表中的数据,并不能对原始表中的数据进行修改,即联合分析模型仅具有原始表中数据的读取权限,无数据修改权限。
本申请实施例的数据处理方法可以由服务器和参与方实现。所述服务器可以理解为现有的大数据平台或大数据系统,即本申请实施例的数据处理方法无需重复投入建设独立的资源,可以最大限度复用已有大数据系统,节约投资。
在本申请实施例中,所述服务器设置有资源管理平台。所述资源管理平台可以理解为大数据系统中的一个资源和权限管理实体,包括库、表等实体,以及访问这些实体的权限控制设置。
所述资源管理平台可以用于存储各方处理过的数据,对各方处理过的数据进行联合分析,存储联合分析结果,并对联合分析结果进行审计。
资源管理平台中的数据的读取权限仅授权给各参与方,从而可以提高数据保护的可靠性。
在实际应用中,所述资源管理平台可以由与公司各业务线均没有竞争/合作关系的部门设立,比如审计/安全/法务部门,体现其“中立”定位。因此,资源管理平台也可以称为中立区。
下面结合附图,通过一些实施例及其应用场景对本申请实施例提供的数据处理方法进行详细地说明。
参见图1,图1是本申请实施例提供的数据处理方法的流程图之一。图1所示的数据处理方法由服务器执行。
如图1所示,数据处理方法可以包括以下步骤:
步骤101、在获取到p个参与方分别授权至少一个原始表的联合分析权限的情况下,若接收到第一输入,则在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表,其中,第一输入为触发进行联合分析的输入,所述模型结果表仅授权读取权限给所述p个参与方,各中间表仅授权写入权限给其对应的参与方,p为大于1的整数。
具体实现时,在p个参与方分别授权至少一个原始表的联合分析权限的情况下,可以编写联合分析模型。在编写好所述联合分析模型之后,若接收到第一输入,则可以执行所述联合分析模型,所述第一输入可以为用户发起的进行联合分析的输入。
在本申请实施例中,所述联合分析模型的执行包括:模型结果表,以及与所述p个参与方一一对应的p个中间表的创建。具体实现时,上述各表可以由所述服务器创建在所述资源管理平台中。
所述服务器在创建这些表之后,可以将所述模型结果表的读取权限授权给所述p个参与方,将各中间表的写入权限授权给对应参与方。这样,既可以保证用于联合分析的源数据获取的可靠性,同时可以避免联合分析的结果泄露,提高数据保护的可靠性。
步骤102、在所述p个中间表写入数据,其中,各参与方对应的中间表写入的数据为:各参与方通过执行对应的参与方执行脚本获取到的第一数据。
在本申请实施例中,联合分析模型的执行还包括:与所述p个参与方一一对应的p个参与方执行脚本的执行。
具体实现时,各参与方执行脚本分别由对应的参与方执行。各参与方执行脚本分别用于从对应参与方授权了联合分析权限的原始表中获取数据,并将获取到的数据写入对应中间表。进一步地,各参与方执行脚本还用于对获取到的数据进行加密,在此情况下,写入对应中间表的数据为加密后的数据。基于此,可以理解地是,所述第一数据可能是从原始表中获取到的原始数据,也可能是原始表中原始数据的加密数据。
示例性的,记第一参与方授权了联合分析权限的原始表为第一原始表,所述第一参与方对应的参与方执行脚本为第一参与方执行脚本,所述第一参与方对应的中间表为第一中间表。
那么,在执行联合分析模型时,所述第一参与方可以执行所述第一参与方执行脚本,从所述第一原始表中获取特定数据,并将获取到的特定数据直接输入或加密输入至所述第一中间表中。
步骤103、在检测到各参与方执行完对应的所述参与方执行脚本情况下,在所述资源管理平台执行联合分析执行脚本,并将所述联合分析执行脚本的执行结果写入所述模型结果表。
在本申请实施例中,联合分析模型的执行还包括:联合分析执行脚本的执行。具体实现时,所述联合分析执行脚本的执行由所述资源管理平台执行。
所述联合分析执行脚本用于:从所述p个中间表中的至少一个中间表获取数据,并将获取到的数据写入所述模型结果表。可以理解地是,所述模型结果表中包括的目标数据,即为所述联合分析模型的模型分析结果。
本实施例的数据处理方法,通过设置在服务器中的资源管理平台实现多方数据的联合建模。具体地,在获取到p个参与方分别授权至少一个原始表的联合分析权限的情况下,若接收到触发进行联合分析的输入,则可以在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表,并将所述模型结果表的读取权限仅授权给所述p个参与方,各中间表的写入权限仅授权给其对应的参与方,从而可以避免各表中的数据的泄露。所述p个参与方可以通过分别执行自身对应的执行脚本获取自身用于联合分析的数据,并将获取到的数据写入自身对应的中间表中。这样,在检测到各参与方执行完对应的所述参与方执行脚本情况下,所述资源管理平台可以通过执行联合分析执行脚本,将所述联合分析执行脚本的执行结果写入所述模型结果表,从而实现所述p个参与方的联合建模。可见,通过本申请实施例,可以通过所述资源管理平台实现多方数据的联合建模,以及用于联合分析的多方数据的隐私保护。
由前述内容可知,在本申请实施例中,联合分析模型的执行可以包括:
模型结果表,以及与所述p个参与方一一对应的p个中间表的创建;
与所述p个参与方一一对应的p个参与方执行脚本的执行;
联合分析执行脚本的执行。
由此可知,在执行联合分析模型之前,至少需要先获取所述p个参与方执行脚本,以及所述联合分析执行脚本。
在一些实施例中,所述服务器还包括模型编辑器;所述在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表之前,所述方法还包括:
从所述模型编辑器获取模型信息,所述模型信息包括:
模型设置信息,所述模型设置信息包括模型编号;
与所述p个参与方一一对应的p个参与方设置信息,各参与方对应的参与方设置信息包括:参与方编号和参与方执行脚本;
联合分析设置信息,所述联合分析设置信息包括所述联合分析执行脚本;
所述在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表包括:
根据所述模型信息,在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表;
其中,各中间表的名称基于所述模型编号以及其对应的参与方编号确定;所述模型结果表的名称基于所述模型编号确定。
在本实施例中,所述p个参与方执行脚本,以及所述联合分析执行脚本可以在所述服务器包括的模型编辑器中编写。
在一种可选实施方式中,所述p个参与方执行脚本可以分别由对应的参与方编写,所述联合分析执行脚本可以由目标参与方编写。另一种可选实施方式中,上述各执行脚本均可以由目标参与方编写。
具体实现时,所述模型编号,以及各参与方编号,可以由各参与方自主输入,或由所述模型编辑器自主生成,具体可根据实际情况确定,本申请实施例对此不做限定。
各中间表的名称可以为:model_模型编号_对应参与方编号。所述模型结果表的名称可以为:model_模型编号_result。示例性的,假设模型编号为:43452352,参与方A对应的编号为A,那么,所述第一参与方对应的中间表的名称可以为:model_43452352_A;所述模型结果表的名称可以为:model_43452352_result。
值得注意地是,由于参与方执行脚本用于从对应参与方的原始表中获取特定数据,并将获取到的特定数据直接或加密写入对应中间表,可以理解地是,参与方执行脚本包括:对应参与方的名称,需要获取的特定数据的名称,以及对应中间表的名称。如:假设需要从参与方A查找出年龄大于20,身高高于170的id,并将id通过加密函数AES_ENC,以及加密密码secret1234加密写入中间表model_43452352_A中,那么参与方A执行的参与方执行脚本可以为:Insert into model_43452352_A Select AES_ENC(id,”secret1234”)as idfrom A where A.age>20and A.height>170。
由于联合分析执行脚本用于从p个中间表中的至少一个中间表获取数据,并将获取到的数据写入模型结果表,可以理解地是,参与方执行脚本包括:对应中间表的名称,需要获取的数据的名称,以及模型结果表的名称。如:假设中间表model_43452352_A中存储有年龄大于20和身高高于170的id,中间表model_43452352_B中存储有工资小于100000和性别为男的id,另外假设需要从中间表model_43452352_A和model_43452352_B中查找出年龄大于20、身高高于170、工资小于100000和性别为男的id,并将id写入模型结果表model_43452352_result中,那么模型分析执行脚本可以为:Insert into model_43452352_result Select id from model_43452352_A join model_43452352_B on model_43452352_A.id=model_43452352_B.id。
具体实现时,上述各执行脚本可以由目标参与方输入,也可以由目标参与方输入的信息生成。对于后者,具体说明如下:
在一些实施例中,所述模型编辑器可以包括:模型设置区,与所述p个参与方一一对应的p个参与方设置区,以及联合分析设置区;
所述从所述模型编辑器获取模型信息之前,所述方法还包括:
在所述模型设置区显示:所述模型编号,以及加解密信息;
在各参与方对应的参与方设置区显示:对应的参与方编号,对应的参与方原始脚本,以及对应的待加密数据;
根据所述模型编号,各参与方对应的参与方编号,各参与方对应的参与方原始脚本,各参与方对应的待加密数据,以及所述加解密信息,生成各参与方对应的参与方执行脚本;
在所述联合分析设置区显示:目标参与方输入的联合分析原始脚本,所述目标参与方为p个参与方中发起联合分析的参与方;
根据所述模型编号,以及所述联合分析原始脚本,生成所述联合分析执行脚本,并在所述联合分析设置区显示所述联合分析执行脚本。
具体实现时,所述加解密信息包括加解密函数和加解密密码。可以理解地时,加密函数和解密函数匹配,如:在加密函数为AES_ENC的情况下,解密函数可以为AES_DEC。另外,加密密码和解密密码相同。在实际应用中,所述加解密信息可以由目标参与方输入,也可以由所述模型编辑器默认设置。
各参与方对应的参与方编号可以由目标参与方输入,也可以由所述模型编辑器自主生成。各参与方对应的参与方原始脚本,以及待加密数据可以由目标参与方输入,也可以由各自对应的参与方输入。各参与方对应的参与方执行脚本,可由对应参与方原始脚本生成。在生成各参与方对应的参与方执行脚本之后,可在各参与方对应的参与方设置区显示对应的参与方执行脚本,以方便用户确定是否为期望的参与方执行脚本,从而可以提高联合分析的可靠性。
联合分析原始脚本可以由目标参与方输入,联合分析执行脚本可以基于联合分析原始脚本生成。在生成联合分析原始脚本之后,可在所述联合分析设置区显示所述联合分析执行脚本,以方便用户确定是否为期望的联合分析执行脚本,从而可以提高联合分析的可靠性。
一种可选实施方式中,所述根据所述模型编号,各参与方对应的参与方编号,各参与方对应的参与方原始脚本,各参与方对应的待加密数据,以及所述加解密信息,生成各参与方对应的参与方执行脚本,可以包括:
根据所述模型编号,以及第一参与方对应的参与方编号,生成第一名称,所述第一名称为所第一参与方对应的中间表的名称,所述第一参与方为所述p个参与方中的任一参与方;
根据所述加解密信息和所述第一参与方对应的待加密字段,生成第一字段;
根据第一规则,改写所述第一参与方对应的第一参与方原始脚本,得到所述第一参与方对应的第一参与方执行脚本;
其中,所述第一规则为:将所述第一原始脚本中的待加密字段替换为所述第一字段,并在所述第一原始脚本增加第二字段,所述第二字段用于表征将脚本执行结果输入所述第一名称对应的表中。
具体实现时,所述第一字段可以基于所述加解密信息中的加密函数和加密密码生成,如:所述第一字段可以为加密函数(待加密字段,加密密码)。示例性的:假设所述加解密信息包括加密函数AES_ENC,加解密密码secret1234,待加密字段为id,所述第一字段可以为:AES_ENC(id,“secret1234”)。
所述第二字段可以为:Insert into第一名称。所述第二字段可以位于所述第一字段之前,也可以位于所述第一原始脚本的末端,具体可根据实际需求决定,本申请实施例对此不做限定。
示例性的,假设第一原始脚本为:Select id from A where A.age>20andA.height>170。所述第一名称为model_43452352_A。那么,改写所述第一原始脚本,得到的第一参与方执行脚本,为:Insert into model_43452352_A Select AES_ENC(id,“secret1234”)as id from A where A.age>20and A.height>170。在此情况下,所述第二字段表现为:Insert into model_43452352_A。
通过上述方式,模型编辑器可以自主生成参与方执行脚本,可以提高执行脚本的可靠性,并降低用户操作要求。
一种可选实施方式中,所述根据所述模型编号,以及所述联合分析原始脚本,生成所述联合分析执行脚本,可以包括:
根据所述模型编号,生成第二名称,所述第二名称为所述模型结果表的名称;
根据第二规则,改写所述联合分析原始脚本,得到所述联合分析执行脚本;
其中,所述第二规则包括在所述联合分析原始脚本增加第三字段,所述第三字段用于表征将脚本执行结果输入所述第二名称对应的表中。
所述第三字段可以为:Insert into第二名称。所述第三字段可以位于所述联合分析原始脚本的首段或末端,具体可根据实际需求决定,本申请实施例对此不做限定。
示例性的,假设所述联合分析原始脚本为:select id from model_43452352_Ajoin model_43452352_B on model_43452352_A.id=model_43452352_B.id,那么,自动生成的所述联合分析执行脚本可以为:Insert into model_43452352_result select idfrom model_43452352_A join model_43452352_B on model_43452352_A.id=model_43452352_B.id。
为方便理解所述模型编辑器,可以参见图2。在图2中,所述p个参与方包括参与方A和参与方B。所述模型编辑器包括:模型设置区;参与方A对应的参与方设置区;参与方B对应的参与方设置区;联合分析设置区。
需要说明的是,所述p个参与方均可以通过查看所述模型编辑器获取联合分析模型使用的数据,以及自身对应的参与方执行脚本,从而可以执行对应的参与方执行脚本,实现数据的联合分析。
在本申请实施例中,在执行联合分析模型,得到联合分析结果之后,各参与方可以读取所述模型结果表中的联合分析结果。具体实现时,各参与方可以通过执行对应的数据读取执行脚本,从模型结果表中读取数据,并将读取到的数据直接或解密输入各参与方对应的参与方结果表中。
假设各参与方对应的参与方结果表的名称为:参与方编号_result,解密函数为AES_DEC,解密秘密为secret1234,待解密数据为id,模型结果表的名称为:model_43452352_result,那么,各参与方对应的数据读取执行脚本为:Insert into参与方编号_result select AES_DEC(id,“secret1234”)from model_43452352_result。
各参与方对应的数据读取执行脚本可以由各参与方编写,也可以由目标参与方统一编写,具体可根据实际情况决定,本申请实施例对此不做限定。
另外,在执行联合分析模型,得到联合分析结果之后,所述服务器可以对联合分析结果进行审计,以供各参与方基于联合分析审计结果,决定是否继续执行联合建模。
在一些实施例中,所述将执行所述联合分析执行脚本的执行结果写入所述模型结果表之后,所述方法还可以包括:
根据所述模型结果表的特征信息,生成联合模型审计结果;
在目标页面展示所述联合模型审计结果;
其中,所述特征信息包括以下至少一项:所述模型结果表包括的数据总数,所述模型结果表中各数据关联的中间表,以及所述模型结果表中各数据的读取次数。
所述联合模型审计结果的生成可以由所述资源管理平台执行,也可以由所述服务器的其他器件实现。所述联合模型审计结果可以包括以下一项:
所述模型结果表包括的数据总数;
各参与方对应的贡献度;
各参与方对应的获取度。
具体实现时,各参与方对应的贡献度可以为:来自于各参与方对应的中间表的数据的数量与所述模型结果表包括的数据总数的比值。
各参与方对应的获取度可以为:各参与方读取所述模型结果表中数据的次数,进一步地,还可以包括每次读取的数据数量。
在生成所述联合模型审计结果之后,可以在目标页面展示所述联合模型审计结果。所述目标页面可以为所述p个参与方均可以访问的页面,进一步地,所述目标页面的读取权限可以仅授权给所述p个参与方,以进一步提高联合分析的安全性。一种可选实施方式中,所述目标页面可以为所述模型编辑器的一个页面,但不仅限于此。
这样,各参与方可以通过访问所述目标页面,基于所述联合模型审计结果判断是否达到自身的预设联合分析期望结果。在判断联合分析未带来期望的结果时,参与方可以选择关闭授予的联合分析权限,从而提高联合分析的灵活度。
在一些实施例中,所述方法还可以包括:
接收第二参与方发送的指示信息,所述指示信息用于指示关闭联合分析权限;
关闭所述模型结果表的读取权限;
在所述模型结果表的读取权限的关闭时长达到第一时长的情况下,删除所述模型结果表。
具体实现时,在接收到所述指示信息的情况下,说明所述第二参与方判定联合分析未达到所述第二参与方的预设联合分析期望结果,所述第二参与方不期望继续进行联合分析。因此,所述服务器可以关闭所述模型结果表的读取权限,以为提高所述第二参与方的数据的安全性。
在检测到所述模型结果表的读取权限的关闭时长达到第一时长,可以删除所述模型结果表。进一步地,可以删除所述p个中间表,甚至编写的所述联合分析模型,以提高各参与方数据的安全性。
在实际应用中,所述第一时长可预先设置,也可以由发送所述指示信息的第二参与方指示,具体可根据实际需求决定,本申请实施例对此不做限定。
另外,本申请实施例并不限制联合分析权限关闭的发生时机,即任意时间点接收到任一参与方的指示信息,均可以关闭联合分析权限。如:一种实现方式中,上述指示信息的接收可以发生在服务器在目标页面展示所述联合模型审计结果之后,即参与方可以基于联合分析审计结果,决定是否关闭联合分析权限。另一种实现方式中,上述指示信息的接收可以发生在联合分析模型的执行过程中。
参见图3,图3是本申请实施例提供的数据处理方法的流程图之二。图3所示的数据处理方法由参与方执行。
步骤301、在所述第一参与方授权至少一个原始表的联合分析权限的情况下,获取所述第一参与方对应的第一参与方执行脚本。
步骤302、执行所述第一参与方执行脚本,得到第一数据。
步骤303、向服务器发送所述第一数据,所述第一数据写入所述服务器的资源管理平台的第一中间表中,所述第一中间表与所述第一参与方对应。
所述服务器的资源管理平台创建由模型结果表,以及与所述p个参与方一一对应的p个中间表,所述模型结果表仅授权读取权限给所述p个参与方,各中间表仅授权写入权限给其对应的参与方,p为大于1的整数。所述第一参与方为所述p个参与方中的任一个参与方,所述第一中间表为所述p个中间表中与所述第一参与方对应的中间表。
第一参与方向服务器发送所述第一数据,以使服务器将所述第一数据写入第一中间表中,进而使得服务器在各参与方执行完对应的参与方执行脚本之后,在所述资源管理平台执行联合分析执行脚本,从至少一个中间表获取数据,实现各参与方数据的联合分析。
本实施例的数据处理方法,参与方可以在授权联合分析权限之后,获取并执行自身对应的参与方执行脚本,提取自身原始表中的特定数据,并将特定数据直接或加密写入服务器的资源管理平台的对应中间表中。这样,可以通过在资源管理平台执行联合分析执行脚本,实现数据的联合分析。
在一些实施例中,在所述第一参与方是目标参与方,目标参与方为p个参与方中发起联合分析的参与方,p为大于1的整数的情况下,所述获取所述第一参与方对应的第一参与方执行脚本之前,所述方法还包括:
向至少一个参与方分别发送第一请求,所述第一请求用于请求至少一个原始表的联合分析权限;
接收所述至少一个参与方分别发送的第一回复,所述第一回复用于指示是否通过所述第一请求;
所述获取所述第一参与方对应的第一参与方执行脚本,包括:
在基于所述第一回复确定所述p个参与方分别授权至少一个原始表的联合分析权限的情况下,获取所述第一参与方对应的第一参与方执行脚本。
在一些实施例中,在所述第一参与方不是目标参与方,目标参与方为p个参与方中发起联合分析的参与方,p为大于1的整数的情况下,所述获取所述第一参与方对应的第一参与方执行脚本之前,所述方法还包括:
接收所述目标参与方发送的第一请求,所述第一请求用于至少一个原始表的联合分析权限;
发送用于指示通过所述第一请求的第一回复。
需要说明的是,在本申请实施例中,参与方之间的联合分析权限的请求和回复可以通过服务器实现,也可以通过参与方之间的直接通信实现,具体可根据实际情况决定,本申请实施例对此不做限定。
在一些实施例中,在所述第一参与方是目标参与方,目标参与方为p个参与方中发起联合分析的参与方,p为大于1的整数的情况下,所述获取所述第一参与方对应的第一参与方执行脚本之前,所述方法还包括:
访问所述服务器的模型编辑器,所述模型编辑器包括:模型设置区,与所述p个参与方一一对应的p个参与方设置区,以及联合分析设置区;
在所述模型编辑器输入目标信息;
其中,所述目标信息包括:
在所述模型设置区输入的加解密信息;
在各参与方对应的参与方设置区输入的:对应的参与方原始脚本,以及对应的待加密数据;
在所述联合分析设置区输入的:联合分析原始脚本。
在一些实施例中,所述向服务器发送所述第一数据之后,所述方法还包括:
执行所述第一参与方对应的第一数据读取执行脚本,所述第一数据读取执行脚本用于从所述服务器的模型结果表中读取数据;
将所述第一数据读取执行脚本的执行结果写入所述第一参与方对应的参与方结果表中。
在一些实施例中,所述向服务器发送所述第一数据之后,所述方法还包括:
访问目标页面,所述目标页面包括联合模型审计结果,所述联合模型审计结果基于所述服务器的模型结果表的特征信息生成,所述特征信息包括以下至少一项:所述模型结果表包括的数据总数,所述模型结果表中各数据关联的中间表,以及所述模型结果表中各数据的读取次数;
根据所述联合模型审计结果,确定是否达到预设联合分析期望结果;
在未达到所述预设联合分析期望结果的情况下,发送指示信息,所述指示信息用于指示关闭联合分析权限。
需要说明的是,本实施例作为与上述方法实施例对应的参与方的实施例,因此,可以参见上述方法实施例中的相关说明,且可以达到相同的有益效果。为了避免重复说明,在此不再赘述。
本申请实施例中介绍的多种可选的实施方式,在彼此不冲突的情况下可以相互结合实现,也可以单独实现,对此本申请实施例不作限定。
为方便理解,示例说明如下:
本申请提供的数据处理方法,可以基于现有大数据生态的数据跨业务进行联合建模,具有以下特点:
1)无需重复投入建设独立的隔离区,可以最大限度复用已有大数据系统,节约投资
2)适应于公司内部,业务线仍完全掌控自己的数据的同时,业务线之间能够进行数据联合建模,得到比单独使用各自数据更好的业务模型,从而促进公司整体发展。
3)对数据分析过程几乎无影响,不改变已有模型的运行模式,业务侵入性低
4)自动化的联合建模过程,无需数据工程师深度参与,仅需编写待运行的模型即可。
5)以模型为管理单位,参与方能够掌握模型使用的数据、模型内容、模型的结果、模型对各参与方带来的收益等,提高数据使用透明度。
本申请实施例的数据处理架构如图4a所示,数据处理方法可以如图4b所示:
0、联合分析权限申请
不同于一般大数据平台上的“读”“写”权限,本申请定义一种新的权限:
“联合分析权限”:允许接收发起方提交的模型(此模型只有读取数据权限,无修改数据权限),使用指定的数据表,并将模型执行结果写入中立区。
需要进行联合分析的双方,可以申请对方指定数据表的“联合分析”权限,对方同意后,即可开始进行联合建模。
1、中立区的创建
中立区是大数据系统中的一个资源和权限管理实体,比如一个项目,包含其拥有的库、表等实体,以及访问这些实体的权限控制设置。中立区用来存储联合分析各方处理过的数据,并执行相关操作。
中立区的数据通常是加密的,因此中立区无法获取各业务线的原始数据。
通常中立区可以由与公司各业务线均没有竞争/合作关系的部门设立,比如审计/安全/法务部门,体现其“中立”定位。
2、发起联合分析
在联合分析模型编辑器中,编写联合分析模型。模型设计方执行模型的编写操作。其他参与方无法编辑,但可以访问。
模型编辑工具包括几个部分:
1)模型设置区:
模型编号:自动生成,全局唯一,可以是8位全数字或者其他规则产生。
加解密UDF函数,以及密钥:可选;如果不设置,则数据进入中立区不会进行加密由用户输入或默认设置。
UDF可为常用的加密函数或者是用户自定义的函数。注意加密、解密函数必须是配对的。平台可以提供一些常用的加解密函数对,如AES、DES等。
2)参与方脚本编辑区:此区域可以有多个,数量与参与方数量相同,每个区域都包含以下内容。
参与方编号:从1开始,按顺序编号;
脚本:用于编写参与方独立执行脚本,这些脚本只使用对应参与方的数据;
待加密字段:将结果数据写入中立区时,要加密的字段;
注意:此字段在后续的联合分析过程中,只作为数据标识字段,分析过程中无需解密。
实际执行脚本:模型编辑器将会根据填写的脚本、待加密字段、加密函数,自动生成实际执行脚本。
自动生成实际脚本的方法为:
1.生成中立区待写入中间结果表的相关信息。
表名称生成规则:model_模型编号_参与方编号。
表字段生成规则:与脚本中select部分选择出的字段保持一致。
2.改写脚本。
方法为:将脚本的结果按照待加密字段设置加密后,输入中立区待写入表,如:Insert into model_模型编号_参与方编号select AES_ENC(id,“secret1234”)as id,xxxfrom table_xxx
3)联合分析区:此区域只有一个,包含以下内容:
脚本:用于编写在中立区执行的脚本,处理各参与方输入到中立区中的数据,编写时脚本只允许读取在2)中生成的中立区待写入表
实际执行脚本:自动生成的在中立区实际执行的脚本
生成规则为:
1.生成中立区待写入模型结果表的相关信息。
表名称生成规则:model_模型编号_result。
表字段生成规则:与脚本中select部分选择出的字段保持一致。
2.改写脚本。
方法为:在脚本前加入insert部分,将脚本结果写入模型结果表,如:Insert intomodel_模型编号_result【脚本】。
3、模型执行
模型编辑器中内容编写完整后,即可执行。
模型执行的过程为:
1)建表:向中立区提交要创建的中间结果表、模型结果表;中立区创建这些表。
2)授权:中立区授权中间结果表的“写”权限给对应参与方;模型结果表的“读”权限给所有参与方。
3)参与方执行:向各参与方提交自动生成的对应实际执行脚本,申请执行;各参与方分别执行各自脚本,将中间结果写入中立区。
4)中立区执行:各参与方全部执行完脚本后,中立区执行自动生成的联合分析脚本,将结果写入模型结果表。
4、模型结果获取
各参与方从中立区读取模型结果表数据,需要注意的是,如果模型设置了加密函数,那么读取数据时要用相应的解密函数对已加密字段进行解密。
5、模型审计
模型审计是为了让各参与方清晰掌握自身对模型结果的贡献程度,以及获取结果的数量,包括以下部分:
1)结果总数:模型结果表中的数据条数。
2)各参与方贡献度量:中立区中,各中间结果表内的数据在结果表中出现的次数,以及比例。
参与方贡献度=(结果中来自于参与方中间结果表的数量)/(结果总数)
3)各参与方获取度量:参与方读取模型结果表的次数,以及每次读取的条数。
参与方可以根据审计结果,判断联合分析是否带来期望的结果。
6、联合分析权限关闭
根据模型审计结果,参与方可以随时关闭授予其他方的联合分析权限。关闭权限后,联合分析模型即无法运行,中立区中的模型结果表对所有参与方的“读”权限都被回收,参与方均无法读取数据,一段时间后(一个月或者用户自定义)此表就被销毁。
实际执行样例:
下面,以如下模型为例,说明本申请的执行:
模型说明:参与方A拥有用户的年龄、身高特征,参与方B拥有收入、性别特征。要执行的联合分析模型为:从所有用户中找出年龄>20,身高>170,收入<100000,性别为男性的用户。
对应的SQL为:
【
select id from
Select id from A where A.age>20and A.height>170 as A
join
Select id from B where B.salary<100000and B.gender=’M’as B
On A.id=B.id
】
那么,在模型编辑器中:
1、模型设置区:
模型编号:43452352。
选择加密函数为AES_ENC,解密函数为AES_DEC,密码”secret1234”。
2、脚本编辑区:
参与方A
编辑脚本:
【Select id from A where A.age>20 and A.height>170】
加密字段:
选择“id”
自动生成的实际执行脚本为:
【Insert into model_43452352_ASelect AES_ENC(id,”secret1234”)as idfrom A where A.age>20and A.height>170】
参与方B
编辑脚本:
【Select id from B where B.salary<100000and B.gender=’M’】
加密字段:
选择“id”
自动生成的实际执行脚本为:
【Insert into model_43452352_B Select AES_ENC(id,”secret1234”)as idfrom B where B.salary<100000and B.gender=’M’】
联合分析区
编辑脚本:
【select id from model_43452352_A join model_43452352_B on model_43452352_A.id=model_43452352_B.id】
自动生成的实际执行脚本为:
【Insert into model_43452352_result select id from model_43452352_Ajoin model_43452352_B on model_43452352_A.id=model_43452352_B.id】
3、模型执行
1)建表
在中立区建立表model_43452352_A、model_43452352_B、model_43452352_result,均只有一个字段,名称“id”,类型与A表相同。
2)授权
将model_43452352_A授权“写”给A;
model_43452352_B授权“写”给B;
model_43452352_result授权“读”给A、B。
3)参与方执行
A执行【Insert into model_43452352_ASelect AES_ENC(id,”secret1234”)asid from A where A.age>20and A.height>170】
B执行【Insert into model_43452352_B Select AES_ENC(id,”secret1234”)asid from B where B.salary<100000and B.gender=’M’】
4)联合分析
A、B均执行完后,中立区执行【Insert into model_43452352_result select idfrom model_43452352_A join model_43452352_B on model_43452352_A.id=model_43452352_B.id】
4、获取模型结果
A从中立区读取模型结果后写入自身的结果表,如:
Insert into A_rst select AES_DEC(id,“secret1234”)from model_43452352_result
5、模型结果审计
贡献度计算:
数据总量:
【select count(*)as cnt from model_43452352_result】
假设为10000条
A的贡献度:
模型结果中的条目,在A的中间表中出现的数量:
【select count(id)as cntA from select id from model_43452352_A joinmodel_43452352_result on model_43452352_A.id=model_43452352_result.id】
假设为9000条,贡献度=cntA/cnt=9000/10000=90%。
B的贡献度计算类似,得到贡献度10%。
参与方获取度量:
B执行了导出脚本,将模型结果导出到自身表:
Insert into B_rst select AES_DEC(id,“secret1234”)from model_43452352_result。
系统记录此次导出数量10000条。
6、联合分析权限关闭
A在审计模型时,发现A的贡献度为90%,B为10%。B导出了所有模型结果到其自身。A认为此次联合模型双方贡献度不成比例,于自身价值不大,关闭联合分析权限,并设置销毁模型结果表。
本申请实施例,可以使得有竞争关系的各业务线在不泄露各自特有数据前提下,实现业务线之间的数据合作,提高公司整体的数据利用水平,促进业务发展。
需要说明的是,本申请实施例提供的数据处理方法,执行主体可以为数据处理装置,或者,该数据处理装置中的用于执行数据处理方法的控制模块。本申请实施例中以数据处理装置执行数据处理方法为例,说明本申请实施例提供的数据处理装置。
参见图5,图5是本申请实施例提供的数据处理装置的结构图之一。
如图5所示,数据处理装置500包括:
创建模块501,用于在获取到p个参与方分别授权至少一个原始表的联合分析权限的情况下,若接收到第一输入,则在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表,其中,第一输入为触发进行联合分析的输入,所述模型结果表仅授权读取权限给所述p个参与方,各中间表仅授权写入权限给其对应的参与方,p为大于1的整数;
第一写入模块502,用于在所述p个中间表写入数据,其中,各参与方对应的中间表写入的数据为:各参与方通过执行对应的参与方执行脚本获取到的第一数据;
第二写入模块503,用于在检测到各参与方执行完对应的所述参与方执行脚本情况下,在所述资源管理平台执行联合分析执行脚本,并将所述联合分析执行脚本的执行结果写入所述模型结果表。
可选地,所述服务器还包括模型编辑器;所述装置还包括:
第一获取模块,用于从所述模型编辑器获取模型信息,所述模型信息包括:
模型设置信息,所述模型设置信息包括模型编号;
与所述p个参与方一一对应的p个参与方设置信息,各参与方对应的参与方设置信息包括对应参与方编号和参与方执行脚本;
联合分析设置信息,所述联合分析设置信息包括所述联合分析执行脚本;
所述创建模块,具体用于:
根据所述模型信息,在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表;
其中,各中间表的名称基于所述模型编号以及对应参与方编号确定;所述模型结果表的名称基于所述模型编号确定。
可选地,所述模型编辑器包括:模型设置区,与所述p个参与方一一对应的p个参与方设置区,以及联合分析设置区;
所述装置还包括:
第一显示模块,用于在所述模型设置区显示:所述模型编号,以及加解密信息;
第二显示模块,用于在各参与方对应的参与方设置区显示:对应的参与方编号,对应的参与方原始脚本,以及对应的待加密数据;
第一生成模块,用于根据所述模型编号,各参与方对应的参与方编号,各参与方对应的参与方原始脚本,各参与方对应的待加密数据,以及所述加解密信息,生成各参与方对应的参与方执行脚本;
第三显示模块,用于在所述联合分析设置区显示:目标参与方输入的联合分析原始脚本,所述目标参与方为p个参与方中发起联合分析的参与方;
第二生成模块,用于根据所述模型编号,以及所述联合分析原始脚本,生成所述联合分析执行脚本,并在所述联合分析设置区显示所述联合分析执行脚本。
可选地,所述第一生成模块,包括:
第一生成单元,用于根根据所述模型编号,以及第一参与方对应的参与方编号,生成第一名称,所述第一名称为所第一参与方对应的中间表的名称,所述第一参与方为所述p个参与方中的任一参与方;
第二生成单元,用于根据所述加解密信息和所述待加密字段,生成第一字段;
第一改写单元,用于根据第一规则,改写所述第一参与方对应的第一原始脚本,得到所述第一参与方对应的第一参与方执行脚本;
其中,所述第一规则为:将所述第一原始脚本中的待加密字段替换为所述第一字段,并在所述第一原始脚本增加第二字段,所述第二字段用于表征将脚本执行结果输入所述第一名称对应的表中。
可选地,所述第二生成模块,包括:
第三生成单元,用于根据所述模型编号,生成第二名称,所述第二名称为所述模型结果表的名称;
第二改写单元,用于根据第二规则,改写所述联合分析原始脚本,得到所述联合分析执行脚本;
其中,所述第二规则包括在所述联合分析原始脚本增加第三字段,所述第三字段用于表征将脚本执行结果输入所述第二名称对应的表中。
可选地,所述装置还包括:
第二生成模块,用于根据所述模型结果表的特征信息,生成联合模型审计结果;
展示模块,用于在目标页面展示所述联合模型审计结果;
其中,所述特征信息包括以下至少一项:所述模型结果表包括的数据总数,所述模型结果表中各数据关联的中间表,以及所述模型结果表中各数据的读取次数。
参见图6,图6是本申请实施例提供的数据处理装置的结构图之二。
如图6所示,数据处理装置600包括:
第二获取模块601,用于在所述第一参与方授权至少一个原始表的联合分析权限的情况下,获取所述第一参与方对应的第一参与方执行脚本;
第一执行模块602,用于执行所述第一参与方执行脚本,得到第一数据;
第一发送模块603,用于向服务器发送所述第一数据,所述第一数据写入所述服务器的资源管理平台的第一中间表中,所述第一中间表与所述第一参与方对应。
可选地,在所述第一参与方是目标参与方,目标参与方为p个参与方中发起联合分析的参与方,p为大于1的整数的情况下,所述装置还包括:
第二发送模块,用于向至少一个参与方分别发送第一请求,所述第一请求用于请求至少一个原始表的联合分析权限;
第二接收模块,用于接收所述至少一个参与方分别发送的第一回复,所述第一回复用于指示是否通过所述第一请求;
所述第二获取模块,具体用于:
在基于所述第一回复确定所述p个参与方分别授权至少一个原始表的联合分析权限的情况下,获取所述第一参与方对应的第一参与方执行脚本。
可选地,在所述第一参与方不是目标参与方,目标参与方为p个参与方中发起联合分析的参与方,p为大于1的整数的情况下,所述装置还包括:
第三接收模块,用于接收所述目标参与方发送的第一请求,所述第一请求用于至少一个原始表的联合分析权限;
第三发送模块,用于发送用于指示通过所述第一请求的第一回复。
可选地,在所述第一参与方是目标参与方,目标参与方为p个参与方中发起联合分析的参与方,p为大于1的整数的情况下,所述装置还包括:
第一访问模块,用于访问所述服务器的模型编辑器,所述模型编辑器包括:模型设置区,与所述p个参与方一一对应的p个参与方设置区,以及联合分析设置区;
输入模块,用于在所述模型编辑器输入目标信息;
其中,所述目标信息包括:
在所述模型设置区输入的加解密信息;
在各参与方对应的参与方设置区输入的:对应的参与方原始脚本,以及对应的待加密数据;
在所述联合分析设置区输入的:联合分析原始脚本。
可选地,所述装置还包括:
第二执行模块,用于:
执行所述第一参与方对应的第一数据读取执行脚本,所述第一数据读取执行脚本用于从所述服务器的模型结果表中读取数据;
将所述第一数据读取执行脚本的执行结果写入所述第一参与方对应的参与方结果表中。
可选地,所述装置还包括:
第二访问模块,用于访问目标页面,所述目标页面包括联合模型审计结果,所述联合模型审计结果基于所述模型结果表的特征信息生成,所述特征信息包括以下至少一项:所述模型结果表包括的数据总数,所述模型结果表中各数据关联的中间表,以及所述模型结果表中各数据的读取次数;
确定模块,用于根据所述联合模型审计结果,确定是否达到预设联合分析期望结果;
第四发送模块,用于在未达到所述预设联合分析期望结果的情况下,发送指示信息,所述指示信息用于指示关闭联合分析权限。
本申请实施例中的数据处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的数据处理装置500能够实现图1的方法实施例中数据处理装置实现的各个过程,数据处理装置600能够实现图3的方法实施例中数据处理装置实现的各个过程,为避免重复,这里不再赘述。
可选的,如图7所示,本申请实施例还提供一种通信设备700,包括处理器701,存储器702,存储在存储器702上并可在所述处理器701上执行的程序或指令,该程序或指令被处理器701执行时实现上述图1或图3方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述数据处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的通信设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于执行程序或指令,实现上述数据处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (16)
1.一种数据处理方法,由服务器执行,其特征在于,所述服务器设置有资源管理平台;所述方法包括:
在获取到p个参与方分别授权至少一个原始表的联合分析权限的情况下,若接收到第一输入,则在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表,其中,第一输入为触发进行联合分析的输入,所述模型结果表仅授权读取权限给所述p个参与方,各中间表仅授权写入权限给其对应的参与方,p为大于1的整数;
在所述p个中间表写入数据,其中,各参与方对应的中间表写入的数据为:各参与方通过执行对应的参与方执行脚本获取到的第一数据;
在检测到各参与方执行完对应的所述参与方执行脚本情况下,在所述资源管理平台执行联合分析执行脚本,并将所述联合分析执行脚本的执行结果写入所述模型结果表。
2.根据权利要求1所述的方法,其特征在于,所述服务器还包括模型编辑器;所述在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表之前,所述方法还包括:
从所述模型编辑器获取模型信息,所述模型信息包括:
模型设置信息,所述模型设置信息包括模型编号;
与所述p个参与方一一对应的p个参与方设置信息,各参与方对应的参与方设置信息包括:参与方编号和参与方执行脚本;
联合分析设置信息,所述联合分析设置信息包括所述联合分析执行脚本;
所述在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表包括:
根据所述模型信息,在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表;
其中,各中间表的名称基于所述模型编号以及其对应的参与方编号确定;所述模型结果表的名称基于所述模型编号确定。
3.根据权利要求2所述的方法,其特征在于,所述模型编辑器包括:模型设置区,与所述p个参与方一一对应的p个参与方设置区,以及联合分析设置区;
所述从所述模型编辑器获取模型信息之前,所述方法还包括:
在所述模型设置区显示:所述模型编号,以及加解密信息;
在各参与方对应的参与方设置区显示:对应的参与方编号,对应的参与方原始脚本,以及对应的待加密数据;
根据所述模型编号,各参与方对应的参与方编号,各参与方对应的参与方原始脚本,各参与方对应的待加密数据,以及所述加解密信息,生成各参与方对应的参与方执行脚本;
在所述联合分析设置区显示:目标参与方输入的联合分析原始脚本,所述目标参与方为p个参与方中发起联合分析的参与方;
根据所述模型编号,以及所述联合分析原始脚本,生成所述联合分析执行脚本。
4.根据权利要求3所述的方法,其特征在于,所述根据所述模型编号,各参与方对应的参与方编号,各参与方对应的参与方原始脚本,各参与方对应的待加密数据,以及所述加解密信息,生成各参与方对应的参与方执行脚本,包括:
根据所述模型编号,以及第一参与方对应的参与方编号,生成第一名称,所述第一名称为所第一参与方对应的中间表的名称,所述第一参与方为所述p个参与方中的任一参与方;
根据所述加解密信息和所述第一参与方对应的待加密字段,生成第一字段;
根据第一规则,改写所述第一参与方对应的第一参与方原始脚本,得到所述第一参与方对应的第一参与方执行脚本;
其中,所述第一规则为:将所述第一原始脚本中的待加密字段替换为所述第一字段,并在所述第一原始脚本增加第二字段,所述第二字段用于表征将脚本执行结果输入所述第一名称对应的表中。
5.根据权利要求3所述的方法,其特征在于,所述根据所述模型编号,以及所述联合分析原始脚本,生成所述联合分析执行脚本,包括:
根据所述模型编号,生成第二名称,所述第二名称为所述模型结果表的名称;
根据第二规则,改写所述联合分析原始脚本,得到所述联合分析执行脚本;
其中,所述第二规则包括在所述联合分析原始脚本增加第三字段,所述第三字段用于表征将脚本执行结果输入所述第二名称对应的表中。
6.根据权利要求1所述的方法,其特征在于,所述将执行所述联合分析执行脚本的执行结果写入所述模型结果表之后,所述方法还包括:
根据所述模型结果表的特征信息,生成联合模型审计结果;
在目标页面展示所述联合模型审计结果;
其中,所述特征信息包括以下至少一项:所述模型结果表包括的数据总数,所述模型结果表中各数据关联的中间表,以及所述模型结果表中各数据的读取次数。
7.一种数据处理方法,由第一参与方执行,其特征在于,所述方法包括:
在所述第一参与方授权至少一个原始表的联合分析权限的情况下,获取所述第一参与方对应的第一参与方执行脚本;
执行所述第一参与方执行脚本,得到第一数据;
向服务器发送所述第一数据,所述第一数据写入所述服务器的资源管理平台的第一中间表中,所述第一中间表与所述第一参与方对应。
8.根据权利要求7所述的方法,其特征在于,在所述第一参与方是目标参与方,目标参与方为p个参与方中发起联合分析的参与方,p为大于1的整数的情况下,所述获取所述第一参与方对应的第一参与方执行脚本之前,所述方法还包括:
向至少一个参与方分别发送第一请求,所述第一请求用于请求至少一个原始表的联合分析权限;
接收所述至少一个参与方分别发送的第一回复,所述第一回复用于指示是否通过所述第一请求;
所述获取所述第一参与方对应的第一参与方执行脚本,包括:
在基于所述第一回复确定所述p个参与方分别授权至少一个原始表的联合分析权限的情况下,获取所述第一参与方对应的第一参与方执行脚本。
9.根据权利要求7所述的方法,其特征在于,在所述第一参与方不是目标参与方,目标参与方为p个参与方中发起联合分析的参与方,p为大于1的整数的情况下,所述获取所述第一参与方对应的第一参与方执行脚本之前,所述方法还包括:
接收所述目标参与方发送的第一请求,所述第一请求用于至少一个原始表的联合分析权限;
发送用于指示通过所述第一请求的第一回复。
10.根据权利要求7所述的方法,其特征在于,在所述第一参与方是目标参与方,目标参与方为p个参与方中发起联合分析的参与方,p为大于1的整数的情况下,所述获取所述第一参与方对应的第一参与方执行脚本之前,所述方法还包括:
访问所述服务器的模型编辑器,所述模型编辑器包括:模型设置区,与所述p个参与方一一对应的p个参与方设置区,以及联合分析设置区;
在所述模型编辑器输入目标信息;
其中,所述目标信息包括:
在所述模型设置区输入的加解密信息;
在各参与方对应的参与方设置区输入的:对应的参与方原始脚本,以及对应的待加密数据;
在所述联合分析设置区输入的:联合分析原始脚本。
11.根据权利要求7所述方法,其特征在于,所述向服务器发送所述第一数据之后,所述方法还包括:
执行所述第一参与方对应的第一数据读取执行脚本,所述第一数据读取执行脚本用于从所述服务器的模型结果表中读取数据;
将所述第一数据读取执行脚本的执行结果写入所述第一参与方对应的参与方结果表中。
12.根据权利要求7所述的方法,其特征在于,所述向服务器发送所述第一数据之后,所述方法还包括:
访问目标页面,所述目标页面包括联合模型审计结果,所述联合模型审计结果基于所述服务器的模型结果表的特征信息生成,所述特征信息包括以下至少一项:所述模型结果表包括的数据总数,所述模型结果表中各数据关联的中间表,以及所述模型结果表中各数据的读取次数;
根据所述联合模型审计结果,确定是否达到预设联合分析期望结果;
在未达到所述预设联合分析期望结果的情况下,发送指示信息,所述指示信息用于指示关闭联合分析权限。
13.一种数据处理装置,应用于服务器,其特征在于,所述服务器包括资源管理平台;所述装置包括:
创建模块,用于在获取到p个参与方分别授权至少一个原始表的联合分析权限的情况下,若接收到第一输入,则在所述资源管理平台创建模型结果表,以及与所述p个参与方一一对应的p个中间表,其中,第一输入为触发进行联合分析的输入,所述模型结果表仅授权读取权限给所述p个参与方,各中间表仅授权写入权限给其对应的参与方,p为大于1的整数;
第一写入模块,用于在所述p个中间表写入数据,其中,各参与方对应的中间表写入的数据为:各参与方通过执行对应的参与方执行脚本获取到的第一数据;
第二写入模块,用于在检测到各参与方执行完对应的所述参与方执行脚本情况下,在所述资源管理平台执行联合分析执行脚本,并将所述联合分析执行脚本的执行结果写入所述模型结果表。
14.一种数据处理装置,应用于第一参与方,其特征在于,包括:
第二获取模块,用于在所述第一参与方授权至少一个原始表的联合分析权限的情况下,获取所述第一参与方对应的第一参与方执行脚本;
第一执行模块,用于执行所述第一参与方执行脚本,得到第一数据;
第一发送模块,用于向服务器发送所述第一数据,所述第一数据写入所述服务器的资源管理平台的第一中间表中,所述第一中间表与所述第一参与方对应。
15.一种通信设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤;或,如权利要求7至12中任一项所述的数据处理方法的步骤。
16.一种可读存储介质,其特征在于,所述可读存储介质上存储有程序或指令,所述程序或指令被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤;或,如权利要求7至12中任一项所述的数据处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210653557.XA CN115081199A (zh) | 2022-06-10 | 2022-06-10 | 数据处理方法、装置、通信设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210653557.XA CN115081199A (zh) | 2022-06-10 | 2022-06-10 | 数据处理方法、装置、通信设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115081199A true CN115081199A (zh) | 2022-09-20 |
Family
ID=83251014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210653557.XA Pending CN115081199A (zh) | 2022-06-10 | 2022-06-10 | 数据处理方法、装置、通信设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115081199A (zh) |
-
2022
- 2022-06-10 CN CN202210653557.XA patent/CN115081199A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7974942B2 (en) | Data masking system and method | |
CN106295388B (zh) | 一种数据脱敏方法和装置 | |
CN101587479B (zh) | 面向数据库管理系统内核的数据加解密系统及其方法 | |
CN112184177B (zh) | 一种项目监管的方法、设备及存储介质 | |
CN109829333B (zh) | 一种基于OpenID的关键信息保护方法及系统 | |
CN110932859A (zh) | 用户信息的处理方法、装置、设备及可读存储介质 | |
CN106295265A (zh) | 一种用户权限管理的方法及装置 | |
CN118245565B (zh) | 一种多方参与隐私安全的知识库构建方法 | |
TW201931189A (zh) | 對策制定支援裝置、對策制定支援方法及對策制定支援程式產品 | |
CN116542637A (zh) | 一种基于计算机的政务平台安全管控方法 | |
Amorndettawin et al. | Non-functional requirement patterns for agile software development | |
CN114900334A (zh) | Nft权限控制方法、系统、计算机可读存储介质及终端设备 | |
CN112702354B (zh) | 一种基于区块链技术的数据资源共享追溯方法及装置 | |
CN115081199A (zh) | 数据处理方法、装置、通信设备及可读存储介质 | |
US11790093B2 (en) | Cognitive tokens for authorizing restricted access for cyber forensics | |
CN116049783A (zh) | 一种基于安全硬件载体的企业票据管理方法及系统 | |
CN100486157C (zh) | 一种分布式数据加密方法 | |
CN115048672A (zh) | 基于区块链的数据审计方法和装置、处理器及电子设备 | |
CN111339523B (zh) | 嵌入式设备的授权方法及装置 | |
Wekerle et al. | Intellectual property protection in smart systems engineering on exchange of simulation models | |
CN113626844A (zh) | 用户权限控制方法、系统、计算机设备及存储介质 | |
CA2559428C (en) | Data masking system and method | |
CN104331827A (zh) | 交易配置生成方法及交易匹配器 | |
Gardazi et al. | Compliance-driven architecture for healthcare industry | |
CN115114670B (zh) | 基于外链的文件解锁方法、装置、网盘及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |