CN112187703B - 数据处理的方法及装置 - Google Patents

数据处理的方法及装置 Download PDF

Info

Publication number
CN112187703B
CN112187703B CN201910591150.7A CN201910591150A CN112187703B CN 112187703 B CN112187703 B CN 112187703B CN 201910591150 A CN201910591150 A CN 201910591150A CN 112187703 B CN112187703 B CN 112187703B
Authority
CN
China
Prior art keywords
data
tool
image data
mirror image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910591150.7A
Other languages
English (en)
Other versions
CN112187703A (zh
Inventor
陈坤斌
王万梁
邓乐
卓泽城
方军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910591150.7A priority Critical patent/CN112187703B/zh
Publication of CN112187703A publication Critical patent/CN112187703A/zh
Application granted granted Critical
Publication of CN112187703B publication Critical patent/CN112187703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0272Virtual private networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Storage Device Security (AREA)

Abstract

本发明实施例提供一种数据处理的方法及装置,在接收到用户的数据调用请求后,先验证用户权限,在用户权限验证通过的情况下,搭建网络隔离环境,并在该网络隔离环境中返回包括数据的地址的目标镜像数据,即本发明实施例中,在接收到用户的数据调用请求后,不是直接返回数据,而是在网络隔离环境中返回目标数据镜像,使得用户在后续处理中,只能根据该目标数据镜像在网络隔离环境中进行数据处理,而无法获取到真实的数据,即让数据处于用户可以根据权限调用但无法知晓数据具体内容的状态,从而可以提升数据调用的安全性。

Description

数据处理的方法及装置
技术领域
本发明涉及通信技术领域,尤其涉及数据处理的方法及装置。
背景技术
随着计算机技术的发展,大数据分析得到越来越多的应用。在大数据分析中,丰富的数据是得到准确分析结果的前提。
现有技术中,用户进行数据调用时,平台通常会根据用户的调用请求,将调用请求对应的数据发给用户,平台无法对发给用户的数据的实际用途进行监控,在用户后续对数据的传输和处理中,可能会出现数据内容泄露的现象,数据调用的安全性较差。正是基于现有技术的数据调用安全性差的原因,通常企业或组织不希望将各自的数据公开,各自的数据只是在自己内部使用,形成分散的数据孤岛,无法发挥更大的价值。
发明内容
本发明实施例提供数据处理的方法及装置,以解决数据调用安全性低的技术问题。
本发明实施例第一方面提供一种数据处理的方法,包括:
在第一用户界面中接收数据调用请求;所述数据调用请求包括用户标识和数据标识;
在所述用户标识对应的用户具备调用所述数据标识对应的数据的权限的情况下,搭建网络隔离环境;
在所述网络隔离环境中返回所述数据标识对应的数据所关联的目标镜像数据;所述目标镜像数据包括:所述数据的地址。
可选的,所述在所述网络隔离环境中返回所述数据标识对应的数据所关联的目标镜像数据之后,还包括:
在所述网络隔离环境中接收工具调用请求;
根据所述工具调用请求对应的工具对所述目标镜像数据对应的数据进行处理,得到结果数据。
可选的,所述工具包括:数据分析工具和建模工具的至少一种;其中,所述数据分析工具用于批量计算所述目标镜像数据,所述建模工具用于根据所述目标镜像数据建模。
可选的,所述工具包括自定义工具,所述方法还包括:
在第二用户界面接收自定义工具操作;
响应于所述自定义工具操作,生成自定义工具。
可选的,所述根据所述工具对所述目标镜像数据对应的数据进行处理,得到结果数据之后,还包括:
校验所述结果数据;
在所述结果数据通过校验的情况下,输出所述结果数据。
可选的,所述校验所述结果数据,包括:
将所述结果数据与预设的敏感词库匹配;
若所述结果数据中不包括所述敏感词库中的敏感词,确定所述结果数据通过校验;
若所述结果数据中包括所述敏感词库中的敏感词,确定所述结果数据没有通过校验。
可选的,所述目标镜像数据还包括:所述目标镜像数据的有效使用期限。
可选的,所述在第一用户界面中接收数据调用请求之前,还包括:
接收源数据;
按照预设规则对所述源数据分类;
对于每一类所述源数据,设置该类源数据的调用权限。
可选的,所述搭建网络隔离环境包括:
根据预设安全策略,将所述数据对应的地址封装为目标镜像数据。
可选的,所述网络隔离环境包括:虚拟私有云VPC环境。
本发明实施例第二方面提供一种数据处理的装置,包括:
数据调用请求接收模块,用于在第一用户界面中接收数据调用请求;所述数据调用请求包括用户标识和数据标识;
网络隔离环境搭建模块,用于在所述用户标识对应的用户具备调用所述数据标识对应的数据的权限的情况下,搭建网络隔离环境;
目标镜像数据返回模块,用于在所述网络隔离环境中返回所述数据标识对应的数据所关联的目标镜像数据;所述目标镜像数据包括:所述数据的地址。
可选的,还包括:
工具调用请求接收模块,用于在所述网络隔离环境中接收工具调用请求;
结果数据得到模块,用于根据所述工具调用请求对应的工具对所述目标镜像数据对应的数据进行处理,得到结果数据。
可选的,所述工具包括:数据分析工具和建模工具的至少一种;其中,所述数据分析工具用于批量计算所述目标镜像数据,所述建模工具用于根据所述目标镜像数据建模。
可选的,所述工具包括自定义工具,所述装置还包括:
自定义工具操作接收模块,用于在第二用户界面接收自定义工具操作;
自定义工具生成模块,用于响应于所述自定义工具操作,生成自定义工具。
可选的,还包括:
校验模块,用于校验所述结果数据;
输出模块,用于在所述结果数据通过校验的情况下,输出所述结果数据。
可选的,所述校验模块包括:
校验子模块,用于将所述结果数据与预设的敏感词库匹配;若所述结果数据中不包括所述敏感词库中的敏感词,确定所述结果数据通过校验;若所述结果数据中包括所述敏感词库中的敏感词,确定所述结果数据没有通过校验。
可选的,所述目标镜像数据还包括:所述目标镜像数据的有效使用期限。
可选的,还包括:
源数据接收模块,用于接收源数据;
分类模块,用于按照预设规则对所述源数据分类;
设置模块,用于对于每一类所述源数据,设置该类源数据的调用权限。
可选的,所述网络隔离环境搭建模块包括:
网络隔离环境搭建子模块,用于根据预设安全策略,将所述数据对应的地址封装为目标镜像数据。
可选的,所述网络隔离环境包括:虚拟私有云VPC环境。
本发明实施例第三方面提供一种电子设备,包括:处理器,存储器以及计算机程序;其中,所述计算机程序被存储在所述存储器中,并且被配置为由所述处理器执行,所述计算机程序包括用于执行如前述第一方面任一项所述的方法的指令。
本发明实施例第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被执行时,实现如前述第一方面任一项所述的方法。
根据本申请的第五方面,提供了一种计算机程序产品,所述程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
本发明实施例相对于现有技术的有益效果:
本发明实施例中提供了一种数据处理的方法及装置,在接收到用户的数据调用请求后,先验证用户权限,在用户权限验证通过的情况下,搭建网络隔离环境,并在该网络隔离环境中返回包括数据的地址的目标镜像数据,即本发明实施例中,在接收到用户的数据调用请求后,不是直接返回数据,而是在网络隔离环境中返回目标数据镜像,使得用户在后续处理中,只能根据该目标数据镜像在网络隔离环境中进行数据处理,而无法获取到真实的数据,即让数据处于用户可以根据权限调用但无法知晓数据具体内容的状态,从而可以提升数据调用的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据处理的方法的流程示意图;
图2为本发明实施例提供的数据处理的方法的另一流程示意图;
图3为本发明实施例提供的数据处理平台的功能模块示意图;
图4为本发明提供的数据处理装置的装置实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,本发明说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
本发明实施例中提供了一种数据处理的方法及装置,在接收到用户的数据调用请求后,先验证用户权限,在用户权限验证通过的情况下,搭建网络隔离环境,并在该网络隔离环境中返回包括数据的地址的目标镜像数据,即本发明实施例中,在接收到用户的数据调用请求后,不是直接返回数据,而是在网络隔离环境中返回目标数据镜像,使得用户在后续处理中,只能根据该目标数据镜像在网络隔离环境中进行数据处理,而无法获取到真实的数据,即让数据处于用户可以根据权限调用但无法知晓数据具体内容的状态,从而可以提升数据调用的安全性。
本发明实施例的数据处理方法可以应用于数据处理平台,数据处理平台可以是用于为各类人工智能(artificial intelligence,AI)业务提供服务支持的一体化平台。数据处理平台可以应用于终端,终端可以包括:手机、平板电脑、笔记本电脑、台式电脑或者服务器等可以运行数据处理方法的电子设备。
本发明实施例所描述的第一用户界面可以是数据处理平台中的用户界面,在第一用户界面中可以包括登录/注册控件、搜索控件等,登录/注册控件可以用于接收用户的登录或注册操作,搜索控件可以用于接收用户输入的关键字等搜索内容。可以理解,第一用户界面中还可以根据实际的应用场景设置其他的元素,本发明实施例对第一用户界面不作具体限定。
本发明实施例所描述的网络隔离环境可以是虚拟私有云(virtual privatecloud,VPC)。示例的,企业可以在数据中心里申请一组信息技术(informationtechnology,IT)资源,为本企业提供云计算的服务,IT资源由数据中心管理。数据中心里的硬件资源以虚拟化设备的形式为企业提供云服务,比如企业申请N台服务器,数据中心不会物理上划分N台服务器给企业使用,而是根据用户对服务器的要求,比如中央处理器(central processing unit,CPU),内存,硬盘大小等要求,在硬件资源中虚拟出N台服务器给企业使用。则这些虚拟的服务器,即用户申请的资源,构成一个VPC。VPC的封闭隔离的网络环境,可以从网络层面保证数据的安全。可以理解,网络隔离环境还可以根据实际的应用场景进行相应的设定,本发明实施例对此不作具体限定。
本发明实施例所描述的目标镜像数据可以是:数据的另外一种表示方式,使得用户通过目标镜像数据可以执行对数据的操作,但是不能知晓数据的具体内容,即目标镜像数据用于使数据对用户处于“可用而不可见”的状态,从而可以避免用户对数据的泄露,保证数据的安全性。具体的,目标镜像数据中可以包括数据的地址等,本发明实施例对此不作具体限定。
如图1所示,图2为本发明实施例提供的数据处理的方法的流程示意图。该方法具体可以包括:
步骤S101:在第一用户界面中接收数据调用请求;所述数据调用请求包括用户标识和数据标识。
本发明实施例中,数据处理平台可以预先存储供方用户提供的源数据,当需方用户希望调用数据时,可以在第一用户界面中输入希望调用的数据标识,则数据处理平台可以接收到数据调用请求,该数据调用请求中包括了数据标识和用户标识。
具体的,数据标识可以是关键字、标题等标识,用户标识可以是用户的账号名、用户所使用的终端的终端标识等,本发明实施例对数据标识和用户标识不作具体限定。
步骤S102:在所述用户标识对应的用户具备调用所述数据标识对应的数据的权限的情况下,搭建网络隔离环境。
本发明实施例中,在数据处理平台中,可以设置各数据的用户使用权限,示例的,对于各数据,可以设置能够调用该数据的用户标识白名单,当该用户标识在该白名单中时,可以认为用户标识对应的用户具备调用该数据标识对应的数据的权限。示例的,对于各数据,也可以设置不能调用该数据的用户标识黑名单,当该用户标识不在该黑名单中时,可以认为用户标识对应的用户具备调用该数据标识对应的数据的权限。可以理解,实际应用中,还可以根据实际的应用场景对用户的数据调用权限进行设定,本发明实施例对此不作具体限定。
本发明实施例中,若该用户标识对应的用户具备调用该数据标识对应的数据的权限,则可以进一步搭建网络隔离环境,使得后续的数据调用等处理流程可以在该网络隔离环境中进行,从而可以提高数据处理的安全性。
示例的,搭建网络隔离环境可以包括:搭建网络隔离的云上环境,该环境可以处于独立网段,提供了隔离空间,以及将用户申请的敏感数据,通过访问控制列表(accesscontrol list,ACL)等各种安全策略与计算资源进行关联绑定,保证该计算资源对数据有操作权限,但又无法进行导出。
步骤S103:在所述网络隔离环境中返回所述数据标识对应的数据所关联的目标镜像数据;所述目标镜像数据包括:所述数据的地址。
本发明实施例中,在网络隔离环境中不是将数据标识对应的数据直接返回给用户,而是将数据标识对应的数据所关联的目标镜像数据返回给用户,使得用户可以根据目标镜像数据对数据进行操作,但是不能看到数据的具体内容,从而可以保证数据处理的安全性。
具体应用中,目标镜像数据中可以包括数据的地址,通过该数据的地址可以调用该数据,并对该数据进行调用和处理等。示例的,数据的地址可以是统一资源定位符(uniform resource locator,URL),本发明实施例对数据的地址不作具体限定。
可以理解,实际应用中,还可以根据实际应用场景,在目标镜像数据中设置其他的内容,本发明实施例对此不作具体限定。
综上所述,本发明实施例中提供了一种数据处理的方法及装置,在接收到用户的数据调用请求后,先验证用户权限,在用户权限验证通过的情况下,搭建网络隔离环境,并在该网络隔离环境中返回包括数据的地址的目标镜像数据,即本发明实施例中,在接收到用户的数据调用请求后,不是直接返回数据,而是在网络隔离环境中返回目标数据镜像,使得用户在后续处理中,只能根据该目标数据镜像在网络隔离环境中进行数据处理,而无法获取到真实的数据,即让数据处于用户可以根据权限调用但无法知晓数据具体内容的状态,从而可以提升数据调用的安全性。
图2为本发明实施例提供的数据处理的方法的另一流程示意图。如图2所示,本发明提供的数据处理的方法具体可以包括:
步骤S101:在第一用户界面中接收数据调用请求;所述数据调用请求包括用户标识和数据标识。
可选的,在步骤S101之前,还可以包括:接收源数据;按照预设规则对所述源数据分类;对于每一类所述源数据,设置该类源数据的调用权限。
本发明实施例中,数据处理平台可以预先接收供方用户提供的源数据,然后可以根据数据的重要性、敏感程度等对数据进行分类,并可以设定各类源数据的等级,每个等级有对应的调用权限,则后续需方用户只能调用具备权限的数据,可以保证数据调用的安全性。
可以理解,源数据的具体分类和权限设置可以根据实际的应用场景进行确定,本发明实施例对此不作具体限定。
步骤S102:在所述用户标识对应的用户具备调用所述数据标识对应的数据的权限的情况下,搭建网络隔离环境。
可选的,所述搭建网络隔离环境包括:根据预设安全策略,将所述数据对应的地址封装为目标镜像数据。
本发明实施例中,预设安全策略可以包括设置密文、设置伪数据格式等,根据预设安全策略将数据对应的地址封装,可以使得地址对用户不可见,可以进一步保证数据的安全。
可以理解,预设安全策略还可以根据实际的应用场景进行设定,本发明实施例对此不作具体限定。
步骤S103:在所述网络隔离环境中返回所述数据标识对应的数据所关联的目标镜像数据;所述目标镜像数据包括:所述数据的地址。
可选的,所述目标镜像数据还包括:所述目标镜像数据的有效使用期限。
本发明实施例中,还可设定目标镜像数据的有效使用期限,在超出该有效使用期限后,将不能使用该目标镜像数据对数据进行调用,从而可以进一步保证数据的安全调用。
步骤S104:在所述网络隔离环境中接收工具调用请求。
本发明实施例中,在用户接受到返回的目标镜像数据后,可以进一步调用工具对该目标镜像对应的数据进行处理。
具体应用中,数据处理平台可以在网络隔离环境中设置工具调用界面,工具调用界面中可以包括各工具的工具标识,在用户通过点击、拖拽等操作触发工具标识后,数据处理平台可以接收到工具调用请求。
可以理解,用户触发工具调用方式还可以根据实际的应用场景进行设定,本发明实施例对此不作具体限定。
步骤S105:根据所述工具调用请求对应的工具对所述目标镜像数据对应的数据进行处理,得到结果数据。
具体应用中,工具可以是完成某项功能的代码,代码具体可以是由多个脚本文件或二进制文件组合而成。工具不仅可以包括平台固定设置的工具,还可以包括根据实际的应用场景自定义的工具。在自定义工具时,可以包括:在第二用户界面接收自定义工具操作;响应于所述自定义工具操作,生成自定义工具。
具体应用中,第二用户界面可以包括:代码编辑区域、工具存储区等,用户可以在代码编辑区域输入代码,代码运行后可以用于执行一定的流程,该可执行流程可以为自定义工具,自定义工具可以存储在工具存储区,可以理解,用户还可以根据实际的需求对用户进行命名、标识等,本发明实施例对此不作具体限定。
本发明实施例中,由于可以自定义工具,因此可以实现高度自由的数据处理,且工具的调用在隔离网络环境中,可以保证工具使用的安全性。
可选的,所述工具包括:数据分析工具和建模工具的至少一种;其中,所述数据分析工具用于批量计算所述目标镜像数据,所述建模工具用于根据所述目标镜像数据建模。
示例的,数据分析工具可以包括百度云上组件BMR以及大数据组件spark等,用于提供批量计算数据,支持各种机器学习组件,进行大数据相关处理及分析;建模工具可以包括百度机器学习工具Jarvis,支持编码建模,拖拽建模等多种功能。
可以理解,工具的具体内容还可以根据实际的应用场景进行设定,本发明实施例对此不作具体限定。
步骤S106:校验所述结果数据。
本发明实施例中,为例保证结果数据的安全性,可以对结果数据进一步校验,只有在结果数据校验通过的情况下,才将结果数据输出。
可选的,所述校验所述结果数据,包括:将所述结果数据与预设的敏感词库匹配;若所述结果数据中不包括所述敏感词库中的敏感词,确定所述结果数据通过校验;若所述结果数据中包括所述敏感词库中的敏感词,确定所述结果数据没有通过校验。
本发明实施例中,考虑到结果数据是根据数据处理平台中的数据得到的,在该结果数据中可能包含了数据处理平台的数据内容,若将该结果数据直接输出,仍有可能造成数据泄露。因此,将结果数据与预设的敏感词库匹配;若结果数据中不包括敏感词库中的敏感词,确定结果数据通过校验;若结果数据中包括敏感词库中的敏感词,确定结果数据没有通过校验。
可以理解,敏感词库中的具体内容可以根据实际的应用场景确定,本发明实施例对此不作具体限定。
步骤S107:在所述结果数据通过校验的情况下,输出所述结果数据。
具体应用中,结果数据可以是基于数据处理平台中的数据产生的新数据,也可以是基于数据处理平台中的数据训练得到的模型,则输出结果数据的方式可以是,形成新数据发布至市场,或形成模型推动至模型预测服务,本发明实施例对此不作具体限定。
综上所述,本发明实施例中提供了一种数据处理的方法及装置,在接收到用户的数据调用请求后,先验证用户权限,在用户权限验证通过的情况下,搭建网络隔离环境,并在该网络隔离环境中返回包括数据的地址的目标镜像数据,即本发明实施例中,在接收到用户的数据调用请求后,不是直接返回数据,而是在网络隔离环境中返回目标数据镜像,使得用户在后续处理中,只能根据该目标数据镜像在网络隔离环境中进行数据处理,而无法获取到真实的数据,即让数据处于用户可以根据权限调用但无法知晓数据具体内容的状态,从而可以提升数据调用的安全性。
图3是本发明实施例的应用的数据处理平台的功能结构示意图。如图3所示,控制模块(controller)可以用于对数据处理平台中各个模块的调度。将供方提供的数据可以通过数据管理模块(datamanger)分级定级,并针对敏感数据,提供数据申请、授权等功能。用户信息可以通过用户管理模块(usermanger)管理,例如对用户进行角色管理,建立供方、需方、平台方三类角色,并记录用户的权限。
在需方用户需要调用数据后,需方用户可以向控制模块发出数据调用请求,控制模块可以调用用户管理模块对用户进行鉴权,鉴权通过后,可以通过VPC管理模块(VPCmanger)搭建网络隔离环境,在网络隔离环境中返回目标镜像数据;控制模块还可以根据用户的工具调用请求,在网络隔离环境中从终端管理模块(computermanger)中调用工具,工具具体可以是BMR、Jarvis或Spark等,工具通过目标镜像数据对数据进行处理后,可以得到结果数据,控制模块可以进一步对结果数据进行校验,校验通过的结果数据可以通过分发管理模块(delivermanger)进行分发到数据市场(datamarket)或模型服务器(modelserver)。
综上所述,本发明实施例中提供了一种数据处理的方法及装置,在接收到用户的数据调用请求后,先验证用户权限,在用户权限验证通过的情况下,搭建网络隔离环境,并在该网络隔离环境中返回包括数据的地址的目标镜像数据,即本发明实施例中,在接收到用户的数据调用请求后,不是直接返回数据,而是在网络隔离环境中返回目标数据镜像,使得用户在后续处理中,只能根据该目标数据镜像在网络隔离环境中进行数据处理,而无法获取到真实的数据,即让数据处于用户可以根据权限调用但无法知晓数据具体内容的状态,从而可以提升数据调用的安全性。
图4为本发明提供的数据处理的装置一实施例的结构示意图。如图4所示,本实施例提供的数据处理的装置包括:
数据调用请求接收模块210,用于在第一用户界面中接收数据调用请求;所述数据调用请求包括用户标识和数据标识;
网络隔离环境搭建模块220,用于在所述用户标识对应的用户具备调用所述数据标识对应的数据的权限的情况下,搭建网络隔离环境;
目标镜像数据返回模块230,用于在所述网络隔离环境中返回所述数据标识对应的数据所关联的目标镜像数据;所述目标镜像数据包括:所述数据的地址。
可选的,还包括:
工具调用请求接收模块,用于在所述网络隔离环境中接收工具调用请求;
结果数据得到模块,用于根据所述工具调用请求对应的工具对所述目标镜像数据对应的数据进行处理,得到结果数据。
可选的,所述工具包括:数据分析工具和建模工具的至少一种;其中,所述数据分析工具用于批量计算所述目标镜像数据,所述建模工具用于根据所述目标镜像数据建模。
可选的,所述工具包括自定义工具,所述装置还包括:
自定义工具操作接收模块,用于在第二用户界面接收自定义工具操作;
自定义工具生成模块,用于响应于所述自定义工具操作,生成自定义工具。
可选的,还包括:
校验模块,用于校验所述结果数据;
输出模块,用于在所述结果数据通过校验的情况下,输出所述结果数据。
可选的,所述校验模块包括:
校验子模块,用于将所述结果数据与预设的敏感词库匹配;若所述结果数据中不包括所述敏感词库中的敏感词,确定所述结果数据通过校验;若所述结果数据中包括所述敏感词库中的敏感词,确定所述结果数据没有通过校验。
可选的,所述目标镜像数据还包括:所述目标镜像数据的有效使用期限。
可选的,还包括:
源数据接收模块,用于接收源数据;
分类模块,用于按照预设规则对所述源数据分类;
设置模块,用于对于每一类所述源数据,设置该类源数据的调用权限。
可选的,所述网络隔离环境搭建模块包括:
网络隔离环境搭建子模块,用于根据预设安全策略,将所述数据对应的地址封装为目标镜像数据。
可选的,所述网络隔离环境包括:虚拟私有云VPC环境。
综上所述,本发明实施例中提供了一种数据处理的方法及装置,在接收到用户的数据调用请求后,先验证用户权限,在用户权限验证通过的情况下,搭建网络隔离环境,并在该网络隔离环境中返回包括数据的地址的目标镜像数据,即本发明实施例中,在接收到用户的数据调用请求后,不是直接返回数据,而是在网络隔离环境中返回目标数据镜像,使得用户在后续处理中,只能根据该目标数据镜像在网络隔离环境中进行数据处理,而无法获取到真实的数据,即让数据处于用户可以根据权限调用但无法知晓数据具体内容的状态,从而可以提升数据调用的安全性。
本发明各实施例提供的数据处理的装置可用于执行如前述各对应的实施例所示的方法,其实现方式与原理相同,不再赘述。
本发明实施例还提供一种电子设备,包括:处理器,存储器以及计算机程序;其中,所述计算机程序被存储在所述存储器中,并且被配置为由所述处理器执行,所述计算机程序包括用于执行如前述实施例中任一项所述的方法的指令。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被执行时,实现如前述实施例中任一项所述的方法。
根据本申请的实施例,本申请还提供了一种计算机程序产品,程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种数据处理的方法,其特征在于,所述方法包括:
在第一用户界面中接收数据调用请求;所述数据调用请求包括用户标识和数据标识;
在所述用户标识对应的用户具备调用所述数据标识对应的数据的权限的情况下,搭建网络隔离环境;
在所述网络隔离环境中返回所述数据标识对应的数据所关联的目标镜像数据;所述目标镜像数据包括:所述数据的地址;
所述在第一用户界面中接收数据调用请求之前,还包括:
接收源数据;
按照预设规则对所述源数据分类;
对于每一类所述源数据,设置该类源数据的调用权限;
所述在所述网络隔离环境中返回所述数据标识对应的数据所关联的目标镜像数据之后,还包括:
在所述网络隔离环境中接收工具调用请求;根据所述工具调用请求对应的工具对所述目标镜像数据对应的数据进行处理,得到结果数据;
所述根据所述工具对所述目标镜像数据对应的数据进行处理,得到结果数据之后,还包括:
校验所述结果数据;
在所述结果数据通过校验的情况下,输出所述结果数据。
2.根据权利要求1所述的方法,其特征在于,所述工具包括:数据分析工具和建模工具的至少一种;其中,所述数据分析工具用于批量计算所述目标镜像数据,所述建模工具用于根据所述目标镜像数据建模。
3.根据权利要求1所述的方法,其特征在于,所述工具包括自定义工具,所述方法还包括:
在第二用户界面接收自定义工具操作;
响应于所述自定义工具操作,生成自定义工具。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述校验所述结果数据,包括:
将所述结果数据与预设的敏感词库匹配;
若所述结果数据中不包括所述敏感词库中的敏感词,确定所述结果数据通过校验;
若所述结果数据中包括所述敏感词库中的敏感词,确定所述结果数据没有通过校验。
5.根据权利要求1所述的方法,其特征在于,所述目标镜像数据还包括:所述目标镜像数据的有效使用期限。
6.根据权利要求1所述的方法,其特征在于,所述搭建网络隔离环境包括:
根据预设安全策略,将所述数据对应的地址封装为目标镜像数据。
7.根据权利要求1所述的方法,其特征在于,所述网络隔离环境包括:虚拟私有云VPC环境。
8.一种数据处理的装置,其特征在于,包括:
数据调用请求接收模块,用于在第一用户界面中接收数据调用请求;所述数据调用请求包括用户标识和数据标识;
网络隔离环境搭建模块,用于在所述用户标识对应的用户具备调用所述数据标识对应的数据的权限的情况下,搭建网络隔离环境;
目标镜像数据返回模块,用于在所述网络隔离环境中返回所述数据标识对应的数据所关联的目标镜像数据;所述目标镜像数据包括:所述数据的地址;
源数据接收模块,用于接收源数据;
分类模块,用于按照预设规则对所述源数据分类;
设置模块,用于对于每一类所述源数据,设置该类源数据的调用权限;
工具调用请求接收模块,用于在所述网络隔离环境中接收工具调用请求;
结果数据得到模块,用于根据所述工具调用请求对应的工具对所述目标镜像数据对应的数据进行处理,得到结果数据;
校验模块,用于校验所述结果数据;
输出模块,用于在所述结果数据通过校验的情况下,输出所述结果数据。
9.根据权利要求8所述的装置,其特征在于,所述工具包括:数据分析工具和建模工具的至少一种;其中,所述数据分析工具用于批量计算所述目标镜像数据,所述建模工具用于根据所述目标镜像数据建模。
10.根据权利要求8所述的装置,其特征在于,所述工具包括自定义工具,所述装置还包括:
自定义工具操作接收模块,用于在第二用户界面接收自定义工具操作;
自定义工具生成模块,用于响应于所述自定义工具操作,生成自定义工具。
11.根据权利要求8-10任一项所述的装置,其特征在于,所述校验模块包括:
校验子模块,用于将所述结果数据与预设的敏感词库匹配;若所述结果数据中不包括所述敏感词库中的敏感词,确定所述结果数据通过校验;若所述结果数据中包括所述敏感词库中的敏感词,确定所述结果数据没有通过校验。
12.根据权利要求8所述的装置,其特征在于,所述目标镜像数据还包括:所述目标镜像数据的有效使用期限。
13.根据权利要求8所述的装置,其特征在于,所述网络隔离环境搭建模块包括:
网络隔离环境搭建子模块,用于根据预设安全策略,将所述数据对应的地址封装为目标镜像数据。
14.根据权利要求8所述的装置,其特征在于,所述网络隔离环境包括:虚拟私有云VPC环境。
15.一种电子设备,其特征在于,包括:
处理器,存储器以及计算机程序;其中,所述计算机程序被存储在所述存储器中,并且被配置为由所述处理器执行,所述计算机程序包括用于执行如权利要求1-7任一项所述的方法的指令。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现如权利要求1-7任一项所述的方法。
CN201910591150.7A 2019-07-02 2019-07-02 数据处理的方法及装置 Active CN112187703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910591150.7A CN112187703B (zh) 2019-07-02 2019-07-02 数据处理的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910591150.7A CN112187703B (zh) 2019-07-02 2019-07-02 数据处理的方法及装置

Publications (2)

Publication Number Publication Date
CN112187703A CN112187703A (zh) 2021-01-05
CN112187703B true CN112187703B (zh) 2023-06-20

Family

ID=73914360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910591150.7A Active CN112187703B (zh) 2019-07-02 2019-07-02 数据处理的方法及装置

Country Status (1)

Country Link
CN (1) CN112187703B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108234315A (zh) * 2016-12-21 2018-06-29 青岛祥智电子技术有限公司 一种虚拟化网络环境中镜像网络流量控制协议
CN109672657A (zh) * 2018-09-18 2019-04-23 平安科技(深圳)有限公司 数据管理方法、装置、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902479B (zh) * 2010-08-05 2016-01-27 华东电网有限公司 网络隔离系统及其数据传输方法
CN104079568A (zh) * 2014-06-27 2014-10-01 东湖软件产业股份有限公司 基于云存储技术防止文件泄密的方法及系统
CN105094897B (zh) * 2015-07-02 2019-05-28 华为技术有限公司 一种虚拟机启动方法、云接入设备及云计算中心
CN106528224B (zh) * 2016-11-03 2020-08-04 腾讯科技(深圳)有限公司 一种Docker容器的内容更新方法、服务器及系统
CN108429768A (zh) * 2018-05-29 2018-08-21 新华三云计算技术有限公司 云数据分析服务管理系统、方法和云端服务器
CN108809718B (zh) * 2018-06-12 2021-03-19 深圳华讯网络科技有限公司 基于虚拟资源的网络访问方法、系统、计算机设备和介质
CN109509518A (zh) * 2018-10-27 2019-03-22 平安医疗健康管理股份有限公司 电子病历的管理方法、服务器及计算机存储介质
CN109597822B (zh) * 2018-11-28 2021-02-23 中国联合网络通信集团有限公司 一种用户数据的存储及查询方法和用户数据处理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108234315A (zh) * 2016-12-21 2018-06-29 青岛祥智电子技术有限公司 一种虚拟化网络环境中镜像网络流量控制协议
CN109672657A (zh) * 2018-09-18 2019-04-23 平安科技(深圳)有限公司 数据管理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112187703A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
US10313352B2 (en) Phishing detection with machine learning
US10614233B2 (en) Managing access to documents with a file monitor
US10097574B2 (en) Auto-tuning program analysis tools based on user feedback
US11188667B2 (en) Monitoring and preventing unauthorized data access
US10069842B1 (en) Secure resource access based on psychometrics
US10614208B1 (en) Management of login information affected by a data breach
US11122069B2 (en) Detecting compromised social media accounts by analyzing affinity groups
US20220188437A1 (en) Data Access Monitoring and Control
US10958687B2 (en) Generating false data for suspicious users
US11270024B2 (en) Secure data monitoring utilizing secure private set intersection
CN112947945B (zh) 一种多类型应用发布方法、装置、计算机设备和存储介质
US10027692B2 (en) Modifying evasive code using correlation analysis
US10657255B2 (en) Detecting malicious code based on conditional branch asymmetry
CN110100423A (zh) 用于机器的应用许可列表的生成
US20200162472A1 (en) Dynamically generating restriction profiles for managed devices
US20190236269A1 (en) Detecting third party software elements
US20210216343A1 (en) Safely processing integrated flows of messages in a multi-tenant container
CN117389655A (zh) 云原生环境下的任务执行方法、装置、设备和存储介质
Su et al. Detection of android malware by static analysis on permissions and sensitive functions
Lee et al. A study on realtime detecting smishing on cloud computing environments
CN112187703B (zh) 数据处理的方法及装置
US11687627B2 (en) Media transit management in cyberspace
US11283841B2 (en) Community-based anomaly detection policy sharing among organizations
US10785177B1 (en) Systems and methods for screening electronic communications
US20220398184A1 (en) Data governance policy recommendations for application program interfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant