CN111177219A - 一种数据交换平台及数据交换方法 - Google Patents

一种数据交换平台及数据交换方法 Download PDF

Info

Publication number
CN111177219A
CN111177219A CN201911359838.9A CN201911359838A CN111177219A CN 111177219 A CN111177219 A CN 111177219A CN 201911359838 A CN201911359838 A CN 201911359838A CN 111177219 A CN111177219 A CN 111177219A
Authority
CN
China
Prior art keywords
data
access
analysis
party application
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911359838.9A
Other languages
English (en)
Inventor
方滨兴
刘川意
韩培义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201911359838.9A priority Critical patent/CN111177219A/zh
Publication of CN111177219A publication Critical patent/CN111177219A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用计算机技术领域，提供了一种数据交换平台及数据交换方法，平台包括：数据访问申报单元，用于获取第三方应用提交的数据访问申报信息；数据内容审核单元，用于对数据访问申报信息进行审核，审核通过，给第三方应用提供访问数据接口；数据智能分析平台，用于通过数据分析脚本或程序对预期访问数据进行挖掘，生成分析和挖掘结果；数据内容审核单元，用于判断分析和挖掘结果的数据类型与内容特征是否符合第三方应用提交的数据访问申报信息中预期取走数据对应的数据类型与内容特征，若符合，则放行取走分析和挖掘结果操作。本发明不允许第三方应用取走数据，只允许第三方应用取走分析和挖掘结果，实现了数据不动，程序动的效果。

Description

一种数据交换平台及数据交换方法
技术领域
本发明属于计算机技术领域，尤其涉及一种数据交换平台及数据交换方法。
背景技术
面向服务和交换模式的大数据平台对各种采集到的数据进行聚合和融合，存储、处理和分析，并对外提供租售、仓库、众包、外包等多种商业模式的数据服务。
这其中，最大的挑战和矛盾在于：第三方应用为了充分挖掘数据的价值，希望数据以完整和原始的状态提供出来，而大数据平台为了保证数据的可控和隐私，趋向于将数据脱敏和加密后再交给第三方应用，然而脱敏或加密后的数据会导致数据分析价值降低。因此，如何在保证数据的可控和隐私的前提下，允许第三方应用对数据进行分析和挖掘，是一个亟待解决的问题。
发明内容
本发明的目的在于提供一种数据交换平台及数据交换方法，旨在解决现有技术无法在保证数据的可控和隐私的前提下，允许第三方应用对数据进行分析和挖掘的问题。
第一方面，本发明提供了一种数据交换平台，所述数据交换平台包括：
数据访问申报单元，用于获取第三方应用提交的数据访问申报信息，所述数据访问申报信息携带有预期访问数据对应的访问申报记录以及预期取走数据对应的数据类型与内容特征；
数据内容审核单元，用于对所述第三方应用提交的数据访问申报信息进行审核，若审核通过，给所述第三方应用提供访问数据接口，以使所述第三方应用通过所述访问数据接口在数据源中访问所述预期访问数据；
数据智能分析平台，用于接收所述第三方应用提交的数据分析脚本或程序，通过所述数据分析脚本或程序对所述预期访问数据进行挖掘，生成分析和挖掘结果；
所述数据内容审核单元，还用于当所述第三方应用从所述数据智能分析平台中取走所述分析和挖掘结果时，判断所述分析和挖掘结果的数据类型与内容特征是否符合所述第三方应用提交的数据访问申报信息中预期取走数据对应的数据类型与内容特征，若符合，则放行取走所述分析和挖掘结果操作，若不符合，则阻断取走所述分析和挖掘结果操作；
其中，所述数据智能分析平台为第三方应用提供数据分析环境，使得所述第三方应用提交的数据分析脚本或程序能正常运行的平台。
进一步地，所述数据交换平台还包括：
数据访问控制单元，用于根据所述预期访问数据对应的访问申报记录，对所述第三方应用的数据访问行为进行访问控制，所述访问申报记录包括访问数据源信息、访问数据接口、访问数据类型、访问数据表、访问数据列、访问数据字段、访问数据文件或目录、访问数据量之一或其组合。
进一步地，所述数据交换平台还包括数据交换审计单元，所述数据交换审计单元用于记录和审计所述第三方应用的数据访问行为。
进一步地，在所述数据交换平台中，所述数据智能分析单元还用于对所述数据分析脚本或程序的执行行为进行全方位监控，所述执行行为包括网络访问行为、文件I/O操作、执行指令操作中的至少一种。
进一步地，在所述数据交换平台中，所述数据智能分析平台，用于接收所述第三方应用通过提交源代码、二进制程序或运行环境镜像的方式提交的数据分析脚本或程序。
进一步地，所述数据交换平台还包括数据中间件模块，所述数据中间件模块为隔离第三方应用与数据源的中间层，用于向下协调所述数据源系统，向上为所述第三方应用提供所述访问数据接口，所述访问数据接口为统一数据模式和数据访问的通用接口。
进一步地，在所述数据交换平台中，所述分析和挖掘结果包括数据查询结果、数据统计结果、数据分析结果、数据模型参数、数据模型文件中的至少一种。
进一步地，在所述数据交换平台中，所述数据源包括大数据平台、数据库、文件系统、业务系统中的至少一种。
第二方面，本发明提供了一种数据交换方法，所述方法包括下述步骤：
获取所述第三方应用提交的数据访问申报信息，所述数据访问申报信息携带有预期访问数据对应的访问申报记录以及预期取走数据对应的数据类型与内容特征；
对所述第三方应用提交的数据访问申报信息进行审核，若审核通过，给所述第三方应用提供访问数据接口，以使所述第三方应用通过所述访问数据接口在数据源中访问所述预期访问数据；
接收所述第三方应用提交的数据分析脚本或程序，通过所述数据分析脚本或程序在所述数据智能分析平台中对所述预期访问数据进行挖掘，生成分析和挖掘结果；
当所述第三方应用从所述数据智能分析平台中取走所述分析和挖掘结果时，判断所述分析和挖掘结果的数据类型与内容特征是否符合所述第三方应用提交的数据访问申报信息中预期取走数据对应的数据类型与内容特征，若符合，则放行取走所述分析和挖掘结果操作，若不符合，则阻断取走所述分析和挖掘结果操作；
其中，所述数据智能分析平台为第三方应用提供数据分析环境，使得所述第三方应用提交的数据分析脚本或程序能正常运行的平台。
进一步地，在所述方法中，所述接收所述第三方应用提交的数据分析脚本或程序，通过所述数据分析脚本或程序在所述数据智能分析平台中对所述预期访问数据进行挖掘，生成分析和挖掘结果，具体为：
接收所述第三方应用提交的数据分析脚本或程序，所述数据分析脚本或程序通过所述访问数据接口访问所述数据源并下载所述预期访问数据到所述数据智能分析平台中，通过所述数据分析脚本或程序在内置的数据智能分析平台中对所述预期访问数据进行挖掘，生成分析和挖掘结果。
本发明通过判断分析和挖掘结果的数据类型与内容特征是否符合第三方应用提交的数据访问申报信息中预期取走数据对应的数据类型与内容特征，若符合，则放行取走分析和挖掘结果操作，解决了如何在保证数据的可控和隐私的前提下，允许第三方应用对数据进行分析和挖掘的问题，有益效果在于两方面，一方面，在保证第三方应用直接对数据进行分析和挖掘，最大限度发现和利用数据的同时，不允许第三方应用取走数据，只允许第三方应用取走分析和挖掘结果，实现了数据不动，程序动的效果；另一方面，采用第三方应用向数据交换平台申报，数据交换平台对第三方应用审核的模式，对第三方应用预期访问数据和得到的分析和挖掘结果进行审核，防止第三方应用违规访问数据。
附图说明
图1是本发明实施例一提供的数据交换平台的结构示意图；
图2是本发明实施例二提供的数据申报审核的实现流程图；
图3是本发明实施例三提供的数据交换方法的实现流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的数据交换平台的结构，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
数据拥有方包括数据交换平台和数据源；
数据交换平台包括数据交换管控模块、数据智能分析平台、数据交换中间件模块；
数据交换管控模块包括数据访问申报单元、数据内容审核单元、数据访问控制单元、数据交换审计单元；
数据使用方的第三方应用通过访问数据交换平台访问数据源。
数据交换管控模块：针对数据交换提供数据访问申报、数据内容审核、数据访问控制、数据交换审计的功能。
数据访问申报单元：用于为第三方应用提交数据访问申报信息。
数据内容审核单元：用于对第三方应用访问的数据内容和取走的分析和挖掘结果进行审核，判断分析和挖掘结果的数据类型与内容特征是否符合第三方应用提交的数据访问申报信息中预期取走数据对应的数据类型与内容特征。
数据访问控制单元：用于对第三方应用的数据访问行为进行访问控制，根据所述第三方应用数据访问申报记录中的访问数据表/列/字段、访问数据文件或目录、访问数据量等信息进行访问控制。
数据交换审计单元：用于记录和审计第三方应用数据访问行为，便于审计分析违规数据交换行为。
数据智能分析平台：为第三方应用提供数据分析环境，比如操作系统、应用软件、智能分析框架、计算能力，使得第三方应用提交的数据分析脚本或程序可以正常运行。支持对所述数据分析脚本或程序执行行为活动的全方位监控，
数据交换中间件模块：作为隔离第三方应用与数据源的中间层，用于向下协调所述数据源系统，向上为所述第三方应用提供所述访问数据接口，所述访问数据接口为统一数据模式和数据访问的通用接口，所述访问数据接口包括但不限于JDBC接口、RestfulAPI。
其中，JDBC接口为Java数据库连接接口。
其中，Restful API为Restful架构的连接接口。Restful架构为公知常识，在此不做赘述。
其中，为便于说明，数据交换平台的工作流程，详述如下：
数据访问申报单元，用于获取第三方应用提交的数据访问申报信息，所述数据访问申报信息携带有预期访问数据对应的访问申报记录以及预期取走数据对应的数据类型与内容特征；
数据内容审核单元，用于对所述第三方应用提交的数据访问申报信息进行审核，若审核通过，给所述第三方应用提供访问数据接口，以使所述第三方应用通过所述访问数据接口在数据源中访问所述预期访问数据；
数据智能分析平台，用于接收所述第三方应用提交的数据分析脚本或程序，通过所述数据分析脚本或程序对所述预期访问数据进行挖掘，生成分析和挖掘结果；
所述数据内容审核单元，还用于当所述第三方应用从所述数据智能分析平台中取走所述分析和挖掘结果时，判断所述分析和挖掘结果的数据类型与内容特征是否符合所述第三方应用提交的数据访问申报信息中预期取走数据对应的数据类型与内容特征，若符合，则放行取走所述分析和挖掘结果操作，若不符合，则阻断取走所述分析和挖掘结果操作；
其中，预期访问数据对应的访问申报记录包括访问数据源信息、访问数据接口、访问数据类型、访问数据表/列/字段、访问数据文件或目录、访问数据量、数据处理操作中的至少一种。
其中，所述数据智能分析平台为第三方应用提供数据分析环境，使得所述第三方应用提交的数据分析脚本或程序能正常运行的平台。由于第三方应用提交的数据分析脚本或程序在数据智能分析平台中运行，因此，数据智能分析平台能对第三方应用提交的数据分析脚本或程序实现安全可控的技术效果。
优选地，第三方应用向数据交换平台提交数据访问申报信息，数据访问申报信息包括访问数据源信息、访问数据接口、访问数据类型、访问数据表/列/字段、访问数据文件或目录、访问数据量、数据处理操作、预期取走数据类型与内容特征。
其中，访问数据源信息包括但不限于数据源IP地址，端口；
其中，访问数据接口包括但不限于JDBC、Restful API、脚本；
其中，访问数据类型包括但不限于结构化数据、文件、流数据；
其中，数据处理操作包括但不限于数据查询、数据统计、数据挖掘；
其中，预期取走数据类型与内容特征包括但不限于数据结果、数据模型、数据类型。
其中，数据结果包括但不限于数据查询结果、数据统计结果、数据分析结果。数据模型包括但不限于数据模型参数、数据模型文件。数据类型包括但不限于数据结果的文件格式、数据模型的文件格式。
其中，数据交换平台对第三方应用提交的数据访问申报信息进行审核，若审核通过，数据使用方则可以通过数据中间件模块开放的访问数据接口访问数据源的存储数据。
其中，所述数据源包括但不限于大数据平台、数据库、文件系统、业务系统。
其中，第三方应用需要将数据分析脚本或程序提交至数据智能分析平台进行数据挖掘，提供的形式包括但不限于提供的源代码、提供的二进制程序、提供的运行环境镜像，运行环境镜像包括但不限于虚拟机镜像、Docker镜像。Docker是一个开源的应用容器引擎，在此不做赘述。
其中，第三方应用只能将分析和挖掘的结果取走，且要经过数据内容审核模块进行数据审查。所述分析和挖掘结果包括但不限于数据查询结果、数据统计结果、数据分析结果、数据模型参数、数据模型文件。
在本发明实施例中，第三方应用提交数据分析脚本或程序到数据交换平台，在数据交换平台中访问数据源存储的数据，并就地进行数据处理与分析，但第三方应用只能取走分析和挖掘结果，而无法取走数据。同时，数据交换平台的数据内容审核模块将对取走的分析挖掘结果审核并对其进行访问控制、过滤操作。因此，既能保证数据的可控和隐私，也能兼顾第三方应用对数据进行分析和挖掘。
实施例二：
图2示出了本发明实施例二提供的数据申报审核的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
1.第三方应用提交数据访问申报信息；
2.数据内容审核单元返回数据访问申报信息的审核结果；
3.第三方应用提交数据分析脚本或程序；
其中，所述数据分析脚本或程序用于查询、统计、分析、挖掘、机器学习。
4.数据智能分析平台中的数据分析脚本或程序，通过数据交换中间件模块发起数据访问行为；
所述数据分析脚本或程序可通过数据交换中间件开放的数据访问接口访问数据源，并下载数据到数据智能分析平台中进行数据分析与挖掘。
5.数据交换中间件模块向数据智能分析平台返回数据；
6.数据智能分析平台拦截第三方应用要取走的分析和挖掘结果，向数据内容审核单元提交第三方应用要取走的分析和挖掘结果；
当第三方应用执行取走所述数据分析脚本或程序的分析和挖掘结果的操作时，所述数据智能分析平台拦截上述操作，并将分析和挖掘结果提交至数据内容审核模块。
7.数据内容审核单元审核通过要取走的分析和挖掘结果；
数据内容审核模块对所述分析和挖掘结果进行审核时，根据所述第三方应用提交的数据访问申报信息中的预期取走数据类型与内容特征对取走数据进行类型和内容审查，若符合预期取走数据类型与内容特征，则放行取走分析和挖掘结果操作。若不符合预期取走数据类型与内容特征，则阻断取走分析和挖掘结果操作。
8.第三方应用取走审核通过后的分析和挖掘结果。
为便于说明，以第三方应用在数据交换平台上采用脚本方式进行数据分析为例，详述如下：
1、第三方应用向数据交换平台的数据访问申报单元提交数据访问申报信息。
例如，第三方应用需要通过数据分析脚本或程序访问Hadoop大数据组件中存储的医疗数据并进行数据分析与挖掘，预期访问病人基本信息表中的病人姓名、性别、疾病诊断和病人用药信息，预期取走文件格式为PB格式的学习模型文件。
其中，PB格式是一种二进制格式，是服务器之间进行数据传输采用的格式。
其中，Hadoop是一个开源框架,允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。
其中，预期访问病人基本信息表中的病人姓名、性别、疾病诊断和病人用药信息的直接目的是取走文件格式为PB格式的学习模型文件，学习模型文件只是作为中间结果，不涉及诊断结果。
2、数据交换平台申报审核员审查第三方应用提交的数据访问申报信息，若审核通过，第三方应用可通过数据中间件模块开放的数据访问数据接口访问申报信息中的预期访问数据。
例如，第三方应用可通过数据中间件模块开放的数据访问数据接口访问数据访问申报中的预期访问数据：病人基本信息表中病人姓名、性别、疾病诊断和病人用药信息字段数据的数据。若存在访问数据访问申报信息中预期访问外的数据的行为，则会被数据访问控制模块拦截拒绝访问。
3、第三方应用提交数据分析脚本或程序至数据智能分析平台，执行所述数据分析脚本或程序，下载访问申报信息中的预期访问数据，不断进行模型训练，最后得到可用的学习模型。
例如，第三方应用采用TensorFlow深度学习框架对病人信息、疾病诊断等数据进行数据分析与挖掘。
其中，TensorFlow是一个数值计算的开源软件库。
其中，第三方应用采用TensorFlow深度学习框架对病人信息、疾病诊断等数据进行数据分析与挖掘的直接目的是生成文件格式为PB格式的学习模型文件，学习模型文件只是作为中间结果，不涉及诊断结果。
4、第三方应用在数据智能分析平台中的所有行为均会被监控并记录下来，若第三方应用执行指令取走分析和挖掘结果时，数据智能分析平台会将所述取走模型行为进行拦截，将取走的分析和挖掘结果提交至数据内容审核单元，数据内容审核单元对所述取走的分析和挖掘结果进行审核，审查是否符合数据访问申报信息中预期取走数据格式和特征。
例如，第三方应用执行SCP指令尝试将训练数据通过ssh协议网络外传至数据交换平台外，所述数据智能分析平台监控到SCP这一传输数据行为，拦截该行为并检查传输的数据格式和内容，数据内容审核模块对传输的数据格式进行审查，当发现传输的数据格式不是PB格式时，识别所述数据访问行为不符合数据访问申报信息中预期取走文件格式，故阻断所述数据访问行为。
若第三方应用执行SCP指令尝试将文件格式为PB格式的数据模型文件网络外传至数据交换平台外，数据内容审核模块对传输数据进行审查，当发现传输的数据格式是PB格式时，识别所述数据访问行为符合数据访问申报信息中预期取走文件格式，放行所述数据访问行为。
其中，SCP是secure copy的简写，中文含义为安全拷贝，SCP指令为远程拷贝文件的指令。
在本发明实施例中，采用第三方应用向数据交换平台申报，数据交换平台对第三方应用审核的模式，第三方应用需要向数据交换平台申报预期访问哪些数据，拿走哪些数据，数据交换平台通过内容审核引擎对第三方应用预期访问数据和得到的分析和挖掘结果进行审核，若存在不符合数据访问申报信息的数据，则过滤或脱敏这些数据，防止第三方应用违规访问数据，从而对第三方应用实现了安全驱动的技术效果。
实施例三：
图3示出了本发明实施例三提供的数据交换方法的实现流程，应用于数据交换平台，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
步骤S101，获取所述第三方应用提交的数据访问申报信息，所述数据访问申报信息携带有预期访问数据对应的访问申报记录以及预期取走数据对应的数据类型与内容特征；
步骤S102，对所述第三方应用提交的数据访问申报信息进行审核，若审核通过，给所述第三方应用提供访问数据接口，以使所述第三方应用通过所述访问数据接口在数据源中访问所述预期访问数据；
步骤S103，接收所述第三方应用提交的数据分析脚本或程序，通过所述数据分析脚本或程序在所述数据智能分析平台中对所述预期访问数据进行挖掘，生成分析和挖掘结果；
步骤S104，当所述第三方应用从所述数据智能分析平台中取走所述分析和挖掘结果时，判断所述分析和挖掘结果的数据类型与内容特征是否符合所述第三方应用提交的数据访问申报信息中预期取走数据对应的数据类型与内容特征，若符合，则放行取走所述分析和挖掘结果操作，若不符合，则阻断取走所述分析和挖掘结果操作；
其中，所述数据智能分析平台为第三方应用提供数据分析环境，使得所述第三方应用提交的数据分析脚本或程序能正常运行的平台。
本发明实施例在保证第三方应用直接对数据进行分析和挖掘，最大限度发现和利用数据的同时，不允许第三方应用取走数据，只允许第三方应用取走分析和挖掘结果，实现了数据不动，程序动的效果，此外，采用第三方应用申报，数据交换平台审核模式，对第三方应用预期访问数据和得到的分析和挖掘结果进行审核，防止第三方应用违规访问数据，能保证数据的隐私和安全。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图3所示的步骤S101至S104。或者，该计算机程序被处理器执行时实现上述各平台实施例中各单元的功能，例如，图1所示数据访问申报单元、数据内容审核单元、数据访问控制单元、数据交换审计单元、数据智能分析平台的功能。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或平台、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据交换平台，其特征在于，所述数据交换平台包括：
数据访问申报单元，用于获取第三方应用提交的数据访问申报信息，所述数据访问申报信息携带有预期访问数据对应的访问申报记录以及预期取走数据对应的数据类型与内容特征；
数据内容审核单元，用于对所述第三方应用提交的数据访问申报信息进行审核，若审核通过，给所述第三方应用提供访问数据接口，以使所述第三方应用通过所述访问数据接口在数据源中访问所述预期访问数据；
数据智能分析平台，用于接收所述第三方应用提交的数据分析脚本或程序，通过所述数据分析脚本或程序对所述预期访问数据进行挖掘，生成分析和挖掘结果；
所述数据内容审核单元，还用于当所述第三方应用从所述数据智能分析平台中取走所述分析和挖掘结果时，判断所述分析和挖掘结果的数据类型与内容特征是否符合所述第三方应用提交的数据访问申报信息中预期取走数据对应的数据类型与内容特征，若符合，则放行取走所述分析和挖掘结果操作，若不符合，则阻断取走所述分析和挖掘结果操作；
其中，所述数据智能分析平台为第三方应用提供数据分析环境，使得所述第三方应用提交的数据分析脚本或程序能正常运行的平台。
2.如权利要求1所述的数据交换平台，其特征在于，所述数据交换平台还包括：
数据访问控制单元，用于根据所述预期访问数据对应的访问申报记录，对所述第三方应用的数据访问行为进行访问控制，所述访问申报记录包括访问数据源信息、访问数据接口、访问数据类型、访问数据表、访问数据列、访问数据字段、访问数据文件或目录、访问数据量之一或其组合。
3.如权利要求1所述的数据交换平台，其特征在于，所述数据交换平台还包括数据交换审计单元，所述数据交换审计单元用于记录和审计所述第三方应用的数据访问行为。
4.如权利要求1所述的数据交换平台，其特征在于，所述数据智能分析单元还用于对所述数据分析脚本或程序的执行行为进行全方位监控，所述执行行为包括网络访问行为、文件I/O操作、执行指令操作中的至少一种。
5.如权利要求1所述的数据交换平台，其特征在于，所述数据智能分析平台，用于接收所述第三方应用通过提交源代码、二进制程序或运行环境镜像的方式提交的数据分析脚本或程序。
6.如权利要求1所述的数据交换平台，其特征在于，所述数据交换平台还包括数据中间件模块，所述数据中间件模块为隔离第三方应用与数据源的中间层，用于向下协调所述数据源系统，向上为所述第三方应用提供所述访问数据接口，所述访问数据接口为统一数据模式和数据访问的通用接口。
7.如权利要求1所述的数据交换平台，其特征在于，所述分析和挖掘结果包括数据查询结果、数据统计结果、数据分析结果、数据模型参数、数据模型文件中的至少一种。
8.如权利要求1所述的数据交换平台，其特征在于，所述数据源包括大数据平台、数据库、文件系统、业务系统中的至少一种。
9.一种基于权利要求1数据交换平台的数据交换方法，其特征在于，所述方法包括下述步骤：
获取所述第三方应用提交的数据访问申报信息，所述数据访问申报信息携带有预期访问数据对应的访问申报记录以及预期取走数据对应的数据类型与内容特征；
对所述第三方应用提交的数据访问申报信息进行审核，若审核通过，给所述第三方应用提供访问数据接口，以使所述第三方应用通过所述访问数据接口在数据源中访问所述预期访问数据；
接收所述第三方应用提交的数据分析脚本或程序，通过所述数据分析脚本或程序在所述数据智能分析平台中对所述预期访问数据进行挖掘，生成分析和挖掘结果；
当所述第三方应用从所述数据智能分析平台中取走所述分析和挖掘结果时，判断所述分析和挖掘结果的数据类型与内容特征是否符合所述第三方应用提交的数据访问申报信息中预期取走数据对应的数据类型与内容特征，若符合，则放行取走所述分析和挖掘结果操作，若不符合，则阻断取走所述分析和挖掘结果操作；
其中，所述数据智能分析平台为第三方应用提供数据分析环境，使得所述第三方应用提交的数据分析脚本或程序能正常运行的平台。
10.如权利要求9所述的方法，其特征在于，所述接收所述第三方应用提交的数据分析脚本或程序，通过所述数据分析脚本或程序在所述数据智能分析平台中对所述预期访问数据进行挖掘，生成分析和挖掘结果，具体为：
接收所述第三方应用提交的数据分析脚本或程序，所述数据分析脚本或程序通过所述访问数据接口访问所述数据源并下载所述预期访问数据到所述数据智能分析平台中，通过所述数据分析脚本或程序在内置的数据智能分析平台中对所述预期访问数据进行挖掘，生成分析和挖掘结果。
CN201911359838.9A 2019-12-25 2019-12-25 一种数据交换平台及数据交换方法 Pending CN111177219A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911359838.9A CN111177219A (zh) 2019-12-25 2019-12-25 一种数据交换平台及数据交换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911359838.9A CN111177219A (zh) 2019-12-25 2019-12-25 一种数据交换平台及数据交换方法

Publications (1)

Publication Number Publication Date
CN111177219A true CN111177219A (zh) 2020-05-19

Family

ID=70652115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911359838.9A Pending CN111177219A (zh) 2019-12-25 2019-12-25 一种数据交换平台及数据交换方法

Country Status (1)

Country Link
CN (1) CN111177219A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112398821A (zh) * 2020-11-03 2021-02-23 我德(上海)市场营销策划有限公司 一种预定服务的数据交换平台及数据处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126704A (zh) * 2016-06-30 2016-11-16 浪潮软件集团有限公司 一种财税整合平台、系统和方法
CN108259421A (zh) * 2016-12-29 2018-07-06 沈阳美行科技有限公司 一种用户活跃度的统计方法及系统
CN108648786A (zh) * 2018-05-16 2018-10-12 上海术木医疗科技有限公司 一种基于第三方业务的医疗云平台数据共享系统及方法
CN109189993A (zh) * 2018-08-16 2019-01-11 深圳云安宝科技有限公司 大数据处理方法、装置、服务器及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126704A (zh) * 2016-06-30 2016-11-16 浪潮软件集团有限公司 一种财税整合平台、系统和方法
CN108259421A (zh) * 2016-12-29 2018-07-06 沈阳美行科技有限公司 一种用户活跃度的统计方法及系统
CN108648786A (zh) * 2018-05-16 2018-10-12 上海术木医疗科技有限公司 一种基于第三方业务的医疗云平台数据共享系统及方法
CN109189993A (zh) * 2018-08-16 2019-01-11 深圳云安宝科技有限公司 大数据处理方法、装置、服务器及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112398821A (zh) * 2020-11-03 2021-02-23 我德(上海)市场营销策划有限公司 一种预定服务的数据交换平台及数据处理方法

Similar Documents

Publication Publication Date Title
Gao et al. {SAQL}: A stream-based query system for {Real-Time} abnormal system behavior detection
US20240022607A1 (en) Automated and adaptive model-driven security system and method for operating the same
KR102495750B1 (ko) 클라우드 기반 운영 체제 이벤트 및 데이터 액세스 감시를 위한 시스템 및 방법
CA2298582C (en) Distributed computing architecture
CA2725274C (en) Monitoring and tracking application usage
US8510720B2 (en) System landscape trace
CN112632135A (zh) 一种大数据平台
CN110489310B (zh) 一种记录用户操作的方法、装置、存储介质及计算机设备
Fernandez Security in data intensive computing systems
US20230054226A1 (en) System and method of providing an interactive development platform in a distributed computing environment
Colombo et al. Access control in the era of big data: State of the art and research directions
Datta et al. {ALASTOR}: Reconstructing the provenance of serverless intrusions
US20130152102A1 (en) Runtime-agnostic management of applications
CN109144834A (zh) 用户行为数据的采集方法及装置、安卓系统及终端设备
Dong et al. {DISTDET}: A {Cost-Effective} Distributed Cyber Threat Detection System
CN111177219A (zh) 一种数据交换平台及数据交换方法
Vigna et al. Host-based intrusion detection
Barghouti et al. Using event contexts and matching constraints to monitor software processes
Stamatogiannakis et al. Prov 2r: practical provenance analysis of unstructured processes
US20220094703A1 (en) Endpoint security systems and methods with telemetry filters for event log monitoring
Zhang et al. Device-centric federated analytics at ease
Bates Designing and Leveraging Trustworthy Provenance-Aware Architectures
CN114978649A (zh) 基于大数据的信息安全保护方法、装置、设备及介质
Sekar et al. eaudit: A fast, scalable and deployable audit data collection system
CN113360138A (zh) 操作日志处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200519