CN117113425B - 一种面向湖仓一体数据分析的隐私合规方法 - Google Patents

一种面向湖仓一体数据分析的隐私合规方法 Download PDF

Info

Publication number
CN117113425B
CN117113425B CN202311388014.0A CN202311388014A CN117113425B CN 117113425 B CN117113425 B CN 117113425B CN 202311388014 A CN202311388014 A CN 202311388014A CN 117113425 B CN117113425 B CN 117113425B
Authority
CN
China
Prior art keywords
data
sub
request
lake
compliance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311388014.0A
Other languages
English (en)
Other versions
CN117113425A (zh
Inventor
马驰原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University Qinhuangdao Branch
Original Assignee
Northeastern University Qinhuangdao Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University Qinhuangdao Branch filed Critical Northeastern University Qinhuangdao Branch
Priority to CN202311388014.0A priority Critical patent/CN117113425B/zh
Publication of CN117113425A publication Critical patent/CN117113425A/zh
Application granted granted Critical
Publication of CN117113425B publication Critical patent/CN117113425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及数据处理领域，公开了一种面向湖仓一体数据分析的隐私合规方法，该方法包括：合规审核员构建联盟区块链；合规审核员在联盟区块链中部署智能合约；湖仓一体平台存储来自数据所有者的不同设备产生的数据，数据分析机构将数据访问请求发送至湖仓一体平台，湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，确定子请求的验证结果；湖仓一体平台基于验证结果更新监管合约中数据分析机构的声誉值；若验证结果为通过，则湖仓一体平台对数据访问请求进行数据分析并将数据分析结果返回至数据分析机构，本发明通过湖仓一体平台对数据访问请求校验，对数据分析机构使用数据合规性校验。

Description

一种面向湖仓一体数据分析的隐私合规方法
技术领域
本发明涉及数据处理技术领域，具体涉及一种面向湖仓一体数据分析的隐私合规方法。
背景技术
目前，为了保护个人信息的隐私权和数据安全，组织或企业均有其对应遵守适用的隐私法律法规和标准，保证其处理数据活动符合法律和道德要求。隐私合规涉及对个人信息的收集、使用、存储和共享等方面的规范和控制，旨在保护个人信息的机密性、完整性和可用性，要求组织或企业必须采用适当的技术确保个人信息不被未经授权的访问、使用、泄露及滥用。
在现有技术中，通常采用湖仓一体处理系统中的存储计算模块实现计算资源和存储资源的分离，湖仓一体是一种数据架构和管理方法，将数据仓库和数据湖两种数据存储和处理模式进行整合。然而，现有的湖仓一体处理系统无法实现对提供的数据进行合规校验分析。
发明内容
有鉴于此，本发明提供了一种面向湖仓一体数据分析的隐私合规方法，以解决无法对提供的数据进行合规校验分析的问题。
第一方面，本发明提供了一种面向湖仓一体数据分析的隐私合规方法，该方法包括：
合规审核员构建联盟区块链，湖仓一体平台、数据分析机构以及数据所有者通过在合规审核员处注册加入联盟区块链；
合规审核员在联盟区块链中部署智能合约，所述智能合约包括策略合约和监管合约，合规审核员将公共策略存储在所述策略合约中，所述公共策略包括：数据所有者的标识集、访问目的集和目标数据类集，所述监管合约包括数据分析机构的声誉值；
数据所有者将不同设备产生的数据发送至湖仓一体平台，湖仓一体平台存储来自数据所有者的不同设备产生的数据，数据所有者将私有策略存储在所述策略合约中，所述私有策略包括：数据所有者的标识集、访问目的集和目标数据类集；
数据分析机构将数据访问请求发送至湖仓一体平台，湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果确定子请求的验证结果，所述目标策略为公共策略和私有策略的交集，所述子请求中的数据包括数据所有者的标识、访问目的和目标数据类；
湖仓一体平台将所述验证结果发送至联盟区块链的监管合约进行记录，并基于所述验证结果更新所述监管合约中数据分析机构的声誉值；
若所述验证结果为通过，则湖仓一体平台对数据访问请求进行数据分析并将所述数据分析结果返回至数据分析机构。
本发明通过构建联盟区块链，在联盟区块链上部署智能合约，以供湖仓一体平台对数据访问请求进行校验，将数据访问请求中的子请求和目标策略在可信执行环境内进行对比，以确定子请求的验证结果，实现对数据分析机构所使用的数据的合规性进行校验，提供了可信的校验结果，同时防止恶意的数据分析机构访问不符合规定的数据。
在一种可选的实施方式中，所述湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果确定子请求的验证结果，包括：
湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果、各个集合的比例参数和声誉分值计算标识合规值、目的合规值以及数据类合规值；
将所述标识合规值、目的合规值以及数据类合规值的相加结果确定为合规值，并根据合规值确定子请求的验证结果。
本发明通过判断子请求中的数据和目标策略中对应的集合之间的关系，并预先设置各个集合对应的比例参数和声誉分值参数，以便于根据判断结果、比例参数和声誉分值参数计算各个数据的合规值，从而计算子请求的合规值，以实现对子请求的合规性进行判断。
在一种可选的实施方式中，所述湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果、各个集合的比例参数和声誉分值计算标识合规值、目的合规值以及数据类合规值，包括：
若子请求中的数据所有者的标识属于目标策略中的数据所有者的标识集，则子请求对应的标识合规值为零；
若子请求中的数据所有者的标识不属于目标策略中的数据所有者的标识集，则子请求对应的标识合规值为数据所有者的标识集对应的比例参数和声誉分值的乘积；
若子请求中的访问目的属于目标策略中的访问目的集，则子请求对应的目的合规值为零；
若子请求中的访问目的不属于目标策略中的访问目的集，则子请求对应的目的合规值为访问目的集对应的比例参数和声誉分值的乘积；
若子请求中的目标数据类属于目标策略中的目标数据类集，则子请求对应的数据类合规值为零；
若子请求中的目标数据类不属于目标策略中的目标数据类集，则子请求对应的数据类合规值为目标数据类集对应的比例参数和声誉分值的乘积。
本发明通过判断子请求中的数据和目标策略中对应的集合之间的从属关系，根据从属关系计算各个数据对应的合规值，以根据不同从属关系确定数据的不同合规值，从而判断子请求的合规性。
在一种可选的实施方式中，所述根据合规值确定子请求的验证结果，包括：
若所述合规值为零，则确定子请求的验证结果为通过；
若所述合规值不为零，则确定子请求的验证结果为不通过。
本发明通过判断子请求对应的合规值是否为零，确定子请求的合规性，以实现对子请求进行隐私合规分析。
在一种可选的实施方式中，所述基于所述验证结果更新所述监管合约中数据机构的声誉值，包括：
若子请求的验证结果为通过，则维持所述监管合约中数据分析机构的声誉值；
若子请求的验证结果为不通过，则降低所述监管合约中数据分析机构的声誉值。
本发明通过基于声誉值的惩罚机制，根据子请求的验证结果对数据分析机构的声誉值进行调整，以有效防止恶意的数据分析机构访问不符合规定的数据。
在一种可选的实施方式中，所述方法还包括：
将数据分析机构的当前声誉值和初始声誉值进行比较；
若数据分析机构的当前声誉值低于初始声誉值，则拒绝数据分析机构的数据访问请求。
本发明通过将数据分析机构的当前声誉值和初始声誉值阈值进行实时比较，以实时判断数据分析机构的当前声誉值是否低于初始声誉值阈值，并在数据分析机构的当前声誉值低于初始声誉值阈值时，及时拒绝数据分析机构的数据访问请求，防止数据被非法使用。
在一种可选的实施方式中，在湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合之前，所述方法还包括：
对所述数据访问请求进行分析，得到数据所有者的标识、访问目的、目标数据类和数据分析算法；
从所述数据访问请求中提取数据所有者的标识、访问目的和目标数据类，并将提取出的数据所有者的标识、访问目的和目标数据类确定为子请求。
本发明从数据访问请求中提取子请求，以便于湖仓一体平台对子请求进行校验，提高了请求校验效率。
第二方面，本发明提供了一种面向湖仓一体数据分析的隐私合规装置，该装置包括：
构建模块，用于合规审核员构建联盟区块链，湖仓一体平台、数据分析机构以及数据所有者通过在合规审核员处注册加入联盟区块链；
部署模块，用于合规审核员在联盟区块链中部署智能合约，所述智能合约包括策略合约和监管合约，合规审核员将公共策略存储在所述策略合约中，所述公共策略包括：数据所有者的标识集、访问目的集和目标数据类集，所述监管合约包括数据分析机构的声誉值；
发送模块，用于数据所有者将不同设备产生的数据发送至湖仓一体平台，湖仓一体平台存储来自数据所有者的不同设备产生的数据，数据所有者将私有策略存储在所述策略合约中，所述私有策略包括：数据所有者的标识集、访问目的集和目标数据类集；
确定模块，用于数据分析机构将数据访问请求发送至湖仓一体平台，湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果确定子请求的验证结果，所述目标策略为公共策略和私有策略的交集，所述子请求中的数据包括数据所有者的标识、访问目的和目标数据类；
更新模块，用于湖仓一体平台将所述验证结果发送至联盟区块链的监管合约进行记录，并基于所述验证结果更新所述监管合约中数据分析机构的声誉值；
数据分析模块，用于若所述验证结果为通过，则湖仓一体平台对数据访问请求进行数据分析并将所述数据分析结果返回至数据分析机构。
第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面的面向湖仓一体数据分析的隐私合规方法。
第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面的面向湖仓一体数据分析的隐私合规方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的面向湖仓一体数据分析的隐私合规方法的流程示意图；
图2是根据本发明实施例的另一面向湖仓一体数据分析的隐私合规方法的流程示意图；
图3是根据本发明实施例的又一面向湖仓一体数据分析的隐私合规方法的流程示意图；
图4是根据本发明实施例的湖仓一体平台架构示意图；
图5是根据本发明实施例的面向湖仓一体数据分析的隐私合规方法的应用示意图；
图6是根据本发明实施例的数据隐私合规的实现流程图；
图7是根据本发明实施例的面向湖仓一体数据分析的隐私合规装置的结构框图；
图8是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，湖仓一体作为新一代数据智能技术被广泛应用，湖仓一体是指将数据仓库（Data Warehouse）和数据湖（Data Lake）两种数据存储和处理模式进行整合的一种数据架构和管理方法。通过整合数据仓库和数据湖的优势，实现数据整合、探索和灵活处理，提高数据质量和一致性，同时满足扩展性和成本效益的要求，对于组织的数据管理和分析具有重要意义。
为了满足目前对数据隐私的需求，对数据进行数据分析和隐私合规分析。
其中，数据分析是指通过收集、清洗、转化和解释数据，以发现其中的模式、趋势和关联，并从中提取有价值的信息和洞察力的过程。它是一种利用统计学、机器学习、数据挖掘、人工智能等技术和方法，对数据进行系统性研究和解释的过程。进行数据分析的目的是为了获得对业务和决策有帮助的见解和结论。
其中，隐私合规是指组织或企业遵守适用的隐私法律法规和标准，保护个人信息的隐私权和数据安全，并确保其数据处理活动符合法律和道德要求的过程。隐私合规涉及对个人信息的收集、使用、存储和共享等方面的规范和控制，旨在保护个人信息的机密性、完整性和可用性。这要求组织或企业必须采取适当的技术和组织措施来确保个人信息不被未经授权的访问、使用、泄露或滥用。同时，隐私合规还要求组织和企业向个人提供透明的信息收集、处理和使用政策，并取得个人的明确同意。
其中，区块链技术是一种不依赖第三方、通过自身分布式节点进行网络数据的存储、验证、传递和交流的一种技术方案，具有去中心化、公开透明、不可篡改的特点，可视为一种具有有限计算能力的“世界计算机”，可以通过自动执行智能合约的方式解决参与方的信任问题。
在相关技术中，利用现有的湖仓一体系统中的存储计算模块，存储计算模块包括：计算单元和湖仓统一存储单元，湖仓统一存储单元是将数据仓库和数据湖融合后形成的，用于进行数据存储，计算单元用于进行数据计算。上述方案能够实现计算资源和存储资源的分离，快速按需为用户提供计算服务或者存储服务，打造储算分离的存储计算环境使系统能展到更大规模的并发能力和数据容量，有效降低了能耗。但是，通过打造储算分离的存储计算环境提高了系统的并发能力和数据容量，但是没有考虑该系统在为数据分析机构提供数据时的合规问题。
利用现有的基于湖仓一体的处理系统，该系统包括：ODS层用于从第一数据源获取日志数据。基于HUD的分钟级DWD层用于存储第一数据，第一数据基于日志数据的增量计算得到。基于HUD的分钟DWS层，用于存储第二数据，第二数据基于第一数据的增量计算得到。基于HUD的分钟ADS层，用于存储第三数据，第三数据基于第二数据的增量计算得到，该技术方案够降低传输资源，减少计算资源消耗，但是没有考虑该系统在为数据分析机构提供数据时的合规问题。
根据本发明实施例，提供了一种面向湖仓一体数据分析的隐私合规方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种面向湖仓一体数据分析的隐私合规方法，图1是根据本发明实施例的面向湖仓一体数据分析的隐私合规方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，合规审核员构建联盟区块链，湖仓一体平台、数据分析机构以及数据所有者通过在合规审核员处注册加入联盟区块链。
在本发明实施例中，合规审核员（Compliance Auditor，CA）构建联盟区块链，采用实用拜占庭容错(Practical Byzantine Fault Tolerance，PBFT)等共识算法维护区块链数据，以确保数据一致性和防篡改。
湖仓一体平台（Lakehouse Provider，LP）、数据分析机构（Data Analysisinstitution，DA）以及数据所有者（Data Owner，DO）等实体在合规审核员处注册，以获得联盟区块链身份，加入联盟区块链。
该联盟区块链的具体实施平台可以是开源的超级账本（Hyperledger Fabric）项目，也可以是其余类似的联盟链项目。本方案只是利用联盟区块链的基本特性，例如权限控制、智能合约等功能，而不对联盟区块链自身进行技术设计。
在实际应用中，可以存在多个湖仓一体平台、多个数据所有者和多个数据分析机构，在本方案中，以一个湖仓一体平台、一个数据所有者和一个数据分析机构为例，仅为举例，不作为限定。
具体地，湖仓一体平台为数据拥有者提供大规模数据存储服务；数据分析机构包括数据分析师，数据分析师可以是数据分析组织，通过分析用户数据来推断或预测未来趋势，从而做出明智的决策；合规审核员是一种特殊的数据分析师，在数据分析期间关注合规性。
步骤S102，合规审核员在联盟区块链中部署智能合约，合规审核员将公共策略存储在策略合约中。
其中，智能合约包括策略合约和监管合约，公共策略包括：数据所有者的标识集、访问目的集和目标数据类集，监管合约包括数据分析机构的声誉值。
在本发明实施例中，合规审核员向联盟区块链发送交易以部署智能合约，智能合约包括策略合约和监管合约，合规审核员将公共策略存储在策略合约中，数据拥有者发送交易以在策略合约中存储私人策略。
将智能合约中的策略形式三元化为，其中/>表示数据所有者的标识集，/>表示访问目的集，/>表示目标数据类集，如，意味着数据分析者可以出于科研或者商业目的访问任意用户的出生年月、户籍地和性别的数据。
步骤S103，数据所有者将不同设备产生的数据发送至湖仓一体平台，湖仓一体平台存储来自数据所有者的不同设备产生的数据，数据所有者将私有策略存储在策略合约中。
其中，私有策略包括：数据所有者的标识集、访问目的集和目标数据类集。
在本发明实施例中，数据拥有者发送交易以在策略合约中存储私人策略，例如，，意味着数据分析机构可以出于科研目的访问用户DO的户籍地的数据。
步骤S104，数据分析机构将数据访问请求发送至湖仓一体平台，湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果确定子请求的验证结果。
其中，目标策略为公共策略和私有策略的交集，子请求中的数据包括数据所有者的标识、访问目的和目标数据类。目标策略为公共策略和私有策略的交集，子请求既满足公共策略，也满足私有策略，即满足公共策略和私有策略的交集。在实际应用中，公共策略和私有策略可以一致，也可以一方严格一方宽松，在此不作限定。
在本发明实施例中，数据分析机构向湖仓一体平台发送数据访问请求r，湖仓一体平台使用可信执行环境（Trusted Execution Environment，TEE）确定子请求的验证结果。
具体地，TEE是一种计算机特殊硬件提供的安全计算区域，在该区域中运行的代码和数据不会被该区域之外的软件窃取，只有通过TEE内预先定义的接口才能安全访问其内部的代码和数据，因此TEE计算可以达到和密码学计算相似的隐私保护功能。同时由于TEE内部采用明文计算方式，所以效率几乎等同于在外部明文处理数据的效率。
步骤S105，湖仓一体平台将验证结果发送至联盟区块链的监管合约进行记录，并基于验证结果更新监管合约中数据分析机构的声誉值。
在本发明实施例中，TEE校验程序运行完后，将验证结果res返回至湖仓一体平台，湖仓一体平台将验证结果res发送至联盟区块链，在监管合约进行记录，根据子请求的验证结果res是否为零的判断结果，更新监管合约中数据分析机构的声誉值。
步骤S106，若验证结果为通过，即数据访问请求合规，则湖仓一体平台对数据访问请求进行数据分析并将数据分析结果返回至数据分析机构。
在本发明实施例中，若验证结果为通过，则湖仓一体平台执行数据分析，并将数据分析结果发送至数据分析机构。
本实施例提供的面向湖仓一体数据分析的隐私合规方法，通过构建联盟区块链，在联盟区块链上部署智能合约，以供湖仓一体平台对数据访问请求进行校验，将数据访问请求中的子请求和目标策略在可信执行环境内进行对比，以确定子请求的验证结果，实现对数据分析机构所使用的数据的合规性进行校验，提供了可信的校验结果，同时防止恶意的数据分析机构访问不符合规定的数据。
在本实施例中提供了一种面向湖仓一体数据分析的隐私合规方法，图2是根据本发明实施例的另一面向湖仓一体数据分析的隐私合规方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，合规审核员构建联盟区块链，湖仓一体平台、数据分析机构以及数据所有者通过在合规审核员处注册加入联盟区块链。
详细请参见图1所示实施例的步骤S101，在此不再赘述。
步骤S202，合规审核员在联盟区块链中部署智能合约，合规审核员将公共策略存储在策略合约中。
详细请参见图1所示实施例的步骤S102，在此不再赘述。
步骤S203，数据所有者将不同设备产生的数据发送至湖仓一体平台，湖仓一体平台存储来自数据所有者的不同设备产生的数据，数据所有者将私有策略存储在策略合约中。
详细请参见图1所示实施例的步骤S103，在此不再赘述。
步骤S204，数据分析机构将数据访问请求发送至湖仓一体平台，湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果确定子请求的验证结果。
具体地，上述步骤S204包括：
步骤S2041，湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果、各个集合的比例参数和声誉分值计算标识合规值、目的合规值以及数据类合规值。
步骤S2042，将标识合规值、目的合规值以及数据类合规值的相加结果确定为合规值，并根据合规值确定子请求的验证结果。
在本发明实施例中，目标策略是公共策略和私有策略的交集，依次判断子请求中的数据所有者的标识、访问目的及目标数据类和目标策略中对应的数据所有者的标识集、访问目的集、目标数据类集的从属关系，并初始化各个集合对应的比例参数、/>、/>，满足/>，初始化各个集合对应的声誉分值参数/>、/>、/>。
分别确定标识合规值、目的合规值/>以及数据类合规值/>，计算子请求对应的合规值/>。
通过判断子请求中的数据和目标策略中对应的集合之间的关系，并预先设置各个集合对应的比例参数和声誉分值参数，以便于根据判断结果、比例参数和声誉分值参数计算各个数据的合规值，从而计算子请求的合规值，以实现对子请求的合规性进行判断。
具体地，上述步骤S2041包括：
步骤S20411，若子请求中的数据所有者的标识属于目标策略中的数据所有者的标识集，则子请求对应的标识合规值为零。
步骤S20412，若子请求中的数据所有者的标识不属于目标策略中的数据所有者的标识集，则子请求对应的标识合规值为数据所有者的标识集对应的比例参数和声誉分值的乘积。
步骤S20413，若子请求中的访问目的属于目标策略中的访问目的集，则子请求对应的目的合规值为零。
步骤S20414，若子请求中的访问目的不属于目标策略中的访问目的集，则子请求对应的目的合规值为访问目的集对应的比例参数和声誉分值的乘积。
步骤S20415，若子请求中的目标数据类属于目标策略中的目标数据类集，则子请求对应的数据类合规值为零。
步骤S20416，若子请求中的目标数据类不属于目标策略中的目标数据类集，则子请求对应的数据类合规值为目标数据类集对应的比例参数和声誉分值的乘积。
在本发明实施例中，目标策略中对应的集合包括，其中/>表示数据所有者的标识集，/>表示访问目的集，/>表示目标数据类集。
在本发明实施例中，将数据访问请求形式化为四元组。其中，/>表示数据所有者的标识，/>表示访问目的，/>表示目标数据类，/>表示数据分析算法，数据分析算法例如K平均算法（K-Means）、期望最大化（Expectation–Maximization，EM）等，湖仓一体平台从数据访问请求r中提取出子请求/>。
例如，数据访问请求，意味着数据分析机构出于科研目的使用用户DO的户籍地数据运行EM算法（Expectation-Maximum，期望最大化算法）。
子请求，其中，/>表示数据所有者的标识，/>表示访问目的，如科学研究和治理等，/>表示目标数据类。
为了便于理解，本发明实施例中采用如下设置，各参数的值仅作为举例，不作为限定。
数据所有者的标识集、访问目的集及目标数据类集的比例参数初始化可以设置为，声誉分值参数初始化可以设置为/>。
根据子请求中的数据是否属于目标策略中对应的集合的判断结果，分别计算标识合规值，若/>是/>的元素，则/>，否则/>。目的合规值，若/>是/>的元素，则/>，否则/>。数据类合规值，若/>是/>的真子集，则/>，否则/>。
通过判断子请求中的数据和目标策略中对应的集合之间的从属关系，根据从属关系计算各个数据对应的合规值，以根据不同从属关系确定数据的不同合规值，从而判断子请求的合规性。
具体地，上述步骤S2042中根据合规值确定子请求的验证结果包括：
步骤S20421，若合规值为零，则确定子请求的验证结果为通过。
步骤S20422，若合规值不为零，则确定子请求的验证结果为不通过。
在本发明实施例中，当数据所有者的标识、访问目的、目标数据类均合规，子请求对应的合规值res为0。
具体地，当合规值时，子请求的验证结果为通过；当子请求对应的合规值/>的值不为零时，子请求的验证结果为不通过。
为了便于理解，本发明实施例以下述流程为例，仅作为举例，不作为限定。
（1）数据分析机构送数据访问请求：。
如，/>，/>，/>，则。
（2）湖仓一体平台提取数据访问请求对应的子请求。
（3）初始化比例参数。
（4）初始化声誉分值参数。
（5）计算标识合规值。
，/>，s是S的元素，所以/>0。
（6）计算目的合规值。
，/>，p是P的元素，所以/>。
（7）计算数据类合规值。
，/>，dc是DC的子集，所以。
（8）计算合规值 。
以隐私合规分析结果不合规为例，数据所有者的标识不合规为例，隐私合规判断流程为：
（1）数据分析结构发送数据访问请求：。
如，/>，/>，/>，则。
（2）湖仓一体平台提取数据访问请求对应的子请求。
（3）初始化比例参数 。
（4）初始化声誉分值参数 。
（5）计算标识合规值 。
，/>，s不是S的元素，所以/>1/3*3 =1。
（6）计算目的合规值 。
，/>，p是P的元素，所以/>。
（7）计算数据类合规值 。
，/>，dc是DC的子集，所以。
（8）计算合规值。
隐私合规分析结果不合规中的访问目的和目标数据类不合规的隐私合规判断流程与上述数据所有者的标识不合规的隐私合规判断流程类似，此处不再赘述。
步骤S205，湖仓一体平台将验证结果发送至联盟区块链的监管合约进行记录，并基于验证结果更新监管合约中数据分析机构的声誉值。
详细请参见图1所示实施例的步骤S105，在此不再赘述。
步骤S206，若验证结果为通过，则湖仓一体平台对数据访问请求进行数据分析并将数据分析结果返回至数据分析机构。
详细请参见图1所示实施例的步骤S106，在此不再赘述。
本实施例提供的面向湖仓一体数据分析的隐私合规方法，通过判断子请求对应的合规值是否为零，确定子请求的合规性，以实现对子请求进行隐私合规分析。
在本实施例中提供了一种面向湖仓一体数据分析的隐私合规方法，图3是根据本发明实施例的又一面向湖仓一体数据分析的隐私合规方法的流程图，如图3所示，该流程包括如下步骤：
步骤S301，合规审核员构建联盟区块链，湖仓一体平台、数据分析机构以及数据所有者通过在合规审核员处注册加入联盟区块链。
详细请参见图1所示实施例的步骤S101，在此不再赘述。
步骤S302，合规审核员在联盟区块链中部署智能合约，合规审核员将公共策略存储在策略合约中。
详细请参见图1所示实施例的步骤S102，在此不再赘述。
步骤S303，数据所有者将不同设备产生的数据发送至湖仓一体平台，湖仓一体平台存储来自数据所有者的不同设备产生的数据，数据所有者将私有策略存储在策略合约中。
详细请参见图1所示实施例的步骤S103，在此不再赘述。
步骤S304，对数据访问请求进行分析，得到数据所有者的标识、访问目的、目标数据类和数据分析算法。
步骤S305，从数据访问请求中提取数据所有者的标识、访问目的和目标数据类，并将提取出的数据所有者的标识、访问目的和目标数据类确定为子请求。
在本发明实施例中，将数据访问请求形式化为四元组。其中，/>表示数据所有者的标识，/>表示访问目的，/>表示目标数据类，/>表示数据分析算法，数据分析算法例如K平均算法（K-Means）、期望最大化（Expectation–Maximization，EM）等，湖仓一体平台从数据访问请求r中提取出子请求/>。
例如，数据访问请求，意味着数据分析机构出于科研目的使用用户DO的户籍地数据运行EM算法（Expectation-Maximum，期望最大化算法）。
从数据访问请求中提取子请求，以便于湖仓一体平台对子请求进行校验，提高了请求校验效率。
步骤S306，数据分析机构将数据访问请求发送至湖仓一体平台，湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果确定子请求的验证结果。
详细请参见图1所示实施例的步骤S104，在此不再赘述。
步骤S307，湖仓一体平台将验证结果发送至联盟区块链的监管合约进行记录，并基于验证结果更新监管合约中数据分析机构的声誉值。
具体地，上述步骤S307中基于验证结果更新监管合约中数据机构的声誉值，包括：
步骤S3071，若子请求的验证结果为通过，则维持监管合约中数据分析机构的声誉值。
步骤S3072，若子请求的验证结果为不通过，则降低监管合约中数据分析机构的声誉值。
在本发明实施例中，在监管合约中设定各数据分析机构的声誉值，在本发明实施例中，以数据分析机构的初始声誉值/>为100为例，初始声誉值仅作为举例，不作为限定。
若子请求的验证结果为通过，则维持监管合约中数据分析机构的声誉值为100。
若子请求的验证结果为不通过，合规值不为零/>则降低监管合约中数据分析机构的声誉值，以合规值/>为1为例，/>。
通过基于声誉值的惩罚机制，根据子请求的验证结果对数据分析机构的声誉值进行调整，以有效防止恶意的数据分析机构访问不符合规定的数据。
步骤S308，若验证结果为通过，则湖仓一体平台对数据访问请求进行数据分析并将数据分析结果返回至数据分析机构。
详细请参见图1所示实施例的步骤S106，在此不再赘述。
本发明实施例提供的面向湖仓一体数据分析的隐私合规方法，还包括：
步骤S3091，将数据分析机构的当前声誉值和初始声誉值进行比较。
步骤S3092，若数据分析机构的当前声誉值低于初始声誉值，则拒绝数据分析机构的数据访问请求。
在本发明实施例中，预设声誉值阈值为Δ，预设声誉值阈值可以根据实际应用场景设置，示例性地，预设声誉值阈值Δ可以设置为90，此处不作限定。合规审核员检查联盟区块链监管合约记录的合规结果，合规审核员定期对每个数据分析机构的声誉值进行检查，对声誉值低于预设声誉值阈值Δ的数据分析机构取消资格，并拒绝数据分析机构的数据访问请求。
本实施例提供的面向湖仓一体数据分析的隐私合规方法，通过将数据分析机构的当前声誉值和初始声誉值阈值进行实时比较，以实时判断数据分析机构的当前声誉值是否低于初始声誉值阈值，并在数据分析机构的当前声誉值低于初始声誉值阈值时，及时拒绝数据分析机构的数据访问请求，防止数据被非法使用。
需要说明的是，为了实现合规性，本方案在现有的湖仓一体架构中添加了一个合规层，并在分析层中引入了合规性分析，如图4所示，该架构从下至上包括以下层次；
数据源层，涵盖了广泛的原始数据源，包括软件即服务（Software as a Service，SaaS）应用、物联网设备、台式机、笔记本电脑、智能手机等。
集成层，负责将来自数据源层的数据集成和转换为结构化、半结构化和非结构化数据。
存储层，具有数据的持久化和管理功能，提供了高性能、可扩展和可靠的存储基础，可以集成现有的多种数据存储方式，如多模态存储、分布式存储、图存储、k-v存储等。
控制层，提供了工作流管理和访问控制的功能，可以实现细粒度的权限管理，包括用户认证、访问权限分配和审计记录。
处理层，支持原始数据的转换和清洗，为后续的分析和应用准备数据。这包括数据格式转换、数据清理、缺失值处理、异常值处理以及其他确保数据准确性和可用性的操作。
合规层，提供了合规性政策的定义和实施，以确保处理过的数据在使用时符合法规和内部组织法规，可以规范数据访问、处理和共享，防止违规，并跟踪和记录数据使用的合规性。通过在传统的湖仓一体架构中嵌入一个合规层，实现了数据分析时强制进行合规性校验，确保了数据合法合规使用。
分析层，对处理后的数据进行深入分析，支持组织在大量数据中发现模式、趋势和见解，除了现有的AI分析、商业智能（Business Intelligence，BI）分析等，还增加了合规性分析来分析数据使用的合规性。
需要说明的是，如图5所示和图6所示，首先合规审核员构建联盟区块链，湖仓一体平台、数据分析机构以及数据所有者通过在合规审核员处注册加入联盟区块链。合规审核员在联盟区块链中部署智能合约，智能合约包括策略合约和监管合约，合规审核员将公共策略存储在策略合约中。数据所有者将不同设备产生的数据发送至湖仓一体平台，湖仓一体平台存储来自数据所有者的不同设备产生的数据，数据所有者将私有策略存储在策略合约中。
湖仓一体平台接收到来自数据分析机构发送的数据访问请求时，使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合。湖仓一体平台将验证结果发送至联盟区块链的监管合约进行记录，以使得合规审核员进行审查。
在本实施例中还提供了一种面向湖仓一体数据分析的隐私合规装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种面向湖仓一体数据分析的隐私合规装置，如图7所示，包括：
构建模块701，用于合规审核员构建联盟区块链，湖仓一体平台、数据分析机构以及数据所有者通过在合规审核员处注册加入联盟区块链。
部署模块702，用于合规审核员在联盟区块链中部署智能合约，智能合约包括策略合约和监管合约，合规审核员将公共策略存储在策略合约中，公共策略包括：数据所有者的标识集、访问目的集和目标数据类集，监管合约包括数据分析机构的声誉值。
发送模块703，用于数据所有者将不同设备产生的数据发送至湖仓一体平台，湖仓一体平台存储来自数据所有者的不同设备产生的数据，数据所有者将私有策略存储在策略合约中，私有策略包括：数据所有者的标识集、访问目的集和目标数据类集。
确定模块704，用于数据分析机构将数据访问请求发送至湖仓一体平台，湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果确定子请求的验证结果，目标策略为公共策略和私有策略的交集，子请求中的数据包括数据所有者的标识、访问目的和目标数据类。
更新模块705，用于湖仓一体平台将验证结果发送至联盟区块链的监管合约进行记录，并基于验证结果更新监管合约中数据分析机构的声誉值。
数据分析模块706，用于若验证结果为通过，则湖仓一体平台对数据访问请求进行数据分析并将数据分析结果返回至数据分析机构。
在一些可选的实施方式中，确定模块704包括：
计算单元，用于湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果、各个集合的比例参数和声誉分值计算标识合规值、目的合规值以及数据类合规值。
第一确定单元，用于将标识合规值、目的合规值以及数据类合规值的相加结果确定为合规值，并根据合规值确定子请求的验证结果。
在一些可选的实施方式中，计算单元包括：
第一确定子单元，用于若子请求中的数据所有者的标识属于目标策略中的数据所有者的标识集，则子请求对应的标识合规值为零。
第二确定子单元，用于若子请求中的数据所有者的标识不属于目标策略中的数据所有者的标识集，则子请求对应的标识合规值为数据所有者的标识集对应的比例参数和声誉分值的乘积。
第三确定子单元，用于若子请求中的访问目的属于目标策略中的访问目的集，则子请求对应的目的合规值为零。
第四确定子单元，用于若子请求中的访问目的不属于目标策略中的访问目的集，则子请求对应的目的合规值为访问目的集对应的比例参数和声誉分值的乘积。
第五确定子单元，用于若子请求中的目标数据类属于目标策略中的目标数据类集，则子请求对应的数据类合规值为零。
第六确定子单元，用于若子请求中的目标数据类不属于目标策略中的目标数据类集，则子请求对应的数据类合规值为目标数据类集对应的比例参数和声誉分值的乘积。
在一些可选的实施方式中，第一确定单元包括：
第七确定子单元，用于若合规值为零，则确定子请求的验证结果为通过。
第八确定子单元，用于若合规值不为零，则确定子请求的验证结果为不通过。
在一些可选的实施方式中，更新模块705包括：
维持单元，用于若子请求的验证结果为通过，则维持监管合约中数据分析机构的声誉值。
降低单元，用于若子请求的验证结果为不通过，则降低监管合约中数据分析机构的声誉值。
在一些可选的实施方式中，该装置还包括：
比较模块，用于将数据分析机构的当前声誉值和初始声誉值进行比较。
访问请求拒绝模块，用于若数据分析机构的当前声誉值低于初始声誉值，则拒绝数据分析机构的数据访问请求。
在一些可选的实施方式中，该装置还包括：
分析模块，用于对数据访问请求进行分析，得到数据所有者的标识、访问目的、目标数据类和数据分析算法。
提取模块，用于从数据访问请求中提取数据所有者的标识、访问目的和目标数据类，并将提取出的数据所有者的标识、访问目的和目标数据类确定为子请求。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本实施例中的面向湖仓一体数据分析的隐私合规装置是以功能单元的形式来呈现，这里的单元是指ASIC（Application Specific Integrated Circuit，专用集成电路）电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
本发明实施例还提供一种计算机设备，具有上述图7所示的面向湖仓一体数据分析的隐私合规装置。
请参阅图8，图8是本发明可选实施例提供的一种计算机设备的结构示意图，如图8所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器10为例。
处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
其中，存储器20存储有可由至少一个处理器10执行的指令，以使至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置40可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置30可接收输入的数字或字符信息，以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入，例如触摸屏等。输出装置40可以包括显示设备等。
本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种面向湖仓一体数据分析的隐私合规方法，其特征在于，所述方法包括：
合规审核员构建联盟区块链，湖仓一体平台、数据分析机构以及数据所有者通过在合规审核员处注册加入联盟区块链；
合规审核员在联盟区块链中部署智能合约，所述智能合约包括策略合约和监管合约，合规审核员将公共策略存储在所述策略合约中，所述公共策略包括：数据所有者的标识集、访问目的集和目标数据类集，所述监管合约包括数据分析机构的声誉值；
数据所有者将不同设备产生的数据发送至湖仓一体平台，湖仓一体平台存储来自数据所有者的不同设备产生的数据，数据所有者将私有策略存储在所述策略合约中，所述私有策略包括：数据所有者的标识集、访问目的集和目标数据类集；
数据分析机构将数据访问请求发送至湖仓一体平台，湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果确定子请求的验证结果，所述目标策略为公共策略和私有策略的交集，所述子请求中的数据包括数据所有者的标识、访问目的和目标数据类；
湖仓一体平台将所述验证结果发送至联盟区块链的监管合约进行记录，并基于所述验证结果更新所述监管合约中数据分析机构的声誉值；
若所述验证结果为通过，则湖仓一体平台对数据访问请求进行数据分析并将所述数据分析结果返回至数据分析机构。
2.根据权利要求1所述的方法，其特征在于，所述湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果确定子请求的验证结果，包括：
湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果、各个集合的比例参数和声誉分值计算标识合规值、目的合规值以及数据类合规值；
将所述标识合规值、目的合规值以及数据类合规值的相加结果确定为合规值，并根据合规值确定子请求的验证结果。
3.根据权利要求2所述的方法，其特征在于，所述湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果、各个集合的比例参数和声誉分值计算标识合规值、目的合规值以及数据类合规值，包括：
若子请求中的数据所有者的标识属于目标策略中的数据所有者的标识集，则子请求对应的标识合规值为零；
若子请求中的数据所有者的标识不属于目标策略中的数据所有者的标识集，则子请求对应的标识合规值为数据所有者的标识集对应的比例参数和声誉分值的乘积；
若子请求中的访问目的属于目标策略中的访问目的集，则子请求对应的目的合规值为零；
若子请求中的访问目的不属于目标策略中的访问目的集，则子请求对应的目的合规值为访问目的集对应的比例参数和声誉分值的乘积；
若子请求中的目标数据类属于目标策略中的目标数据类集，则子请求对应的数据类合规值为零；
若子请求中的目标数据类不属于目标策略中的目标数据类集，则子请求对应的数据类合规值为目标数据类集对应的比例参数和声誉分值的乘积。
4.根据权利要求2所述的方法，其特征在于，所述根据合规值确定子请求的验证结果，包括：
若所述合规值为零，则确定子请求的验证结果为通过；
若所述合规值不为零，则确定子请求的验证结果为不通过。
5.根据权利要求1所述的方法，其特征在于，所述基于所述验证结果更新所述监管合约中数据机构的声誉值，包括：
若子请求的验证结果为通过，则维持所述监管合约中数据分析机构的声誉值；
若子请求的验证结果为不通过，则降低所述监管合约中数据分析机构的声誉值。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
将数据分析机构的当前声誉值和初始声誉值进行比较；
若数据分析机构的当前声誉值低于初始声誉值，则拒绝数据分析机构的数据访问请求。
7.根据权利要求1所述的方法，其特征在于，在湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合之前，所述方法还包括：
对所述数据访问请求进行分析，得到数据所有者的标识、访问目的、目标数据类和数据分析算法；
从所述数据访问请求中提取数据所有者的标识、访问目的和目标数据类，并将提取出的数据所有者的标识、访问目的和目标数据类确定为子请求。
8.一种面向湖仓一体数据分析的隐私合规装置，其特征在于，所述装置包括：
构建模块，用于合规审核员构建联盟区块链，湖仓一体平台、数据分析机构以及数据所有者通过在合规审核员处注册加入联盟区块链；
部署模块，用于合规审核员在联盟区块链中部署智能合约，所述智能合约包括策略合约和监管合约，合规审核员将公共策略存储在所述策略合约中，所述公共策略包括：数据所有者的标识集、访问目的集和目标数据类集，所述监管合约包括数据分析机构的声誉值；
发送模块，用于数据所有者将不同设备产生的数据发送至湖仓一体平台，湖仓一体平台存储来自数据所有者的不同设备产生的数据，数据所有者将私有策略存储在所述策略合约中，所述私有策略包括：数据所有者的标识集、访问目的集和目标数据类集；
确定模块，用于数据分析机构将数据访问请求发送至湖仓一体平台，湖仓一体平台使用可信执行环境分别判断数据访问请求对应的子请求中的数据是否属于目标策略中的集合，并根据判断结果确定子请求的验证结果，所述目标策略为公共策略和私有策略的交集，所述子请求中的数据包括数据所有者的标识、访问目的和目标数据类；
更新模块，用于湖仓一体平台将所述验证结果发送至联盟区块链的监管合约进行记录，并基于所述验证结果更新所述监管合约中数据分析机构的声誉值；
数据分析模块，用于若所述验证结果为通过，则湖仓一体平台对数据访问请求进行数据分析并将所述数据分析结果返回至数据分析机构。
9.一种计算机设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至7中任一项所述的面向湖仓一体数据分析的隐私合规方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的面向湖仓一体数据分析的隐私合规方法。
CN202311388014.0A 2023-10-25 2023-10-25 一种面向湖仓一体数据分析的隐私合规方法 Active CN117113425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311388014.0A CN117113425B (zh) 2023-10-25 2023-10-25 一种面向湖仓一体数据分析的隐私合规方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311388014.0A CN117113425B (zh) 2023-10-25 2023-10-25 一种面向湖仓一体数据分析的隐私合规方法

Publications (2)

Publication Number Publication Date
CN117113425A CN117113425A (zh) 2023-11-24
CN117113425B true CN117113425B (zh) 2023-12-22

Family

ID=88809628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311388014.0A Active CN117113425B (zh) 2023-10-25 2023-10-25 一种面向湖仓一体数据分析的隐私合规方法

Country Status (1)

Country Link
CN (1) CN117113425B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473553B (zh) * 2023-11-07 2024-08-02 云海链控股股份有限公司 一种隐私合规检测方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310205A (zh) * 2019-06-28 2019-10-08 百度在线网络技术（北京）有限公司 一种区块链数据监控方法、装置、设备和介质
CN112073484A (zh) * 2020-08-28 2020-12-11 武汉大学 一种基于联盟链的gdpr合规监管方法及系统
CN112364366A (zh) * 2020-11-26 2021-02-12 中国人民解放军国防科技大学 基于区块链的联盟数据共享访问控制方法及系统
CN116775605A (zh) * 2023-06-25 2023-09-19 中云开源数据技术（上海）有限公司 一种基于人工智能的产业数据管理和共享平台

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525690B2 (en) * 2014-05-27 2016-12-20 Bank Of Ozarks Securely integrating third-party applications with banking systems
US12120243B2 (en) * 2021-07-14 2024-10-15 Barlea Corporation Technologies for auditing and maintaining access to protected data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310205A (zh) * 2019-06-28 2019-10-08 百度在线网络技术（北京）有限公司 一种区块链数据监控方法、装置、设备和介质
CN112073484A (zh) * 2020-08-28 2020-12-11 武汉大学 一种基于联盟链的gdpr合规监管方法及系统
CN112364366A (zh) * 2020-11-26 2021-02-12 中国人民解放军国防科技大学 基于区块链的联盟数据共享访问控制方法及系统
CN116775605A (zh) * 2023-06-25 2023-09-19 中云开源数据技术（上海）有限公司 一种基于人工智能的产业数据管理和共享平台

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于区块链的医疗数据隐私保护方案研究;王利伟;《北京交通大学硕士学位论文》;全文 *
基于联盟链的电子健康记录隐私保护和共享;巫光福 等;《计算机应用研究》;第38卷(第1期);33-37 *

Also Published As

Publication number Publication date
CN117113425A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
Campanile et al. Designing a GDPR compliant blockchain-based IoV distributed information tracking system
Rizi et al. A systematic review of technologies and solutions to improve security and privacy protection of citizens in the smart city
US10339309B1 (en) System for identifying anomalies in an information system
Kim et al. Data governance framework for big data implementation with NPS Case Analysis in Korea
KR102542720B1 (ko) 제로 트러스트 보안을 위한 행동 인터넷 기반 지능형 데이터 보안 플랫폼 서비스 제공 시스템
US9679125B2 (en) Characterizing user behavior via intelligent identity analytics
CN107317730A (zh) 用于监控区块链节点状态的方法、设备和系统
CN106534362B (zh) 一种基于云平台的软件资源共享的方法以及装置
Azhar Security, privacy and risks within smart cities: Literature review and development of a smart city interaction framework
CN117113425B (zh) 一种面向湖仓一体数据分析的隐私合规方法
RU2622883C2 (ru) Система и способ управления доступом к персональным данным пользователя
CN106650418A (zh) 基于多策略的Android访问控制系统及方法
US11146403B2 (en) Self-governed secure attestation policy for server data privacy logs
CN113111359A (zh) 基于信息安防的大数据资源共享方法及资源共享系统
Mathew et al. Integration of blockchain and collaborative intrusion detection for secure data transactions in industrial IoT: a survey
CN110674516B (zh) 电子票据管理系统权限配置方法、装置和计算机设备
Liu et al. A pattern language for blockchain governance
CN112804207B (zh) 一种应用于电子政务场景的联盟链节点安全准入方法
Gattoju et al. Design of ChaApache framework for securing Hadoop application in big data
CN116346432A (zh) 能源工业互联网的访问控制系统、电子设备及存储介质
Rathore et al. An evolutionary algorithmic framework cloud based evidence collection architecture
CN114816964A (zh) 风险模型构建方法、风险检测方法、装置、计算机设备
Sathya et al. Network activity classification schema in IDS and log audit for cloud computing
Hansch Automating security risk and requirements management for cyber-physical systems
Do Nascimento et al. Decentralized Federated Learning for Intrusion Detection in IoT-based Systems: A Review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant