CN116305226B - 一种用于数据隔离的动态隐形黑箱方法 - Google Patents

一种用于数据隔离的动态隐形黑箱方法 Download PDF

Info

Publication number
CN116305226B
CN116305226B CN202211027337.2A CN202211027337A CN116305226B CN 116305226 B CN116305226 B CN 116305226B CN 202211027337 A CN202211027337 A CN 202211027337A CN 116305226 B CN116305226 B CN 116305226B
Authority
CN
China
Prior art keywords
data
isolation
mode
authentication
black box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211027337.2A
Other languages
English (en)
Other versions
CN116305226A (zh
Inventor
李志男
张微
龚䶮
林少伟
陈晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huayixin Technology Co ltd
Original Assignee
Beijing Huayixin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huayixin Technology Co ltd filed Critical Beijing Huayixin Technology Co ltd
Priority to CN202211027337.2A priority Critical patent/CN116305226B/zh
Publication of CN116305226A publication Critical patent/CN116305226A/zh
Application granted granted Critical
Publication of CN116305226B publication Critical patent/CN116305226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种用于数据隔离的动态隐形黑箱方法,分别针对数据上传和认证、数据存储和加工、数据确权和交易,构建数据上传和认证隔离黑箱、数据存储和加工隔离黑箱、数据确权和交易隔离黑箱,分别隔离了用户与数据平台间的数据内容与模式、数据所有者与数据产品生产者的数据内容与模式、数据资产买方与数据产品权所有者的数据内容与模式,分别解决了海量匿名用户身份认证的安全风险问题、数据产品生产过程中的加工质量问题和数据资产交易过程中的交易后悔问题。

Description

一种用于数据隔离的动态隐形黑箱方法
技术领域
本发明属于数据隔离技术领域,具体涉及用于数据隔离的动态隐形黑箱方法。
背景技术
数据通过上传、认证、存储、加工、确权和交易完成在数据平台中的整个生命周期。传统大数据平台以数据为主线,针对上传、认证、存储、加工、确权和交易各个环节开展运营和管理。出于运营和管理效率、安全、用户身份角色需求等目标的考虑,对数据进行隔离处理。典型的数据隔离方法包括:多数据源隔离、海量用户隔离、复杂权限或权限控制隔离、密码隔离、存储隔离、区块链技术隔离、剪切数据隔离等。这些隔离方法分为两类,一类是针对具体环节的数据隔离,这类方法缺乏系统性,只能解决单独的一两个环节的数据隔离问题。第二类是技术类数据隔离方法,这类方法受技术难度所限,不能直接与数据平台关联,往往需要对数据平台的升级改造。另外,这两类方法均缺乏随目标和应用场景改变的动态特性,导致数据隔离方法对目的性变动和场景变化的适应程度较低,不适用于普遍的数据平台实际需求,特别是大规模、海量用户或多应用场景数据平台。
本发明的目的在于提出用于数据平台各环节数据隔离的动态隐形黑箱方法,以解决当前数据隔离方法的普遍问题,并实现数据平台的用户身份信息安全、数据产品加工质量、交易需求、环节协调及系统性、技术适用性和应用成本、技术独立性和普适性、技术被辨别风险等目标。本发明方法是链接数据平台上数据上传、认证、存储、加工、确权和交易各环节的系统性且对技术和应用场景具有普适性的数据隔离技术。由于在环节之间的数据隔离是数据黑箱方法的目标,本发明方法在各环节之间构建数据黑箱模块/中间件,即利于处理环节之间的数据转换,形成各环节间的数据隔离,又可以以数据黑箱模块/中间件链接各环节,系统性协调各环节的隔离目标。同时,数据黑箱模块/中间件可直接接入数据平台,具有技术上的独立性和普适性,不需要数据平台升级改造,降低了技术应用成本。另外,本发明方法在侧重与目标和应用场景的动态互动性的同时,重点增加了数据黑箱的隐形性,提高了黑箱对目的性变动和场景变化的适应程度,以适用于普遍的数据平台实际需求,特别是大规模、海量用户或多应用场景的数据平台,并防止数据黑箱被传统的线性、非线性、神经网络、遗传算法、智能化算法等数据黑箱辨识技术识别、辨别。
发明内容
本发明采用的技术方案:本发明提出的用于数据隔离的动态隐形黑箱方法,包括,分别针对数据上传和认证、数据存储和加工、数据确权和交易,构建的将隐私数据安全转换为认证数据的数据上传和认证隔离黑箱及其数据处理模块/中间件、将数据资源加工转换为数据要素的数据存储和加工隔离黑箱及其数据处理模块/中间件、将数据产品价值转换为数据资产的数据确权和交易隔离黑箱及其数据处理模块/中间件。本发明的三种数据处理模块/中间件,数据处理过程用自定义函数封装,由程序自动控制数据读取和结果返回,相当于起数据转化作用的数据隔离模型。本发明的三种数据黑箱,分别隔离了用户与数据平台间的数据内容与模式、数据所有者与数据产品生产者的数据内容与模式、数据资产买方与数据产品权所有者的数据内容与模式,分别解决了海量匿名用户身份认证的安全风险问题、数据产品生产过程中的加工质量问题和数据资产交易过程中的交易后悔问题。在三种黑箱模型构建基础上,本发明建立了随目标变化和应用场景改变的用户隐私、数据所有者数据资源、数据产品权所有者数据资产和应用场景的动态调整约束条件,提高了黑箱对目的性变动和场景变化的适应程度。同时,通过隐藏细分应用场景,提高了黑箱模型隐形性,在满足被数据隔离的第三方(用户、数据平台、数据所有者、数据产品生产者、数据资产买方、数据产品权所有者)的数据需求的同时,使被数据黑箱数据隔离的第三方不易察觉数据已被转换,并使其中的数据处理模块/中间件的自定义函数不能被传统的线性、非线性、神经网络、遗传算法、智能化算法等数据黑箱辨识技术识别、辨别,提高了数据黑箱的安全可靠性。在三种黑箱模型构建基础上,本发明构建了三种黑箱的系统目标与应用场景的协调机制模块/中间件,以三种数据黑箱模块/中间件链接各环节,实现系统性协调优化各环节的数据隔离目标。
本发明采用的方法方案:本发明提出的用于数据平台各环节数据隔离的动态隐形黑箱方法,包括,分别针对数据上传和认证、数据存储和加工、数据确权和交易,构建的将隐私数据安全转换为认证数据的数据上传和认证隔离黑箱及其数据处理模块/中间件、将数据资源加工转换为数据要素的数据存储和加工隔离黑箱及其数据处理模块/中间件、将数据产品价值转换为数据资产的数据确权和交易隔离黑箱及其数据处理模块/中间件。本发明的三种数据处理模块/中间件,数据处理过程用自定义函数封装,由程序自动控制数据读取和结果返回,相当于起数据转化作用的数据隔离模型。本发明的三种数据黑箱,分别隔离了用户与数据平台间的数据内容与模式、数据所有者与数据产品生产者的数据内容与模式、数据资产买方与数据产品权所有者的数据内容与模式,分别解决了海量匿名用户身份认证的安全风险问题、数据产品生产过程中的加工质量问题和数据资产交易过程中的交易后悔问题。在三种黑箱模型构建基础上,本发明建立了随目标变化和应用场景改变的用户隐私、数据所有者数据资源、数据产品权所有者数据资产和应用场景的动态调整约束条件,提高了黑箱对目的性变动和场景变化的适应程度。同时,通过隐藏细分应用场景,提高了黑箱模型隐形性,在满足被数据隔离的第三方(用户、数据平台、数据所有者、数据产品生产者、数据资产买方、数据产品权所有者)的数据需求的同时,使被数据黑箱数据隔离的第三方不易察觉数据已被转换,并使其中的数据处理模块/中间件的自定义函数不能被传统的线性、非线性、神经网络、遗传算法、智能化算法等数据黑箱辨识技术识别、辨别,提高了数据黑箱的安全可靠性。在三种黑箱模型构建基础上,本发明构建了三种黑箱的系统目标与应用场景的协调机制模块/中间件,以三种数据黑箱模块/中间件链接各环节,实现系统性协调优化各环节的数据隔离目标。
为实现上述目的,本发明实施例公开了技术方案:
一种用于数据隔离的动态隐形黑箱方法,具体包括:
S1、构建数据上传和认证隔离黑箱,确定数据上传和认证隔离的数据模式转换函数;
S2、实现数据上传和认证隔离的数据内容转换方法;
S3、实现基于数据上传和认证隔离黑箱的动态隐形认证方法;
S4、构建数据存储和加工隔离黑箱,确定数据存储和加工隔离的数据模式转换函数;
S5、实现数据存储和加工隔离的数据内容转换方法;
S6、实现基于数据存储和加工隔离黑箱的动态数据资源检验方法;
S7、构建数据确权和交易隔离黑箱,确定数据确权和交易隔离的数据模式转换函数;
S8、数据确权和交易隔离的数据内容转换方法;
S9、实现基于数据确权和交易隔离黑箱的动态隐形交易方法;
S10、构建三种黑箱的协调机制模块,实现三种黑箱同时运行,所述三种黑箱包括数据上传和认证隔离黑箱、数据存储和加工隔离黑箱、数据确权和交易隔离黑箱。
优选地,所述步骤S1具体为:
S11、提取用户上传的隐私数据的数据模式A1;
S12、挖掘建立细分应用场景认证数据标准模式B1;
S13、根据数据模式A1和认证数据标准模式B1,挖掘隐私数据向多个细分应用场景认证数据模式的转换矩阵函数;
S14、以数据上传和认证隔离黑箱输出的认证标准数据模式的总隐私程度值和各分项隐私程度值最低为约束条件Y1,获得隐藏细分应用场景且隐私程度值最低的统一输出认证数据标准模式C1;
S15、推导出由模式B1向模式C1的转换函数,即数据上传和认证隔离的数据模式转换函数;
所述步骤S2具体为:
S21、将相同的细分领域场景对应的用户隐私数据归类为一组,然后代入所述数据上传和认证隔离的数据模式转换函数,得出对应的认证数据;
S22、将各个细分应用场景的用户隐私数据和对应的认证数据集合为一个数据组集合;
S23、将各个细分应用场景的数据组集合中的各个元素进行聚类,将其中相同或相近的数据元素分为一个数据组;
S24、聚类后,验证各数据组的同组元素数,当同组元素数与该细分应用场景的用户数占比超过设定的聚类认证用户占比上限,以及同组元素数的值均超过设定的聚类认证用户数上限时,该聚类中的同组元素数通过隔离检验;
当聚类后,存在未通过隔离检验的同组元素数时,则判断所述约束条件Y1是否可以调整,如果可以调整,则放宽约束条件Y1,重新确定数据上传和认证隔离的数据模式转换函数,返回步骤S21;
所述步骤S3具体为:
S31、比较所有符合约束条件Y1的细分应用场景聚类的结果,求取各聚类结果的并集,并标记元素:聚类用户、聚类用户认证数据;
S32、对于聚类用户,则抽样进行细分应用场景的模式转换检验,如果通过则完成隔离认证;
S33、对于非聚类用户,则直接进行细分应用场景的模式转换检验,如果通过则完成隔离认证。
优选地,所述步骤S24包括:
所述约束条件Y1是否可以调整的依据为:当数据上传和认证隔离黑箱输出的认证标准数据模式的总隐私程度值超过总隐私程度值设定上限,或认证标准数据模式各分项的隐私程度值中有超过分项隐私程度值设定上限,则不可以调整;
所述放宽约束条件Y1的方法为:将数据上传和认证隔离黑箱输出的认证标准数据模式的总隐私程度值和认证标准数据模式各分项的隐私程度值现有目标,放宽为现有目标的次级优解。
优选地,所述步骤S4具体为:
S41、提取数据所有者上传的数据资源的数据模式A2;
S42、挖掘建立细分应用场景加工数据标准模式B2;
S43、根据数据模式A2和加工数据标准模式B2,挖掘数据资源向多个细分应用场景加工数据模式的转换矩阵函数;
S44、以数据存储和加工隔离黑箱输出的加工标准数据模式的总可加工水平值和各分项可加工水平值最高为约束条件Y2,获得隐藏细分应用场景且可加工水平值最高的统一输出加工数据标准模式C2;
S45、推导出由模式B2向模式C2的转换函数,即数据存储和加工隔离的数据模式转换函数;
所述步骤S5具体为:
S51、将相同的细分领域场景对应的数据所有者数据资源归类为一组,然后代入所述数据存储和加工隔离的数据模式转换函数,得出对应的加工数据;
S52、将各个细分应用场景的数据所有者数据资源和对应的加工数据集合为一个数据组集合;
S53、将各个细分应用场景的数据组集合中的各个元素进行聚类,将其中相同或相近的数据元素分为一个数据组;
S54、聚类后,验证各数据组的同组元素数,当同组元素数与该细分应用场景的数据所有者数占比超过设定的聚类加工数据所有者占比下限,以及同组元素数的值均超过设定的聚类加工数据所有者数下限时,该聚类中的同组元素数通过隔离检验;
当聚类后,存在未通过隔离检验的同组元素数时,则判断所述约束条件Y2是否可以调整,如果可以调整,则放宽约束条件Y2,重新确定数据存储和加工隔离黑箱的数据模式转换函数,返回步骤S51;
所述步骤S6具体为:
S61、比较所有符合约束条件Y3的细分应用场景聚类的结果,求取各聚类结果的并集,并标记元素:聚类数据所有者,聚类数据所有者加工数据;
S62、对于聚类数据所有者,则抽样进行细分应用场景的模式转换检验,如果通过则完成隔离认证;
S63、对于非聚类数据所有者,则直接进行细分应用场景的模式转换检验,如果通过则完成隔离认证。
优选地,所述步骤S54包括:
所述约束条件Y2是否可以调整的依据为:当数据存储和加工隔离黑箱输出的加工标准数据模式的总可加工水平值超过设定总可加工水平下限,或加工标准数据模式各分项的可加工水平值中有超过设定的分项可加工水平下限,则不可以调整;
所述放宽约束条件Y2的方法为:将数据存储和加工隔离黑箱输出的加工标准数据模式的总可加工水平值和加工标准数据模式各分项的可加工水平值现有目标,放宽为现有目标的次级优解。
优选地,所述步骤S7具体为:
S71、提取数据产品权所有者的数据产品的数据模式A3;
S72、挖掘建立细分应用场景数据资产标准模式B3;
S73、根据数据模式A3和加工数据标准模式B3,挖掘数据资源向多个细分应用场景加工数据模式的转换矩阵函数;
S74、以数据确权和交易隔离黑箱输出的交易标准数据模式的总价值程度值和各分项价值程度值最高为约束条件Y3,获得隐藏细分应用场景且价值程度值最高的统一输出数据资产标准模式C3;
S75、推导出由模式B3向模式C3的转换函数,即数据确权和交易隔离的数据模式转换函数;
所述步骤S8具体为:
S81、将相同的细分领域场景对应的数据产品权所有者数据产品归类为一组,然后代入所述数据确权和交易隔离的数据模式转换函数,得出对应的数据资产;
S82、将各个细分应用场景的数据产品权所有者数据产品和对应的数据资产集合为一个数据组集合;
S83、将各个细分应用场景的数据组集合中的各个元素进行聚类,将其中相同或相近的数据元素分为一个数据组;
S84、聚类后,验证各数据组的同组元素数,当同组元素数与该细分应用场景的数据产品权所有者数占比超过数据资产买方设定的聚类交易数据产品权所有者占比下限,以及同组元素数的值均超过数据资产买方设定的聚类交易数据产品权所有者数下限时,该聚类中的同组元素数通过隔离检验;
当聚类后,存在未通过隔离检验的同组元素数时,则判断所述约束条件Y2是否可以调整,如果可以调整,则放宽约束条件Y2,重新确定数据确权和交易隔离黑箱的数据模式转换函数,返回步骤S81;
所述步骤S9具体为:
S91、比较所有符合约束条件Y3的细分应用场景聚类的结果,求取各聚类结果的并集,并标记元素:聚类数据产品权所有者、聚类数据产品权所有者数据资产;
S92、对于聚类数据产品权所有者,则抽样进行细分应用场景的模式转换检验,如果通过则完成隔离认证;
S93、对于非聚类数据产品权所有者,则直接进行细分应用场景的模式转换检验,如果通过则完成隔离认证。
优选地,所述步骤S84包括:
所述约束条件Y3是否可以调整的依据为:数据确权和交易隔离黑箱输出的交易标准数据模式的总价值程度值超过数据资产买方设定的总价值程度下限,或交易标准数据模式各分项的价值程度值中有超过数据资产买方设定的分项价值程度下限,则不可以调整;
所述放宽约束条件Y3的方法为:将数据确权和交易隔离黑箱输出的交易标准数据模式的总价值程度值和交易标准数据模式各分项的价值程度值现有目标,放宽为现有目标的次级优解。
优选地,所述步骤S10具体为:
S101、链接数据上传和认证隔离黑箱,提取数据上传和认证隔离的数据模式转换函数以及约束条件Y1调整变化时认证用户对应的数据黑箱输入输出;
S102、链接数据存储和加工隔离黑箱、提取数据存储和加工隔离的数据模式转换函数以及约束条件Y2调整变化时数据所有者数据资源对应的数据黑箱输入输出;
S103、链接数据确权和交易隔离黑箱、提取数据确权和交易隔离黑箱的数据模式与约束条件Y3调整变化时数据产品权所有者数据资产对应的数据黑箱输入输出;
S104、分析S101至S103中提取的用户信息,提取其中认证用户作为数据所有者和数据产品权所有者时的模式转换函数、约束条件及相应的数据黑箱输入输出;
S105、分析S101至S103中提取的数据信息,提取数据以数据资源开始向数据要素、数据产品、数据资产转化时的模式转换函数、约束条件及相应的数据黑箱输入输出;
S106、根据S104至S105的提取结果,求取通过调整约束条件,建立三种黑箱的协调机制方程。
与现有技术相比,本发明的有益效果在于:
(1)本发明提供用于数据隔离的动态隐形黑箱方法,其优势在于,分别针对数据上传和认证、数据存储和加工、数据确权和交易,构建的将隐私数据安全转换为认证数据的数据上传和认证隔离黑箱及其数据处理模块/中间件、将数据资源加工转换为数据要素的数据存储和加工隔离黑箱及其数据处理模块/中间件、将数据产品价值转换为数据资产的数据确权和交易隔离黑箱及其数据处理模块/中间件。由于在环节之间的数据隔离是数据黑箱方法的目标,本发明方法在各环节之间构建数据黑箱模块/中间件,利于处理环节之间的数据转换,适用于数据平台的数据上传和认证、数据存储和加工、数据确权和交易之间的数据隔离。
(2)本发明的三种数据处理模块/中间件,数据处理过程用自定义函数封装,由程序自动控制数据读取和结果返回。三种数据处理模块/中间件以解决当前数据隔离方法的普遍问题为目标,同时可实现数据平台的用户身份信息安全、数据产品加工质量、交易需求、环节协调及系统性、技术适用性和应用成本、技术独立性和普适性、技术被辨别风险等目标。特别是,数据黑箱模块/中间件可直接接入数据平台,具有技术上的独立性和普适性,不需要数据平台升级改造,降低了技术应用成本。
(3)本发明提供用于数据隔离的动态隐形黑箱方法,其优势在于,三种数据黑箱,分别隔离了用户与数据平台间的数据内容与模式、数据所有者与数据产品生产者的数据内容与模式、数据资产买方与数据产品权所有者的数据内容与模式,分别解决了海量匿名用户身份认证的安全风险问题、数据产品生产过程中的加工质量问题和数据资产交易过程中的交易后悔问题。
(4)本发明提供用于数据隔离的动态隐形黑箱方法,其优势在于,在三种黑箱模型构建基础上,本发明建立了随目标变化和应用场景改变的用户隐私、数据所有者数据资源、数据产品权所有者数据资产和应用场景的动态调整约束条件,侧重方法上与目标和应用场景的动态互动性,提高了黑箱对目的性变动和场景变化的适应程度。
(5)本发明提供用于数据隔离的动态隐形黑箱方法,其优势在于,通过隐藏细分应用场景,重点提高了黑箱模型隐形性,在满足被数据隔离的第三方(用户、数据平台、数据所有者、数据产品生产者、数据资产买方、数据产品权所有者)的数据需求的同时,使被数据黑箱数据隔离的第三方不易察觉数据已被转换,并使其中的数据处理模块/中间件的自定义函数不能被传统的线性、非线性、神经网络、遗传算法、智能化算法等数据黑箱辨识技术识别、辨别,提高了数据黑箱的安全可靠性,以适用于普遍的数据平台实际需求,特别是大规模、海量用户或多应用场景的数据平台。
(6)本发明提供用于数据隔离的动态隐形黑箱方法,其优势在于,在三种黑箱模型构建基础上,本发明构建了三种黑箱的系统目标与应用场景的协调机制模块/中间件,以三种数据黑箱模块/中间件链接各环节,实现系统性协调优化各环节的数据隔离目标。通过链接数据平台上数据上传、认证、存储、加工、确权和交易各环节的系统性,成为对技术和应用场景具有普适性的数据隔离技术。
附图说明
图1为用于数据隔离的动态隐形黑箱方法构成图;
图2为构建将隐私数据安全转换为认证数据的数据上传和认证隔离黑箱流程图;
图3为数据上传和认证隔离黑箱的数据模式转换函数原理图;
图4为数据上传和认证隔离黑箱的数据内容转换方法流程图;
图5为基于数据上传和认证隔离黑箱的动态隐形认证方法流程图。
具体实施方式
下面结合附图和具体实施例对本发明提供的数据身份标识与数据碎片化方法作进一步详细说明。
本技术方法适用于数据平台的数据上传和认证、数据存储和加工、数据确权和交易之间的数据隔离。本技术方法主要包括,如附图1所示,构建的将隐私数据安全转换为认证数据的数据上传和认证隔离黑箱及其数据处理模块/中间件、将数据资源加工转换为数据要素的数据存储和加工隔离黑箱及其数据处理模块/中间件、将数据产品价值转换为数据资产的数据确权和交易隔离黑箱及其数据处理模块/中间件、三种黑箱的系统目标与应用场景的协调机制模块/中间件。
本技术的技术路线为:
步骤:
1)构建将隐私数据安全转换为认证数据的数据上传和认证隔离黑箱及其数据处理模块/中间件
该数据黑箱通过将隐私数据安全转换为认证数据,隔离用户与数据平台,使数据平台只知认证数据不知用户隐私数据,解决了海量匿名用户身份认证的安全风险问题。该部分包括数据上传和认证隔离黑箱的数据模式转换函数、数据上传和认证隔离黑箱的数据内容转换方法和基于数据上传和认证隔离黑箱的动态隐形认证方法,如附图2所示。
假设数据平台用户A上传的数据DA(i)(i=1,2,....,n),其中包括隐私数据PDA(e)(e=1,2,....,n)。隐私数据指包括用户身份信息数据、用户的第三方证明性文件、用户历史痕迹数据等所有与数据平台需要的认证数据相关的不同隐私程度的用户上传数据。并假设平台对数据平台用户A认证所需的认证数据为ADA(h)(h=1,2,....,n)。
构建将隐私数据安全转换为认证数据的数据上传和认证隔离黑箱及其数据处理模块/中间件具体方法为:
1-1)数据上传和认证隔离黑箱的数据模式转换函数
数据模式转换函数原理如附图3所示。假设用户A上传的隐私数据PDA(e)的数据模式为DPA{dpA(PDA(e))},DPA{dpA(PDA(e))}为用户A上传的用户身份信息数据、用户的第三方证明性文件、用户历史痕迹数据等隐私数据PDA(e)的隐私数据模式dpA(PDA(e))的集合。
根据数据平台认证历史经验数据,可以采用聚类检测、基于历史的MBR(Memory-based Reasoning)分析、决策树和模糊集的方法进行数据模式的挖掘与分析等数据挖掘与分析方法,针对各个细分应用场景ASs-r(s为具体应用场景,r为认证用户的场景角色,s=1,2,....,n,r=1,2,…,m)挖掘出相应的认证数据标准模式SDMs-r{adA(ADA(h))}。SDMs-r{adA(ADAs-r(h))}为认证数据细分应用场景ASs-r的认证数据ADAs-r(h)的认证标准数据模式adA(ADAs-r(h))的集合。认证数据ADAs-r(h)的认证标准数据模式adA(ADAs-r(h))需采用上述聚类检测、基于历史的MBR(Memory-based Reasoning)分析、决策树和模糊集等等数据挖掘与分析方法取得,并针对不同的数据类型采用指标一致化、无纲量化、归一化、z-score标准化或log函数转化的方法进行数据的标准化分析。。数据平台有多个细分应用场景时,认证数据细分应用场景的认证数据标准模式SDMs-r{adA(ADAs-r(h))}为相应的一系列模式。
数据上传和认证隔离黑箱的数据模式转换函数的核心是构建数据模式转换函数,采用欧式距离、曼哈顿距离、切比雪夫距离等距离公式计算隐私数据与认证数据标准模式的相似度。采用上述距离公式作为数据挖掘与匹配分析方法,根据用户隐私数据的隐私数据模式DPA{dpA(PDA(e))}和认证数据细分应用场景的认证数据标准模式SDMs-r{adA(ADAs-r(h))},可以挖掘出隐私数据向多个细分应用场景认证数据模式的一系列转换矩阵函数F(DPA{dpA(PDA(e))},SDMs-r{adA(ADAs-r(h))})。
为了隐藏数据平台细分应用场景与认证用户的关系,并防止认证方对数据上传和认证隔离黑箱辨识,对数据上传和认证隔离黑箱的一系列转换矩阵函数F(DPA{dpA(PDA(e))},SDMs-r{adA(ADAs-r(h))})提出应用场景约束条件,即将一系列转换矩阵函数F(DPA{dpA(PDA(e))},SDMs-r{adA(ADAs-r(h))})对应的DPA{dpA(PDA(e))}和SDMs-r{adA(ADAs-r(h))}模式差距进行分析,采用两两比较法对DPA{dpA(PDA(e))}和SDMs-r{adA(ADAs-r(h))}模式差距排序赋值,并建立层次分析法矩阵P(DPA{dpA(PDA(e))},SDMs-r{adA(ADAs-r(h))});并以达到数据上传和认证隔离黑箱输出的认证数据标准模式不暴露用户隐私的约束条件为目标,即以数据上传和认证隔离黑箱输出的认证标准数据模式的总隐私程度值和认证标准数据模式各分项的隐私程度值最低为目标;求取数据上传和认证隔离黑箱输出的隐藏细分应用场景且隐私程度值最低的统一输出认证数据标准模式SDM{adA(ADA(h))},并根据F(DPA{dpA(PDA(e))},SDMs-r{adA(ADAs-r(h))})和DPA{dpA(PDA(e))},可推导出由SDMs -r{adA(ADAs-r(h))}向SDM{adA(ADA(h))}转换的函数F’(SDMs-r{adA(ADAs-r(h))},SDM{adA(ADA(h))})。
其中,数据上传和认证隔离黑箱输出的认证标准数据模式的总隐私程度值是SDM{adA(ADA(h))}的隐私程度值,等于认证标准数据模式各分项adA(ADA(h))的隐私程度值之和。SDM{adA(ADA(h))}和adA(ADA(h))的隐私程度值求取方法为:根据F(DPA{dpA(PDA(e))},SDMs-r{adA(ADAs-r(h))})和F’(SDMs-r{adA(ADAs-r(h))},SDM{adA(ADA(h))}),得出F(DPA{dpA(PDA(e))},SDM{adA(ADA(h))}),提取其中各项adA(ADA(h))与DPA{dpA(PDA(e))}的关联关系函数,将隐私数据PDA(e)的隐私程度值代入关联关系函数,得出各项adA(ADA(h))的隐私程度值,将各项adA(ADA(h))的隐私程度值求和,得到SDM{adA(ADA(h))}的隐私程度值。
1-2)数据上传和认证隔离黑箱的数据内容转换方法
数据内容转换方法基本流程如附图4所示。针对各个细分应用场景ASs-r,将相同的细分领域场景对应的用户隐私数据PDNs-r(j)(j=1,2,....,n,N为用户编号,N=1,2,....,n,)归类为一组,将这一组用户隐私数据PDNs-r(j)代入1-1)所得的数据上传和认证隔离黑箱的数据模式转换函数F(DPA{dpA(PDA(e))},SDM{adA(ADA(h))}),得出用户隐私数据PDNs -r(j)对应的认证数据ADNs-r(i)(i=1,2,....,n)。将各个细分应用场景的用户隐私数据PDNs-r(j)和对应的认证数据ADNs-r(i)集合为一个数据组集合{(PDNs-r(j),ADNs-r(i))}。
将各个细分应用场景的数据组集合中的各个元素(PDNs-r(j),ADNs-r(i))进行聚类,将其中相同或相近的数据元素分为一个数据组NDAA(dx),x=1,2,…,n。聚类后,验证各数据组的同组元素数NN(DAA),当同组元素数与该细分应用场景的用户数占比P-NN(DAA)超过数据平台设定的聚类认证用户占比上限P-NMax(DAA),以及同组元素数的值Q-NN(DAA)均超过数据平台设定的聚类认证用户数上限Q-NMax(DAA)时,该聚类中的同组元素数通过隔离检验。
当聚类后,存在未通过隔离检验的同组元素数时,调整1-1)中的数据上传和认证隔离黑箱输出的认证数据标准模式不暴露用户隐私的约束条件,即将“数据上传和认证隔离黑箱输出的认证标准数据模式的总隐私程度值SDM{adA(ADA(h))}和认证标准数据模式各分项的隐私程度值adA(ADA(h))最低”的目标适当调整放宽,以“数据上传和认证隔离黑箱输出的认证标准数据模式的总隐私程度值SDM{adA(ADA(h))}和认证标准数据模式各分项的隐私程度值adA(ADA(h))”的次优解为目标,得到1-2)中的新的数据组集合{(PDNs-r(j),ADNs-r’(i))},重新聚类后,再次判断通过和未通过隔离检验的用户。
重复上一段步骤,直至数据上传和认证隔离黑箱输出的认证标准数据模式的总隐私程度值SDM{adA(ADA(h))}超过数据平台设定的数据上传和认证隔离黑箱输出的认证标准数据模式的总隐私程度上限Max[SDM{adA(ADA(h))}],或认证标准数据模式各分项的隐私程度值adA(ADA(h))中有超过数据平台设定的认证标准数据模式的分项隐私程度上限Max[adA(ADA(h))],则该调整结果不符合数据上传和认证隔离黑箱输出的认证数据标准模式不暴露用户隐私的约束条件,调整截止。
1-3)基于数据上传和认证隔离黑箱的动态隐形认证方法
动态隐形认证方法流程如附图5所示。比较1-2)得出的所有符合数据上传和认证隔离黑箱输出的认证数据标准模式不暴露用户隐私的约束条件的细分应用场景聚类的结果,求取这些结果中的各聚类结果的并集,标记为O(聚类用户S,聚类用户认证数据ADS(c)),(c=1,2,....,n)。聚类用户S可抽样进行1-1)中的细分应用场景的模式转换检验,如抽样检测通过隔离检验,则聚类用户S均通过隔离认证。非聚类用户,需要单独进行1-1)中的细分应用场景的模式转换检验,其中通过细分应用场景的模式转换检验的用户同样称为通过隔离认证用户,否则为未通过隔离认证用户。
2)构建将数据资源加工转换为数据要素的数据存储和加工隔离黑箱及其数据处理模块/中间件
该数据黑箱通过将数据资源加工转换为数据要素,隔离数据所有者与数据加工者,使数据加工者只知数据要素不知数据所有者数据资源,解决了数据产品生产过程中的加工质量问题。该部分包括数据存储和加工隔离黑箱的数据模式转换函数、数据存储和加工隔离黑箱的数据内容转换方法和基于数据存储和加工隔离黑箱的动态隐形认证方法。
假设数据所有者B的数据DB(i)(i=1,2,....,n),其中包括数据资源BDB(m)(m=1,2,....,n)。数据资源指包括文件资料等非结构化数据、电子数据等结构化数据、专业图表等图形数据、商家销售记录产品数据、顾客购买记录等运营数据等所有与数据产品生产需要的数据要素相关的不同可加工水平的数据所有者数据。并假设数据加工者G所需的数据要素为DEG(h)(h=1,2,....,n)。
构建将数据资源加工转换为数据要素的数据存储和加工隔离黑箱及其数据处理模块/中间件具体方法为:
2-1)数据存储和加工隔离黑箱的数据模式转换函数
假设数据所有者B上传的数据资源BDB(m)的数据模式为DPB{dpB(BDB(m))},DPB{dpB(BDB(m))}为数据所有者B文本数据、电子数据、图形数据、产品数据和运营数据等数据资源BDB(m)的数据资源模式dpB(BDB(m))的集合。
根据数据平台加工历史经验数据,可以采用聚类检测、基于历史的MBR(Memory-based Reasoning)分析、决策树和模糊集的方法进行数据模式的挖掘与分析等数据挖掘与分析方法,针对各个加工数据细分应用场景ASs-t(s为具体应用场景,t为数据要素的场景作用,s=1,2,....,n)挖掘出相应的加工数据标准模式PDSs-t{dgE(DGE(h))}。PDSs-t{dgE(DGEs-t(h))}为加工数据细分应用场景ASs-t的加工数据dgEs-t(h)的加工标准数据模式dgE(DGEs-t(h))的集合。加工数据DGEs-t(h)的加工标准数据模式dgE(DGEs-t(h))需采用上述聚类检测、基于历史的MBR(Memory-based Reasoning)分析、决策树和模糊集等等数据挖掘与分析方法取得,并针对不同的数据类型采用指标一致化、无纲量化、归一化、z-score标准化或log函数转化的方法进行数据的标准化分析。数据平台有多个加工数据细分应用场景时,加工数据细分应用场景的加工数据标准模式PDSs-t{dgE(DGEs-t(h))}为相应的一系列模式。
数据存储和加工隔离黑箱的数据模式转换函数的核心是构建数据模式转换函数,采用欧式距离、曼哈顿距离、切比雪夫距离等距离公式计算隐私数据与存储与加工数据标准模式的相似度。采用上述距离公式作为数据挖掘与分析方法,根据数据所有者数据资源的数据资源模式DPA{dpA(BDB(m))}和加工数据细分应用场景的加工数据标准模式PDSs-t{dgE(DGEs-t(h))},可以挖掘出数据资源向多个细分应用场景加工数据模式的一系列转换矩阵函数Z(DPA{dpA(BDB(m))},PDSs-t{dgE(DGEs-t(h))})。
为了隐藏数据平台细分应用场景与数据所有者的关系,并防止加工方对数据存储和加工隔离黑箱辨识,对数据存储和加工隔离黑箱的一系列转换矩阵函数Z(DPA{dpA(BDB(m))},PDSs-t{dgE(DGEs-t(h))})提出应用场景约束条件,即将一系列转换矩阵函数Z(DPA{dpA(BDB(m))},PDSs-t{dgE(DGEs-t(h))})对应的DPA{dpA(BDB(m))}和PDSs-t{dgE(DGEs-t(h))模式差距进行分析,采用两两比较法对DPA{dpA(BDB(m))}和PDSs-t{dgE(DGEs-t(h))}模式差距排序赋值,并建立层次分析法矩阵P[DPA{dpA(BDB(m))},PDSs-t{dgE(DGEs-t(h))}];并以达到数据存储和加工隔离黑箱输出的加工数据标准模式不暴露数据所有者数据资源的约束条件为目标,即以数据存储和加工隔离黑箱输出的加工标准数据模式的总可加工水平值和加工标准数据模式各分项的可加工水平值最高为目标;求取数据存储和加工隔离黑箱输出的隐藏细分应用场景且可加工水平值最高的统一输出加工数据标准模式PDS{dgE(DGE(h))},并根据Z(DPA{dpA(BDB(m))},PDSs-t{dgE(DGEs-t(h))})和DPA{dpA(BDB(m))},可推导出由PDSs-t{dgE(DGEs-t(h))}向PDS{dgE(DGE(h))}转换的函数Z’(PDSs-t{dgE(DGEs-t(h))},PDS{dgE(DGE(h))})。
其中,数据存储和加工隔离黑箱输出的加工标准数据模式的总可加工水平值是PDS{dgE(DGE(h))}的可加工水平值,等于加工标准数据模式各分项dgE(DGE(h))的可加工水平值之和。PDS{dgE(DGE(h))}和dgE(DGE(h))的可加工水平值求取方法为:根据Z(DPA{dpA(BDB(m))},PDSs-t{dgE(DGEs-t(h))}和Z’(PDSs-t{dgE(DGEs-t(h))},PDS{dgE(DGE(h))}),得出Z(DPA{dpA(BDB(m))},PDS{dgE(DGE(h))}),提取其中各项dgE(DGE(h))与DPA{dpA(BDB(m))}的关联关系函数,将数据资源BDB(m)的可加工水平值代入关联关系函数,得出各项dgE(DGE(h))的可加工水平值,将各项dgE(DGE(h))的可加工水平值求和,得到PDS{dgE(DGE(h))}的可加工水平值。
2-2)数据存储和加工隔离黑箱的数据内容转换方法
针对各个细分应用场景ASs-t,将相同的细分领域场景对应的数据所有者数据资源PDYs-t(j)(j=1,2,....,n,Y为数据所有者编号,Y=1,2,....,n,)归类为一组,将这一组数据所有者数据资源PDYs-t(j)代入2-1)所得的数据存储和加工隔离黑箱的数据模式转换函数Z(DPA{dpA(BDB(m))},PDS{dgE(DGE(h))}),得出数据所有者数据资源PDYs-t(j)对应的加工数据ADYs-t(i)(i=1,2,....,n)。将各个细分应用场景的数据所有者数据资源PDYs-t(j)和对应的加工数据ADYs-t(i)集合为一个数据组集合{(PDYs-t(j),ADYs-t(i))}。
将各个细分应用场景的数据组集合中的各个元素(PDYs-t(j),ADYs-t(i))进行聚类,将其中相同或相近的数据元素分为一个数据组YDAA(dx),x=1,2,…,n。聚类后,验证各数据组的同组元素数YN(DAA),当同组元素数与该细分应用场景的数据所有者数占比P-YN(DAA)超过数据平台设定的聚类加工数据所有者占比下限P-NMin(DAA),以及同组元素数的值Q-YN(DAA)均超过数据平台设定的聚类加工数据所有者数下限Q-YMin(DAA)时,该聚类中的同组元素数通过隔离检验。
当聚类后,存在未通过隔离检验的同组元素数时,调整2-1)中的数据存储和加工隔离黑箱输出的加工数据标准模式不暴露数据所有者数据资源的约束条件,即将“数据存储和加工隔离黑箱输出的加工标准数据模式的总可加工水平值PDS{dgE(DGE(h))}和加工标准数据模式各分项的可加工水平值dgE(DGE(h))最低”的目标适当调整放宽,以“数据存储和加工隔离黑箱输出的加工标准数据模式的总可加工水平值PDS{dgE(DGE(h))}和加工标准数据模式各分项的可加工水平值dgE(DGE(h))”的次优解为目标,得到2-2)中的新的数据组集合{(PDYs-t(j),ADYs-t’(i))},重新聚类后,再次判断通过和未通过隔离检验的数据所有者。
重复上一段步骤,直至数据存储和加工隔离黑箱输出的加工标准数据模式的总可加工水平值PDS{dgE(DGE(h))}超过数据平台设定的数据存储和加工隔离黑箱输出的加工标准数据模式的总可加工水平下限Min[PDS{dgE(DGE(h))}],或加工标准数据模式各分项的可加工水平值PDS{dgE(DGE(h))}中有超过数据平台设定的加工标准数据模式的分项可加工水平下限Min[PDS{dgE(DGE(h))}],则该调整结果不符合数据存储和加工隔离黑箱输出的加工数据标准模式不暴露数据所有者数据资源的约束条件,调整截止。
2-3)基于数据存储和加工隔离黑箱的动态数据资源检验方法
比较2-2)得出的所有符合数据存储和加工隔离黑箱输出的加工数据标准模式不暴露数据所有者数据资源的约束条件的细分应用场景聚类的结果,求取这些结果中的各聚类结果的并集,标记为W(聚类数据所有者L,聚类数据所有者加工数据CDO(x)),(x=1,2,....,n)。聚类数据所有者L可抽样进行2-1)中的细分应用场景的模式转换检验,如抽样检测通过隔离检验,则聚类数据所有者L的数据资源均通过隔离检验。非聚类数据所有者,需要单独进行2-1)中的细分应用场景的模式转换检验,其中通过细分应用场景的模式转换检验的数据所有者数据资源同样称为通过隔离加工的数据所有者数据资源,否则为未通过隔离加工的数据所有者数据资源。
3)构建将数据产品价值转换为数据资产的数据确权和交易隔离黑箱及其数据处理模块/中间件
该数据黑箱通过将数据产品价值转换为数据资产,隔离数据产品权所有者与数据资产买方,使数据资产买方只知数据资产不知数据产品权所有者数据产品,解决了数据资产交易过程中的交易后悔问题。该部分包括数据确权和交易隔离黑箱的数据模式转换函数、数据确权和交易隔离黑箱的数据内容转换方法和基于数据确权和交易隔离黑箱的动态隐形交易方法。
假设数据产品权所有者K上传的数据DK(n)(n=1,2,....,n),其中包括数据产品PDK(f)(f=1,2,....,n)。数据产品指包括文件资料等非结构化数据、电子数据等结构化数据、专业图表等图形数据、商家销售记录产品数据、顾客购买记录等运营数据等所有与数据资产买方需要的数据资产相关的不同价值程度的数据产品权所有者的数据。并假设平台对数据资产买方数据产品权所有者K交易所需的数据资产为DAK(h)(a=1,2,....,n)。
构建将数据产品价值转换为数据资产的数据确权和交易隔离黑箱及其数据处理模块/中间件具体方法为:
3-1)数据确权和交易隔离黑箱的数据模式转换函数
假设数据产品权所有者K的数据产品PDK(f)的数据模式为DPK{dpK(PDK(f))},DPK{dpK(PDK(f))}为数据产品权所有者K的数据产品权所有者文本数据、电子数据、图形数据、产品数据及运营数据等数据产品PDK(f)的数据产品模式dpK(PDK(f))的集合。
根据数据资产买方交易历史经验数据,可以采用聚类检测、基于历史的MBR(Memory-based Reasoning)分析、决策树和模糊集的方法进行数据模式的挖掘与分析,针对各个细分应用场景ASs-q(s为具体应用场景,q为数据资产的场景价值,s=1,2,....,n)挖掘出相应的数据资产标准模式DSSs-r{dpK(PDK(h))}。DSSs-r{daK(DAKs-r(h))}为数据资产细分应用场景ASs-r的数据资产DAKs-r(h)的交易标准数据模式daK(DAKs-r(h))的集合。数据资产ADKs-r(h)的交易标准数据模式daK(DAKs-r(h))需采用等数据挖掘与分析方法取得。数据资产买方有多个细分应用场景时,数据资产细分应用场景的数据资产标准模式DSSs-r{daK(DAKs-r(h))}为相应的一系列模式。
数据确权和交易隔离黑箱的数据模式转换函数的核心是构建数据模式转换函数,采用欧式距离、曼哈顿距离、切比雪夫距离等距离公式计算隐私数据与存储与加工数据标准模式的相似度。采用上述距离公式作为数据挖掘与匹配分析方法,根据数据产品权所有者数据产品的数据产品模式DPK{dpK(PDK(f))}和数据资产细分应用场景的数据资产标准模式DSSs-r{daK(DAKs-r(h))},可以挖掘出数据产品向多个细分应用场景数据资产模式的一系列转换矩阵函数Y(DPK{dpK(PDK(f))},DSSs-r{daK(DAKs-r(h))})。
为了隐藏数据资产买方细分应用场景与交易数据产品权所有者的关系,并防止交易方对数据确权和交易隔离黑箱辨识,对数据确权和交易隔离黑箱的一系列转换矩阵函数Y(DPK{dpK(PDK(f))},DSSs-r{daK(DAKs-r(h))})提出应用场景约束条件,即将一系列转换矩阵函数Y(DPK{dpK(PDK(f))},DSSs-r{daK(DAKs-r(h))})对应的DPK{dpK(PDK(f))}和DSSs-r{daK(DAKs-r(h))}模式差距进行分析,采用两两比较法对DPK{dpK(PDK(f))}和DSSs-r{daK(DAKs-r(h))}模式差距排序赋值,并建立层次分析法矩阵P[DPK{dpK(PDK(f))},DSSs-r{daK(DAKs-r(h))}];并以达到数据确权和交易隔离黑箱输出的数据资产标准模式不暴露数据产品权所有者数据资产的约束条件为目标,即以数据确权和交易隔离黑箱输出的交易标准数据模式的总价值程度值和交易标准数据模式各分项的价值程度值最高为目标;求取数据确权和交易隔离黑箱输出的隐藏细分应用场景且价值程度值最高的统一输出数据资产标准模式DSS{dpK(PDK(h))},并根据Y(DPK{dpK(PDK(f))},DSSs-r{daK(DAKs-r(h))})和DPK{dpK(PDK(f))},可推导出由DSSs-r{daK(DAKs-r(h))}向DSS{dpK(PDK(h))}转换的函数Y’(DSSs-r{daK(DAKs-r(h))},DSS{dpK(PDK(h))})。
其中,数据确权和交易隔离黑箱输出的交易标准数据模式的总价值程度值是DSS{dpK(PDK(h))}的价值程度值,等于交易标准数据模式各分项dpK(PDK(h))的价值程度值之和。DSS{dpK(PDK(h))}和dpK(PDK(h))的价值程度值求取方法为:根据Y(DPK{dpK(PDK(f))},DSSs-r{daK(DAKs-r(h))})和Y’(DSSs-r{daK(DAKs-r(h))},DSS{dpK(PDK(h))}),得出Y(DPK{dpK(PDK(f))},DSS{dpK(PDK(h))}),提取其中各项dpK(PDK(h))与DPK{dpK(PDK(f))}的关联关系函数,将数据产品PDK(f)的价值程度值代入关联关系函数,得出各项dpK(PDK(h))的价值程度值,将各项dpK(PDK(h))的价值程度值求和,得到DSS{dpK(PDK(h))}的价值程度值。
3-2)数据确权和交易隔离黑箱的数据内容转换方法
针对各个细分应用场景ASs-r,将相同的细分领域场景对应的数据产品权所有者数据产品PDMs-r(j)(j=1,2,....,n,M为数据产品权所有者编号,M=1,2,....,n,)归类为一组,将这一组数据产品权所有者数据产品PDMs-r(j)代入1-1)所得的数据确权和交易隔离黑箱的数据模式转换函数F(DPK{dpK(PDK(f))},DSS{dpK(PDK(h))}),得出数据产品权所有者数据产品PDMs-r(j)对应的数据资产DAMs-r(i)(i=1,2,....,n)。将各个细分应用场景的数据产品权所有者数据产品PDMs-r(j)和对应的数据资产DAMs-r(i)集合为一个数据组集合{(PDMs-r(j),DAMs-r(i))}。
将各个细分应用场景的数据组集合中的各个元素(PDMs-r(j),DAMs-r(i))进行聚类,将其中相同或相近的数据元素分为一个数据组MDAA(dx),x=1,2,…,n。聚类后,验证各数据组的同组元素数MN(DAA),当同组元素数与该细分应用场景的数据产品权所有者数占比P-MN(DAA)超过数据资产买方设定的聚类交易数据产品权所有者占比P-MMax(DAA)下限,以及同组元素数的值Q-MN(DAA)均超过数据资产买方设定的聚类交易数据产品权所有者数下限Q-MMax(DAA)时,该聚类中的同组元素数通过隔离检验。
当聚类后,存在未通过隔离检验的同组元素数时,调整3-1)中的数据确权和交易隔离黑箱输出的数据资产标准模式不暴露数据产品权所有者数据资产的约束条件,即将“数据确权和交易隔离黑箱输出的交易标准数据模式的总价值程度值DSS{dpK(PDK(h))}和交易标准数据模式各分项的价值程度值dpK(PDK(h))最高”的目标适当调整放宽,以“数据确权和交易隔离黑箱输出的交易标准数据模式的总价值程度值DSS{dpK(PDK(h))}和交易标准数据模式各分项的价值程度值dpK(PDK(h))”的次优解为目标,得到1-2)中的新的数据组集合{(PDMs-r(j),DAMs-r’(i))},重新聚类后,再次判断通过和未通过隔离检验的数据产品权所有者。
重复上一段步骤,直至数据确权和交易隔离黑箱输出的交易标准数据模式的总价值程度值DSS{dpK(PDK(h))}超过数据资产买方设定的数据确权和交易隔离黑箱输出的交易标准数据模式的总价值程度下限Min[DSS{dpK(PDK(h))}],或交易标准数据模式各分项的价值程度值dpK(PDK(h))中有超过数据资产买方设定的交易标准数据模式的分项价值程度下限Min[dpK(PDK(h))],则该调整结果不符合数据确权和交易隔离黑箱输出的数据资产标准模式不暴露数据产品权所有者数据资产的约束条件,调整截止。
3-3)基于数据确权和交易隔离黑箱的动态隐形交易方法
比较3-2)得出的所有符合数据确权和交易隔离黑箱输出的数据资产标准模式不暴露数据产品权所有者数据资产的约束条件的细分应用场景聚类的结果,求取这些结果中的各聚类结果的并集,标记为Q(聚类数据产品权所有者λ,聚类数据产品权所有者数据资产DAλ(d)),(d=1,2,....,n)。聚类数据产品权所有者λ可抽样进行3-1)中的细分应用场景的模式转换检验,如抽样检测通过隔离检验,则聚类数据产品权所有者λ的数据资产均通过交易隔离检验。非聚类数据产品权所有者,需要单独进行3-1)中的细分应用场景的模式转换检验,其中通过细分应用场景的模式转换检验的数据产品权所有者数据资产同样称为通过隔离交易的数据产品权所有者数据资产,否则为未通过隔离交易的数据产品权所有者数据资产。
4)构建三种黑箱的系统目标与应用场景的协调机制模块/中间件
链接数据上传和认证隔离黑箱及其数据处理模块/中间件、数据存储和加工隔离黑箱及其数据处理模块/中间件、数据确权和交易隔离黑箱及其数据处理模块/中间件,分别提取其中的数据上传和认证隔离黑箱的数据模式转换函数F(DPA{dpA(PDA(e))},SDM{adA(ADA(h))})和数据模式与内容转换模块的约束条件调整结果中认证用户对应的数据黑箱输入输出、数据存储和加工隔离黑箱的数据模式转换函数Z(DPA{dpA(BDB(m))},PDS{dgE(DGE(h))})和数据模式与内容转换模块的约束条件调整结果中数据所有者数据资源对应的数据黑箱输入输出、数据确权和交易隔离黑箱的数据模式与内容转换函数Y(DPK{dpK(PDK(f))},DSS{dpK(PDK(h))})和数据内容转换方法的约束条件调整结果中数据产品权所有者数据资产对应的数据黑箱输入输出。
根据以上结果,分别对相同细分应用场景领域的数据上传和认证隔离黑箱及其数据处理模块/中间件、数据存储和加工隔离黑箱及其数据处理模块/中间件、数据确权和交易隔离黑箱及其数据处理模块/中间件分析,以用户和数据为线索,提取其中认证用户作为数据所有者和数据产品权所有者时的相关模式转换函数F’(SDMs-r{adA(ADAs-r(h))},SDM{adA(ADA(h))})、模型与内容约束条件及相应的数据黑箱输入输出,并提取其中数据以数据资源开始向数据要素、数据产品、数据资产转化完成全生命周期的相关模式转换函数Z’(PDSs-t{dgE(DGEs-t(h))},PDS{dgE(DGE(h))})、模型与内容约束条件及相应的数据黑箱输入输出。
根据以上提取结果,建立三种黑箱的系统目标与应用场景的协调机制模块/中间件的协调机制方程Max V=α/SDM{adA(ADA(h))}+β*PDS{dgE(DGE(h))}+γ*DSS{dpK(PDK(h))},使得建立协调机制的效果值最大,α,β,γ分别为认证用户、数据资源和数据所有权程度系数,求取通过调整三种黑箱的内部目标和约束条件,进一步优化认证用户、数据所有者数据资源、数据产品权所有者数据资产的隔离检验结果。特别是,分析三种黑箱中未通过隔离认证用户、未通过隔离加工的数据所有者数据资源、未通过隔离交易的数据产品权所有者数据资产的隔离检验结果,是否通过三种黑箱的系统目标与应用场景的协调机制模块/中间件达到检验要求。并以步骤1)、2)、3)的检验结果为参考,验证三种黑箱的系统目标与应用场景的协调机制模块/中间件的可行性及优化效果。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应该涵盖在本发明的保护范围之内。

Claims (5)

1.一种用于数据隔离的动态隐形黑箱方法,其特征在于,具体包括:
S1、构建数据上传和认证隔离黑箱,确定数据上传和认证隔离的数据模式转换函数,具体步骤为:
S11、提取用户上传的隐私数据的数据模式A1;
S12、挖掘建立细分应用场景认证数据标准模式B1;
S13、根据数据模式A1和认证数据标准模式B1,挖掘隐私数据向多个细分应用场景认证数据模式的转换矩阵函数;
S14、以数据上传和认证隔离黑箱输出的认证标准数据模式的总隐私程度值和各分项隐私程度值最低为约束条件Y1,获得隐藏细分应用场景且隐私程度值最低的统一输出认证数据标准模式C1;
S15、推导出由模式B1向模式C1的转换函数,即数据上传和认证隔离的数据模式转换函数;
S2、实现数据上传和认证隔离的数据内容转换方法,具体步骤为:
S21将相同的细分领域场景对应的用户隐私数据归类为一组,然后代入所述数据上传和认证隔离的数据模式转换函数,得出对应的认证数据;
S22、将各个细分应用场景的用户隐私数据和对应的认证数据集合为一个数据组集合;
S23、将各个细分应用场景的数据组集合中的各个元素进行聚类,将其中相同或相近的数据元素分为一个数据组;
S24、聚类后,验证各数据组的同组元素数,当同组元素数与该细分应用场景的用户数占比超过设定的聚类认证用户占比上限,以及同组元素数的值均超过设定的聚类认证用户数上限时,该聚类中的同组元素数通过隔离检验;
当聚类后,存在未通过隔离检验的同组元素数时,则判断所述约束条件Y1是否可以调整,如果可以调整,则放宽约束条件Y1,重新确定数据上传和认证隔离的数据模式转换函数,返回步骤S21;
S3、实现基于数据上传和认证隔离黑箱的动态隐形认证方法,具体步骤为:
S31、比较所有符合约束条件Y1的细分应用场景聚类的结果,求取各聚类结果的并集,并标记元素:聚类用户、聚类用户认证数据;
S32、对于聚类用户,则抽样进行细分应用场景的模式转换检验,如果通过则完成隔离认证;
S33、对于非聚类用户,则直接进行细分应用场景的模式转换检验,如果通过则完成隔离认证;
S4、构建数据存储和加工隔离黑箱,确定数据存储和加工隔离的数据模式转换函数,具体步骤为:
S41、提取数据所有者上传的数据资源的数据模式A2;
S42、挖掘建立细分应用场景加工数据标准模式B2;
S43、根据数据模式A2和加工数据标准模式B2,挖掘数据资源向多个细分应用场景加工数据模式的转换矩阵函数;
S44、以数据存储和加工隔离黑箱输出的加工标准数据模式的总可加工水平值和各分项可加工水平值最高为约束条件Y2,获得隐藏细分应用场景且可加工水平值最高的统一输出加工数据标准模式C2;
S45、推导出由模式B2向模式C2的转换函数,即数据存储和加工隔离的数据模式转换函数;
S5、实现数据存储和加工隔离的数据内容转换方法,具体步骤为:
S51、将相同的细分领域场景对应的数据所有者数据资源归类为一组,然后代入所述数据存储和加工隔离的数据模式转换函数,得出对应的加工数据;
S52、将各个细分应用场景的数据所有者数据资源和对应的加工数据集合为一个数据组集合;
S53、将各个细分应用场景的数据组集合中的各个元素进行聚类,将其中相同或相近的数据元素分为一个数据组;
S54、聚类后,验证各数据组的同组元素数,当同组元素数与该细分应用场景的数据所有者数占比超过设定的聚类加工数据所有者占比下限,以及同组元素数的值均超过设定的聚类加工数据所有者数下限时,该聚类中的同组元素数通过隔离检验;
当聚类后,存在未通过隔离检验的同组元素数时,则判断所述约束条件Y2是否可以调整,如果可以调整,则放宽约束条件Y2,重新确定数据存储和加工隔离黑箱的数据模式转换函数,返回步骤S51;
S6、实现基于数据存储和加工隔离黑箱的动态数据资源检验方法,具体步骤为:
S61、比较所有符合约束条件Y2的细分应用场景聚类的结果,求取各聚类结果的并集,并标记元素:聚类数据所有者,聚类数据所有者加工数据;
S62、对于聚类数据所有者,则抽样进行细分应用场景的模式转换检验,如果通过则完成隔离认证;
S63、对于非聚类数据所有者,则直接进行细分应用场景的模式转换检验,如果通过则完成隔离认证;
S7、构建数据确权和交易隔离黑箱,确定数据确权和交易隔离的数据模式转换函数,具体步骤为:
S71、提取数据产品权所有者的数据产品的数据模式A3;
S72、挖掘建立细分应用场景数据资产标准模式B3;
S73、根据数据模式A3和数据资产标准模式B3,挖掘数据资源向多个细分应用场景加工数据模式的转换矩阵函数;
S74、以数据确权和交易隔离黑箱输出的交易标准数据模式的总价值程度值和各分项价值程度值最高为约束条件Y3,获得隐藏细分应用场景且价值程度值最高的统一输出数据资产标准模式C3;
S75、推导出由模式B3向模式C3的转换函数,即数据确权和交易隔离的数据模式转换函数;
S8、数据确权和交易隔离的数据内容转换方法,具体步骤为:
S81、将相同的细分领域场景对应的数据产品权所有者数据产品归类为一组,然后代入所述数据确权和交易隔离的数据模式转换函数,得出对应的数据资产;
S82、将各个细分应用场景的数据产品权所有者数据产品和对应的数据资产集合为一个数据组集合;
S83、将各个细分应用场景的数据组集合中的各个元素进行聚类,将其中相同或相近的数据元素分为一个数据组;
S84、聚类后,验证各数据组的同组元素数,当同组元素数与该细分应用场景的数据产品权所有者数占比超过数据资产买方设定的聚类交易数据产品权所有者占比下限,以及同组元素数的值均超过数据资产买方设定的聚类交易数据产品权所有者数下限时,该聚类中的同组元素数通过隔离检验;
当聚类后,存在未通过隔离检验的同组元素数时,则判断所述约束条件Y3是否可以调整,如果可以调整,则放宽约束条件Y3,重新确定数据确权和交易隔离黑箱的数据模式转换函数,返回步骤S81;
S9、实现基于数据确权和交易隔离黑箱的动态隐形交易方法,具体步骤为:
S91、比较所有符合约束条件Y3的细分应用场景聚类的结果,求取各聚类结果的并集,并标记元素:聚类数据产品权所有者、聚类数据产品权所有者数据资产;
S92、对于聚类数据产品权所有者,则抽样进行细分应用场景的模式转换检验,如果通过则完成隔离认证;
S93、对于非聚类数据产品权所有者,则直接进行细分应用场景的模式转换检验,如果通过则完成隔离认证;
S10、构建三种黑箱的协调机制模块,实现三种黑箱同时运行,所述三种黑箱包括数据上传和认证隔离黑箱、数据存储和加工隔离黑箱、数据确权和交易隔离黑箱。
2.根据权利要求1所述的用于数据隔离的动态隐形黑箱方法,其特征在于,所述步骤S24包括:
所述约束条件Y1是否可以调整的依据为:当数据上传和认证隔离黑箱输出的认证标准数据模式的总隐私程度值超过总隐私程度值设定上限,或认证标准数据模式各分项的隐私程度值中有超过分项隐私程度值设定上限,则不可以调整;
所述放宽约束条件Y1的方法为:将数据上传和认证隔离黑箱输出的认证标准数据模式的总隐私程度值和认证标准数据模式各分项的隐私程度值现有目标,放宽为现有目标的次级优解。
3.根据权利要求1所述的用于数据隔离的动态隐形黑箱方法,其特征在于,所述步骤S54包括:
所述约束条件Y2是否可以调整的依据为:当数据存储和加工隔离黑箱输出的加工标准数据模式的总可加工水平值超过设定总可加工水平下限,或加工标准数据模式各分项的可加工水平值中有超过设定的分项可加工水平下限,则不可以调整;
所述放宽约束条件Y2的方法为:将数据存储和加工隔离黑箱输出的加工标准数据模式的总可加工水平值和加工标准数据模式各分项的可加工水平值现有目标,放宽为现有目标的次级优解。
4.根据权利要求1所述的用于数据隔离的动态隐形黑箱方法,其特征在于,所述步骤S84包括:
所述约束条件Y3是否可以调整的依据为:数据确权和交易隔离黑箱输出的交易标准数据模式的总价值程度值超过数据资产买方设定的总价值程度下限,或交易标准数据模式各分项的价值程度值中有超过数据资产买方设定的分项价值程度下限,则不可以调整;
所述放宽约束条件Y3的方法为:将数据确权和交易隔离黑箱输出的交易标准数据模式的总价值程度值和交易标准数据模式各分项的价值程度值现有目标,放宽为现有目标的次级优解。
5.根据权利要求1至4任一项所述的用于数据隔离的动态隐形黑箱方法,其特征在于,所述步骤S10具体为:
S101、链接数据上传和认证隔离黑箱,提取数据上传和认证隔离的数据模式转换函数以及约束条件Y1调整变化时认证用户对应的数据黑箱输入输出;
S102、链接数据存储和加工隔离黑箱、提取数据存储和加工隔离的数据模式转换函数以及约束条件Y2调整变化时数据所有者数据资源对应的数据黑箱输入输出;
S103、链接数据确权和交易隔离黑箱、提取数据确权和交易隔离黑箱的数据模式与约束条件Y3调整变化时数据产品权所有者数据资产对应的数据黑箱输入输出;
S104、分析S101至S103中提取的用户信息,提取其中认证用户作为数据所有者和数据产品权所有者时的模式转换函数、约束条件及相应的数据黑箱输入输出;
S105、分析S101至S103中提取的数据信息,提取数据以数据资源开始向数据要素、数据产品、数据资产转化时的模式转换函数、约束条件及相应的数据黑箱输入输出;
S106、根据S104至S105的提取结果,求取通过调整约束条件,建立三种黑箱的协调机制方程。
CN202211027337.2A 2022-08-25 2022-08-25 一种用于数据隔离的动态隐形黑箱方法 Active CN116305226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211027337.2A CN116305226B (zh) 2022-08-25 2022-08-25 一种用于数据隔离的动态隐形黑箱方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211027337.2A CN116305226B (zh) 2022-08-25 2022-08-25 一种用于数据隔离的动态隐形黑箱方法

Publications (2)

Publication Number Publication Date
CN116305226A CN116305226A (zh) 2023-06-23
CN116305226B true CN116305226B (zh) 2023-11-07

Family

ID=86827441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211027337.2A Active CN116305226B (zh) 2022-08-25 2022-08-25 一种用于数据隔离的动态隐形黑箱方法

Country Status (1)

Country Link
CN (1) CN116305226B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335149A (zh) * 2019-06-19 2019-10-15 华中科技大学 一种基于区块链的资产确权交易实现方法及系统
CN111047316A (zh) * 2019-12-02 2020-04-21 上海金桥信息股份有限公司 一种反篡改的智能区块链系统及实现方法
CN113393234A (zh) * 2020-03-12 2021-09-14 赵华国 一种基于区块链的链外资产确权方法
CN113507373A (zh) * 2021-06-30 2021-10-15 北京优品三悦科技发展有限公司 一种基于隐私保护的身份认证数据建模方法、设备和系统
WO2022107971A1 (ko) * 2020-11-23 2022-05-27 부산대학교 산학협력단 프라이버시 블록체인 플랫폼 기반 물류 방법 및 물류 시스템
CN114840834A (zh) * 2022-04-14 2022-08-02 浙江大学 一种基于步态特征的隐式身份认证方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335149A (zh) * 2019-06-19 2019-10-15 华中科技大学 一种基于区块链的资产确权交易实现方法及系统
CN111047316A (zh) * 2019-12-02 2020-04-21 上海金桥信息股份有限公司 一种反篡改的智能区块链系统及实现方法
CN113393234A (zh) * 2020-03-12 2021-09-14 赵华国 一种基于区块链的链外资产确权方法
WO2022107971A1 (ko) * 2020-11-23 2022-05-27 부산대학교 산학협력단 프라이버시 블록체인 플랫폼 기반 물류 방법 및 물류 시스템
CN113507373A (zh) * 2021-06-30 2021-10-15 北京优品三悦科技发展有限公司 一种基于隐私保护的身份认证数据建模方法、设备和系统
CN114840834A (zh) * 2022-04-14 2022-08-02 浙江大学 一种基于步态特征的隐式身份认证方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘阿千 ; .基于区块链技术的数据资产交易体系构建探讨.财会通讯.2020,(第03期),全文. *
王进 ; 黄志球 ; .面向超媒体链接的RESTful服务隐私建模方法.计算机研究与发展.2017,(第04期),全文. *

Also Published As

Publication number Publication date
CN116305226A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN108876133B (zh) 基于业务信息的风险评估处理方法、装置、服务器和介质
WO2022095352A1 (zh) 基于智能决策的异常用户识别方法、装置及计算机设备
CN106504079A (zh) 一种综合式财务管理方法及其管理平台
CN110929840A (zh) 使用滚动窗口的连续学习神经网络系统
CN111325619A (zh) 一种基于联合学习的信用卡欺诈检测模型更新方法及装置
CN110766275A (zh) 数据验证方法、装置、计算机设备及存储介质
US20200410480A1 (en) Method and system for predicting cryptocurrency price using artificial intelligence
CN110675269A (zh) 文本审核方法以及装置
CN110889291A (zh) 一种基于深度学习和区块链的研报评价方法
CN111582645B (zh) 基于因子分解机的app风险评估方法、装置和电子设备
CN110059126B (zh) 基于lkj异常值数据的复杂关联网络分析方法及系统
CN116305226B (zh) 一种用于数据隔离的动态隐形黑箱方法
CN109388741A (zh) 一种金融信息的推送方法和装置
CN117196630A (zh) 交易风险预测方法、装置、终端设备以及存储介质
CN116402625A (zh) 客户评估方法、装置、计算机设备及存储介质
CN112330328A (zh) 一种基于特征提取的信用卡欺诈检测方法
CN111143533A (zh) 一种基于用户行为数据的客服方法及系统
CN114511330B (zh) 一种基于改进的cnn-rf的以太坊庞氏骗局检测方法及系统
CN112561538B (zh) 风险模型创制方法、装置、计算机设备及可读存储介质
CN112966732B (zh) 具有周期属性的多因素交互行为异常检测方法
KR102512982B1 (ko) 보험사기 검출 시스템
CN110032596B (zh) 流量异常用户识别方法及系统
CN114140259A (zh) 基于人工智能的核保风控方法、装置、设备及存储介质
CN110135804B (zh) 数据处理方法及装置
Raymaekers et al. Weight-of-evidence 2.0 with shrinkage and spline-binning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant