CN105590066B - 不泄露隐私的大数据安全融合方法 - Google Patents

不泄露隐私的大数据安全融合方法 Download PDF

Info

Publication number
CN105590066B
CN105590066B CN201510868103.4A CN201510868103A CN105590066B CN 105590066 B CN105590066 B CN 105590066B CN 201510868103 A CN201510868103 A CN 201510868103A CN 105590066 B CN105590066 B CN 105590066B
Authority
CN
China
Prior art keywords
data set
fused
data
party
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510868103.4A
Other languages
English (en)
Other versions
CN105590066A (zh
Inventor
周雍恺
柴洪峰
何朔
何东杰
刘国宝
才华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201510868103.4A priority Critical patent/CN105590066B/zh
Publication of CN105590066A publication Critical patent/CN105590066A/zh
Priority to TW105139708A priority patent/TWI664538B/zh
Priority to PCT/CN2016/108245 priority patent/WO2017092696A1/zh
Application granted granted Critical
Publication of CN105590066B publication Critical patent/CN105590066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6272—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database by registering files or documents with a third party

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Storage Device Security (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及一种大数据安全融合方法，包括：第一方与第二方就关联字段、各自所需的数据项以及排序规则进行协商；基于各自所需的数据项分别从第一数据集、第二数据集中筛选出第一待融合数据集、第二待融合数据集；依据排序规则分别对第一待融合数据集、第二待融合数据集进行排序，并将关联字段对应的数据分别从第一待融合数据集、第二待融合数据集中剔除；将第一待融合数据集、第二待融合数据集提交到第三方计算平台，以形成已融合数据集；第三方计算平台对已融合数据集进行分析计算，生成结果数据集。其在实现大数据融合的同时，有效防止隐私数据的泄露，在确保数据安全的前提下促进了信息的共享。

Description

不泄露隐私的大数据安全融合方法
技术领域
本发明涉及一种大数据安全融合方法。
背景技术
随着国家“互联网+”战略的出台，各产业之间的大数据融合需求愈发迫切。然而，一方面，不同的机构对于大数据共享持欢迎的态度，引入不同类型数据的融合可以产生新的分析结果，数据价值将因此产生乘数效应；另一方面，双方对于在数据融合的过程中隐私数据的泄露存在担忧，因为最终的分析结果往往只是一个统计性结论，而在大数据融合计算的过程中却不得不将数据所有的条目细节都暴露于对方。该问题已经成为产业间大数据协作与共享的一大障碍。
因此，本领域技术人员期望获得一种有效屏蔽隐私数据的、可靠的大数据安全融合方法。
发明内容
本发明的一个目的在于提供一种有效屏蔽隐私数据的大数据安全融合方法。
为实现上述目的，本发明提供一种技术方案如下：
一种大数据安全融合方法，用于将第一方存储的第一数据集与第二方存储的第二数据集进行融合，该方法包括如下步骤：a)、第一方与第二方就关联字段、各自所需的数据项以及排序规则进行协商；b)、基于各自所需的数据项分别从第一数据集、第二数据集中筛选出第一待融合数据集、第二待融合数据集；c)、依据排序规则分别对第一待融合数据集、第二待融合数据集进行排序，并将关联字段对应的数据分别从第一待融合数据集、第二待融合数据集中剔除；d)、第一方、第二方分别将第一待融合数据集、第二待融合数据集提交到第三方计算平台，以形成已融合数据集；e)、第三方计算平台对已融合数据集进行分析计算，生成结果数据集。
优选地，第三方计算平台分别独立于第一方以及第二方。
优选地，在分析计算完成后，将第一待融合数据集、第二待融合数据集从计算系统中删除。
本发明实施例提供的大数据安全融合方法，在实现大数据融合的同时，有效防止隐私数据的泄露，在确保数据安全的前提下促进了信息的共享，拓宽了大数据融合技术的应用广度和深度。此外，上述大数据安全融合方法实施简单、实现成本低，利于在业内推广应用。
附图说明
图1示出本发明第一实施例提供的大数据安全融合方法的流程示意图。
具体实施方式
需要说明的是，依照本发明所公开的各实施例，第一方在第一数据库中存储第一数据集，第二方在第二数据库中存储第二数据集。
第一、第二数据集分别记录不同的信息，例如多个用户分别在不同场合的活动信息。第一、第二数据集具有信息的交集，例如，用户的身份信息，其可以提取出来作为关联字段。
本发明提供对第一、第二数据集进行大数据融合的各种实施方式。
如图1所示，本发明第一实施例提供一种大数据安全融合方法，其包括如下步骤：
步骤S10、第一方与第二方就关联字段、各自所需的数据项以及排序规则进行协商。
具体地，第一方与第二方进行协商会话，并就关联字段、各自所需的数据项以及排序规则达成一致。
各自所需的数据项包括第一方期望在数据融合中从第二方间接获得的数据项，以及第二方期望在数据融合中从第一方间接获得的数据项。通过各自所需的数据项，在协商会话中可以确定第一方、第二方分别关心哪些用户的相关信息，并进一步就这些用户的身份信息达成一致。
关联字段能够表示第一、第二数据集中的信息交集部分，其可直接取自下列信息中的任一个或多个：用户的身份信息；用户的所持卡信息；和/或，唯一地确定用户的其他标识信息。
排序规则确定在后续的融合过程中，按照何种顺序来对具体的待融合数据集进行排序。一旦确定，这种排序规则不能被随意改变，除非通过再次的协商会话进行变更。依照所确定的排序规则进行排序，第一、第二待融合数据集中各数据项之间的对应关系也能够被确定。
协商会话可以由第一方或第二方发起，另一方进行响应。或者，协商会话可以由不同于第一方和第二方的一个独立的实体模块来发起，第一方、第二方收到指令后，直接进行协商会话，协商会话完成后，通知该实体模块。
步骤S20、基于各自所需的数据项分别从第一数据集、第二数据集中筛选出第一待融合数据集、第二待融合数据集。
具体地，基于协商会话所确定的各自所需的数据项，可以从第一数据集中筛选出第一待融合数据集，以及从第二数据集中筛选出第二待融合数据集。可以理解，第一待融合数据集与第二待融合数据集具有数量相同的数据项，且第一待融合数据集中的每个数据项都能够在第二待融合数据集中找到与之对应的数据项，反之亦然。
步骤S30、依据排序规则分别对第一待融合数据集、第二待融合数据集进行排序，并将关联字段对应的数据分别从第一待融合数据集、第二待融合数据集中剔除。
该步骤S30具体包括排序步骤和剔除步骤。
依照一种具体实现，排序步骤可以包括：第一方、第二方分别依据排序规则对第一待融合数据集、第二待融合数据集进行排序。
剔除步骤可以包括：第一方、第二方分别将关联字段对应的数据分别从第一待融合数据集、第二待融合数据集中剔除。
通过执行剔除步骤，第一、第二待融合数据集不再包括用户身份信息，从而有效地屏蔽了隐私信息；而通过执行排序步骤，第一、第二待融合数据集中的数据项之间已具有明确的一一对应关系。
步骤S40、第一方、第二方分别将第一待融合数据集、第二待融合数据集提交到第三方架设的计算平台，以形成已融合数据集。
具体地，第一方将执行排序步骤和剔除步骤之后得到的第一待融合数据集通过专用通信线路提交到第三方架设的计算平台，同时，第二方执行类似操作。其中，第三方计算平台分别独立于第一方以及第二方。
随后，依照执行上述排序步骤所得到的先后顺序，将第一待融合数据集中的数据项与第二待融合数据集中的数据项一一对应地进行结合来生成新的数据项，进而形成已融合数据集。
所形成的已融合数据集同时包括来自第一方的用户活动信息以及来自第二方的用户活动信息，但不包括用户身份信息，因此，对第三方来说，其无法获知是哪个用户进行了这些活动。
步骤S50、第三方计算平台对已融合数据集进行分析计算，生成结果数据集。
通过该步骤S50，第三方计算平台可以对已融合数据集进行分析计算，生成结果数据集，结果数据集可以是分析统计的结果，其完全不同于第一、第二待融合数据集。结果数据集可以反馈给第一方、第二方，而第一方、第二方从结果数据集无法还原出原始数据。
进一步地，在上述分析计算完成后，第三方计算平台可以删除第一待融合数据集、第二待融合数据集，从而更有利于保护数据的安全性与隐私性。
该实施例所提供的大数据安全融合方法，在实现大数据融合的同时，屏蔽了用户的身份信息，从而有效防止隐私数据的泄露。这种大数据融合方法安全可靠，实现简单。
根据上述实施例进一步改进的实现方式，在步骤S10中还可以包括：第一方向第二方提出第一数据集中涉及用户隐私信息的字段或需要保护的字段。与此相应地，步骤S30还包括：将该涉及用户隐私信息的字段或需要保护的字段所对应的数据从第一待融合数据集中剔除。
类似地，第二方也可以向第一方提出第二数据集中涉及用户隐私信息的字段或需要保护的字段。
这种改进实现方式，提供对用户隐私信息的强化保护，特别适合在对数据保护要求较高的场合中使用。
上述说明仅针对于本发明的优选实施例，并不在于限制本发明的保护范围。本领域技术人员可作出各种变形设计，而不脱离本发明的思想及附随的权利要求。

Claims (5)

1.一种大数据安全融合方法，用于将第一方存储的第一数据集与第二方存储的第二数据集进行融合，所述方法包括如下步骤：
a)、所述第一方与所述第二方就关联字段、各自所需的数据项以及排序规则进行协商；
b)、基于所述各自所需的数据项分别从所述第一数据集、第二数据集中筛选出第一待融合数据集、第二待融合数据集；其中，所述第一待融合数据集中的各数据项与所述第二待融合数据集中的各数据项之间满足对应关系；
c)、依据所述排序规则分别对所述第一待融合数据集、第二待融合数据集进行排序，并将所述关联字段对应的数据分别从所述第一待融合数据集、第二待融合数据集中剔除；
d)、所述第一方、第二方分别将所述第一待融合数据集、第二待融合数据集提交到第三方计算平台，以形成已融合数据集；
e)、所述第三方计算平台对所述已融合数据集进行分析计算，生成结果数据集。
2.根据权利要求1所述的方法，其特征在于，所述第三方计算平台分别独立于所述第一方以及所述第二方。
3.根据权利要求1所述的方法，其特征在于，所述步骤e)还包括：
在所述分析计算完成后，将所述第一待融合数据集、第二待融合数据集从所述计算系统中删除。
4.根据权利要求1所述的方法，其特征在于，所述第一数据集、第二数据集分别记录多个用户的不同活动信息，所述关联字段包括：
用户的身份信息；
用户的所持卡信息；和/或
唯一地确定用户的标识信息。
5.根据权利要求4所述的方法，其特征在于，所述步骤a)还包括：
所述第一方向所述第二方提出所述第一数据集中涉及用户隐私信息的字段；
所述步骤c)还包括：
将所述涉及用户隐私信息的字段所对应的数据从所述第一待融合数据集中剔除。
CN201510868103.4A 2015-12-02 2015-12-02 不泄露隐私的大数据安全融合方法 Active CN105590066B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510868103.4A CN105590066B (zh) 2015-12-02 2015-12-02 不泄露隐私的大数据安全融合方法
TW105139708A TWI664538B (zh) 2015-12-02 2016-12-01 不泄露隱私的大數據安全融合方法
PCT/CN2016/108245 WO2017092696A1 (zh) 2015-12-02 2016-12-01 不泄露隐私的大数据安全融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510868103.4A CN105590066B (zh) 2015-12-02 2015-12-02 不泄露隐私的大数据安全融合方法

Publications (2)

Publication Number Publication Date
CN105590066A CN105590066A (zh) 2016-05-18
CN105590066B true CN105590066B (zh) 2018-08-10

Family

ID=55929639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510868103.4A Active CN105590066B (zh) 2015-12-02 2015-12-02 不泄露隐私的大数据安全融合方法

Country Status (3)

Country Link
CN (1) CN105590066B (zh)
TW (1) TWI664538B (zh)
WO (1) WO2017092696A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590066B (zh) * 2015-12-02 2018-08-10 中国银联股份有限公司 不泄露隐私的大数据安全融合方法
CN109726580B (zh) * 2017-10-31 2020-04-14 阿里巴巴集团控股有限公司 一种数据统计方法和装置
CN108683657B (zh) * 2018-05-11 2021-03-02 试金石信用服务有限公司 数据的安全访问方法、装置、终端设备及可读存储介质
US11138327B2 (en) 2018-12-27 2021-10-05 Industrial Technology Research Institute Privacy data integration method and server
CN109492435B (zh) * 2019-01-10 2022-03-08 贵州财经大学 基于数据开放共享的隐私泄露风险评估方法、装置及系统
CN110674125B (zh) * 2019-09-24 2022-05-17 北京明略软件系统有限公司 一种待融合数据的过滤方法、过滤装置及可读存储介质
CN111506921B (zh) * 2020-04-17 2024-06-14 浙江同花顺智能科技有限公司 一种数据处理方法、系统、装置、终端和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638791A (zh) * 2012-04-11 2012-08-15 南京邮电大学 一种传感器网络数据融合完整性保护方法
CN103425780A (zh) * 2013-08-19 2013-12-04 曙光信息产业股份有限公司 一种数据的查询方法和装置
CN104866775A (zh) * 2015-06-12 2015-08-26 四川友联信息技术有限公司 一种金融数据的漂白方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1728138A1 (en) * 2004-03-16 2006-12-06 Grid Analytics Llc System and method for aggregation and analysis of information from multiple disparate sources while assuring source and record anonymity using an exchange hub
CN101834858B (zh) * 2010-04-16 2013-04-03 北京工业大学 一种数据共享中基于信任和替换的隐私信息保护方法
US8607353B2 (en) * 2010-07-29 2013-12-10 Accenture Global Services Gmbh System and method for performing threat assessments using situational awareness
CN102867022B (zh) * 2012-08-10 2015-01-14 上海交通大学 通过部分删除某些项目达到对集合型数据匿名化的系统
WO2014031618A2 (en) * 2012-08-22 2014-02-27 Bitvore Corp. Data relationships storage platform
CN104679827A (zh) * 2015-01-14 2015-06-03 北京得大信息技术有限公司 一种基于大数据的公开信息关联方法及挖掘引擎
CN105590066B (zh) * 2015-12-02 2018-08-10 中国银联股份有限公司 不泄露隐私的大数据安全融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638791A (zh) * 2012-04-11 2012-08-15 南京邮电大学 一种传感器网络数据融合完整性保护方法
CN103425780A (zh) * 2013-08-19 2013-12-04 曙光信息产业股份有限公司 一种数据的查询方法和装置
CN104866775A (zh) * 2015-06-12 2015-08-26 四川友联信息技术有限公司 一种金融数据的漂白方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《数据仓库与大数据融合的探讨》;于娟;《电信科学》;20150320;第066页 *

Also Published As

Publication number Publication date
WO2017092696A1 (zh) 2017-06-08
TW201727516A (zh) 2017-08-01
TWI664538B (zh) 2019-07-01
CN105590066A (zh) 2016-05-18

Similar Documents

Publication Publication Date Title
CN105590066B (zh) 不泄露隐私的大数据安全融合方法
CN111192004A (zh) 用于当前待办任务和后续待办工作流程展示的方法
CN109829146B (zh) 一种信息收集管理方法及装置
CN105227364B (zh) 一种erp系统资源共享的方法及装置
CN107248070A (zh) 聊天群预支付的方法及装置
CN104574189A (zh) 一种金融交易的监控方法及装置
CN104077680A (zh) 一种用于电商平台的合同管理系统
Harrigan et al. Airdrops and privacy: a case study in cross-blockchain analysis
CN108182293A (zh) 企业标志的查找方法、装置和计算机可读存储介质
CN108335191A (zh) 金融账户的开户方法、金融服务系统端及计算机存储介质
Eyal et al. Financial Cryptography and Data Security
CN107705126A (zh) 一种判断交易风险的方法及装置
CN104486306A (zh) 基于指静脉识别和云服务进行身份认证的方法
CN109886678A (zh) 一种基于区块链的艺术品溯源系统
CN116628061A (zh) 一种多源异构数据的采集方法、装置、设备及存储介质
CN107086982A (zh) 一种利用对讲设备进行公网对讲的人员管理方法及装置
CN115689610A (zh) 一种基于大数据的信用卡营销获客方法和装置
CN104933620A (zh) 一种在线交易的监控装置及方法
CN114997576A (zh) 一种达标提示对象的确定方法、装置、设备、介质及产品
CN110163732A (zh) 一种会计报表的处理方法及处理系统
Campaign The history behind the Bangladesh fire and safety accord
CN109447455A (zh) 一种企业内部风控引擎搭建方法及装置
CN204856500U (zh) 基于人脸识别的办公管理装置
CN118096041A (zh) 智能证照的一体化管理方法、装置、设备及存储介质
CN103793797A (zh) 一种信息化顶层设计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant