CN112527787B - 一种安全可靠的多方数据去重系统、方法及装置 - Google Patents

一种安全可靠的多方数据去重系统、方法及装置 Download PDF

Info

Publication number
CN112527787B
CN112527787B CN202011508656.6A CN202011508656A CN112527787B CN 112527787 B CN112527787 B CN 112527787B CN 202011508656 A CN202011508656 A CN 202011508656A CN 112527787 B CN112527787 B CN 112527787B
Authority
CN
China
Prior art keywords
data
object data
transformed
preset
repeated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011508656.6A
Other languages
English (en)
Other versions
CN112527787A (zh
Inventor
姚明
王湾湾
于浩洋
何浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dongjian Intelligent Technology Co ltd
Original Assignee
Shenzhen Dongjian Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dongjian Intelligent Technology Co ltd filed Critical Shenzhen Dongjian Intelligent Technology Co ltd
Priority to CN202011508656.6A priority Critical patent/CN112527787B/zh
Publication of CN112527787A publication Critical patent/CN112527787A/zh
Application granted granted Critical
Publication of CN112527787B publication Critical patent/CN112527787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供了一种安全可靠的多方数据去重系统、方法及装置，应用于数据处理领域，上述系统包括数据处理端与至少两个数据提供端。数据处理端，用于向各个数据提供端发送用于请求目标对象的对象数据的数据请求。数据提供端，用于接收数据处理端发送的数据请求。在本地已存储的对象数据中，获得目标对象的对象数据。采用预设的数据变换方式对对象数据进行变换处理，得到变换后对象数据。向数据处理端发送变换后对象数据。数据处理端，用于接收各个数据提供端发送的变换后对象数据；确定所接收到的变换后对象数据中重复的数据，得到重复数据组。去除每一重复数据组中的其他数据。应用本发明实施例提供的方案可以去除对象数据中的重复数据。

Description

一种安全可靠的多方数据去重系统、方法及装置
技术领域
本发明涉及数据处理技术领域，特别是涉及一种安全可靠的多方数据去重系统、方法及装置。
背景技术
随着网络技术的发展，网络能够提供的用户、车辆、视频等对象的对象数据越来越多，数据处理端可以对各个对象的对象数据进行处理，得到数据处理结果，从而实现对象分类、对象数据预测等功能。然而同一对象的不同对象数据可能分别存储在不同场景的不同服务器中，各个服务器分别作为数据提供端。例如，在上述对象为用户的情况下，与用户信用相关的信用卡使用信息、消费购物信息、手机通话信息等用户的对象数据分别存储在银行的银行服务器、电商平台的电商服务器、通讯公司的通讯服务器中。
因此，当需要依据同一对象的不同对象数据进行数据处理时，数据处理端需要分别从不同的数据提供端中获取对象数据，再进行数据处理。但不同的数据提供端中可能存储有相同的对象数据，可以称为重复数据。若数据处理端直接对所获取的对象数据进行处理，重复数据可能对数据处理结果的准确度造成影响。例如，若数据处理端需要对各个数据提供端的对象数据进行统计，在存在重复数据的情况下，同样的对象数据可能被统计多次，造成统计结果不准确。因此数据处理端需要对对象数据进行去重。
发明内容
本发明实施例的目的在于提供一种安全可靠的多方数据去重系统、方法及装置，以去除对象数据中的重复数据。具体技术方案如下：
第一方面，本发明实施例提供了一种安全可靠的多方数据去重系统，所述系统包括数据处理端与至少两个数据提供端；
所述数据处理端，用于向各个数据提供端发送用于请求目标对象的对象数据的数据请求；
所述数据提供端，用于接收所述数据处理端发送的所述数据请求；在本地已存储的对象数据中，获得所述目标对象的对象数据；采用预设的数据变换方式对所述对象数据进行变换处理，得到变换后对象数据；向所述数据处理端发送所述变换后对象数据；
所述数据处理端，用于接收各个数据提供端发送的变换后对象数据；确定所接收到的变换后对象数据中重复的数据，得到重复数据组；去除每一重复数据组中除保留数据之外的其他数据，其中，每一重复数据组中包含的变换后对象数据相同，不同重复数据组中包含的变换后对象数据不同，所述保留数据为：重复数据组中的任意一条变换后对象数据。
本发明的一个实施例中，所述数据提供端，具体用于在本地已存储的对象数据中，查询所述目标对象的源对象数据；按照预设字段顺序将所述源对象数据中预设字段对应的字段值进行拼接，得到拼接后的数据作为对象数据。
本发明的一个实施例中，所述数据提供端，具体用于采用预设的散列加密算法对所述对象数据进行加密处理，得到所述对象数据的散列值；向所述数据处理端发送所述散列值；
所述数据处理端，具体用于接收各个数据提供端发送的散列值，确定相同的散列值，并对相同的散列值进行去重处理。
第二方面，本发明实施例提供了一种安全可靠的多方数据去重方法，应用于数据处理端，所述方法包括：
向各个数据提供端发送用于请求目标对象的对象数据的数据请求；
获得各个数据提供端针对所述数据请求反馈的变换后对象数据，所述变换后对象数据为：所述数据提供端采用预设的数据变换方式、对所存储的对象数据进行变换处理得到的；
确定所接收到的变换后对象数据中重复的数据，得到重复数据组，其中，每一重复数据组中包含的变换后对象数据相同，不同重复数据组中包含的变换后对象数据不同；
去除每一重复数据组中除保留数据之外的其他数据，所述保留数据为：重复数据组中的任意一条变换后对象数据。
本发明的一个实施例中，所述对象数据为：由数据提供端对已存储的源对象数据中的预设字段按照预设字段顺序进行拼接得到的。
本发明的一个实施例中，所述获得各个数据提供端针对所述数据请求反馈的变换后对象数据，包括：
获得各个数据提供端发送的散列值，其中，所述散列值为：数据提供端采用预设的散列加密算法对对象数据进行加密处理得到的；
所述确定所接收到的变换后对象数据中重复的数据，得到重复数据组；去除每一重复数据组中除保留数据之外的其他数据，包括：
确定相同的散列值，并对相同的散列值进行去重处理。
第三方面，本发明实施例提供了一种安全可靠的多方数据去重方法，应用于数据提供端，所述方法包括：
接收数据处理端发送的数据请求；
在本地已存储的对象数据中，获得目标对象的对象数据；
采用预设的数据变换方式对所述对象数据进行变换处理，得到变换后对象数据；
向所述数据处理端发送所述变换后对象数据，使得所述数据处理端对所述变换后对象数据进行去重。
本发明的一个实施例中，所述在本地已存储的对象数据中，获得目标对象的对象数据，包括：
在本地已存储的对象数据中，查询所述目标对象的源对象数据；
按照预设字段顺序将所述源对象数据中预设字段对应的字段值进行拼接，得到拼接后的数据作为对象数据。
本发明的一个实施例中，所述采用预设的数据变换方式对所述对象数据进行变换处理，得到变换后对象数据，包括：
采用预设的散列加密算法对所述对象数据进行加密处理，得到所述对象数据的散列值；
所述向所述数据处理端发送所述变换后对象数据，使得所述数据处理端对所述变换后对象数据进行去重，包括：
向所述数据处理端发送所述散列值，使得所述数据处理端对散列值进行去重。
第四方面，本发明实施例提供了一种安全可靠的多方数据去重装置，应用于数据处理端，所述装置包括：
请求发送模块，用于向各个数据提供端发送用于请求目标对象的对象数据的数据请求；
第一数据获得模块，用于获得各个数据提供端针对所述数据请求反馈的变换后对象数据，所述变换后对象数据为：所述数据提供端采用预设的数据变换方式、对所存储的对象数据进行变换处理得到的；
重复数据确定模块，用于确定所接收到的变换后对象数据中重复的数据，得到重复数据组，其中，每一重复数据组中包含的变换后对象数据相同，不同重复数据组中包含的变换后对象数据不同；
数据去除模块，用于去除每一重复数据组中除保留数据之外的其他数据，所述保留数据为：重复数据组中的任意一条变换后对象数据。
本发明的一个实施例中，所述对象数据为：由数据提供端对已存储的源对象数据中的预设字段按照预设字段顺序进行拼接得到的。
本发明的一个实施例中，所述第一数据获得模块，具体用于：
获得各个数据提供端发送的散列值，其中，所述散列值为：数据提供端采用预设的散列加密算法对对象数据进行加密处理得到的；
重复数据确定模块与数据去除模块，具体用于：
确定相同的散列值，并对相同的散列值进行去重处理。
第五方面，本发明实施例提供了一种安全可靠的多方数据去重装置，应用于数据提供端，所述装置包括：
请求接收模块，用于接收数据处理端发送的数据请求；
第二数据获得模块，用于在本地已存储的对象数据中，获得目标对象的对象数据；
数据变换模块，用于采用预设的数据变换方式对所述对象数据进行变换处理，得到变换后对象数据；
数据发送模块，用于向所述数据处理端发送所述变换后对象数据，使得所述数据处理端对所述变换后对象数据进行去重。
本发明的一个实施例中，所述第二数据获得模块，具体用于：
在本地已存储的对象数据中，查询所述目标对象的源对象数据；
按照预设字段顺序将所述源对象数据中预设字段对应的字段值进行拼接，得到拼接后的数据作为对象数据。
本发明的一个实施例中，所述数据变换模块，具体用于采用预设的散列加密算法对所述对象数据进行加密处理，得到所述对象数据的散列值；
所述数据发送模块，具体用于向所述数据处理端发送所述散列值，使得所述数据处理端对散列值进行去重。
第六方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第二方面或第三方面任一所述的方法步骤。
第七方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第二方面或第三方面任一所述的方法步骤。
第八方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第二方面或第三方面任一所述的方法步骤。
本发明实施例有益效果：
本发明实施例提供的安全可靠的多方数据去重系统中，数据处理端向各个数据提供端发送用于请求目标对象的对象数据的数据请求。数据提供端接收数据处理端发送的数据请求之后，在本地已存储的对象数据中，获得目标对象的对象数据，并采用预设的数据变换方式对对象数据进行变换处理，得到变换后对象数据。并向数据处理端发送变换后对象数据。数据处理端在接收各个数据提供端发送的变换后对象数据之后，确定所接收到的变换后对象数据中重复的数据，得到重复数据组。并去除每一重复数据组中除保留数据之外的其他数据。
由以上可见，数据处理端在接收到数据提供端发送的变换后对象数据之后，确定变换后对象数据中重复的数据，并去除保留数据之外的其他数据，也就是仅保留一条保留数据，从而可以实现对对象数据的去重。
并且，由于数据提供端向数据处理端发送的数据是变换后对象数据，而不是原始的对象数据。因此数据提供端中存储的原始的对象数据不会被泄露给数据处理端，也就是原始的对象数据不会离开数据提供端，从而可以保证原始的对象数据的安全性。再者，数据提供端采用相同的预设的数据变换方式对相同的对象数据进行变换处理得到的变换后对象数据也相同，对不同的对象数据进行变换处理得到的变换后对象数据也不相同。因此对变换后对象数据进行去重处理不会影响去重处理的结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种安全可靠的多方数据去重系统的结构示意图；
图2为本发明实施例提供的一种安全可靠的多方数据去重方法的信令流程图；
图3为本发明实施例提供的第一种安全可靠的多方数据去重方法的流程示意图；
图4为本发明实施例提供的第二种安全可靠的多方数据去重方法的流程示意图；
图5为本发明实施例提供的第一种安全可靠的多方数据去重装置的结构示意图；
图6为本发明实施例提供的第二种安全可靠的多方数据去重装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图；
图8为本发明实施例提供的另一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于重复的对象数据可能对数据处理结果的准确度造成影响，为了去除对象数据中的重复数据，本发明实施例提供了一种安全可靠的多方数据去重系统、方法及装置。
本发明的一个实施例中，提供了一种安全可靠的多方数据去重系统，上述系统包括数据处理端与至少两个数据提供端；
上述数据处理端，用于向各个数据提供端发送用于请求目标对象的对象数据的数据请求。
上述数据提供端，用于接收上述数据处理端发送的上述数据请求。在本地已存储的对象数据中，获得上述目标对象的对象数据。采用预设的数据变换方式对上述对象数据进行变换处理，得到变换后对象数据。向上述数据处理端发送上述变换后对象数据。
上述数据处理端，用于接收各个数据提供端发送的变换后对象数据。确定所接收到的变换后对象数据中重复的数据，得到重复数据组。去除每一重复数据组中除保留数据之外的其他数据。其中，每一重复数据组中包含的变换后对象数据相同，不同重复数据组中包含的变换后对象数据不同，上述保留数据为：重复数据组中的任意一条变换后对象数据。
由以上可见，数据处理端在接收到数据提供端发送的变换后对象数据之后，确定变换后对象数据中重复的数据，并去除保留数据之外的其他数据，也就是仅保留一条保留数据，从而可以实现对对象数据的去重。
并且，由于数据提供端向数据处理端发送的数据是变换后对象数据，而不是原始的对象数据。因此数据提供端中存储的原始的对象数据不会被泄露给数据处理端，也就是原始的对象数据不会离开数据提供端，从而可以保证原始的对象数据的安全性。再者，数据提供端采用相同的预设的数据变换方式对相同的对象数据进行变换处理得到的变换后对象数据也相同，对不同的对象数据进行变换处理得到的变换后对象数据也不相同。因此对变换后对象数据进行去重处理不会影响去重处理的结果。
下面通过具体的实施例对本发明实施例提供的安全可靠的多方数据去重系统、方法及装置进行说明。
参见图1，本发明实施例提供了一种安全可靠的多方数据去重系统的结构示意图，上述系统包括：数据处理端101与至少两个数据提供端102。
其中，不同的数据提供端102中可以分别为不同机构的数据存储设备，其中所存储的对象的对象数据的数据种类可以相同也可以不同。数据处理端101可以为数据处理服务器等，具有数据处理能力的电子设备。
例如，上述对象可以为用户、动物、植物等。
如，一个数据提供端102可以为保险公司的存储设备，其中存储有车辆的车牌号码、车辆型号、投保人、投保金额等数据种类的对象数据，另一数据提供端102可以为汽车店的存储设备，其中存储有车辆的车牌号码、车辆型号、车辆价格等数据种类的对象数据。
另外，一个数据提供端102可以为银行的存储设备，其中存储有用户的转账记录、贷款还款记录、借款时间、借款金额、购物花费记录等数据种类的对象数据，另一数据提供端102可以为电商网站的存储设备，其中存储有用户的购物花费记录、购买物品记录等数据种类的对象数据，再一个数据提供端102可以为信贷平台的存储设备，其中存储有用户的借款时间、借款金额、还款时间等数据种类的对象数据。
银行的存储设备与电商网站的存储设备中均存储有数据种类为购物花费记录的对象数据，则银行与电商网站的存储设备可以分别作为数据提供端102，由数据处理端101对购物花费记录种类的对象数据进行去重。
银行的存储设备与信贷平台的存储设备中均存储有数据种类为借款时间、借款金额的对象数据，则银行与信贷平台的存储设备可以分别作为数据提供端102，由数据处理端101对借款时间与借款金额种类的对象数据进行去重。
参见图2，为本发明实施例提供的一种安全可靠的多方数据去重方法的信令流程图。下面结合图2对图1所示安全可靠的多方数据去重系统的工作流程进行说明。
S201：上述数据处理端101向各个数据提供端102发送用于请求目标对象的对象数据的数据请求。
具体的，上述数据请求中可以包括目标对象的标识，不同对象的标识不同。例如，目标对象的名称、编号等。即上述数据请求可以表示数据处理端101期望获取哪个对象的对象数据。
如，在对象为用户的情况下，上述对象的名称可以为用户名、姓名等，上述对象的编号可以为用户账号、电话号码、银行卡号码等。在对象为车辆的情况下，上述对象的编号可以为车牌号等。
上述数据请求中还可以包含数据种类的标识，即上述数据请求可以表示数据处理端101期望获取哪个对象的哪个数据种类的对象数据。由于不同数据提供端102中存储的对象数据的数据种类可能不同，因此数据处理端101向不同数据提供端102发送的数据请求中包含的数据种类的标识可以不同。
例如，上述数据种类的标识可以为数据种类的名称、编号等。
其中，上述数据处理端101可以通过无线网络或有线网络向上述数据提供端102发送数据请求，本发明实施例对此不进行限定。
S202：上述数据提供端102在本地已存储的对象数据中，获得上述目标对象的对象数据。
具体的，可以在上述数据提供端102本地已存储的对象数据中查找上述目标对象的对象数据，从而获得上述目标对象的对象数据。
上述对象数据可以为上述数据提供端102本地已存储的目标对象的所有数据，也可以为部分数据种类的数据。
另外，本发明的一个实施例中，可以通过以下步骤A-步骤B获得上述目标对象的对象数据。
步骤A：在本地已存储的对象数据中，查询上述目标对象的源对象数据。
具体的，可以根据数据请求中包含的对象的标识，查询上述目标对象的源对象数据。
步骤B：按照预设字段顺序将上述源对象数据中预设字段对应的字段值进行拼接，得到拼接后的数据作为对象数据。
其中，数据提供端102中存储的源对象数据中可以包含多个数据种类不同的数据，每一数据种类对应一个字段。例如，若上述对象为用户，则上述字段可以为借款时间、借款金额、还款时间等。
上述预设字段可以为源对象数据的所有字段或部分字段，例如，若上述对象为用户，则上述预设字段可以为源对象数据中包含的所有字段，即借款时间、借款金额、还款时间，也可以为借款时间、借款金额两个字段。
上述预设字段顺序可以为预设字段的任意排列顺序，例如，上述预设顺序可以为：借款时间-借款金额-还款金额。
具体的，对象的部分源对象数据之间可能存在字段值相同的字段，例如，数据提供端102中存储有用户A的两条借款金额为1000元，且还款时间相同的源对象数据，但两条源对象数据的借款时间不同，因此上述两条源对象数据为两条不同的数据。但若在进行字段值拼接时，借款时间字段不是预设字段中的一个，那么拼接得到的两条对象数据相同，数据处理端101在进行数据去重时可能将上述两条对象数据确定为重复的数据，从而进行错误的去重处理。但若上述预设字段中包含借款时间字段，则可以解决上述问题。
因此在理论上，预设字段的数量越多，越易于区分对预设字段的字段值进行拼接后得到的对象数据，数据处理端101进行去重处理的去重结果越准确。
另外，可以将各个预设字段的字段值按预设字段顺序组合为同一字符串，以实现对各个字段值的拼接，其中，在对各个字段值进行拼接时，各个字段值之间可以添加统一的预设字符，如“/”、“-”等。
因此，数据提供端将目标对象各个预设字段的字段进行拼接，组成规范的一条数据作为对象数据，而不是将各个字段散乱的字段值作为对象数据。从而提高了对象数据的规范性，有利于数据提供端向数据处理端发送数据，也有利于数据处理端进行数据去重处理。并且，由于上述拼接的过程中，是采用相同的预设字段的字段值，按照相同的预设字段顺序进行拼接的，因此若源数据相同，进行拼接得到的对象数据也相同，上述拼接过程不会对数据去重的结果造成影响。
S203：上述数据提供端102采用预设的数据变换方式对上述对象数据进行变换处理，得到变换后对象数据。
具体的，上述预设的数据变换方式可以为采用散列加密算法对对象数据进行加密处理，例如，上述散列加密算法可以为SHA-256、SHA-384和SHA-512等散列加密算法。
在采用散列加密算法对对象进行加密处理的情况下，可以通过以下步骤C得到变换后对象数据。
步骤C：采用预设的散列加密算法对上述对象数据进行加密处理，得到上述对象数据的散列值。
具体的，上述散列值也可以被称为哈希值。
另外，上述预设的数据变换方式也可以为采用对称加密、分组加密等其他加密算法对对象数据进行加密处理，本发明实施例对此不进行限定。
S204：上述数据提供端102向数据处理端101发送上述变换后对象数据。
其中，上述数据提供端102可以以数据集合的形式向上述数据处理端101发送上述变换后对象数据，数据集合中的每一元素为一条变换后对象数据。也可以分别向数据处理端101发送各条对象数据。
在上述变换对象数据是散列值的情况下，可以以数组或其他数据集合的形式向上述数据处理端101发送上述散列值，数组或数据集合中的每一元素为一个散列值。例如，数据提供端A向数据处理端101发送的数组可以表示为HA＝{HA1,HA2,…HAn}，其中HA1,HA2,…HAn分别为数据提供端A发送的n个散列值。
另外，上述数据提供端102也可以分别数据处理端101发送各个散列值。由于上述散列值与原始的对象数据不同，因此向数据处理端101发送散列值不会造成原始的对象数据的泄露，原始的对象数据不会离开数据提供端102。
其中，上述数据提供端102可以通过无线网络或有线网络向上述数据处理端101发送变换后对象数据，本发明实施例对此不进行限定。
S205：上述数据处理端101确定所接收到的变换后对象数据中重复的数据，得到重复数据组。
其中，每一重复数据组中包含的变换后对象数据相同，不同重复数据组中包含的变换后对象数据不同。
本发明的一个实施例中，数据处理端101可以依次将来自各个数据提供端102的各条变换后对象数据与来自其他数据提供端102的各条变换后对象数据进行对比，将对比确定的相同的对象数据确定为重复的数据，确定到同一重复数据组中。
本发明的另一个实施例中，上述数据处理端101也可以遍历所接收到的各条变换后对象数据，记录每一种变换后对象数据的出现次数，将出现次数大于1的变换后对象数据确定为重复的数据，确定到同一重复数据组中。
此外，在上述变换后对象数据是数据提供端102采用散列加密算法对对象数据进行加密处理得到的散列值的情况下，所确定的重复的数据为相同的散列值。
S206：数据处理端101去除每一重复数据组中除保留数据之外的其他数据。
上述保留数据为：重复数据组中的任意一条变换后对象数据。
本发明的一个实施例中，可以删除重复数据组中除保留数据之外的其他数据，从而去除上述其他数据。此外，在删除其他数据之前，可以对上述其他数据进行备份。
本发明的另一个实施例中，也可以将重复数据组中除保留数据之外的其他数据标记为冗余数据，在后续进行数据处理时，可以不对标记为冗余数据的对象数据进行处理，从而去除上述其他数据。
由以上可见，数据处理端在接收到数据提供端发送的变换后对象数据之后，确定变换后对象数据中重复的数据，并去除保留数据之外的其他数据，也就是仅保留一条保留数据，从而可以实现对对象数据的去重。
并且，由于数据提供端向数据处理端发送的数据是变换后对象数据，而不是原始的对象数据。因此数据提供端中存储的原始的对象数据不会被泄露给数据处理端，也就是原始的对象数据不会离开数据提供端，从而可以保证原始的对象数据的安全性。再者，数据提供端采用相同的预设的数据变换方式对相同的对象数据进行变换处理得到的变换后对象数据也相同，对不同的对象数据进行变换处理得到的变换后对象数据也不相同。因此对变换后对象数据进行去重处理不会影响去重处理的结果。
除此之外，在上述数据提供端102在向数据处理端101发送变换后对象数据时，还可以发送数据提供端102的标识，如数据提供端102的网络地址、编号、名称等，从而使得数据处理端101在进行数据去重处理时可以区分不同数据提供端102发送的变换后对象数据。
再者，在上述数据提供端102在向数据处理端101发送变换后对象数据时，还可以发送变换后对象数据所属数据种类的标识，例如数据种类的名称，如借款金额、借款时间等，也可以为数据种类的编号，如借款金额的编号为a、借款时间的编号为b等。则数据处理端101在确定重复的数据时，由于属于不同数据种类的变换后对象数据几乎不会相同，因此可以根据数据种类的标识，仅对相同数据种类的数据进行对比，以确定重复的数据，从而提高确定重复的数据的效率。
与前述安全可靠的多方数据去重系统相对应，参见图3，为本发明实施例提供的第一种安全可靠的多方数据去重方法的流程示意图，应用于数据处理端，上述方法包括以下步骤S301-S304。
S301：向各个数据提供端发送用于请求目标对象的对象数据的数据请求。
S302：获得各个数据提供端针对上述数据请求反馈的变换后对象数据。
其中，上述变换后对象数据为：上述数据提供端采用预设的数据变换方式、对所存储的对象数据进行变换处理得到的。
S303：确定所接收到的变换后对象数据中重复的数据，得到重复数据组。
其中，每一重复数据组中包含的变换后对象数据相同，不同重复数据组中包含的变换后对象数据不同。
S304：去除每一重复数据组中除保留数据之外的其他数据。
其中，上述保留数据为：重复数据组中的任意一条变换后对象数据
由以上可见，数据处理端在接收到数据提供端发送的变换后对象数据之后，确定变换后对象数据中重复的数据，并去除保留数据之外的其他数据，也就是仅保留一条保留数据，从而可以实现对对象数据的去重。
并且，由于数据提供端向数据处理端发送的数据是变换后对象数据，而不是原始的对象数据。因此数据提供端中存储的原始的对象数据不会被泄露给数据处理端，也就是原始的对象数据不会离开数据提供端，从而可以保证原始的对象数据的安全性。再者，数据提供端采用相同的预设的数据变换方式对相同的对象数据进行变换处理得到的变换后对象数据也相同，对不同的对象数据进行变换处理得到的变换后对象数据也不相同。因此对变换后对象数据进行去重处理不会影响去重处理的结果。
本发明的一个实施例中，上述对象数据为：由数据提供端对已存储的源对象数据中的预设字段按照预设字段顺序进行拼接得到的。
由以上可见，数据提供端将目标对象各个预设字段的字段进行拼接，组成规范的一条数据作为对象数据，而不是将各个字段散乱的字段值作为对象数据。从而提高了对象数据的规范性，有利于数据提供端向数据处理端发送数据，也有利于数据处理端进行数据去重处理。并且，由于上述拼接的过程中，是采用相同的预设字段的字段值，按照相同的预设字段顺序进行拼接的，因此若源数据相同，进行拼接得到的对象数据也相同，上述拼接过程不会对数据去重的结果造成影响。
本发明的一个实施例中，可以通过以下步骤D实现上述步骤S302。
步骤D：获得各个数据提供端发送的散列值。
其中，上述散列值为：数据提供端采用预设的散列加密算法对对象数据进行加密处理得到的。
在上述步骤D的基础上，可以通过以下步骤E实现上述步骤S303-步骤S304。
步骤E：确定相同的散列值，并对相同的散列值进行去重处理。
具体的，上述应用于数据处理端的安全可靠的多方数据去重方法与前述安全可靠的多方数据去重系统中数据处理端的操作流程相同，在此不再赘述。
与前述安全可靠的多方数据去重系统相对应，参见图4，为本发明实施例提供的第二种安全可靠的多方数据去重方法的流程示意图，应用于数据提供端，上述方法包括以下步骤S401-S404。
S401：接收数据处理端发送的数据请求。
S402：在本地已存储的对象数据中，获得目标对象的对象数据。
S403：采用预设的数据变换方式对上述对象数据进行变换处理，得到变换后对象数据。
S404：向上述数据处理端发送上述变换后对象数据，使得上述数据处理端对上述变换后对象数据进行去重。
由以上可见，数据处理端在接收到数据提供端发送的变换后对象数据之后，可以实现对对象数据的去重。
并且，由于数据提供端向数据处理端发送的数据是变换后对象数据，而不是原始的对象数据。因此数据提供端中存储的原始的对象数据不会被泄露给数据处理端，也就是原始的对象数据不会离开数据提供端，从而可以保证原始的对象数据的安全性。再者，数据提供端采用相同的预设的数据变换方式对相同的对象数据进行变换处理得到的变换后对象数据也相同，对不同的对象数据进行变换处理得到的变换后对象数据也不相同。因此对变换后对象数据进行去重处理不会影响去重处理的结果。
本发明的一个实施例中，可以通过以下步骤F-步骤G实现上述步骤S402。
步骤F：在本地已存储的对象数据中，查询上述目标对象的源对象数据。
步骤G：按照预设字段顺序将上述源对象数据中预设字段对应的字段值进行拼接，得到拼接后的数据作为对象数据。
由以上可见，数据提供端将目标对象各个预设字段的字段进行拼接，组成规范的一条数据作为对象数据，而不是将各个字段散乱的字段值作为对象数据。从而提高了对象数据的规范性，有利于数据提供端向数据处理端发送数据，也有利于数据处理端进行数据去重处理。并且，由于上述拼接的过程中，是采用相同的预设字段的字段值，按照相同的预设字段顺序进行拼接的，因此若源数据相同，进行拼接得到的对象数据也相同，上述拼接过程不会对数据去重的结果造成影响。
本发明的一个实施例中，可以通过以下步骤H实现上述步骤S403。
步骤H：采用预设的散列加密算法对上述对象数据进行加密处理，得到上述对象数据的散列值。
在上述步骤H的基础上，可以通过步骤I实现上述步骤S404。
步骤I：向上述数据处理端发送上述散列值，使得上述数据处理端对散列值进行去重。
具体的，上述应用于数据提供端的安全可靠的多方数据去重方法与前述安全可靠的多方数据去重系统中数据处理端的操作流程相同，在此不再赘述。
与前述安全可靠的多方数据去重系统相对应，参见图5，为本发明实施例提供的第一种安全可靠的多方数据去重装置的结构示意图，应用于数据处理端，所述装置包括：
请求发送模块501，用于向各个数据提供端发送用于请求目标对象的对象数据的数据请求；
第一数据获得模块502，用于获得各个数据提供端针对所述数据请求反馈的变换后对象数据，所述变换后对象数据为：所述数据提供端采用预设的数据变换方式、对所存储的对象数据进行变换处理得到的；
重复数据确定模块503，用于确定所接收到的变换后对象数据中重复的数据，得到重复数据组，其中，每一重复数据组中包含的变换后对象数据相同，不同重复数据组中包含的变换后对象数据不同；
数据去除模块504，用于去除每一重复数据组中除保留数据之外的其他数据，所述保留数据为：重复数据组中的任意一条变换后对象数据。
由以上可见，数据处理端在接收到数据提供端发送的变换后对象数据之后，确定变换后对象数据中重复的数据，并去除保留数据之外的其他数据，也就是仅保留一条保留数据，从而可以实现对对象数据的去重。
并且，由于数据提供端向数据处理端发送的数据是变换后对象数据，而不是原始的对象数据。因此数据提供端中存储的原始的对象数据不会被泄露给数据处理端，也就是原始的对象数据不会离开数据提供端，从而可以保证原始的对象数据的安全性。再者，数据提供端采用相同的预设的数据变换方式对相同的对象数据进行变换处理得到的变换后对象数据也相同，对不同的对象数据进行变换处理得到的变换后对象数据也不相同。因此对变换后对象数据进行去重处理不会影响去重处理的结果。
本发明的一个实施例中，所述对象数据为：由数据提供端对已存储的源对象数据中的预设字段按照预设字段顺序进行拼接得到的。
由以上可见，数据提供端将目标对象各个预设字段的字段进行拼接，组成规范的一条数据作为对象数据，而不是将各个字段散乱的字段值作为对象数据。从而提高了对象数据的规范性，有利于数据提供端向数据处理端发送数据，也有利于数据处理端进行数据去重处理。并且，由于上述拼接的过程中，是采用相同的预设字段的字段值，按照相同的预设字段顺序进行拼接的，因此若源数据相同，进行拼接得到的对象数据也相同，上述拼接过程不会对数据去重的结果造成影响。
本发明的一个实施例中，所述第一数据获得模块502，具体用于：
获得各个数据提供端发送的散列值，其中，所述散列值为：数据提供端采用预设的散列加密算法对对象数据进行加密处理得到的；
重复数据确定模块503与数据去除模块504，具体用于：
确定相同的散列值，并对相同的散列值进行去重处理。
具体的，上述应用于数据处理端的安全可靠的多方数据去重装置所进行的操作与前述安全可靠的多方数据去重系统中数据处理端的操作流程相同，在此不再赘述。
与前述安全可靠的多方数据去重系统相对应，参见图6，为本发明实施例提供的第二种安全可靠的多方数据去重装置的结构示意图，应用于数据提供端，所述装置包括：
请求接收模块601，用于接收数据处理端发送的数据请求；
第二数据获得模块602，用于在本地已存储的对象数据中，获得目标对象的对象数据；
数据变换模块603，用于采用预设的数据变换方式对所述对象数据进行变换处理，得到变换后对象数据；
数据发送模块604，用于向所述数据处理端发送所述变换后对象数据，使得所述数据处理端对所述变换后对象数据进行去重。
由以上可见，数据处理端在接收到数据提供端发送的变换后对象数据之后，可以实现对对象数据的去重。
并且，由于数据提供端向数据处理端发送的数据是变换后对象数据，而不是原始的对象数据。因此数据提供端中存储的原始的对象数据不会被泄露给数据处理端，也就是原始的对象数据不会离开数据提供端，从而可以保证原始的对象数据的安全性。再者，数据提供端采用相同的预设的数据变换方式对相同的对象数据进行变换处理得到的变换后对象数据也相同，对不同的对象数据进行变换处理得到的变换后对象数据也不相同。因此对变换后对象数据进行去重处理不会影响去重处理的结果。
本发明的一个实施例中，上述第二数据获得模块602，具体用于：
在本地已存储的对象数据中，查询所述目标对象的源对象数据；
按照预设字段顺序将所述源对象数据中预设字段对应的字段值进行拼接，得到拼接后的数据作为对象数据。
由以上可见，数据提供端将目标对象各个预设字段的字段进行拼接，组成规范的一条数据作为对象数据，而不是将各个字段散乱的字段值作为对象数据。从而提高了对象数据的规范性，有利于数据提供端向数据处理端发送数据，也有利于数据处理端进行数据去重处理。并且，由于上述拼接的过程中，是采用相同的预设字段的字段值，按照相同的预设字段顺序进行拼接的，因此若源数据相同，进行拼接得到的对象数据也相同，上述拼接过程不会对数据去重的结果造成影响。
本发明的一个实施例中，所述数据变换模块603，具体用于采用预设的散列加密算法对所述对象数据进行加密处理，得到所述对象数据的散列值；
所述数据发送模块604，具体用于向所述数据处理端发送所述散列值，使得所述数据处理端对散列值进行去重。
本发明实施例还提供了另一种电子设备，作为数据处理端，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现上述安全可靠的多方数据去重方法任一所述的方法步骤。
应用本发明实施例提供的电子设备作为数据处理端进行数据去重的情况下，数据处理端在接收到数据提供端发送的变换后对象数据之后，确定变换后对象数据中重复的数据，并去除保留数据之外的其他数据，也就是仅保留一条保留数据，从而可以实现对对象数据的去重。
并且，由于数据提供端向数据处理端发送的数据是变换后对象数据，而不是原始的对象数据。因此数据提供端中存储的原始的对象数据不会被泄露给数据处理端，也就是原始的对象数据不会离开数据提供端，从而可以保证原始的对象数据的安全性。再者，数据提供端采用相同的预设的数据变换方式对相同的对象数据进行变换处理得到的变换后对象数据也相同，对不同的对象数据进行变换处理得到的变换后对象数据也不相同。因此对变换后对象数据进行去重处理不会影响去重处理的结果。
本发明实施例还提供了另一种电子设备，作为数据提供端，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信，
存储器803，用于存放计算机程序；
处理器801，用于执行存储器803上所存放的程序时，实现上述安全可靠的多方数据去重方法任一所述的方法步骤。
应用本发明实施例提供的电子设备作为数据提供端进行数据去重的情况下，数据处理端在接收到数据提供端发送的变换后对象数据之后，可以实现对对象数据的去重。
并且，由于数据提供端向数据处理端发送的数据是变换后对象数据，而不是原始的对象数据。因此数据提供端中存储的原始的对象数据不会被泄露给数据处理端，也就是原始的对象数据不会离开数据提供端，从而可以保证原始的对象数据的安全性。再者，数据提供端采用相同的预设的数据变换方式对相同的对象数据进行变换处理得到的变换后对象数据也相同，对不同的对象数据进行变换处理得到的变换后对象数据也不相同。因此对变换后对象数据进行去重处理不会影响去重处理的结果。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一应用于数据处理端的安全可靠的多方数据去重方法的步骤。
执行本发明实施例提供的应用于数据处理端的计算机可读存储介质中存储的计算机程序进行数据去重的情况下，数据处理端在接收到数据提供端发送的变换后对象数据之后，确定变换后对象数据中重复的数据，并去除保留数据之外的其他数据，也就是仅保留一条保留数据，从而可以实现对对象数据的去重。
并且，由于数据提供端向数据处理端发送的数据是变换后对象数据，而不是原始的对象数据。因此数据提供端中存储的原始的对象数据不会被泄露给数据处理端，也就是原始的对象数据不会离开数据提供端，从而可以保证原始的对象数据的安全性。再者，数据提供端采用相同的预设的数据变换方式对相同的对象数据进行变换处理得到的变换后对象数据也相同，对不同的对象数据进行变换处理得到的变换后对象数据也不相同。因此对变换后对象数据进行去重处理不会影响去重处理的结果。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一应用于数据提供端的安全可靠的多方数据去重方法的步骤。
执行本发明实施例提供的应用于数据提供端的计算机可读存储介质中存储的计算机程序进行数据去重的情况下，数据处理端在接收到数据提供端发送的变换后对象数据之后，可以实现对对象数据的去重。
并且，由于数据提供端向数据处理端发送的数据是变换后对象数据，而不是原始的对象数据。因此数据提供端中存储的原始的对象数据不会被泄露给数据处理端，也就是原始的对象数据不会离开数据提供端，从而可以保证原始的对象数据的安全性。再者，数据提供端采用相同的预设的数据变换方式对相同的对象数据进行变换处理得到的变换后对象数据也相同，对不同的对象数据进行变换处理得到的变换后对象数据也不相同。因此对变换后对象数据进行去重处理不会影响去重处理的结果。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一应用于数据处理端的安全可靠的多方数据去重方法的步骤。
执行本发明实施例提供的应用于数据处理端的计算机程序进行数据去重的情况下，数据处理端在接收到数据提供端发送的变换后对象数据之后，确定变换后对象数据中重复的数据，并去除保留数据之外的其他数据，也就是仅保留一条保留数据，从而可以实现对对象数据的去重。
并且，由于数据提供端向数据处理端发送的数据是变换后对象数据，而不是原始的对象数据。因此数据提供端中存储的原始的对象数据不会被泄露给数据处理端，也就是原始的对象数据不会离开数据提供端，从而可以保证原始的对象数据的安全性。再者，数据提供端采用相同的预设的数据变换方式对相同的对象数据进行变换处理得到的变换后对象数据也相同，对不同的对象数据进行变换处理得到的变换后对象数据也不相同。因此对变换后对象数据进行去重处理不会影响去重处理的结果。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一应用于数据提供端的安全可靠的多方数据去重方法的步骤。
执行本发明实施例提供的应用于数据提供端的计算机程序进行数据去重的情况下，数据处理端在接收到数据提供端发送的变换后对象数据之后，从而可以实现对对象数据的去重。
并且，由于数据提供端向数据处理端发送的数据是变换后对象数据，而不是原始的对象数据。因此数据提供端中存储的原始的对象数据不会被泄露给数据处理端，也就是原始的对象数据不会离开数据提供端，从而可以保证原始的对象数据的安全性。再者，数据提供端采用相同的预设的数据变换方式对相同的对象数据进行变换处理得到的变换后对象数据也相同，对不同的对象数据进行变换处理得到的变换后对象数据也不相同。因此对变换后对象数据进行去重处理不会影响去重处理的结果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法、装置、电子设备、计算机可读存储介质和计算机程序产品而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种安全可靠的多方数据去重系统，其特征在于，所述系统包括数据处理端与至少两个数据提供端；
所述数据处理端，用于向各个数据提供端发送用于请求目标对象的对象数据的数据请求；
所述数据提供端，用于接收所述数据处理端发送的所述数据请求；在本地已存储的对象数据中，查询所述目标对象的源对象数据；按照预设字段顺序将所述源对象数据中预设字段对应的字段值进行拼接，得到拼接后的数据作为所述目标对象的对象数据，所述预设字段为所述源对象数据的所有字段或部分字段；采用预设的数据变换方式对所述对象数据进行变换处理，得到变换后对象数据；向所述数据处理端发送所述变换后对象数据；
所述数据处理端，用于接收各个数据提供端发送的变换后对象数据；确定所接收到的变换后对象数据中重复的数据，得到重复数据组；去除每一重复数据组中除保留数据之外的其他数据，其中，每一重复数据组中包含的变换后对象数据相同，不同重复数据组中包含的变换后对象数据不同，所述保留数据为：重复数据组中的任意一条变换后对象数据；
所述数据处理端还用于对所述其他数据进行备份。
2.根据权利要求1所述的系统，其特征在于，
所述数据提供端，具体用于采用预设的散列加密算法对所述对象数据进行加密处理，得到所述对象数据的散列值；向所述数据处理端发送所述散列值；
所述数据处理端，具体用于接收各个数据提供端发送的散列值，确定相同的散列值，并对相同的散列值进行去重处理。
3.一种安全可靠的多方数据去重方法，其特征在于，应用于数据处理端，所述方法包括：
向各个数据提供端发送用于请求目标对象的对象数据的数据请求；
获得各个数据提供端针对所述数据请求反馈的变换后对象数据，所述变换后对象数据为：所述数据提供端采用预设的数据变换方式、对所存储的对象数据进行变换处理得到的，所述对象数据为：由数据提供端对已存储的源对象数据中的预设字段按照预设字段顺序进行拼接得到的，所述预设字段为所述源对象数据的所有字段或部分字段；
确定所接收到的变换后对象数据中重复的数据，得到重复数据组，其中，每一重复数据组中包含的变换后对象数据相同，不同重复数据组中包含的变换后对象数据不同；
去除每一重复数据组中除保留数据之外的其他数据，所述保留数据为：重复数据组中的任意一条变换后对象数据；
所述方法还包括：
对所述其他数据进行备份。
4.根据权利要求3所述的方法，其特征在于，所述获得各个数据提供端针对所述数据请求反馈的变换后对象数据，包括：
获得各个数据提供端发送的散列值，其中，所述散列值为：数据提供端采用预设的散列加密算法对对象数据进行加密处理得到的；
所述确定所接收到的变换后对象数据中重复的数据，得到重复数据组；去除每一重复数据组中除保留数据之外的其他数据，包括：
确定相同的散列值，并对相同的散列值进行去重处理。
5.一种安全可靠的多方数据去重方法，其特征在于，应用于数据提供端，所述方法包括：
接收数据处理端发送的数据请求；
在本地已存储的对象数据中，查询所述目标对象的源对象数据；按照预设字段顺序将所述源对象数据中预设字段对应的字段值进行拼接，得到拼接后的数据作为目标对象的对象数据，所述预设字段为所述源对象数据的所有字段或部分字段；
采用预设的数据变换方式对所述对象数据进行变换处理，得到变换后对象数据；
向所述数据处理端发送所述变换后对象数据，使得所述数据处理端对所述变换后对象数据进行去重，并对变换后对象数据中重复的数据中除保留数据之外的其他数据进行备份。
6.根据权利要求5所述的方法，其特征在于，所述采用预设的数据变换方式对所述对象数据进行变换处理，得到变换后对象数据，包括：
采用预设的散列加密算法对所述对象数据进行加密处理，得到所述对象数据的散列值；
所述向所述数据处理端发送所述变换后对象数据，使得所述数据处理端对所述变换后对象数据进行去重，包括：
向所述数据处理端发送所述散列值，使得所述数据处理端对散列值进行去重。
7.一种安全可靠的多方数据去重装置，其特征在于，应用于数据处理端，所述装置包括：
请求发送模块，用于向各个数据提供端发送用于请求目标对象的对象数据的数据请求；
第一数据获得模块，用于获得各个数据提供端针对所述数据请求反馈的变换后对象数据，所述变换后对象数据为：所述数据提供端采用预设的数据变换方式、对所存储的对象数据进行变换处理得到的，所述对象数据为：由数据提供端对已存储的源对象数据中的预设字段按照预设字段顺序进行拼接得到的，所述预设字段为所述源对象数据的所有字段或部分字段；
重复数据确定模块，用于确定所接收到的变换后对象数据中重复的数据，得到重复数据组，其中，每一重复数据组中包含的变换后对象数据相同，不同重复数据组中包含的变换后对象数据不同；
数据去除模块，用于去除每一重复数据组中除保留数据之外的其他数据，所述保留数据为：重复数据组中的任意一条变换后对象数据；
所述装置还包括用于执行以下操作的模块：
对所述其他数据进行备份。
8.根据权利要求7所述的装置，其特征在于，所述第一数据获得模块，具体用于：
获得各个数据提供端发送的散列值，其中，所述散列值为：数据提供端采用预设的散列加密算法对对象数据进行加密处理得到的；
重复数据确定模块与数据去除模块，具体用于：
确定相同的散列值，并对相同的散列值进行去重处理。
9.一种安全可靠的多方数据去重装置，其特征在于，应用于数据提供端，所述装置包括：
请求接收模块，用于接收数据处理端发送的数据请求；
第二数据获得模块，用于在本地已存储的对象数据中，获得目标对象的对象数据；
数据变换模块，用于采用预设的数据变换方式对所述对象数据进行变换处理，得到变换后对象数据；
数据发送模块，用于向所述数据处理端发送所述变换后对象数据，使得所述数据处理端对所述变换后对象数据进行去重，并对变换后对象数据中重复的数据中除保留数据之外的其他数据进行备份；
所述第二数据获得模块，具体用于：
在本地已存储的对象数据中，查询所述目标对象的源对象数据；
按照预设字段顺序将所述源对象数据中预设字段对应的字段值进行拼接，得到拼接后的数据作为对象数据，所述预设字段为所述源对象数据的所有字段或部分字段。
10.根据权利要求9所述的装置，其特征在于，
所述数据变换模块，具体用于采用预设的散列加密算法对所述对象数据进行加密处理，得到所述对象数据的散列值；
所述数据发送模块，具体用于向所述数据处理端发送所述散列值，使得所述数据处理端对散列值进行去重。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求3-4或5-6任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求3-4或5-6任一所述的方法步骤。
CN202011508656.6A 2020-12-18 2020-12-18 一种安全可靠的多方数据去重系统、方法及装置 Active CN112527787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011508656.6A CN112527787B (zh) 2020-12-18 2020-12-18 一种安全可靠的多方数据去重系统、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011508656.6A CN112527787B (zh) 2020-12-18 2020-12-18 一种安全可靠的多方数据去重系统、方法及装置

Publications (2)

Publication Number Publication Date
CN112527787A CN112527787A (zh) 2021-03-19
CN112527787B true CN112527787B (zh) 2024-03-15

Family

ID=75001652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011508656.6A Active CN112527787B (zh) 2020-12-18 2020-12-18 一种安全可靠的多方数据去重系统、方法及装置

Country Status (1)

Country Link
CN (1) CN112527787B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101702179A (zh) * 2009-12-01 2010-05-05 百度在线网络技术（北京）有限公司 在数据挖掘中去除重复的方法和设备
CN109101190A (zh) * 2017-06-20 2018-12-28 三星电子株式会社 利用基础数据识别的对象去重
WO2019000368A1 (en) * 2017-06-30 2019-01-03 Intel Corporation DETERMINING THE OPTIMUM DATA SIZE FOR DATA DEDUPLICATION OPERATION
CN110083610A (zh) * 2019-04-29 2019-08-02 百度在线网络技术（北京）有限公司 数据处理方法、装置、系统、可信计算装置、设备和介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101702179A (zh) * 2009-12-01 2010-05-05 百度在线网络技术（北京）有限公司 在数据挖掘中去除重复的方法和设备
CN109101190A (zh) * 2017-06-20 2018-12-28 三星电子株式会社 利用基础数据识别的对象去重
WO2019000368A1 (en) * 2017-06-30 2019-01-03 Intel Corporation DETERMINING THE OPTIMUM DATA SIZE FOR DATA DEDUPLICATION OPERATION
CN110083610A (zh) * 2019-04-29 2019-08-02 百度在线网络技术（北京）有限公司 数据处理方法、装置、系统、可信计算装置、设备和介质

Also Published As

Publication number Publication date
CN112527787A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN111352902A (zh) 日志处理方法、装置、终端设备及存储介质
CN1996834A (zh) 获取域信息和与域相关的数据的方法和设备
CN110949173A (zh) 一种充电方法及装置
WO2019205324A1 (zh) 一种任务分配方法、系统及终端设备
US11159308B2 (en) Preventing an erroneous transmission of a copy of a record of data to a distributed ledger system
CN111310137B (zh) 一种区块链关联数据存证方法、装置及电子设备
CN108228744B (zh) 一种车辆诊断数据的管理方法及装置
CN112835885B (zh) 一种分布式表格存储的处理方法、装置及系统
CN109600254B (zh) 全链路日志的生成方法及相关系统
CN111198885A (zh) 数据的处理方法及装置
CN112527787B (zh) 一种安全可靠的多方数据去重系统、方法及装置
CN110427538B (zh) 一种数据查询方法、存储方法、装置及电子设备
CN111045983B (zh) 核电站电子文件管理方法、装置、终端设备及介质
CN110727895B (zh) 一种敏感词发送方法、装置、电子设备及存储介质
CN112597192A (zh) 数据查询方法、装置、服务器及介质
CN109377391B (zh) 一种信息追踪方法、存储介质和服务器
CN109471917B (zh) 数据处理方法、装置、设备及介质
CN110020166B (zh) 一种数据分析方法及相关设备
CN115758475A (zh) 资源数据归集方法、装置、计算机设备和存储介质
CN110209666B (zh) 一种数据存储方法及终端设备
CN113392138A (zh) 一种隐私数据的统计分析方法、装置、服务器和存储介质
CN107704557B (zh) 操作互斥数据的处理方法、装置、计算机设备和存储介质
CN111367634A (zh) 信息处理方法、信息处理装置及终端设备
CN113032820A (zh) 文件存储方法、访问方法、装置、设备及存储介质
CN113204946B (zh) 数据控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant