CN106445936A - 一种数据处理方法及设备 - Google Patents

一种数据处理方法及设备 Download PDF

Info

Publication number
CN106445936A
CN106445936A CN201510474405.3A CN201510474405A CN106445936A CN 106445936 A CN106445936 A CN 106445936A CN 201510474405 A CN201510474405 A CN 201510474405A CN 106445936 A CN106445936 A CN 106445936A
Authority
CN
China
Prior art keywords
data
query side
renewal
providing
described data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510474405.3A
Other languages
English (en)
Inventor
彭家华
于蓉蓉
许大虎
李英
周强
叶晓梦
胡君祺
浦贵阳
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Hangzhou Information Technology Co Ltd
China Mobile Group Fujian Co Ltd
Original Assignee
China Mobile Hangzhou Information Technology Co Ltd
China Mobile Group Fujian Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Hangzhou Information Technology Co Ltd, China Mobile Group Fujian Co Ltd filed Critical China Mobile Hangzhou Information Technology Co Ltd
Priority to CN201510474405.3A priority Critical patent/CN106445936A/zh
Publication of CN106445936A publication Critical patent/CN106445936A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种数据处理方法及设备,该方法包括:数据处理设备根据接收到的数据查询方发送的查询请求,调用数据处理设备本地存储的数据查询方的自有数据和查询请求所对应的数据提供方的自有数据,并利用预先设置的数据处理算法对数据查询方的自有数据和数据提供方的自有数据进行融合处理,得到处理后的结果数据,再将结果数据返回至数据查询方。也就是说,在本发明实施例所述技术方案中,数据处理设备根据数据查询方的查询请求向该数据查询方提供的是经过融合处理的结果数据,并非数据提供方的原始的自有数据,从而在实现了数据开放服务的同时保障了数据提供方的数据信息的安全性,进而避免了企业的数据信息的隐私性受到侵害,提高了用户体验。

Description

一种数据处理方法及设备
技术领域
本发明涉及大数据技术领域,尤其涉及一种数据处理方法及设备。
背景技术
随着互联网规模的不断扩大,特别是移动互联网的迅猛发展,产生了海量的互联网数据,并由此产生了相应的大数据技术。
大数据技术主要就是从各种各样的海量数据中,快速获得有价值信息的技术。大数据技术可应用于多个技术领域,如数据开放领域。具体地,以将大数据技术应用于企业之间的数据开放领域为例,A企业可将自有数据开放给与其合作的B企业,此时,B企业即可利用自有的大数据技术对A企业的自有数据进行处理,或者利用自有的大数据技术将A企业提供的自有数据与B企业自身的自有数据进行融合处理,以为A企业或B企业等提供相应服务。
由上述内容可知,现有的大数据处理方案在一定程度上为企业提供了数据开放服务的方法和平台,给各企业提供了便利,但在数据安全层面,由于至少有一方企业的数据是透明的,因此,对于业务上合作的双方来说难以避免存在信息暴露的风险。也就是说,现有的大数据处理方案未考虑到企业合作时的自有数据保密性的问题,因此无法保障企业的数据信息的安全性,使得企业的数据信息的隐私性受到了侵害,安全性较低。
发明内容
本发明实施例提供了一种数据处理方法及设备,用以解决现有大数据处理方案存在的无法保障企业的数据信息的安全性的问题。
本发明实施例提供了一种数据处理方法,包括:
数据处理设备接收数据查询方发送的查询请求;
根据所述查询请求调用在所述数据处理设备本地存储的所述数据查询方的自有数据和所述查询请求所对应的数据提供方的自有数据,并利用预先设置的数据处理算法对所述数据查询方的自有数据和所述数据提供方的自有数据进行融合处理,得到处理后的结果数据;
将所述结果数据返回至所述数据查询方。
进一步地,所述数据查询方的自有数据和所述数据提供方的自有数据是根据以下方式所得到的:
监听所述数据查询方的自有数据和/或所述数据提供方的自有数据的更新状态,并在确定所述数据查询方的自有数据和/或所述数据提供方的自有数据有更新时,获取所述数据查询方更新后的数据和/或获取所述数据提供方更新后的数据;
将获取到的更新后的数据存储至本地。
进一步地,所述更新后的数据为加密数据,则将获取到的更新后的数据存储至本地,包括:
利用多线程处理方式将获取到的已加密的更新后的数据进行解密后存储至本地。
进一步地,将所述结果数据返回至所述数据查询方,包括:
将所述结果数据以同步或异步的方式返回至所述数据查询方。
进一步地,所述预先设置的数据处理算法是由所述数据查询方和所述数据提供方共同编写的、用于实现所述数据查询方的相应查询请求的算法。
进一步地,本发明实施例还提供了一种数据处理设备,包括:
数据存储单元,用于存储数据查询方的自有数据和数据提供方的自有数据;
数据接收单元,用于接收数据查询方发送的查询请求;
数据处理单元,用于根据所述查询请求调用所述数据存储单元存储的所述数据查询方的自有数据和所述查询请求所对应的数据提供方的自有数据,并利用预先设置的数据处理算法对所述数据查询方的自有数据和所述数据提供方的自有数据进行融合处理,得到处理后的结果数据;
数据发送单元,用于将所述结果数据返回至所述数据查询方。
进一步地,所述数据存储单元,具体用于监听所述数据查询方的自有数据和/或所述数据提供方的自有数据的更新状态,并在确定所述数据查询方的自有数据和/或所述数据提供方的自有数据有更新时,获取所述数据查询方更新后的数据和/或获取所述数据提供方更新后的数据,并将获取到的更新后的数据存储至本地。
进一步地,所述更新后的数据为加密数据,则所述数据存储单元,具体用于利用多线程处理方式将获取到的已加密的更新后的数据进行解密后存储至本地。
进一步地,所述发送单元,具体用于将所述结果数据以同步或异步的方式返回至所述数据查询方。
进一步地,所述预先设置的数据处理算法是由所述数据查询方和所述数据提供方共同编写的、用于实现所述数据查询方的相应查询请求的算法。
本发明有益效果如下:
本发明实施例提供了一种数据处理方法及设备,数据处理设备能够根据接收到的数据查询方发送的查询请求,调用在所述数据处理设备本地存储的所述数据查询方的自有数据和所述查询请求所对应的数据提供方的自有数据,并利用预先设置的数据处理算法对所述数据查询方的自有数据和所述数据提供方的自有数据进行融合处理,得到处理后的结果数据,以及,将所述结果数据返回至所述数据查询方。也就是说,在本发明实施例所述技术方案中,数据处理设备根据数据查询方的查询请求向该数据查询方提供的是经过融合处理的结果数据,并非数据提供方的原始的自有数据,从而在实现了数据开放服务的同时保障了数据提供方的数据信息的安全性,并且,由于本发明实施例所述的数据处理方法考虑了企业合作时的自有数据保密性,因此避免了企业的数据信息的隐私性受到侵害,提高了用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1所示为本发明实施例一中所述的数据处理方法的流程示意图;
图2所示为本发明实施例二中所述的数据处理设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一:
本发明实施例一提供了一种数据处理方法,所述数据处理方法可应用于大数据技术领域,具体可应用于大数据技术的数据开放技术领域,如图1所示,其为本发明实施例一所述数据处理方法的流程示意图,所述方法可包括以下步骤:
步骤101:数据处理设备获取各数据查询方的自有数据和各数据提供方的自有数据并存储。
可选地,数据处理设备可通过以下方式获取各数据查询方的自有数据和各数据提供方的自有数据并存储:
监听(实时监听或定时监听)各数据查询方的自有数据和/或各数据提供方的自有数据的更新状态,并在确定各数据查询方的自有数据和/或各数据提供方的自有数据有更新时,获取所述数据查询方更新后的数据和/或获取所述数据提供方更新后的数据,并将获取到的更新后的数据存储至本地。
具体地,各数据查询方和各数据提供方可定期按指定文件格式和文件名分别将自身的自有数据更新至各自预先建立的服务器中,以由数据处理设备实时或定时地对各数据查询方自身对应的服务器以及各数据提供方自身对应的服务器进行查询,并在确定各数据查询方的自有数据和/或各数据提供方的自有数据有更新时,启用新线程下载更新后的数据,并将获取到的更新后的数据存储至本地。
需要说明的是,获取所述数据查询方更新后的数据和/或获取所述数据提供方更新后的数据,具体可实施为获取数据查询方和/或数据提供方相应的更新后的全部数据,或者获取数据查询方和/或数据提供方除数据处理设备已获取到的数据之外的更新部分的数据,本发明实施例对此不作限定。
进一步地,为了提高数据传输的安全性,各数据查询方和各数据提供方定期按指定文件格式和文件名分别向各自预先建立的服务器中更新的数据可以是加密数据,则相应地,将获取到的更新后的数据存储至本地,可具体实施为:
利用多线程处理方式将获取到的已加密的更新后的数据进行解密后存储至本地。由于数据处理设备在存储获取到的更新后的数据时采用的是多线程处理方式,因此避免了因处理速度和文件读取速度不一致而造成的系统资源浪费,提高了数据入库的效率。
另外,需要说明的是,步骤101所述的获取各数据查询方的自有数据和各数据提供方的自有数据并存储的过程通常是在接收数据查询方发送的查询请求之前所进行的数据预存储过程,在执行完该步骤101所述的数据预存储过程之后,可多次执行后续所述的接收数据查询方发送的查询请求等操作;当然,需要说明的是,由于各数据查询方的自有数据以及各数据提供方的自有数据通常是处于不断更新变化状态中的,因而,实际上,步骤101所述的数据存储操作除了可以在数据处理设备接收查询请求之前执行之外,还可以在数据处理设备接收查询请求的同时或之后的过程中执行,本发明实施例对此不作限定。
步骤102:接收数据查询方发送的查询请求。
可选地,当各数据查询方有使用数据处理设备进行相应的数据融合的需求时,可向数据处理设备发送相应的查询请求。
具体地,数据处理设备同一时段可接收到一个或多个数据查询方发送的查询请求。并且,为了提高系统的处理效率,当数据处理设备在同一时段接收到多个数据查询方发送的查询请求时,可采用并行处理的方式对各查询请求进行处理;当然,其也可采用串行处理的方式对各查询请求进行相应处理,本发明实施例对此不作赘述。
可选地,所述查询请求中可携带有数据查询方的标识信息,以及所述查询请求所对应的数据提供方的标识信息,以由数据处理设备根据数据查询方的标识信息以及与所述查询请求相对应的数据提供方的标识信息,调用本地存储的所述数据查询方的自有数据和数据提供方的自有数据。当然,若所述数据处理设备中仅存储有一个数据查询方的自有数据和一个数据提供方的自有数据,则所述查询请求中也可不携带数据查询方和数据提供方的标识信息,本发明实施例对此不作赘述。
需要说明的是,所述查询请求可以是所述数据查询方根据自身所处场景或自身需求发送的,本发明实施例对此不作赘述。
另外,需要说明的是,为了提高系统的安全性,在接收到查询请求后,数据处理设备还可对该查询请求进行验证,在验证该查询请求合法后,再执行后续步骤103所述的操作,否则,拒绝响应该查询请求,本发明实施例对此不作赘述。
步骤103:根据所述查询请求调用本地存储的所述数据查询方的自有数据和所述查询请求所对应的数据提供方的自有数据,并利用预先设置的数据处理算法对所述数据查询方的自有数据和所述数据提供方的自有数据进行融合处理,得到处理后的结果数据。
需要说明的是,所述融合处理是指将数据查询方的自有数据和数据提供方的自有数据通过双方都具备的意义相同的关键字段进行关联综合分析处理,如根据手机号码、身份证号码等关键字段进行关联综合分析处理,本发明实施例对此不作赘述。
可选地,所述预先设置的数据处理算法可以是由所述数据查询方和所述数据提供方共同编写的、用于实现所述数据查询方的相应查询请求的算法;当然,也可以是由所述数据提供方单独编写的、用于实现所述数据查询方的相应查询请求的算法,本发明实施例对此不作限定。
步骤104:将所述结果数据返回至所述数据查询方。
也就是说,在本发明实施例所述技术方案中,数据处理设备根据数据查询方的查询请求向该数据查询方提供的是经过融合处理的结果数据,并非数据提供方的原始的自有数据,从而在实现了数据开放服务的同时保障了数据提供方的数据信息的安全性,并且,由于本发明实施例所述的数据处理方法考虑了企业合作时的自有数据保密性,因此避免了企业的数据信息的隐私性受到侵害,提高了用户体验。
进一步地,针对步骤103所述的将所述结果数据返回至所述数据查询方,可具体实施为:
将所述结果数据以同步或异步的方式返回至所述数据查询方。
也就是说,数据处理设备可将查询的结果数据同步实时返回给数据查询方以供其查看,也可将结果数据写入相应文件进行存储,以供数据查询方下载后查看,从而满足不同效率的结果返回需求,同时也提高了本发明实施例所述技术方案的灵活度,进而提高用户体验。
进一步地,所述方法还可包括:实时或定时获取数据提供方的位置状态等状态信息,如归属于数据提供方的用户终端的位置信息、归属于数据提供方的用户终端的开关机状态等状态信息,以便于数据处理设备可将获取到的数据提供方的状态信息告知给对应的数据查询方,由数据查询方根据获取到的数据提供方的状态信息为数据提供方提供相应服务。
可选地,数据处理设备可将获取到的数据提供方的状态信息与之前所得到的结果数据进行融合后告知给对应的数据查询方,本发明实施例对此不作赘述。
下面以一具体实施例说明本发明实施例所述的数据处理方法的详细流程、以及可应用的场景。
该具体实施例的应用场景可为:两个合作企业,分别为A企业和B企业,其中,假设A企业为互联网公司,B企业为个人征信企业,且B为数据查询方,则具体流程可包括:
步骤S1:互联网公司和个人征信企业定期按指定文件格式和文件名分别将已加密的自有数据更新至各自预先建立的服务器中。
具体地,互联网公司可将自身的用户的手机号码和网购消费信息等更新至自身对应的服务器中,个人征信企业也可将自身的用户的手机号码和日常生活消费信息等更新至自身对应的服务器中,如水电费消费信息等。
步骤S2:数据处理设备实时或定时监听互联网公司和/或个人征信企业分别对应的服务器中的数据的更新状态,并在确定互联网公司的自有数据和/或个人征信企业的自有数据有更新时,启用新线程下载更新后的数据,再利用多线程处理方式将获取到的已加密的更新后的数据进行逐行解密后存储至本地。
步骤S3:数据处理设备接收个人征信企业发送的查询请求,所述查询请求中携带有个人征信企业的标识信息、与其合作的互联网公司的标识信息、以及与所述个人征信企业和与其合作的互联网公司对应的数据处理算法标识及算法所需的参数等信息,其中算法所需的参数信息可以是个人征信企业所要征信对象的手机号码等信息。
步骤S4:数据处理设备根据个人征信企业的标识信息以及互联网公司的标识信息,调用本地存储的个人征信企业的自有数据和互联网公司的自有数据,并根据所述数据处理算法标识调取对应预先配置的数据处理算法对互联网公司的自有数据和个人征信企业的自有数据进行融合处理,得到处理后的结果数据,再将所述结果数据返回至个人征信企业。
可选地,根据所述数据处理算法标识调取对应预先配置的数据处理算法对互联网公司的自有数据和个人征信企业的自有数据进行融合处理,得到处理后的结果数据,可具体实施为:数据处理设备可将互联网公司的用户的手机号码与个人征信企业的用户的手机号码进行融合处理,筛选出与查询请求中携带的征信对象的手机号码相同的用户,进一步地,对该手机号码对应的日常生活消费信息和网购消费信息进行综合分析,得到该手机号码对应的个人信用综合评分,再将在该手机号码对应的个人信用综合评分返回至个人征信企业,以便于个人征信企业根据相应的个人信用综合评分为互联网公司的各用户提供相应的个人征信服务。
也就是说,通过该具体实施例,个人征信企业无需获取互联网公司的原始的自有数据即可为互联网公司的各用户提供相应的个人征信服务,从而在实现了数据开放服务的同时保障了数据提供方的数据信息的安全性。
本发明实施例一提供了一种数据处理方法,数据处理设备能够根据接收到的数据查询方发送的查询请求,调用在数据处理设备本地存储的所述数据查询方的自有数据和所述查询请求所对应的数据提供方的自有数据,并利用预先设置的数据处理算法对所述数据查询方的自有数据和所述数据提供方的自有数据进行融合处理,得到处理后的结果数据,以及,将所述结果数据返回至所述数据查询方。也就是说,在本发明实施例所述技术方案中,数据处理设备根据数据查询方的查询请求向该数据查询方提供的是经过融合分析处理的结果数据,并非数据提供方的原始的自有数据,从而在实现了数据开放服务的同时保障了数据提供方的数据信息的安全性,并且,由于本发明实施例所述的数据处理方法考虑了企业合作时的自有数据保密性,因此避免了企业的数据信息的隐私性受到侵害,提高了用户体验。
实施例二
基于与本发明实施例一相同的发明构思,本发明实施例二提供了一种数据处理设备,该数据处理设备的具体实施可参见上述方法实施例一中的相关描述,重复之处不再赘述,其结构示意图如图2所示,该设备主要可包括:
数据存储单元21,可用于存储数据查询方的自有数据和数据提供方的自有数据;
数据接收单元22,可用于接收数据查询方发送的查询请求;
数据处理单元23,可用于根据所述查询请求调用所述数据存储单元21存储的所述数据查询方的自有数据和所述查询请求所对应的数据提供方的自有数据,并利用预先设置的数据处理算法对所述数据查询方的自有数据和所述数据提供方的自有数据进行融合处理,得到处理后的结果数据;
数据发送单元24,可用于将所述结果数据返回至所述数据查询方。
需要说明的是,所述融合处理是指将数据查询方的自有数据和数据提供方的自有数据通过双方都具备的意义相同的关键字段进行关联综合分析处理,如根据手机号码、身份证号码等关键字段进行关联综合分析处理,本发明实施例对此不作赘述。
可选地,所述预先设置的数据处理算法可以是由所述数据查询方和所述数据提供方共同编写的、用于实现所述数据查询方的相应查询请求的算法,当然,也可以是由所述数据提供方单独编写的、用于实现所述数据查询方的相应查询请求的算法,本发明实施例对此不作限定。
需要说明的是,所述查询请求中可携带有数据查询方的标识信息,以及所述查询请求所对应的数据提供方的标识信息,以由数据处理单元23根据数据查询方的标识信息以及与所述查询请求对应的数据提供方的标识信息,调用本地存储的所述数据查询方的自有数据和数据提供方的自有数据。当然,若所述数据处理设备中仅存储有一个数据查询方的自有数据和一个数据提供方的自有数据,则所述查询请求中也可不携带数据查询方和数据提供方的标识信息,本发明实施例对此不作赘述。
进一步地,所述数据存储单元21,可具体用于监听各数据查询方的自有数据和/或各数据提供方的自有数据的更新状态,并在确定各数据查询方的自有数据和/或各数据提供方的自有数据有更新时,获取所述数据查询方更新后的数据和/或获取所述数据提供方更新后的数据,并将获取到的更新后的数据存储至本地。
具体地,各数据查询方和各数据提供方可定期按指定文件格式和文件名分别将数据更新至各自预先建立的服务器中,如FTP/SFTP服务器,以由数据存储单元21实时或定时的对各数据查询方对应的服务器以及各数据提供方对应的服务器进行查询,并在确定各数据查询方的自有数据和/或各数据提供方的自有数据有更新时,启用新线程下载更新后的数据,再将获取到的更新后的数据存储至本地。
进一步地,为了提高数据传输的安全性,各数据查询方和各数据提供方定期按指定文件格式和文件名分别向各自预先建立的服务器中更新的数据可以是加密数据,则相应地,所述数据存储单元21,可具体用于利用多线程处理方式将获取到的已加密的更新后的数据进行解密后存储至本地。
由于所述数据存储单元21在存储获取到的更新后的数据时采用的是多线程处理方式,因此避免了因处理速度和文件读取速度不一致而造成的系统资源浪费,提高了数据入库的效率。
可选地,所述数据存储单元21可包括数据监听子单元、消息中间件子单元、数据入库子单元和数据存储子单元:
所述数据监听子单元,可用于实时或定时监听各数据查询方的自有数据和/或各数据提供方的自有数据的更新状态,并在确定各数据查询方的自有数据和/或各数据提供方的自有数据有更新时,获取所述数据查询方更新后的数据和/或获取所述数据提供方更新后的数据,并将获取到的更新后的数据输出至消息中间件子单元;其中,获取到的更新后的数据通常为加密数据;
所述消息中间件子单元,可用于将所述数据监听子单元发送的更新后的数据转发至数据入库子单元;
所述数据入库子单元,可用于采用多线程处理方式将所述消息中间件子单元发送的更新后的数据进行解密后存入数据存储子单元;
所述数据存储子单元,可用于存储数据处理入库子单元发送的解密后的数据。
可选地,所述数据监听子单元可用于在确定各数据查询方的自有数据和/或各数据提供方的自有数据有更新时,启动新线程下载更新后的数据,并将已下载的数据输出至消息中间件子单元。需要说明的是,已下载的数据可以行为单位输出至消息中间件,也可以列为单位输出至消息中间件,本发明实施例对此不作限定。
可选地,所述消息中间件子单元可采用多线程处理方式将所述数据监听子单元发送的更新后的数据转发至数据入库子单元,从而避免了因处理速度和文件读取速度不一致而造成的系统资源浪费,提高数据入库的效率。
需要说明的是,为了进一步提高数据处理速率,所述消息中间件子单元可选用kafka消息中间件;当然,也可选用其它消息中间件,本发明实施例对此不作限定。
可选地,所述数据入库子单元具体可采用二级解密(即部分解密)的方式对已加密的更新后的数据进行解密(其中,解密后的数据可分为两个字段,一个为供查询的明文字段,一个为数据密文字段)。相应地,在解密后,所述数据入库子单元可根据当前文件中第一行的字段名及字段类型将对应的解密后的数据存入数据存储子单元。
可选地,由于Solr索引服务器具有数据存储量大、查询速度快以及存储灵活的优点,因此,优选地,所述数据存储子单元可选用Solr索引服务器;当然,也可选用其它数据存储设备,本发明实施例对此不作限定。
进一步地,所述数据处理设备还可包括状态信息获取接口(图中未示出):
所述状态信息获取接口,可用于实时或定时获取数据提供方的位置状态等状态信息,如归属于数据提供方的用户终端的位置信息、归属于数据提供方的用户终端的开关机状态等状态信息,以便于数据处理设备可将获取到的数据提供方的状态信息告知给对应的数据查询方,由数据查询方根据获取到的数据提供方的状态信息为数据提供方提供相应服务。
进一步地,所述数据发送单元24,可具体用于将所述结果数据以同步或异步的方式返回至所述数据查询方。
也就是说,数据处理设备可将查询的结果数据同步实时返回给数据查询方以供其查看,也可将结果数据写入相应文件进行存储,以供数据查询方下载后查看,从而满足不同效率的结果返回需求,同时也提高了本发明实施例所述技术方案的灵活度,提高了用户体验。
需要说明的是,所述数据处理设备通常可为独立于数据查询方和数据提供方的第三方设备,当然,由于所述数据处理设备为具有数据安全加固功能的设备(即不会将数据提供方原始的自有数据提供给数据查询方,也不会将数据查询方原始的自有数据提供给数据提供方),因而,也可放置于数据查询方或提供方任一方设备当中,本发明实施例对此不作限定。
也就是说,在本发明实施例所述技术方案中,数据处理设备能够根据接收到的数据查询方发送的查询请求,调用在数据处理设备本地存储的所述数据查询方的自有数据和所述查询请求所对应的数据提供方的自有数据,并利用预先设置的数据处理算法对所述数据查询方的自有数据和所述数据提供方的自有数据进行融合处理,得到处理后的结果数据,以及,将所述结果数据返回至所述数据查询方。也就是说,在本发明实施例所述技术方案中,数据处理设备根据数据查询方的查询请求向该数据查询方提供的是经过融合分析处理的结果数据,并非数据提供方的原始的自有数据,从而在实现了数据开放服务的同时保障了数据提供方的数据信息的安全性,并且,由于本发明实施例所述的数据处理方法考虑了企业合作时的自有数据保密性,因此避免了企业的数据信息的隐私性受到侵害,提高了用户体验。
本领域技术人员应明白,本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据处理方法,其特征在于,所述方法包括:
数据处理设备接收数据查询方发送的查询请求;
根据所述查询请求调用在所述数据处理设备本地存储的所述数据查询方的自有数据和所述查询请求所对应的数据提供方的自有数据,并利用预先设置的数据处理算法对所述数据查询方的自有数据和所述数据提供方的自有数据进行融合处理,得到处理后的结果数据;
将所述结果数据返回至所述数据查询方。
2.如权利要求1所述的方法,其特征在于,所述数据查询方的自有数据和所述数据提供方的自有数据是根据以下方式所得到的:
监听所述数据查询方的自有数据和/或所述数据提供方的自有数据的更新状态,并在确定所述数据查询方的自有数据和/或所述数据提供方的自有数据有更新时,获取所述数据查询方更新后的数据和/或获取所述数据提供方更新后的数据;
将获取到的更新后的数据存储至本地。
3.如权利要求2所述的方法,其特征在于,所述更新后的数据为加密数据,则将获取到的更新后的数据存储至本地,包括:
利用多线程处理方式将获取到的已加密的更新后的数据进行解密后存储至本地。
4.如权利要求1所述的方法,其特征在于,将所述结果数据返回至所述数据查询方,包括:
将所述结果数据以同步或异步的方式返回至所述数据查询方。
5.如权利要求1所述的方法,其特征在于,所述预先设置的数据处理算法是由所述数据查询方和所述数据提供方共同编写的、用于实现所述数据查询方的相应查询请求的算法。
6.一种数据处理设备,其特征在于,包括:
数据存储单元,用于存储数据查询方的自有数据和数据提供方的自有数据;
数据接收单元,用于接收数据查询方发送的查询请求;
数据处理单元,用于根据所述查询请求调用所述数据存储单元存储的所述数据查询方的自有数据和所述查询请求所对应的数据提供方的自有数据,并利用预先设置的数据处理算法对所述数据查询方的自有数据和所述数据提供方的自有数据进行融合处理,得到处理后的结果数据;
数据发送单元,用于将所述结果数据返回至所述数据查询方。
7.如权利要求6所述的设备,其特征在于,
所述数据存储单元,具体用于监听所述数据查询方的自有数据和/或所述数据提供方的自有数据的更新状态,并在确定所述数据查询方的自有数据和/或所述数据提供方的自有数据有更新时,获取所述数据查询方更新后的数据和/或获取所述数据提供方更新后的数据,并将获取到的更新后的数据存储至本地。
8.如权利要求7所述的设备,其特征在于,所述更新后的数据为加密数据,则所述数据存储单元,具体用于利用多线程处理方式将获取到的已加密的更新后的数据进行解密后存储至本地。
9.如权利要求6所述的设备,其特征在于,
所述发送单元,具体用于将所述结果数据以同步或异步的方式返回至所述数据查询方。
10.如权利要求6所述的设备,其特征在于,所述预先设置的数据处理算法是由所述数据查询方和所述数据提供方共同编写的、用于实现所述数据查询方的相应查询请求的算法。
CN201510474405.3A 2015-08-05 2015-08-05 一种数据处理方法及设备 Pending CN106445936A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510474405.3A CN106445936A (zh) 2015-08-05 2015-08-05 一种数据处理方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510474405.3A CN106445936A (zh) 2015-08-05 2015-08-05 一种数据处理方法及设备

Publications (1)

Publication Number Publication Date
CN106445936A true CN106445936A (zh) 2017-02-22

Family

ID=58093099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510474405.3A Pending CN106445936A (zh) 2015-08-05 2015-08-05 一种数据处理方法及设备

Country Status (1)

Country Link
CN (1) CN106445936A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109167695A (zh) * 2018-10-26 2019-01-08 深圳前海微众银行股份有限公司 基于联邦学习的联盟网络构建方法、设备及可读存储介质
CN109426732A (zh) * 2017-08-22 2019-03-05 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN110290125A (zh) * 2019-06-17 2019-09-27 西安纸贵互联网科技有限公司 基于区块链的数据安全系统及数据安全处理方法
CN110502915A (zh) * 2019-08-30 2019-11-26 恩亿科(北京)数据科技有限公司 一种数据处理的方法、装置及系统
WO2022048195A1 (zh) * 2020-09-07 2022-03-10 深圳前海微众银行股份有限公司 纵向联邦建模方法、装置、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1757188A (zh) * 2002-11-06 2006-04-05 国际商业机器公司 机密数据共享和匿名实体解析度
CN102402548A (zh) * 2010-09-17 2012-04-04 金蝶软件(中国)有限公司 一种应用系统的数据查询控制方法及系统
US20130238589A1 (en) * 2012-03-12 2013-09-12 Oracle International Corporation System and method for providing pluggable security in an enterprise crawl and search framework environment
CN103473353A (zh) * 2013-09-25 2013-12-25 上海交通大学 面向Web安全的数据库安全防护方法和系统
CN104536965A (zh) * 2014-11-19 2015-04-22 北京思特奇信息技术股份有限公司 一种大数据条件下的数据查询展示系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1757188A (zh) * 2002-11-06 2006-04-05 国际商业机器公司 机密数据共享和匿名实体解析度
CN102402548A (zh) * 2010-09-17 2012-04-04 金蝶软件(中国)有限公司 一种应用系统的数据查询控制方法及系统
US20130238589A1 (en) * 2012-03-12 2013-09-12 Oracle International Corporation System and method for providing pluggable security in an enterprise crawl and search framework environment
CN103473353A (zh) * 2013-09-25 2013-12-25 上海交通大学 面向Web安全的数据库安全防护方法和系统
CN104536965A (zh) * 2014-11-19 2015-04-22 北京思特奇信息技术股份有限公司 一种大数据条件下的数据查询展示系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426732A (zh) * 2017-08-22 2019-03-05 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN109426732B (zh) * 2017-08-22 2021-09-21 创新先进技术有限公司 一种数据处理方法及装置
CN109167695A (zh) * 2018-10-26 2019-01-08 深圳前海微众银行股份有限公司 基于联邦学习的联盟网络构建方法、设备及可读存储介质
CN109167695B (zh) * 2018-10-26 2021-12-28 深圳前海微众银行股份有限公司 基于联邦学习的联盟网络构建方法、设备及可读存储介质
CN110290125A (zh) * 2019-06-17 2019-09-27 西安纸贵互联网科技有限公司 基于区块链的数据安全系统及数据安全处理方法
CN110290125B (zh) * 2019-06-17 2021-12-28 西安纸贵互联网科技有限公司 基于区块链的数据安全系统及数据安全处理方法
CN110502915A (zh) * 2019-08-30 2019-11-26 恩亿科(北京)数据科技有限公司 一种数据处理的方法、装置及系统
WO2022048195A1 (zh) * 2020-09-07 2022-03-10 深圳前海微众银行股份有限公司 纵向联邦建模方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109086986B (zh) 作业调度方法及装置
CN106445936A (zh) 一种数据处理方法及设备
CN106201661B (zh) 用于弹性伸缩虚拟机集群的方法和装置
CN109150607A (zh) 用于区块链网络的分级管控方法及装置
CN105577602B (zh) 基于开放的应用程序编程接口的数据推送方法和装置
CN107920094B (zh) 数据获取方法、装置、服务器及网络设备
CN110245004A (zh) 命令执行方法、装置、设备及计算机可读存储介质
CN106598678A (zh) 向终端设备提供应用程序安装包的方法及装置
CN112615753B (zh) 一种链路异常追踪方法、第一节点、第二节点以及链路
CN104753909B (zh) 信息更新后的鉴权方法、装置及系统
CN106411517A (zh) 一种密码重置方法及装置
CN106911642A (zh) 一种智能设备绑定方法及装置
CN108389044A (zh) 工作量证明的计算方法和系统、电子设备、程序和介质
CN111026530A (zh) 一种任务调度方法、装置、计算机设备和存储介质
CN110276193A (zh) 风险特征输出方法、应用运行控制方法、系统及装置
CN107423942A (zh) 一种业务流转的方法及装置
CN106470229B (zh) 一种业务相关信息处理方法及装置
CN105556918B (zh) 一种资源下载方法及电子设备
CN107517188A (zh) 一种基于安卓系统的数据处理方法和装置
CN115509754A (zh) 一种业务数据处理方法、装置、电子设备及存储介质
CN115866047B (zh) 一种多方安全计算中的数据重定向方法、装置及电子设备
CN110119429A (zh) 数据处理方法、装置、计算机设备和存储介质
CN106657092B (zh) 一种基于ssl/tls的业务处理方法及装置
CN105516394B (zh) Dns地址管理方法及终端
CN113965563B (zh) 基于模型的业务处理方法及装置、服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222

RJ01 Rejection of invention patent application after publication