CN111695126A - 一种众包数据解密方法、装置、电子设备及存储介质 - Google Patents
一种众包数据解密方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111695126A CN111695126A CN202010470210.2A CN202010470210A CN111695126A CN 111695126 A CN111695126 A CN 111695126A CN 202010470210 A CN202010470210 A CN 202010470210A CN 111695126 A CN111695126 A CN 111695126A
- Authority
- CN
- China
- Prior art keywords
- data
- crowdsourcing data
- crowdsourcing
- topology
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种众包数据解密方法、装置、电子设备及存储介质,该方法包括:构建众包数据接入管道,通过Kafka将众包数据传输至流数据处理引擎storm中;创建topology对象,设置topology对象的spout组件,并将众包数据转化为log对象;通过dispatchBolt加载自定义解密算法包解密log对象,并设置topology对象的bolt组件;根据解密后众包数据的类型,将解密后众包数据传入对应的bolt组件进行处理。通过该方案解决了的众包数据解密处理效率低问题,可以有效提高众包数据处理效率,保障众包数据实时同步进行数据解密分类处理。
Description
技术领域
本发明涉及分布式处理领域,尤其涉及一种众包数据解密方法、装置、电子设备及存储介质。
背景技术
在高精度地图制作过程中,相对于传统实地测绘,通过众包方式制作的高精度地图时效性更好、效率更高,但众包地图数据量大、种类多,同时需要进行实时处理,这对服务器的数据处理能力提出了更高的要求。
一般众包获取的数据都是需要进行加密传输的,目前,针对众包加密数据处理多是基于单线程方式对数据进行顺序处理,而这种方式对于需要同步处理的数据,处理效率较低。
发明内容
有鉴于此,本发明实施例提供了一种众包数据解密方法、装置、电子设备及存储介质,以解决现有众包数据解密处理效率低的问题。
在本发明实施例的第一方面,提供了一种众包数据解密方法,包括:
构建众包数据接入管道,通过Kafka将众包数据传输至流数据处理引擎storm中;
创建topology对象,设置topology对象的spout组件,并将众包数据转化为log对象;
通过dispatchBolt加载自定义解密算法包解密log对象,并设置topology对象的bolt组件;
根据解密后众包数据的类型,将解密后众包数据传入对应的bolt组件进行处理。
在本发明实施例的第二方面,提供了一种众包数据解密装置,包括:
接入模块,用于构建众包数据接入管道,通过Kafka将众包数据传输至流数据处理引擎storm中;
转化模块,用于创建topology对象,设置topology对象的spout组件,并将众包数据转化为log对象;
解密模块,用于通过dispatchBolt加载自定义解密算法包解密log对象,并设置topology对象的bolt组件;
分类模块,用于根据解密后众包数据的类型,将解密后众包数据传入对应的bolt组件进行处理。
在本发明实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
本发明实施例的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
本发明实施例中,构建众包数据接入管道,通过Kafka将众包数据传输至流数据处理引擎storm中,创建topology对象,设置topology对象的spout组件,并将众包数据转化为log对象,通过dispatchBolt加载自定义解密算法包解密log对象,并设置topology对象的bolt组件,根据解密后众包数据的类型,将解密后众包数据传入对应的bolt组件进行处理。从而解决了高精度地图众包数据处理效率低的问题,基于kafka消息处理机制和storm流处理可以实现分布式众包数据解密处理,可以有效提高处理效率。同时,减少服务中断和数据丢失的风险,保障数据传输安全,实现数据解密和分类的同步处理。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍,显而易见地,下面描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获取其他附图。
图1为本发明的一个实施例提供的一种众包数据解密方法的流程示意图;
图2为本发明的一个实施例提供的一种众包数据解密方法的原理示意图;
图3为本发明的一个实施例提供的一种用于众包数据解密的装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述,意指覆盖不排他的包含,如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。
请参阅图1,图1为本发明一个实施例提供的一种众包数据解密方法的流程示意图,包括:
S101、构建众包数据接入管道,通过Kafka将众包数据传输至流数据处理引擎storm中;
所述Kafka为一种分布式发布订阅消息系统,用于记录用户行为及一系列日志消息,并支持数据流处理,具有吞吐量高、持久化操作和易于扩展的特点。所述storm为一份分布式的高容错实时计算系统,可以处理流式数据消息并将结果保存至持久化层中。将Kafka作为众包数据消息传送载体,将数据引入到流数据处理引擎storm,通过storm对众包数据进行解密分类处理。
S102、创建topology对象,设置topology对象的spout组件,并将众包数据转化为log对象;
storm集群中的任务称为topology,topology组件从数据源获取数据,并进行后续处理,一般topology中从外部数据源获取数据的组件为spout,处理数据的组件为bolt。
利用storm的TopologyBuilde对象来创建topology对象,基于当前业务流topology对象进行数据处理,在topology对象中设置数据接收源KafkaConsumerSpout,其中,所述数据接收源KafkaConsumerSpout表示Kafka消费者中数据,可通过Spout组件获取到。
设置topology对象的Spout组件处理数据来源,通过setSpout方法设置Spout组件参数及处理方法,示例性的,自定义HDJSpout,spout参数可包括:DATA_Spout_Name、HDJSpout、setMaxspoutPending(1000)。
其中,通过setSpout方法设置spout组件,并通过collector.emit()方法将最大待处理的tuple元组数量传送到disptachBolt,最大待处理的tuple元组数量即等待ACK的tuple的最大数量。
所述log对象即加密数据的文件对象。
S103、通过dispatchBolt加载自定义解密算法包解密log对象,并设置topology对象的bolt组件;
通过dispatchBolt方法加载自定义的解密算法包,所述解密算法包中定义有众包数据的解密算法,基于一种或多种特定的解密算法,解密log对象,具体的,通过setdispatchBolt方法定义数据加载解密算法包的方法,基于topology对象的bolt组件加载解密算法包进行数据解密处理。
所述bolt组件用于消息数据的处理,对于获取到的log对象,在bolt组件中通过自定义算法包进行解密处理。进一步的,对于解密后的众包数据,同样通过bolt组件进行分类存储至对应的数据仓。
S104、根据解密后众包数据的类型,将解密后众包数据传入对应的bolt组件进行处理。
通过setBolt方法设置topology对象的bolt组件,在该方法中定义数据处理过程。具体的,根据众包数据解密后的类型,将数据传入对应的bolt组件处理。
示例性的,在设置bolt组件中参数可包括:Constants.DATA_Spout_Name、NewBolt()及setMaxBoltPending(1000)。
优选的,将解密后的众包数据分类处理后,存储至HDFS文件系统中,并通过zookeeper进行协调管理。
在本发明的另一实施例中,如图2所示,众包数据经Kafka发布订阅后,接入到流数据处理引擎storm,通过topology对象中的Spout组件接收数据,再通过dispatchBolt方法加载解密算法包,最后由Bolt组件进行数据分类归仓,将众包数据存储至对应的数据仓中。
通过本实施例提供的方法,采用分布式众包数据解密,基于Kafka的消息发布订阅和流处理storm中spout组件、bolt组件等保障数据实时高效处理,同时可减少服务中断和数据丢失风险。
应理解,上述实施例中各步骤的序号大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
图3为本发明实施例提供的一种用于众包数据解密的装置结构示意图,该装置包括:
接入模块310,用于构建众包数据接入管道,通过Kafka将众包数据传输至流数据处理引擎storm中;
转化模块320,用于创建topology对象,设置topology对象的spout组件,并将众包数据转化为log对象;
具体的,所述创建topology对象包括:
通过storm中的topologybuilder类创建topology对象,在topology中设置数据接收源KafkaConsumerSpout。
解密模块330,用于通过dispatchBolt加载自定义解密算法包解密log对象,并设置topology对象的bolt组件;
具体的,所述设置topology对象的spout组件包括:
通过setSpout方法设置spout组件,并通过collector.emit()方法将最大待处理的tuple元组数量传送到disptachBolt。
分类模块340,用于根据解密后众包数据的类型,将解密后众包数据传入对应的bolt组件进行处理。
优选的,所述分类模块还包括:
存储模块,用于将解密后的众包数据分类处理后,存储至HDFS文件系统中,并通过zookeeper进行协调管理。
可以理解的是,在一个实施例中,所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述计算机程序执行如实施例一中步骤S101~S104,处理器执行所述计算机程序时实现众包数据解密。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,包括步骤S101~S104,所述的存储介质包括如:ROM/RAM、磁碟、光盘等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种众包数据解密方法,其特征在于,包括:
构建众包数据接入管道,通过Kafka将众包数据传输至流数据处理引擎storm中;
创建topology对象,设置topology对象的spout组件,并将众包数据转化为log对象;
通过dispatchBolt加载自定义解密算法包解密log对象,并设置topology对象的bolt组件;
根据解密后众包数据的类型,将解密后众包数据传入对应的bolt组件进行处理。
2.根据权利要求1所述的方法,其特征在于,所述创建topology对象包括:
通过storm中的topologybuilder类创建topology对象,在topology中设置数据接收源KafkaConsumerSpout。
3.根据权利要求1所述方法,其特征在于,所述设置topology对象的spout组件包括:
通过setSpout方法设置spout组件,并通过collector.emit()方法将最大待处理的tuple元组数量传送到disptachBolt。
4.根据权利要求1所述的方法,其特征在于,所述根据解密后众包数据的类型,将解密后众包数据传入对应的bolt组件进行处理还包括:
将解密后的众包数据分类处理后,存储至HDFS文件系统中,并通过zookeeper进行协调管理。
5.一种用于众包数据解密的装置,其特征在于,包括:
接入模块,用于构建众包数据接入管道,通过Kafka将众包数据传输至流数据处理引擎storm中;
转化模块,用于创建topology对象,设置topology对象的spout组件,并将众包数据转化为log对象;
解密模块,用于通过dispatchBolt加载自定义解密算法包解密log对象,并设置topology对象的bolt组件;
分类模块,用于根据解密后众包数据的类型,将解密后众包数据传入对应的bolt组件进行处理。
6.根据权利要求5所述的装置,其特征在于,所述创建topology对象包括:
通过storm中的topologybuilder类创建topology对象,在topology中设置数据接收源KafkaConsumerSpout。
7.根据权利要求5所述的装置,其特征在于,所述设置topology对象的spout组件包括:
通过setSpout方法设置spout组件,并通过collector.emit()方法将最大待处理的tuple元组数量传送到disptachBolt。
8.根据权利要求5所述的装置,其特征在于,所述分类模块还包括:
存储模块,用于将解密后的众包数据分类处理后,存储至HDFS文件系统中,并通过zookeeper进行协调管理。
9.一种电子设备,包括处理器、存储器以及存储在所述存储器中并在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述众包数据解密方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述众包数据解密方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010470210.2A CN111695126A (zh) | 2020-05-28 | 2020-05-28 | 一种众包数据解密方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010470210.2A CN111695126A (zh) | 2020-05-28 | 2020-05-28 | 一种众包数据解密方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111695126A true CN111695126A (zh) | 2020-09-22 |
Family
ID=72478501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010470210.2A Pending CN111695126A (zh) | 2020-05-28 | 2020-05-28 | 一种众包数据解密方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111695126A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103680143A (zh) * | 2013-12-30 | 2014-03-26 | 北京世纪高通科技有限公司 | 一种交通信息处理方法和装置 |
CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
CN105468626A (zh) * | 2014-09-04 | 2016-04-06 | 腾讯科技(北京)有限公司 | 数据处理方法及系统 |
CN105631026A (zh) * | 2015-12-30 | 2016-06-01 | 北京奇艺世纪科技有限公司 | 一种安全数据分析系统 |
CN106446221A (zh) * | 2016-09-30 | 2017-02-22 | 北京奇虎科技有限公司 | 数据分析方法及装置 |
CN107103064A (zh) * | 2017-04-17 | 2017-08-29 | 北京五八信息技术有限公司 | 数据统计方法及装置 |
CN109542733A (zh) * | 2018-12-05 | 2019-03-29 | 焦点科技股份有限公司 | 一种高可靠的实时日志收集及可视化检索方法 |
-
2020
- 2020-05-28 CN CN202010470210.2A patent/CN111695126A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103680143A (zh) * | 2013-12-30 | 2014-03-26 | 北京世纪高通科技有限公司 | 一种交通信息处理方法和装置 |
CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
CN105468626A (zh) * | 2014-09-04 | 2016-04-06 | 腾讯科技(北京)有限公司 | 数据处理方法及系统 |
CN105631026A (zh) * | 2015-12-30 | 2016-06-01 | 北京奇艺世纪科技有限公司 | 一种安全数据分析系统 |
CN106446221A (zh) * | 2016-09-30 | 2017-02-22 | 北京奇虎科技有限公司 | 数据分析方法及装置 |
CN107103064A (zh) * | 2017-04-17 | 2017-08-29 | 北京五八信息技术有限公司 | 数据统计方法及装置 |
CN109542733A (zh) * | 2018-12-05 | 2019-03-29 | 焦点科技股份有限公司 | 一种高可靠的实时日志收集及可视化检索方法 |
Non-Patent Citations (1)
Title |
---|
胡昌旭: "基于Internet的网页防篡改技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10778761B2 (en) | Processing search responses returned by search peers | |
US9313134B2 (en) | Leveraging hardware accelerators for scalable distributed stream processing in a network environment | |
US11431496B2 (en) | Secret search device and secret search method | |
CN110716744A (zh) | 一种数据流处理方法、系统和计算机可读存储介质 | |
US20140055347A1 (en) | Imaging task pipeline acceleration | |
CN108182281B (zh) | 基于流式计算的数据处理控制方法、装置、服务器及介质 | |
WO2022252717A1 (zh) | 一种实现电力数据处理的同异构混合多核芯片架构 | |
CN110851234A (zh) | 基于docker容器的日志处理方法及装置 | |
CN104199912A (zh) | 一种任务处理的方法及装置 | |
CN112817539A (zh) | 一种工业数据存储方法、系统、电子设备及存储介质 | |
CN116248304A (zh) | 一种高性能计算的云服务消息传递监测系统及其使用方法 | |
CN114710571A (zh) | 数据包处理系统 | |
CN114547113A (zh) | 海量数据对账系统、方法、网络设备和存储介质 | |
CN111695126A (zh) | 一种众包数据解密方法、装置、电子设备及存储介质 | |
CN115185543B (zh) | 模型部署方法、打包方法、装置、设备及存储介质 | |
CN109756481B (zh) | 基于互联网异地分布式对接第三方系统的实现方法及系统 | |
US10019296B2 (en) | Addressable dispatchers in distributed computing | |
CN116431324A (zh) | 一种基于Kafka高并发数据采集与分发的边缘系统 | |
CN112019689A (zh) | 来电秀业务处理系统及方法 | |
CN104618219A (zh) | 一种进行跨机房数据同步的方法和装置 | |
CN112165529A (zh) | 一种低成本跨网络数据交换的方法、装置、设备和介质 | |
CN110688113B (zh) | 跨系统的数据调用方法、装置及系统 | |
CN113542217A (zh) | 一种服务订阅系统 | |
CN103294527A (zh) | 一种处理网络任务的方法、系统以及服务器 | |
CN112035523A (zh) | 一种并行度的确定方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200922 |