CN111241051B - 批量数据处理方法、装置、终端设备及存储介质 - Google Patents
批量数据处理方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN111241051B CN111241051B CN202010015112.XA CN202010015112A CN111241051B CN 111241051 B CN111241051 B CN 111241051B CN 202010015112 A CN202010015112 A CN 202010015112A CN 111241051 B CN111241051 B CN 111241051B
- Authority
- CN
- China
- Prior art keywords
- data
- batch
- memory database
- topic
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 45
- 230000006870 function Effects 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 20
- 230000008569 process Effects 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000005192 partition Methods 0.000 description 8
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种批量数据处理方法、装置、终端设备及存储介质，属于大数据处理技术领域。本发明通过在kafka消息队列中创建一个空的Topic，在spark主函数中创建directStream，通过所述directStream从内存数据库中批量读取数据，并将读取的数据写入所述Topic，在将所述内存数据库中的数据读取完成后，对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中，由于spark从内存数据库中读取批量数据，并行转换成DataSet，解决了使用Spark结合kafka不能解决的业务需求，从而大批量数据同步转换成Spark DataSet。
Description
技术领域
本发明涉及大数据处理技术领域，尤其涉及一种批量数据处理方法、装置、终端设备及存储介质。
背景技术
在过去十年中，人类所产生数据量的爆发带来了大数据处理技术的发展。其中Spark以其优秀的流式处理能力获得越来越多开发者的青睐。Spark-streaming和kafka的框架组合成为了一种稳定的实时处理方案，可以非常容易的构建一个可扩展、具有容错机制的流式应用。
Spark一般的应用模式为：1.实时处理，由服务层将数据发送到kafka(或者使用flume采集HDFS或者Mysql数据到kafka)，然后Spark-Streaming可以基于某一段时间间隔内的数据，采用RDD相关操作完成业务的计算需求，继而将结果输出到下一层。2.离线处理，由于Spark基于内存的计算方式，可以将离线数据存储到HDFS中，由Spark读取该文件，然后做相关计算。此方法可以达到比MapReduce更快的计算速度，继而降低离线计算的时间。
现有的Spark计算方式，如处理kafka数据时，相同的topic必须保持数据格式的一致性，且一次只能处理小批量数据。当需要一次性读取不同字段格式的大批量数据，并同步转换成DataSet时比较困难。
发明内容
本发明的主要目的在于提供一种批量数据处理方法、装置、终端设备及存储介质，旨在解决现有技术中读取不同字段格式的大批量数据，并同步转换成DataSet时比较困难的技术问题。
为实现上述目的，本发明提供一种批量数据处理方法，所述批量数据处理方法包括以下步骤：
在kafka消息队列中创建一个空的Topic；
在spark主函数中创建directStream；
通过所述directStream从内存数据库中批量读取数据，并将读取的数据写入所述Topic；
在将所述内存数据库中的数据读取完成后，对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中。
可选地，所述通过所述directStream从内存数据库中批量读取数据，并将读取的数据写入所述Topic，包括：
通过所述directStream将内存数据库中的数据批量读取到预设清单中；
将所述预设清单中的数据转换为JavaRDD；
将所述JavaRDD中的每条数据进行protobuf转化；
将转换后的每条数据转换成对应的Object，并将所述Object存储到所述JavaRDD中；
通过sparkSession将所述JavaRDD转换为DataSet，并注册与所述DataSet对应的临时表；
将所述DataSet和对应的临时表写入所述Topic。
可选地，所述在将所述内存数据库中的数据读取完成后，对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中，包括：
在将所述内存数据库中的数据读取完成后，通过Spark算子或者TableAPI对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中。
可选地，所述在kafka消息队列中创建一个空的Topic之前，所述批量数据处理方法还包括：
将业务数据批量加载至内存数据库中。
可选地，所述将业务数据批量加载至内存数据库中之后，所述批量数据处理方法还包括：
在业务数据有变更时，将变更后的业务数据覆盖所述内存数据库中变更前的业务数据。
可选地，所述将业务数据批量加载至内存数据库中，包括：
对业务数据进行压缩，并将压缩后的业务数据批量加载至内存数据库中。
可选地，所述对业务数据进行压缩，并将压缩后的业务数据批量加载至内存数据库中，包括：
通过protobuf方式对所述业务数据进行压缩，并将压缩后的业务数据批量加载至内存数据库中。
此外，为实现上述目的，本发明还提供一种批量数据处理装置，所述批量数据处理装置包括：
信息创建模块，用于在kafka消息队列中创建一个空的Topic；
函数创建模块，用于在spark主函数中创建directStream；
数据写入模块，用于通过所述directStream从内存数据库中批量读取数据，并将读取的数据写入所述Topic；
结果写入模块，用于在将所述内存数据库中的数据读取完成后，对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中。
此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的批量数据处理程序，所述批量数据处理程序配置为实现如上所述的批量数据处理方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有批量数据处理程序，所述批量数据处理程序被处理器执行时实现如上所述的批量数据处理方法的步骤。
本发明通过在kafka消息队列中创建一个空的Topic，在spark主函数中创建directStream，通过所述directStream从内存数据库中批量读取数据，并将读取的数据写入所述Topic，在将所述内存数据库中的数据读取完成后，对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中，由于spark从内存数据库中读取批量数据，并行转换成DataSet，解决了使用Spark结合kafka不能解决的业务需求，从而大批量数据同步转换成Spark DataSet。
附图说明
图1为本发明批量数据处理方法第一实施例的流程示意图；
图2为本发明批量数据处理方法第二实施例的流程示意图；
图3为本发明批量数据处理装置一实施例的结构框图；
图4是本发明实施例方案涉及的硬件运行环境的终端设备结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明批量数据处理方法第一实施例的流程示意图。
在第一实施例中，所述批量数据处理方法包括以下步骤：
S10：在kafka消息队列中创建一个空的Topic。
需要说明的是，在kafka消息队列中，Topic是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到kafka集群的消息都有一个类别。物理上来说，不同的Topic的消息是分开存储的，每个Topic可以有多个生产者向它发送消息，也可以有多个消费者去消费其中的消息。
应理解的是，kafka中最基本的数据单元就是消息，而一条消息其实是由Key+Value组成的(Key是可选项，可传空值，Value也可以传空值)键值对。
S20：在spark主函数中创建directStream。
可理解的是，在创建directStream时，设置N秒消费一次所述Topic中的数据，例如：将N设置为10秒、15秒或20秒，又或者设置为1分钟、2分钟或3分钟等，本实施例对此不加以限制。
S30：通过所述directStream从内存数据库中批量读取数据，并将读取的数据写入所述Topic。
在具体实现中，可在所述directStream中，启动多个Job并行读取内存数据中的数据，具体分为四个Job，分别读取基础设置、行情资讯、业务数据、系统配置。其中业务数据采用事务，保证数据的一致性。
需要说明的是，对于所述内存数据库而言，可采用redis内存数据库，当然还可采用ElasticSearch内存数据库，本实施例对此不加以限制。
为便于批量读取数据，本实施例中，可先通过所述directStream将内存数据库中的数据批量读取到预设清单中，然后将所述预设清单中的数据转换为JavaRDD，再将所述JavaRDD中的每条数据进行protobuf转化，之后将转换后的每条数据转换成对应的Object，并将所述Object存储到所述JavaRDD中，接着通过sparkSession将所述JavaRDD转换为DataSet，并注册与所述DataSet对应的临时表，最后将所述DataSet和对应的临时表写入所述Topic。
在具体实现中，每个Topic可以划分多个分区(每个Topic至少有一个分区)，同一Topic下的不同分区包含的消息是不同的。每个消息在被添加到分区时，都会被分配一个offset，它是消息在此分区中的唯一编号，Kafka通过offset保证消息在分区内的顺序，offset的顺序不跨分区，即Kafka只保证在同一个分区内的消息是有序的。
S40：在将所述内存数据库中的数据读取完成后，对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中。
可理解的是，为便于对数据进行处理，在将所述内存数据库中的数据读取完成后，通过spark算子或者TableAPI对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中，数据写入后，即可等待下一轮计算开始。
本实施例通过在kafka消息队列中创建一个空的Topic，在spark主函数中创建directStream，通过所述directStream从内存数据库中批量读取数据，并将读取的数据写入所述Topic，在将所述内存数据库中的数据读取完成后，对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中，由于spark从内存数据库中读取批量数据，并行转换成DataSet，解决了使用Spark结合kafka不能解决的业务需求，从而大批量数据同步转换成Spark DataSet。
如图2所示，基于第一实施例提出本发明批量数据处理方法第二实施例，本实施例中，步骤S10之前，所述批量数据处理方法还包括：
S01：将业务数据批量加载至内存数据库中。
需要说明的是，为便于后续的业务数据处理，本实施例中，可先将业务数据批量加载至内存数据库中。
可理解的是，可将业务系统或其他计算程序所产生的业务数据在进程启动时，将业务数据批量加载至内存数据库中。
由于业务数据的数据量较大，可在批量写入之后，如果有业务数据的变更，采用实时更新方式，覆盖原数据，增加数据处理速度，本实施例中，可在业务数据有变更时，将变更后的业务数据覆盖所述内存数据库中变更前的业务数据。
为提高数据稳定性，本实施例中，步骤S01中，可对业务数据进行压缩，并将压缩后的业务数据批量加载至内存数据库中，由于是在数据写入过程中采用压缩的方式，如protobuf，降低数据容量，减少内存数据库的内存压力，增加数据的网络传输速度，进而增强系统的稳定性。
也就是说，在具体实现中，可通过protobuf方式对所述业务数据进行压缩，并将压缩后的业务数据批量加载至内存数据库中。
实验表明，采用protobuf压缩之后，内存数据库中数据容量显著降低，且读取内存数据库中的数据时稳定性也显著增强。
如下表所示，为某100万条数据采用各种压缩方式和直接将键值对转换成json字符串的数据容量对比，可以看出，压缩之后数据容量显著降低。
| 数据协议 | 有无加密 | 条数(万) | 大小(M) |
| Protobuf | Y | 100 | 292.11 |
| Json | N | 100 | 532.26 |
| Snappy | N | 100 | 379.59 |
| Snappy+Base64 | Y | 100 | 481.99 |
根据上表可以看出，通过protobuf压缩之后数据容量显著降低。
在具体实现中，在采用压缩和不采用压缩存储数据时，当读取内存数据库的数据，内存数据库的内存变化，内存数据库中内存变化更稳定，系统稳定性更好。
可理解的是，在所述内存数据库中数据采用hash格式存储，数据更新时直接覆盖Key中的Value，其中键值为Protobuf协议数据，例如：CPAHEgpTUzEwMDAwMDAxGP2ZygkiATEqATEyBTExMDExOggyMjEwNz BTWkEAAAAAAOClQEkAAAAAQOb1QFF7FK5H4XoEQFkAAAAAAABZQGEAAAAAAABZQGkAAAAAAABZQHEAAAAAAABZQHkAAAAAAABZQ IEBAAAAAAAAWUCJAQAAAAAAAFlAkQEAAAAAAABZQA＝＝
需要说明的是，本实施例中相较于消费同一个kafka Topic中的数据，结合spark+内存数据库可以做到同时读取各种表结构的数据，解决了spark实时计算批量数据的问题。
此外，本发明实施例还提出一种批量数据处理装置，参照图3，所述批量数据处理装置包括：
信息创建模块10，用于在kafka消息队列中创建一个空的Topic；
函数创建模块20，用于在spark主函数中创建directStream；
数据写入模块30，用于通过所述directStream从内存数据库中批量读取数据，并将读取的数据写入所述Topic；
结果写入模块40，用于在将所述内存数据库中的数据读取完成后，对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中。
本实施例通过上述方案，通过在kafka消息队列中创建一个空的Topic，在spark主函数中创建directStream，通过所述directStream从内存数据库中批量读取数据，并将读取的数据写入所述Topic，在将所述内存数据库中的数据读取完成后，对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中，由于spark从内存数据库中读取批量数据，并行转换成DataSet，解决了使用Spark结合kafka不能解决的业务需求，从而大批量数据同步转换成Spark DataSet。
需要说明的是，上述装置中的各模块可用于实现上述方法中的各个步骤，同时达到相应的技术效果，本实施例在此不再赘述。
参照图4，图4为本发明实施例方案涉及的硬件运行环境的终端设备的结构示意图。
如图4所示，该终端设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
在具体实现中，所述终端设备为PC机、笔记本电脑或平板电脑等电子设备，本实施例对此不加以限制。
本领域技术人员可以理解，图4中示出的结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图4所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及批量数据处理程序。
在图4所示的终端设备中，网络接口1004主要用于与外部网络进行数据通信；用户接口1003主要用于接收用户的输入指令；所述终端设备通过处理器1001调用存储器1005中存储的批量数据处理程序，并执行以下操作：
在kafka消息队列中创建一个空的Topic；
在spark主函数中创建directStream；
通过所述directStream从内存数据库中批量读取数据，并将读取的数据写入所述Topic；
在将所述内存数据库中的数据读取完成后，对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中。
进一步地，处理器1001可以调用存储器1005中存储的批量数据处理程序，还执行上述批量数据处理方法中的其他步骤，同时达到相应的技术效果，本实施例在此不再赘述。
本实施例通过上述方案，通过在kafka消息队列中创建一个空的Topic，在spark主函数中创建directStream，通过所述directStream从内存数据库中批量读取数据，并将读取的数据写入所述Topic，在将所述内存数据库中的数据读取完成后，对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中，由于spark从内存数据库中读取批量数据，并行转换成DataSet，解决了使用Spark结合kafka不能解决的业务需求，从而大批量数据同步转换成Spark DataSet。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种批量数据处理方法，其特征在于，所述批量数据处理方法包括以下步骤：
在kafka消息队列中创建一个空的Topic；
在spark主函数中创建directStream；
通过所述directStream从内存数据库中批量读取数据，并将读取的数据写入所述Topic；
在将所述内存数据库中的数据读取完成后，对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中；
所述通过所述directStream从内存数据库中批量读取数据，并将读取的数据写入所述Topic，包括：
通过所述directStream将内存数据库中的数据批量读取到预设清单中；
将所述预设清单中的数据转换为JavaRDD；
将所述JavaRDD中的每条数据进行protobuf转化；
将转换后的每条数据转换成对应的Object，并将所述Object存储到所述JavaRDD中；
通过sparkSession将所述JavaRDD转换为DataSet，并注册与所述DataSet对应的临时表；
将所述DataSet和对应的临时表写入所述Topic；
所述在将所述内存数据库中的数据读取完成后，对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中，包括：
在将所述内存数据库中的数据读取完成后，通过Spark算子或者TableAPI对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中。
2.如权利要求1所述的批量数据处理方法，其特征在于，所述在kafka消息队列中创建一个空的Topic之前，所述批量数据处理方法还包括：
将业务数据批量加载至内存数据库中。
3.如权利要求2所述的批量数据处理方法，其特征在于，所述将业务数据批量加载至内存数据库中之后，所述批量数据处理方法还包括：
在业务数据有变更时，将变更后的业务数据覆盖所述内存数据库中变更前的业务数据。
4.如权利要求2所述的批量数据处理方法，其特征在于，所述将业务数据批量加载至内存数据库中，包括：
对业务数据进行压缩，并将压缩后的业务数据批量加载至内存数据库中。
5.如权利要求4所述的批量数据处理方法，其特征在于，所述对业务数据进行压缩，并将压缩后的业务数据批量加载至内存数据库中，包括：
通过protobuf方式对所述业务数据进行压缩，并将压缩后的业务数据批量加载至内存数据库中。
6.一种批量数据处理装置，用以处理如权利要求1至5中任一项所述的批量数据处理方法，其特征在于，所述批量数据处理装置包括：
信息创建模块，用于在kafka消息队列中创建一个空的Topic；
函数创建模块，用于在spark主函数中创建directStream；
数据写入模块，用于通过所述directStream从内存数据库中批量读取数据，并将读取的数据写入所述Topic；
结果写入模块，用于在将所述内存数据库中的数据读取完成后，对所述Topic中的数据进行处理，并将处理结果写入到kafka消息队列中。
7.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的批量数据处理程序，所述批量数据处理程序配置为实现如权利要求1至5中任一项所述的批量数据处理方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有批量数据处理程序，所述批量数据处理程序被处理器执行时实现如权利要求1至5中任一项所述的批量数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010015112.XA CN111241051B (zh) | 2020-01-07 | 2020-01-07 | 批量数据处理方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010015112.XA CN111241051B (zh) | 2020-01-07 | 2020-01-07 | 批量数据处理方法、装置、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111241051A CN111241051A (zh) | 2020-06-05 |
| CN111241051B true CN111241051B (zh) | 2023-09-12 |
Family
ID=70870312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010015112.XA Active CN111241051B (zh) | 2020-01-07 | 2020-01-07 | 批量数据处理方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111241051B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111897878B (zh) * | 2020-08-25 | 2023-09-29 | 中国工商银行股份有限公司 | 主辅数据同步方法及系统 |
| CN112365355B (zh) * | 2020-12-10 | 2023-12-26 | 深圳迅策科技有限公司 | 实时计算基金估值和风险指标的方法、装置及可读介质 |
| CN112906373A (zh) * | 2021-02-20 | 2021-06-04 | 成都新希望金融信息有限公司 | 告警计算方法、装置、电子设备及存储介质 |
| CN113944923A (zh) * | 2021-10-18 | 2022-01-18 | 西安热工研究院有限公司 | 基于Spark Streaming实时检测锅炉壁温超限报警的方法 |
| CN117135209B (zh) * | 2023-08-29 | 2024-03-22 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 一种工业互联网标识数据批量注册方法、装置和介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778033A (zh) * | 2017-01-10 | 2017-05-31 | 南京邮电大学 | 一种基于Spark平台的Spark Streaming异常温度数据报警方法 |
| CN106776855A (zh) * | 2016-11-29 | 2017-05-31 | 上海轻维软件有限公司 | 基于Spark Streaming读取Kafka数据的处理方法 |
| CN107391719A (zh) * | 2017-07-31 | 2017-11-24 | 南京邮电大学 | 一种云环境中分布式流数据处理方法及系统 |
-
2020
- 2020-01-07 CN CN202010015112.XA patent/CN111241051B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106776855A (zh) * | 2016-11-29 | 2017-05-31 | 上海轻维软件有限公司 | 基于Spark Streaming读取Kafka数据的处理方法 |
| CN106778033A (zh) * | 2017-01-10 | 2017-05-31 | 南京邮电大学 | 一种基于Spark平台的Spark Streaming异常温度数据报警方法 |
| CN107391719A (zh) * | 2017-07-31 | 2017-11-24 | 南京邮电大学 | 一种云环境中分布式流数据处理方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Spark Streaming的实时交通数据处理平台;谭亮;周静;;计算机系统应用(10);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111241051A (zh) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111241051B (zh) | 批量数据处理方法、装置、终端设备及存储介质 | |
| US20200159708A1 (en) | Data Storage Method and Apparatus, and Storage Medium | |
| CN110851253B (zh) | 一种远程运维的方法、系统、存储介质及电子设备 | |
| CN111597257A (zh) | 数据库的同步方法、装置、存储介质及终端 | |
| WO2019134340A1 (zh) | 薪资计算方法、应用服务器及计算机可读存储介质 | |
| CN111414389A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN114722119A (zh) | 数据同步方法及系统 | |
| CN112765166A (zh) | 数据处理方法、装置及计算机可读存储介质 | |
| CN115017030A (zh) | 资源分配方法、装置、电子设备及存储介质 | |
| CN110297945B (zh) | 基于xbrl的数据信息处理方法及系统 | |
| CN112052398A (zh) | 媒体信息推荐方法、装置、电子设备及存储介质 | |
| CN111767433A (zh) | 数据处理方法、装置、存储介质以及终端 | |
| CN115293685A (zh) | 物流订单的状态跟踪方法、装置、设备和存储介质 | |
| CN113190237A (zh) | 数据处理方法、系统和装置 | |
| CN108683581B (zh) | 邮件触发方法及装置、电子设备和计算机可读存储介质 | |
| CN112131222A (zh) | 消息读取状态数据的存储方法、装置、介质及电子设备 | |
| CN112184027A (zh) | 任务进度更新方法、装置及存储介质 | |
| CN117453759B (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
| CN115238660B (zh) | 一种表单动态生成方法、装置、设备及存储介质 | |
| CN117435668A (zh) | 数据同步方法、装置、计算机设备和存储介质 | |
| CN116846997A (zh) | 报文处理方法、装置、计算机设备、存储介质和程序产品 | |
| CN114090291A (zh) | 一种消息传输方法、装置、介质 | |
| CN116340359A (zh) | 数据查询方法、装置、计算机设备、存储介质和程序产品 | |
| CN116260879A (zh) | 业务调度方法、装置、计算机设备和存储介质 | |
| CN114328580A (zh) | 数据处理方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 518000, C6 Floor, Building 1, Shenzhen Software Industry Base, No. 81, 83, and 85 Gaoxin South Tenth Road, Binhai Community, Yuehai Street, Nanshan District, Shenzhen, Guangdong Province Patentee after: Shenzhen Xunce Technology Co.,Ltd. Country or region after: China Address before: Room 118a, industry university research building, Hong Kong University of science and technology, 9 Yuexing 1st Road, Gaoxin Park, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000 Patentee before: SHENZHEN XUNCE TECHNOLOGY Co.,Ltd. Country or region before: China |