CN112765216A - 一种基于物联网的数据批量处理方法 - Google Patents

一种基于物联网的数据批量处理方法 Download PDF

Info

Publication number
CN112765216A
CN112765216A CN202110068043.3A CN202110068043A CN112765216A CN 112765216 A CN112765216 A CN 112765216A CN 202110068043 A CN202110068043 A CN 202110068043A CN 112765216 A CN112765216 A CN 112765216A
Authority
CN
China
Prior art keywords
data
batch
preset
things
internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110068043.3A
Other languages
English (en)
Inventor
王浩
蒋云钟
杨明祥
董宁彭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lantogis Ecological Technology Group Co Ltd
Original Assignee
Lantogis Ecological Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lantogis Ecological Technology Group Co Ltd filed Critical Lantogis Ecological Technology Group Co Ltd
Priority to CN202110068043.3A priority Critical patent/CN112765216A/zh
Publication of CN112765216A publication Critical patent/CN112765216A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1438—Restarting or rejuvenating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于物联网的数据批量处理方法，包括如下步骤：计算节点接收多个用户的请求数据，并确定与多个请求数据相关的数据汇总存储库；将汇总存储库的中的批量数据转换为预设数据格式，并读取所预设数据格式的原始批量数据；对原始批量数据进行整理，对同一类数据进行归类汇总；对整理后的原始批量数据进行处理，将处理得当的数据存储到预设列表中；将预设列表中的数据进行加密处理，并将加密处理后的数据转换为预设的存储格式中，并将预设的存储格式的数据写入目标存储容器中。本发明可方便对数据进行读取和写入，可以对读取的数据进行灵活的批处理逻辑处理，可以实现各种业务类型的数据批量处理，其提高了数据批量处理的效率。

Description

一种基于物联网的数据批量处理方法
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于物联网的数据批量处理方法。
背景技术
随着大数据的日益蓬勃和发展，数据量越来越多，在对大量数据进行处理时，批量处理就显得尤为重要，批量处理是指在没有人工干预的情况下，由一个计算机程序基于一份批量的输入执行一系列的任务的一种处理模式。
目前，批量处理系统一般开始仅用于处理简单场景，即在项目上线初始阶段，由于批量任务比较少，所做的工作也比较简单，批量处理系统仅能够基本满足需求，但是随着项目上线后，批量任务越来越多，场景越来越复杂，原有批量处理系统越来越力不从心，最后只有推倒重新设计，费时又费力，无法满足批处理的需求。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于物联网的数据批量处理方法。
本发明提出的一种基于物联网的数据批量处理方法，包括如下步骤：
S1计算节点接收多个用户的请求数据，并确定与多个请求数据相关的数据汇总存储库；
S2将汇总存储库的中的批量数据转换为预设数据格式，并读取所预设数据格式的原始批量数据；
S3对原始批量数据进行整理，对同一类数据进行归类汇总；
S4对整理后的原始批量数据进行处理，将处理得当的数据存储到预设列表中；
S5将预设列表中的数据进行加密处理，并将加密处理后的数据转换为预设的存储格式中，并将预设的存储格式的数据写入目标存储容器中。
优选的，所述步骤S4通过计算节点按照流式处理方式从原始批量数据节点获取批量数据。
优选的，所述步骤S4对原始批量数据进行处理具体步骤为：
S1获取原始批量数据，识别获取的原始批量数据类型，得到数据模型类型；
S2然后获取数据模型类型的对应数据模型标识；
S3将数据模型标识存储至预设列表中。
优选的，所述步骤S1请求数据的获取包括：接收用户输入传输的选择指令，依据选择指令选择匹配的计算软件，选择与计算软件相匹配的数据库，从数据库中获取数据。
优选的，所述步骤S3对归类汇总后的数据进行统一清洗，将清洗后的数据进行整理。
优选的，所述步骤S4还包括监控数据异常情况：若出现异常情况，则生成报警信息，并将报警信息存储于信息存储器，其中，报警信息包括：异常数据和异常原因，异常原因包括下述至少一项：数据格式异常和网络异常。
优选的，所述步骤S4对整理后的原始批量数据进行处理中包括处理重启系统，处理重启系统用于在批处理任务执行失败时，根据所述批处理任务的执行失败节点重新启动所述批处理任务。
优选的，所述目标存储容器利用计算软件对预设列表中的参数进行计算，并获取计算结果，将所述计算结果传输至一显示装置进行显示。
本发明中，所述一种基于物联网的数据批量处理方法，将预设列表中的数据转换为目标存储容器可存储的数据格式，将数据写入目标存储容器，可方便对数据进行读取和写入，可以对读取的数据进行灵活的批处理逻辑处理，可以实现各种业务类型的数据批量处理，其提高了数据批量处理的效率。
附图说明
图1为本发明提出的一种基于物联网的数据批量处理方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1，一种基于物联网的数据批量处理方法，包括如下步骤：
S1计算节点接收多个用户的请求数据，并确定与多个请求数据相关的数据汇总存储库；
S2将汇总存储库的中的批量数据转换为预设数据格式，并读取所预设数据格式的原始批量数据；
S3对原始批量数据进行整理，对同一类数据进行归类汇总；
S4对整理后的原始批量数据进行处理，将处理得当的数据存储到预设列表中；
S5将预设列表中的数据进行加密处理，并将加密处理后的数据转换为预设的存储格式中，并将预设的存储格式的数据写入目标存储容器中。
本发明中，步骤S4通过计算节点按照流式处理方式从原始批量数据节点获取批量数据。
本发明中，步骤S4对原始批量数据进行处理具体步骤为：
S1获取原始批量数据，识别获取的原始批量数据类型，得到数据模型类型；
S2然后获取数据模型类型的对应数据模型标识；
S3将数据模型标识存储至预设列表中。
本发明中，步骤S1请求数据的获取包括：接收用户输入传输的选择指令，依据选择指令选择匹配的计算软件，选择与计算软件相匹配的数据库，从数据库中获取数据。
本发明中，步骤S3对归类汇总后的数据进行统一清洗，将清洗后的数据进行整理。
本发明中，步骤S4还包括监控数据异常情况：若出现异常情况，则生成报警信息，并将报警信息存储于信息存储器，其中，报警信息包括：异常数据和异常原因，异常原因包括下述至少一项：数据格式异常和网络异常。
本发明中，步骤S4对整理后的原始批量数据进行处理中包括处理重启系统，处理重启系统用于在批处理任务执行失败时，根据批处理任务的执行失败节点重新启动批处理任务。
本发明中，目标存储容器利用计算软件对预设列表中的参数进行计算，并获取计算结果，将计算结果传输至一显示装置进行显示。
本发明：计算节点接收多个用户的请求数据，并确定与多个请求数据相关的数据汇总存储库；将汇总存储库的中的批量数据转换为预设数据格式，并读取所预设数据格式的原始批量数据；对原始批量数据进行整理，对同一类数据进行归类汇总；对整理后的原始批量数据进行处理，将处理得当的数据存储到预设列表中；将预设列表中的数据进行加密处理，并将加密处理后的数据转换为预设的存储格式中，并将预设的存储格式的数据写入目标存储容器中。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于物联网的数据批量处理方法，其特征在于，包括如下步骤：
S1计算节点接收多个用户的请求数据，并确定与多个请求数据相关的数据汇总存储库；
S2将汇总存储库的中的批量数据转换为预设数据格式，并读取所预设数据格式的原始批量数据；
S3对原始批量数据进行整理，对同一类数据进行归类汇总；
S4对整理后的原始批量数据进行处理，将处理得当的数据存储到预设列表中；
S5将预设列表中的数据进行加密处理，并将加密处理后的数据转换为预设的存储格式中，并将预设的存储格式的数据写入目标存储容器中。
2.根据权利要求1所述的一种基于物联网的数据批量处理方法，其特征在于，所述步骤S4通过计算节点按照流式处理方式从原始批量数据节点获取批量数据。
3.根据权利要求1所述的一种基于物联网的数据批量处理方法，其特征在于，所述步骤S4对原始批量数据进行处理具体步骤为：
S1获取原始批量数据，识别获取的原始批量数据类型，得到数据模型类型；
S2然后获取数据模型类型的对应数据模型标识；
S3将数据模型标识存储至预设列表中。
4.根据权利要求1所述的一种基于物联网的数据批量处理方法，其特征在于，所述步骤S1请求数据的获取包括：接收用户输入传输的选择指令，依据选择指令选择匹配的计算软件，选择与计算软件相匹配的数据库，从数据库中获取数据。
5.根据权利要求1所述的一种基于物联网的数据批量处理方法，其特征在于，所述步骤S3对归类汇总后的数据进行统一清洗，将清洗后的数据进行整理。
6.根据权利要求1所述的一种基于物联网的数据批量处理方法，其特征在于，所述步骤S4还包括监控数据异常情况：若出现异常情况，则生成报警信息，并将报警信息存储于信息存储器，其中，报警信息包括：异常数据和异常原因，异常原因包括下述至少一项：数据格式异常和网络异常。
7.根据权利要求1所述的一种基于物联网的数据批量处理方法，其特征在于，所述步骤S4对整理后的原始批量数据进行处理中包括处理重启系统，处理重启系统用于在批处理任务执行失败时，根据所述批处理任务的执行失败节点重新启动所述批处理任务。
8.根据权利要求1所述的一种基于物联网的数据批量处理方法，其特征在于，所述目标存储容器利用计算软件对预设列表中的参数进行计算，并获取计算结果，将所述计算结果传输至一显示装置进行显示。
CN202110068043.3A 2021-01-19 2021-01-19 一种基于物联网的数据批量处理方法 Pending CN112765216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110068043.3A CN112765216A (zh) 2021-01-19 2021-01-19 一种基于物联网的数据批量处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110068043.3A CN112765216A (zh) 2021-01-19 2021-01-19 一种基于物联网的数据批量处理方法

Publications (1)

Publication Number Publication Date
CN112765216A true CN112765216A (zh) 2021-05-07

Family

ID=75703071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110068043.3A Pending CN112765216A (zh) 2021-01-19 2021-01-19 一种基于物联网的数据批量处理方法

Country Status (1)

Country Link
CN (1) CN112765216A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610797A (zh) * 2022-03-25 2022-06-10 澜途集思生态科技集团有限公司 一种基于流体动力学的数据分布规划方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558440A (zh) * 2018-10-18 2019-04-02 平安科技（深圳）有限公司 数据批量处理方法、装置、计算机设备及存储介质
CN109857791A (zh) * 2018-11-20 2019-06-07 成都材智科技有限公司 一种数据批量处理方法与装置
CN109933363A (zh) * 2017-12-15 2019-06-25 镇江共远软件开发有限公司 大数据软件的管理方法和装置
CN110895490A (zh) * 2019-11-29 2020-03-20 深圳乐信软件技术有限公司 一种数据批量处理系统、方法、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933363A (zh) * 2017-12-15 2019-06-25 镇江共远软件开发有限公司 大数据软件的管理方法和装置
CN109558440A (zh) * 2018-10-18 2019-04-02 平安科技（深圳）有限公司 数据批量处理方法、装置、计算机设备及存储介质
CN109857791A (zh) * 2018-11-20 2019-06-07 成都材智科技有限公司 一种数据批量处理方法与装置
CN110895490A (zh) * 2019-11-29 2020-03-20 深圳乐信软件技术有限公司 一种数据批量处理系统、方法、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
左凤朝, 王文德: "面向对象数据模型的研究", 计算机工程与应用, no. 16 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610797A (zh) * 2022-03-25 2022-06-10 澜途集思生态科技集团有限公司 一种基于流体动力学的数据分布规划方法

Similar Documents

Publication Publication Date Title
CN110928772B (zh) 一种测试方法及装置
CN103513983B (zh) 用于预测性警报阈值确定工具的方法和系统
CN106682097B (zh) 一种处理日志数据的方法和装置
CN108647357B (zh) 数据查询的方法及装置
CN106682213B (zh) 基于Hadoop平台的物联网任务订制方法及系统
CN111339073A (zh) 实时数据处理方法、装置、电子设备及可读存储介质
US11676345B1 (en) Automated adaptive workflows in an extended reality environment
US9424074B1 (en) Method for learning backup policies for large-scale distributed computing
CN106293891B (zh) 多维投资指标监督方法
CN114880240B (zh) 一种物联网设备自动化测试系统、方法、存储介质及设备
CN108052542B (zh) 一种基于presto的数据的多维数据的分析方法
CN112258244B (zh) 确定目标物品所属任务的方法、装置、设备及存储介质
US20210326761A1 (en) Method and System for Uniform Execution of Feature Extraction
CN114238085A (zh) 接口测试方法、装置、计算机设备、存储介质
US9164746B2 (en) Automatic topology extraction and plotting with correlation to real time analytic data
CN112765216A (zh) 一种基于物联网的数据批量处理方法
WO2017167543A1 (en) Multiform persistence abstraction
CN113672497B (zh) 无埋点事件的生成方法、装置、设备及存储介质
CN113220530B (zh) 数据质量监控方法及平台
CN106469086B (zh) 事件处理方法和装置
US7703106B2 (en) Discovering and monitoring process executions
CN111475505B (zh) 一种数据采集的方法及设备
CN113177157B (zh) 标签分离方法、装置、设备及存储介质
CN117891811B (zh) 一种客户数据采集分析方法、装置及云服务器
TW202401344A (zh) 配對分割字詞以檢測裝置內元件正確性之系統及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination