CN112527882A - 一种物联设备数据采集方法及装置 - Google Patents

一种物联设备数据采集方法及装置 Download PDF

Info

Publication number
CN112527882A
CN112527882A CN202011490845.5A CN202011490845A CN112527882A CN 112527882 A CN112527882 A CN 112527882A CN 202011490845 A CN202011490845 A CN 202011490845A CN 112527882 A CN112527882 A CN 112527882A
Authority
CN
China
Prior art keywords
data
internet
format
service
field mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011490845.5A
Other languages
English (en)
Inventor
盛伦兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuyi Data Technology Co ltd
Original Assignee
Shanghai Shuyi Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shuyi Data Technology Co ltd filed Critical Shanghai Shuyi Data Technology Co ltd
Priority to CN202011490845.5A priority Critical patent/CN112527882A/zh
Publication of CN112527882A publication Critical patent/CN112527882A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种物联设备数据采集方法及装置，包括如下步骤：将全部数据进行分类；在一个服务中启动与数据类别数对应的任务数进行数据采集；对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式；对统一格式后的数据进行存储分发。本发明提供的物联设备数据采集方法及设备，整合不同的数据传输方式，将服务级别从进程级降到线程级；可以应对物联网方面不同的业务需求，提供批次服务、微批次服务、流服务；提供数据格式转换功能，统一不同厂商同一业务类型的数据格式；集数据采集、映射、落地于一身。

Description

一种物联设备数据采集方法及装置
技术领域
本发明涉及物联网技术领域，尤其涉及一种物联设备数据采集方法及装置。
背景技术
物联网是新一代信息技术的重要组成部分，IT行业又叫：泛互联，意指物物相连，万物万联。由此，“物联网就是物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。因此，物联网的定义是通过射频识别、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现对物品的智能化识别、定位、跟踪、监控和管理的一种网络。
随着物联网的发展，海量物联设备的数据采集是每一个物联网相关公司都需要面对的问题。面对多家不同的硬件厂商，其数据传输方式各有不同，数据的采集需要针对厂商做特殊的数据开发，即使传输的方式一样，数据格式也不尽相同，通用性弱，任务管理困难。
发明内容
本发明为解决现有的各物联设备数据传输不同导致不同设备数据采集需单独开发，且数据格式不同、通用性若的问题，所采用的技术方案是：一方面，发明提供了一种物联设备数据采集方法，包括如下步骤：
将全部数据进行分类；
在一个服务中启动与数据类别数对应的任务数进行数据采集；
对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式；
对统一格式后的数据进行存储分发。
进一步改进为，所述的将全部数据进行分类，包括：
将全部数据分为周期全量、周期增量和实时流数据三种类别。
进一步改进为，所述的对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式，包括：
对于周期增量类数据进行数据拍平后进行字段映射。
另一方面，本发明提供了一种物联设备数据采集装置，包括：
用于将全部数据进行分类的模块；
用于在一个服务中启动与数据类别数对应的任务数进行数据采集的模块；
用于对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式的模块；
用于对统一格式后的数据进行存储分发的模块。
进一步改进为，所述用于将全部数据进行分类的模块，将全部数据分为周期全量、周期增量和实时流数据三种类别。
进一步改进为，所述用于对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式的模块，对周期增量类数据进行数据拍平后进行字段映射。
再一方面，本发明还提供了一种物联设备数据采集装置，包括：一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：
将全部数据进行分类；
在一个服务中启动与数据类别数对应的任务数进行数据采集；
对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式；
对统一格式后的数据进行存储分发。
再一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质包含计算机可执行的程序，所述程序可被处理器执行以完成以下步骤：
将全部数据进行分类；
在一个服务中启动与数据类别数对应的任务数进行数据采集；
对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式；
对统一格式后的数据进行存储分发。
本发明的有益效果是：
本发明提供的物联设备数据采集方法及装置，整合不同的数据传输方式，将服务级别从进程级降到线程级；可以应对物联网方面不同的业务需求，提供批次服务、微批次服务、流服务；提供数据格式转换功能，统一不同厂商同一业务类型的数据格式；集数据采集、映射、落地于一身。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的物联设备数据采集方法优选流程示意图。
具体实施方式
为了使本申请所揭示的技术内容更加详尽与完备，可参照附图以及本申请的下述各种具体实施例，附图中相同的标记代表相同或相似的组件。然而，本领域的普通技术人员应当理解，下文中所提供的实施例并非用来限制本申请所涵盖的范围。此外，附图仅仅用于示意性地加以说明，并未依照其原尺寸进行绘制。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的子单元或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁硬盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
如图1所示，一方面，发明提供了一种物联设备数据采集方法，包括如下步骤：
S01，将全部数据进行分类；
S02，在一个服务中启动与数据类别数对应的任务数进行数据采集；
S03，对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式；
S04，对统一格式后的数据进行存储分发。
进一步改进为，所述的将全部数据进行分类，包括：
将全部数据分为周期全量、周期增量和实时流数据三种类别。
物联设备的数据传输方式包括：restful、webservice、基于jdbc、基于opc协议、基于mqtt协议、基于modbus协议等
周期全量：以基于jdbc的方式举例，周期全量可以周期性的抽取某个远程数据中的表数据。
周期增量：以restful举例，因为对于物联网相关的信息，一般都和时序相关，目前该方案中只针对时间维度的增量，配置开始时间和结束时间，周期发送请求，每次请求变化开始时间和结束时间，拉取数据。
实时数据流：以mqtt举例，该方案通过订阅mqtt服务的topic信息，实时接收数据。
进一步改进为，所述的对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式，包括：
对于周期增量类数据进行数据拍平后进行字段映射。
对于jdbc抽取过来的关系型数据库数据可以直接做映射操作，对于restful等方式抽取的数据可能是嵌套的json格式，对于这种情况，本方案采集json拍平的方式，提供映射功能。
数据抽取过来，需要有个落地的过程，本方案提供不同落地源的功能，可选择性的存储在不同的地方。
本方案中对于容错性也加以考虑，对于周期全量的采集方式，本身具备容错，上次数据采集中途失败，不影响下一次的数据采集。对于周期增量，保存数据的最大时间戳，上次抽取数据中途失败，下次采集的时候，会使用更新的最新的时间戳作为开始时间，保证数据不重复。对于流式，不同的数据源头，会有不同的容错效果，对于之前的数据，如果数据源端没有保存，次方案是采集不到的。对于有保存的情况，是可以保证容错的(比如：kafka)。
另一方面，本发明提供了一种物联设备数据采集装置，包括：
用于将全部数据进行分类的模块；
用于在一个服务中启动与数据类别数对应的任务数进行数据采集的模块；
用于对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式的模块；
用于对统一格式后的数据进行存储分发的模块。
进一步改进为，所述用于将全部数据进行分类的模块，将全部数据分为周期全量、周期增量和实时流数据三种类别。
进一步改进为，所述用于对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式的模块，对周期增量类数据进行数据拍平后进行字段映射。
再一方面，本发明还提供了一种物联设备数据采集装置，包括：一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：
将全部数据进行分类；
在一个服务中启动与数据类别数对应的任务数进行数据采集；
对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式；
对统一格式后的数据进行存储分发。
再一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质包含计算机可执行的程序，所述程序可被处理器执行以完成以下步骤：
将全部数据进行分类；
在一个服务中启动与数据类别数对应的任务数进行数据采集；
对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式；
对统一格式后的数据进行存储分发。
本发明提供的物联设备数据采集方法及装置，整合不同的数据传输方式，将服务级别从进程级降到线程级；可以应对物联网方面不同的业务需求，提供批次服务、微批次服务、流服务；提供数据格式转换功能，统一不同厂商同一业务类型的数据格式；集数据采集、映射、落地于一身。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (8)

1.一种物联设备数据采集方法，其特征在于，包括如下步骤：
将全部数据进行分类；
在一个服务中启动与数据类别数对应的任务数进行数据采集；
对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式；
对统一格式后的数据进行存储分发。
2.根据权利要求1所述的物联设备数据采集方法，其特征在于，所述的将全部数据进行分类，包括：
将全部数据分为周期全量、周期增量和实时流数据三种类别。
3.根据权利要求1所述的物联设备数据采集方法，其特征在于，所述的对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式，包括：
对于周期增量类数据进行数据拍平后进行字段映射。
4.一种物联设备数据采集装置，其特征在于，包括：
用于将全部数据进行分类的模块；
用于在一个服务中启动与数据类别数对应的任务数进行数据采集的模块；
用于对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式的模块；
用于对统一格式后的数据进行存储分发的模块。
5.根据权利要求4所述的物联设备数据采集装置，其特征在于，所述用于将全部数据进行分类的模块，将全部数据分为周期全量、周期增量和实时流数据三种类别。
6.根据权利要求4所述的物联设备数据采集装置，其特征在于，所述用于对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式的模块，对周期增量类数据进行数据拍平后进行字段映射。
7.一种物联设备数据采集装置，其特征在于，包括：一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：
将全部数据进行分类；
在一个服务中启动与数据类别数对应的任务数进行数据采集；
对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式；
对统一格式后的数据进行存储分发。
8.一种计算机可读存储介质，所述计算机可读存储介质包含计算机可执行的程序，所述程序可被处理器执行以完成以下步骤：
将全部数据进行分类；
在一个服务中启动与数据类别数对应的任务数进行数据采集；
对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式；
对统一格式后的数据进行存储分发。
CN202011490845.5A 2020-12-17 2020-12-17 一种物联设备数据采集方法及装置 Pending CN112527882A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011490845.5A CN112527882A (zh) 2020-12-17 2020-12-17 一种物联设备数据采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011490845.5A CN112527882A (zh) 2020-12-17 2020-12-17 一种物联设备数据采集方法及装置

Publications (1)

Publication Number Publication Date
CN112527882A true CN112527882A (zh) 2021-03-19

Family

ID=75001120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011490845.5A Pending CN112527882A (zh) 2020-12-17 2020-12-17 一种物联设备数据采集方法及装置

Country Status (1)

Country Link
CN (1) CN112527882A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116980483A (zh) * 2023-07-24 2023-10-31 深圳市微能信息科技有限公司 一种消防物联网数据接入方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2321635A1 (en) * 1998-02-27 1999-09-02 Mci Worldcom, Inc. Meta data processor for converting performance data into a generic format
US20130304724A1 (en) * 2012-05-09 2013-11-14 Sap Ag Data Relations and Queries Across Distributed Data Sources
CN106407380A (zh) * 2016-09-13 2017-02-15 国家电网公司 一种基于数据源的大数据采集方法
CN106777110A (zh) * 2016-12-15 2017-05-31 武汉邮电科学研究院 一种智慧城市大数据整合系统及方法
CN106846065A (zh) * 2017-02-07 2017-06-13 咪咕互动娱乐有限公司 一种数据处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2321635A1 (en) * 1998-02-27 1999-09-02 Mci Worldcom, Inc. Meta data processor for converting performance data into a generic format
US20130304724A1 (en) * 2012-05-09 2013-11-14 Sap Ag Data Relations and Queries Across Distributed Data Sources
CN106407380A (zh) * 2016-09-13 2017-02-15 国家电网公司 一种基于数据源的大数据采集方法
CN106777110A (zh) * 2016-12-15 2017-05-31 武汉邮电科学研究院 一种智慧城市大数据整合系统及方法
CN106846065A (zh) * 2017-02-07 2017-06-13 咪咕互动娱乐有限公司 一种数据处理方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116980483A (zh) * 2023-07-24 2023-10-31 深圳市微能信息科技有限公司 一种消防物联网数据接入方法及系统

Similar Documents

Publication Publication Date Title
AU2017202952B2 (en) System for linking diverse data systems
AU2019295818A1 (en) Block chain-based data processing method and device
CN107846321B (zh) 一种接口的监控方法、装置及电子设备
CN103309928B (zh) 存储和检索数据的方法和系统
CN104809650A (zh) 一种异构感知数据的动态适配接入方法
CN111400288A (zh) 数据质量检查方法及系统
CN111950857A (zh) 基于业务指标的指标体系管理方法、装置以及电子设备
CN112152874A (zh) 分布式系统中应用监控数据的采集与分析系统及方法
CN111061802B (zh) 一种电力数据管理处理方法、装置及存储介质
WO2008154571A1 (en) Integration of data records to a geographical information system
CN112527882A (zh) 一种物联设备数据采集方法及装置
CN111857981A (zh) 一种数据处理方法以及装置
CN110377588A (zh) 一种数据库对象访问监测方法、服务器及终端
CN116595096A (zh) 一种基于湖仓一体的元数据同步方法、装置、设备及介质
CN113204592B (zh) 物联网场景下的数据处理方法、系统、装置及存储介质
Praschl et al. A comparison of relational, NoSQL and NewSQL database management systems for the persistence of time series data
CN115470189A (zh) 一种数据查询方法、装置及可读存储介质
CN106407345B (zh) 一种脏数据更新方法及装置
CN112860292A (zh) 一种基于应用的配置管理方法及装置
CN103309929A (zh) 存储和检索数据的方法和系统
CN114500036A (zh) 一种传输数据的方法、装置以及介质
CN109902067B (zh) 文件处理方法、装置、存储介质及计算机设备
CN112905611A (zh) 基于区块链的信用证数据线下同步方法、存储方法和装置
CN112445811A (zh) 基于sql配置的数据服务方法、装置、存储介质及组件
CN112783828B (zh) Igs文件处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210319