CN108650292A - 一种物联网设备报文的可快速定位查询的存储方法 - Google Patents

一种物联网设备报文的可快速定位查询的存储方法 Download PDF

Info

Publication number
CN108650292A
CN108650292A CN201810260669.2A CN201810260669A CN108650292A CN 108650292 A CN108650292 A CN 108650292A CN 201810260669 A CN201810260669 A CN 201810260669A CN 108650292 A CN108650292 A CN 108650292A
Authority
CN
China
Prior art keywords
storage
data
internet
message
locating query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810260669.2A
Other languages
English (en)
Inventor
张震
张皓
罗洪
张明波
钟伟
黄川�
李金红
秦伟
廖剑锋
巨鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Qi (chengdu) Science And Technology Co Ltd
Original Assignee
Ji Qi (chengdu) Science And Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Qi (chengdu) Science And Technology Co Ltd filed Critical Ji Qi (chengdu) Science And Technology Co Ltd
Priority to CN201810260669.2A priority Critical patent/CN108650292A/zh
Publication of CN108650292A publication Critical patent/CN108650292A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种物联网设备报文的可快速定位查询的存储方法，包括以下步骤：A、报文数据的存储；B、提供友好的界面；C、存储方案的考虑；D、存储方案的选择；E、快速定位查询，本发明的存储方案成本廉价、分布式数据存储性能可靠高效、查询速度块；能够提供友好的界面方便快速查询，省时省力，视觉效果突出。

Description

一种物联网设备报文的可快速定位查询的存储方法
技术领域
本发明涉及物流管理技术领域，具体为一种物联网设备报文的可快速定位查询的存储方法。
背景技术
物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段。顾名思义，物联网就是物物相连的互联网。这有两层意思：其一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；其二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，也就是物物相息。物联网通过智能感知、识别技术与普适计算等通信感知技术，广泛应用于网络的融合中，也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。物联网是互联网的应用拓展，与其说物联网是网络，不如说物联网是业务和应用。因此，应用创新是物联网发展的核心，以用户体验为核心的创新2.0是物联网发展的灵魂。
物流是物品从供应地向接收地的实体流动过程中，根据实际需要，将运输、储存、装卸、搬运、包装、流通加工、配送、信息处理等功能有机结合起来实现用户要求的过程；物流管理是指在社会生产过程中，根据物质资料实体流动的规律，应用管理的基本原理和科学方法，对物流活动进行计划、组织、指挥、协调、控制和监督，使各项物流活动实现最佳的协调与配合，以降低物流成本，提高物流效率和经济效益。现代物流管理是建立在系统论、信息论和控制论的基础上的。
物联网的物流运输管理领域内没有对大量设备报文数据作合适的存储并提供快速查询的方案。
发明内容
本发明的目的在于提供一种物联网设备报文的可快速定位查询的存储方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种物联网设备报文的可快速定位查询的存储方法,包括以下步骤：
A、报文数据的存储；
B、提供友好的界面：保证了数据的存储，将查询报文数据形成界面化，方便研发人员简单操作就可以查询具体设备的时间段内的报文数据，达到快速定位的功能；
C、存储方案的考虑；
D、存储方案的选择；
E、快速定位查询。
优选的，所述步骤C中存储方案采用当前流行的大数据体系的Hadoop Hbase，Hadoop Hbase存储海量数据，可以自动切分数据，使得数据存储自动具有水平scalability，还可以提供高并发读写操作，存储所需的硬盘也可以是很廉价的普通硬盘，保证了存储成本可控制。
优选的，所述步骤E中数据存储采用Hbase，为了满足快速的查询，Hbase可以根据rowkey进行查询；其中，基于单个rowkey查询，可以按照具体的rowkey键值进行get操作；通过rowkey的range进行scan，即通过设置startRowKey和endRowKey，在这个范围内进行扫描，这样可以按指定的条件获取一批记录。
与现有技术相比，本发明的有益效果是：本发明的存储方案成本廉价、分布式数据存储性能可靠高效、查询速度块；能够提供友好的界面方便快速查询，省时省力，视觉效果突出。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供如下技术方案：一种物联网设备报文的可快速定位查询的存储方法,包括以下步骤：
A、报文数据的存储：设备报文的数据是时时刻刻都在产生的，那么对于海量的数据，合适的存储就意味着既要保证高可用、数据稳定，也要保证存储成本控制。为了提供高效快速的查询，将数据落盘以保证数据稳定可用，对存储性能要求极高。
B、提供友好的界面：保证了数据的存储，将查询报文数据形成界面化，方便研发人员简单操作就可以查询具体设备的时间段内的报文数据，达到快速定位的功能；
C、存储方案的考虑：物联网设备时时刻刻均在产生数据，设备数量巨大，产生的设备报文数据总量可以达到海量数据的范畴，合适的数据存储显示很重要。我们考虑了常见的关系型数据库比如：MySQL，以及当前流行的大数据体系的Hadoop Hbase；对于MySQL，是很常见的关系型数据库，对SQL支持很友好，利于查询。不过，对于增长量很快的设备报文数据，MySQL无法随意扩展其容量，并不适合作为海量数据的存储。而且，MySQL一般用来存储不大数据量，尤其是它的单表数据量超过1亿条的时候，那么对于SQL查询来说是不能接受的。实际上，硬件设备的报文数据超过1亿条是很容易达到的。存储方案采用当前流行的大数据体系的Hadoop Hbase，Hadoop Hbase存储海量数据，可以自动切分数据，使得数据存储自动具有水平scalability，还可以提供高并发读写操作，存储所需的硬盘也可以是很廉价的普通硬盘，保证了存储成本可控制。
D、存储方案的选择：考虑了两种存储数据库，综合存储成本、数据量增长、查询性能来看，Hbase更合适设备报文数据的存储。
E、快速定位查询：数据存储采用Hbase，为了满足快速的查询，Hbase可以根据rowkey进行查询，这种查询速度相当快。基于单个rowkey查询，可以按照具体的rowkey键值进行get操作；通过rowkey的range进行scan，即通过设置startRowKey和endRowKey，在这个范围内进行扫描，这样可以按指定的条件获取一批记录。这两种方式可以满足常见的查询，为了更加友好的方便操作，实现界面化查询是必要的，这样研发人员不需要花费过多时间，仅仅在界面上给出设备号、查询时间等条件就可以查询到具体设备的报文数据，达到快速定位查询的效果。
本发明的存储方案成本廉价、分布式数据存储性能可靠高效、查询速度块；能够提供友好的界面方便快速查询，省时省力，视觉效果突出。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种物联网设备报文的可快速定位查询的存储方法,其特征在于：包括以下步骤：
A、报文数据的存储；
B、提供友好的界面：保证了数据的存储，将查询报文数据形成界面化，方便研发人员简单操作就可以查询具体设备的时间段内的报文数据，达到快速定位的功能；
C、存储方案的考虑；
D、存储方案的选择；
E、快速定位查询。
2.根据权利要求1所述的一种物联网设备报文的可快速定位查询的存储方法,其特征在于：所述步骤C中存储方案采用当前流行的大数据体系的Hadoop Hbase，Hadoop Hbase存储海量数据，可以自动切分数据，使得数据存储自动具有水平scalability，还可以提供高并发读写操作，存储所需的硬盘也可以是很廉价的普通硬盘，保证了存储成本可控制。
3.根据权利要求1所述的一种物联网设备报文的可快速定位查询的存储方法,其特征在于：所述步骤E中数据存储采用Hbase，为了满足快速的查询，Hbase可以根据rowkey进行查询；其中，基于单个rowkey查询，可以按照具体的rowkey键值进行get操作；通过rowkey的range进行scan，即通过设置startRowKey和endRowKey，在这个范围内进行扫描，这样可以按指定的条件获取一批记录。
CN201810260669.2A 2018-03-27 2018-03-27 一种物联网设备报文的可快速定位查询的存储方法 Pending CN108650292A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810260669.2A CN108650292A (zh) 2018-03-27 2018-03-27 一种物联网设备报文的可快速定位查询的存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810260669.2A CN108650292A (zh) 2018-03-27 2018-03-27 一种物联网设备报文的可快速定位查询的存储方法

Publications (1)

Publication Number Publication Date
CN108650292A true CN108650292A (zh) 2018-10-12

Family

ID=63744900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810260669.2A Pending CN108650292A (zh) 2018-03-27 2018-03-27 一种物联网设备报文的可快速定位查询的存储方法

Country Status (1)

Country Link
CN (1) CN108650292A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023970A (zh) * 2012-11-15 2013-04-03 中国科学院计算机网络信息中心 一种物联网海量数据存储方法及系统
US20130185337A1 (en) * 2012-01-18 2013-07-18 Cloudera, Inc. Memory allocation buffer for reduction of heap fragmentation
CN104699718A (zh) * 2013-12-10 2015-06-10 阿里巴巴集团控股有限公司 用于快速引入业务数据的方法和装置
CN105426442A (zh) * 2015-11-06 2016-03-23 努比亚技术有限公司 一种基于分布式数据库消息数据管理方法及系统
CN106227899A (zh) * 2016-08-31 2016-12-14 北京京航计算通讯研究所 一种面向物联网大数据的存储和查询方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130185337A1 (en) * 2012-01-18 2013-07-18 Cloudera, Inc. Memory allocation buffer for reduction of heap fragmentation
CN103023970A (zh) * 2012-11-15 2013-04-03 中国科学院计算机网络信息中心 一种物联网海量数据存储方法及系统
CN104699718A (zh) * 2013-12-10 2015-06-10 阿里巴巴集团控股有限公司 用于快速引入业务数据的方法和装置
CN105426442A (zh) * 2015-11-06 2016-03-23 努比亚技术有限公司 一种基于分布式数据库消息数据管理方法及系统
CN106227899A (zh) * 2016-08-31 2016-12-14 北京京航计算通讯研究所 一种面向物联网大数据的存储和查询方法

Similar Documents

Publication Publication Date Title
CN105096083B (zh) 一种用于仓库的信息系统
CN109636135B (zh) 一种基于共享的数字供应链管理系统
CN103530755B (zh) 一种基于位置的无线盘点系统及方法
CN101286216A (zh) 基于rfid技术的资产管理方法及系统
Li et al. A RFID-based intelligent warehouse management system design and implementation
CN105741072A (zh) 大型实验室中仪器设备的智能管理系统和智能管理方法
CN110334911A (zh) 一种生产线管理方法及系统
CN113095787A (zh) 一种基于人工智能的电力物资自动管理系统
US11164147B2 (en) Computer storage system for generating warehouse management orders
CN112527261A (zh) 一款界面简单直观且易操作的仓库管理软件
CN104572867A (zh) 一种基于Oracle的数据处理方法
CN206451194U (zh) 一种仓储货品定位装置
CN109697488A (zh) 一种面向供应链管理的rfid物联网应用系统与方法
CN108650292A (zh) 一种物联网设备报文的可快速定位查询的存储方法
CN203012788U (zh) 一种智能仓储控制系统
Sharma et al. Enhancing business intelligence using data warehousing: A Multi Case Analysis
CN106204310A (zh) 基于物联网的现代农业科技孵化发展系统
Yong et al. An improved particle swarm optimization algorithm in selection of e-commerce distribution center
CN205103874U (zh) 一种智能仓储物流系统
CN108805482A (zh) 企业库存物料资源在线管理方法
CN105844393A (zh) 一种企业孵化服务网络管理系统
CN204557557U (zh) 小麦加工精益管控系统
CN206075338U (zh) 一种基于物联网的智能仓储管理系统
CN216310837U (zh) 一种基于ar二维码扫描的物资溯源系统
CN111062656A (zh) 一种改进型集成oms系统模块

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181012

RJ01 Rejection of invention patent application after publication