CN105187490A - 一种物联网数据的中转处理方法 - Google Patents

一种物联网数据的中转处理方法 Download PDF

Info

Publication number
CN105187490A
CN105187490A CN201510475375.8A CN201510475375A CN105187490A CN 105187490 A CN105187490 A CN 105187490A CN 201510475375 A CN201510475375 A CN 201510475375A CN 105187490 A CN105187490 A CN 105187490A
Authority
CN
China
Prior art keywords
data
thread
internet
parsing
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510475375.8A
Other languages
English (en)
Other versions
CN105187490B (zh
Inventor
姜立伟
余阳
梁文智
曾昭健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG CTSY ENVIRONMENTAL TECHNOLOGY Co Ltd
Original Assignee
GUANGDONG CTSY ENVIRONMENTAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG CTSY ENVIRONMENTAL TECHNOLOGY Co Ltd filed Critical GUANGDONG CTSY ENVIRONMENTAL TECHNOLOGY Co Ltd
Priority to CN201510475375.8A priority Critical patent/CN105187490B/zh
Publication of CN105187490A publication Critical patent/CN105187490A/zh
Application granted granted Critical
Publication of CN105187490B publication Critical patent/CN105187490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/2871—Implementation details of single intermediate entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/563—Data redirection of data network streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及物联网数据传输处理领域，具体公开了一种物联网数据的中转处理方法，主要包括以下步骤：数据接收步骤，配置有独立的接收线程把接收到的数据存储于临时表中；数据分类步骤，把所述临时表中的数据按照预设的分类分成多类；数据解析步骤，对所述的多类数据配置有独立的多条解析线程且按照预设的解析算法进行数据解析；数据上报步骤，把经过解析的数据上报至平台；通过这样的设计，使得在数据解析阶段有多条数据并列地同步运行，有效地加快数据的中转速度。

Description

一种物联网数据的中转处理方法
技术领域
本发明涉及物联网数据传输领域，具体而言，涉及一种物联网数据的中转处理方法。
背景技术
目前环境问题越来越严峻，需要对各个污染排放企业进行排放源的监控如监控其烟气、废水等各种的含量是否超标，就需要建立一个较大的监控系统进行实时监控。该监控系统的工作流程大致分为：
1)数据采集阶段。各检测探头收集的数据→采集器→经过采集器的分析→存放到采集器本身的数据库；
2)一般数据传输阶段。通过数据上报系统把采集到的各终端数据进行上报→中转服务器→上报至管理平台。
目前的数据上报至中转服务器，在中转服务器内都是一边接收各终端上报的数据的同时，一边进行解析，再将解析好的数据上报至管理平台。但是，目前数据解析之前，没有按照数据类型进行分类，采用单一的线程及单一的数据解析的算法，算法复杂而且数据效率低，出现以下问题：
1)接收下游站点数据过大的时候，解析数据不能跟上接收数据的速度，中转服务器就会出现解析数据超时，甚至堵塞的问题。
2)数据的解析、报送线程还会与数据的接收线程发生资源抢夺，危及数据接收、解析、上报的稳定性。
3)如果数据解析出现错误，因为中转服务器的数据量非常多而且没有分类，数据查询及排查异常将会很麻烦。
4)由于解析算法单一，每当报送的数据类型出现增加、改变、删减等情况的时候，数据解析算法需要更新，否则数据解析出错，影响中转服务器甚至整个监控系统正常运行。
据此，本发明提出了一种物联网数据的中转处理方法，通过将数据按照预设的分类分成多类，针对多类数据设计多种对应的数据解析算法，并配置多条独立并行的解析线程，有效地解决了这些问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。
为此，本发明的一个目的在于，提供一种物联网数据的中转处理方法，通过本发明提供的方法，可以有效地提高中转服务器的处理速度，使得中转服务器在数据的接收与数据的解析上更加地协调。
为实现上述目的，本发明提供了一种物联网数据的中转处理方法，其特征在于，包括：数据接收步骤，配置有独立的接收线程把接收到的数据存储于临时表中；数据分类步骤，把所述临时表中的数据按照预设的分类分成N类；数据解析步骤，对所述N类数据配置独立的P条解析线程且按照预设的解析算法进行数据解析；数据上报步骤，把经过解析的数据上报至平台；其中，所述P大于或等于所述N，所述N为大于1的整数。
根据本发明提供的数据中转处理方法，先把数据存储进临时表，再对临时表的数据进行分成N类，再分配不少于N类数据的P条独立线程，并对每一类数据按照预设的解析算法进行数据解析。由于在数据解析步骤中，分配的线程数量大于或等于分类的数据类型数量，这样就保证了至少每一类数据具有一条独立的解析线程运行，且按照预设的解析算法独立并行地解析，这样就大大地加快了解析步骤的速度，使得解析线程与接收线程更加协调，减少了接收步骤接收的数据过快但解析步骤速度跟不上而发生堵塞的情况。
另外，根据本发明提供的数据中转处理方法还具有如下附加技术特征：
根据本发明的一个实施例，所述解析算法预设有N种，与预设的所述N类数据一一对应。
根据本发明的一个实施例，在所述数据解析步骤中，解析线程执行数据解析任务时，该解析线程状态标记为忙碌；解析线程没有执行数据解析任务或已经完成所分配的数据解析任务时，该解析线程状态标记为空闲；出现一部分解析线程忙碌而另一部分解析线程空闲的时，则将忙碌的解析线程尚未进行解析的数据分配给空闲的解析线程。
根据本发明的一个实施例，所述N等于2，且所述P等于2。
一般情况下，把数据分成2类来配置2条解析线程即可与数据接收线程相协调。
根据本发明的一个实施例，所述接收线程的优先级大于所述解析线程的优先级。
保证了接收线程的优先级大于解析线程的优先级，也就保证了先有接收到数据才进行数据解析。另外也保证了当系统资源不够的时候优先处理接收数据。
根据本发明的一个实施例，所述接收线程的处理速度大于或等于任一条所述解析线程的处理速度；且所述接收线程的处理速度小于或等于P条所述解析线程的处理速度之和。
通过这样的配置，在保证了接收线程的处理速度的同时，有效地防止了解析线程过慢而引起的数据堵塞。
根据本发明的一个实施例，所述解析线程与所述接收线程同步。
通过这样的设置，保证了完整地接收数据后解析线程才工作，防止资源争夺的情况。
根据本发明的一个实施例，所述数据接收步骤所接收到的数据来自M个终端装置；所述数据解析步骤还包括把所述经过解释的数据分别存储到M个数据存储表；所述的M个数据存储表与所述M个终端装置一一对应。
由于数据接收步骤所接收的数据可能来自多个终端，如果只把所有的数据都存储在一个表里，在对中转服务器进行查询的时候就会变得很慢，通过这样的设计，使得数据存储表与终端装置相对应，有效地加快了中转服务器的数据查询。
根据本发明的一个实施例，所述的M为大于或等于1的整数。
根据本发明的一个实施例，所述数据解析步骤还包括把解析失败的数据存储到异常数据存放表。
通过把解析失败的数据存储进异常数据存放表，更有利于以后数据的查询和补充。
本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是现有的物联网数据中转处理步骤图；
图2是本发明的物联网数据中转处理步骤图；
图3是根据本发明一实施例所述的物联网数据中转处理流程图；
图4是根据本发明另一实施例所述的物联网数据中转处理流程图；
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
下面参照附图1至附图4描述本发明一些实施例提供的物联网数据中转处理方法。
图2是本发明的数据中转处理方法，与图1所示的现有的技术相比，增加了对接收数据的分类步骤，再对接收的数据配置多条线程按照预设的解析算法来做解析处理。具体的方法包括：数据接收步骤，配置有独立的接收线程把接收到的数据存储于临时表中；数据分类步骤，把所述临时表中的数据按照预设的分类分成多类，比如4类(也就是N等于4)；数据解析步骤，对所述4类数据配置独立的5条解析线程(也就是P等于5)按照预设的解析算法进行数据解析；数据上报步骤，把经过解析的数据上报至平台。由于把需要解析的数据分成了4份，这样就保证了每一份都能得到独立的解析线程对接收到的数据进行解析，有效地减少了解析步骤过慢引发的数据堵塞的问题。对于数据上报步骤，可以使用独立的线程把经过解析的4类数据汇总后再上报，当然也可以继续采用原来的4条线程，通过这4条线程把数据解析完后接着马上上报。
优选地，所述解析算法预设有N种，与预设的所述N类数据一一对应。这样可以保证每一类数据具有最适合的解析算法，大大地加快了数据解析的速度。需要说明的是，预设的解析算法可以比需要解析的数据类型多，这样可以在数据类型发生增减时，不用频繁地修改算法。
进一步地，在所述数据解析步骤中，解析线程执行数据解析任务时，该解析线程状态标记为忙碌；解析线程没有执行数据解析任务或已经完成所分配的数据解析任务时，该解析线程状态标记为空闲；出现一部分解析线程忙碌而另一部分解析线程空闲的时，则将忙碌的解析线程尚未进行解析的数据分配给空闲的解析线程。比如把数据分成了10类，同时也开通了10条解析线程，其中的2条线程处理的数据较少，很快就把收到的数据解析完了，这时系统就会统计尚未完成的解析的数据，然后随机地或者按照一定顺序地分配给最先完成工作的2条解析线程，使得10条解析线程都处于忙碌状态。也就是保证了空闲的线程都处于忙碌的状态，最大地利用系统资源，有效地加快数据的解析。
进一步地，预设把数据分成2类，也就是预设N等于2，P也等于2，如图3所示。
一般情况下，把数据分成2类配置2条解析线程即可与数据接收线程相协调。根据国家环保局所发布的行业标准(HJ/T212-2005)，对读取的终端数据，要求分成两类：30秒实时数据和5分钟历史数据，把数据分成两类需要符合这个行业的标准。对终端的数据进行分类解析后，把解析后的数据上报至监控平台，同时也按照分类把数据存储进数据存放表，以备日后查询。
进一步地，接收线程的优先级大于解析线程的优先级。这样，接收线程有更高的利用系统资源的优先级，也就保证了先有接收到数据才进行数据解析。
进一步地，接收线程的处理速度大于或等于任一条解析线程的处理速度；且所述接收线程的处理速度小于或等于P条所述解析线程的处理速度之和。通过这样的配置，在保证了接收线程的处理速度的同时，有效地防止了解析线程过慢而引起的数据堵塞。例如预设地把数据分成了N类(如分成A、B、C、D，这4类)，当在最坏的情况下，接收到的数据全都属于A类的，这时接收线程的处理速度与解析A类数据的线程的处理速度相等；当在最好的情况下，接收了4个数据，这4个数据分别是属于A、B、C、D这4类的，这时接收线程的处理速度与这4个解析线程的处理速度之和相等。通过这样来分配系统资源，有效地提高了系统资源的利用效率和接收解析数据的速度。
进一步地，解析线程与接收线程同步。通过这样的设置，保证了完整地接收数据后解析线程才工作，有效地避免的系统资源争夺的情况。
根据本发明的另一个实施例，数据接收步骤所接收到的数据会至少来自1个以上的终端装置，对于中转服务器来说，接收来自多个终端的数据是中转服务器的基本要求；在数据解析步骤，根据数据包的字节信息，建立与M个终端相对应的M个数据存储表，然后把所述经过解释的数据按照上面所说的N个分类分别存储到这M个数据存储表，具体如图4所示。比如，来自烟气监测设备的30秒实时数据就存放进烟气监测数据存储表的30秒数据存放表。这样就相当于在中转服务器上做了备份，而且备份的数据存储表是按照终端设备的类型建立的，这样就相当于给备份的数据表做了索引，当需要查询某个设备的某类信息时，通过这样的设置可以有效地加快了查询的速度。
进一步地，所述数据解析步骤还包括把解析失败的数据存储到异常数据存放表。通过把解析失败的数据存储进异常数据存放表，更有利于以后数据的查询和补充。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种物联网数据的中转处理方法，其特征在于，包括：
数据接收步骤，配置有独立的接收线程把接收到的数据存储于临时表中；
数据分类步骤，把所述临时表中的数据按照预设的分类分成N类；
数据解析步骤，对所述N类数据配置独立的P条解析线程且按照预设的解析算法进行数据解析；
数据上报步骤，把经过解析的数据上报至平台；
其中，所述P大于或等于所述N，所述N为大于1的整数。
2.根据权利要求1所述物联网数据的中转处理方法，其特征在于，
所述解析算法预设有N种，与预设的所述N类数据一一对应。
3.根据权利要求1所述物联网数据的中转处理方法，其特征在于，
在所述数据解析步骤中，解析线程执行数据解析任务时，该解析线程状态标记为忙碌；解析线程没有执行数据解析任务或已经完成所分配的数据解析任务时，该解析线程状态标记为空闲；出现一部分解析线程忙碌而另一部分解析线程空闲的时，则将忙碌的解析线程尚未进行解析的数据分配给空闲的解析线程。
4.根据权利要求1所述物联网数据的中转处理方法，其特征在于，
所述N等于2，且所述P等于2。
5.根据权利要求1至4任一项所述物联网数据的中转处理方法，其特征在于，
所述接收线程的优先级大于所述解析线程的优先级。
6.根据权利要求5所述物联网数据的中转处理方法，其特征在于，
所述接收线程的处理速度大于或等于任一条所述解析线程的处理速度；
且所述接收线程的处理速度小于或等于P条所述解析线程的处理速度之和。
7.根据权利要求5所述物联网数据的中转处理方法，其特征在于，
所述解析线程与所述接收线程同步。
8.根据权利要求1所述物联网数据的中转处理方法，其特征在于，
所述数据接收步骤所接收到的数据来自M个终端装置；
所述数据解析步骤还包括把所述经过解释的数据分别存储到M个数据存储表；
所述的M个数据存储表与所述M个终端装置一一对应。
9.根据权利要求8所述物联网数据的中转处理方法，其特征在于，
所述的M为大于或等于1的整数。
10.根据权利要求1所述物联网数据的中转处理方法，其特征在于，
所述数据解析步骤还包括把解析失败的数据存储到异常数据存放表。
CN201510475375.8A 2015-08-05 2015-08-05 一种物联网数据的中转处理方法 Active CN105187490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510475375.8A CN105187490B (zh) 2015-08-05 2015-08-05 一种物联网数据的中转处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510475375.8A CN105187490B (zh) 2015-08-05 2015-08-05 一种物联网数据的中转处理方法

Publications (2)

Publication Number Publication Date
CN105187490A true CN105187490A (zh) 2015-12-23
CN105187490B CN105187490B (zh) 2019-01-04

Family

ID=54909330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510475375.8A Active CN105187490B (zh) 2015-08-05 2015-08-05 一种物联网数据的中转处理方法

Country Status (1)

Country Link
CN (1) CN105187490B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202191A (zh) * 2016-06-28 2016-12-07 成都启源电子信息技术有限公司 工业联网数据转换平台
CN106529195A (zh) * 2016-12-02 2017-03-22 郑州云海信息技术有限公司 一种数据采集解析方法及装置
CN114979122A (zh) * 2022-05-31 2022-08-30 冀锋 基于工业互联网的大数据存储速率优化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223731A (zh) * 2010-04-19 2011-10-19 中兴通讯股份有限公司 一种物联网中兼容多种终端的接口设备及实现方法
CN202309736U (zh) * 2011-10-25 2012-07-04 康才畯 一种物联网智能终端
CN102769608A (zh) * 2012-02-28 2012-11-07 重庆和航科技股份有限公司 物联网协议转换系统及转换方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223731A (zh) * 2010-04-19 2011-10-19 中兴通讯股份有限公司 一种物联网中兼容多种终端的接口设备及实现方法
CN202309736U (zh) * 2011-10-25 2012-07-04 康才畯 一种物联网智能终端
CN102769608A (zh) * 2012-02-28 2012-11-07 重庆和航科技股份有限公司 物联网协议转换系统及转换方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202191A (zh) * 2016-06-28 2016-12-07 成都启源电子信息技术有限公司 工业联网数据转换平台
CN106529195A (zh) * 2016-12-02 2017-03-22 郑州云海信息技术有限公司 一种数据采集解析方法及装置
CN114979122A (zh) * 2022-05-31 2022-08-30 冀锋 基于工业互联网的大数据存储速率优化方法

Also Published As

Publication number Publication date
CN105187490B (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN107332876B (zh) 区块链状态的同步方法及装置
CN103678609B (zh) 一种基于分布式关系‑对象映射处理的大数据查询的方法
CN105631026A (zh) 一种安全数据分析系统
CN102479113A (zh) 异常自适应处理方法及系统
CN114363042B (zh) 日志分析方法、装置、设备及可读存储介质
CN106936620B (zh) 一种告警事件的处理方法和处理装置
CN107403005A (zh) 一种网站监控方法及装置
CN110058940B (zh) 一种多线程环境下的数据处理方法及装置
CN103401698A (zh) 用于服务器集群运算中对服务器状况报警的监控系统
CN104618304A (zh) 数据处理方法及数据处理系统
CN110955704A (zh) 一种数据管理方法、装置、设备及存储介质
CN103716384A (zh) 跨数据中心实现云存储数据同步的方法和装置
CN105187490A (zh) 一种物联网数据的中转处理方法
CN111858722A (zh) 一种基于物联网的大数据应用系统及方法
CN102915344A (zh) 一种sql语句处理方法及装置
CN109768878B (zh) 一种基于大数据的网络工单计算方法及装置
CN103440302B (zh) 实时数据交换的方法和系统
CN117056303B (zh) 适用于军事行动大数据的数据存储方法及装置
CN105426544A (zh) 监控数据库状态的方法及装置
CN102769495B (zh) 一种光纤接入网设备通信方法、装置及系统
CN117370314A (zh) 一种分布式数据库系统协同优化、数据处理系统及方法
CN112631754A (zh) 数据处理方法、装置、存储介质及电子装置
CN110609761B (zh) 确定故障源的方法、装置、存储介质和电子设备
CN111143651A (zh) 一种新媒体一体化运营管理用数据采集分析系统
CN109962936B (zh) 异构数据同步方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant