CN113691638B - 物联网终端数据管控方法及系统 - Google Patents

物联网终端数据管控方法及系统 Download PDF

Info

Publication number
CN113691638B
CN113691638B CN202111245633.5A CN202111245633A CN113691638B CN 113691638 B CN113691638 B CN 113691638B CN 202111245633 A CN202111245633 A CN 202111245633A CN 113691638 B CN113691638 B CN 113691638B
Authority
CN
China
Prior art keywords
data
terminal
data processing
time
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111245633.5A
Other languages
English (en)
Other versions
CN113691638A (zh
Inventor
吴阔
胡思思
陈积勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Qianqian Kechuang Co ltd
Original Assignee
Hunan Qianqian Kechuang Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Qianqian Kechuang Co ltd filed Critical Hunan Qianqian Kechuang Co ltd
Priority to CN202111245633.5A priority Critical patent/CN113691638B/zh
Publication of CN113691638A publication Critical patent/CN113691638A/zh
Application granted granted Critical
Publication of CN113691638B publication Critical patent/CN113691638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y30/00—IoT infrastructure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种物联网终端数据管控方法及系统，方法包括：数据采集服务器将获取到的各个数据终端采集的终端数据，发送至第一缓存终端；分析模块确定第一个数据处理平缓时段起始时刻对应的第一时段，并确定第一时段内是否存在数据处理高峰时段；当存在数据处理高峰时段时，第一缓存终端将终端数据传输至第二缓存终端；在达到数据处理平缓时段的起始时刻之前的预设时段内，建立第二缓存终端与数据处理服务器的数据传输通道；在达到数据处理平缓时段的起始时刻之时，通过数据传输通道将第二缓存终端中存储的终端数据传输至数据处理服务器进行数据处理。本发明的技术方案有利于解决物联网终端向处理器传输数据的问题。

Description

物联网终端数据管控方法及系统
技术领域
本发明涉及数据传输技术领域，尤其涉及一种物联网终端数据管控方法和一种物联网终端数据管控系统。
背景技术
物联网(Internet of Things，简称IOT)是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络。
在物联网中，由于各种信息的采集需要，因此，设置有众多的用于采集数据的终端，各个物联网终端所采集的数据需要传输到处理器进行数据处理。
现有技术中，每个终端采集到数据后直接向处理器传输，由于每个终端的数据采集周期一般不相同，则处理器有的时段稍微空闲，而有的时段有可能处于数据处理高峰，造成物联网中数据拥堵，因此，现有的物联网技术中，终端向处理器传输数据缺乏管控。
发明内容
本发明的主要目的在于提供一种物联网终端数据管控方法，旨在解决现有的物联网技术中，终端向处理器传输数据缺乏管控的问题。
为实现上述目的，本发明提供的物联网终端数据管控方法，应用于物联网终端数据管控系统，且用于管控终端数据向数据处理服务器的传输；物联网终端数据管控系统包括分析模块和分别与分析模块通信连接的第一缓存终端、第二缓存终端和数据处理服务器，数据采集服务器通信连接有多个用于采集数据的数据终端，第一缓存终端和数据处理服务器分别与数据采集服务器通信连接；所述物联网终端数据管控方法，包括如下步骤：
所述数据采集服务器将获取到的各个所述数据终端采集的终端数据，发送至所述第一缓存终端；
所述分析模块根据当前等待任务量和所述数据处理服务器中的当前任务量，确定从当前时刻开始至第一个数据处理平缓时段起始时刻对应的第一时段，并确定所述第一时段内是否存在数据处理高峰时段；
当不存在数据处理高峰时段时，所述第一缓存终端将所述终端数据传输至所述数据处理服务器；
当存在数据处理高峰时段时，第一缓存终端将所述终端数据传输至所述第二缓存终端；
在达到所述数据处理平缓时段的起始时刻之前的预设时段内，建立所述第二缓存终端与所述数据处理服务器的数据传输通道；
在达到所述数据处理平缓时段的起始时刻之时，通过数据传输通道将所述第二缓存终端中存储的终端数据传输至所述数据处理服务器进行数据处理。
优选地，所述分析模块根据当前等待任务量和所述数据处理服务器中的当前任务量，确定从当前时刻开始至第一个数据处理平缓时段起始时刻对应的第一时段，并确定所述第一时段内是否存在数据处理高峰时段的步骤，包括：
获取各个所述数据终端的数据采集周期，各个所述数据终端采集的数据在所述数据处理服务器中的处理时长，所述数据处理服务器当前任务队列中的各个第一待处理终端数据，以及所述第二缓存终端中的各个第二待处理终端数据；
获取设定的单位检测时段；
根据各个所述数据终端的数据采集周期，各个所述数据终端采集的数据在所述数据处理服务器中的处理时长，所述数据处理服务器当前任务队列中的第一待处理终端数据，以及所述第二缓存终端中的各个第二待处理终端数据，确定当前时刻开始，每一个数据采集终端采集的每个终端数据对应的数据处理时间点，并确定当前时刻之前，所述数据处理服务器和所述第二缓存终端中已有终端数据分别对应的数据处理时间点；
从当前时刻开始，逐个检测每个单位检测时段内的数据平均处理量；
将数据平均处理量不超过第一预设量的单位检测时段确定为数据处理平缓时段，直至检测到第一个数据处理平缓时段停止，将当前时刻与第一个所述数据处理平缓时段的起始时刻确定为第一时段；
在第一时段中，逐个检测每个单位检测时段内的数据平均处理量，将数据平均处理量超过第一预设量的单位检测时段确定为数据处理高峰时段。
优选地，所述物联网终端数据管控方法，还包括：
获取所述数据处理高峰时段的时长；
当时长超过预设时长时，获取所述数据处理高峰时段中各类所述终端数据的数量在所述数据处理高峰时段的数据处理总量的占比；
将占比符合预设条件的各类终端数据对应的数据终端的数据采集周期在允许范围内延长，直至所述数据处理高峰时段结束。
优选地，所述数据采集服务器将获取到的各个所述数据终端采集的终端数据，发送至所述第一缓存终端的步骤，包括：
将各个所述数据终端采集的终端数据传输至所述数据采集服务器；
在所述数据采集服务器中对接收到的待处理终端数据进行计数，并将接收到的终端数据按照接收时间进行时间标识；
当计数数量达到预设数量时，将接收到的待处理终端数据发送至所述第一缓存终端。
优选地，所述物联网终端数据管控方法，还包括：
获取数据处理指令；
判断所述数据处理指令中是否包含指定采集终端的优先处理命令；
若是，将所述第二缓存终端中存储的指定采集终端采集的终端数据进行优先处理标识。
优选地，所述在达到所述数据处理平缓时段的起始时刻之时，通过数据传输通道将所述第二缓存终端中存储的终端数据传输至所述数据处理服务器进行数据处理的步骤，包括：
所述分析模块根据第一个所述数据处理平缓时段的时长和第一个所述数据处理平缓时段的预计处理数据总量，确定所述数据处理服务器在所述第一个所述数据处理平缓时段内不达到数据处理高峰状态的最大数据量；
根据所述第二缓存终端中每个待处理终端数据的时间标识、优先处理标识和所述最大数据量，确定发送至所述数据处理服务器的数据集合，其中，所述数据集合中的数据量不超过所述最大数据量；
在达到第一个所述数据处理平缓时段的起始时刻之时，通过数据传输通道将所述数据集合中的数据传输至所述数据处理服务器进行数据处理。
优选地，所述物联网终端数据管控方法，还包括：
分析模块预测所述数据处理服务器的任务队列中的各个待处理终端数据的处理时间点，以得到预测结果；
根据所述预测结果，确定所述数据处理服务器达到超负荷工作状态的时段和超负荷工作状态下的预计处理数据中优先级别低的终端数据；
将超负荷工作状态下的预计处理数据中优先级别低的终端数据发送至所述第二缓存终端，并标记第一优先处理级别；
在达到所述数据处理平缓时段的起始时刻之时，通过所述数据传输通道优先将所述第二缓存终端中存储的标记为第一优先处理级别的数据传输至所述数据处理服务器进行数据处理。
优选地，第二缓存终端中划分有多个数据存储区域，每个数据存储区域对应不同的数据存储地址，第一缓存终端每次向所述第二缓存终端发送的数据都存储到其中一个数据存储区域；
所述在达到所述数据处理平缓时段的起始时刻之前的预设时段内，建立所述第二缓存终端与所述数据处理服务器的数据传输通道的步骤，包括：
记录第一缓存终端向第二缓存终端发送数据的次数；
在分析模块中存储有每个次数在第二缓存终端中对应的数据存储地址；
在达到所述数据处理平缓时段的起始时刻之前的预设时段内，所述分析模块根据第一缓存终端向第二缓存终端发送数据的次数，查找所述次数对应的数据存储地址；
所述分析模块将所述存储地址发送给所述数据处理服务器；
所述数据处理服务器根据接收到的所述数据存储地址，建立所述第二缓存终端与所述数据处理服务器的数据传输通道。
优选地，当前时刻开始，第i个数据终端采集的第j个终端数据对应的数据处理时间点Aij为：
Figure GDA0003389910470000041
其中，D1为当前时刻开始之前，第一待处理终端数据的总计处理时间；D2为当前时刻之前，第二待处理终端数据的总计处理时间；Fij表示当前时刻开始，至第i个数据终端采集第j个终端数据之前的时段内，新采集的终端数据中，位于第i个数据终端采集的第j个终端数据之前处理的终端数据所花费的数据处理时间；N表示所述数据处理服务器中的当前处理进程数量，1<i≤n，n为数据终端的总数，j>0；
Figure GDA0003389910470000042
其中，bi表示当前时刻之前，已有的第一待处理终端数据中第i个数据采集终端采集的数据量；ti表示第i个数据终端采集的终端数据在所述数据处理服务器中的平均处理时长；
Figure GDA0003389910470000043
其中，b’i表示当前时刻之前，已有的第二待处理终端数据中第i个数据采集终端采集的数据量；
Figure GDA0003389910470000044
当前时刻开始，第i个数据终端采集的第j个终端数据对应的采集时间点tij为：
tij＝Ti-(t0-tis)+(j-1)·Ti；
其中，t0表示当前时刻，tis表示第i个数据终端上一次采集数据的时刻，Ti表示第i个数据终端的数据采集周期。
此外，为实现上述目的，本发明还提供一种物联网终端数据管控系统，用于执行上述任一项所述方法的步骤；且用于管控终端数据向数据处理服务器的传输；物联网终端数据管控系统包括分析模块和分别与分析模块通信连接的第一缓存终端、第二缓存终端和数据处理服务器，数据采集服务器通信连接有多个用于采集数据的数据终端，第一缓存终端和数据处理服务器分别与数据采集服务器通信连接。
本发明的技术方案中，设置有数据采集服务器，数据采集服务器专门负责终端数据的汇总和转发，分析模块分别与第一缓存终端、第二缓存终端和数据处理服务器通讯连接，分析模块能够获取与其相连的各模块中的待处理的终端数据量和识别终端数据对应的数据终端，从而确定当前时刻开始的后续时段内，第一个数据处理平缓时段何时出现，以及数据处理高峰时段何时出现；若第一个数据处理平缓时段出现之前，不出现数据处理高峰时段，代表未来一段时间内数据处理服务器中数据处理的工作负荷较小，因此，可以将第一缓存终端中缓存的终端数据传送至数据处理服务器；若第一个数据处理平缓时段出现之前，出现数据处理高峰时段，代表未来一段时间内，数据处理服务器中的数据处理压力较大，则将第一缓存终端中缓存的终端数据转发至第二缓存终端。第二缓存终端和数据处理服务器之间的数据传输通道在分析模块预测的所述数据处理平缓时段的起始时刻开始之前连通，以避免误操作触发第二缓存终端向数据处理服务器之间传输终端数据而造成数据处理服务器的数据拥塞。因此，本发明的技术方案在未来数据处理压力不大时，才将终端数据发送至数据处理服务器，以始终避免数据处理服务器中的数据拥塞。
附图说明
图1为本发明物联网终端数据管控方法的流程示意图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
请参阅图1，为实现上述目的，本发明提供一种物联网终端数据管控方法，应用于物联网终端数据管控系统，且用于管控终端数据向数据处理服务器的传输；物联网终端数据管控系统包括分析模块和分别与分析模块通信连接的第一缓存终端、第二缓存终端和数据处理服务器，数据采集服务器通信连接有多个用于采集数据的数据终端，第一缓存终端和数据处理服务器分别与数据采集服务器通信连接；
物联网终端数据管控方法，包括如下步骤：
步骤S10，所述数据采集服务器将获取到的各个所述数据终端采集的终端数据，发送至所述第一缓存终端；
步骤S20，所述分析模块根据当前等待任务量和所述数据处理服务器中的当前任务量，确定从当前时刻开始至第一个数据处理平缓时段起始时刻对应的第一时段，并确定所述第一时段内是否存在数据处理高峰时段；
步骤S30，当不存在数据处理高峰时段时，所述第一缓存终端将所述终端数据传输至所述数据处理服务器；
步骤S40，当存在数据处理高峰时段时，第一缓存终端将所述终端数据传输至所述第二缓存终端；
步骤S50，在达到所述数据处理平缓时段的起始时刻之前的预设时段内，建立所述第二缓存终端与所述数据处理服务器的数据传输通道；
步骤S60，在达到所述数据处理平缓时段的起始时刻之时，通过数据传输通道将所述第二缓存终端中存储的终端数据传输至所述数据处理服务器进行数据处理。
本发明的技术方案中，设置有数据采集服务器，通过数据采集服务器接收全部的数据终端采集的终端数据，实现终端数据的统一管控，并且数据采集服务器接收到各个终端数据后，转发至第一缓存终端，后续通过管控第一缓存终端中的终端数据发送至数据处理服务器的时机，则能避免数据终端采集数据后直接发送数据到数据处理服务器，从而避免数据处理服务器中数据拥堵的现象。在本发明中，数据采集服务器专门负责终端数据的汇总和转发，而不用作其他功能，能保证全部终端数据的准确和完整接收，避免终端数据漏接收。进一步的，分析模块分别与第一缓存终端、第二缓存终端和数据处理服务器通讯连接，因此，分析模块能够获取与其相连的各模块中的待处理的终端数据量和识别终端数据对应的数据终端，从而确定当前时刻开始的后续时段内，第一个数据处理平缓时段何时出现，以及数据处理高峰时段何时出现；若第一个数据处理平缓时段出现之前，不出现数据处理高峰时段，代表未来一段时间内数据处理服务器中数据处理的工作负荷较小，因此，可以将第一缓存终端中缓存的终端数据传送至数据处理服务器；若第一个数据处理平缓时段出现之前，出现数据处理高峰时段，代表未来一段时间内，数据处理服务器中的数据处理压力较大，若继续向数据处理服务器发送终端数据，会造成数据的严重拥塞，不仅可能丢失数据，还有可能造成数据处理服务器响应迟缓，或异常掉电等故障，此时，将第一缓存终端中缓存的终端数据转发至第二缓存终端，不仅可以避免数据处理服务器中的数据拥塞，还可以减轻第一缓存终端的数据存储压力。第一缓存终端中的数据要么发送至数据处理服务器，要么发送至第二缓存终端，从而第一缓存终端随时保持充足的数据缓存能力。进一步的，第二缓存终端和数据处理服务器之间的数据传输通道并不是随时连通，而是在分析模块预测的所述数据处理平缓时段的起始时刻开始之前连通，以避免误操作触发第二缓存终端向数据处理服务器之间传输终端数据而造成数据处理服务器的数据拥塞。因此，本发明的技术方案用于管控物联网终端向数据处理服务器发送终端数据的时机，在未来数据处理压力不大时，将终端数据发送至数据处理服务器，在未来数据处理压力不大时，断开终端数据传输至数据处理服务器的数据传输通道，直至数据处理平缓时段到来时，接通数据传输通道，以始终避免数据处理服务器中的数据拥塞。
在数据处理服务器中，可以设置一个或者多个数据处理进程，设置多个数据处理进程有利于加快数据数据效率。当存在多个数据处理进程时，数据处理服务器中检测每个数据处理进程的任务进度，并将待处理的终端数据分配至完成当前任务进度的进程。
具体的，第二缓存终端中划分有多个数据存储区域，每个数据存储区域对应不同的数据存储地址，第一缓存终端每次向所述第二缓存终端发送的数据都存储到其中一个数据存储区域；
所述在达到所述数据处理平缓时段的起始时刻之前的预设时段内，建立所述第二缓存终端与所述数据处理服务器的数据传输通道的步骤，包括：
记录第一缓存终端向第二缓存终端发送数据的次数；
在分析模块中存储有每个次数在第二缓存终端中对应的数据存储地址；
在达到所述数据处理平缓时段的起始时刻之前的预设时段内，所述分析模块根据第一缓存终端向第二缓存终端发送数据的次数，查找所述次数对应的数据存储地址；
所述分析模块将所述存储地址发送给所述数据处理服务器；
所述数据处理服务器根据接收到的所述数据存储地址，建立所述第二缓存终端与所述数据处理服务器的数据传输通道。
从而，根据本发明记载的数据传输通道的建立方式，在达到所述数据处理平缓时段的起始时刻之前，数据处理服务器无法知晓从第二缓存终端的哪个区域获取到终端数据，也就无法将第二缓存终端中的终端数据发送至数据处理服务器，从而便于控制第二缓存终端中的终端数据向数据处理服务器的传输。
其中，数据处理高峰时段指的是数据平均处理量将达到设定量的时段，数据处理平缓时段指的是数据平均处理量将达到设定量的预设比例的时段，预设比例为正数，且小于1。
基于本发明的物联网终端数据管控方法的第一实施例，本发明的物联网终端数据管控方法的第二实施例中，所述步骤S20，还包括：
步骤S21，获取各个所述数据终端的数据采集周期，各个所述数据终端采集的数据在所述数据处理服务器中的处理时长，所述数据处理服务器当前任务队列中的各个第一待处理终端数据，以及所述第二缓存终端中的各个第二待处理终端数据；
步骤S22，获取设定的单位检测时段；
步骤S23，根据各个所述数据终端的数据采集周期，各个所述数据终端采集的数据在所述数据处理服务器中的处理时长，所述数据处理服务器当前任务队列中的第一待处理终端数据，以及所述第二缓存终端中的各个第二待处理终端数据，确定当前时刻开始，每一个数据采集终端采集的每个终端数据对应的数据处理时间点，并确定当前时刻之前，所述数据处理服务器和所述第二缓存终端中已有终端数据分别对应的数据处理时间点；
步骤S24，从当前时刻开始，逐个检测每个单位检测时段内的数据平均处理量；
步骤S25，将数据平均处理量不超过第一预设量的单位检测时段确定为数据处理平缓时段，直至检测到第一个数据处理平缓时段停止，将当前时刻与第一个所述数据处理平缓时段的起始时刻确定为第一时段；
步骤S26，在第一时段中，逐个检测每个单位检测时段内的数据平均处理量，将数据平均处理量超过第一预设量的单位检测时段确定为数据处理高峰时段。
具体的，物联网具有众多种类和数量的数据终端，不同的数据终端对应的数据采集周期不同，且数据采集周期一般是根据需要提前设定好。不同的数据终端对应的数据处理时长一般也不同。
每个终端数据的处理时间点，不仅与各个数据终端的数据采集周期相关，还与数据处理服务器中对每个终端数据的处理时长有关。
各个数据终端的数据采集周期，决定了数据处理服务器需要处理的数据量，数据处理服务器对每个终端数据的处理时长，决定了每个终端数据在数据处理服务器中的处理时长。本发明中，待处理的终端数据包括三个部分，第一个部分是数据处理服务器的任务队列中的等待数据，第二个部分是第二缓存终端中待处理的终端数据，第三个部分就是数据采集服务器中接收的新采集的终端数据，第一缓存终端中的终端数据要么发往数据处理服务器，要么发往第二缓存终端，所以可以忽略。
本发明中，对每一个终端数据的处理时间点进行预测，然后在时间坐标轴上对每个终端数据的处理时间点进行描点(或者也可以统计每个未来时段内的数据处理量)，然后获取设定的单位检测时段，以单位检测时段为时间窗口对时间坐标轴依次扫描，即可确定每个未来时段中数据处理数据量的大小，从而可以确定何时进入第一个数据平缓时段，以及第一个数据处理平缓时段之前是否存在数据处理高峰时段。
基于本发明的物联网终端数据管控方法的第一实施例或第二实施例，本发明的物联网终端数据管控方法的第三实施例中，所述物联网终端数据管控方法，还包括：
步骤S70，获取所述数据处理高峰时段的时长；
步骤S80，当时长超过预设时长时，获取所述数据处理高峰时段中各类所述终端数据的数量在所述数据处理高峰时段的数据处理总量的占比；
步骤S90，将占比符合预设条件的各类终端数据对应的数据终端的数据采集周期在允许范围内延长，直至所述数据处理高峰时段结束。
本发明中，只有等待数据处理高峰结束后，达到数据处理平缓时段，才能将新采集的终端数据发送至数据处理服务器进行处理。因此，随着数据处理高峰时段的延长，第二缓存终端中等待处理的数据量将也会累积更多，那么下一数据处理高峰时段也会更长，为了缩短第二个数据处理高峰时段，本实施例提前采取控制策略。
具体的，本实施例中，占比符合预设条件指的是占比的比值超出预设比值，占比超出预设比值的终端数据，对应的数据采集周期相比其他种类的终端数据更短，采集频率高。通常在第一次设定物联网各数据终端的数据采集周期时，会根据数据监控的需要来设定，然而，数据采集周期小幅度的延长，可能并不会带来显著的影响。本发明中，在第一次设定物联网各数据终端的数据采集周期时，也一并输入各数据终端的数据采集周期上限，数据采集周期在允许范围内延长，指的是不超过数据采集周期上限。
更进一步地，在步骤S70之后，还可以包括：比较各个数据终端的数据采集周期，根据所述数据处理高峰时段的长度和各个数据采集周期分别对应的时长，确定缩短数据采集周期的数据采集终端，对缩短数据采集周期的数据采集终端的数据采集周期按照预设比例进行缩短。
基于本发明的物联网终端数据管控方法的第一实施例至第三实施例，本发明的物联网终端数据管控方法的第四实施例中，所述步骤S10，包括：
步骤S11，将各个所述数据终端采集的终端数据传输至所述数据采集服务器；
步骤S12，在所述数据采集服务器中对接收到的待处理终端数据进行计数，并将接收到的终端数据按照接收时间进行时间标识；
步骤S13，当计数数量达到预设数量时，将接收到的待处理终端数据发送至所述第一缓存终端。
数据采集服务器设置有多个用于接收终端数据的接收端口，还设置有多个用于发送终端数据的发送端口。
数据采集服务器中，在计数数量达到预设数量时，才将计过数的待处理终端数据发送至第一缓存终端，以避免数据频繁发送，并便于数据采集服务器在计数过程中，接收对终端数据发送的控制指令。其中，控制指令可以是数据删除指令，数据筛选指令等；若数据采集服务器接收到数据删除指令，则将计过数的待处理终端数据进行删除；若数据采集服务器接收到数据筛选指令，则根据数据筛选指令指定的数据终端类型，从计过数的待处理终端数据中筛选出指定的数据终端类型对应的终端数据，并将筛选出的终端数据发送至第一缓存终端，删除未筛选出的终端数据，以在数据处理高峰时段减少数据处理服务器的处理压力。
基于本发明的物联网终端数据管控方法的第四实施例，本发明的物联网终端数据管控方法的第五实施例中，所述物联网终端数据管控方法，还包括：
步骤S100，获取数据处理指令；
步骤S110，判断所述数据处理指令中是否包含指定采集终端的优先处理命令；
若是，执行步骤S120：将所述第二缓存终端中存储的指定采集终端采集的终端数据进行优先处理标识。
在数据处理高峰时段，各个终端数据的排队等待时间较长，对于未进入数据处理服务器的任务队列中的终端数据，都在第二缓存终端中进行等待，并且，第二缓存终端中的各个终端数据默认按照数据采集服务器中的计数顺序先后，依次发送至数据处理服务器进行数据处理。
在本实施例中，数据处理指令可以由用户发送，或者由分析模块发送。
具体的，若存在用户急切关注的终端数据，用户可以向第二缓存终端发送数据处理指令，数据处理指令包含优先处理命令，优先命令中标记数据终端的类型，然后，在第二缓存终端中，将标记的数据终端类型对应的终端数据进行优先处理标识。
进一步的，所述数据处理服务器处理完终端数据后，将输出数据发送至存储终端，所述分析模块与所述存储终端通信连接，所述分析模块还用于识别所述存储终端中是否存在异常数据，若是，所述分析模块确定异常数据对应的异常数据终端，并向所述第二缓存终端发送数据处理指令，数据处理指令包含优先处理命令，优先命令中标记数据终端的类型。
基于本发明的物联网终端数据管控方法的第一实施例至第五实施例，本发明的物联网终端数据管控方法的第六实施例中，所述步骤S60，包括：
步骤S61，所述分析模块根据第一个所述数据处理平缓时段的时长和第一个所述数据处理平缓时段的预计处理数据总量，确定所述数据处理服务器在所述第一个所述数据处理平缓时段内不达到数据处理高峰状态的最大数据量；
步骤S62，根据所述第二缓存终端中每个待处理终端数据的时间标识、优先处理标识和所述最大数据量，确定发送至所述数据处理服务器的数据集合，其中，所述数据集合中的数据量不超过所述最大数据量；
步骤S63，在达到第一个所述数据处理平缓时段的起始时刻之时，通过数据传输通道将所述数据集合中的数据传输至所述数据处理服务器进行数据处理。
本实施例中的步骤S61，用于确定第一个数据处理平缓时段内，为了使数据处理服务器不达到数据处理高峰状态，数据处理服务器可接收的最大数据量。而前述第三实施例，用于通过短时间内延长数据采集周期的方式，缩短了第一个数据处理平缓时段后的下一个数据处理高峰时期的总时长，或避免下一个数据处理高峰时期。
因此，第三实施例与第六实施例的结合，可以避免数据处理服务器长时间处于数据处理高峰时段，以进一步避免数据处理服务器长时间处于数据处理高峰时段导致的异常掉电，响应异常或其他故障。
基于本发明的物联网终端数据管控方法的第一实施例至第六实施例中的任一项，本发明的物联网终端数据管控方法的第七实施例中，所述物联网终端数据管控方法，还包括：
步骤S130，分析模块预测所述数据处理服务器的任务队列中的各个待处理终端数据的处理时间点，以得到预测结果；
步骤S140，根据所述预测结果，确定所述数据处理服务器达到超负荷工作状态的时段和超负荷工作状态下的预计处理数据中优先级别低的终端数据；
步骤S150，将超负荷工作状态下的预计处理数据中优先级别低的终端数据发送至所述第二缓存终端，并标记第一优先处理级别；
步骤S160，在达到所述数据处理平缓时段的起始时刻之时，通过所述数据传输通道优先将所述第二缓存终端中存储的标记为第一优先处理级别的数据传输至所述数据处理服务器进行数据处理。
本实施例用于及时纠正数据处理服务器的超负荷工作状态，其中，超负荷工作状态下的数据平均处理量高于数据处理高峰时段的数据平均处理量。
步骤S150中，从数据处理服务器中传输至第二缓存终端的终端数据具有第一优先处理级别，第一优先处理级别高于其他优先处理级别，例如，高于第五实施例中的优先处理标识对应的优先级别。
基于本发明的物联网终端数据管控方法的第二实施例，本发明的物联网终端数据管控方法的第八实施例中，当前时刻开始，第i个数据终端采集的第j个终端数据对应的数据处理时间点Aij为：
Figure GDA0003389910470000121
其中，D1为当前时刻开始之前，第一待处理终端数据的总计处理时间；D2为当前时刻之前，第二待处理终端数据的总计处理时间；Fij表示当前时刻开始，至第i个数据终端采集第j个终端数据之前的时段内，新采集的终端数据中，位于第i个数据终端采集的第j个终端数据之前处理的终端数据所花费的数据处理时间；N表示所述数据处理服务器中的当前处理进程数量，1<i≤n，n为数据终端的总数，j>0；
Figure GDA0003389910470000122
其中，bi表示当前时刻之前，已有的第一待处理终端数据中第i个数据采集终端采集的数据量；ti表示第i个数据终端采集的终端数据在所述数据处理服务器中的平均处理时长；
Figure GDA0003389910470000123
其中，b’i表示当前时刻之前，已有的第二待处理终端数据中第i个数据采集终端采集的数据量；
Figure GDA0003389910470000124
其中，tij为当前时刻开始，第i个数据终端采集的第j个终端数据对应的采集时间点：
tij＝Ti-(t0-tis)+(j-1)·Ti；
其中，t0表示当前时刻，tis表示第i个数据终端上一次采集数据的时刻，Ti表示第i个数据终端的数据采集周期。
对于当前时刻之前，位于数据采集服务器中的第h个第一待处理终端数据对应的数据处理时间点可以通过以下方式进行预测：
对数据采集服务器的任务队列中，位于第h个终端数据前列的每个终端数据对应的平均处理时长进行第一求和操作，以得到第一求和结果，第一求和结果即为该第h个第一待处理终端数据对应的处理时间点，其中，0<h≤H，H为数据采集服务器的任务队列中的待处理终端数据总数；
对于当前时刻之前，位于第二缓存终端中的第m个第一待处理终端数据对应的数据处理时间点可以通过以下方式进行预测：
对第二缓存终端中，位于第m个终端数据前列的每个终端数据对应的平均处理时长进行第二求和操作，以得到第二求和结果，第二求和结果即为第m个第二待处理终端数据对应的处理时间点，其中，0<m≤M，M为第二缓存终端中的待处理终端数据总数。
根据上述两种预测方式，以及Aij的预测，可以确定各个已有终端数据和新采集的终端数据分别对应的处理时间点，并在时间坐标轴中对每个终端数据的处理时间点进行描点。
根据单位检测时段，确定时间扫描窗口的时间长度，对时间坐标轴依次进行扫描，即可确定每个单位检测时段内的终端数据处理总量。
然后在时间坐标轴上对每个终端数据的处理时间点进行描点(或者也可以统计每个未来时段内的数据处理量)，然后获取设定的单位检测时段，以单位检测时段为时间窗口对时间坐标轴依次扫描，即可确定每个未来时段中数据处理数量的大小，从而可以确定何时进入第一个数据平缓时段，以及第一个数据处理平缓时段之前是否存在数据处理高峰时段。
为实现上述目的，本发明还提供一种物联网终端数据管控系统，用于执行如上述任一实施例所述方法的步骤；且用于管控终端数据向数据处理服务器的传输；物联网终端数据管控系统包括分析模块和分别与分析模块通信连接的第一缓存终端、第二缓存终端和数据处理服务器，数据采集服务器通信连接有多个用于采集数据的数据终端，第一缓存终端和数据处理服务器分别与数据采集服务器通信连接。
物联网终端数据管控系统，具有所述物联网终端数据管控方法的所有有益效果，在此不作赘述。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备进入本发明各个实施例所述的方法。
在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第X实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料、方法步骤或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种物联网终端数据管控方法，其特征在于，应用于物联网终端数据管控系统，且用于管控终端数据向数据处理服务器的传输；物联网终端数据管控系统包括分析模块和分别与分析模块通信连接的第一缓存终端、第二缓存终端和数据处理服务器，数据采集服务器通信连接有多个用于采集数据的数据终端，第一缓存终端和数据处理服务器分别与数据采集服务器通信连接；物联网终端数据管控方法，包括如下步骤：
所述数据采集服务器将获取到的各个所述数据终端采集的终端数据，发送至所述第一缓存终端；
所述分析模块根据当前等待任务量和所述数据处理服务器中的当前任务量，确定从当前时刻开始至第一个数据处理平缓时段起始时刻对应的第一时段，并确定所述第一时段内是否存在数据处理高峰时段；
当不存在数据处理高峰时段时，所述第一缓存终端将所述终端数据传输至所述数据处理服务器；当存在数据处理高峰时段时，第一缓存终端将所述终端数据传输至所述第二缓存终端；
在达到所述数据处理平缓时段的起始时刻之前的预设时段内，建立所述第二缓存终端与所述数据处理服务器的数据传输通道；
在达到所述数据处理平缓时段的起始时刻之时，通过数据传输通道将所述第二缓存终端中存储的终端数据传输至所述数据处理服务器进行数据处理；
所述分析模块根据当前等待任务量和所述数据处理服务器中的当前任务量，确定从当前时刻开始至第一个数据处理平缓时段起始时刻对应的第一时段，并确定所述第一时段内是否存在数据处理高峰时段的步骤，包括：
获取各个所述数据终端的数据采集周期，各个所述数据终端采集的数据在所述数据处理服务器中的处理时长，所述数据处理服务器当前任务队列中的各个第一待处理终端数据，以及所述第二缓存终端中的各个第二待处理终端数据；
获取设定的单位检测时段；
根据各个所述数据终端的数据采集周期，各个所述数据终端采集的数据在所述数据处理服务器中的处理时长，所述数据处理服务器当前任务队列中的第一待处理终端数据，以及所述第二缓存终端中的各个第二待处理终端数据，确定当前时刻开始，每一个数据采集终端采集的每个终端数据对应的数据处理时间点，并确定当前时刻之前，所述数据处理服务器和所述第二缓存终端中已有终端数据分别对应的数据处理时间点；
从当前时刻开始，逐个检测每个单位检测时段内的数据平均处理量；
将数据平均处理量不超过第一预设量的单位检测时段确定为数据处理平缓时段，直至检测到第一个数据处理平缓时段停止，将当前时刻与第一个所述数据处理平缓时段的起始时刻确定为第一时段；
在第一时段中，逐个检测每个单位检测时段内的数据平均处理量，将数据平均处理量超过第一预设量的单位检测时段确定为数据处理高峰时段。
2.根据权利要求1所述的物联网终端数据管控方法，其特征在于，所述物联网终端数据管控方法，还包括：
获取所述数据处理高峰时段的时长；
当时长超过预设时长时，获取所述数据处理高峰时段中各类所述终端数据的数量在所述数据处理高峰时段的数据处理总量的占比；
将占比符合预设条件的各类终端数据对应的数据终端的数据采集周期在允许范围内延长，直至所述数据处理高峰时段结束。
3.根据权利要求1或2所述的物联网终端数据管控方法，其特征在于，所述数据采集服务器将获取到的各个所述数据终端采集的终端数据，发送至所述第一缓存终端的步骤，包括：
将各个所述数据终端采集的终端数据传输至所述数据采集服务器；
在所述数据采集服务器中对接收到的待处理终端数据进行计数，并将接收到的终端数据按照接收时间进行时间标识；
当计数数量达到预设数量时，将接收到的待处理终端数据发送至所述第一缓存终端。
4.根据权利要求3所述的物联网终端数据管控方法，其特征在于，所述物联网终端数据管控方法，还包括：
获取数据处理指令；
判断所述数据处理指令中是否包含指定采集终端的优先处理命令；
若是，将所述第二缓存终端中存储的指定采集终端采集的终端数据进行优先处理标识。
5.根据权利要求4所述的物联网终端数据管控方法，其特征在于，所述在达到所述数据处理平缓时段的起始时刻之时，通过数据传输通道将所述第二缓存终端中存储的终端数据传输至所述数据处理服务器进行数据处理的步骤，包括：
所述分析模块根据第一个所述数据处理平缓时段的时长和第一个所述数据处理平缓时段的预计处理数据总量，确定所述数据处理服务器在所述第一个所述数据处理平缓时段内不达到数据处理高峰状态的最大数据量；
根据所述第二缓存终端中每个待处理终端数据的时间标识、优先处理标识和所述最大数据量，确定发送至所述数据处理服务器的数据集合，其中，所述数据集合中的数据量不超过所述最大数据量；
在达到第一个所述数据处理平缓时段的起始时刻之时，通过数据传输通道将所述数据集合中的数据传输至所述数据处理服务器进行数据处理。
6.根据权利要求1或2所述的物联网终端数据管控方法，其特征在于，所述物联网终端数据管控方法，还包括：
分析模块预测所述数据处理服务器的任务队列中的各个待处理终端数据的处理时间点，以得到预测结果；
根据所述预测结果，确定所述数据处理服务器达到超负荷工作状态的时段和超负荷工作状态下的预计处理数据中优先级别低的终端数据；
将超负荷工作状态下的预计处理数据中优先级别低的终端数据发送至所述第二缓存终端，并标记第一优先处理级别；
在达到所述数据处理平缓时段的起始时刻之时，通过所述数据传输通道优先将所述第二缓存终端中存储的标记为第一优先处理级别的数据传输至所述数据处理服务器进行数据处理。
7.根据权利要求1所述的物联网终端数据管控方法，其特征在于，第二缓存终端中划分有多个数据存储区域，每个数据存储区域对应不同的数据存储地址，第一缓存终端每次向所述第二缓存终端发送的数据都存储到其中一个数据存储区域；
所述在达到所述数据处理平缓时段的起始时刻之前的预设时段内，建立所述第二缓存终端与所述数据处理服务器的数据传输通道的步骤，包括：
记录第一缓存终端向第二缓存终端发送数据的次数；
在分析模块中存储有每个次数在第二缓存终端中对应的数据存储地址；
在达到所述数据处理平缓时段的起始时刻之前的预设时段内，所述分析模块根据第一缓存终端向第二缓存终端发送数据的次数，查找所述次数对应的数据存储地址；
所述分析模块将所述存储地址发送给所述数据处理服务器；
所述数据处理服务器根据接收到的所述数据存储地址，建立所述第二缓存终端与所述数据处理服务器的数据传输通道。
8.根据权利要求1所述的物联网终端数据管控方法，其特征在于：
当前时刻开始，第i个数据终端采集的第j个终端数据对应的数据处理时间点Aij为：
Figure FDA0003389910460000031
其中，D1为当前时刻开始之前，第一待处理终端数据的总计处理时间；D2为当前时刻之前，第二待处理终端数据的总计处理时间；Fij表示当前时刻开始，至第i个数据终端采集第j个终端数据之前的时段内，新采集的终端数据中，位于第i个数据终端采集的第j个终端数据之前处理的终端数据所花费的数据处理时间；N表示所述数据处理服务器中的当前处理进程数量，1<i≤n，n为数据终端的总数，j>0；
Figure FDA0003389910460000041
其中，bi表示当前时刻之前，已有的第一待处理终端数据中第i个数据采集终端采集的数据量；ti表示第i个数据终端采集的终端数据在所述数据处理服务器中的平均处理时长；
Figure FDA0003389910460000042
其中，bi'表示当前时刻之前，已有的第二待处理终端数据中第i个数据采集终端采集的数据量；
Figure FDA0003389910460000043
当前时刻开始，第i个数据终端采集的第j个终端数据对应的采集时间点tij为：
tij＝Ti-(t0-tis)+(j-1)·Ti；
其中，t0表示当前时刻，tis表示第i个数据终端上一次采集数据的时刻，Ti表示第i个数据终端的数据采集周期。
9.一种物联网终端数据管控系统，其特征在于，用于执行如权利要求1至8中任一项所述方法的步骤，且用于管控终端数据向数据处理服务器的传输；物联网终端数据管控系统包括分析模块和分别与分析模块通信连接的第一缓存终端、第二缓存终端和数据处理服务器，数据采集服务器通信连接有多个用于采集数据的数据终端，第一缓存终端和数据处理服务器分别与数据采集服务器通信连接。
CN202111245633.5A 2021-10-26 2021-10-26 物联网终端数据管控方法及系统 Active CN113691638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111245633.5A CN113691638B (zh) 2021-10-26 2021-10-26 物联网终端数据管控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111245633.5A CN113691638B (zh) 2021-10-26 2021-10-26 物联网终端数据管控方法及系统

Publications (2)

Publication Number Publication Date
CN113691638A CN113691638A (zh) 2021-11-23
CN113691638B true CN113691638B (zh) 2022-01-07

Family

ID=78587988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111245633.5A Active CN113691638B (zh) 2021-10-26 2021-10-26 物联网终端数据管控方法及系统

Country Status (1)

Country Link
CN (1) CN113691638B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255770A (zh) * 2011-06-13 2011-11-23 中亿企网实业发展（上海）有限公司 一种复合网络监测数据包的方法和用途
CN103458021A (zh) * 2013-08-29 2013-12-18 中国科学院软件研究所 一种事件驱动的随态自适应的传感器组织方法
US10567245B1 (en) * 2019-02-28 2020-02-18 Cisco Technology, Inc. Proactive and intelligent packet capturing for a mobile packet core
CN111008157A (zh) * 2019-11-29 2020-04-14 北京浪潮数据技术有限公司 存储系统写缓存数据下发方法及相关组件
CN111242807A (zh) * 2020-02-26 2020-06-05 深圳市中电电力技术股份有限公司 一种变电站数据接入泛在电力物联网的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110867390A (zh) * 2018-08-28 2020-03-06 三星显示有限公司 用于制造显示装置的方法
CN111586195B (zh) * 2020-07-03 2022-09-06 湖南工业大学 一种物联网的通讯拓扑方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255770A (zh) * 2011-06-13 2011-11-23 中亿企网实业发展（上海）有限公司 一种复合网络监测数据包的方法和用途
CN103458021A (zh) * 2013-08-29 2013-12-18 中国科学院软件研究所 一种事件驱动的随态自适应的传感器组织方法
US10567245B1 (en) * 2019-02-28 2020-02-18 Cisco Technology, Inc. Proactive and intelligent packet capturing for a mobile packet core
CN111008157A (zh) * 2019-11-29 2020-04-14 北京浪潮数据技术有限公司 存储系统写缓存数据下发方法及相关组件
CN111242807A (zh) * 2020-02-26 2020-06-05 深圳市中电电力技术股份有限公司 一种变电站数据接入泛在电力物联网的方法

Also Published As

Publication number Publication date
CN113691638A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
US8331237B2 (en) Supervisory control method and supervisory control device
US5511169A (en) Data transmission apparatus and a communication path management method therefor
EP3873066A1 (en) Method for managing resource state information, and resource downloading system
CN107995127B (zh) 一种过载保护方法及装置
EP2515558A1 (en) Machine-to-machine platform service processing method and machine-to-machine platform
CN101981871B (zh) 监视系统
CN110336848B (zh) 一种访问请求的调度方法及调度系统、设备
US6041342A (en) Low traffic network management method using estimated process execution time for manager-agent synchronization
CN107872396A (zh) 具有超时控制的通信方法、处理设备、终端设备和服务器
CN113691638B (zh) 物联网终端数据管控方法及系统
CN108429703B (zh) Dhcp客户端上线方法及装置
JP4576102B2 (ja) 通信システム及び通信装置並びに通信方法
CN101951571A (zh) 短消息重试方法及短消息网关
US7715875B2 (en) Base station controller for radio communication network and method of collecting alarm information thereof
CN111931030A (zh) 基于异构系统的请求适配方法、装置、设备及存储介质
EP3026860B1 (en) Method and system for transmission management of full configuration synchronization between eml-nml
JP3945390B2 (ja) ネットワーク機器制御システム、サーバ、及び送信制御方法
CN113419852B (zh) 微服务的请求响应方法、装置、设备及存储介质
CN115643276A (zh) 数据传输方法、装置、系统与计算机可读存储介质
JP3104221B2 (ja) ポーリング遅延回避方式
CN109873882A (zh) 一种ip代理池管理系统及其管理方法
CN116192755B (zh) 基于建立虚拟交换机的拥塞处理方法及其系统
CN116938934B (zh) 一种基于报文的任务切换控制方法及系统
CN107835237B (zh) 一种光传输板卡系统中通信处理方法和装置
CN115834643A (zh) 一种面向物联网设备数据互通的系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant