CN110598431A - 一种物联网数据处理方法、装置、服务器及存储介质 - Google Patents
一种物联网数据处理方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN110598431A CN110598431A CN201910838292.9A CN201910838292A CN110598431A CN 110598431 A CN110598431 A CN 110598431A CN 201910838292 A CN201910838292 A CN 201910838292A CN 110598431 A CN110598431 A CN 110598431A
- Authority
- CN
- China
- Prior art keywords
- task
- data
- task data
- access terminal
- internet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 37
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/03—Protecting confidentiality, e.g. by encryption
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种物联网数据处理方法,包括:获取接入终端发送的预先加密的任务数据;基于预设条件对所述任务数据进行分类;基于所述分类创建任务线程池,所述分类的数量和所述任务线程池的数量相同;将所述任务数据分别放入分类对应的任务线程池;基于预存的接入终端的设备信息对所述预先加密的任务数据进行解密;将解密成功的所述任务数据存入指定文件路径。同时,本发明还公开了一种物联网数据处理装置、服务器及存储介质。本发明通过将采集到的海量数据放入不同分类的任务线程池,提高了物联网平台数据处理的效率,使平台能够支持海量终端多并发的数据采集。
Description
技术领域
本发明实施例涉及多终端设备的物联网接入技术,尤其涉及一种物联网数据处理方法、装置、服务器及存储介质。
背景技术
移动通信正从人与人的连接,迈向人与物的连接和物与物的连接。随着物联网技术的发展,出现了海量的物联网接入终端。
由于接入终端的数量增加,高并发、大量数据给物联网平台带来了运算负担,容易出现数据异常或平台宕机,也给控制设备、平台维护、数据采集、数据存储等相关工作增加了管理难度,同时导致运行成本增加。
发明内容
本发明提供一种物联网数据处理方法,以实现对海量接入终端的数据进行高效管理,便于进行数据分析和管理,防止平台服务器宕机。
第一方面,本发明提出了一种物联网数据处理方法,包括如下步骤:
获取接入终端发送的预先加密的任务数据;
基于预设条件对所述任务数据进行分类;
基于所述分类创建任务线程池,所述分类的数量和所述任务线程池的数量相同;
将所述任务数据分别放入分类对应的任务线程池;
基于预存的接入终端的设备信息对所述预先加密的任务数据进行解密;
将解密成功的所述任务数据存入指定文件路径。
第二方面,本发明实施例还提供了一种物联网数据处理装置,包括如下模块:
指令收发模块,用于获取接入终端发送的预先加密的任务数据;
任务数据分类模块,用于基于预设条件对所述任务数据进行分类;
任务线程模块,用于基于所述分类创建任务线程池,所述分类的数量和所述任务线程池的数量相同;
还用于将所述任务数据分别放入分类对应的任务线程池;
解密模块,用于基于预存的接入终端的设备信息对所述预先加密的任务数据进行解密;
存储模块,用于将解密成功的所述任务数据存入指定文件路径XX,该XX包括:
第三方面,本发明实施例还提供了一种服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如上述任一所述的物联网数据处理方法。
第四方面,本发明实施例提供了一种终端可读存储介质,其上存储有程序,其特征在于,所述程序被处理器执行时能够实现如上述任一所述的物联网数据处理方法。
本发明通过建立物联网统一接入平台,同时提供物联网接入方法,将大量接入终端及采集到的海量数据放入不同分类的任务线程池,提高了物联网平台数据处理的效率,使平台能够支持大量接入终端多并发的数据采集和高效管理。
附图说明
图1是本发明实施例一中的物联网数据处理方法流程图。
图2是本发明实施例二中的物联网数据处理方法流程图。
图3是本发明实施例二的替代实施例中的物联网数据处理方法流程图。
图4是本发明实施例二的替代实施例中的物联网数据处理方法流程图。
图5是本发明实施例二的替代实施例中的物联网数据处理方法流程图。
图6是本发明实施例三的中的物联网数据处理方法流程图。
图7是本发明实施例三的替代实施例中的物联网数据处理方法流程图。
图8为本发明实施例四的物联网数据处理装置模块图。
图9为本发明实施例四替代实施例中的物联网数据处理装置模块图。
图10为本发明实施例五提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止,但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外,术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等,但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说,在不脱离本申请的范围的情况下,第一速度差值可以为第二速度差值,且类似地,第二速度差值可以为第一速度差值。第一速度差值和第二速度差值两者都是速度差值,但其不是同一速度差值。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”、“批量”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
实施例一
本实施例提供了一种物联网数据处理方法,用于服务器从接入终端获取的任务数据能够解密成功的情况,如图1所示,其步骤如下:
S101.获取接入终端发送的预先加密的任务数据;
接入终端指的是接入物联网平台的设备,如智能家电、安防监控、智能医疗设备等,接入终端与物联网平台建立信息通讯连接即可传输数据。为提高数据传输的安全性,本实施例采用密钥对传输的任务数据进行加密。具体地,设备生产厂商在设备出厂时即在设备识别信息中预存有密钥A,同时在物联网平台也预存有对应的密钥A′,经过密钥A加密的任务数据传输至物联网平台后,服务器根据设备类型选择对应的密钥A′尝试解密。若解密成功,则表明服务器获取到的任务数据为合法数据,可进行下一步的数据处理,若解密不成功,则表明数据来源不合法。实例性地,本实施例所使用的加密方法,可以是AES加密算法。
S102.基于预设条件对所述任务数据进行分类;
该步骤中,任务数据指的是接入终端向服务器发送的请求数据,任务数据可以分类为注册信息、登录信息、数据上报信息等不同的类别,每一类中可以有一个或多个任务数据。
S103.基于所述分类创建任务线程池,所述分类的数量和所述任务线程池的数量相同;
为每一类任务数据分配一个任务线程池,每个任务线程池有多个文件解析线程。
S104.将所述任务数据分别放入分类对应的任务线程池;
S105.基于预存的接入终端的设备信息对所述预先加密的任务数据进行解密;
该步骤中,预存的接入终端的设备信息指的是用于解密的密钥A′,服务器读取预存的密钥A′对预先加密的任务数据进行解密。
S106.将解密成功的所述任务数据存入指定文件路径。
该步骤中,将解密成功的任务数据存入指定的解密成功文件路径中,当出现解密失败的任务数据,可将任务数据保存在解密失败文件路径中。同时,该步骤还通过文件类型对数据存入的数据库进行区分,主要分为两种:实时存储上报数据到Hbase数据库,用于服务器能够实时查询上报结果,Hbase数据库一般对任务数据保存7天;对于需要长期保存的报表类文件,经解密后存入Hive数据库中,以方便进行后续的报表离线计算及数据分析。
本实施例通过将多个任务数据根据任务类别放如不同的线程池进行处理,提高了大量数据采集和处理的效率,避免了高并发数据采集导致服务器宕机;同时,通过使用加密算法对采集的数据进行加密,能够提高数据传输的安全性。
实施例二
本实施例提供了一种物联网数据处理方法,以应对数据采集、处理过程中出现异常的情况。
如图2所示,具体地,上述步骤S101包括如下步骤:
为防止接入终端与服务器连接出现异常,在实施例一的步骤S101.获取接入终端发送的预先加密的任务数据之前,增加如下步骤:
S201.配置第一时间间隔内任务数据的目标获取量;
该步骤中,示例性地,第一时间间隔为1分钟。每1分钟获取一定数量的任务数据,通过步骤S202将任务数据的目标获取量和实际获取量进行对比,能以判断是否有接入异常或数据传输中断的接入终端。
S202.将获取到的预先加密的任务数据与所述目标获取量对比;
S203.若获取到的预先加密的任务数据少于目标获取量,则向所述接入终端发送连接检测请求;
当实际获取量少于目标获取量时,表明有至少一个接入终端出现接入异常或数据传输中断。因此向所有接入终端发送连接检测请求,根据反馈结果对接入情况和数据传输情况进行检测。
S204.接收接入终端根据所述连接检测请求反馈的信息,以判断接入终端是否出现连接异常;
该步骤中,示例性地,本实施例中的服务器挂载了N个数据采集的接入终端,当目标需要获取其中M个接入终端的经过加密的任务数据时,向对应的M个接入终端发送连接检测请求,M个接入终端根据连接检测请求进行反馈,服务器基于反馈结果确定出现异常的接入终端。
S205.若出现,则将所述接入终端及其异常信息发送至管理人员。
该步骤中,管理人员对接入终端进行修复,并向服务器发送连接检测请求,以使服务器获取接入终端恢复正常的信息。可选地,服务器可根据预先设置,在一段时间内进发情一次或多次连接检测请求,直到任务数据的实际获取量等于目标获取量,且接入终端的连接检测请求与连接检测请求的反馈结果均正常,则表明接入终端与服务器连接与数据传输无差错。
此时服务器可继续执行如下步骤:
S206.获取接入终端发送的预先加密的任务数据;
S207.基于预设条件对所述任务数据进行分类;
S208.基于所述分类创建任务线程池,所述分类的数量和所述任务线程池的数量相同;
S209.将所述任务数据分别放入分类对应的任务线程池;
S210.基于预存的接入终端的设备信息对所述预先加密的任务数据进行解密;
S211.将解密成功的所述任务数据存入指定文件路径。
如图3所示,在替代实施例中,在上述实施例的步骤S209.将所述任务数据分别放入分类对应的任务线程池之前,还可以包括如下步骤:
S212.将所述预先加密的任务数据的请求头与预设的设备信息匹配,以进行初步校验;
预先加密的任务数据至少包括请求头和数据包,基于接入终端的设备类型,任务数据的请求头可能包括但不限于如下设备信息:接入终端的设备识别码、设备接口地址、终端采集数据的传感器类型、传感器编号、任务数据类别(如温度当前值、人数等信息)。与上述实施例一所述的密钥A′类似,设备生产厂商在物联网平台也预存有接入终端的设备信息。在服务器获取高并发的终端接入时,使用请求头进行初步校验,若匹配通过,则将数据包放入线程池执行异步处理,使用请求头校验在提高安全性的基础上,避免了数据量过大时服务器出现延迟。若匹配不通过,表明该任务数据为非法数据,可能是接入终端为非法接入或终端被恶意调用。
S213.若匹配不通过,则向匹配不通过的设备信息对应的接入终端返回校验失败通知;
S214.若匹配通过,则将对应的预先加密的任务数据的数据包依次放入所述任务线程池。
如图4所示,在替代实施例中,步骤S211将解密成功的所述任务数据存入指定文件路径之后之后,还包括如下步骤:
S215.服务端基于预设的进度控制文件,确定第一时间间隔;
系统根据预先配置获取任务信息,启动各个任务数据处理任务。每个处理任务中根据预先配置,启动固定大小的线程处理每个文件,同一周期的所有任务处理完成后更新该业务的进度控制文件。
S216.每隔所述第一时间间隔向接入终端发送数据采集指令;
进度控制文件用于记录数据库的名字、数据文件的位置等信息,也记录了数据处理的进度和每次任务处理的时间,进度控制文件如果被损坏,可能导致数据库宕机,无法读取数据文件或无法写入数据文件。控制文件还用于启动和运行数据库,记录数据库的结构。在本实施例中,进度控制文件记录了第一时间间隔。第一时间间隔指的是预设的每次采集的一个或多个任务数据处理所需的时间。
在本实施例中,为监控每次数据采集和解析的时间,防止出现任务延迟,进度控制文件会配置第一时间间隔。服务器每隔第一时间间隔进行一次数据解析,每次从接入终端采集并解析一个或多个任务数据。当本次任务数据处理结束后,进度控制文件在当前时刻上增加第一时间间隔,以更新自身时间进度。
S217.判断第二时间间隔是否大于第一时间间隔,其中所述第二时间间隔等于本次任务数据处理结束的时刻减去获取预先加密的任务数据的时刻;
该步骤中,通过本次任务数据处理结束的时刻减去获取预先加密的任务数据的时刻获得第二时间间隔,进度控制文件将上述第一时间间隔和第二时间间隔写入数据库。数据库定时对比第二时间间隔与第一时间间隔的,当第二时间间隔大于第一时间间隔,则表明任务数据处理过程出现了延迟。
S218.若是,则生成任务延迟告警信息;
S219.将所述任务延迟告警信息发送至管理人员。
该步骤中,服务器运行解析任务数据的监控脚本,脚本运行时可读取控制文件写入数据库的时间信息,如果任务延迟,则生成任务延迟告警信息发送至管理人员。
如图5所示,在另一替代实施例中,在任务数据进行解析时,还增加了实时检测解析过程是否出现异常的步骤,具体如下:
S220.实时检测解密过程是否中断;
解析服务停止运行或卡住不动,可能的故障原因包括但不限于:接入终端挂载异常,数据库的磁盘剩余空间为0等。
解密后的任务数据在存储至Hive数据库和/或Hbase数据库之前,需经过Kafka集群进行数据传输。Kafka集群是一种高吞吐量的分布式发布订阅消息系统,能够提供磁盘数据结构提供消息的持久化保存,对以TB计算的大容量消息存储也能够保持长时间的稳定性能,同时具有高吞吐量,能够支持海量终端并入时产生的每秒数百万的任务数据传输。
S221.若是,则检测任务数据对应的磁盘空间剩余量;
S222.若所述剩余量为零,则清理任务数据对应的磁盘空间;
该步骤中,磁盘进行清除空间操作,以删除服务器运行期间产生的无效文件和临时文件。
S223.检测解密过程是否恢复;
清理磁盘空间后,服务器尝试继续执行任务数据解密操作,若仍未恢复,则可能是因为磁盘在空间满的时候导致控制文件的第一时间间隔无法被写入,导致数据解析服务无法依照第一时间间隔正常执行任务数据解析过程。
S224.若否,则向所述管理人员发送解析服务异常信息。
根据上述步骤,解密过程未恢复源于磁盘空间中未写入第一时间间隔,此时需要依靠管理人员对任务数据的第一时间间隔进行手动输入。因此服务器生成解析服务异常信息发送至管理人员,并获取管理人员输入的第一预设时间间隔写入清理后的磁盘空间中。
本实施例通过对比任务数据的实际获取量和目标获取量,防止接入终端与服务器连接与数据传输出现差错;同时通过读取任务数据的请求头进行初步校验,若匹配不通过,表明该任务数据为非法数据,避免了接入终端为非法接入或终端被恶意调用;同时,在任务数据进行解析时,增加了实时检测解析过程是否异常,以及时处理磁盘空间写满导致数据无法写入的问题。
实施例三
本实施例公开了一种物联网数据处理方法,用于接入终端根据获取指令采集相应的数据,发送至服务器并根据指令进行展示的过程,具体步骤如下:
在上述实施例二步骤S216.向接入终端发送数据采集指令之前,如图6所示,还包括如下步骤:
S301.获取用户输入的操作指令;
该步骤中,接入终端能够基于用户输入的操作指令执行对应操作,以生成用户所需要的数据。示例性地,接入终端为安防设备,用户输入的操作指令为:要求安防设备终端采集一天内经过固定区域的人数数据。
S302.基于服务端预先存储的设备信息,确定所述接入终端的设备安全等级;
由于接入终端包括安防设备、医疗设备等,随意操作很容易出现危险,为保证接入终端的设备安全,避免黑客恶意攻击,设备厂商在服务器中预存了设备信息,以对接入终端进行安全等级分类,所述安全等级能够根据需要划分为不同层级。示例性地,在本实施例中,安防设备可划分为低风险和高风险两个等级。
S303.当所述设备安全等级为低风险,则向所述接入终端发送操作指令;
S304.当所述设备安全等级为高风险,则将所述操作指令发送至安全校验中心;
由于终端设备涉及的行业范围非常广泛,许多对接入的操作命令具有一定的高风险性,比如说对温度的控制、电源的控制等,这些相关的操作命令,都进行了最严格的的命令下发管控。在该步骤中,可选地,服务器可以对高风险等级的接入终端进行额外的参数检测及校验,或将操作指令发送至安全校验中心,以对该操作指令的相关信息进行对比,在评估相关风险后确定知否执行此操作指令。
S305.当获取到所述安全校验中心返回的指令确认信息,则向所述接入终端发送所述操作指令。
服务器接收到指令确认信息后,将操作指令发送至接入终端。
如图7所示,在替代实施例中,在步骤S106将解密成功的所述任务数据存入指定文件路径之后,还包括如下步骤:
S306.服务端向所述任务数据对应的磁盘发送数据查询指令,所述数据查询指令包括所述接入终端的接口信息;
数据库获取到解密后的任务数据后,根据预设的配置,对任务数据进行异步运算并生成结果集保存。当需要查询和展示信息时,服务器端生成Http POST请求发送至数据库,数据库根据接口信息进行数据查询并返回查询结果,服务器可视化地展示查询结果。
S307.获取所述任务数据对应的磁盘基于所述接口信息返回的查询结果。
本实施例通过增加向数据磁盘发送数据查询指令,使数据查询更加便捷,提高了物联网平台数据管理的效率。
实施例四
图8为本发明实施例四提供的一种物联网数据处理装置4,包括如下模块:
指令收发模块401,用于获取接入终端发送的预先加密的任务数据;
任务数据分类模块402,用于基于预设条件对所述任务数据进行分类;
任务线程模块403,用于基于所述分类创建任务线程池,所述分类的数量和所述任务线程池的数量相同;
还用于将所述任务数据分别放入分类对应的任务线程池;
解密模块404,用于基于预存的接入终端的设备信息对所述预先加密的任务数据进行解密;
存储模块405,用于将解密成功的所述任务数据存入指定文件路径。
如图9所示,在替代实施例中,指令收发模块401还用于配置第一时间间隔内任务数据的目标获取量;
判断模块406,用于将获取到的预先加密的任务数据与所述目标获取量对比;
指令收发模块401,用于若获取到的预先加密的任务数据少于目标获取量,则向所述接入终端发送连接检测请求;接收接入终端根据所述连接检测请求反馈的信息,以判断接入终端是否出现连接异常;若出现连接异常,则将所述接入终端及其异常信息发送至管理人员。
在替代实施例中,预先加密的任务数据至少包括请求头和数据包。在将所述任务数据分别放入分类对应的任务线程池之前,还包括:
校验模块407,用于将所述预先加密的任务数据的请求头与预设的设备信息匹配,以进行初步校验;
任务线程模块403还用于若匹配通过,则将对应的预先加密的任务数据的数据包依次放入所述任务线程池;
指令收发模块401还用于若匹配不通过,则向匹配不通过的设备信息对应的接入终端返回校验失败通知。
在替代实施例中,
指令收发模块401还用于基于预设的进度控制文件,确定第一时间间隔;每隔所述第一时间间隔向接入终端发送数据采集指令;
判断模块406还用于判断第二时间间隔是否大于第一时间间隔,其中所述第二时间间隔等于本次任务数据处理结束的时刻减去获取预先加密的任务数据的时刻;
指令收发模块401,用于若第二时间间隔大于第一时间间隔,则生成任务延迟告警信息;并将所述任务延迟告警信息发送至管理人员。
在替代实施例中:
指令收发模块401还用于获取用户输入的操作指令;
安全等级模块408,用于基于服务端预先存储的设备信息,确定所述接入终端的设备安全等级;
指令收发模块401还用于,当所述设备安全等级为低风险,则向所述接入终端发送操作指令;当所述设备安全等级为高风险,则将所述操作指令发送至安全校验中心;当获取到所述安全校验中心返回的指令确认信息,则向所述接入终端发送所述操作指令。
在替代实施例中,将解密成功的所述任务数据存入指定文件路径,还包括:
判断模块406,还用于实时检测解密过程是否中断;若解密过程中断,则检测任务数据对应的磁盘空间剩余量;检测解密过程是否恢复;
磁盘清理模块409,若所述剩余量为零,则清理任务数据对应的磁盘空间;
指令收发模块401,用于若剩余量不为零,则向所述管理人员发送解析服务异常信息。
在替代实施例中,还包括:
指令收发模块401,还用于服务端向所述任务数据对应的磁盘发送数据查询指令,所述数据查询指令包括所述接入终端的接口信息;获取所述任务数据对应的磁盘基于所述接口信息返回的查询结果。
本实施例的物联网数据处理装置通过将采集到的海量数据放入不同分类的任务线程池,提高了物联网平台数据处理的效率,使平台能够支持海量终端多并发的数据采集。本实施例通过提供一种物联网数据处理装置,可执行本发明任意实施例所提供的物联网数据处理方法,具备执行方法相应的功能模块和有益效果。
实施例五
图10为本发明实施例五提供的一种服务器的结构示意图,如图所示,该服务器包括处理器501、存储器502、输入装置503和输出装置504;服务器中处理器501的数量可以是一个或多个,图中以一个处理器501为例;设备/终端/服务器中的处理器501、存储器502、输入装置503和输出装置504可以通过总线或其他方式连接,图10中以通过总线连接为例。
存储器502作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的主题更新方法对应的程序指令/模块(例如,物联网数据处理装置中的任务数据分类模块402,任务线程模块403等)。处理器501通过运行存储在存储器502中的软件程序、指令以及模块,从而执行设备/终端/服务器的各种功能应用以及数据处理,即实现上述的物联网数据处理方法。
存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器502可进一步包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置503可用于接收输入的数字或字符信息,以及产生与设备/终端/服务器的用户设置以及功能控制有关的键信号输入。输出装置504可包括显示屏等显示设备。
本发明实施例五中的服务器通过建立物联网统一接入平台,同时提供物联网接入方法,将大量接入终端及采集到的海量数据放入不同分类的任务线程池,提高了物联网平台数据处理的效率,使平台能够支持大量接入终端多并发的数据采集和高效管理。
实施例六
本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所提供的一种一种物联网数据处理方法,该方法可以包括:
获取接入终端发送的预先加密的任务数据;
基于预设条件对所述任务数据进行分类;
基于所述分类创建任务线程池,所述分类的数量和所述任务线程池的数量相同;
将所述任务数据分别放入分类对应的任务线程池;
基于预存的接入终端的设备信息对所述预先加密的任务数据进行解密;
将解密成功的所述任务数据存入指定文件路径。
本发明实施例的计算机可读存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种物联网数据处理方法,其特征在于,包括:
获取接入终端发送的预先加密的任务数据;
基于预设条件对所述任务数据进行分类;
基于所述分类创建任务线程池,所述分类的数量和所述任务线程池的数量相同;
将所述任务数据分别放入分类对应的任务线程池;
基于预存的接入终端的设备信息对所述预先加密的任务数据进行解密;
将解密成功的所述任务数据存入指定文件路径。
2.基于权利要求1所述的物联网数据处理方法,其特征在于,所述获取接入终端发送的预先加密的任务数据之前,还包括:
配置第一时间间隔内任务数据的目标获取量;
将获取到的预先加密的任务数据与所述目标获取量对比;
若获取到的预先加密的任务数据少于目标获取量,则向所述接入终端发送连接检测请求;
接收接入终端根据所述连接检测请求反馈的信息,以判断接入终端是否出现连接异常;
若出现,则将所述接入终端及其异常信息发送至管理人员。
3.基于权利要求1所述的物联网数据处理方法,其特征在于,预先加密的任务数据至少包括请求头和数据包,所述将所述任务数据分别放入分类对应的任务线程池之前,还包括:
将所述预先加密的任务数据的请求头与预设的设备信息匹配,以进行初步校验;
若匹配不通过,则向匹配不通过的设备信息对应的接入终端返回校验失败通知;
若匹配通过,则将对应的预先加密的任务数据的数据包依次放入所述任务线程池。
4.基于权利要求1所述的物联网数据处理方法,其特征在于,将解密成功的所述任务数据存入指定文件路径之后,还包括:
服务端基于预设的进度控制文件,确定第一时间间隔;
每隔所述第一时间间隔向接入终端发送数据采集指令;
判断第二时间间隔是否大于第一时间间隔,其中所述第二时间间隔等于本次任务数据处理结束的时刻减去获取预先加密的任务数据的时刻;
若是,则生成任务延迟告警信息;
将所述任务延迟告警信息发送至管理人员。
5.基于权利要求4所述的物联网数据处理方法,其特征在于,所述向接入终端发送数据采集指令之前,还包括:
获取用户输入的操作指令;
基于服务端预先存储的设备信息,确定所述接入终端的设备安全等级;
当所述设备安全等级为低风险,则向所述接入终端发送操作指令;
当所述设备安全等级为高风险,则将所述操作指令发送至安全校验中心;
当获取到所述安全校验中心返回的指令确认信息,则向所述接入终端发送所述操作指令。
6.基于权利要求1所述的物联网数据处理方法,其特征在于,所述将解密成功的所述任务数据存入指定文件路径,还包括:
实时检测解密过程是否中断;
若是,则检测任务数据对应的磁盘空间剩余量;
若所述剩余量为零,则清理任务数据对应的磁盘空间;
检测解密过程是否恢复;
若否,则向所述管理人员发送解析服务异常信息。
7.基于权利要求1所述的物联网数据处理方法,其特征在于,所述将解密成功的所述任务数据存入指定文件路径之后,还包括:
服务端向所述任务数据对应的磁盘发送数据查询指令,所述数据查询指令包括所述接入终端的接口信息;
获取所述任务数据对应的磁盘基于所述接口信息返回的查询结果。
8.一种物联网数据处理装置,其特征在于,包括:
指令收发模块,用于获取接入终端发送的预先加密的任务数据;
任务数据分类模块,用于基于预设条件对所述任务数据进行分类;
任务线程模块,用于基于所述分类创建任务线程池,所述分类的数量和所述任务线程池的数量相同;
还用于将所述任务数据分别放入分类对应的任务线程池;
解密模块,用于基于预存的接入终端的设备信息对所述预先加密的任务数据进行解密;
存储模块,用于将解密成功的所述任务数据存入指定文件路径。
9.一种服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任一所述的物联网数据处理方法。
10.一种终端可读存储介质,其上存储有程序,其特征在于,所述程序被处理器执行时能够实现如权利要求1-7任一所述的物联网数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910838292.9A CN110598431A (zh) | 2019-09-05 | 2019-09-05 | 一种物联网数据处理方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910838292.9A CN110598431A (zh) | 2019-09-05 | 2019-09-05 | 一种物联网数据处理方法、装置、服务器及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110598431A true CN110598431A (zh) | 2019-12-20 |
Family
ID=68857738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910838292.9A Pending CN110598431A (zh) | 2019-09-05 | 2019-09-05 | 一种物联网数据处理方法、装置、服务器及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110598431A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274268A (zh) * | 2020-01-15 | 2020-06-12 | 平安科技(深圳)有限公司 | 物联网数据传输方法、装置、介质及电子设备 |
CN112291302A (zh) * | 2020-09-28 | 2021-01-29 | 北京京东尚科信息技术有限公司 | 物联网设备行为数据分析方法与处理系统 |
CN113590577A (zh) * | 2021-06-01 | 2021-11-02 | 中国电子科技集团公司第十五研究所 | 一种数据管理方法、系统及可读存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102541653A (zh) * | 2010-12-24 | 2012-07-04 | 新奥特(北京)视频技术有限公司 | 一种多任务线程池调度方法和系统 |
CN106780154A (zh) * | 2017-01-23 | 2017-05-31 | 国网山东省电力公司电力科学研究院 | 多线程信息聚合的输变电工程建设过程环保措施监控系统及方法 |
CN106899691A (zh) * | 2017-03-16 | 2017-06-27 | 广州大学 | 一种基于云平台的智能物联网监控系统及方法 |
CN108259243A (zh) * | 2018-01-12 | 2018-07-06 | 深圳市卓讯信息技术有限公司 | 基于微服务技术架构的数据处理方法、终端及计算机存储介质 |
US20180322314A1 (en) * | 2017-05-02 | 2018-11-08 | Electronics And Telecommunications Research Institute | Fixed-location iot device for protecting secure storage access information and method for protecting secure storage access information of fixed-location iot device |
CN208314989U (zh) * | 2018-06-13 | 2019-01-01 | 南京益美沃电子科技有限公司 | 基于窄带物联网的智能采集终端 |
CN109756872A (zh) * | 2018-12-06 | 2019-05-14 | 国网山东省电力公司电力科学研究院 | 基于物理不可克隆函数的电网NB-IoT端到端数据处理方法 |
CN109768982A (zh) * | 2019-01-23 | 2019-05-17 | 深圳市元征科技股份有限公司 | 一种基于物联网的加密传输方法及装置 |
CN110099064A (zh) * | 2019-05-08 | 2019-08-06 | 广州创想云科技有限公司 | 一种基于物联网的文件处理方法、装置、设备和存储介质 |
CN110138843A (zh) * | 2019-04-23 | 2019-08-16 | 迈赫机器人自动化股份有限公司 | 一种农机制造物联网监控方法及系统 |
-
2019
- 2019-09-05 CN CN201910838292.9A patent/CN110598431A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102541653A (zh) * | 2010-12-24 | 2012-07-04 | 新奥特(北京)视频技术有限公司 | 一种多任务线程池调度方法和系统 |
CN106780154A (zh) * | 2017-01-23 | 2017-05-31 | 国网山东省电力公司电力科学研究院 | 多线程信息聚合的输变电工程建设过程环保措施监控系统及方法 |
CN106899691A (zh) * | 2017-03-16 | 2017-06-27 | 广州大学 | 一种基于云平台的智能物联网监控系统及方法 |
US20180322314A1 (en) * | 2017-05-02 | 2018-11-08 | Electronics And Telecommunications Research Institute | Fixed-location iot device for protecting secure storage access information and method for protecting secure storage access information of fixed-location iot device |
CN108259243A (zh) * | 2018-01-12 | 2018-07-06 | 深圳市卓讯信息技术有限公司 | 基于微服务技术架构的数据处理方法、终端及计算机存储介质 |
CN208314989U (zh) * | 2018-06-13 | 2019-01-01 | 南京益美沃电子科技有限公司 | 基于窄带物联网的智能采集终端 |
CN109756872A (zh) * | 2018-12-06 | 2019-05-14 | 国网山东省电力公司电力科学研究院 | 基于物理不可克隆函数的电网NB-IoT端到端数据处理方法 |
CN109768982A (zh) * | 2019-01-23 | 2019-05-17 | 深圳市元征科技股份有限公司 | 一种基于物联网的加密传输方法及装置 |
CN110138843A (zh) * | 2019-04-23 | 2019-08-16 | 迈赫机器人自动化股份有限公司 | 一种农机制造物联网监控方法及系统 |
CN110099064A (zh) * | 2019-05-08 | 2019-08-06 | 广州创想云科技有限公司 | 一种基于物联网的文件处理方法、装置、设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
甄凯成: "面向物联网应用的数据接入和存储系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
苏绍璟 等: "电子政务规划与设计", 国家行政学院出版社 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274268A (zh) * | 2020-01-15 | 2020-06-12 | 平安科技(深圳)有限公司 | 物联网数据传输方法、装置、介质及电子设备 |
CN111274268B (zh) * | 2020-01-15 | 2023-09-05 | 平安科技(深圳)有限公司 | 物联网数据传输方法、装置、介质及电子设备 |
CN112291302A (zh) * | 2020-09-28 | 2021-01-29 | 北京京东尚科信息技术有限公司 | 物联网设备行为数据分析方法与处理系统 |
CN112291302B (zh) * | 2020-09-28 | 2023-04-07 | 北京京东尚科信息技术有限公司 | 物联网设备行为数据分析方法与处理系统 |
CN113590577A (zh) * | 2021-06-01 | 2021-11-02 | 中国电子科技集团公司第十五研究所 | 一种数据管理方法、系统及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111082940B (zh) | 物联网设备控制方法、装置及计算设备、存储介质 | |
CN110598431A (zh) | 一种物联网数据处理方法、装置、服务器及存储介质 | |
CN112398860A (zh) | 一种安全控制的方法和装置 | |
US8869133B2 (en) | Method and system for use in facilitating patch change management of industrial control systems | |
CN112926048B (zh) | 一种异常信息检测方法和装置 | |
CN113704767A (zh) | 融合漏洞扫描引擎和漏洞工单管理的漏洞管理系统 | |
JP2023050189A (ja) | 脅威制御方法およびシステム | |
CN112838951B (zh) | 一种终端设备的运维方法、装置、系统及存储介质 | |
CN110138731B (zh) | 一种基于大数据的网络防攻击方法 | |
US20140189868A1 (en) | Method for detecting intrusions on a set of virtual resources | |
EP1952614B1 (en) | Method and system for remotely updating security systems | |
CN110049015B (zh) | 网络安全态势感知系统 | |
CN113993137B (zh) | 配置数据的监管系统、方法、装置、电子设备和介质 | |
CN114584366A (zh) | 电力监控网络安全检测系统及方法 | |
CN114584363A (zh) | 网络攻击检测方法、装置、设备及计算机可读存储介质 | |
CN116962149A (zh) | 网络故障的检测方法和装置、存储介质及电子设备 | |
JP2019168869A (ja) | インシデント検知システムおよびその方法 | |
CN113395235A (zh) | 一种IoT系统远程测试方法、系统和设备 | |
CN105825124A (zh) | 一种服务器非法操作的监测方法和监测系统 | |
CN111010391A (zh) | 一种漏洞修复方法、装置及其相关设备 | |
CN107124390B (zh) | 计算设备的安全防御、实现方法、装置及系统 | |
CN115484174B (zh) | 基于智能识别的纳管方法、装置、设备及存储介质 | |
CN113660667B (zh) | 一种用于运营商网络的非法劫持快速监测方法及系统 | |
CN114531339B (zh) | 一种日志收集方法、装置、电子设备和存储介质 | |
CN115102725B (zh) | 一种工业机器人的安全审计方法、装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191220 |