CN113014511B - 一种数据处理的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种数据处理的方法、装置、电子设备及存储介质。其中，该方法包括：将获取的物联网设备数据包存储在标准模拟数据库SSDB的过程中，检测等待存储的物联网设备数据包的数量值；根据所述等待存储的物联网设备数据包的数量值，控制所述物联网设备数据包的获取操作。本申请实施例提供的技术方案，不仅能够满足物联网设备的万量级的数据收集，而且还能确保数据包不会丢失。

Description

一种数据处理的方法、装置、电子设备及存储介质

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种数据处理的方法、装置、电子设备及存储介质。

背景技术

随着大数据技术的发展，需要对物联网设备的终端数据进行收集，进行大数据处理分析。

现有技术中，通过收集物联网设备的终端数据、上报统一云平台，最终下发给各系统或产品数据使用，建立起一套完整的通讯中心。但是，由于物联网设备环境问题和网络问题，会造成物联网设备的终端数据在数据传输过程中的出现数据丢失问题。

因此，现有技术中尚无一种可以收集各行各业物联网设备的终端数据、性能较好的数据处理的方法。

发明内容

本申请实施例提供了一种数据处理的方法、装置、电子设备及存储介质，本方案不仅能够满足物联网设备的万量级的数据收集，而且还能确保数据包不会丢失。

第一方面，本申请实施例提供了一种数据处理的方法，该方法包括：

将获取的物联网设备数据包存储在标准模拟数据库SSDB的过程中，检测等待存储的物联网设备数据包的数量值；

根据所述等待存储的物联网设备数据包的数量值，控制所述物联网设备数据包的获取操作。

第二方面，本申请实施例提供了一种数据处理的装置，该装置包括：

检测模块，用于将获取的物联网设备数据包存储在标准模拟数据库SSDB的过程中，检测等待存储的物联网设备数据包的数量值；

控制模块，用于根据所述等待存储的物联网设备数据包的数量值，控制所述物联网设备数据包的获取操作。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所述的数据处理的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现本申请任意实施例所述的数据处理的方法。

本申请实施例提供了一种数据处理的方法、装置、电子设备及存储介质，在将获取的物联网设备数据包存储在标准模拟数据库SSDB的过程中，检测等待存储的物联网设备数据包的数量值；再根据等待存储的物联网设备数据包的数量值，控制数据包的获取操作。本申请方案不仅能够满足物联网设备的万量级的数据收集，而且还能确保数据包不会丢失。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1A为本申请提供的一种数据处理的方法的方案框架示意图；

图1B为本申请实施例一提供的一种数据处理的方法的第一流程示意图；

图2为本申请实施例二提供的一种数据处理的方法的第二流程示意图；

图3A为本申请实施例三提供的一种数据处理的方法的第三流程示意图；

图3B为本申请实施例三提供的一种数据处理的方法的第四流程示意图；

图4为本申请实施例四提供的一种数据处理的装置的结构示意图；

图5是用来实现本申请实施例的一种数据处理的方法的电子设备的框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在介绍本申请实施例之前，先对本申请的基础框架进行简单介绍。本申请是通过设备网关收集不同物联网设备数据的终端数据，上报至平台并进行数据处理，最终下发给各个系统或产品数据使用，建立起一套完整的通讯中心。其中，设备网关是整个通讯中心的核心功能，主要负责海量物联网设备发出的高频率数据包的接收及实现准实时设备反控功能。如图1A所示，设备网关是采用linux系统下多进程和多线程技术研发，设备网关的内部由一个管理进程、若干个通讯进程组成。其中，若干个通讯进程包括数据收集进程、临时数据包队列、数据包处理进程和数据包发布进程。每个通讯进程可以创建多个通讯线程。其中，数据收集进程用于获取物联网设备的数据包，管理进程负责监控数据收集进程的工作状态；临时数据包队列用于暂时存储所获取的物联网设备数据包；数据包处理进程用于对临时数据包队列中的数据包进行数据包入库处理并存储在目标数据库中；数据包发布进程用于根据订阅信息对目标数据库中需要发布的数据包进行发布。

实施例一

图1B为本申请实施例一提供的一种数据处理的方法的第一流程示意图，本实施例可适用于在使用网关设备获取物联网设备数据包时，根据等待存储的物联网设备数据包的数量值来控制网关设备获取物联网设备数据包的情况。本实施例提供的一种数据处理的方法可以由本申请实施例提供的数据处理的装置来执行，该装置可以通过软件和/或硬件的方式实现，并集成在执行本方法的电子设备中。

参见图1B，本实施例的方法包括但不限于如下步骤：

S110、将获取的物联网设备数据包存储在标准模拟数据库SSDB的过程中，检测等待存储的物联网设备数据包的数量值。

其中，物联网设备数据包是指物联网设备在运行时所产生的数据，如道路摄像头在记录路面车辆行驶过程中产生的路面车辆数据。标准模拟数据库(Standard SimulationData Base，SSDB)是一个高性能支持丰富数据结构的NoSQL数据库，在本申请中，与目标数据库而言，SSDB相当于前置库。

在本申请实施例中，首先，通过本地配置在设备网关中的行业通讯协议标准获取物联网设备数据包。然后，将获取的物联网设备数据包存储在SSDB中。最后，对存储在SSDB中的物联网设备数据包进行数据包入库处理操作，并存储在目标数据库中。其中，具体的如何获取的物联网设备数据包的详细过程将在下述实施例中进行解释说明。

可选的，本步骤中将获取的物联网设备数据包存储在SSDB中的具体过程为：将获取的物联网设备数据包传输至临时数据包队列中；从临时数据包队列中依次获取物联网设备数据存储在SSDB中。

在本申请实施例中，管理进程可以为数据收集进程创建多个通讯线程。每个通讯线程可同时与若干个物联网设备建立链接，获取物联网设备的数据包，将其放入临时数据包队列中。因而，存入临时数据包队列的物联网设备数据包的数量可达万量级。然后，再从临时数据包队列中依次获取物联网设备数据存储在SSDB中。这样设置的原因在于，临时数据包队列的数据存储快，而SSDB数据存储慢，因此，将获取的物联网设备数据包先传输至临时数据包队列，再从临时数据包队列中依次获取物联网设备数据包存储在SSDB中，不仅能够满足物联网设备的万量级的数据收集，而且还能确保数据包不会丢失。

在本申请实施例中，将获取的物联网设备数据包存储在SSDB的过程中，需要检测等待存储的物联网设备数据包的数量值。其中，等待存储的物联网设备数据包的数量值为已经获取，但还没有存入SSDB中的物联网设备数据包的数量值，如可以是临时数据包队列中包含的物联网设备数据包的数量值。

S120、根据等待存储的物联网设备数据包的数量值，控制物联网设备数据包的获取操作。

在本申请实施例中，经上述步骤，在将获取的物联网设备数据包存储在SSDB的过程中，检测等待存储的物联网设备数据包的数量值。然后，根据等待存储的物联网设备数据包的数量值，判断是否超过预设阈值，也就是，判断是否能够及时进行数据包入库处理。若等待存储的物联网设备数据包的数量值超过预设阈值或者低于预设阈值，则数据包处理进程向管理进程发送通知消息，以使管理进程控制数据收集进程的关闭或者开启，即关闭或者开启数据收集进程接收物联网设备数据包的通讯通道。

可选的，本步骤根据等待存储的物联网设备数据包的数量值，控制数据包的获取操作的具体过程可以通过以下两个子步骤实现：

S1201、若等待存储的物联网设备数据包的数量值达到第一阈值，则暂停物联网设备数据包的获取操作。

在本申请实施例中，当等待存储的物联网设备数据包的数量值达到第一阈值时，表明临时数据包队列中的物联网设备数据包的数量过多、数据包处理进程无法及时对物联网设备数据包进行入库处理，则数据包处理进程向管理进程发送通知消息，以使管理进程暂时关闭数据收集进程接收物联网设备数据包的通讯通道，暂停物联网设备数据包的获取操作。可选的，等待临时数据包队列中的物联网设备数据包入库处理结束后，再度开启物联网设备数据包的获取操作。

可选的，数据包处理进程可以通过多线程技术实现物联网设备数据包的入库处理。

可选的，若等待存储的物联网设备数据包的数量值达到第一阈值，也可以是数据包处理进程向管理进程发送通知消息，以使管理进程关闭一部分(预设数量)的数据收集进程对应的通讯线程。

S1202、若等待存储的物联网设备数据包的数量值小于第二阈值，则启动物联网设备数据包的获取操作。

其中，第二阈值小于第一阈值。

在本申请实施例中，当等待存储的物联网设备数据包的数量值小于第二阈值时，表明临时数据包队列中的物联网设备数据包的数量较少，则数据包处理进程向管理进程发送通知消息，以使管理进程开启数据收集进程接收物联网设备数据包的通讯通道，启动物联网设备数据包的获取操作。

可选的，若等待存储的物联网设备数据包的数量值小于第二阈值，也可以是数据包处理进程向管理进程发送通知消息，以使管理进程为数据收集进程增加预设数量的通讯线程。

本实施例提供的技术方案，通过将获取的物联网设备数据包存储在SSDB的过程中，检测等待存储的物联网设备数据包的数量值；根据等待存储的物联网设备数据包的数量值，控制数据包的获取操作。本申请在数据收集进程获取物联网设备数据包的速度远远大于数据包处理进程对等待存储的物联网设备数据包进行入库处理的速度时，通过管理进程控制等待存储的物联网设备数据包的数量，使得数据包处理进程能够及时对等待存储的物联网设备数据包进行入库处理。因而，本申请方案能够解决了现有技术中由于物联网设备环境问题和网络问题所造成的在数据传输过程中的出现数据包丢失问题。本申请方案不仅能够满足物联网设备的万量级的数据收集，而且还能确保数据包不会丢失。本申请方案实现简单方便、便于普及，适用范围更广。

实施例二

图2为本申请实施例二提供的一种数据处理的方法的第二流程示意图。本申请实施例是在上述实施例的基础上进行优化，具体优化为：增加了对物联网设备数据包的获取过程和对物联网设备的异常处理过程进行详细的解释说明。

参见图2，本实施例的方法包括但不限于如下步骤：

S210、通过本地配置的至少两个行业的通讯协议标准，获取至少两个行业的物联网设备数据包。

在本申请实施例中，通过将至少两个行业的通讯协议标准内置在设备网关中，使得设备网关通过数据收集进程可以获取不同行业的物联网设备的数据包。具体的，数据收集进程物获取联网设备数据包的过程为：管理进程根据设备网关的服务器性能，判断能够为数据收集进程创建的通信线程的数量，并为数据收集进程创建通讯线程。每个通讯线程可同时与若干个物联网设备建立链接，通过询问、握手、校验、应答等标准通讯协议进行数据通讯，并获取物联网设备的数据包，将其放入临时数据包队列中。

在本申请实施例中，在数据收集进程获取物联网设备数据包的过程中，管理进程负责监控数据收集进程的工作状态。具体的，当数据收集进程有异常时，管理进程将对数据收集进程进行初始化重置。当数据收集进程所连接的物联网设备数量过多，数据收集进程压力过大时，管理进程为数据收集进程增加预设数量的通讯线程，分担其他通讯线程的工作压力。当数据收集进程所连接的物联网设备数量降低时，管理进程自动为数据收集进程关闭预设数量的通讯线程，释放服务器资源。其中，预设数量的个数由物联网设备环境决定。因此，管理进程作为设备网关的大脑，负责指挥整个进程的运行，其控制通讯线程的数量的合理性也决定了整个系统运行效率。

S220、若检测到物联网设备数据包关联的物联网设备存在异常，则生成反控指令。

其中，反控指令是管理进程生成的，用于控制物联网设备数据包所关联的物联网设备，以使物联网设备完成反控命令所对应的任务。

在本申请实施例中，在对物联网设备数据包进行获取或者存储的过程中出现异常情况时，管理进程可直接对物联网设备数据包关联的物联网设备进行远程反控。其中，异常包括物联网设备存在异常、对行业通讯协议标准进行调整等。示例性的，当检测到物联网设备存在异常的情况下，管理进程生成反控指令，如初始化重置物联网设备。当需要调整行业通讯协议标准时，管理进程生成反控指令，如调整设备网关中配置的行业通讯协议标准。

S230、将反控指令发送至物联网设备，以使物联网设备执行反控指令。

在本申请实施例中，当数据收集进程通过进程通讯技术接收到反控指令时，将反控指令发送至物联网设备，以使被反控的物联网设备完成反控命令所对应的任务。示例性的，当检测到物联网设备存在异常的情况下，管理进程生成反控指令，并发送至数据收集进程，以使数据收集进程反控物联网设备数据包关联的物联网设备。当需要调整行业通讯协议标准时，管理进程生成反控指令，并发送至数据收集进程，使其暂停物联网设备数据包的获取操作，并对行业通讯协议标准调整，之后再启动物联网设备数据包的获取操作。

S240、将获取的物联网设备数据包存储在标准模拟数据库SSDB的过程中，检测等待存储的物联网设备数据包的数量值。

S250、根据等待存储的物联网设备数据包的数量值，控制物联网设备数据包的获取操作。

需要说明的是，S220-S230是对物联网设备的异常处理过程。S240-S250是对物联网设备数据包的具体处理过程。这两个过程是相互独立的，本申请实施例不对这两个过程的执行顺序进行限定，需要根据实际情况来确定两个过程的具体执行顺序，所以实际执行时可以是按照本申请上述实施例介绍的顺序执行，也可以是先执行S240-S250，再执行S220-S230，还可以同时执行。

本实施例提供的技术方案，通过本地配置的至少两个行业的通讯协议标准，获取至少两个行业的物联网设备数据包；若检测到物联网设备数据包关联的物联网设备存在异常，则生成反控指令；将反控指令发送至物联网设备，以使物联网设备执行反控指令；将获取的物联网设备数据包存储在标准模拟数据库SSDB的过程中，检测等待存储的物联网设备数据包的数量值；根据等待存储的物联网设备数据包的数量值，控制数据包的获取操作。本申请通过将至少两个行业的通讯协议标准内置在设备网关中，使得设备网关通过数据收集进程可以获取不同行业的物联网设备的数据包，解决了现有技术只适用于收集单一行业的物联网设备的终端数据，不能满足大数据技术的需要。此外，本申请通过管理的反控功能，可以实现对行业通讯协议标准的调整以及对物联网设备的异常处理。

实施例三

图3A为本申请实施例三提供的一种数据处理的方法的第三流程示意图；

图3B为本申请实施例三提供的一种数据处理的方法的第四流程示意图。本申请实施例是在上述实施例的基础上进行优化，具体优化为：增加了对数据包的发布过程进行详细的解释说明。

参考图3A，本实施例的方法包括但不限于如下步骤：

S310、通过本地配置的至少两个行业的通讯协议标准，获取至少两个行业的物联网设备数据包。

S320、将获取的物联网设备数据包存储在标准模拟数据库SSDB的过程中，检测等待存储的物联网设备数据包的数量值。

S330、根据等待存储的物联网设备数据包的数量值，控制物联网设备数据包的获取操作。

S340、根据物联网设备数据包的版本号和物联网设备数据包关联的物联网设备的设备标识，将SSDB中存储的物联网设备数据包存储在目标数据库中。

其中，目标数据库是用于存储对SSDB中的数据包进行数据包入库处理操作之后的数据包。在本申请中，先将获取的物联网设备数据包传输至临时数据包队列中，再从临时数据包队列中依次获取物联网设备数据存储在SSDB中，最后对存储在SSDB中的物联网设备数据包进行数据包入库处理操作，并存储在目标数据库中。与目标数据库而言，SSDB相当于前置库。

在本申请实施例中，一条物联网设备数据包中除了有核心数据信息，还有物联网设备数据包的版本号和物联网设备数据包关联的物联网设备的设备标识。经上述步骤，将获取的物联网设备数据包存储在SSDB中，之后，对SSDB中的数据包进行数据包入库处理操作，并存储在目标数据库中。

具体的入库处理操作过程为：如图3B所示，从SSDB中提取一条数据包，首先，判断数据包的数据包版本号是否可识别，如果数据包版本号与设备网关中所存储的数据包版本号不同，则表示版本号不可识别，则将数据包标记为错误数据包，并存储到错误数据库中；如果数据包版本号与设备网关中所存储的数据包版本号相同，则表示版本号可识别，则根据解析模板解析数据包，将解析成功的数据包以数据对象的形式表示，并存储在数据对象列表。若解析数据包失败，则将数据包标记为错误数据包，并存储到错误数据库中。然后，根据物联网设备数据包关联的物联网设备的设备标识判断缓存组件(存放着物联网设备的设备信息，如出厂信息)中是否存在该设备标识对应的设备存储表及数据包订阅信息；若缓存组件中没有该设备标识对应的设备存储表及数据包订阅信息，则从设备数据库(该设备数据库是用于存储物联网设备的设备存储表及数据包订阅信息)中获取，并将其添加至缓存组件中，若设备数据库中没有该条数据包对应的物联网设备的设备存储表及数据包订阅信息，则将该条数据包标记为错误数据包，并存储到错误数据库中。最后，更新该条数据包对应的最新接收时间，并将数据包保存至目标数据库中。若在保存数据包的过程中保存失败，则将该数据包保存到错误数据库中。其中，数据包订阅信息是指该条数据包被前端设备订阅的信息，包含是否被订阅、被哪个前端设备订阅以及订阅时间等。

可选的，在更新数据包对应的最近接收时间之后，可以对数据包先进行截取操作，去掉包头和包尾的标识信息之后，再保存至目标数据库中。

S350、若检测到数据发布事件，则从目标数据库中查找并发布数据发布事件关联的物联网设备数据包。

在本申请实施例中，数据发布事件是指将已被订阅的数据包发布至对应的前端设备。具体过程为：如图3B所示，首先，根据数据包订阅信息依次逐一判断目标数据库中的数据包是否需要发布，若不需要发布，则终止操作；若需要发布，则将需要发布的数据包存储至待发布数据库中。然后，从待发布数据库中获取一条待发布数据包，并从数据包订阅信息中获取待发布容器地址，判断发布容器是否阻塞，若否，则待发布数据包发布至对应的前端设备；若是，则等待预设时间再次判断发布容器是否阻塞，直至发布容器不阻塞，将待发布数据包发布至对应的前端设备。最后，从待发布数据库中移除已发布成功的数据包。

本实施例提供的技术方案，通过本地配置的至少两个行业的通讯协议标准，获取至少两个行业的物联网设备数据包；再将获取的物联网设备数据包存储在标准模拟数据库SSDB的过程中，检测等待存储的物联网设备数据包的数量值；根据等待存储的物联网设备数据包的数量值，控制数据包的获取操作；根据物联网设备数据包的版本号和物联网设备数据包关联的物联网设备的设备标识，将SSDB中存储的物联网设备数据包存储在目标数据库中；若检测到数据发布事件，则从目标数据库中查找并发布数据发布事件关联的物联网设备数据包。本申请通过对物联网设备数据包进行入库处理，按照分类路由，智能解析，按需发布的原则完成处理工作，建立起一套完整的通讯中心。本申请可以实现通过设备网关收集不同物联网设备数据的终端数据，上报至平台并进行数据处理之后，最终下发给各个前端设备使用。

实施例四

图4为本申请实施例提供的一种数据处理的装置的结构示意图，如图4所示，该装置400可以包括：

检测模块410，用于将获取的物联网设备数据包存储在标准模拟数据库SSDB的过程中，检测等待存储的物联网设备数据包的数量值。

控制模块420，用于根据所述等待存储的物联网设备数据包的数量值，控制所述物联网设备数据包的获取操作。

进一步的，上述控制模块420，可以具体用于：若所述等待存储的物联网设备数据包的数量值达到第一阈值，则暂停所述物联网设备数据包的获取操作；若所述等待存储的物联网设备数据包的数量值小于第二阈值，则启动所述物联网设备数据包的获取操作；其中，所述第二阈值小于所述第一阈值。

进一步的，上述检测模块410，可以具体用于：将获取的物联网设备数据包传输至临时数据包队列中；从所述临时数据包队列中依次获取所述物联网设备数据，并存储在标准模拟数据库SSDB中。

可选的，所述等待存储的物联网设备数据包的数量值为所述临时数据包队列中包含的物联网设备数据包的数量值。

进一步的，上述数据处理的装置，还可以包括：获取模块；

所述获取模块，用于通过本地配置的至少两个行业的通讯协议标准，获取所述至少两个行业的物联网设备数据包。

进一步的，上述数据处理的装置，还可以包括：反控模块；

所述反控模块，用于若检测到所述物联网设备数据包关联的物联网设备存在异常，则生成反控指令；将所述反控指令发送至所述物联网设备，以使所述物联网设备执行所述反控指令。

进一步的，上述数据处理的装置，还可以包括：发布模块；

所述发布模块，用于根据所述物联网设备数据包的版本号和所述物联网设备数据包关联的物联网设备的设备标识，将SSDB中存储的物联网设备数据包存储在目标数据库中；若检测到数据发布事件，则从目标数据库中查找并发布所述数据发布事件关联的物联网设备数据包。

本实施例提供的数据处理的装置可适用于上述任意实施例提供的数据处理的方法，具备相应的功能和有益效果。

实施例五

图5为本发明实施例五提供的一种电子设备的结构示意图，图5示出了适于用来实现本发明实施例实施方式的示例性电子设备的框图。图5显示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。该电子设备典型可以是智能手机、平板电脑、笔记本电脑、车载终端以及可穿戴设备等。

如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：一个或者多个处理器或者处理单元516，存储器528，连接不同系统组件(包括存储器528和处理单元516)的总线518。

总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备500典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备500访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)530和/或高速缓存存储器532。电子设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明实施例各实施例的功能。

具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明实施例所描述的实施例中的功能和/或方法。

电子设备500也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，电子设备500还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器520通过总线518与电子设备500的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元516通过运行存储在存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任一实施例所提供的产品监管方法。

实施例六

本发明实施例六还提供一种计算机可读存储介质，其上存储有计算机程序(或称为计算机可执行指令)，该程序被处理器执行时可以用于执行本发明上述任一实施例所提供的产品监管方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种数据处理的方法，其特征在于，所述方法由设备网关执行，包括：

通过本地配置的至少两个行业的通讯协议标准，获取所述至少两个行业的物联网设备数据包；所述设备网关配置有所述至少两个行业的通讯协议标准；

将获取的物联网设备数据包存储在标准模拟数据库SSDB的过程中，检测等待存储的物联网设备数据包的数量值；

根据所述等待存储的物联网设备数据包的数量值，控制所述物联网设备数据包的获取操作；

根据所述物联网设备数据包的版本号和所述物联网设备数据包关联的物联网设备的设备标识，将SSDB中存储的物联网设备数据包存储在目标数据库中；

若检测到数据发布事件，则从目标数据库中查找并发布所述数据发布事件关联的物联网设备数据包；

其中，所述将SSDB中存储的物联网设备数据包存储在目标数据库中的具体过程为：从SSDB中提取一条数据包，首先，判断数据包的数据包版本号是否可识别，如果数据包版本号与设备网关中所存储的数据包版本号不同，则表示版本号不可识别，则将数据包标记为错误数据包，并存储到错误数据库中；如果数据包版本号与设备网关中所存储的数据包版本号相同，则表示版本号可识别，则根据解析模板解析数据包，将解析成功的数据包以数据对象的形式表示，并存储在数据对象列表；若解析数据包失败，则将数据包标记为错误数据包，并存储到错误数据库中；然后，根据物联网设备数据包关联的物联网设备的设备标识判断缓存组件中是否存在该设备标识对应的设备存储表及数据包订阅信息；若缓存组件中没有该设备标识对应的设备存储表及数据包订阅信息，则从设备数据库中获取，并将其添加至缓存组件中，若设备数据库中没有该条数据包对应的物联网设备的设备存储表及数据包订阅信息，则将该条数据包标记为错误数据包，并存储到错误数据库中；最后，更新该条数据包对应的最新接收时间，并将数据包保存至目标数据库中；若在保存数据包的过程中保存失败，则将该数据包保存到错误数据库中；数据包订阅信息是指该条数据包被前端设备订阅的信息，包含是否被订阅、被哪个前端设备订阅以及订阅时间等。

2.根据权利要求1所述的方法，根据所述等待存储的物联网设备数据包的数量值，控制所述物联网设备数据包的获取操作，包括：

若所述等待存储的物联网设备数据包的数量值达到第一阈值，则暂停所述物联网设备数据包的获取操作；

若所述等待存储的物联网设备数据包的数量值小于第二阈值，则启动所述物联网设备数据包的获取操作；

其中，所述第二阈值小于所述第一阈值。

3.根据权利要求1所述的方法，其中，将获取的物联网设备数据包存储在标准模拟数据库SSDB中，包括：

将获取的物联网设备数据包传输至临时数据包队列中；

从所述临时数据包队列中依次获取所述物联网设备数据，并存储在标准模拟数据库SSDB中。

4.根据权利要求3所述的方法，其中，所述等待存储的物联网设备数据包的数量值为所述临时数据包队列中包含的物联网设备数据包的数量值。

5.根据权利要求1所述的方法，还包括：

若检测到所述物联网设备数据包关联的物联网设备存在异常，则生成反控指令；

将所述反控指令发送至所述物联网设备，以使所述物联网设备执行所述反控指令。

6.一种数据处理的装置，其特征在于，所述装置集成于设备网关，所述装置包括：

获取模块，用于通过本地配置的至少两个行业的通讯协议标准，获取所述至少两个行业的物联网设备数据包；所述设备网关配置有所述至少两个行业的通讯协议标准；

检测模块，用于将获取的物联网设备数据包存储在标准模拟数据库SSDB的过程中，检测等待存储的物联网设备数据包的数量值；

控制模块，用于根据所述等待存储的物联网设备数据包的数量值，控制所述物联网设备数据包的获取操作；

发布模块，用于根据所述物联网设备数据包的版本号和所述物联网设备数据包关联的物联网设备的设备标识，将SSDB中存储的物联网设备数据包存储在目标数据库中；若检测到数据发布事件，则从目标数据库中查找并发布所述数据发布事件关联的物联网设备数据包；

所述发布模块，具体用于从SSDB中提取一条数据包，首先，判断数据包的数据包版本号是否可识别，如果数据包版本号与设备网关中所存储的数据包版本号不同，则表示版本号不可识别，则将数据包标记为错误数据包，并存储到错误数据库中；如果数据包版本号与设备网关中所存储的数据包版本号相同，则表示版本号可识别，则根据解析模板解析数据包，将解析成功的数据包以数据对象的形式表示，并存储在数据对象列表；若解析数据包失败，则将数据包标记为错误数据包，并存储到错误数据库中；然后，根据物联网设备数据包关联的物联网设备的设备标识判断缓存组件中是否存在该设备标识对应的设备存储表及数据包订阅信息；若缓存组件中没有该设备标识对应的设备存储表及数据包订阅信息，则从设备数据库中获取，并将其添加至缓存组件中，若设备数据库中没有该条数据包对应的物联网设备的设备存储表及数据包订阅信息，则将该条数据包标记为错误数据包，并存储到错误数据库中；最后，更新该条数据包对应的最新接收时间，并将数据包保存至目标数据库中；若在保存数据包的过程中保存失败，则将该数据包保存到错误数据库中；数据包订阅信息是指该条数据包被前端设备订阅的信息，包含是否被订阅、被哪个前端设备订阅以及订阅时间等。

7.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的数据处理的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的数据处理的方法。

Images