CN117194411A - 一种高并发数据采集与处理方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种高并发数据采集与处理方法、装置及存储介质，方法包括：客户端与云服务端建立通信连接后，按时间间隔a向云服务端发送设备系统数据并将其保存或更新至高速缓存数据库中；按照时间周期t，从高速缓存数据库中读取设备系统数据，按照设备ID主键索引方式更新结构化数据库中的设备状态表，按照递增序号索引方式将读取的设备系统数据插入到设备增量表中；定时查询结构化数据库设备增量表中前p天之前的设备系统数据，备份至备份数据库，同时删除结构化数据库设备增量表中相应设备系统数据的记录。本发明通过可适配网络、高速缓存和结构化存储三者有机结合的云服务端数据采集与处理方法，最大程度地降低采集成本和相关技术风险。

Description

一种高并发数据采集与处理方法、装置及存储介质

技术领域

本发明涉及数据采集与处理技术领域，尤其涉及一种高并发数据采集与处理方法、装置及存储介质。

背景技术

随着互联网、云计算技术高速发展，越来越多的用户将各自业务系统迁移至云服务端，通过云平台系统搭建业务桥梁，采集相关数据并进行处理显得非常重要。如何在海量、高并发业务请求状况下及时调整优化数据采集与处理中间件资源、参数及相关功能结构是十分重要的技术环节。

目前面对高并发场景，一般操作方法主要是增加服务器资源和通过消息队列来应对。

例如，公开号为CN110868349A的中国专利文献公开了一种物联网环境下分布式高并发数据采集与处理方法及系统，所述方法包括：创建进程引导器ServerBootstrap，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器，构造一个继承自ChannelInboundHandlerAdapter的处理类，添加针对不同协议的处理器Handler，构造主拦截器，利用上述步骤所构建的数据接收引导器来绑定进程端口监听硬件设备发送的数据并解析传入消息队列单元。

公开号为CN111797150A的中国专利文献公开了一种高并发数据对接转发的方法，包括：大数据接收系统通过NGINX服务器，接收来自不同前端设备采集的数据；大数据接收系统将前端数据进行分类清洗，将不同类型的标准数据放入到kafka的不同队列中供数据转发系统订阅；当大数据平台接收到订阅请求时，数据转发系统从kafka中获取订阅数据并发送至大数据平台。本发明通过对前端设备收集到的海量数据进行统一处理接收，系统接收到数据先进行整理、归类并存入到中间件kafka，然后从缓存队列中取出并转发至上级大数据平台。

增加服务器资源在实际应用过程中存在如何估算计算硬件匹配资源是一个难点，且弹性不足，非高并发场景下情况较多，容易造成资源浪费严重。通过消息队列来应对时，吞吐量存在极限值，且先进先出堆栈方式相对效率较低。

发明内容

本发明提供了一种高并发数据采集与处理方法，可以最大程度地降低高并发数据采集与处理成本和相关技术风险。

本发明的技术方案如下：

一种高并发数据采集与处理方法，包括：

(1)客户端与云服务端建立通信连接后，按时间间隔a向云服务端发送设备系统数据，云服务端接收到当前客户端的设备系统数据后，若高速缓存数据库中不存在当前客户端的设备系统数据，则将其保存至高速缓存数据库中，否则将其更新至高速缓存数据库中以覆盖当前客户端的原有设备系统数据；高速缓存数据库中，若一客户端的设备系统数据超过T时间未更新，则删除该客户端的设备系统数据；

(2)按照时间周期t，从高速缓存数据库中读取设备系统数据，根据读取的设备系统数据信息按照设备ID主键索引方式更新结构化数据库中的设备状态表，按照递增序号索引方式将读取的设备系统数据插入到设备增量表中；

(3)定时查询结构化数据库设备增量表中前p天之前的设备系统数据，并将前p天之前的设备系统数据备份至备份数据库，同时删除结构化数据库设备增量表中相应设备系统数据的记录。

优选的，客户端向云服务端发送设备系统数据的时间间隔a、从高速缓存数据库中读取设备系统数据的时间周期t、一客户端的设备系统数据在高速缓存数据库中最长保存时间T、设备系统数据包长度及客户端与云服务端的公网带宽可调。在高并发情况下可随时调整上述相关参数，以最大程度降低数据采集与处理成本和相关设备接入技术风险。

优选的，t≥a；T≥t。

a、t、T的取值根据高速缓存数据库性能和入网客户端设备系统数据进行调整，优选的，a为10-60秒；t为10-60秒；T为5-30分钟。

最优选的，a为20秒；t为30秒；T为10分钟。

p的取值根据结构化数据库性能和当前入网设备系统数据进行调整，优选的，p为30天。

本发明通过可适配网络、高速缓存和结构化存储三者有机结合的云服务端数据采集与处理方法，既提高了数据采集的并发能力，又减小了结构化数据库读写性能压力，可以最大程度地降低采集成本和相关技术风险，本发明的方法可以中间件部署和运行，且可实现即插即用。

客户端可以为工控设备、车载设备、媒体播放设备；客户端与云服务端的通信链接协议为WebSocket、MQTT、TCP/IP等通信协议。

优选的，客户端向云服务端发送的设备系统数据为JSON格式系统数据包。

优选的，云服务端接收到设备系统数据后，以Key-Value键值形式将其保存至高速缓存数据库中；Key值为设备ID，Value值为设备系统数据字符串将其保存至高速缓存数据库中。

优选的，步骤(2)包括：

转存定时器按照时间周期t进行计时：

处于nt时间点时，则以设备ID为键值从高速缓存数据库读取设备系统数据，根据读取的设备系统数据按照设备ID主键索引方式更新结构化数据库中的设备状态表；

处于mt时间点时，则以设备ID为键值从高速缓存数据库读取设备系统数据，按照递增序号索引方式将读取的设备系统数据插入到设备增量表中；

m、n为大于或等于1的整数，m＞n。

最优选的，m＝4，n＝2。

设备状态表用于记录客户端的最新设备状态，设备增量表用于存储客户端mt时间周期的设备系统数据。

优选的，步骤(3)包括：

(3-1)备份定时器进行计时，定时查询结构化数据库设备增量表中前p天以上的设备系统数据记录；

(3-2)将前p天以上的设备系统数据备份至备份数据库；

(3-2)删除结构化数据库设备增量表中前p天以上的设备系统数据记录。

进一步优选的，每天定时进行数据备份。可选每天的00:00-5:00时的某个时间点进行数据备份。

优选的，步骤(3-2)包括：将前p天以上的设备系统数据按照天时间维度转成CVS表格文件和缓存列表数据；将CVS表格文件备份到对象存储系统中，将缓存列表数据备份到备份数据库中。从而实现双备份以增加备份可靠性。

本发明还提供了一种高并发数据采集与处理装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现以下步骤：

(1)客户端与云服务端建立通信连接后，按一定时间间隔a向云服务端发送设备系统数据，云服务端接收到当前客户端的设备系统数据后，若高速缓存数据库中不存在当前客户端的设备系统数据，则将其保存至高速缓存数据库中，否则将其更新至高速缓存数据库中以覆盖当前客户端的原有设备系统数据；高速缓存数据库中，若一客户端的设备系统数据超过T时间未更新，则删除该客户端的设备系统数据；

(2)按照时间周期t，从高速缓存数据库中读取设备系统数据，根据读取的设备系统数据信息按照设备ID主键索引方式更新结构化数据库中的设备状态表，按照递增序号索引方式将读取的设备系统数据插入到设备增量表中；

(3)定时查询结构化数据库设备增量表中前p天以上的设备系统数据，并将前p天以上的设备系统数据备份至备份数据库，同时删除结构化数据库设备增量表中相应设备系统数据的记录。

本发明还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现以下步骤：

(1)客户端与云服务端建立通信连接后，按时间间隔a向云服务端发送设备系统数据，云服务端接收到当前客户端的设备系统数据后，若高速缓存数据库中不存在当前客户端的设备系统数据，则将其保存至高速缓存数据库中，否则将其更新至高速缓存数据库中以覆盖当前客户端的原有设备系统数据；高速缓存数据库中，若一客户端的设备系统数据超过T时间未更新，则删除该客户端的设备系统数据；

(2)按照一定时间周期t，从高速缓存数据库中读取设备系统数据，根据读取的设备系统数据信息按照设备ID主键索引方式更新结构化数据库中的设备状态表，按照递增序号索引方式将读取的设备系统数据插入到设备增量表中；

(3)定时查询结构化数据库设备增量表中前p天以上的设备系统数据，并将前p天以上的设备系统数据备份至备份数据库，同时删除结构化数据库设备增量表中相应设备系统数据的记录。

与现有技术相比，本发明的有益效果为：

(1)本发明方法将客户端的设备系统数据实时上传到云服务端，可自动根据网络状态对数据进行无感知处理，并能在高并发情况下及时调整相关参数，以便最大程度降低数据采集与处理成本和相关设备接入技术风险；

(2)本发明方法在以中间件部署运行过程中，既可以满足单机服务器性能扩展，也能满足集群化服务器功能弹性伸缩；

(3)本发明方法的扩展功能可为用户提供多通道数据输出服务，即可将处理后数据以内部通道方式提供给分布式文件系统、数据湖等存储中心；

(4)本发明方法将高速缓存数据库与中等性能结构化数据库有机融合，既提高了数据采集的并发能力，又减小了结构化数据库读写性能压力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种高并发数据采集与处理方法的流程示意图；

图2为本发明一实施例提供的数据转存处理步骤的流程示意图；

图3为本发明一实施例提供的数据备份处理步骤的流程示意图；

图4为本发明一实施例提供的一种高并发数据采集与处理装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。

本发明通过建立可适配网络、高速缓存和结构化存储三者有机结合的云服务端数据采集与处理模型，可以最大程度地降低采集成本和相关技术风险，本发明方法可以中间件部署和运行，且实现即插即用。

本发明的应用场景和目的主要体现在以下方面：(1)通过统一的JSON格式将入网设备系统数据实时上传到云服务端，该方法可自动根据网络状态对数据进行无感知处理，并能在高并发情况下及时调整相关参数，以便最大程度降低数据采集处理成本和相关设备接入技术风险；(2)该方法也可以中间件方式实现集群化部署运行；(3)该方法的扩展功能可为用户提供多通道数据输出服务，即可将处理后数据以内部通道方式提供给分布式文件系统、数据湖等存储中心。

本发明的高并发数据采集与处理方法是在入网设备(如工控设备、车载设备、媒体播放设备等)与云服务端建立通信链接(支持WebSocket、MQTT、TCP/IP等通信协议)后，入网设备按照一定时间周期将设备系统数据发送到云服务端，云服务端收到后解析设备系统数据并按照设备ID键值模式存入高速缓存数据库，利用可适配定时器模型对高速缓存数据进行解析并转存到结构化数据库中的设备状态表和设备增量表中，然后对结构化数据库设备增量表进行实时监控，以一定时间周期将设备增量表备份到中低性能结构化数据库系统中，从而实现高并发数据采集与处理，其工作流程如图1所示。

本发明的高并发数据采集与处理方法包括以下步骤：

1、数据采集步骤

数据采集步骤的工作过程包括图1中的①②③④，具体过程如下：

(1)入网设备(如工控设备、车载设备、媒体播放设备等)作为通信客户端主动请求与云服务端建立通信链接(支持WebSocket、MQTT、TCP/IP等通信协议)，连接成功后客户端将以一定间隔时间向云服务端发送设备系统数据；

(2)每台入网设备以间隔时间a(单位：秒)发送最大为b(单位：字节)的JSON格式系统数据包，其至少包含的字段为设备唯一标识(devId)、设备类型(type)、经度(lng)、维度(lat)、设备系统信息(devSysInfo)、设备应用信息(devAppInfo)和消息唯一标识(msgId)，如表1所示。

表1JSON格式系统数据包包含的信息

(3)云服务端将接收到的JSON格式系统数据包以Key-Value键值(Key为设备ID，Value为JSON格式系统数据包字符串)形式保存或更新到读写性能为q(单位：次/秒)，带宽为c(单位：Mbps，即兆比特位每秒)的高速缓存数据库，本发明中q＝200000，c＝1536；

(4)入网设备到云服务端的公网带宽为d(单位：Mbps，即兆比特位每秒)，每台入网设备连接云服务端开销数为k(1≤k≤5)，则可接入的入网设备数为：

由于c＞d，则：

本发明中d＝50，a＝20，b＝1024，k＝4，则可支持并发的入网设备数为：

(5)以时间周期2t和4t(单位：秒)分别将高速缓存数据库中的设备系统数据包转存到结构化数据库中的设备状态表和设备增量表中，本发明中t＝30。

2、数据转存处理步骤

数据转存处理步骤的工作过程包括图1中⑤⑥，数据转存处理流程如图2所示，主要按照一定周期实现结构化数据库中的设备系统数据写入和更新，具体过程如下：

(1)转存定时器按照一定时间周期t(单位：秒)，以设备ID为键值从高速缓存数据库读取设备系统数据，其中t≥a，即转存定时器时间周期不小于发送入网设备系统数据间隔时长，本发明中t＝30；

(2)将读取的设备系统数据保存到结构化数据库中，按照设备ID主键索引方式将设备系统数据更新到设备状态表中，设备状态表信息如表2所示，设置更新间隔时间nt(n≥1)，本发明中根据结构化数据库性能取n＝2。

表2设备状态表

(3)将读取的设备系统数据保存到结构化数据库中，按照递增序号索引方式将设备系统数据保存到设备增量表中(如表3所示)，设置保存间隔时间mt(m＞n)，本发明中根据结构化数据库性能取m＝4。

表3设备增量表

3、数据备份处理步骤

数据备份处理步骤的工作过程包括图1中⑦⑧，数据备份处理流程如图3所示，主要按照一定周期实现结构化数据库中设备增量表的数据迁移，具体过程如下：

(1)按照每天定时周期(如每天02:00:00，可选0～5时某个时间点)启动备份定时器；

(2)将前p天以上的设备系统数据按照天时间维度查询输出记录数据集合并转成CVS表格文件和缓存列表数据；

(3)将前p天以上的按照天时间维度的设备系统数据CVS表格文件上传到对象存储系统中；

(4)将前p天以上的按照天时间维度的设备系统缓存列表数据保存到备份数据库，从而实现双备份以增加备份可靠性；

(5)按照天时间维度删除结构化数据库设备增量表中的前p天以上的设备系统数据记录；

(6)备份定时器本次运行结束，其中p的取值根据结构化数据库性能和当前入网设备系统数据进行调整，本发明中p＝30，结构化数据库性能越好则p取值越大，反之越小。

4、数据采集与处理过程

(1)数据采集模块实现入网设备系统数据接收、解析和保存到高速缓存数据库功能，对应图1中①②③④；

(2)数据转存处理模块实现将高速缓存数据按照一定周期t对结构化数据库进行设备状态表更新和设备增量表插入，对应图1中⑤⑥和图2；

(3)数据备份处理模块实现每天定时处理超过一定阈值p天的设备系统数据以缓解结构化数据库的性能压力，对应图1中⑦⑧和图3。

实施例

本发明的方法所涉及的关键可调参数有公网带宽为d(单位：Mbps)、转存定时器时间周期t(单位：秒)、入网设备发送系统数据间隔时间a(单位：秒)、入网设备系统数据包长度最大值b(单位：字节)。

在一个实施例中，针对中等规模(3万左右台入网设备)数据采集的参数设置为d＝50，t＝30，a＝20，b＝1024。

按照上述参数设置，采用本发明的方法在一台8核CPU、32G内存、500G硬盘、公网带宽50Mbps的服务器上进行了6000台设备(每台设备系统数据间隔为20秒)接入实验，高峰期5000台设备同时在线的情况下，服务器CPU使用率为14％，内存使用率为31％，以此推算服务器满负载(CPU不超过75％，内存不超过70％)时可以支持30000台入网设备(注：内存不会按照一定设备量倍数增加)，这与数据采集模型中理论计算并发设备数(32000)是接近的；

本发明方法在以中间件部署运行过程中，既可以满足单机服务器性能扩展，也能满足集群化服务器功能弹性伸缩；

本发明方法在接入小批量入网设备(3000台以下)的情况下，一台2核CPU、8G内存、500G硬盘、公网带宽5Mbps的服务器也可满足设备系统数据采集与处理需求；

本发明方法在高并发情况下可随时调整相关参数，以最大程度降低数据采集与处理成本和相关设备接入技术风险；

本发明方法可集成到第三方软件中为用户提供定制化中间件服务。

本发明方法将高速缓存数据库与中等性能结构化数据库有机融合，既提高了数据采集的并发能力，又减小了结构化数据库读写性能压力。

本发明还提供了一种计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种高并发数据采集与处理方法。

本发明还提供了图4所示的一种对应于图1的高并发数据采集与处理装置的示意结构图。如图4所述，在硬件层面，该高并发数据采集与处理装置包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述高并发数据采集与处理方法。当然，除了软件实现方式之外，本发明并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以上处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种高并发数据采集与处理方法，其特征在于，包括：

(1)客户端与云服务端建立通信连接后，按时间间隔a向云服务端发送设备系统数据，云服务端接收到当前客户端的设备系统数据后，若高速缓存数据库中不存在当前客户端的设备系统数据，则将其保存至高速缓存数据库中，否则将其更新至高速缓存数据库中以覆盖当前客户端的原有设备系统数据；高速缓存数据库中，若一客户端的设备系统数据超过T时间未更新，则删除该客户端的设备系统数据；

(2)按照时间周期t，从高速缓存数据库中读取设备系统数据，根据读取的设备系统数据信息按照设备ID主键索引方式更新结构化数据库中的设备状态表，按照递增序号索引方式将读取的设备系统数据插入到设备增量表中；

(3)定时查询结构化数据库设备增量表中前p天以上的设备系统数据，并将前p天以上的设备系统数据备份至备份数据库，同时删除结构化数据库设备增量表中相应设备系统数据的记录。

2.根据权利要求1所述的高并发数据采集与处理方法，其特征在于，客户端向云服务端发送设备系统数据的时间间隔a、从高速缓存数据库中读取设备系统数据的时间周期t、一客户端的设备系统数据在高速缓存数据库中最长保存时间T、设备系统数据包长度及客户端与云服务端的公网带宽可调。

3.根据权利要求1所述的高并发数据采集与处理方法，其特征在于，所述的客户端为工控设备、车载设备或媒体播放设备；客户端与云服务端的通信协议为WebSocket、MQTT或TCP/IP。

4.根据权利要求1所述的高并发数据采集与处理方法，其特征在于，客户端向云服务端发送的设备系统数据为JSON格式系统数据包。

5.根据权利要求1所述的高并发数据采集与处理方法，其特征在于，云服务端接收到设备系统数据后，以Key-Value键值形式将其保存至高速缓存数据库中；Key值为设备ID，Value值为设备系统数据字符串将其保存至高速缓存数据库中。

6.根据权利要求1所述的高并发数据采集与处理方法，其特征在于，步骤(2)包括：

转存定时器按照时间周期t进行计时：

处于nt时间点时，则以设备ID为键值从高速缓存数据库读取设备系统数据，根据读取的设备系统数据按照设备ID主键索引方式更新结构化数据库中的设备状态表；

处于mt时间点时，则以设备ID为键值从高速缓存数据库读取设备系统数据，按照递增序号索引方式将读取的设备系统数据插入到设备增量表中；

m、n为大于或等于1的整数，m＞n。

7.根据权利要求1所述的高并发数据采集与处理方法，其特征在于，步骤(3)包括：

(3-1)备份定时器进行计时，定时查询结构化数据库设备增量表中前p天以上的设备系统数据记录；

(3-2)将前p天以上的设备系统数据备份至备份数据库；

(3-2)删除结构化数据库设备增量表中前p天以上的设备系统数据记录。

8.根据权利要求7所述的高并发数据采集与处理方法，其特征在于，步骤(3-2)包括：将前p天以上的设备系统数据按照天时间维度转成CVS表格文件和缓存列表数据；将CVS表格文件备份到对象存储系统中，将缓存列表数据备份到备份数据库中。

9.一种高并发数据采集与处理装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现如权利要求1-8任一项所说的高并发数据采集与处理方法的步骤。

10.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现如权利要求1-8任一项所说的高并发数据采集与处理方法的步骤。