CN114860483B - 一种快速采集设备数据并高效率持久化方法及系统 - Google Patents

Abstract

本发明提供一种快速采集设备数据并高效率持久化方法及系统，方法包括：对socket传输设备，通过预置插件集成硬件设备SDK，据以连接硬件设备并根据预设规则向硬件设备传输网络数据，对文本传输设备，利用读模式及轮询操作获取文件更新信息；维护多个线程，利用线程中的设备状态检测线程检测传输设备的设备状态，据以控制线程中的采集线程的开关状态；在出现新硬件采集任务时，向设备状态检测现场注册，利用设备状态检测线程托管采集线程；将socket传输设备及文本传输设备的设备数据传递至预置业务系统；根据持久化规则将设备数据固化于预置数据库及文件服务器中。本发明解决了缺乏硬件添加功能、适用性低以及不支持持久化规则的技术问题。

Description

一种快速采集设备数据并高效率持久化方法及系统

技术领域

本发明涉及计算机信息系统的数据采集及处理领域，更具体涉及一种快速采集设备数据并高效率持久化方法及系统。

背景技术

在大多数的软硬结合类信息系统中均会或多或少的出现需要硬件设备数据的业务需求，信息系统获取设备数据的方式包括主动获取和被动上报，而设备数据类型却多种多样，并且不同的数据是否有用、使用方式不同。

当前市面上数据采集类软件很多，支持通过API接口、数据流、文档、网络爬取等方式获取数据，但绝大多数不支持采集硬件设备数据或仅支持市面上广泛存在的硬件产品。申请号为202010592657.7的现有发明专利《一种文件读取方法、装置、电子设备和存储介质》其中方法包括：获取目标文件的读取请求；通过预先创建的多线程请求队列，并行下发读取请求到各存储节点；在接收到目标存储节点返回的成功读取目标文件的消息时，将目标文件反馈给目标文件请求方，并将其它存储节点返回的读取结果消息设置为无效。本发明实施例中，通过预先建立的多线程请求队列，将获取的读取请求并行下发到各存储节点后，若某一目标存储节点返回所请求的目标文件，则立即将目标文件立即返回请求方，其余存储节点返回的读取结果自动失效处理。该现有专利的技术方案中未披露本申请中的持久化规则以及采用插件形式添加硬件设备的技术方案，该现有技术与本申请存在显著区别。现有技术中的此类软件中存在部分支持持久化的技术，但多数不支持定制持久化规则。另外，此类软件过度使用系统资源，适用于独立使用，但并不适用于集成传统的大型软件系统。

本专利立足于插件化思想，能够定制采集规则、数据传输规则、持久化规则，方便适配硬件设备，及时响应业务需求，降低持久化能耗，适用于大型软件系统。

综上，现有技术缺乏硬件添加功能、适用性低以及不支持持久化规则的技术问题。

发明内容

本发明所要解决的技术问题在于如何解决现有技术缺乏硬件添加功能、适用性低以及不支持持久化规则的技术问题。

本发明是采用以下技术方案解决上述技术问题的：一种快速采集设备数据并高效率持久化方法包括：

S1、对socket传输设备，通过预置插件集成硬件设备SDK，据以连接所述硬件设备并根据预设规则向所述硬件设备传输网络数据，对文本传输设备，利用读模式及轮询操作获取文件更新信息；

S2、维护不少于2个的线程，利用所述线程中的设备状态检测线程检测所述socket传输设备及所述文本传输设备的设备状态，据以控制所述线程中的采集线程的开关状态；

S3、在出现新硬件采集任务时，向所述设备状态检测现场注册，利用所述设备状态检测线程托管所述采集线程，其中，所述采集线程的采集规则包括：采样率、采集内容及传输方式；

S4、将所述socket传输设备及所述文本传输设备的设备数据传递至预置业务系统；

S5、根据持久化规则将所述设备数据固化于预置数据库及文件服务器中，其中，所述持久化规则包括：丢弃规则、持久化周期、批量数量、持久化方式，在持久化环节中，守护线程加载并根据所述持久化规则触发持久化操作。

本发明立足于插件化思想，针对不同类型的设备，制定不同的采集规则，实时采集设备数据、及时响应第三方查询、订阅推送、批量持久化，达到快速响应以及减少对数据库的操作的目的，适用于大型软件系统。本发明以多线程的方式，利用socket网络通信和轮询文件的方法实时采集不同类型的设备数据。本发明提供了硬件添加功能，提高了系统适用性。

在更具体的技术方案中，所述步骤S1包括：

S11、对所述socket传输设备，通过插件集成硬件设备厂商提供的所述硬件设备SDK；

S12、根据所述硬件设备SDK进行创建、初始化、连接操作，以建立与所述硬件设备的网络连接；

S13、通过所述网络连接接收网络数据，并根据既定规则传输所述网络数据。

本发明实现一种快速采集设备数据、不同数据投递方式、低影响持久化的采集系统，使用者以插件的方式集成设备，定制差异化的采集规则，定制差异化的数据投递规则，并有效降低对数据库的性能影响，以达到适用于大型软件系统的目的。本发明以插件的形式组织设备，方便扩展不同类型的设备，支持以不同的传输手段传输设备数据，以达到兼容多个业务系统的目的。

在更具体的技术方案中，所述步骤S1中对于将数据存储在一个文件中的所述文本传输设备，通过读模式打开文件，并设置offset标签，监听增量信息。

在更具体的技术方案中，所述步骤S1中针对将数据存储在不同文件中的所述文本传输设备，通过轮询文件位置，以得到新文件。

本发明以插件的形式兼容多种存储方式，以达到兼容多个业务系统的目的。

在更具体的技术方案中，所述步骤S2包括：

S21、维护不少于2个的线程；

S22、利用所述线程中的设备状态检测线程检测所述socket传输设备及所述文本传输设备的设备状态；

S23、根据所述设备状态控制所述线程中的采集线程的开关状态。

在更具体的技术方案中，所述步骤S3包括：

S31、设置采样率，据以调节上报数据量；

S32、设置采集内容，以获取业务系统需求数据，据以降低网络带宽。

本发明通过配置采样率、采集内容，以达到支持上报数据量的控制，有效降低网络带宽。

在更具体的技术方案中，所述步骤S3中的传输方式包括立即存入数据库、暂存redis内存数据库、放入Kafka消息队列。

本发明将设备数据存储于内存数据库redis中,用于暂时存储以及响应第三方查询。将设备数据通过消息队列kafka进行实时推送，提升了数据处理效率。本发明为了避免频繁操作数据库影响业务系统操纵数据库的效率，可选择暂存redis，这样能够有效避免采集模块对业务系统效率的影响。

在更具体的技术方案中，所述步骤S4包括：

S41、提供网络连接接口；

S42、管理Kafka功能数据。

在更具体的技术方案中，所述步骤S5中的所述持久化规则包括：持久化周期、批量数量、持久化方式。

本发明为避免频繁操作数据库，过度消耗数据库性能，影响业务软件使用，故而批量持久化数据到数据库中。本发明通过配置传输方式以及持久化规则，满足不同业务系统需求，降低对存储目的地的性能影响。本发明支持通过暂存以及批量存储的方式管理设备数据，以达到降低对数据库以及文件服务器的影响。

在更具体的技术方案中，一种快速采集设备数据并高效率持久化系统包括：

传输设备数据模块，用以对socket传输设备，通过预置插件集成硬件设备SDK，据以连接所述硬件设备并根据预设规则向所述硬件设备传输网络数据，对文本传输设备，利用读模式及轮询操作获取文件更新信息；

采集线程状态控制模块，用以维护不少于2个的线程，利用所述线程中的设备状态检测线程检测所述socket传输设备及所述文本传输设备的设备状态，据以控制所述线程中的采集线程的开关状态，所述采集线程状态控制模块与所述传输设备数据模块连接；

硬件采集模块，用以在出现新硬件采集任务时，向所述设备状态检测现场注册，利用所述设备状态检测线程托管所述采集线程，其中，所述采集线程的采集规则包括：采样率、采集内容及传输方式，所述硬件采集模块与所述采集线程状态控制模块连接；

设备数据传递模块，用以将所述socket传输设备及所述文本传输设备的设备数据传递至预置业务系统，所述设备数据传递模块与所述传输设备数据模块连接；

持久化模块，用以根据持久化规则将所述设备数据固化于预置数据库及文件服务器中，所述持久化模块与所述设备数据传递模块连接。

本发明相比现有技术具有以下优点：本发明立足于插件化思想，针对不同类型的设备，制定不同的采集规则，实时采集设备数据、及时响应第三方查询、订阅推送、批量持久化，达到快速响应以及减少对数据库的操作的目的，适用于大型软件系统。本发明以多线程的方式，利用socket网络通信和轮询文件的方法实时采集不同类型的设备数据。本发明提供了硬件添加功能，提高了系统适用性。

本发明实现一种快速采集设备数据、不同数据投递方式、低影响持久化的采集系统，使用者以插件的方式集成设备，定制差异化的采集规则，定制差异化的数据投递规则，并有效降低对数据库的性能影响，以达到适用于大型软件系统的目的。本发明以插件的形式组织设备，方便扩展不同类型的设备，支持以不同的传输手段传输设备数据，以达到兼容多个业务系统的目的。

本发明以插件的形式兼容多种存储方式，以达到兼容多个业务系统的目的。本发明通过配置采样率、采集内容，以达到支持上报数据量的控制，有效降低网络带宽。

本发明将设备数据存储于内存数据库redis中,用于暂时存储以及响应第三方查询。将设备数据通过消息队列kafka进行实时推送，提升了数据处理效率。本发明为了避免频繁操作数据库影响业务系统操纵数据库的效率，可选择暂存redis，这样能够有效避免采集模块对业务系统效率的影响。

本发明为避免频繁操作数据库，过度消耗数据库性能，影响业务软件使用，故而批量持久化数据到数据库中。本发明通过配置传输方式以及持久化规则，满足不同业务系统需求，降低对存储目的地的性能影响。本发明支持通过暂存以及批量存储的方式管理设备数据，以达到降低对数据库以及文件服务器的影响。本发明解决了现有技术中存在的缺乏硬件添加功能、适用性低以及不支持持久化规则的技术问题。

附图说明

图1为本发明实施例1的数据流向示意图；

图2为本发明实施例1的线程状态变化流程示意图；

图3为本发明实施例1的持久化环节原理示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，展示了本专利的功能结构，也表示了数据流向，采集环节负责接收设备数据，传输环节负责将数据提供给持久化环节或者提供给业务系统，持久化环节负责写入数据到业务系统提供的数据库或文件系统中。

本采集系统分为采集、传输、持久化等几个环节，包括定制采集规则、定制传输规则、定制持久化规则等模块。

采集：

采集对象为硬件设备，支持socket通信、轮询文件。硬件设备的数据传输方式主要是socket通信，部分硬件，例如传感器，采用的是将数据存储到文件。硬件设备上报的数据主要有二进制数据、文本数据、图像、视频流等，对于视频流，多数设备支持RTSP/RTMP协议，从业务上讲，无需采集系统处理和持久化，而交由专门的视频代理服务器处理，所以本采集系统不对视频流数据做处理。

对于socket传输形式的设备，本采集系统通过插件的形式集成硬件设备厂商提供的SDK，经过一系列创建、初始化、连接等操作实现与硬件设备的网络连接，接收网络数据，并根据既定规则传输网络数据。

对于文本传输形式的设备，有两种情况，一种是设备将数据存储在一个文件中，一种是设备将数据存储在不同文件中。对于一个文件的情况，本系统会通过读模式打开文件，并设置offset标签，监听增量信息；对于多个文件情况，本系统通过轮询文件位置，得到新文件。

如图2所示，

S1、采集线程注册；在本实施例中，当有新的硬件采集任务时，需要向设备状态检测线程中进行注册，由设备检测线程托管采集线程。

S2、设备状态检测线程；在本实施例中，展示了设备状态检测线程，设备状态检测线程启动时会初始化采集线程信息，包括硬件设备信息、是否开启采集、采集线程状态随硬件状态变化、定时或周期采集等内容；

S3、检测设备状态；

S4、获取硬件设备状态变化数据；在本实施例中，设备状态检测线程启动后循环遍历硬件设备，根据采集线程信息，判断是否启停采集线程；

S5、根据设备是否在线判断是否开启采集线程；

S6、启动采集线程；在本实施例中，本采集系统维护多个线程，其中一个为设备状态检测线程，其负责检测设备状态，根据设备状态开启或关闭采集线程。

采集规则的内容主要有采样率、采集内容、传输方式等。

对于状态数据，不同设备上报频率不同，例如大华无人机设备，每秒钟上报数据量大于二十包，有的业务系统可能会全部使用而有的业务系统仅采纳一包数据，通过设置采样率，可以调节上报数据量的多少。

同样以大华无人机为例，其支持上报GPS状态、平视显示信息、全球定位数据、GPS原始数据、当前航点等等各种内容的数据，通过设置采集内容，只关注业务系统需要的数据，减少网络带宽。

传输方式支持立即存入数据库、暂存redis内存数据库、放入Kafka消息队列等三种方式，可组合使用，例如原始数据存入数据库的同时也放入Kafka消息队列。再例如为了避免频繁操作数据库影响业务系统操纵数据库的效率，可选择暂存redis，这样能够有效避免采集模块对业务系统效率的影响。

传输：

传输环节是从网络层面将设备数据传递给业务系统，此环节包括提供HTTP接口、管理Kafka功能。HTTP接口功能负责提供暂存数据的查询，此功能需要配合持久化模块使用。Kafka功能主要是配置订阅消息类型。

持久化：

如图3所示，在本实施例中，持久化环节是将设备数据固化到数据库、文件服务器中的过程。此环节包括守护线程、持久化规则定义、持久化操作。

守护线程的生命周期与软件系统相同，启动时加载持久化规则，根据规则触发持久化操作。

在本实施例中，持久化规则包括丢弃规则、持久化周期、批量数量、持久化方式，其中丢弃规则是指是否丢弃此类数据，对于某些数据是有时效性的，可通过丢弃规则放弃某些数据；持久化周期是指按照指定的时间周期固化设备数据，例如每10分钟固化一次数据，另外可根据待持久化数据量自动触发持久化操作，例如当某类数据缓存量大于100条时，自动触发持久化操作；批量数量是指固化操作每次存入的数据量，超过此数据量则多次执行固化操作，直到固化完成；持久化方式是指数据的存储位置，支持关系型数据库(MySQL、Oracle)、文件服务器(FastDFS)，支持存储位置功能也使用插件化方式研发。

持久化操作是根据批量数据规则获取数据，通过指定的持久化方式将数据进行固化。

综上，本发明立足于插件化思想，针对不同类型的设备，制定不同的采集规则，实时采集设备数据、及时响应第三方查询、订阅推送、批量持久化，达到快速响应以及减少对数据库的操作的目的，适用于大型软件系统。以多线程的方式，利用socket网络通信和轮询文件的方法实时采集不同类型的设备数据。提供了硬件添加功能，提高了系统适用性。

本发明实现一种快速采集设备数据、不同数据投递方式、低影响持久化的采集系统，使用者以插件的方式集成设备，定制差异化的采集规则，定制差异化的数据投递规则，并有效降低对数据库的性能影响，以达到适用于大型软件系统的目的。以插件的形式组织设备，方便扩展不同类型的设备。支持以不同的传输手段传输设备数据，以达到兼容多个业务系统的目的。

本发明以插件的形式兼容多种存储方式，以达到兼容多个业务系统的目的。本发明通过配置采样率、采集内容，以达到支持上报数据量的控制，有效降低网络带宽。

本发明将设备数据存储于内存数据库redis中,用于暂时存储以及响应第三方查询。将设备数据通过消息队列kafka进行实时推送。提升了数据处理效率。为了避免频繁操作数据库影响业务系统操纵数据库的效率，可选择暂存redis，这样能够有效避免采集模块对业务系统效率的影响。

本发明为避免频繁操作数据库，过度消耗数据库性能，影响业务软件使用，故而批量持久化数据到数据库中。通过配置传输方式以及持久化规则，满足不同业务系统需求，降低对存储目的地的性能影响。支持通过暂存以及批量存储的方式管理设备数据，以达到降低对数据库以及文件服务器的影响。本发明解决了现有技术中存在的缺乏硬件添加功能、适用性低以及不支持持久化规则的技术问题。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种快速采集设备数据并高效率持久化方法，其特征在于，所述方法包括：

S1、对socket传输设备，通过预置插件集成硬件设备SDK，据以连接所述硬件设备并根据预设规则向所述硬件设备传输网络数据，对文本传输设备，利用读模式及轮询操作获取文件更新信息，所述步骤S1包括：

S11、对所述socket传输设备，通过插件集成硬件设备厂商提供的所述硬件设备SDK；

S12、根据所述硬件设备SDK进行创建、初始化、连接操作，以建立与所述硬件设备的网络连接；

S13、通过所述网络连接接收网络数据，并根据既定规则传输所述网络数据；

S2、维护不少于2个的线程，利用所述线程中的设备状态检测线程检测所述socket传输设备及所述文本传输设备的设备状态，据以控制所述线程中的采集线程的开关状态；

S3、在出现新硬件采集任务时，向所述设备状态检测现场注册，利用所述设备状态检测线程托管所述采集线程，其中，所述采集线程的采集规则包括：采样率、采集内容及传输方式，其中，所述步骤S3中的传输方式包括立即存入数据库、暂存redis内存数据库、放入Kafka消息队列，所述步骤S3包括：

S31、设置采样率，据以调节上报数据量；

S32、设置采集内容，以获取业务系统需求数据，据以降低网络带宽；

S4、将所述socket传输设备及所述文本传输设备的设备数据传递至预置业务系统；

S5、根据持久化规则将所述设备数据固化于预置数据库及文件服务器中，其中，所述持久化规则包括：丢弃规则、持久化周期、批量数量、持久化方式，在持久化环节中，守护线程加载并根据所述持久化规则触发持久化操作，其中，守护线程的生命周期与软件系统相同，在启动时加载所述持久化规则，根据所述持久化规则触发所述持久化操作。

2.根据权利要求1所述的一种快速采集设备数据并高效率持久化方法，其特征在于，所述步骤S1中对于将数据存储在一个文件中的所述文本传输设备，通过读模式打开文件，并设置offset标签，监听增量信息。

3.根据权利要求1所述的一种快速采集设备数据并高效率持久化方法，其特征在于，所述步骤S1中针对将数据存储在不同文件中的所述文本传输设备，通过轮询文件位置，以得到新文件。

4.根据权利要求1所述的一种快速采集设备数据并高效率持久化方法，其特征在于，所述步骤S4包括：

S41、提供网络连接接口；

S42、管理Kafka功能数据。

5.一种快速采集设备数据并高效率持久化系统，其特征在于，所述系统包括：

传输设备数据模块，用以对socket传输设备，通过预置插件集成硬件设备SDK，据以连接所述硬件设备并根据预设规则向所述硬件设备传输网络数据，对文本传输设备，利用读模式及轮询操作获取文件更新信息；

采集线程状态控制模块，用以维护不少于2个的线程，利用所述线程中的设备状态检测线程检测所述socket传输设备及所述文本传输设备的设备状态，据以控制所述线程中的采集线程的开关状态，所述采集线程状态控制模块与所述传输设备数据模块连接；

硬件采集模块，用以在出现新硬件采集任务时，向所述设备状态检测现场注册，利用所述设备状态检测线程托管所述采集线程，其中，所述采集线程的采集规则包括：采样率、采集内容及传输方式，所述硬件采集模块与所述采集线程状态控制模块连接；

设备数据传递模块，用以将所述socket传输设备及所述文本传输设备的设备数据传递至预置业务系统，所述设备数据传递模块与所述传输设备数据模块连接；

持久化模块，用以根据持久化规则将所述设备数据固化于预置数据库及文件服务器中，所述持久化模块与所述设备数据传递模块连接。

Images