CN110457330A - 一种时序数据管理平台 - Google Patents

Abstract

本发明提供了一种时序数据管理平台，包括数据管理子系统和用户子系统，所述数据管理子系统用于对时序数据进行管理，所述用户子系统用于用户对数据管理子系统进行访问。本发明将数据管理和用户访问有机结合，实现了时序数据的有效管理和用户对数据的访问。

Description

一种时序数据管理平台

技术领域

本发明涉及数据管理技术领域，具体涉及一种时序数据管理平台。

背景技术

时序数据是指时间序列数据。时间序列数据是同一统一指标按时间顺序记录的数据列。在同一数据列中的各个数据必须是同口径的，要求具有可比性。时序数据广泛存在于生产生活中，大型制造工厂对设备进行监控管理，包括生产线设备监控、出入库监控、物流监控等，都会产生大量的时序数据，如何对时序数据进行有效管理成为摆在人们面前的问题。

发明内容

为了解决上述技术问题，本发明提供了一种时序数据管理平台，将数据管理和用户访问有机结合，实现了时序数据的有效管理和用户对数据的访问。

本发明具体提供一种时序数据管理平台，包括数据管理子系统和用户子系统，所述数据管理子系统用于对时序数据进行管理，所述用户子系统用于用户对数据管理子系统进行访问。

可选的，所述用户子系统包括用户认证模块、用户分类模块、运维者用户模块和开发者用户模块，所述用户认证模块通过手掌信息对用户身份进行认证，所述用户分类模块将经过认证的用户分为运维者用户和开发者用户，所述运维者用户模块用于运维者用户对时序数据进行访问和修改，所述开发者用户模块用于开发者用户对数据进行访问。

可选的，所述数据管理子系统包括时序数据摄取模块、时序数据处理模块和时序数据存储模块，所述时序数据摄取模块用于摄取时序数据，所述时序数据处理模块用于对摄取的时序数据进行处理，所述时序数据存储模块用于对处理后的时序数据进行存储。

可选的，所述时序数据摄取模块用于摄取时序数据，具体为：

使用消息队列管理组件摄取和访问实时流数据，所述消息队列管理组件是数据资源所有者将数据传输到数据管理子系统的数据网关，在数据的摄取过程中，数据被转移到流数据处理组件，所述流数据管理组件用于自动化管理数据管理子系统之间的数据流，在流数据处理组件数据被生成为DataFile，并可以用于进一步的处理、集成或上传。

可选的，所述时序数据处理模块用于对摄取的时序数据进行处理，具体为：

数据资源所有者与数据管理子系统的管理人员进行初步需求分析；

若数据资源所有者同意在数据资源上运行数据管理子系统，则管理人员为数据传输到数据管理子系统的人提供管理权限；

数据资源所有者访问管理人员创建的Kafka数据网关或者MQTT进行数据上传；

流数据处理组件从消息队列管理组件数据网关中摄取数据，将数据从消息队列管理组件数据网关流入到流数据处理组件中的DataFile，并进行数据的转换、过滤、整合工作。

可选的，所述用户认证模块包括手掌采集单元、手掌处理单元和识别单元，所述手掌采集单元用于采集用户的手掌图像，所述手掌处理单元用于提取用户手掌特征，所述识别单元基于用户手掌特征对用户身份进行认证。

可选的，所述手掌处理单元用于提取用户手掌特征，具体为：

采用5×5高斯核与手掌图像进行卷积操作，实现手掌图像噪声去除；

提取小拇指与无名指之间的指根点T₁、无名指与中指之间的指根点T₂、中指与食指之间的指根点T₃，计算T₁到T₂的距离d₁、T₂到T₃的距离d₂，T₁到T₃的距离为d₃；

连接T₁与T₂，T₃与T₂，得到两条线段，分别作两条线段的中垂线相交于点O,以O为圆心，O到T₁距离R为半径作圆，与掌纹的交点依次为P₁，P₂，…，P_n，将交点依次连接，得到线段P₁P₂，P₂P₃，…，P_n-P_n，其中，n表示交点的数量；

建立特征向量将该特征向量作为用户的手掌信息进行保存。

可选的，所述识别单元基于用户手掌特征对用户身份进行认证，具体为：

获取待认证用户与保存的用户手掌信息对应的特征向量，将该特征向量与保存的用户手掌信息进行比对，完成用户身份认证。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1为本发明结构示意图；

图2为本发明用户子系统结构示意图；

图3为本发明数据管理子系统结构示意图。

附图标记：

数据管理子系统1、用户子系统2、用户认证模块3、用户分类模块4、运维者用户模块5、开发者用户模块6、时序数据摄取模块7、时序数据处理模块8、时序数据存储模块9。

具体实施方式

结合以下实施例对本发明作进一步描述。

结合图1至图3，本发明的一个实施例提供一种时序数据管理平台，包括数据管理子系统1和用户子系统2，所述数据管理子系统1用于对时序数据进行管理，所述用户子系统2用于用户对数据管理子系统1进行访问。

数据管理子系统1可集成多种适配器(OPC-UA,MQTT，kafka等100多种处理器)，能够满足企业实时数据采集、数据抽取、转换、加载、可视化等多种用途，用户可以在该数据管理子系统构建一个自己的数据处理模型，满足多种时序数据库接入。数据管理子系统还可采用微服务框架技术，利用kubernetes轻松构建集群满足每秒十万级的采集点需求。

本实施例提供了一种时序数据管理平台，应用场景包括大型制造工厂对设备进行监控管理，包括生产线设备监控、出入库监控、物流监控等，实现了时序数据的有效管理和用户对数据的访问。

优选的，所述用户子系统2包括用户认证模块3、用户分类模块4、运维者用户模块5和开发者用户模块6，所述用户认证模块3通过手掌信息对用户身份进行认证，所述用户分类模块4将经过认证的用户分为运维者用户和开发者用户，所述运维者用户模块5用于运维者用户对时序数据进行访问和修改，所述开发者用户模块6用于开发者用户对数据进行访问。

当用户被授予对数据管理子系统的访问权时，他们将在数据管理子系统中的获得成员资格。根据特权级别，可以将用户添加到以下一个或多个用户组中：

对于运维者用户，授予对数据管理子系统的维护访问权，用户可以登录到选定的一组服务中。访问和修改数据；

对于开发者用户，允许开发人员访问系统，该组用户可以登录到所有服务并访问所有数据但不能修改数据。

本优选实施例通过手掌信息对用户身份进行验证，保证了数据安全，对用户进行分类管理，授予不同人员不同的权限，进一步保证了数据安全和用户隐私。

优选的，所述数据管理子系统1包括时序数据摄取模块7、时序数据处理模块8和时序数据存储模块9，所述时序数据摄取模块7用于摄取时序数据，所述时序数据处理模块8用于对摄取的时序数据进行处理，所述时序数据存储模块9用于对处理后的时序数据进行存储。

摄取时序数据是指在本数据管理子系统中添加或更新现有时序数据资源，时序数据资源可以是任何形式的时序数据，可以是简单文件、文件流、PLC工控设备或整个数据库。

本优选实施例数据管理子系统同时实现了时序数据的摄取、处理和存储。

优选的，所述时序数据摄取模块7用于摄取时序数据，具体为：

使用消息队列管理组件摄取和访问实时流数据，所述消息队列管理组件是数据资源所有者将数据传输到数据管理子系统的数据网关，根据数据的性质支持多种不同的应用层数据传输协议，在数据的摄取过程中，数据被转移到流数据处理组件，所述流数据管理组件用于自动化管理数据管理子系统之间的数据流，在流数据处理组件它被生成为DataFile，并可以用于进一步的处理、集成或上传。流数据处理组件可支持OPC-UA数据摄入，满足多种时序数据库接入。

时序数据格式支持但不限于以下几种数据类型:：

实现JSON文件数据；

实现Avro数据文件格式；

实现Binary数据格式。

消息队列管理组件旨在提供快速、水平可扩展和容错处理实时数据源。与传统的企业消息软件不同，消息队列管理组件能够处理所有通过平台的数据，并且能够实时地进行；

流数据处理组件为一个易用、强大、可靠的数据处理与分发系统。用于自动化数据管理子系统之间的数据流。流数据处理组件具有游侠特性：1.可视化命令与控制；2.保证交付；3.高扩展性；4.优先级队列；5.数据跟踪；6.记录/恢复细粒度的历史数据；

各种数据结构通过数据结构管理组件定义，数据结构管理组件采用模式对各种数据结构进行定义，只有确定了模式才能对数据进行解释，所以在数据的序列化和反序列化之前，必须先确定模式的结构。同时可动态加载相关数据的模式，数据的读写都使用模式，这使得数据之间不存在任何其他标识，这样就减少了开销，使得序列化快速又轻巧，同时这种数据及模式的自我描述也方便了动态脚本语言的使用；

优选的，所述时序数据处理模块8用于对摄取的时序数据进行处理，具体为：

数据资源所有者与数据管理子系统的管理人员进行初步需求分析；

若数据资源所有者同意在数据资源上运行数据管理子系统，则管理人员为数据传输到数据管理子系统的人提供管理权限；这些权限的确切性质因角色的不同而不同，但通常包括访问系统和触发数据摄入的生产者权利，从时序数据库读取数据的消费者权利，消费者与生产者的权利截然不同。

如果数据资源是关系数据，那么管理人员将启动Schema文件的创建。Schema的名称不能超过八个字符，并且不应该包含“_”。将通知数据生产者需要创建Schema，并要求提供必要的数据结构细节。一个MYDB的数据库，带有一个名为MYSCHEMA的模式和一个名为MYTABLE的表，将作为一个名为MYDB_MYSCHEMA的物理数据库。

数据资源所有者访问管理人员创建的Kafka数据网关或者MQTT进行数据上传；

流数据处理组件从消息队列管理组件数据网关中摄取数据，流数据处理组件摄入过程可采用各种方式，摄入触发器启动一组工作流处理器，该工作流将数据从消息队列管理组件数据网关流入到流数据处理组件中的DataFile，并进行数据的转换、过滤、整合工作。

流数据处理组件工作流模版创建策略为使用schema registry将创建的工作流模版保存在schema registry中，供集群中的流数据处理组件读取访问，实现流数据处理组件工作流模版的版本控制和自动化部署。

时间序列数据最简单的定义就是数据格式里包含timestamp字段的数据。比如股票市场的价格，环境中的温度，主机的CPU使用率等。几乎所有的数据都可以打上一个timestamp字段。时间序列数据更重要的一个属性是如何去查询它。在查询的时候，对于时间序列我们总是会带上一个时间范围去过滤数据。同时查询的结果里也总是会包含timestamp字段。数据管理子系统时序数据库是一个分布式时序、时间和指标数据库，使用go语言编写，无需外部依赖。

消息队列管理组件作为数据接入和输出网关，集群中的所有数据都可以使用TLS1.2和SHA512进行保护。

优选的，所述用户认证模块3包括手掌采集单元、手掌处理单元和识别单元，所述手掌采集单元用于采集用户的手掌图像，所述手掌处理单元用于提取用户手掌特征，所述识别单元基于用户手掌特征对用户身份进行认证。

优选的，所述手掌处理单元用于提取用户手掌特征，具体为：

采用5×5高斯核与手掌图像进行卷积操作，实现手掌图像噪声去除；

提取小拇指与无名指之间的指根点T₁、无名指与中指之间的指根点T₂、中指与食指之间的指根点T₃，计算T₁到T₂的距离d₁、T₂到T₃的距离d₂，T₁到T₃的距离为d₃；

连接T₁与T₂，T₃与T₂，得到两条线段，分别作两条线段的中垂线相交于点O,以O为圆心，O到T₁距离R为半径作圆，与掌纹的交点依次为P₁，P₂，…，P_n，将交点依次连接，得到线段P₁P₂，P₂P₃，…，P_n-P_n，其中，n表示交点的数量；

建立特征向量将该特征向量作为用户的手掌信息进行保存。

由于在手掌图像的采集过程中，每次摄像头距离手掌的距离不同，因此导致各指根点间的距离不同，导致特征提取不准确，本优选实施例特征向量将距离转化为比例作为向量的元素，克服了这个问题，同时对指根点信息和掌纹信息进行采集，能够准确的实现用户的身份认证，且该方法简单易行，能够提高计算效率和识别速度。

优选的，所述识别单元基于用户手掌特征对用户身份进行认证，具体为：

获取待认证用户与保存的用户手掌信息对应的特征向量，对应的特征向量的提取方法与获取用户手掌信息方法相同，将该特征向量与保存的用户手掌信息进行比对，完成用户身份认证。

采用下式确定待认证用户特征向量与保存的用户的特征向量的相似性因子：

式中，S(X′，X)表示待认证用户特征向量与保存的用户的特征向量的相似性因子，X′表示待认证用户特征向量，X表示保存的用户的特征向量，X_i′表示待认证用户特征向量的第i个元素，X_i表示保存的用户的特征向量的第i个元素；

确定判定阈值Y，Y≥0，若相似性因子小于判定阈值，则通过用户身份认证；

逐一求取待认证用户特征向量与保存的用户的特征向量的相似性因子，选取相似性因子最小值，将该最小值与判定阈值进行比较，若小于判定阈值，则通过用户身份认证，否则，不通过身份认证。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术目的地应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (8)

1.一种时序数据管理平台，其特征在于，包括数据管理子系统和用户子系统，所述数据管理子系统用于对时序数据进行管理，所述用户子系统用于用户对数据管理子系统进行访问。

2.根据权利要求1所述的时序数据管理平台，其特征在于，所述用户子系统包括用户认证模块、用户分类模块、运维者用户模块和开发者用户模块，所述用户认证模块通过手掌信息对用户身份进行认证，所述用户分类模块将经过认证的用户分为运维者用户和开发者用户，所述运维者用户模块用于运维者用户对时序数据进行访问和修改，所述开发者用户模块用于开发者用户对数据进行访问。

3.根据权利要求2所述的时序数据管理平台，其特征在于，所述数据管理子系统包括时序数据摄取模块、时序数据处理模块和时序数据存储模块，所述时序数据摄取模块用于摄取时序数据，所述时序数据处理模块用于对摄取的时序数据进行处理，所述时序数据存储模块用于对处理后的时序数据进行存储。

4.根据权利要求3所述的时序数据管理平台，其特征在于，所述时序数据摄取模块用于摄取时序数据，具体为：

使用消息队列管理组件摄取和访问实时流数据，所述消息队列管理组件是数据资源所有者将数据传输到数据管理子系统的数据网关，在数据的摄取过程中，数据被转移到流数据处理组件，所述流数据管理组件用于自动化管理数据管理子系统之间的数据流，在流数据处理组件它被生成为DataFile，并可以用于进一步的处理、集成或上传。

5.根据权利要求4所述的时序数据管理平台，其特征在于，所述时序数据处理模块用于对摄取的时序数据进行处理，具体为：

数据资源所有者与数据管理子系统的管理人员进行初步需求分析；

若数据资源所有者同意在数据资源上运行数据管理子系统，则管理人员为数据传输到数据管理子系统的人提供管理权限；

数据资源所有者访问管理人员创建的Kafka数据网关或者MQTT进行数据上传；

流数据处理组件从消息队列管理组件数据网关中摄取数据，将数据从消息队列管理组件数据网关流入到流数据处理组件中的DataFile，并进行数据的转换、过滤、整合工作。

6.根据权利要求2所述的时序数据管理平台，其特征在于，所述用户认证模块包括手掌采集单元、手掌处理单元和识别单元，所述手掌采集单元用于采集用户的手掌图像，所述手掌处理单元用于提取用户手掌特征，所述识别单元基于用户手掌特征对用户身份进行认证。

7.根据权利要求6所述的时序数据管理平台，其特征在于，所述手掌处理单元用于提取用户手掌特征，具体为：

采用5×5高斯核与手掌图像进行卷积操作，实现手掌图像噪声去除；

提取小拇指与无名指之间的指根点T₁、无名指与中指之间的指根点T₂、中指与食指之间的指根点T₃，计算T₁到T₂的距离d₁、T₂到T₃的距离d₂，T₁到T₃的距离为d₃；

连接T₁与T₂，T₃与T₂，得到两条线段，分别作两条线段的中垂线相交于点O,以O为圆心，O到T₁距离R为半径作圆，与掌纹的交点依次为P₁，P₂，…，P_n，将交点依次连接，得到线段P₁P₂，P₂P₃，…，P_n-P_n，其中，n表示交点的数量；

建立特征向量将该特征向量作为用户的手掌信息进行保存。

8.根据权利要求7所述的时序数据管理平台，其特征在于，所述识别单元基于用户手掌特征对用户身份进行认证，具体为：

获取待认证用户与保存的用户手掌信息对应的特征向量，将该特征向量与保存的用户手掌信息进行比对，完成用户身份认证。