CN110222169A - 一种可视化数据处理解析系统及其处理方法 - Google Patents

Abstract

本发明公开了一种可视化数据处理解析系统，包括：数据访问模块、模型执行引擎模块、模型生成模块、模型执行模块、模型管理模块和解析算法管理模块；所述数据访问模块位于数据层，所述模型执行引擎模块位于逻辑层，所述模型生成模块、模型执行模块、模型管理模块和解析算法管理模块位于应用层。本发明能解析处理多种类型的数据，并且可以对数据解析协议库进行管理，扩充新的数据解析协议。该方法处理前支持对原始数据的备份存储，并且按照日期、数据类型分类；对于已经解析导入的数据记录日志，防止数据重复导入；在数据处理过程中可以进行奇异值过滤、数据筛选，并且会进行异常值提醒。

Description

一种可视化数据处理解析系统及其处理方法

技术领域

本发明属于数据处理技术领域，具体涉及一种可视化数据处理解析系统及其处理方法。

背景技术

目前装备数据的种类越来越多，除了常规的表格数据以外，各类装备总线数据、音视频数据、气象环境数据、电磁频谱数据、指挥控制数据等都是单独进行测试采集和处理，都是基于多台采集设备采集和记录数据，这就造成了不同采集设备采集的数据在时间上会有一些差异（也使得各设备采集采样时刻不一致），但根据一些试验鉴定科目的要求，必须要把同一科目的来自不同采集器的相关参数放在一起分析才能对装备的性能、效能、适应性作出准确的判断，也就是要在统一的时间基准上对相关参数进行分析。

为此，我们提出一种可视化数据处理解析系统及其处理方法，以解决上述背景技术中提到的问题。

发明内容

本发明的目的在于提供一种可视化数据处理解析系统及其处理方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种可视化数据处理解析系统，包括：

数据访问模块、模型执行引擎模块、模型生成模块、模型执行模块、模型管理模块和解析算法管理模块；

所述数据访问模块位于数据层，所述模型执行引擎模块位于逻辑层，所述模型生成模块、模型执行模块、模型管理模块和解析算法管理模块位于应用层。

优选的，所述模型执行引擎模块包括有数据抽取模块、数据过滤模块、数据转换模块、数据加载模块。

优选的，所述数据抽取模块、数据过滤模块、数据转换模块、数据加载模块，其分别用于数据抽取、数据过滤、数据转换和数据加载，其中数据抽取添加数据处理流程的节点，必须包含输入节点和输出节点、数据过滤为过滤出不符合要求的数据，数据转换可以对不同类型的数据进行转换。

优选的，所述数据访问模块用于对数据进行访问。

本发明还提供了一种可视化数据处理解析系统的处理方法，具体包括以下步骤：

S1、添加数据处理流程的节点，必须包含输入节点和输出节点，可以选择的节点类型还包括转换节点和过滤节点，过滤节点可以根据相关配置在数据处理过程中过滤出不符合要求的数据，转换节点可以对不同类型的数据进行转换，比如对数值或者时间进行增加减少，每种类型在数据处理流程中都已存在多个；

S2、创建数据处理流程，通过可视化的方式使用有向线段连接两个节点来创建数据处理流程，需要把输入节点放置在数据处理流程的最开始位置，把数据输出放置在流程结束的位置；

S3、对节点进行配置，不同的节点需要的配置不同，比如输入节点需要配置输入源信息，输出节点需要配置输出位置的消息，过滤节点需要配置过滤条件，转换节点需要配置转换的具体操作；

S4、直接开始运行整个输出处理流程，对数据进行处理，数据协议需要是满足条件的动态链接库文件，在添加数据解析协议的时候，需要设置数据解析协议文件并且输入协议的名称。

与现有技术相比，本发明的有益效果是：本发明提供的一种可视化数据处理解析系统及其处理方法，本发明能解析处理多种类型的数据，并且可以对数据解析协议库进行管理，扩充新的数据解析协议。该方法处理前支持对原始数据的备份存储，并且按照按照日期、数据类型分类；对于已经解析导入的数据记录日志，防止数据重复导入；支持设定数据时间戳偏差量信息，在导入过程中支持自动修正数据时间戳信息；在数据处理过程中可以进行奇异值过滤、数据筛选，并且会进行异常值提醒。

附图说明

图1为本发明数据导入系统架构图示意图；

图2为本发明数据导入系统流程图示意图；

图3为本发明数据导入系统组成结构图示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，实施例如下：一种可视化数据处理解析系统，包括：

数据访问模块、模型执行引擎模块、模型生成模块、模型执行模块、模型管理模块和解析算法管理模块；

所述数据访问模块位于数据层，所述模型执行引擎模块位于逻辑层，所述模型生成模块、模型执行模块、模型管理模块和解析算法管理模块位于应用层。

具体的，所述模型执行引擎模块包括有数据抽取模块、数据过滤模块、数据转换模块、数据加载模块。

具体的，所述数据抽取模块、数据过滤模块、数据转换模块、数据加载模块，其分别用于数据抽取、数据过滤、数据转换和数据加载，其中数据抽取添加数据处理流程的节点，必须包含输入节点和输出节点、数据过滤为过滤出不符合要求的数据，数据转换可以对不同类型的数据进行转换。

具体的，所述数据访问模块用于对数据进行访问。

一种可视化数据处理解析系统的处理方法，具体包括以下步骤：

S1、添加数据处理流程的节点，必须包含输入节点和输出节点，可以选择的节点类型还包括转换节点和过滤节点；

不同节点的配置不同，具体配置包括：

一个输入节点对应着一种解析协议和一种读取数据的方法，可以配置相关的异常数据处理方法，用来对解析过程中出现的异常数据进行处理。该类型节点可以从TXT、Excel、Word、CSV等文件类型和数据库中读取数据。并且可以设置识别文件时候的分隔符、文本限定符，头部行和尾部行的数量，输出的内容中是否包含空行和字段名，以及源文件的编码格式、本地日期格式，还可以选择输出的字段和字段的格式。如果未设置，部分属性会有默认的值；

输出节点在配置时可以选择输出的文件类型，有TXT、Excel、Word、CSV等文件，也可以选择将输出内容插入数据库，更新到数据库或者输出到表；当选择输出到文件时，可以设置输出到文件的方式，是全部更新还是已追加的方式写入。并且可以设置输出时的分隔符、文本限定符（封闭符：封闭字段的一段字符），还有格式的选择（和操作系统有关的，如换行符；有默认值）、压缩的格式和编码的格式（有默认值），也可以设置需要的字段；

当选择输出到数据库的时候，必须要配置的是数据库的连接，可以选择已有的数据库连接或者新建数据库连接；当选择新建数据库连接的时候，需要填写数据库连接的名称、数据库连接的类型和数据库访问类型，然后还需要填写服务器主机名、数据库名称、端口号和账号密码等，还有目标表的名称；如果想进行高级设置，还可以设置需要的字段名称，以及满足何种条件时进行操作（插入、删除和更新）；

转换节点主要对字段进行操作，需要设置一定的转换规则，比如对某个字段增加偏移量，或者拆分字段、增加字段、合并字段和删除字段等；对于数字类型的字段，可以增加或者减少数值偏移量，对于时间类型的字段，可以增加或减少以毫秒为单位的时间偏移量，对于字符类型的字段，可以添加或者删除某个字符；

过滤节点主要对异常数据进行拦截，所以过滤模型需要设置过滤规则，比如设置具体的过滤字段、过滤字符串；也需要设置将过滤出来不符合要求的数据如何处理，是输出到特定的文件中还是传递给异常数据处理模块或者直接丢弃或者自动修复等；

S2、创建数据处理流程，通过可视化的方式使用有向线段连接两个节点来创建数据处理流程，需要把输入节点放置在数据处理流程的最开始位置，把数据输出放置在流程结束的位置；

S3、对节点进行配置。不同的节点需要的配置不同，比如输入节点需要配置输入源信息，输出节点需要配置输出位置的消息，过滤节点需要配置过滤条件，转换节点需要配置转换的具体操作；

S4、直接开始运行整个输出处理流程，对数据进行处理。

综上所述，与现有技术相比，本发明能解析处理多种类型的数据，并且可以对数据解析协议库进行管理，扩充新的数据解析协议。该方法处理前支持对原始数据的备份存储，并且按照按照日期、数据类型分类；对于已经解析导入的数据记录日志，防止数据重复导入；支持设定数据时间戳偏差量信息，在导入过程中支持自动修正数据时间戳信息；在数据处理过程中可以进行奇异值过滤、数据筛选，并且会进行异常值提醒。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种可视化数据处理解析系统，其特征在于，包括：

数据访问模块、模型执行引擎模块、模型生成模块、模型执行模块、模型管理模块和解析算法管理模块；

所述数据访问模块位于数据层，所述模型执行引擎模块位于逻辑层，所述模型生成模块、模型执行模块、模型管理模块和解析算法管理模块位于应用层。

2.根据权利要求1所述的一种可视化数据处理解析系统，其特征在于：所述模型执行引擎模块包括有数据抽取模块、数据过滤模块、数据转换模块、数据加载模块。

3.根据权利要求2所述的一种可视化数据处理解析系统，其特征在于：所述数据抽取模块、数据过滤模块、数据转换模块、数据加载模块，其分别用于数据抽取、数据过滤、数据转换和数据加载，其中数据抽取添加数据处理流程的节点，必须包含输入节点和输出节点、数据过滤为过滤出不符合要求的数据，数据转换可以对不同类型的数据进行转换。

4.根据权利要求1所述的一种可视化数据处理解析系统，其特征在于：所述数据访问模块用于对数据进行访问。

5.一种权利要求1所述的可视化数据处理解析系统的处理方法，其特征在于：具体包括以下步骤：

S1、添加数据处理流程的节点，必须包含输入节点和输出节点，可以选择的节点类型还包括转换节点和过滤节点，过滤节点可以根据相关配置在数据处理过程中过滤出不符合要求的数据，转换节点可以对不同类型的数据进行转换，比如对数值或者时间进行增加减少，每种类型在数据处理流程中都已存在多个；

S2、创建数据处理流程，通过可视化的方式使用有向线段连接两个节点来创建数据处理流程，需要把输入节点放置在数据处理流程的最开始位置，把数据输出放置在流程结束的位置；

S3、对节点进行配置，不同的节点需要的配置不同，比如输入节点需要配置输入源信息，输出节点需要配置输出位置的消息，过滤节点需要配置过滤条件，转换节点需要配置转换的具体操作；

S4、直接开始运行整个输出处理流程，对数据进行处理，数据协议需要是满足条件的动态链接库文件，在添加数据解析协议的时候，需要设置数据解析协议文件并且输入协议的名称。