CN104750814A - 基于多传感器的多元异构数据流自动入库方法 - Google Patents

Abstract

本发明实施例提供一种基于多传感器的多元异构数据流自动入库方法。本发明方法，包括：处理器接收由至少两个传感器采集的多元异构数据流；所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中，若是，则判断所述多元异构数据是否匹配所述传感器格式信息表，若是，则存储所述多元异构数据至本地流数据库；若所述多元异构数据流对应的传感器不存在于所述传感器格式信息表中，则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中。本发明实施例实现了多元异构数据的全自动规范化入库，提高了数据统计分析处理效率，降低人力、时间、成本耗费。

Description

基于多传感器的多元异构数据流自动入库方法

技术领域

本发明实施例涉及数据处理领域，尤其涉及一种基于多传感器的多元异构数据流自动入库方法。

背景技术

对于工程项目而言，实施某项监测往往由许多传感器共同采集数据，从而需要处理器根据多个传感器采集的数据解决工程项目所面对的问题。

由于传感器的种类和型号多种多样，所采集的监测数据格式、范围、标准都不相同，导致不能统一自动识别并处理多个传感器的多元异构数据流的入库，需要针对每种传感器生成的数据流开发专门的入库程序进行处理，同时由于使用环境的影响，传感器的稳定性可能会下降，比如，传感器所应用的工作环境复杂多变、数据传输环境恶劣、通信距离较远、网络环境不稳定等情况，传感器所采集的数据会出现丢失、错误、无序等异常问题。目前，对于多个传感器所采集的多元异构数据流的处理办法多采用预先制定标准化规范，之后分别开发针对某一系列传感器的转换程序对该数据流进行入库。

但是，该种数据处理方式需要开发针对每种传感器的一套程序来处理数据进行入库，因此存在着扩展性差，开发成本高，需要专业人员维护等不足，并且使多个处理程序同时运行竞争系统资源，可能影响整个数据采集系统的稳定性。

发明内容

本发明实施例提供一种基于多传感器的多元异构数据流自动入库方法，以克服现有技术的问题。提出一种数据格式信息表保存所有传感器数据信息，通过数据格式信息表的维护来实现多个新传感器数据流的扩展。提出统一自动处理多传感器的多元异构数据流入库的方法。提出多元异构数据的丢失、错误、无序等异常情况自动修复的方法。

本发明实施例传感器的多元异构数据流自动入库处理方法，包括：

处理器接收由至少两个传感器采集的多元异构数据流；

所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中，若存在，则根据所述传感器格式信息表存储所述多元异构数据至本地流数据库，若不存在，则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中，并根据添加后的传感器格式信息表存储所述多元异构数据。

进一步地，所述根据所述传感器格式信息表存储所述多元异构数据至本地流数据库，包括：

所述处理器判断所述多元异构数据是否匹配所述传感器格式信息表，若是，则存储所述多元异构数据至本地流数据库；若否，则将异常情况记录在监测日期表中。

进一步地，所述传感器格式信息表包括传感器名称、数据存放路径、传感器采集周期、日期文件夹格式、数据文件名格式、采集周期、时间标签格式、表头行数、数据行数、数据分隔符、文件编码、最新监测日期、监测日期表名，每一行的行号、内容格式，每一列的列号、监测量名、数据格式、最大值、最小值、默认值、超出最大值时修复函数、小于最小值时修复函数、数据丢失时修复函数。

进一步地，所述将异常情况记录在监测日期表中之后，还包括：

所述处理器根据所述监测日期表、异常字符表以及修复函数表修复所述多元异构数据流中的所述异常字符，所述异常字符表包括异常字符对应的传感器名称、字符名称、字符所对应的列号、使用的修复函数以及默认替换值，所述修复函数表包括数据丢失补全函数、错误数据修正函数、无序数据排序函数。

进一步地，所述处理器接收由至少两个传感器采集的多元异构数据流之前，还包括：

所述处理器根据传感器的数据文件格式建立所述传感器格式信息表。

本发明实施例处理器接收由至少两个传感器采集的多元异构数据流，判断该多元异构对应的传感器是否存在于传感器格式信息表中，若是，则判断该多元异构数据是否匹配该传感器格式信息表，若匹配，则将该多元异构数据存储至本地流数据库；若该多元异构数据流对应的传感器不存在于该传感器格式信息表中，则将该多元异构数据流对应的传感器格式信息添加到该传感器格式信息表中，并根据添加后的传感器格式信息表将数据存储至本地流数据库。通过传感器格式信息表的维护实现了多个传感器数据流的扩展。

本发明的有益效果为：

1、对多传感器采集的多元异构数据流实现了全自动规范化入库，有效提高了数据库管理的动态实时性同步性，缩短了数据查询时间，提高了数据统计分析处理效率，降低人力、时间、成本耗费；

2、对格式、范围、标准不一致的海量数据流进行自动识别和分类统一管理，方便了数据的管理和应用，是实现数据高效存储、查询、分析、整合、处理、服务和资源共享的前提，有利于挖掘数据的最大化价值，保障工程项目生产的安全性和运行的秩序化；

3、对持续不断的数据流自动纠正、修复、排序等规范化处理入库，确保了数据的可用性、可靠性、完整性、准确性、延续性和易维护性，使数据库管理更加科学合理有序。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于多传感器的多元异构数据流处理方法实施例一的流程图；

图2为本发明风力传感器采集的数据示意图；

图3为本发明GPS传感器采集的数据示意图；

图4为本发明多元异构数据流格式规范化的流程图；

图5为本发明添加传感器格式信息至传感器格式信息表的流程图；

图6为本发明多元异构数据流数据修复处理流程图；

图7为本发明多元异构数据流处理过程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明基于多传感器的多元异构数据流处理方法实施例一的流程图，如图1所示，本实施例的方法可以包括：

步骤101、处理器接收由至少两个传感器采集的多元异构数据流；

步骤102、所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中，若是，则判断所述多元异构数据是否匹配所述传感器格式信息表，若是，则存储所述多元异构数据至本地流数据库；若所述多元异构数据流对应的传感器不存在于所述传感器格式信息表中，则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中。

具体来说，对于实施某种工程项目的监测往往需要多个传感器一起工作，多个传感器的种类型号可能多种多样，处理器接收由至少两个传感器采集的多元异构数据流，判断该多元异构数据流对应的传感器是否存在于传感器格式信息表中，若存在，则判断该多元异构数据与传感器格式信息表是否匹配，所述传感器格式信息表包括传感器名称、数据存放路径、传感器采集周期、日期文件夹格式、数据文件名格式、采集周期、时间标签格式、表头行数、数据行数、数据分隔符、文件编码、最新监测日期、监测日期表名，每一行的行号、内容格式，每一列的列号、监测量名、数据格式、最大值、最小值、默认值、超出最大值时修复函数、小于最小值时修复函数、数据丢失时修复函数。若匹配，则存储所述多元异构数据值到本地流数据库。若该多元异构数据对应的传感器不存在于传感器格式信息表中，则将该多元异构数据流对应的传感器格式信息添加到该传感器格式信息表中，并根据添加后的传感器格式信息表存储所述多元异构数据到本地流数据库。举例说明，处理器接收由两个传感器采集的多元异构数据流。风力传感器采集的数据，如图2所示，GPS传感器采集的数据，如图3所示。传感器格式信息表详见表1，

表1

处理器判断A组数据流对应的传感器存在于传感器格式信息表中，再次判断A组数据流数据与传感器格式信息表中内容为匹配，则存储该组数据至本地流数据库；处理器判断B组数据流对应的传感器不存在于传感器格式信息表中，则将B组数据流对应的传感器的格式信息添加到所述传感器格式信息表中，添加后的传感器格式信息表详见表2。

表2

进一步地，所述处理器接收由至少两个传感器采集的多元异构数据流之前，还包括：

所述处理器根据传感器的数据文件格式建立所述传感器格式信息表。

具体来说，该传感器格式信息表可以预先根据传感器的数据文件格式建立。

图4为本发明多元异构数据流格式规范化的流程图，如图4所示，多元异构数据流格式规范化包括：

步骤201、从缓冲区中读取一组数据；

步骤202、根据多元异构数据的文件夹名称对应的数据时间信息与传感器格式信息表中的最新导入日期以及检测日期表中的日期进行比较，判断该数据是否已经导入。具体为：1、若早于最新导入日期并在监测日期表中存在并标记缺失则表明此时间的数据未导入；2、若早于最新导入日期并在监测日期表中存在并标记完整则表明此时间的数据已导入；3、若数据的时间比最新导入日期更新则表明该数据未导入；若已经导入，则跳过该数据返回步骤201读取下一组数据，若否，则执行步骤203；

步骤203、根据多元异构数据的时间信息与传感器格式信息表中的判断该传感器的数据格式信息是否已存在：在没有新传感器添加的情况下缓冲区中的文件的路径与数据格式信息表中的记录一一对应，若有新的传感器数据流已经扩展则与传感器数据格式信息表中比较则可以发现，并提示导入该数据流的格式信息。数据文件的保存路径为：[缓冲区根路径]\[传感器名称]\[监测日期]\[数据文件名]，所以从传感器的名称判断该传感器的数据格式是否已经导入，若未导入则标记该路径将路径地址发送并通知添加传感器格式的程序有新的传感器数据。同时数据规范化流程跳过该传感器下的所有数据，转到下一个传感器目录转到步骤201开始读取数据程序流程，若格式信息已导入则转到步骤204；

步骤204、将传感器格式信息表中所有信息读取到内存中；

步骤205、检查数据是否满足格式要求，其中包括数据的表头信息与正文信息的各项是否满足在数据格式信息表中记录的每一项，若是，则转到步骤206，若否，则由异常分类生成该日期下的数据文件对应的错误的状态信息同该日期保存在该传感器的监测日期表中，转到步骤201继续读取数据；

具体来说，传感器格式信息表中数据的表头信息包括：传感器号、表头行号，内容格式模板，正文信息包括：传感器号、数据列号、该列监测量名称、数据类型、最大值、最小值、默认值、超过最大值修复函数、小于最小值修复函数、数据丢失修复函数。

步骤206、将该数据文件导入到本地数据库中并生成一条记录；

步骤207、查看数据缓冲池是否为空，若不空则继续读取下一个数据转步骤201，若则启动自动规范化程序修复数据，转步骤208；

步骤208、数据检查程序完成，启动数据自动规范化程序。

具体来说，本实施例中把每个传感器的采集数据以小时为单位时间打包成一个文件，一天24小时的数据放在当天日期为目录的文件夹中，保存在该传感器的数据目录下。

图5为本发明添加传感器格式信息至传感器格式信息表的流程图，如图5所示，添加传感器格式信息至传感器格式信息表中，包括：

步骤301、读取标记字段，判断是否存在待导入的传感器，标记字段初始化为‘否’，待导入传感器的信息保存在一个特殊的队列中；若标记字段为否，转到步骤302，标记字段为‘是’则转到步骤303；

步骤302、选择是否需要添加一个新的传感器数据格式，是则转到步骤304，否则转到步骤309启动数据自动检查程序；

步骤303、从队列中读取传感器的信息自动填入到数据格式信息表中的对应项中，并执行步骤304；

步骤304、输入传感器数据文件的基本信息，包括文件的字符编码，数据分隔符，采集周期，保存路径，表头行数，监测量个数；

步骤305、记录数据传感器数据文件的表头格式，其中每个传感器的表头格式各不相同，以行为单位，记录每一行的信息作为模板保存在格式信息的表中，行表头数目因传感器而异。表头信息记录完成后继续执行下一步骤；

步骤306、记录数据的正文信息，其中每一个传感器都有不同个数的监测量，每一个监测量以列为单位保存在数据文件中，所以数据正文信息中要记录每一列的数据格式，表示方法，其数据有效范围的最大值最小值，以及从修复函数表中确定超出范围时或数据缺失时使用与至对应的函数修复；

步骤307、输入每一列中可能出现的异常字符的默认替换值或者选择启用的修复函数，以此实现在不同监测量中的相同异常字符用不同的方法进行修复；

步骤308、检查待导入格式的传感器队列是否为空若空，则导入程序结束，执行步骤309，否则转到步骤303继续导入下一个；

步骤309、传感器数据文件格式信息初始化完成，启动数据自动检查程序检查数据。

本实施例，自动识别并分类统一管理多传感器采集的不同格式、范围、标准的数据：1、对多传感器采集的多元异构流数据实现了全自动规范化入库，有效提高了数据库管理的动态实时性同步性，缩短了数据查询时间，提高了数据统计分析处理效率，降低人力、时间、成本耗费；2、对格式、范围、标准不一致的海量数据流进行分类统一管理，方便了数据的管理和应用，是实现数据高效存储、查询、分析、整合、处理、服务和资源共享的前提，有利于挖掘数据的最大化价值，保障工程项目生产的安全性和运行的秩序化。

进一步地，所述则判断所述多元异构数据是否匹配所述传感器格式信息表之后，还包括：

所述处理器根据所述传感器格式信息表检测所述多元异构数据是否存在异常情况，若是，则将异常情况记录在监测日期表中。

进一步地，所述将异常情况记录在监测日期表中之后，还包括：

所述处理器根据所述监测日期表、异常字符表以及修复函数表修复所述多元异构数据流中的所述异常字符，所述异常字符表包括异常字符对应的传感器对应的名称、字符名称、字符所对应的列号以及默认替换值，所述修复函数表包括数据丢失补全函数、错误数据修正函数、无序数据排序函数。

具体来说，图6为本发明多元异构数据流数据修复处理流程图，如图6所示，修复过程为：

步骤401、从监测日期表中读取一条记录，包含异常数据的日期与状态字段；

步骤402、逐项检查该日期下的数据文件的状态字段并判断是否需要修复，若是则执行步骤403，否则执行步骤401读取下一个记录；

步骤403、将该数据文件的地址与数据格式信息表发送到修复函数进行处理并等待返回结果；

步骤404、根据处理后的状态字段判断该日期下的所有数据文件是否仍需要修复，若是则转步骤405，若不再需要修复则从监测日期表中删除该日期的一条记录。转到步骤406；

步骤405、更新监测日期表中的记录，以新的状态字段覆盖原来的值表，并从监测日期表中读取下一个日期；

步骤406、判断修复程序是否处理完成。若否，转到步骤401，若是，则转步骤407；

步骤407、修复程序结束，重新启动数据格式信息导入程序。

图7为本发明多元异构数据流处理过程示意图，如图7所示，传感器检测日期表中记录的错误数据文件经过修复函数的修复后转换为已修复文件，不同的异常情况采取不同修复方案，调用对应的修复函数，实现全自动修复数据。

本实施例，通过建立一个包含所有可能情况的数据规范处理方式的数据修复函数库，调用对应的函数处理数据采集和传输过程中出现的数据丢失、错误、无序等异常情况，或者对同一情况调用不同函数处理，按照统一标准将不同情况的数据规范为可直接调取的格式，将丢失数据补全、错误数据修正、无序数据排序等处理，达到自动规范化目的；针对采集或传输过程中出现的异常情况，实现了对持续不断的数据流自动纠正、修复、排序等规范化处理入库，确保了数据的可用性、可靠性、完整性、准确性、延续性和易维护性，使数据库管理更加科学合理有序。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于多传感器的多元异构数据流自动入库处理方法，其特征在于，包括：

处理器接收由至少两个传感器采集的多元异构数据流；

所述处理器判断所述多元异构数据流对应的传感器是否存在于传感器格式信息表中，若存在，则根据所述传感器格式信息表存储所述多元异构数据至本地流数据库；若不存在，则将所述多元异构数据流对应的传感器的格式信息添加到所述传感器格式信息表中，并根据添加后的传感器格式信息表存储所述多元异构数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述传感器格式信息表存储所述多元异构数据至本地流数据库，包括：

所述处理器判断所述多元异构数据是否匹配所述传感器格式信息表，若是，则存储所述多元异构数据至本地流数据库；若否，则将异常情况记录在监测日期表中。

3.根据权利要求2所述的方法，其特征在于，所述传感器格式信息表包括传感器名称、数据存放路径、传感器采集周期、日期文件夹格式、数据文件名格式、采集周期、时间标签格式、表头行数、数据行数、数据分隔符、文件编码、最新监测日期、监测日期表名，每一行的行号、内容格式，每一列的列号、监测量名、数据格式、最大值、最小值、默认值、超出最大值时修复函数、小于最小值时修复函数、数据丢失时修复函数。

4.根据权利要求3所述的方法，其特征在于，所述将异常情况记录在监测日期表中之后，还包括：

所述处理器根据所述监测日期表、异常字符表以及修复函数表修复所述多元异构数据流中的所述异常字符，所述异常字符表包括异常字符对应的传感器名称、字符名称、字符所对应的列号、使用的修复函数以及默认替换值，所述修复函数表包括数据丢失补全函数、错误数据修正函数、无序数据排序函数。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述处理器接收由至少两个传感器采集的多元异构数据流之前，还包括：

所述处理器根据传感器的数据文件格式建立所述传感器格式信息表。