CN112632123A

CN112632123A - 一种基于nifi技术实现公路技术状况评定系统数据智能化入库的方法

Info

Publication number: CN112632123A
Application number: CN202011506351.1A
Authority: CN
Inventors: 乔衡; 闫金萍; 张新秀; 李钰; 脱敏雍
Original assignee: Gansu Hengshi Highway Inspection Technology Co ltd
Current assignee: Gansu Hengshi Highway Inspection Technology Co ltd
Priority date: 2020-12-18
Filing date: 2020-12-18
Publication date: 2021-04-09
Anticipated expiration: 2040-12-18
Also published as: CN112632123B

Abstract

本发明公开了一种基于NIFI技术实现公路技术状况评定系统数据智能化入库的方法，包括S1、用户上传路况检测数据；S2、判断上传的数据是人工调查数据或检测设备检测的数据，若是检测设备检测的数据，则根据数据内容自动甄别检测设备的类型，并根据检测设备的类型触发相应的NIFI处理任务；若是人工调查数据，则将人工调查数据使用python脚本分割成多条数据；NIFI处理任务启动，并下载用户上传路况检测数据；S4、判断用户上传的路况检测数据的格式是否为CSV格式，若是则将路况检测数据按照分隔符分割为多条数据等步骤。优点是：通过分布式部署，提高了检测数据入库效率，节省了入库时间，有效的利用了硬件资源，减少硬件资源的浪费。

Description

一种基于NIFI技术实现公路技术状况评定系统数据智能化入库的方法

技术领域

本发明涉及交通领域公路行业路况技术数据入库领域，尤其涉及一种基于NIFI技术实现公路技术状况评定系统数据智能化入库的方法。

背景技术

截至2019年底，甘肃省公路总里程达到14.3万公里，其中高速公路总里程4452公里，普通国省道11287公里。14个市州政府驻地全部以高速公路贯通，54个县高速公路已开通，县通高速比例达到63％，连霍、青兰、十天、京新等高速公路在甘肃境内全贯通。

2001年，美国开发了道路管理系统“PAVER”，是通过道面状况指标(PavementCondition Index,PCI)作为道面状况好坏的一个指标开发的管理系统。2005年高达公司开发了美国加州Oakland国际机场道面管理系统(APMS)。在国内，2009年，交通运输部公路科学研究院推出了公路资产管理系统(China Pavement Management System,CPMS),2015年武大卓越科技有限公司推出的公路全资产管理系统等。总体来说，目前投入实际应用的公路技术状况评定系统在处理检测数据方面方便、快捷。但是，这些系统也存在一些不足。比如(1)路线编码、区间划分、路段划分原则没有统一的标准。(2)处理数据效率不高，导入检测数据与导出评定结果响应时间比较长。(3)系统交互性不强，资源不能共享。各级公路管理部门评定自己的检测数据，不能有效的汇总整条路的技术状况指数。

随着甘肃省公路里程大幅增加，公路检测数据处理工作越来越繁重，检测数据流程化的处理迫在眉睫，如何快速的、高效的、科学和准确的整合处理公路检测数据，如何提高公路检测数据使用效率，并在养护的精细化和养护资金的使用效益方面做出突出贡献至关重要。

针对这些问题开发了甘肃公路技术状况评定系统，目前，甘肃省公路技术状况评定系统包括电子地图、路况数据、等级评定、养护历史共4个模块。路况数据包括基础信息、路况数据两项子模块。基础信息模块中包含路线信息与评价单元两个子模块，主要实现路线基础信息统一管理。基础信息模块由系统管理员统一录入全省路线信息与区间信息，系统根据分配好的区间信息实现路段自动编码规则，形成甘肃省路网数据字典。路况数据模块主要实现甘肃省14个管养单位86个公路段通过登录系统，实现查看、录入、修改、删除、导出各自的检测数据，实现了检测数据分权录入资源整合成一条完整路线的检测数据。等级评定功包括分级评定、汇总评定、统计分析、检测报告四项子模块。分级评定和汇总评定配置各种规范要求的表格，自动评定路况数据出具相应的检测报表。统计分析根据数据库中数据进行了一些图标统计，实现直观查看历年检测数据与跟踪历年路况变化情况，检测报告根据数据库中存储的检测数据自动计算与绘制不同表格与图形，自动出具检测报告。养护历史主要通过追踪历年的路况检测数据，自动回归验算预测模型联合路面指标决策树给出具体的养护措施以及费用，实现自动出具养护决策报告白皮书的功能。平台管理实现管理员更好的管理与维护系统。各个管养单位只能查询、录入、修改出具自己管养的路线的检测数据与报告。通过给基础数据分配权限使检测数据更加准确，谁管养谁检测最终整合为全省路网检测数据。

甘肃省公路技术状况评定每年进行两次，全省86个县区公路段统一登录“甘肃省公路技术状况评定系统”录入自己的检测数据，检测数据包括路面技术状况指数(PQI)、路基技术状况指数(SCI)、桥隧构造物技术状况指数(BCI)、沿线设施技术状况指数(TCI)四项公路技术指标。路面技术状况指数(PQI)又包括路面损坏状况指数(PCI)、路面行驶质量指数(RQI)、路面车辙深度指数(RDI)、路面跳车指数(PBI)、路面磨耗指数(PWI)、路面抗滑性能指数(SRI)、路面构造强度指数(PSSI)七项分项指标。

路况评定分为人工调查检测与自动化检测两种方式，采用不同的检测方式相对应不同的检测报表，然而甘肃省提倡采用自动化检测设备，但是全国道路自动化检测设备品牌比较多，不同的设备出具的表格形式多种多样，导致软件系统开发比较困难，实时需要调整系统数据库与代码。甘肃省每年路况评定工作集中在6月份和10月份，不同的路况指标检测数据同时在不到10个工作日的时间入库、检查、计算、评定、统计出具报表。当《公路技术状况评定标准》修订时，规范中的评定指标往往会发生变化(增加指标、删除指标、调整指标等)，传统方法需要修改或调整数据库结构以及入库代码。而且传统方法在数据入库过程中不能实时监测数据流传递过程与检测数据堆积问题，这样软件平台的负担就会增大，并且数据响应周期长。

发明内容

本发明的目的在于提供一种基于NIFI技术实现公路技术状况评定系统数据智能化入库的方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于NIFI技术实现公路技术状况评定系统数据智能化入库的方法，包括如下步骤，

S1、用户上传路况检测数据；

S2、判断上传的数据是人工调查数据或检测设备检测的数据，若是检测设备检测的数据，则根据数据内容自动甄别检测设备的类型，并根据检测设备的类型触发相应的NIFI处理任务，并进入步骤S3；若是人工调查数据，则将人工调查数据使用python脚本分割成多条数据，并进入步骤S6；

S3、NIFI处理任务启动，并下载用户上传路况检测数据；

S4、判断用户上传的路况检测数据的格式是否为CSV格式，若是则执行步骤S5；若否则将用户上传的路况检测数据转化为CSV格式后，执行步骤S5；

S5、将CSV格式的路况检测数据按照分隔符分割为多条数据；

S6、针对分割后的多条数据，逐条对其进行数据校验和空值检查后化为数据对象，并将转化后的数据对象逐条传入入库接口，实现数据入库。

优选的，python脚本能够将人工调查数据中的空行和非数据行剔除后分割成多条数据。

优选的，所述数据校验具体为，

判断每条数据的日期列是否为日期类型，若是，则按照预设日期类型格式化该条数据，若否，则继续判断该条数据是否为必填字段，若是，则跳过本条数据，若否，则按null处理；

判断每条数据的数值列是否为数字，若是，则按照预设数据精度格式化该条数据，若否，则继续判断该条数据是否为必填字段，若是，则跳过本条数据，若否，则按null处理。

优选的，所述数据对象即为评定系统中所定义的数据模型；步骤S6即为，将分割后的多条数据，逐条进行数据校验和空值检查后，转化到评定系统定义的数据模型的每个属性上去。

优选的，步骤S6中，数据对象逐条入库的过程中，存在优先级策略，按照数据对象的先后顺序进行逐条入库；针对重要数据的处理，能够暂停优先级较低的处理节点，并优先导入重要数据，实现重要数据的快速入库。

优选的，在数据对象逐条入库的过程中，需要对所有排队入库的数据对象进行缓存；当队列达到指定限制时启动背压功能，或者，在数据对象达到指定年龄时，删除该数据对象。

本发明的有益效果是：1、实现了当行业标准《公路技术状况评定标准》修订时，规范发生变化时，不再需要重新开发软件系统或者升级已有系统，从而节省大量的开发时间与系统开发费用，提高工作效率。2、结合NiFi特性，通过分布式部署，提高了检测数据入库效率，节省了入库时间，有效的利用了硬件资源，减少硬件资源的浪费。

附图说明

图1是本发明实施例中入库方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

实施例一

如图1所示，本实施例中，提供了一种基于NIFI技术实现公路技术状况评定系统数据智能化入库的方法，包括如下步骤，

S1、用户上传路况检测数据；

S3、NIFI处理任务启动，并下载用户上传路况检测数据；

S5、将CSV格式的路况检测数据按照分隔符分割为多条数据；

本实施例中，python脚本能够将人工调查数据中的空行和非数据行剔除后分割成多条数据。

本实施例中，所述数据校验具体为，

空值检查即为：检查null(即未填)、空字符串。

本实施例中，所述数据对象即为评定系统中所定义的数据模型；步骤S6即为，将分割后的多条数据，逐条进行数据校验和空值检查后，转化到评定系统定义的数据模型的每个属性上去。

本实施例中，步骤S6中，数据对象逐条入库的过程中，存在优先级策略，按照数据对象的先后顺序进行逐条入库；针对重要数据的处理，能够暂停优先级较低的处理节点，并优先导入重要数据，实现重要数据的快速入库。

本实施例中，在数据对象逐条入库的过程中，需要对所有排队入库的数据对象进行缓存；当队列达到指定限制时启动背压功能，或者，在数据对象达到指定年龄时，删除该数据对象。

实施例二

本实施例中，在公路技术状况指标评定的过程中应用NiFi主要实现了数据的分发及数据的监控。《公路技术状况评定标准》(JTG 5210-2018)规定每年需要检测覆盖全省20％的路面结构强度指标，应用NiFi可以为路面结构强度指标定义流程，然后进行处理，后台具有数据处理引擎、任务调度等组件。其中NIFI任务启动后，所使用到的处理器主要包括：

1、InvokeHTTP

HTTP客户端处理器。处理各种http(https)请求，完成与服务器之间的数据交互。

2、SplitJson

将JsonPath表达式指定的数组元素的JSON文件拆分为多个单独的FlowFiles。完成从服务器获取的JSON格式数据的初步解析。

3、EvaluateJsonPath

根据FlowFile的内容转换估一个或多个JsonPath表达式。与处理器SplitJson配合使用完成JSON数据的解析。

4、RouteOnAttribute

使用属性表达语言完成不同数据处理任务的数据流分配。

5、AttributesToJSON

生成输入FlowFile属性的JSON表示形式。主要实现向服务器提交数据前的数据内容组织。

6、ConvertExcelToCSVProcessor

将Excel中每个工作表转换为csv，方便后续数据的分割和处理。

7、ExecuteStreamCommand

对流文件的内容执行外部命令，利用该处理通过二次编程实现更复杂、定制化的数据处理能力。

8、CSVReader

解析CSV格式的数据，并将CSV文件中的每一行作为单独的记录返回。用于读取CSV格式和Excel转换为CSV格式文件中的数据。

9、FreeFormTextRecordSetWriter

将CSVReader处理器返回的内容写为自由格式的文本，即路况评定系统定义的数据结构，实现数据格式的对接，以便于向系统提交数据。

10、FlowFile Processor(处理器)：负责实际对数据流执行工作，检测数据质量过程。

11、Connection(连接线)：负责不同处理器之间的连接，是数据的有界缓冲区。12、Flow Controller(流量控制器)：管理进程使用的线程及其分配。

13、Process Group(处理器组)：进程组是一组特定的进程及其连接，允许组合其他组件创建新组件。

FlowFile：表示通过系统移动的每个对象，包含数据流的基本属性等信息，是检测数据处理开始到处理结束全过程。

NiFi数据处理的核心是由各个数据处理器完成的，而各处理器之间是通过数据流的方法完成数据的传输和组件间的数据输入与输出。

下面具体说明基于NIFI技术实现公路技术状况评定系统数据智能化入库的方法执行过程：

使用NIFI判断数据类型：主要判断检测类型，检测类型包括数据采集所使用的检测设备(检测车)的类型，根据不同的检测类型走不同的NiFi处理流程。判断类型处理器主要使用了RouteOnAttribute处理器，是基于流文件的属性语言表达路由。

本实施例中，判断类型正确后进行分流处理，实现区间操作与数据导入控制。公路技术状况评定工作流程是先有路线，根据路线划分区间，区间划分好之后根据算法进行路段划分，路段主要实现1公里评定工作。区间划分比较复杂，主要实现路线区间化管理，区间划分原则：第一级根据路面类型划分区间，第二级根据路面等级划分区间，第三极根据不同的管养单位划分，第四级根据交通量、路面宽度、收费与否划分。根据路面类型可以分成沥青路面、水泥混凝土路面、砂石路面；不同类型的道路可以按照道路等级分为高速公路、一级公路、二级公路、三级公路、四级公路和等外公路；根据不同的管养单位划分，再次将路线划分不同的区间，因而使路网检测与管养更加复杂与精准。NiFi实现了区间信息编辑、删除、新增时对路段的划分、调整以及删除功能。处理器主要使用了InvokeHTTP 1.10.0处理器调用后台区间数据处理接口。

数据导入(即数据对象逐条入库)主要实现数据指标类型的判断与导入，数据指标主要有路面、路基、桥隧构造物、沿线设施四项路况指标。在数据导入中使用了优先排队政策，NiFi允许设置一个或多个优先级排序方案来了解如何从队列中检索数据，默认值是最早的，但在数据导入过程中有时候重要检测数据被拉到最新，最大的第一个换可以自定义优先导入方案。在数据导入过程中NiFi支持对所有排队的检测数据进行缓冲，以及当队列达到指定限制时提供背压的能力，或者在检测数据达到指定年龄时使其老化(其值已经消失)的能力。

路面指标检测数据包括损坏状况(PCI)、行驶质量(RQI)、车辙深度(RDI)、跳车(PBI)、磨耗(PWI)、抗滑性能(SRI)、结构强度(PSSI)七项指标。路面七项指标都有自动化检测设备，首先要判断自动化检测设备类型，根据设备类型近入不同的路面检测指标中。高速路面检测指标我们会细化到10米数据，数据量比较大，NiFi能够保证交货，他的核心理念是即使在非常高的规模，必须保证交付入库，这样保证了我们路面检测数据质量，防止数据丢失。NiFi使路面检测数据流高度模式化，并且有许多不同的方式解决数据拥堵问题。在数据安全问题上NiFi使数据流中每一点的NiFi都可以通过使用双向SSL加密协议提供检测数据安全交换。

实施例三

本实施例中，以路面破损为列，说明数据入库过程；其它指标相似。

路面损坏状况(PCI)分为沥青路面、水泥混凝土路面、砂石路面(规范中取消，但由于甘肃特色继续评定)。

本实施例中，使用NIFI可以实现数据监控：数据监控主要实现数据队列监控、数据内容监控、数据处理过程中的错误监控、处理器状态监控等。

数据队列监控主要体现在Queued，是数据排的队列监控，In是在路面数据导入过程中有2条进入1条，数据实体大小为1KB，读取与写入数据量大小为520.76KB/835.88KB,Out输出数据。

数据内容监控是flowfile的属性和内容

数据处理过程中的错误监控主要体现在数据处理过程中报错监控，可以清楚看见哪项指标出现错误信息，并可以追溯到错误源头。

处理器状态监控主要监控处理器的状态与运行情况。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明提供了一种基于NIFI技术实现公路技术状况评定系统数据智能化入库的方法；实现了当行业标准《公路技术状况评定标准》修订时，规范发生变化时，不再需要重新开发软件系统或者升级已有系统，从而节省大量的开发时间与系统开发费用，提高工作效率。2、结合NiFi特性，通过分布式部署，提高了检测数据入库效率，节省了入库时间，有效的利用了硬件资源，减少硬件资源的浪费。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims

1.一种基于NIFI技术实现公路技术状况评定系统数据智能化入库的方法，其特征在于：包括如下步骤，

S1、用户上传路况检测数据；

S3、NIFI处理任务启动，并下载用户上传路况检测数据；

S5、将CSV格式的路况检测数据按照分隔符分割为多条数据；

2.根据权利要求1所述的基于NIFI技术实现公路技术状况评定系统数据智能化入库的方法，其特征在于：python脚本能够将人工调查数据中的空行和非数据行剔除后分割成多条数据。

3.根据权利要求1所述的基于NIFI技术实现公路技术状况评定系统数据智能化入库的方法，其特征在于：所述数据校验具体为，

4.根据权利要求3所述的基于NIFI技术实现公路技术状况评定系统数据智能化入库的方法，其特征在于：所述数据对象即为评定系统中所定义的数据模型；步骤S6即为，将分割后的多条数据，逐条进行数据校验和空值检查后，转化到评定系统定义的数据模型的每个属性上去。

5.根据权利要求3所述的基于NIFI技术实现公路技术状况评定系统数据智能化入库的方法，其特征在于：步骤S6中，数据对象逐条入库的过程中，存在优先级策略，按照数据对象的先后顺序进行逐条入库；针对重要数据的处理，能够暂停优先级较低的处理节点，并优先导入重要数据，实现重要数据的快速入库。

6.根据权利要求4所述的基于NIFI技术实现公路技术状况评定系统数据智能化入库的方法，其特征在于：在数据对象逐条入库的过程中，需要对所有排队入库的数据对象进行缓存；当队列达到指定限制时启动背压功能，或者，在数据对象达到指定年龄时，删除该数据对象。