CN112116201B - 船闸通航运行数据的采集、处理方法 - Google Patents

Abstract

本发明公开了船闸通航运行数据的采集、处理方法，包括：通过与卫星交互通讯，采集船舶航行过程数据；利用数据流处理、消息队列相结合的方法，采集调度指挥过程的多媒体数据；利用统一的数据接口经航道、船闸现场的智能设备采集航道、船闸的环境信息；通过设置与船闸控制系统的控制器连接并电气隔离的数字量输出模块，采集船闸运行状态信息。本发明对船闸运行过程信息进行数字化，从而为船闸智能运行提供基础数据资源，提供技术支持；为船闸智能运行平台的搭建提供基础支撑。

Description

船闸通航运行数据的采集、处理方法

技术领域

本发明涉及船闸智能运行技术领域，特别是船闸通航运行数据的采集、处理方法。

背景技术

智能化并不是只具备了大量的信息数据或是只做到了自动化控制就能实现的，而是需要搭建一个可以从数据到知识再到执行的闭环系统。智能化的要素包括数据、算力、算法和应用场景。由运行现状分析可知：三峡船闸过闸运行过程是一个枢纽通航的交通组织过程不断循环重复的场景，这种场景具有空间范围固定和过程相似度高的特征，其智能化的场景相对单一，其数据源多少和数据量大小决定了对算力的要求。而过程高相似度的特征再结合智能运行、智能调度等智能决策与辅助的需求，决定了三峡船闸通过系统的智能化的算法主要以预测型算法为主。智能化的关键技术主要集中在过程信息的数字化技术和智能化算法技术两个方面。

将船舶通过三峡船闸的运行指挥控制作业过程作为一个多级排队的通过系统，系统的运行决策、调度指挥、运行控制离不开船闸运行过程中各种数据信息的感知和感知数据的融合转化，其中现代化的数据采集、数据存储处理和数据融合技术以及大数据技术为数字化的实现提供了技术支撑。依托于三峡船闸运行信息数字化的过程环节，可为船舶过闸航行、运行调度指挥、和船闸运行管理三大辅助功能的实现和相应的实现途径提供基础数据资源和运算平台。因此三峡船闸运行过程信息数字化技术既是三峡船闸智能运行最基本和最关键的支撑技术也是具有现实可行性的有利“武器”。而现有技术并没有对三峡船闸运行过程信息进行数字化处理的相关文献。

发明内容

本发明的目的是针对上述问题，提供船闸通航运行数据的采集、处理方法，对船闸运行过程信息进行数字化，从而为船闸智能运行提供基础数据资源，提供技术支持。

本发明的技术方案是船闸通航运行数据的采集、处理方法，将船闸运行过程分为船舶过闸航行过程、调度指挥过程、以及船闸运行过程；利用自适应采集系统获取设置在航道、船闸现场的智能设备的数据，自适应采集系统包括包括通信模块、数据采集模块、业务展示接口模块、数据库接口模块。

所述的数据的采集、处理方法包括：通过与卫星交互通讯，采集船舶航行过程数据；利用数据流处理、消息队列相结合的方法，采集调度指挥过程的多媒体数据；利用自适应采集系统与现场的智能设备通信，采集航道、船闸的环境信息；通过设置与船闸控制系统的控制器连接并电气隔离的数字量输出模块，采集船闸运行状态信息。

进一步地，船闸通航运行数据的采集、处理方法还包括将电子海图与北斗导航或GPS定位信号结合，获取船舶在船闸中位置、状态、航向信息。

进一步地，船闸通航运行数据的采集、处理方法还包括通过船舶自动识别系统AIS、船舶交通管理系统VTS、船舶CCTV视频监控系统和雷达，获得船舶交通管理信息。

进一步地，船闸通航运行数据的采集、处理方法还包括利用关键词提取、语言识别方法采集调度指挥过程的行为数据。

利用自适应采集系统采集设置在航道、船闸现场的智能设备的数据的过程包括：

1)对接收到的数据帧首先经过所述协议识别模块根据已知协议识别模板来判断收到的数据帧所属协议类型是否为已知协议类型，若为未知类型的协议则采集一定量的数据帧作为训练数据传输给所述未知协议识别模板生成模块用以生成该未知协议的识别模板，将该识别模板作为已知协议模板用于该类型协议数据帧的识别；

2)将协议识别后的部分数据帧作为训练数据传输给协议解析模板生成模块，生成协议解析模板，

3)协议解析模块通过生成的各类协议解析模板完成对各类协议数据帧的解析，完成数据采集。

优选地，所述利用数据流处理、消息队列相结合的方法，采用KafKa流处理平台。

进一步地，所述船舶航行过程数据包括字符型的船舶标识，字符型的船舶名称，字符型的登记号，浮点型的船舶总长，浮点型的船舶型宽，浮点型的船舶型深，浮点型的载货重，字符型的主机功率，日期型的定位时间，浮点型的经度，浮点型的纬度，浮点型的船舶航向，浮点型的船舶航速，以及整数型的CPA/TCPA报警。

相比现有技术，本发明的有益效果：

1)本发明实现了船闸通航运行的船舶航行过程数据、调度指挥过程数据、船闸的环境信息、船闸运行状态信息的数据采集、处理和集成，使得船闸运行过程信息数字化，从整体上提高船闸监管效率和智能化程度，一定程度上提高船闸运行效率，实现船闸智能化运行和高效通航；

2)本发明方法的自适应采集系统采用统一的协议模型，有效提高了协议识别和协议解析两个方面的灵活性、通用性和扩展性；

3)采用数据流处理、消息队列相结合的方式处理多媒体数据，使得本发明的方法具备较高的峰值处理能力和并发处理能力，灵活性大。

4)本发明方法利用与船闸控制系统连接并电气隔离的数字量输出模块，依托原有电气控制系统和电气控制设备监测系统，在保证控制系统安全和不影响控制系统正常工作的前提下，自动采集获取船闸控制设备实时状态信息和运行参数，便于远程掌控船闸运行状态。

附图说明

下面结合附图对本发明做进一步说明。

图1是本发明的船闸通航运行数据的采集、处理方法的示意图。

图2是本发明实施例的调度指挥过程中多媒体型数据采集的原理图。

图3是本发明实施例的自适应采集系统结构示意图。

图4是本发明实施例的数据采集模块结构图。

图5是本发明实施例的电气控制系统的数据采集的示意图。

具体实施方式

实施例选择三峡船闸作为实施对象，应用本发明的数据采集、处理方法。

如图1-5所示，船闸通航运行数据的采集、处理方法，将船舶通过三峡船闸运行过程分为船舶过闸航行过程、调度指挥过程、以及船闸运行过程；要对运行过程信息进行数字化，就要获取船舶航行过程信息、排档指挥过程信息和船闸运行信息；该些信息来源于不同数据库，则要对不同数据源的数据类型进行分析，所述船舶航行过程信息按照数据项类型分析，主要以船舶基本信息和卫星导航信息为主，其中船舶基本信息来源于已建立的船舶基本信息数据库，只要从数据库提取数据，并传输至数据通讯平台；船舶航行过程的卫星导航信息，无论是北斗导航还是GPS定位信息，通过串口接收北斗/GPS定位信号，通过解析后获取船舶在船闸中位置、状态、航向、航速信息，实现船舶航行过程信息的采集；

调度指挥过程信息包括通航调度信息和船舶交通管理信息；通航调度信息包括船舶过闸申报信息和调度计划信息；所述船舶交通管理信息主要包括雷达、AIS、VTS、CCTV、通过水文气象传感器设备和通讯技术获取的船舶动态、船舶航次、航行环境信息；其中，调度指挥过程中涉及的多媒体型数据主要是调度人员与船方通过高频交流形成的音频数据文件，将调度指挥指令下达与传输的过程数据化，要实现行为数据的自动提取、存储和转换，通过利用关键词提取、语言识别方式来实现；

船闸运行信息包括船闸控制系统运行信息、船闸设施状态转换过程信息、船闸水位转换过程信息和运行空间信息。

如表1所示，按照数据项类型分析，船舶航行过程信息主要以卫星导航信息和船舶基本信息为主，其中船舶基本信息来源于已建立的船舶基本信息数据库，此时只需要从数据库提取数据，并由系统管理端传输至数据通讯平台。采用主动推送方式向数据通讯平台主动推送数据，并且需要采取数据完整性措施，即没发\收到，要进行重发\重收，直到收发完全正确为止。

船舶航行过程卫星导航信息，无论是北斗导航还是GPS定位信息，通过串口接收北斗/GPS定位信号，通过解析后获取船舶在船闸中位置、状态、航向、航速等信息，实现船舶过闸航行过程信息的采集。

表1船舶航行过程信息表

排档指挥过程信息主要包括三峡船闸通航调度信息和船舶交通管理信息。通航调度信息包括船舶过闸申报信息和调度计划。其中，过闸申报信息包括申报方式、申报时间、船舶基本信息、船舶过闸申报项目等；调度计划信息包括闸号、闸次、航向、船名、驳数、定额载客\载货量、货种、实际载客\载货量，队形，过闸方式、过闸起止时间等，船舶交通管理信息主要包括雷达、AIS、VTS、CCTV、通过水文气象传感器设备和通讯技术手段获取的船舶动态、船舶航次、航行环境等信息。

按照运行环节划分，船舶通过三峡船闸的指挥流程一般包含：靠船墩待闸指挥、导航墙待闸指挥、船舶进闸指挥、运行移泊提示、船舶出闸指挥。具体而言，过程所需采集的数据如表2所示。

表2交互过程的数据表

调度指挥过程中涉及的多媒体型数据主要是调度人员与船方通过高频交流形成的音频数据文件，将调度指挥指令下达与传输的过程数据化，要实现行为数据的自动提取、存储和转换，可利用关键词提取、语言识别技术。针对这类音频文件的数据处理，需在采集提取阶段加载后，根据识别算法，识别并提取关键特征信息，并将其转换为需要的数据模型。这种场景中数据采集的难点是：数据提取的耗时相对较长，也需要较多的内存资源，容易成为整个数据处理流程的瓶颈。这种行为数据由于体量大，需要先进行关键特征提取再进行分类存储，以便数据的后续处理使用以及过程回溯。

对于这种多媒体型数据的采集，由于对于人机交互的场景性要求较高，通过集成目前开源的日志采集技术、数据流处理技术、消息队列技术和分布式存储技术，实现多媒体型数据的收集、传输与存储。

多媒体型数据的采集方案如图2所示。排档指挥过程数据存储到相应的服务器后，通过Kafka将数据传输到处理服务器，在处理服务器进行特征提取和压缩，将结果通过Kafka传到大数据平台。

排档指挥过程中需要采集的航道或船闸环境信息，以待建的船闸通航生产运行监控系统中船闸气象监测子系统地理型数据的采集为例，数据源主要来自于工业现场各类传感器、控制器和执行器等智能设备，数据的采集需要系统与智能设备之间进行数据的交互通信，其方向是双向的。为了保证数据采集层面灵活性和通用性不足对整个系统实时性的影响，现场总线ESB采用OSI模型中物理层、数据链路层和应用层作为自己的通信模型，该模型下的协议数据帧作为数据信息的载体，其结构可以被划分为若干固定的基本组成要素，此时的数据源主要由结构化的数据构成。在分析船闸气象监测系统协议数据帧结构特点基础上建立一种统一的协议模型，进而根据协议模型有效提高协议识别和协议解析两个方面的灵活性、通用性和扩展性。

如图3所示，自适应采集系统主要通过通信模块、数据采集模块、业务展示接口模块、数据库接口模块四部分组成。其中通信模块，主要负责接收传感器或智能终端上传的数据帧和数据中心向智能终端下发控制命令数据帧和配置命令数据帧，主要利用Socket通信技术保证数据的可靠传输。业务展示接口模块主要提供一些业务调用接口，它与Web服务器相连接，在人机界面上把数据处理模块处理后的结果进行直观清楚地显示，并为用户提供业务数据查询功能。同时该模块接收用户下发的控制命令或配置命令并将相关命令封装成协议规定的数据帧通过通信模块下发给传感器或智能设备。数据库接口模块主要负责数据库的读写操作。数据采集模块是该采集系统的核心，协议的识别与解析是该模块的主要功能。它主要负责“翻译”通信协议，对由设备主动上传的数据帧或是针对下发命令响应的数据帧进行解析，并将解析结果存入数据库或者经由业务展示接口模块在人机界面上展示数据。

数据采集模块具体的结构图如图4所示。该模块由未知协议识别模板生成模块、协议识别模块、协议解析模板生成模块和协议解析模块组成。对接收到的数据帧首先经过协议识别模块根据已知协议识别模板来判断收到的数据帧所属协议类型是否为已知协议类型，若为未知类型的协议则采集一定量的数据帧作为训练数据交给未知协议识别模板生成模块用以生成该未知协议的识别模板，该模板今后则作为已知协议模板用于该类型协议数据帧的识别。将协议识别后的部分数据帧作为训练数据交给协议解析模板生成模块用以协议解析模板的生成，协议解析模块则通过生成后的各类协议解析模板完成对各类协议数据帧的解析，进而完成整个数据采集过程。

将三峡船闸的运行指挥控制作业过程作为一个多级排队的通过系统，系统的运行信息主要包括船闸控制系统运行信息、船闸设施状态转换过程信息、船闸水位转换过程信息和运行空间信息。根据上述船闸运行工艺流程及通过系统排队过程分解分析可知：当一闸次船舶\船队过闸时，不仅需要过闸起止点时间数据，控制过程中还需要感知船闸控制系统的与运行工艺相关的闭锁信号、通航信号灯状态信号及相关设备状态信号，以此作为判断条件，进行过程控制和推进船闸运行状态转换。因此船闸控制系统及运行相关信息的感知尤为重要，它是船闸运行过程中最基础的数据。

船闸控制系统运行信息如表3所示。

表3船闸控制系统运行信息表

数据项	数据类型	备注
			上下游闸/阀门开关终位置信号	数字量信号
人字门合拢信号	数字量信号
			上下游通航信号灯状态信号	数字量信号
供电电源工作信号	数字量信号
			人字门电机保护开关/变频器/接触器状态	数字量信号
阀门油泵电机保护开关信号	数字量信号
			液压阀块控制状态信号	数字量信号
压力继电器状态信号	数字量信号
			过滤器状态信号	数字量信号
上下游控制设备及工艺故障报警信号	数字量信号
			船闸运行控制指令信号等	数字量信号
上下游及闸室水位信号	模拟量信号
			上下游闸/阀门开度信号	模拟量信号
电机电流信号	模拟量信号
			液压系统压力	模拟量信号
油温	模拟量信号
			液压系统油位信号	模拟量信号

船闸设施状态转换过程信息如表4所示。

表4船闸设施状态转换过程信息表

船闸水位转换过程信息如表5所示。

表5船闸水位转换过程信息表

运行空间信息是基于二维电子海图通过串口接收北斗导航或GPS定位信号，通过解析后获取作为基础信息的船舶在船闸中位置、状态、航向等信息，并利用这些信息进行船舶实时定位和获取运动过程轨迹。

在船闸运行过程中大量用于控制系统感知检测的传感器向分析计算传感数据的主控平台持续发送大量字符型、浮点型等多种类型的数据，这些数据不断产生、更新，每个数据都能直接或间接地与一个时间戳挂钩。

通过上述三峡船闸智能运行平台基础数据需求分析和运行过程信息数字化的需求分析，船闸控制系统的数据采集是其中一大关键采集节点，也是三峡船闸控制系统区别于其他系统的突出特点。下面对三峡船闸控制系统数据采集具体技术方案和实施路线进行详细分析。

电气控制系统的数据采集旨在解决船闸自动控制系统所有的设备运行数据不能被调度管理、设备管理、设备维修及设备劣化趋势专家诊断等综合利用问题。船闸控制系统的数据采集依托原有电气控制系统和电气控制设备监测系统，在保证控制系统安全和不影响控制系统正常工作的前提下，自动采集获取船闸控制设备状态信息和运行参数。为船闸的综合运行监管提供基础运行数据支撑，从而实现船闸运行过程信息数字化，进而从整体上提高船闸监管效率和智能化程度，一定程度上提高船闸运行效率，实现智能化运行和高效通航。

从三峡船闸PLC控制系统所采集的数据为船闸运行状态信号，根据数据类型主要划分为数字量信号和模拟量信号，如表3所示。

电气控制系统的数据采集具体采集方案如图5所示，通过原电气控制PLC控制柜扩展远程站，增加数字量和模拟量输出模块，将船闸运行控制系统中与电气控制设备监测系统相关信号采用无源节点和模拟信号的方式输出至电气控制柜。

电气控制柜内配置的PLC控制设备，对监测信号进行信号采集、处理，并传输至采集计算机。在现有三峡船闸控制系统南线和北线现地子站PLC控制柜内增加数字量输出模块，在每个现地机房控制室正下方增加一个电气控制柜，电气控制柜内配置电源保护开关，信号采集单元，网络交换机等。新增的数字量输出模块信号将船闸运行信号通过编码直接输出至新增电气控制柜内，经过电气隔离后，接入电气控制设备采集系统。同时在2闸首中隔墩侧电气控制柜内增加一套集控监测采集主站，用于对集控电气设备的信号监测采集。每个新增监测采集站由单独一路电源供电，并在电气控制柜内配置一台UPS电源。

三峡船闸电气控制设备监测系统数据采集主要依托原有三峡船闸控制系统，利用备用机架槽位上新增的数字量输出模块以输出编码方式连接至电气控制设备监测系统。电气控制设备监测系统配置同等数量的数字量输入采集模块，实现对原PLC控制系统输出信号的隔离采集。数据采集工作主要由以下几部分组成：

(1)在南北线控制中心分别增设监测计算机，读取数据并进行处理，传输至船闸通航生产运行监控系统以及智能运行平台。

(2)对原有24个分站PLC柜进行改造，增加数字量输出模块，输出模块自带隔离功能。在每个分控中心增加一台电气控制柜，内置采集模块、信号采集处理单元完成信号的隔离采集、传输工作。现地配置的12个子站与原12个子站控制PLC系统一一对应。

(3)监测采集系统PLC通过以太网通讯接口接入监测采集网络。

此外，系统需配置UPS电源，以保证电源的可靠性。通过船闸运行过程数据源信息的特征分析可知，船闸运行过程中需要感知和采集不同数据源的信息数据，这些信息数据虽然形式类型各异，但是都是按照时间或空间先后顺序排列的一组数据，具备了时序数据所具有的时间性、唯一性、累积性、关联性、数据量庞大和用户行为特性等特征。因此可利用时间序列数据分析方法进行数据预测和过程数据复合。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.船闸通航运行数据的采集、处理方法，其特征在于，将船闸运行过程分为船舶过闸航行过程、调度指挥过程、以及船闸运行过程，分别进行数据采集，所述的数据的采集、处理方法包括：通过与卫星交互通讯，采集船舶航行过程数据；利用数据流处理、消息队列相结合的方法，采集调度指挥过程的多媒体数据；利用统一的数据接口经航道、船闸现场的智能设备采集航道、船闸的环境信息，利用自适应采集系统采集设置在航道、船闸现场的智能设备的数据；通过设置与船闸控制系统的控制器连接并电气隔离的数字量输出模块，采集船闸运行状态信息；

所述自适应采集系统包括通信模块、数据采集模块、业务展示接口模块、数据库接口模块；

所述数据采集模块包括未知协议识别模板生成模块、协议识别模块、协议解析模板生成模块和协议解析模块；

利用自适应采集系统采集设置在航道、船闸现场的智能设备的数据的过程包括：

1）对接收到的数据帧首先经过所述协议识别模块根据已知协议识别模板来判断收到的数据帧所属协议类型是否为已知协议类型，若为未知类型的协议则采集一定量的数据帧作为训练数据传输给所述未知协议识别模板生成模块用以生成该未知协议的识别模板，将该识别模板作为已知协议模板用于该类型协议数据帧的识别；

2）将协议识别后的部分数据帧作为训练数据传输给协议解析模板生成模块，生成协议解析模板，

3）协议解析模块通过生成的各类协议解析模板完成对各类协议数据帧的解析，完成数据采集。

2.根据权利要求1所述的船闸通航运行数据的采集、处理方法，其特征在于，还包括将电子海图与北斗导航或GPS定位信号结合，获取船舶在船闸中位置、状态、航向信息。

3.根据权利要求1所述的船闸通航运行数据的采集、处理方法，其特征在于，还包括通过船舶自动识别系统AIS、船舶交通管理系统VTS、船舶CCTV视频监控系统和雷达，获得船舶交通管理信息。

4.根据权利要求1所述的船闸通航运行数据的采集、处理方法，其特征在于，还包括利用关键词提取、语言识别方法采集调度指挥过程的行为数据。

5.根据权利要求1所述的船闸通航运行数据的采集、处理方法，其特征在于，所述利用数据流处理、消息队列相结合的方法，采用KafKa流处理平台。

6.根据权利要求1-5任意一项所述的船闸通航运行数据的采集、处理方法，其特征在于，所述船舶航行过程数据包括字符型的船舶标识、字符型的船舶名称、字符型的登记号、浮点型的船舶总长、浮点型的船舶型宽、浮点型的船舶型深、浮点型的载货重、字符型的主机功率、日期型的定位时间、浮点型的经度、浮点型的纬度、浮点型的船舶航向、浮点型的船舶航速以及整数型的CPA/TCPA报警。

Images