CN114286062A - 基于全景拼接和视频ai的自动化码头数字舱系统 - Google Patents

Abstract

本发明提供一种基于全景拼接和视频AI的自动化码头数字舱系统，通过视频处理系统将获取的码头各处视频监控数据进行处理，完成码头不同场景的实时全景拼接，形成同一时刻下的全景图像；通过三维可视化系统将获取的不同全景数据进行实时分类整理，并将二维GIS信息、第三方报警信息、多标签信息与从视频处理系统抽取的全景图像融合形成全景信息，然后通过三维场景模拟系统将不同场景、不同时间下的全景数据拼接，根据标签信息将同一场景下的全景数据按时间顺序进行拼接，形成实时全景数据流，通过操作台系统向用户展示码头不同场景的实时全景信息。本发明有效提高了码头多源信息融合及展示能力。

Description

基于全景拼接和视频AI的自动化码头数字舱系统

技术领域

本发明涉及码头数字舱构建技术领域，具体涉及一种基于全景拼接和视频AI的自动化码头数字舱系统。

背景技术

近年来，集装箱码头已初步建立起码头生产管理系统（TOS系统）和港区视频监控系统，信息技术已经帮助码头管理体系从主要依赖人工的数据处理方式转变为基于全局优化模型的计算机处理，极大提高了集装箱码头的管理能力和生产效率。但集装箱码头各生产系统之间的信息交互依然较少，各作业系统信息难以在一套界面内展示，某项设备作业故障或报警信息不能及时向其它系统传递，导致故障点处的作业秩序容易处于混乱状态。码头视频监控系统可以对港区重要作业设备、路段以及建筑物进行实时监控，同时二维GIS地图可以对码头静态设备、动态作业信息、视频监控数据以及预警信息等进行集成，因此构建融合视频监控数据、TOS作业数据、二维GIS信息和报警信息的综合展示系统，对港区作业状态的实时感知及作业计划调整具有至关重要的作用。

发明内容

本发明的目的是要解决现有自动化码头数字信息整合及可视化方面存在的不足，提供一种融合多源数据信息的数字舱系统，以实现对自动化集装箱码头三维场景的实时巡航。

本发明提供的基于全景拼接和视频AI的自动化码头数字舱系统，包括：

多数据获取模块，用于获取码头的视频监控数据、GIS数据、第三方系统报警信息以及TOS系统的码头设备数量、编号及其作业状态信息，并实时传输至实时数据库系统；

实时数据库系统，与多数据获取模块、视频处理系统、三维可视化系统通信连接，用于存储规定时间内的码头的视频监控数据、GIS数据、第三方系统报警信息数据以及TOS系统的设备编号、数量及其作业状态信息，并将视频监控数据分类处理后传输至视频处理系统；

视频处理系统，与三维可视化系统通信连接，用于将码头各处视频监控数据进行视频关键帧抽取、图像预处理、图像变换、图像匹配以及图像融合操作，完成码头不同场景的实时全景拼接，形成同一时刻下的全景图像；

三维可视化系统，与视频处理系统及实时数据库系统连接，用于从实时数据库系统中抽取GIS数据形成码头二维GIS信息、从实时数据库系统中抽取第三方系统报警信息形成第三方报警信息、从实时数据库系统中抽取GIS数据与TOS信息形成多标签信息，并将二维GIS信息、第三方报警信息、多标签信息与从视频处理系统抽取的全景图像融合形成全景信息；

三维场景模拟系统，与所述三维可视化系统连接，用于将不同场景、不同时间下的全景信息进行拼接，根据标签信息将同一场景下的全景信息按时间顺序进行拼接，形成实时全景信息数据流，配合操作台系统向用户展示码头不同场景的实时全景信息；

操作台系统，与所述三维场景模拟系统连接，用于实现不同的全景信息的切换、移动、缩放操作，以向用户展示码头不同场景的实时全景信息以及对视频监控设备云台操作控制。

优选的，所述操作台系统包括操作手柄、显示器、鼠标及键盘和三维场景模拟软件，所述操作手柄用于完成场景缩放、场景顺序切换、场景左右移动以及场景俯仰操作；所述鼠标用于点击全景画面中的摄像机标志调看摄像机或球机视频画面，同时配合操作手柄完成球机云台的转动控制。

优选的，所述多数据获取模块获取的GIS数据的形成是，加载港口CAD平面图，生成港口二维GIS矢量地图，将全景点位和港口码头的元素图标标绘到港口二维GIS矢量地图的对应位置，形成GIS数据；其中，港口码头的元素包含码头的各设备元素。

进一步地，所述实时数据库系统，读取与码头设备作业状态相关的实时数据，其中码头各处视频监控数据实时与数据库系统同步，除码头各处视频监控数据外的其它数据进行不同时间间隔的定期更新；实时数据库系统通过与TOS系统进行信息交互，集成了岸桥设备、轨道吊设备、水平运输设备的实时作业状态、位置以及设备编号等信息，通过与数字舱其它子系统进行数据连接，为各级系统数据查询、调用及状态展示提供依据。

进一步地，所述视频处理系统包括前端视频采集设备和后端全景拼接服务器，后端全景拼接服务器利用全景拼接与视频AI算法完成实时图像数据的变换、匹配及融合操作。

优选的，所述前端视频采集设备选用枪机和球机，利用枪机完成全景信息拼接，调用球机进行细节联动，部署6台呈扇形架设的枪机实时捕获码头拍摄位180⁰的实景视频信息。

所述后端全景拼接服务器进行图像数据的变换，匹配以及整合操作的具体步骤如下：

S1.几何变换：

通过平移、转置、镜像、旋转、缩放操作对采集的图像进行处理，纠正图像采集过程中存在的随机误差或仪器参数（成像角度、透视关系或镜头景深）引起的系统误差；

S2.色彩校正：

利用基于反向传播的神经网络算法（BP神经网络）对图像色调、明暗进行调整，通过算法的训练矫正模型的各项误差值；

S3.图像增强：

利用频率域法增强图像的有用信息，改善图像的视觉效果，包括针对集装箱码头的应用环境，增强图像的局部特征，抑制不感兴趣特征，扩大图像中不同物体特征之间的差异，改善图像质量；

S4.图像匹配：

利用图像的特征匹配点对，通过反变换的方式得到彼此间的对应位置，再利用视频图像上的特征点对，通过图像笛卡尔坐标优化方法使特征点对在图像展开后距离之和最小，进而获取两个图像的相对空间及像素位置关系；

S5.图像融合：

利用基于加权平均的融合方法对图像进行融合操作，保证图像结构的完整性，去除图像间的冗余像素信息。

进一步地，所述三维可视化系统，其具体功能为：

将各种摄像机视频接入全景画面，用户通过鼠标点击全景画面中对应的摄像机标志，可调看目标设备的实时状态视频，若调用球机，还可通过画面控制球机的云台转动，实现交互操作；

接入第三方系统的各类报警信息，在二维GIS矢量地图和全景视频的相应位置进行重点提示，设置红色闪烁标志，并有声音提示，同时支持各种类型的第三方业务系统报警信号的接入与联动；

所述三维可视化系统，可对各类报警源设备的参数进行阈值设置，当发生报警时可自动提醒，可联动全景中关联的视频资源，包括枪机和球机，并可通过全景对控制球机进行细节的追踪。

本发明的数字舱系统通过与多源数据的对接，实现对全港区生产运营状态及紧急报警信息的实时监控及展示，提高控制人员对各设备管理及控制能力，提升全自动化集装箱码头生产管理水平。

与现有技术相比，本发明能够实现多源信息的实时融合及展示，提高管理人员对港区生产运营状态的监控能力，为紧急报警信息的展示及处理提供保障，提高了设备安全作业能力，保证了各项作业计划的顺利执行。

另外，数字舱系统将港口各类平面数据融入可视化系统，构建了GIS矢量地图，将多源实时数据集中化展示，进行状态提醒，使管制员快速掌控关键信息，达到所见即所得的应用效果。通过与各类报警信息建立关联关系，数字舱系统可以实时掌握监控区域整体场景内的紧急状况，联动接入全景信息的视频设备，及时确定报警范围，并向TOS系统申请暂停相关设备的作业安排，确保作业的安全性，最大程度上降低生产及设备损失。

附图说明

图1为本发明提出的基于全景拼接和视频AI的自动化码头数字舱系统的原理图；

图2为本发明提出的码头全景拼接与视频AI算法逻辑架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

如图1所示，基于全景拼接和视频AI的自动化码头数字舱构系统，包括：

多数据获取模块，用于获取码头的视频监控数据、GIS数据、第三方系统报警信息以及TOS系统的码头设备数量、编号及其作业状态信息，并实时传输至实时数据库系统；

实时数据库系统，与多数据获取模块、视频处理系统、三维可视化系统通信连接，用于存储规定时间内的码头的视频监控数据、GIS数据、第三方系统报警信息数据以及TOS系统的设备编号、数量及其作业状态信息，并将视频监控数据分类处理后传输至视频处理系统；

视频处理系统，与三维可视化系统通信连接，用于将码头各处视频监控数据进行视频关键帧抽取、图像预处理、图像变换、图像匹配以及图像融合操作，完成码头不同场景的实时全景拼接，形成同一时刻下的全景图像；

三维可视化系统，与视频处理系统及实时数据库系统连接，用于从实时数据库系统中抽取GIS数据形成码头二维GIS信息、从实时数据库系统中抽取第三方系统报警信息形成第三方报警信息、从实时数据库系统中抽取GIS数据与TOS信息形成多标签信息，并将二维GIS信息、第三方报警信息、多标签信息与从视频处理系统抽取的全景图像融合形成全景信息；

三维场景模拟系统，与所述三维可视化系统连接，用于将不同场景、不同时间下的全景信息进行拼接，根据标签信息将同一场景下的全景信息按时间顺序进行拼接，形成实时全景信息数据流，配合操作台系统向用户展示码头不同场景的实时全景信息；

操作台系统，与所述三维场景模拟系统连接，用于实现不同的全景信息的切换、移动、缩放操作，以向用户展示码头不同场景的实时全景信息以及对视频监控设备云台操作控制。

此外，还包括有数据传输模块：用于利用码头控制网络实现码头数字舱系统各模块间的数据信息传输，同时负责数字舱系统与码头作业管理系统（TOS系统）、视频监控系统间的实时数据交互。

本发明中，自动化码头数字舱系统实现了设备监控和生产管理的有机结合，提高了整个港口生产作业的透明度，实现了码头控制端与动态生产设备以及各类信息管理平台之间的信息融合，为码头管理提供了实时多源的数据信息，同时为港口生产计划制定提供数据保证。

上述技术方案中，所述操作手柄可以完成场景缩放、场景顺序切换、场景左右移动以及场景俯仰等操作；所述鼠标点击全景画面中的摄像机标志调看摄像机或球机视频画面，同时配合手柄可完成球机云台的转动控制。

上述技术方案中，所述多数据获取模块获取的GIS数据的形成是，加载港口CAD平面图，生成港口二维GIS矢量地图，将全景点位和港口码头的元素图标标绘到港口二维GIS矢量地图的对应位置，形成GIS数据；其中，港口码头的元素包含码头的各设备元素。

上述技术方案中，所述实时数据库系统，读取与码头设备作业状态相关的实时数据，其中码头各处视频监控数据实时与数据库系统同步，除码头各处视频监控数据以外的其它数据进行不同时间间隔的定期更新。

其中，实时数据库系统通过与TOS系统进行信息交互，集成了岸桥设备、轨道吊设备、水平运输设备的实时作业状态、位置以及设备编号等信息，通过与数字舱其它子系统数据连接，为各级系统数据查询、调用及状态展示提供依据。

本发明中，全景视频数据和球机数据按照90天进行存储，支持用户通过数据库接口查询历史视频并回放，可根据需要剪辑相应时间段的视频并输出，输出的视频文件是一个全景宽画幅视频。该功能可实现正播、倒播、倍速回放和慢速回放等操作。

上述技术方案中，所述视频处理系统包括前端视频采集设备和后端全景拼接服务器，前端视频采集设备在一个点位架设6台枪机和1台球机，后端全景拼接服务器利用全景拼接与视频AI算法完成实时图像数据的变换、匹配及融合操作，算法逻辑架构如图2所示，架构整体设计上以实时数据库作为核心交互模块，原始视频数据以及拼接完成的全景图像经过数据传输模块以及数据库模块向后端操作台系统及数据服务器进行传递，同时视频AI算法对原始视频信息进行数据清洗、转换、增强处理后，向数据服务器进行传输并保存。

本发明利用枪机完成全景信息的拼接，调用球机进行细节联动。全景相机采集的待拼接图像需要30%左右的重叠区域，单枪机拍摄的视角通常设置为25⁰-35⁰，因此部署6台呈扇形架设的枪机就可实时捕获码头拍摄位大约180⁰的实景视频信息。由于枪机拍摄的图像各目标像素位置存在变形问题，不能直接拼接相邻相机获取的实时视频图像，需要运用视频AI算法对图像进行预处理。同时，为保障全景信息的实时展示效果，后端全景拼接服务器每秒抽取24张视频帧作为原始的图像数据准备。

上述技术方案中，所述全景拼接与视频AI算法具体步骤如下：

S1.几何变换：

通过平移、转置、镜像、旋转、缩放等操作对采集的图像进行处理，纠正图像采集过程中存在的随机误差或仪器参数（成像角度、透视关系或镜头景深等）引起的系统误差；

S2.色彩校正：

利用基于反向传播的神经网络算法（BP神经网络）对图像色调、明暗等进行调整，通过算法的训练矫正模型的各项误差值。算法的训练过程主要包含正向传播过程与反向传播过程。首先在正向传播过程中，视频图像依次经过输入层、隐藏层以及输出层，得到各连接单元的初步参数

；接着计算输出层各节点的误差平方

；最后计算出

对每个权重

的偏导数，即误差梯度。梯度计算公式如下：

其中，

是节点

的加权输入。

重复上述训练过程，修正各单元的梯度值，得到图像矫正模型。

S3.图像增强：利用频率域法增强图像的有用信息，改善图像的视觉效果。针对集装箱码头的应用环境，增强图像的局部特征，抑制不感兴趣特征，扩大图像中不同物体特征之间的差异，改善图像质量。

S4.图像匹配：利用图像的特征匹配点对，通过反变换的方式得到彼此间的对应位置，再利用视频图像上的特征点对，通过图像笛卡尔坐标优化方法使特征点对在图像展开后距离之和最小，进而获取两个图像的相对空间及像素位置关系。

S5.图像融合：利用基于加权平均的融合方法对图像进行融合操作，保证图像结构的完整性，去除图像间的冗余像素信息。

上述技术方案中，所述三维可视化系统具体功能如下：

将各种摄像机视频接入全景画面，用户通过鼠标点击全景画面中对应的摄像机标志，可调看目标设备的实时状态视频，若调用球机，还可通过画面控制球机的云台转动，实现交互操作；

接入第三方系统的各类报警信息，在二维GIS矢量地图和全景视频的相应位置进行重点提示，设置红色闪烁标志，并有声音提示，同时支持各种类型的第三方业务系统报警信号的接入与联动。

上述技术方案中，所述三维可视化系统，可对各类报警源设备的参数进行阈值设置，当发生报警时可自动提醒，可联动全景中关联的视频资源（枪机和球机），并可通过全景控制球机进行细节的追踪。

最后应当说明的是，上述实施例只是用于对本发明的举例和说明，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明不局限于上述实施例，根据本发明教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围内。

Claims (8)

1.基于全景拼接和视频AI的自动化码头数字舱系统，其特征在于，包括：

多数据获取模块，用于获取码头的视频监控数据、GIS数据、第三方系统报警信息以及TOS系统的码头设备数量、编号及其作业状态信息，并实时传输至实时数据库系统；

实时数据库系统，与多数据获取模块、视频处理系统、三维可视化系统通信连接，用于存储规定时间内的码头的视频监控数据、GIS数据、第三方系统报警信息数据以及TOS系统的设备编号、数量及其作业状态信息，并将视频监控数据分类处理后传输至视频处理系统；

视频处理系统，与三维可视化系统通信连接，用于将码头各处视频监控数据进行视频关键帧抽取、图像预处理、图像变换、图像匹配以及图像融合操作，完成码头不同场景的实时全景拼接，形成同一时刻下的全景图像；

三维可视化系统，与视频处理系统及实时数据库系统连接，用于从实时数据库系统中抽取GIS数据形成码头二维GIS信息、从实时数据库系统中抽取第三方系统报警信息形成第三方报警信息、从实时数据库系统中抽取GIS数据与TOS信息形成多标签信息，并将二维GIS信息、第三方报警信息、多标签信息与从视频处理系统抽取的全景图像融合形成全景信息；

三维场景模拟系统，与所述三维可视化系统连接，用于将不同场景、不同时间下的全景信息进行拼接，根据标签信息将同一场景下的全景信息按时间顺序进行拼接，形成实时全景信息数据流，配合操作台系统向用户展示码头不同场景的实时全景信息；

操作台系统，与所述三维场景模拟系统连接，用于实现不同的全景信息的切换、移动、缩放操作，以向用户展示码头不同场景的实时全景信息以及对视频监控设备云台操作控制。

2.根据权利要求1所述的基于全景拼接和视频AI的自动化码头数字舱系统，其特征在于，所述操作台系统包括操作手柄、显示器、鼠标及键盘和三维场景模拟软件，所述操作手柄用于完成场景缩放、场景顺序切换、场景左右移动以及场景俯仰操作；所述鼠标用于点击全景图像的画面中的摄像机标志调看摄像机或球机视频画面，同时配合操作手柄完成球机云台的转动控制。

3.根据权利要求1所述基于全景拼接和视频AI的自动化码头数字舱系统，其特征在于，所述多数据获取模块获取的GIS数据的形成是，加载港口CAD平面图，生成港口二维GIS矢量地图，将全景点位和港口码头的元素图标标绘到港口二维GIS矢量地图的对应位置，形成GIS数据；其中，港口码头的元素包含码头的各设备元素。

4.根据权利要求1所述基于全景拼接和视频AI的自动化码头数字舱系统，其特征在于，所述实时数据库系统，读取与码头设备作业状态相关的实时数据；其中，码头各处视频监控数据实时与实时数据库系统同步，除码头各处视频监控数据外的其它数据进行不同时间间隔的定期更新；实时数据库系统通过与TOS系统信息交互，集成了岸桥设备、轨道吊设备、水平运输设备的实时作业状态、位置以及设备编号信息；通过与数字舱系统其它系统进行数据连接，为数据查询、调用以及状态展示提供依据。

5.根据权利要求1所述基于全景拼接和视频AI的自动化码头数字舱系统，其特征在于，所述视频处理系统包括前端视频采集设备和后端全景拼接服务器，后端全景拼接服务器利用全景拼接与视频AI算法完成实时图像数据的变换、匹配及融合操作。

6.根据权利要求5所述基于全景拼接和视频AI的自动化码头数字舱系统，其特征在于，所述前端视频采集设备选用枪机和球机，利用枪机完成全景图像拼接，调用球机进行细节联动，部署6台呈扇形架设的枪机实时捕获码头拍摄位180⁰的实景视频信息。

7.根据权利要求5所述基于全景拼接和视频AI的自动化码头数字舱系统，其特征在于，所述后端全景拼接服务器进行图像数据的变换，匹配以及整合操作的具体步骤如下：

S1.几何变换：

通过平移、转置、镜像、旋转、缩放操作对采集的图像处理，纠正图像采集过程中存在的随机误差或仪器参数引起的系统误差；

S2.色彩校正：

利用基于反向传播的神经网络算法对图像色调、明暗进行调整，通过算法训练矫正模型的各项误差值；

S3.图像增强：

利用频率域法增强图像的有用信息，改善图像视觉效果；包括针对集装箱码头的应用环境，增强图像局部特征，抑制不感兴趣特征，扩大图像中不同物体特征之间的差异，改善图像质量；

S4.图像匹配：

利用图像的特征匹配点对，通过反变换的方式得到彼此间的对应位置，再利用视频图像上的特征点对，通过图像笛卡尔坐标优化方法使特征点对在图像展开后距离之和最小，进而获取两个图像的相对空间以及像素位置关系；

S5.图像融合：

利用基于加权平均的融合方法对图像进行融合操作，保证图像结构的完整性，去除图像间的冗余像素信息。

8.根据权利要求1所述的基于全景拼接和视频AI的自动化码头数字舱系统，其特征在于，所述三维可视化系统，其功能具体包括：

将各种摄像机视频接入全景画面，用户通过鼠标点击全景画面中对应的摄像机标志，可调看目标设备的实时状态视频，若调用球机，还可通过画面控制球机的云台转动，实现交互操作；

接入第三方系统的各类报警信息，在二维GIS矢量地图和全景视频的相应位置进行重点提示，设置红色闪烁标志，并有声音提示，同时支持各种类型的第三方业务系统报警信号的接入与联动；

所述三维可视化系统，可对各类报警源设备的参数进行阈值设置，当发生报警时可自动提醒，可联动全景中关联的视频资源，包括枪机和球机，并可通过全景对控制球机进行细节的追踪。

Images