CN116740620A - 一种集装箱船偏移检测方法 - Google Patents

Abstract

本发明公开了一种集装箱船偏移检测方法，属于测量领域，包括：移贝完成后控制球机拍摄包含作业贝位的视频流；识别视频流每帧图像内的集装箱角点，区分各帧图像中的每个集装箱；获取视频流的基准图像，确定作业贝位对应的目标集装箱；确定目标集装箱在视频流的当前帧图像中的位置；根据目标集装箱在当前帧图像与在基准图像中位置偏差，计算目标集装箱的像素偏差及其实际距离偏移，以便于通过补充移贝来补偿集装箱船的实际距离偏移；基准图像为岸桥最近一次执行移贝或补充移贝操作后，由球机拍摄的包含作业贝位的视频流的第一帧图像。本发明不依赖于人工，能够高效检测集装箱船的偏移，从而有助于提高岸桥作业效率。

Description

一种集装箱船偏移检测方法

技术领域

本发明涉及港口码头测量技术领域，特别涉及一种集装箱船偏移检测方法。

背景技术

随着智慧港口建设的逐步推进，目前岸桥的装卸作业基本已经实现了自动化无人化的升级改造，在这个过程中，视频AI技术是促进升级改造落地的重要技术之一。随着基于深度学习的各类智能算法的井喷式发展，使得实时分析前端设备采集的视频数据已经成为可能，利用视频AI技术协助智慧港口建设已成为业内大趋势。

目前在岸桥装卸船作业时，由于集装箱船受风浪等因素的影响，因此会使得集装箱在水面上发生偏移，由此带来的主要问题包括：1.集装箱船偏移过多后，船体可能会与岸桥发生碰撞等安全事故；2.当无法判定集装箱船的偏移具体数值时，处于安全作业的考虑，目前各大港口在岸桥作业时，吊具通常走门字形路径，从而确保吊具能够安全地绕过船体贝位的加固架，然而这种方式在确保作业安全的同时，却带来了作业效率的牺牲。

为降低集装箱船偏移带来的不利影响，目前通常的做法是通过人工观察来判断集装箱船的具体偏移量，并在判断出集装箱船发生偏移后，通过人工控制岸机移动（与移贝操作相同）来补偿。然而此种方式存在效率低下以及岸机调控不精准的问题，另外人工还会因精力、责任心等原因导致岸机位置未进行调整即投入工作的情况发生，从而导致安全事故发生的概率增加。

因此，开发一套脱离于人工的集装箱船偏移检测方式显得迫在眉睫。

发明内容

针对现有技术存在的集装箱船装卸过程中通过人工观察方式判断船只偏移的精度和效率低的问题，本发明的目的在于提供一种集装箱船偏移检测方法，以便于至少部分地解决上述问题。

为实现上述目的，本发明的技术方案为：

一种集装箱船偏移检测方法，包括以下步骤：

S1.响应于移贝完成信号，控制球机转动到指定预置位，并拍摄包含作业贝位的视频流；

S2.采用深度学习技术中的目标关键点检测算法识别所述视频流中每一帧图像内的集装箱角点，进而区分出视频流的各帧图像中的每个集装箱；

S3.获取所述视频流的基准图像，并从中确定出所述作业贝位对应的目标集装箱；

S4.通过基于bolb的跟踪方法对所述目标集装箱进行跟踪，直至确定出所述目标集装箱在视频流的当前帧图像中的位置；

S5.根据所述目标集装箱在所述当前帧图像与所述基准图像中的位置偏差，计算得到所述目标集装箱的像素偏差，并根据所述目标集装箱的尺寸与其所占像素的对应关系，将所述目标集装箱的像素偏差转换成目标集装箱的实际距离偏移，以便于在对所述目标集装箱进行装卸操作时通过补充移贝来补偿集装箱船的偏移；

其中，所述基准图像为岸桥最近一次执行移贝或补充移贝操作后，由球机拍摄的包含作业贝位的视频流的第一帧图像。

优选的，步骤S1中，在控制球机拍摄包含作业贝位的视频流之前，还需要对作业贝位进行确认，包括：

通过球机获取包含作业贝位的贝位校验图像；

采用深度学习技术中的目标关键点检测算法识别所述贝位校验图像中的集装箱角点，进而确定出处于作业贝位的目标集装箱；

检测所述目标集装箱的中心与所述贝位校验图像的中心之间的距离是否低于阈值，是则作业贝位确认通过，否则不通过。

优选的，当作业贝位确认不通过时，则根据所述目标集装箱的中心与所述贝位校验图像的中心之间的偏差，生成用于控制岸桥进行二次移贝的修正量，以便于岸桥根据所述修正量进行二次移贝后，使对所述作业贝位执行的确认步骤得以通过，并且二次移贝后需重新确定所述基准图像。

优选的，步骤S1中，在控制球机拍摄包含作业贝位的视频流之前，还包括以下步骤：

通过球机获取包含作业贝位的尺寸校验图像；

确定所述尺寸校验图像中关于集装箱的第一信息；

当所述第一信息超出预设范围时，则调整所述球机的视野，直至所述球机的视野画面中关于集装箱的第一信息满足预设范围，以便于所述球机基于调整后视野拍摄包含作业贝位的视频流。

优选的，所述第一信息为所述目标集装箱的数量，则所述确定所述尺寸校验图像中关于集装箱的第一信息的步骤包括：

通过深度学习技术中的目标关键点检测算法识别所述尺寸校验图像中所有的集装箱角点，并通过集装箱角点与集装箱的预设关系确定出集装箱的数量。

优选的，所述第一信息还包括集装箱的大小，则在识别出所述尺寸校验图像中的集装箱角点后，通过集装箱角点之间的像素值衡量集装箱的大小。

优选的，步骤S4中，所述通过基于bolb的跟踪方法对所述目标集装箱进行跟踪，直至确定出所述目标集装箱在视频流的当前帧图像中的位置的步骤包括：

从所述基准图像起，通过重叠度依次确定视频流的后一帧图像中所述目标集装箱的位置，直至确定所述目标集装箱在视频流的当前帧图像中的位置。

优选的，步骤S5中，所述根据所述目标集装箱在所述当前帧图像与所述基准图像中的位置偏差，计算得到所述目标集装箱的像素偏差的步骤包括：

对于视频流中当前帧图像，计算其中的所述目标集装箱的中心点与基准图像中所述目标集装箱的中心点之间的像素偏差，得到所述目标集装箱的像素偏差数值。

优选的，还包括以下步骤：

在所述当前帧图像中标注出处于作业贝位上的目标集装箱的中心，并将所述基准图像的中心叠加在所述当前帧图像中，同时在所述当前帧图像中实时标注出所述目标集装箱的偏移量。

采用上述技术方案，本发明的有益效果在于：本发明通过基于对视频图像的处理，能够在岸桥移贝后对集装箱船的偏移情况进行实时检测并生成集装箱船的具体偏移量，从而便于岸桥装卸集装箱时根据该偏移量及时进行大机和吊具的位置调整，不但能够有效防止岸桥与集装箱船发生碰撞，而且由于集装箱船偏移量的消除和补偿，使得吊具不必走门字形路径，从而可以通过最优路径提高作业效率。

附图说明

图1为本发明的方法流程示意图图。

图2为本发明中进行作业贝位确认的流程图。

图3为本发明中进行球机视野校验的流程图。

图4为本发明中一种电子设备的结构示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

如图1所示，本发明实施例公开一种集装箱船偏移检测方法，该方法包括以下步骤：

S1.响应于移贝完成信号，控制球机转动到指定预置位，并拍摄包含作业贝位的视频流。

集装箱船上所装载的集装箱通过其贝位号来确定，贝位号包括贝号、贝列号和贝层号，贝号为沿集装箱船长度方向坐标，别列号为沿集装箱船宽度方向的坐标，贝层号为沿集装箱船高度方向的坐标。用于装卸集装箱的岸机安装在岸边码头，并通过轨道沿着集装箱船的长度方向运动，岸桥的大机沿集装箱的宽度方向延伸，大机上安装有可移动的小车，小车上安装有可升降的吊具；由此可知，当岸机沿集装箱的长度方向每运动一次并停止在指定的贝号处时（即移贝完成后），则岸机能够对位于该贝号下的多个集装箱（即相同贝号下、处于不同贝列号和不同贝层号上的集装箱）进行装卸操作，该装卸过程通常需要耗费一定的时间，在该段时间内，集装箱船的偏移则需要进行考虑。

其中，球机通常固定安装在岸机上并随着岸机移动，球机拍摄的视频画面的X轴平行于海岸线即集装箱船的长度方向、Y轴垂直于海岸线即集装箱船的宽度方向。执行本发明的设备不但连接球机，而且通常还与用于控制岸桥工作状态的PLC相连接，以便于获取岸桥的静止及运动状态、岸桥当前位置、移贝中及移贝完成状态等。当接收到移贝完成信号时，则根据岸桥的当前位置以及当前作业贝位（贝号+贝列号+贝层号）来控制球机转动到指定预置位即可，此时球机的视频画面即包含当前的作业贝位，并且球机的视频画面的中心大致与作业贝位的中心重合，两者之间的偏差来自于集装箱船的偏移，换句话说，球机紧跟着作业贝位移动。可以理解的是，控制球机转动的过程中，通常还需要知晓集装箱船的位置，但集装箱的位置可看作是定值，原因在于集装箱船的偏移相对于其自身尺寸来说较小，因此其对集装箱船的位置定位的影响也较小，球机运动控制时可忽略不计，而集装箱船的偏移则会反应在球机视频画面中心与作业贝位中心之间的偏差上。

故而，步骤S1中，在球机转动到指定预置位后，并在拍摄包含作业贝位的视频流之前，还需要对作业贝位进行确认，如图2所示，具体步骤包括：

S01.通过球机获取包含作业贝位的贝位校验图像；

S02.采用深度学习技术中的目标关键点检测算法识别贝位校验图像中的集装箱角点，进而确定出处于作业贝位的目标集装箱；

S03.检测目标集装箱的中心与贝位校验图像的中心之间的距离是否低于阈值，是则作业贝位确认通过，否则不通过。

贝位校验图像通常会包含较大的拍摄范围，会将一个贝号或者多个贝号下的全部贝列号均拍摄于其中，然后通过目标关键点检测算法识别出集装箱角点后，即可确定出处于当前的作业贝位上的目标集装箱，然后比较该目标集装箱的中心（通过计算角点围成的区域的中心坐标获得）与贝位校验图像的中心之间的距离（通常以像素表示）是否低于设定的阈值，如低于则表示岸桥移贝适当（即集装箱船在移贝过程中所发生的偏移在可接受范围内，不必二次移贝），如高于则表示岸桥移贝后的位置不适于进行目标集装箱的装卸操作。

而当作业贝位确认不通过时，还包括步骤S04：根据目标集装箱的中心与贝位校验图像的中心之间的偏差，生成用于控制岸桥进行二次移贝的修正量，以便于岸桥根据该修正量进行二次移贝，直至对当前的作业贝位执行的确认步骤得以通过，然后再控制球机拍摄视频流。

可以理解的是，当作业贝位确认通过时，表示的是在此刻，对当前的作业贝位进行目标集装箱装卸操作时，岸机和吊具无需进行任何调整，这能够作为后续某一时刻下岸机及吊具调整位置的基准，即作业贝位确认通过后，球机所拍摄的视频流中的第一帧画面即可作为后续的基准图像。也即，步骤S1中所称的移贝完成信号也包括二次移贝。

另外，需要强调的是，在控制球机拍摄包含作业贝位的视频流之前，如图3所示，还包括以下步骤：

S11.通过球机获取包含作业贝位的尺寸校验图像；

S12.确定尺寸校验图像中关于集装箱的第一信息；

S13.判断第一信息是否超出预设范围；

S14.是则调整球机的视野，直至球机的视野画面中关于集装箱的第一信息满足预设范围，以便于球机基于调整后视野拍摄包含作业贝位的视频流；否则结束。

其中，第一信息为集装箱的数量，则确定尺寸校验图像中关于集装箱的第一信息的步骤包括：通过深度学习技术中的目标关键点检测算法识别尺寸校验图像中所有的集装箱角点，并通过集装箱角点与集装箱的预设关系确定出集装箱的数量，例如4N的关系，N即为集装箱的数量。另外，第一信息还包括集装箱的大小，则在识别出尺寸校验图像中的集装箱角点后，通过集装箱角点之间的像素值衡量集装箱的大小。

通常视野画面内集装箱的数量限定在10-30、尺寸限定在250-600像素之间，通常根据实际的球机分辨率以及球机安装高度等信息进行离线配置即可。球机拍摄的视频画面中集装箱的数量和尺寸验证通常放置在作业贝位确认步骤之前。

S2.采用深度学习技术中的目标关键点检测算法识别视频流中每一帧图像内的集装箱角点，进而区分出视频流的各帧图像中的每个集装箱。

S3.获取视频流的基准图像，并从中确定出作业贝位对应的目标集装箱。

S4.通过基于bolb的跟踪方法对目标集装箱进行跟踪，直至确定出目标集装箱在视频流的当前帧图像中的位置。

S5.根据目标集装箱在当前帧图像与基准图像中的位置偏差，计算得到目标集装箱的像素偏差，并根据目标集装箱的尺寸与其所占像素的对应关系，将目标集装箱的像素偏差转换成目标集装箱的实际距离偏移（即集装箱船的实际距离偏移），以便于在对目标集装箱进行装卸操作时通过补充移贝来补偿集装箱船的偏移。

即当作业贝位确认完成，并且视频画面中集装箱数量及尺寸满足设定要求后，球机即开始拍摄视频画面，视频画面中的每一帧图像中均包含当前的作业贝位，而随着时间的流逝，集装箱船的实时偏移会记录在视频流中的各帧图像中。

而当吊具需要对当前的作业贝位进行集装箱装卸操作时，则需要通过视频流中的当前帧图像来了解集装箱船从视频开始（即基准图像产生时刻）直到当前（即当前帧图像产生时刻）这段时间内集装箱船的偏移量，通过该偏移量指导岸机和吊具进行位置调整，从而补偿集装箱船的偏移。并且可以理解的是，岸桥进行补充移贝的动作也会触发步骤S1中所称的移贝完成信号，并重新拍摄视频流，重新产生新的基准图像。

其中，步骤S4中，通过基于bolb的跟踪方法对目标集装箱进行跟踪，直至确定出目标集装箱在视频流的当前帧图像中的位置的步骤具体包括：

从基准图像起，通过重叠度依次确定视频流的后一帧图像中目标集装箱的位置，直至确定目标集装箱在视频流的当前帧图像中的位置。即，在任意相邻的两帧图像中，后一帧图像中与前一帧图像内已经确定出的目标集装箱之间的重叠度最大的一个集装箱即为当前的作业贝位上的目标集装箱，依次类推即可确定该目标集装箱在当前帧图像中的位置。

其中，步骤S5中，根据目标集装箱在当前帧图像与在基准图像中的位置偏差，计算得到目标集装箱的像素偏差的步骤包括：

对于视频流的当前帧图像，计算该图像中目标集装箱的中心点与基准图像中目标集装箱的中心点之间的像素偏差，从而能够得到像素偏差数值。然后，即可根据集装箱的实际尺寸与其占据的像素之间的比例关系，确定出目标集装箱的实际距离偏移，即为集装箱的实际距离偏移。可以看出，目标集装箱的实际距离偏移实际包含X轴和Y轴两个方向上的偏移，X轴上的偏移由岸机大机通过移贝的方式进行补偿，Y轴上的偏移则由大机上的小车通过运动方式进行补偿，最终体现的是吊具正对目标集装箱。

可以理解的是，在获得集装箱船的实际距离偏移后，本发明方法还包括以下步骤：

在当前帧图像中标注出处于作业贝位上的目标集装箱的中心，并将基准图像的中心叠加在当前帧图像中，同时在当前帧图像中实时标注出目标集装箱的偏移量（实际距离偏移）。如此即可方便工作人员直观的了解实时的集装箱船偏移情况和大小。

实施例二

一种电子设备，如图4所示，包括存储有可执行程序代码的存储器以及与该存储器耦合的处理器；其中，处理器调用存储器中存储的可执行程序代码，执行上述实施例公开的方法步骤。

实施例三

一种计算机存储介质，计算机存储介质中存储有计算机程序，计算机程序被处理器运行时执行上述实施例公开的方法步骤。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示对本发明结构的说明，仅是为了便于描述本发明的简便，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

对于本技术方案中的“第一”和“第二”，仅为对相同或相似结构，或者起相似功能的对应结构的称谓区分，不是对这些结构重要性的排列，也没有排序、或比较大小、或其他含义。

另外，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，连接可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个结构内部的连通。对于本领域的普通技术人员而言，可以根据本发明的总体思路，联系本方案上下文具体情况理解上述术语在本发明中的具体含义。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (9)

1.一种集装箱船偏移检测方法，其特征在于：包括以下步骤：

S1.响应于移贝完成信号，控制球机转动到指定预置位，并拍摄包含作业贝位的视频流；

S2.采用深度学习技术中的目标关键点检测算法识别所述视频流中每一帧图像内的集装箱角点，进而区分出视频流的各帧图像中的每个集装箱；

S3.获取所述视频流的基准图像，并从中确定出所述作业贝位对应的目标集装箱；

S4.通过基于bolb的跟踪方法对所述目标集装箱进行跟踪，直至确定出所述目标集装箱在视频流的当前帧图像中的位置；

S5.根据所述目标集装箱在所述当前帧图像与所述基准图像中的位置偏差，计算得到所述目标集装箱的像素偏差，并根据所述目标集装箱的尺寸与其所占像素的对应关系，将所述目标集装箱的像素偏差转换成目标集装箱的实际距离偏移，以便于在对所述目标集装箱进行装卸操作时通过补充移贝来补偿集装箱船的偏移；

其中，所述基准图像为岸桥最近一次执行移贝或补充移贝操作后，由球机拍摄的包含作业贝位的视频流的第一帧图像。

2.根据权利要求1所述的集装箱船偏移检测方法，其特征在于：步骤S1中，在控制球机拍摄包含作业贝位的视频流之前，还需要对作业贝位进行确认，包括：

通过球机获取包含作业贝位的贝位校验图像；

采用深度学习技术中的目标关键点检测算法识别所述贝位校验图像中的集装箱角点，进而确定出处于作业贝位的目标集装箱；

检测所述目标集装箱的中心与所述贝位校验图像的中心之间的距离是否低于阈值，是则作业贝位确认通过，否则不通过。

3.根据权利要求2所述的集装箱船偏移检测方法，其特征在于：当作业贝位确认不通过时，则根据所述目标集装箱的中心与所述贝位校验图像的中心之间的偏差，生成用于控制岸桥进行二次移贝的修正量，以便于岸桥根据所述修正量进行二次移贝后，使对所述作业贝位执行的确认步骤得以通过，并且二次移贝后需重新确定所述基准图像。

4.根据权利要求1所述的集装箱船偏移检测方法，其特征在于：步骤S1中，在控制球机拍摄包含作业贝位的视频流之前，还包括以下步骤：

通过球机获取包含作业贝位的尺寸校验图像；

确定所述尺寸校验图像中关于集装箱的第一信息；

当所述第一信息超出预设范围时，则调整所述球机的视野，直至所述球机的视野画面中关于集装箱的第一信息满足预设范围，以便于所述球机基于调整后视野拍摄包含作业贝位的视频流。

5.根据权利要求4所述的集装箱船偏移检测方法，其特征在于：所述第一信息为所述目标集装箱的数量，则所述确定所述尺寸校验图像中关于集装箱的第一信息的步骤包括：

通过深度学习技术中的目标关键点检测算法识别所述尺寸校验图像中所有的集装箱角点，并通过集装箱角点与集装箱的预设关系确定出集装箱的数量。

6.根据权利要求4所述的集装箱船偏移检测方法，其特征在于：所述第一信息还包括集装箱的大小，则在识别出所述尺寸校验图像中的集装箱角点后，通过集装箱角点之间的像素值衡量集装箱的大小。

7.根据权利要求1所述的集装箱船偏移检测方法，其特征在于：步骤S4中，所述通过基于bolb的跟踪方法对所述目标集装箱进行跟踪，直至确定出所述目标集装箱在视频流的当前帧图像中的位置的步骤包括：

从所述基准图像起，通过重叠度依次确定视频流的后一帧图像中所述目标集装箱的位置，直至确定所述目标集装箱在视频流的当前帧图像中的位置。

8.根据权利要求7所述的集装箱船偏移检测方法，其特征在于：步骤S5中，所述根据所述目标集装箱在所述当前帧图像与所述基准图像中的位置偏差，计算得到所述目标集装箱的像素偏差的步骤包括：

对于视频流中当前帧图像，计算其中的所述目标集装箱的中心点与基准图像中所述目标集装箱的中心点之间的像素偏差，得到所述目标集装箱的像素偏差数值。

9.根据权利要求1所述的集装箱船偏移检测方法，其特征在于：还包括以下步骤：

在所述当前帧图像中标注出处于作业贝位上的目标集装箱的中心，并将所述基准图像的中心叠加在所述当前帧图像中，同时在所述当前帧图像中实时标注出所述目标集装箱的偏移量。