CN108946487B - 集装箱起重机远程操作系统 - Google Patents

Abstract

本发明提供了一种集装箱起重机远程操作系统，包括：图像采集装置，用于采集图像信息，该图像信息包括集装箱吊具图像信息以及目标物图像信息；中央运算装置，用于获取该集装箱吊具的位置信息以及该目标物的位置信息并进行运算，以得到该集装箱吊具与该目标物之间的距离信息；图像处理装置，用于接收该图像信息和该距离信息，并生成叠加图像，该叠加图像包括该图像信息和该距离信息；显示装置，设置于该集装箱起重机的远程操作室内，用于显示该叠加图像，用户根据该叠加图像操作该集装箱起重机。本发明通过将距离信息叠加到图像信息上，可补偿二维画面中缺失的景深信息，使得司机进行更为准确的判断，从而提高操作效率。

Description

集装箱起重机远程操作系统

技术领域

本发明涉及集装箱运输技术领域，尤其是涉及一种集装箱起重机远程操作系统。

背景技术

远程操作系统是现代港口行业的最新技术，操作人员可在位于现场几公里外的办公室内通过观察操作台上的显示屏进行操作作业，而不必像过去一样只能在起重机本地的司机室内进行操作，不仅改善了工作环境，也降低了安全风险。

显示屏上的画面是通过设置于起重机上的图像采集装置(例如，高清全数字摄像机)从现场实时传输过来的，司机可通过观察该画面来抓取和放置集装箱。但是，由于显示屏只能显示二维图像，与现场肉眼观察的立体视觉感受存在差异，司机无法从二维图像上精确地感受到吊具与目标位之间的距离。因此，司机在通过远程操作抓放集装箱时，难免会因为距离估算错误，导致多次的重复抓放；并且，为避免距离估算错误，司机只能小心翼翼的放慢操作速度，降低了操作的效率。

发明内容

本发明的一个目的在于提高远程操作的效率。

为此，本发明提供了一种集装箱远程操作系统，包括：图像采集装置，设置于集装箱起重机本地，用于采集图像信息，所述图像信息包括集装箱吊具图像信息以及目标物图像信息；中央运算装置，用于获取所述集装箱吊具的位置信息以及所述目标物的位置信息并进行运算，以得到所述集装箱吊具与所述目标物之间的距离信息；图像处理装置，用于接收所述图像信息和所述距离信息，并生成叠加图像，所述叠加图像包括所述图像信息和所述距离信息；显示装置，设置于所述集装箱起重机的远程操作室内，用于显示所述叠加图像，用户可根据所述叠加图像操作所述集装箱起重机。

可选地，所述距离信息包括高度距离信息，其中，所述远程操作系统还包括：吊具高度编码器，设置在用于起升所述集装箱吊具的起升小车上，用于记录所述集装箱吊具的当前高度；激光扫描仪，设置在所述集装箱起重机上，用于获取所述目标物的上表面高度；其中，所述高度距离信息为所述集装箱吊具的当前高度减去所述目标物的上表面高度。

可选地，所述距离信息包括水平距离信息，所述水平距离信息为所述目标物与所述集装箱吊具沿第一方向的距离，所述第一方向为所述起升小车的运行方向，其中，所述远程操作系统包括吊具位置检测装置，用于检测所述集装箱吊具在所述第一方向上的位置；所述中央运算装置包括图像识别单元，用于接收并识别所述目标物图像信息以得到所述目标物在所述第一方向的位置；所述水平距离信息为所述集装箱吊具的位置与所述目标物的位置在所述第一方向上的差值。

可选地，所述距离信息包括转角距离信息，其中，所述吊具位置检测装置还可检测所述集装箱吊具相对所述起升小车在水平方向的转角偏差，所述转角距离信息等于所述转角偏差。

可选地，所述吊具位置检测装置包括所述起升小车沿所述第一方向的位置编码器、设置于所述起升小车下方的信号发射器，以及设置于所述集装箱吊具上表面的反射板。

可选地，所述叠加图像还包括：所述集装箱吊具的位置标识，用于标记所述集装箱吊具的预测位置，所述预测位置为所述集装箱吊具按当前状态下降到所述目标物所在高度时，所述集装箱吊具所在的位置；所述目标物的位置标识，用于标记所述目标物所在的位置。

可选地，所述集装箱吊具的位置标识用于标记所述集装箱吊具的预测中心位置，所述目标物的位置标识用于标记所述目标物的中心位置。

可选地，所述叠加图像还包括转角标识，用于反映所述转角距离信息。

可选地，所述距离信息通过数值显示。

可选地，所述图像识别单元还包括异物识别部，用于识别所述图像信息中是否包括有规律移动的像素，以判断所述集装箱起重机的工作区域内是否有异物。

可选地，当所述集装箱吊具工作于陆地上方且其当前高度小于预设值时，所述异物识别部开始检测异物。

可选地，所述中央运算装置和所述图像处理装置集成于视频服务器内，所述视频服务器设置于所述远程操作室内。

可选地，所述远程操作系统包括设置于所述集装箱起重机本地的第一交换机和设置于所述远程操作室的第二交换机；所述图像采集装置通过以太网与所述第一交换机相连，所述第一交换机通过光缆与所述第二交换机相连，所述第二交换机通过以太网与所述视频服务器相连。

可选地，所述视频服务器与所述显示装置通过视频客户端相连，所述视频客户端内设置有图像分屏显示软件，以将所述叠加图像在多个所述显示装置上进行显示。

可选地，所述目标物为下述一种或几种：集装箱，集装箱卡车，集装箱导板。

本发明还提供了一种集装箱远程操作方法，包括：图像采集步骤，用于采集图像信息，所述图像信息包括集装箱吊具图像信息以及目标物图像信息；中央运算步骤，用于获取所述集装箱吊具的位置信息以及所述目标物的位置信息并进行运算，以得到所述集装箱吊具与所述目标物之间的距离信息；图像处理步骤，用于接收所述图像信息和所述距离信息，并生成叠加图像，所述叠加图像包括所述图像信息和所述距离信息；显示步骤，用于显示所述叠加图像，用户可根据所述叠加图像操作所述集装箱起重机。

可选地，所述距离信息包括高度距离信息，所述高度距离信息为所述集装箱吊具的当前高度减去所述目标物的上表面高度。

可选地，所述距离信息包括水平距离信息，所述水平距离信息为所述目标物与所述集装箱吊具沿第一方向的距离，所述第一方向为所述起升小车的运行方向，其中，所述远程操作方法包括吊具位置检测步骤，用于检测所述集装箱吊具在所述第一方向上的位置；所述中央运算步骤包括图像识别步骤，用于接收并识别所述目标物图像信息以得到所述目标物在所述第一方向的位置；所述水平距离信息为所述集装箱吊具的位置与所述目标物的位置在所述第一方向上的差值。

可选地，所述距离信息包括转角距离信息，其中，所述吊具位置检测步骤还用于检测所述集装箱吊具相对所述起升小车在水平方向的转角偏差，所述转角距离信息等于所述转角偏差。

可选地，所述叠加图像还包括：所述集装箱吊具的位置标识，用于标记所述集装箱吊具的预测位置，所述预测位置为所述集装箱吊具按当前状态下降到所述目标物所在高度时，所述集装箱吊具所在的位置；所述目标物的位置标识，用于标记所述目标物所在的位置。

可选地，所述集装箱吊具的位置标识用于标记所述集装箱吊具的预测中心位置，所述目标物的位置标识用于标记所述目标物的中心位置。

可选地，所述叠加图像还包括转角标识，用于反映所述转角距离信息。

可选地，所述距离信息通过数值显示。

可选地，所述图像识别步骤还可包括异物识别步骤，用于识别所述图像信息中是否包括有规律移动的像素，以判断所述集装箱起重机的工作区域内是否有异物。

可选地，当所述集装箱吊具工作于陆地上方且其当前高度小于预设值时，开始所述异物识别步骤。

可选地，所述目标物为下述一种或几种：集装箱，集装箱卡车，集装箱导板。

本发明提供的集装箱起重机远程操作系统及方法，在图像信息上叠加了距离信息，司机远程操作集装箱起重机的过程中，在观察现场画面(即图像信息)的同时，还可以获取到集装箱吊具与目标物之间的精确距离，提高吊具操作的准确率；即本发明通过将距离信息叠加到图像信息上，可补偿二维画面中缺失的景深信息，使得司机进行更为准确的判断，从而提高操作效率。

附图说明

图1为本发明实施例提供的系统装置连接图；

图2为本发明实施例提供的高度距离信息测量示意图；

图3为本发明实施例提供的转角距离信息示意图；

图4为本发明实施例提供的位置标识示意图；

图5为本发明实施例提供的硬件连接图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合较佳实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。

参考图1，本实施例提供了一种集装箱起重机远程操作系统1，用于远程控制集装箱吊具，从而将集装箱放置到目标位置上，或者从目标位置上抓取集装箱。本发明中，目标位置上存在有目标物，根据装箱作业和卸箱作业的不同流程，目标物可以是集装箱、集装箱卡车、集装箱导板中的一种或几种。例如，在装箱作业时，陆侧的目标物为位于集装箱卡车上的集装箱，海侧的目标物可以是集装箱导板；在卸箱作业时，海侧的目标物为待抓取的集装箱，陆侧的目标物可以是集装箱卡车，也可以是集装箱导板。另外，本领域技术人员可以理解，集装箱、集装箱卡车和集装箱导板的外形尺寸都具有标准化的配置。

具体地，本实施例提供的远程操作系统1包括图像采集装置11、中央运算装置12、图像处理装置13以及显示装置14。

图像采集装置11设置于集装箱起重机本地，在本实施例中，图像采集装置11为设置在起重机起升小车上的高清摄像头。图像采集装置11可以采集(例如，通过拍摄获得)工作区域内的图像信息，该图像信息包括但不限于集装箱吊具的图像信息以及目标物的图像信息。在其他实施例中，图像采集装置11也可以设置在其他位置，例如，设置在集装箱起重机的臂架(本领域技术人员熟知，起升小车可沿设置在臂架上的轨道运行)上，梯形架上，或者在各位置设置多套图像采集装置11等，只要能采集到集装箱吊具的图像信息和目标物的图像信息即可。另外，本发明所述的起升小车为用于起升或下放集装箱吊具的小车。

中央运算装置12用于获取集装箱吊具的位置信息和目标物的位置信息，还可计算两者的差值，以得到集装箱吊具与目标物之间的距离信息。上述位置信息的获取方法可以是接收外部位置采集装置(例如，位置传感器)采集到的位置信息，也可以是本实施例提供的获取方法(下文中详细描述)，还可以是现有技术中的其他方法。

图像处理装置13用于接收图像信息和距离信息，并生成叠加图像，该叠加图像反映的信息包括但不限于图像信息和距离信息。在本实施例中，距离信息通过数值显示；在其他实施例中，距离信息还可通过其他方式显示，例如长短不一的线条，深浅不同的色块等，只要能反映距离的远近即可。

显示装置14用于显示叠加图像，用户根据叠加图像上显示的图像信息和距离信息来操作集装箱起重机，以将集装箱准确地抓取或放置集装箱。

本发明中，距离信息可以是集装箱吊具与目标物之间在某一方向上的距离，也可以是多个方向的距离，还可以是两者之间的直线距离。司机远程操作集装箱起重机的过程中，在观察现场画面(即图像信息)的同时，还可以获取到集装箱吊具与目标物之间的精确距离，该距离信息可以辅助司机判断吊具下放的时机，提高吊具操作的准确率，从而提高远程操作的效率。也就是说，本发明通过将距离信息叠加到图像信息上，可补偿二维画面中缺失的景深信息，使得司机进行更为准确的判断，从而提高操作效率。

本实施例中，距离信息包括高度距离信息，即集装箱吊具的当前高度与目标物上表面高度之间的差值。在抓放集装箱时，司机的一个主要操作是控制起升机构下放集装箱吊具的速度，以确保吊具在下降到目标高度时，集装箱吊具/吊装在集装箱吊具下方的集装箱可以与下方的目标物对齐，从而准确抓箱/落箱。因此，集装箱吊具还有多少下放空间，是影响司机操作的一个重要的指标。为使得司机得到这一高度距离信息，本实施例提供的远程操纵系统还包括(参考图2)：

吊具高度编码器15，在现有技术中，起升小车上会配置有用于记录集装箱吊具高度的高度编码器，本实施例利用现有技术中的该高度编码器来获取集装箱吊具的当前高度h₂，以避免重复配置。在其他实施例中，集装箱吊具的当前高度也可以用其他手段测量得到，例如，激光测距仪。

激光扫描仪16，设置在集装箱起重机上，可扫描目标物的上表面，从而可获取目标物上表面的高度h₁。图2示出了激光扫描仪16的一个工作示例，在该示例中，激光扫描仪16设置在集装箱起重机的海侧臂架上，通过扫描堆放在集装箱船只上的集装箱，可得到集装箱上表面的轮廓线S高度，进一步可得到待抓取的目标集装箱O的上表面的高度h₁。可以理解，激光扫描仪16还可设置在其他位置，以获得位于不同位置处的目标物的上表面高度，不再赘述。

在中央运算装置12中，集装箱吊具的当前高度h₂减去目标物的上表面高度h₁，即为高度距离信息，司机可根据该高度距离信息对集装箱吊具进行操作。

继续参考图1，本实施例中，距离信息还包括水平距离信息，水平距离信息指目标物与集装箱吊具在第一方向上的距离。本发明中，第一方向的定义为起升小车的运行方向。集装箱起重机在工作过程中，由于受到风载荷、起升小车加减速等的影响，集装箱吊具可能产生沿第一方向的偏摆角，使得集装箱吊具与下方目标物之间产生沿第一方向的偏差。在集装箱吊具被下放到目标高度之前，需要纠正该偏差，使得集装箱与下方目标物对齐。因此，司机实时掌握水平距离信息，有利于准确操作。为此，本实施例提供的远程操作系统1还包括：

吊具位置检测装置17，用于检测集装箱吊具在第一方向上的位置。在现有技术中，起升小车的牵引机构/运行驱动机构上会配置有用于记录起升小车运行位置的运行编码器；另外，集装箱吊具的上表面设置有反射板，起升小车的下方设置有信号发生器(例如，激光发生器)，该信号发生器向发射板发射信号后，通过接收反射板反射回来的信号，可测量得到集装箱吊具相对起升小车沿第一方向的偏移；将起升小车的运行位置与该偏移叠加，即可得到集装箱小车在第一方向上的位置。本实施例的吊具位置检测装置17利用现有技术中的上述配置来获取集装箱吊具的当前高度，以避免重复配置。可以理解，在其他实施例中，集装箱吊具在第一方向上的位置也可以利用现有技术中的其他距离测量装置测得。

另外，本实施例提供的中央运算装置12还包括图像识别单元121，用于接收并识别目标物图像信息，并计算目标物在第一方向上的位置。在本发明中，目标物具有标准化的外形尺寸，有利于图像识别单元121准确地识别目标物，并由识别到的图像结合既定的外形尺寸，准确地计算目标物的位置。另外，需要说明的是，由于集装箱吊具也是具有标准尺寸的结构，因此，在其他实施例中，上文中提到的集装箱吊具沿第一方向的位置也可以通过图像识别单元121根据集装箱吊具的图像信息得到。

在中央运算装置12中，通过计算吊具集装箱的位置与目标物位置在第一方向上的差值即可得到水平距离信息。

本实施例中，距离信息还包括转角距离信息，转角距离信息为集装箱吊具相对于目标物沿水平方向的转角。通常来讲，在实际作业过程中，会对集装箱船只、集装箱卡车等的位置进行调整，以使其处于与集装箱吊车正对的位置；也就是说，通过事先调整，会消除目标物与集装箱起重机(包括起升小车)之间的角度差。因此，为节省测量与计算程序，本实施中将集装箱吊具与目标物之间的转角距离信息转化为集装箱吊具相对起升小车的转角偏差。该转角偏差产生的原因包括上文提到的风载荷，该转角偏差也可利用上文提到的信号发生器和发射板测量得到，以简化远程操作系统1的配置。转角偏差还也可利用其他手段测量得到，例如，图像识别技术。图3示出了转角距离信息的一种表示方法，图中，每100刻度表示1°。

另外，本实施例中，还在图像信息中叠加了位置标识。参考图4，位置标识包括集装箱吊具的位置标识M₁和目标物的位置标识M₂。其中，目标物的位置标识M₂用于标记目标物所在的位置，而集装箱吊具的位置标识M₁用于标记集装箱吊具的预测位置。预测位置为集装箱吊具按照当前状态下降到目标物所在高度时，集装箱吊具所在的位置；换句话说，预测位置为：假设集装箱吊具保持当前偏摆角不变，当其下降到目标物所在高度，按线性比例法则推算得到的位置。本实施例中，集装箱吊具的位置标识M₁标记在集装箱吊具的预测中心位置，目标物的位置标识M₂标记在目标物的中心位置。

另外，本实施例的图像信息中还可叠加转角标识，用于反映转角距离信息。

司机可根据位置标识和转角标识，直观地掌握集装箱吊具与目标物之间的距离偏差，实时纠正集装箱吊具的偏摆和偏转，以准确抓放集装箱。本发明对上述位置标识和转角标识的图案不作限定，可以是十字标、星标、箭头、线条等。

继续参考图1，本实施例中，图像识别单元121中还包括异物识别部，用于识别图像信息中是否包括有规律移动的像素，以判断所述集装箱起重机的工作区域内是否有异物，从而避免集装箱吊具与异物发生碰撞，引起事故。本发明中，异物为异常出现在工作区域内的车辆等，体现在图像信息上即为有规律移动的像素，如果被异物识别物检测到，则判断有异物进入工作区域。

进一步地，为节省计算工作量，本实施例中，当集装箱吊具位于陆地上方且其当前高度小于预设值(例如，15m)时，异物识别部开始检测异物。其他情况下，例如当集装箱吊具位于海侧上方时，认为异物进入工作区域的可能性很小；或当集装箱吊具的高度大于预设值时，认为集装箱吊具与异物发生碰撞的风险很小，异物识别部关闭异物检测功能。

参考图5并结合图1，本实施例中，硬件配置方式为：

位于集装箱起重机本地的装置包括：图像采集装置11、吊具高度编码器15、激光扫描仪16、吊具位置检测装置17。起重机本地还设置有第一交换机181，用于接受起重机本地各装置中的数据，具体地，各装置通过以太网与第一交换机181交换数据。

位于远程操作室的装置包括：中央运算装置12、图像处理装置13、显示装置14。其中，中央运算装置12和图像处理装置13集成于视频服务器191内。远程操作室还设置有第二交换机182，用于接收第一交换机181传递过来的数据，并将接收的数据传送至视频服务器191。本实施例中，第一交换机181和第二交换机182通过光缆连接，以减小厂区内电磁辐射的干扰。第二交换机182与视频服务器191之间通过以太网交换数据。

进一步地，视频服务器191与显示装置14通过视频客户端192相连，视频客户端192内设置有图像分屏显示软件，以将叠加图像在多个显示装置14上进行显示。各显示装置14可显示叠加图像的整体，也可显示叠加图像的局部，还可显示叠加图像的不同视角，司机可根据观察需求进行选择。

综上所述，本发明提供的上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (14)

1.一种集装箱起重机远程操作系统，其特征在于，包括：

图像采集装置，设置于集装箱起重机本地，用于采集图像信息，所述图像信息包括集装箱吊具图像信息以及目标物图像信息；

中央运算装置，用于获取所述集装箱吊具的位置信息以及所述目标物的位置信息并进行运算，以得到所述集装箱吊具与所述目标物之间的距离信息；

图像处理装置，用于接收所述图像信息和所述距离信息，并生成叠加图像，所述叠加图像包括所述图像信息和所述距离信息、所述集装箱吊具的位置标识、所述目标物的位置标识；其中，所述集装箱吊具的位置标识用于标记所述集装箱吊具的预测位置，所述预测位置为所述集装箱吊具按当前状态下降到所述目标物高度时，所述集装箱吊具所在的位置，所述目标物的位置标识用于标记所述目标物所在的位置；

显示装置，设置于所述集装箱起重机的远程操作室内，用于显示所述叠加图像。

2.根据权利要求1所述的集装箱起重机远程操作系统，其特征在于，所述距离信息包括高度距离信息，其中，所述远程操作系统还包括：

吊具高度编码器，设置在用于起升所述集装箱吊具的起升小车上，用于记录所述集装箱吊具的当前高度；

激光扫描仪，设置在所述集装箱起重机上，用于获取所述目标物的上表面高度；

其中，所述高度距离信息为所述集装箱吊具的当前高度减去所述目标物的上表面高度。

3.根据权利要求2所述的集装箱起重机远程操作系统，其特征在于，所述距离信息包括水平距离信息，所述水平距离信息为所述目标物与所述集装箱吊具沿第一方向的距离，所述第一方向为所述起升小车的运行方向，其中，

所述远程操作系统包括吊具位置检测装置，用于检测所述集装箱吊具在所述第一方向上的位置；

所述中央运算装置包括图像识别单元，用于接收并识别所述目标物图像信息以得到所述目标物在所述第一方向的位置；

所述水平距离信息为所述集装箱吊具的位置与所述目标物的位置在所述第一方向上的差值。

4.根据权利要求3所述的集装箱起重机远程操作系统，其特征在于，所述距离信息包括转角距离信息，其中，所述吊具位置检测装置还可检测所述集装箱吊具相对所述起升小车在水平方向的转角偏差，所述转角距离信息等于所述转角偏差。

5.根据权利要求3或4所述的集装箱起重机远程操作系统，其特征在于，所述吊具位置检测装置包括所述起升小车沿所述第一方向的位置编码器、设置于所述起升小车下方的信号发射器，以及设置于所述集装箱吊具上表面的反射板。

6.根据权利要求5所述的集装箱起重机远程操作系统，其特征在于，所述集装箱吊具的位置标识用于标记所述集装箱吊具的预测中心位置，所述目标物的位置标识用于标记所述目标物的中心位置。

7.根据权利要求4所述的集装箱起重机远程操作系统，其特征在于，所述叠加图像还包括转角标识，用于反映所述转角距离信息。

8.根据权利要求1所述的集装箱起重机远程操作系统，其特征在于，所述距离信息通过数值显示。

9.根据权利要求3所述的集装箱起重机远程操作系统，其特征在于，所述图像识别单元还包括异物识别部，用于识别所述图像信息中是否包括有规律移动的像素，以判断所述集装箱起重机的工作区域内是否有异物。

10.根据权利要求9所述的集装箱起重机远程操作系统，其特征在于，当所述集装箱吊具工作于陆地上方且其当前高度小于预设值时，所述异物识别部开始检测异物。

11.根据权利要求1所述的集装箱起重机远程操作系统，其特征在于，所述中央运算装置和所述图像处理装置集成于视频服务器内，所述视频服务器设置于所述远程操作室内。

12.根据权利要求11所述的集装箱起重机远程操作系统，其特征在于，所述远程操作系统包括设置于所述集装箱起重机本地的第一交换机和设置于所述远程操作室的第二交换机；

所述图像采集装置通过以太网与所述第一交换机相连，所述第一交换机通过光缆与所述第二交换机相连，所述第二交换机通过以太网与所述视频服务器相连。

13.根据权利要求11所述的集装箱起重机远程操作系统，其特征在于，所述视频服务器与所述显示装置通过视频客户端相连，所述视频客户端内设置有图像分屏显示软件，以将所述叠加图像在多个所述显示装置上进行显示。

14.根据权利要求1所述的集装箱起重机远程操作系统，其特征在于，所述目标物为下述一种或几种：集装箱，集装箱卡车，集装箱导板。

Images