CN110869306B - 用于远程起重机控制的装置和方法 - Google Patents

用于远程起重机控制的装置和方法 Download PDF

Info

Publication number
CN110869306B
CN110869306B CN201780092931.0A CN201780092931A CN110869306B CN 110869306 B CN110869306 B CN 110869306B CN 201780092931 A CN201780092931 A CN 201780092931A CN 110869306 B CN110869306 B CN 110869306B
Authority
CN
China
Prior art keywords
container
crane
images
markers
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780092931.0A
Other languages
English (en)
Other versions
CN110869306A (zh
Inventor
李稷翔
何维龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Psa International Port Group
Original Assignee
Psa International Port Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Psa International Port Group filed Critical Psa International Port Group
Publication of CN110869306A publication Critical patent/CN110869306A/zh
Application granted granted Critical
Publication of CN110869306B publication Critical patent/CN110869306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C1/00—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles
    • B66C1/10—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles by mechanical means
    • B66C1/101—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles by mechanical means for containers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/40—Applications of devices for transmitting control pulses; Applications of remote control devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Programme control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C19/00—Cranes comprising trolleys or crabs running on fixed or movable bridges or gantries
    • B66C19/007—Cranes comprising trolleys or crabs running on fixed or movable bridges or gantries for containers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C19/00—Cranes comprising trolleys or crabs running on fixed or movable bridges or gantries
    • B66C19/002—Container cranes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Control And Safety Of Cranes (AREA)
  • Quality & Reliability (AREA)

Abstract

一种用于远程起重机控制的装置和方法，该装置包括：用于存储指令的存储器；以及处理单元，其被配置为执行存储在存储器中的指令，以控制所述装置：接收包括起重机吊具要降落至的位置的视图的一个或多个图像；在显示器上显示所述一个或多个图像；接收用于在一个或多个接收到的图像上标记一个或多个标记以便于所述起重机吊具的降落的用户输入；以及将一个或多个接收到的图像中的所述一个或多个标记的位置数据传送到处理器，以用于确定限定所述起重机吊具相对于所述一个或多个标记的位置数据的定位要偏移的值，以使得所述起重机吊具基于所确定的值进行降落。

Description

用于远程起重机控制的装置和方法
技术领域
本发明涉及用于远程起重机控制的装置和方法，特别地涉及用于控制起重机来移动集装箱(container)。
背景技术
起重机主要用在港口、海港、施工场地、储备仓库等等中以移动集装箱。
每个起重机通常由位于起重机顶部的驾驶室内的操作员来控制。使用包括位于驾驶室中的控制台上的操纵杆和按钮的已知设置来控制每个起重机。
在更高级的港口中，可以由坐在控制中心而不是起重机的驾驶室中的操作员来远程控制每个起重机(例如，国际专利公开号WO2002/014202；标题：Remote ContainerHandling System(远程集装箱处理系统))。控制中心具有就像在起重机的驾驶室中那样的用于控制起重机的控制台。另外，存在用于从起重机现场安装的相机捕获的图像的流式传送的实时视频的一个或多个显示器。当操作员收到移动集装箱的工作时，他将使用控制台上的操纵杆和按钮以及实时视频流来远程调整起重机的起重机吊具(spreader)的位置，然后将起重机吊具降落到集装箱上以接合并提起集装箱以移动到另一个位置。
尽管控制中心可以为操作员提供更舒适的工作环境，但是影响生产率的起重机的操作速度因操作员而异，并且取决于操作员的技能水平和疲劳程度。
此外，来自控制中心的远程起重机控制需要高速网络基础设施来提供低延迟的视觉显示。低延迟视频流式传送对于起重机的精确远程控制和确保高生产率是重要的。一致的高可靠性和抗干扰性仅可以通过有线网络(优选使用光纤)来保证，但这可能会非常昂贵。为了降低构建有线网络的成本，控制中心的构建位置通常限制为离起重机的实际位置不远的位置。
此外，操作员使用控制台来控制起重机的学习时间可能需要数天。获得足够的技能来有效并且高效地操作起重机可能需要甚至更长的时间。
尽管存在完全依靠机器的全自动起重机控制系统，但是这种系统也有一些缺点。例如，机器无法考虑起重机现场附近工作的人员的安全、高昂的安装和设备成本、以及高昂的维护成本。出于人身安全的原因，一些港口实际上不允许使用全自动起重机控制系统。
发明内容
根据本公开的一个方面，提供了一种用于远程起重机控制的装置，该装置包括：用于存储指令的存储器；和处理单元，所述处理单元被配置为执行存储在所述存储器中的指令以控制所述装置来：接收一个或多个图像，所述图像包括起重机吊具将要降落到的位置的视图；在显示器上显示一个或多个图像；接收用户输入以在一个或多个接收到的图像上标记一个或多个标记，从而促进起重机吊具的降落；以及将在一个或多个接收到的图像中的一个或多个标记的位置数据传送到处理器，以确定限定起重机吊具相对于一个或多个标记的位置数据的定位要偏移的值，以便起重机吊具基于所确定的值进行降落。
根据本公开的另一方面，提供了一种用于远程起重机控制的方法，该方法包括：接收一个或多个图像，该图像包括起重机吊具将要降落到的位置的视图；在显示器上显示一个或多个图像；接收用户输入以在一个或多个接收到的图像上标记一个或多个标记，从而促进起重机吊具的降落；以及将一个或多个接收到的图像中的一个或多个标记的位置数据传送到处理器，以确定限定起重机吊具相对于一个或多个标记的位置数据的定位要偏移的值，以便起重机吊具基于所确定的值进行降落。
附图说明
根据仅通过示例并结合附图的以下书面描述，本领域的技术人员将更好地理解本发明的实施例，并且它们对本领域技术人员而言是显而易见的，在附图中：
图1示出了本发明的示例的系统架构。
图2示出了本发明的示例所考虑的集装箱的水平轴和垂直轴以及偏斜角。
图3示出了根据本发明的示例的由安装在起重机吊具上的相机捕获的四个静态图像。
图4示出了所捕获的四个静态图像，但是其中的两个静态图像被数字地变焦/聚焦并且包括由用户输入的标记。
图5是根据本发明的示例的将被执行以导出用于调整起重机吊具的偏移值或参数的计算/运算的几何表示。
图6示出了根据本发明的示例的另外四个捕获的静态图像，其具有在每个图像中标记出包括角铸件的区域的边界。
图7示出了包含图6的图像(其中的一个图像被数字地变焦/聚焦)的图形用户界面以及具有信息和控制件的侧面板。
图8示出了包含图7的图像(其中的两个图像被数字地变焦/聚焦)的图形用户界面以及具有信息和控制件的侧面板。
图9示出了根据本发明的示例的另外四个捕获的静态图像，其具有在每个图像中标记出包括地面标记的区域的边界。
图10示出了图9的四个捕获的静态图像，但是其中的两个图像被数字地变焦/聚焦以示出在地面标记的拐角处的用户标记。
图11示出了根据本发明的示例的另外四个捕获的静态图像，其具有在每个图像中标记出包括角铸件的区域的边界。
图12示出了图11的四个捕获的静态图像，但是其中的两个图像被数字地变焦/聚焦以示出在角铸件的拐角处的用户标记。
图13示出了根据本发明的示例的另外四个捕获的静态图像，其具有在每个图像中标记出包括拖车(底盘)对准角的区域的边界。
图14示出了图13的四个捕获的静态图像，但是其中的两个图像被数字地变焦/聚焦以示出在拖车(底盘)对准角的拐角处的用户标记。
图15示出了本发明的装置和设备的架构的示例。
图16示出了本发明的示例的方法。
具体实施方式
本公开内容讨论了用于远程起重机控制或具体地远程引导的集装箱码头中的起重机操作的装置和方法。这样的集装箱起重机和集装箱码头可以存在于海港(港口)、仓储建筑物设施、建造场、船上等。本公开的装置和方法的一个优点是从手动地使用已知的操纵杆和控制台设置来控制(无论该控制是远程控制还是现场控制)起重机吊具对准集装箱的一个过程到通过仅指示由起重机操作员决定的位置信息来远程控制或引导起重机吊具以允许起重机自动将起重机吊具与集装箱对准的过程的过程变化。该过程变化的一个动机是简化起重机操作员在起重机的远程控制中的工作。
图1示出了用于本公开的远程起重机控制的设置或系统100的示例。该设置或系统100具有可由一个或多个起重机操作员远程操作的场外部分102和位于起重机吊具现场的起重机部分124。
场外部分102包括用于连接到起重机部分124以实现数据通信的网络交换机108。场外部分102还具有远程个人计算机104和/或远程移动设备106，例如平板电脑、智能手机、膝上型计算机等，它们中的每一个可以由起重机操作员操作。远程个人计算机104和远程移动设备106中的每一个可以被称为本公开的用于远程起重机控制的装置的示例。远程移动设备106可以经由有线技术或无线技术(例如，WiFi、蓝牙等)连接到网络交换机108。类似地，远程个人计算机104可以经由相同的有线或无线技术连接到网络交换机108。
起重机部分124包括网络交换机110，用于连接到场外部分102的网络交换机108以使得网络交换机108和网络交换机110之间能够进行数据通信。起重机部分124还具有图像处理个人计算机112(或在本文中也被称为图像处理单元)，其连接到一个或多个相机并连接到网络交换机110以用于接收控制一个或多个相机的指令。图像处理个人计算机112用于经由网络交换机108和110将由一个或多个相机捕获的图像传送到远程个人计算机104和/或远程移动设备106。如果起重机操作员经由远程个人计算机104和/或远程移动设备106指示要捕获一个或多个特定图像，则图像处理个人计算机112还控制图像的捕获。
在该示例中，一个或多个相机包括4个相机114、116、118和120，它们分别安装在起重机吊具的4个角处，以用于捕获图像来获得位于起重机吊具下方的集装箱的4个不同角的或起重机吊具承载的集装箱要被放置的位置或地点的俯视图。该位置或地点可能具有现有集装箱，用于由该起重机吊具将由该起重机吊具承载的集装箱放置在其上。该位置或地点可能具有拖车(也称为底盘)，由起重机吊具承载的集装箱要被放置在该拖车上。该位置或地点可以仅是地面，优选地包含地面标记，该地面标记标记出由起重机吊具承载的集装箱要放置在地面上的集装箱放置区。
例如，四个相机114、116、118和120中的每个相机被安装在起重机吊具的4个尖角中的每个尖角处，在大多数情况下，它们通常是矩形或大致矩形的形状。可以理解的是，也可以使用一个相机，只要它可以足够清晰地捕获包含地面上的集装箱的角铸件的至少一个俯视图、地面上的地面标记或拖车(取决于起重机的操作)的边缘部分(降落引导)的图像。将一个或多个相机安装在起重机吊具上的位置应该使得一个或多个相机能够足够清晰地捕获包含集装箱的拐角的至少一个俯视图、地面标记的拐角或拖车(取决于起重机的操作)的边缘部分(降落引导)的至少一个图像。
起重机部分124包括通常位于具有起重机吊具的起重机中的起重机控制器122。起重机控制器122连接到网络交换机110，并且起重机控制器122用于基于经由网络交换机108和110从远程个人计算机104和/或远程移动设备106接收的数据来控制起重机和起重机吊具的运动。起重机控制器122可以是可编程逻辑控制器(PLC)。
在远程起重机控制操作期间进行包括在远程个人计算机104和/或远程移动设备106与图像处理个人计算机112或起重机控制器122之间的数据和指令的传输的数据通信。数据传输可以包括将指令从远程个人计算机104和/或远程移动设备106传送到图像处理个人计算机112，以通过使用一个或多个相机114、116、118和120来捕获一个或多个特定图像。数据传输可以包括传送由一个或多个相机114、116、118和120捕获的一个或多个图像的数据，以显示在远程个人计算机104和/或远程移动设备106的显示器上。数据传输还可以包括在显示在显示器上的图像上所标记的一个或多个标记的位置数据的传输。
取决于起重机操作，图像可以包括起重机吊具下方的集装箱以及集装箱的至少一个角铸件的视图、包括标记出集装箱放置区的地面标记的拐角地面标记的视图、或拖车的边缘部分(降落引导)的视图(其可以为将承载集装箱的起重机吊具降落到拖车上提供参考)。对于用来提升或吊起集装箱或者将集装箱降落到另一个集装箱上的起重机操作而言，起重机操作员可以在图像中集装箱的角铸件的拐角处标记一个或多个标记。对于用来将起重机集吊具承载的集装箱放置在具有集装箱放置区的地面标记的地面上的起重机操作而言，起重机操作员可以例如在图像中的地面标记的拐角或者地面标记的任何理想位置(取决于其形状和配置)处标记一个或多个标记。应当理解，可以以任何适当的方式确定地面标记的形状，并且将训练起重机操作员将标记放置在正确的位置。对于将起重机吊具所承载的集装箱放置在拖车上的起重机操作而言，起重机操作员在例如从拖车延伸或安装在拖车上的特殊建造的边缘结构或部分(降落引导)处标记一个或多个标记，所述特殊建造的边缘结构或部分被用作起重机操作员控制起重机吊具以将由起重机吊具承载的集装箱放置在拖车上的参考。
通过起重机操作员在一个或多个捕获的图像上进行标记而获得的一个或多个标记的位置数据可以例如在远程个人计算机104、远程移动设备106、图像处理个人计算机112或起重机控制器122处被处理，以确定限定起重机吊具相对于集装箱的定位(该“定位”包括朝向和位置)要偏移的值，以便起重机吊具执行起重机操作。在本示例中，图像处理个人计算机112执行一个或多个标记的位置数据的处理以确定这些值。然后将所确定的值转换成起重机控制器122控制起重机的指令或命令。数据传输还可包括将指令从远程个人计算机104和/或远程移动设备106传输到起重机控制器122，以控制起重机的运动。
关于在一个或多个图像中标记的一个或多个标记的标记以及对一个或多个标记的位置数据的处理以确定限定起重机吊具相对于集装箱的定位要偏移的值以便起重机吊具执行特定起重机操作的细节如下。
图3示出了分别由参考图1所描述的4个相机114、116、118和120捕获的4个图像302、304、306和308看起来如何的示例。每个图像302、304、306和308捕获起重机吊具312的一部分以及先前放置在地面314上的集装箱316顶部的视图。图像302和304是在集装箱316的俯视图中包含集装箱31 6的较长边(即长度)的相对角的图像。类似地，图像306和308是在集装箱316的俯视图中包含集装箱316的较长边的相对角的图像。因此，图302和306是在集装箱316的俯视图中包含集装箱316的较短边(即宽度)的相对角的图像。类似地，图像304和308是在集装箱316的俯视图中包含集装箱316的较短边(即宽度)的相对角的图像。地面314上存在用于引导集装箱316在地面4上的先前放置的标记310。
四个相机114、116、118和120分别被安装在起重机吊具312的4个尖角的每一个的位置处或者被安装在起重机吊具312的4个尖角的每一个周围。在图像302、304、306、308中分别示出了具有4个相应的角铸件(包括在图3中标记出的318和320)的集装箱316的所有4个角。图3中故意给出了没有参考标号和箭头的图像304和306，以示出实际图像302、304、306和308在图1的远程个人计算机104和/或图1的远程移动设备106的显示器上看起来如何。
在将图像302、304、306和308显示在图1的远程个人计算机104和/或图1的远程移动设备106的显示器上之后，这些图像可以由起重机操作员操纵，以使得在可以在图像302、304、306、308中的至少一个上标记至少一个标记。稍后将在图1的远程个人计算机104、远程移动设备106、图像处理个人计算机112或起重机控制器122处进一步处理该标记的位置数据，以确定限定起重机吊具相对于集装箱的定位要偏移的值，以便起重机吊具接合位于起重机吊具下方的集装箱并且使得包括该起重机吊具的起重机能够提升集装箱。
例如，图4示出了分别与图3的图像302、304、306和308类似地捕获并显示在显示器上的4个图像402、404、406和408。每个图像402、404、406和408捕获先前放置在拖车414上的集装箱416的俯视图。承载集装箱416的拖车414停放在指定的停车场中。拖车414仅在图像406中可见。每个图像402、404、406和408分别单独地捕获集装箱416的四个角铸件中的每一个，包括在图4中标出的角铸件412和422。图像402和404是在集装箱416的俯视图中包含集装箱416的较长边(即长度)的相对角的图像。类似地，图像406和408是在集装箱416的俯视图中包含集装箱316的较长边的相对角的图像。因此，图像402和406是在集装箱416的俯视图中包含集装箱416的较短边(即宽度)的相对角的图像。类似地，图像404和408是在集装箱416的俯视图中包含集装箱416的较短边(即宽度)的相对角的图像。故意地给出没有参考标号和箭头的图像408，以示出实际图像402、404、406和408在图1的远程个人计算机104和/或图1的远程移动设备106的显示器上看起来如何。在图像406和408中，捕获了起重机吊具418的一部分。具体地，起重机吊具418的该部分可以包括用于接合集装箱416的对应角铸件的设备。
与图3的图像302和304不同，图像402和404是包围集装箱416的对应角铸件412和422的区域的被数字放大或聚焦的视图。起重机操作员可以通过例如图1的远程个人计算机104和/或图1的远程移动设备106的用户输入接口来控制这种变焦或聚焦。角铸件412和422的这种放大或聚焦视图便于起重机操作员以更高的精度来准确指出并标记集装箱416的角的尖端边缘的位置。该尖端边缘也恰好是离集装箱416的中心点最远的各个角铸件412和422的角。要由起重机操作员执行的集装箱416的角的尖端边缘的标记在图像402中显示为标记410，并且在图像404中显示为标记420。
在本示例中，每个标记410和420的形状为十字的形式。在进一步处理中使用的标记410和420的关键位置数据是相应图像402和404中十字中心的位置数据。这两个标记410和420中的每一个由起重机操作员通过图1的远程个人计算机104和/或图1的远程移动设备106的用户输入接口来标记。
类似地，在稍后参考其他附图描述的其他示例中，所描述的一个或多个标记的形状是十字形的。然而，应当理解，在本示例和其他示例中，也可以使用适合于标记和准确指出的任何其他形状。
用户输入接口可以例如包括：图1的远程个人计算机104和/或图1的远程移动设备106的显示器的触摸屏功能，其能够实现图像上的用户标记并且能够实现借助于触摸来进行图像变焦或聚焦的用户激活；诸如鼠标的用户输入设备，其控制光标以在图像上进行标记并激活图像变焦或聚焦；光标方向控制键盘，其控制光标以在图像上进行标记并激活图像变焦或聚焦；操纵杆，其控制光标以在图像上进行标记并激活图像变焦或聚焦，等等。
适用于本公开中描述的所有示例，起重机操作员可以根据他/她的需要，请求由安装在起重机吊具上的每个相机捕获一个或多个图像。例如，如果图像不清楚，则起重机操作员可以使用图1的远程个人计算机104和/或图1的远程移动设备106的用户输入接口来指示捕获另一图像。
尽管上面以及在本公开的其他示例中仅描述了数字变焦或聚焦，但是应当理解，在本发明的示例中光学变焦或聚焦也是可能的。例如，起重机操作员经由设置或系统100来指示相机在例如2倍光学变焦之后捕获静态图像。
两个标记410和420的位置数据可以如下被进一步处理以确定限定起重机吊具相对于集装箱的定位要偏移的上述三个值，以便起重机吊具接合位于起重机吊具下方的集装箱并且使得包括起重机吊具的起重机能够提升集装箱。
标记410和420可以通过相应图像中的像素位置来识别。可以从像素位置导出标记410和420的位置数据以进行几何计算。已知的起重机吊具的当前定位也可以用于几何计算中。图5示出了几何计算过程，其将在后面详细说明。
图2示出了典型的长方体形状的集装箱202，该集装箱202的长度比集装箱的高度和宽度长。图2示出了集装箱202的三个垂直轴V、X和Y。轴V是表示集装箱202的高度的垂直轴。X和Y是水平轴。轴Y表示集装箱202的长度并且可以被称为沿集装箱202的龙门方向延伸。轴X表示集装箱202的宽度并且可以被称为沿集装箱的车架(trolley)方向延伸。
为了使起重机吊具准确地降落到集装箱202上并且接合集装箱202并将集装箱202吊起来，通常需要用来使起重机吊具的位置偏移以便与集装箱对准来接合集装箱的3组值或参数：
1)起重机吊具在车架方向(x)上相对于集装箱202的偏移，即在X轴上的偏移。
2)起重机吊具在龙门方向(y)上相对于集装箱202的偏移，即在Y轴上的偏移。
3)在起重机吊具和集装箱202之间绕轴V的偏斜角(S)方面的偏移。图2示出了箭头204，指示如何考虑偏斜角(S)。
一旦确定或获得了上述三个偏移值或参数(x，y和S)，就可以将这些偏移值或参数的数据馈送或输入到图1的起重机控制器122。此后，图1的起重机控制器122将指示或命令起重机根据偏移值或参数来移动起重机吊具以便与集装箱202对准。一旦对准，则起重机吊具就可以降落并接合集装箱202，并且可以由起重机来移动集装箱202。
参考图2、图4和图5，如下从2个标记(例如，图4中的410和420)的位置数据导出参考图2描述的三个上述偏移值或参数(x，y和S)。图5适用于所有起重机操作，包括将目标集装箱降落在地面上/将目标集装箱从地面上吊起、将目标集装箱降落/吊起到另一个集装箱的顶部、以及将目标集装箱降落/吊起到拖车上。
在图4的起重机操作中，起重机吊具418将与集装箱416的对应较长边的相对端上的角铸件接合。对于稍后将要讨论的其他起重机操作，起重机吊具可以将一个集装箱降落在另一个集装箱上，将集装箱降落在地面上由地面标记标记出的集装箱放置区中，或者将集装箱降落在拖车上。对于所有类型的起重机操作，A1和A2是起重机吊具的两个相对角的已知位置，上面装有一个或多个相机。例如，A1和A2可以是起重机吊具的较长边(长度)、较短边(宽度)的相对端，或者是起重机吊具沿对角线的相对角。得出在A1和A2之间绘制的线之间的一半处的起重机吊具的中心点502。
在图4的起重机操作中，图5是基于图4中目标集装箱416的俯视图，根据需要与集装箱416对准的起重机吊具418而按比例缩放的。A1和A2是起重机吊具418的较长边(长度)的两个相对端的位置。
对于任何起重机操作，T1和T2是由起重机操作员标记的一个或多个标记的位置。得出在T1和T2之间的一半处的中心点504。
具体地，对于图4的起重机操作，T1和T2是从标记图像402和404导出的集装箱416的标记角的位置，其中T1对应于标记410并且T2对应于标记420。在图4的示例中，T1和T2是集装箱416的较长边(长度)的相对端。用来导出图4的示例的偏移值或参数的2个标记是标记410和420，它们在集装箱416的较长边的相对端处。还能够使用起重机操作员在图像中添加的2个标记(例如图像402和406中的标记，或图像404和408中的标记)，来导出偏移值或参数。然而，每对图像402和406或图像404和408示出了集装箱416的较短边(宽度或宽)的相对端。使用集装箱416的较短边(宽度或宽)上的标记可能会导致偏移值或参数的较高的对准误差。因此，在某些情况下，可以优选使用在集装箱416的较长边(长度)上的标记。此外，还能够使用沿对角线的相对端的2个标记来导出偏移值或参数。例如，在图像402和408中存在标记，或者在图像404和406中存在标记的情况。
在图5中，图2中提到的X轴垂直于线A1-A2。图2中提到的Y轴平行于图5中的线A1-A2。图2中的Y轴垂直于图2的X轴。图2中提到的V轴正交于Y轴和X轴。参考图5，轴V在绘制了图5的页面中向外延伸。图2的X轴和Y轴如图5所示。
为了对准起重吊具和集装箱416，必须对准图5中的两条线A1-A2和T1-T2。如图5所示，可以根据两个得出的中心点502和504沿X轴的位置的距离来计算X轴的偏移值(x)。如图5所示，可以根据两个得出的中心点502和504沿轴Y的位置的距离来计算Y轴的偏移值(y)。如图5所示，可以根据由两条线A1-A2和T1-T2的相交而形成的角度来计算围绕轴V的角度偏移值(S)。
用于基于以上提供的几何解释来确定上述三个偏移值或参数的算法可以相应地被编程为存储在存储器中的软件，并由例如图1的远程个人计算机104、远程移动设备106、图像处理个人计算机112和/或起重机控制器122的处理器或处理单元相应地调用，以确定上述三个偏移值或参数。
在使用例如来自图像402和图像406或者图像404和408的两个标记(它们在集装箱416的较短边(宽度或宽)的相对端上)导出偏移值的情况下，可以应用与上文针对使用起重机吊具和集装箱416的较长边(长度)所解释的相类似的导出步骤。然而，A1和A2将是起重机吊具的较短边(宽度或短侧)的相对端，用于接合在集装箱416的对应较短边的相对端上的角铸件。T1和T2将是集装箱416的较短边(宽度或宽侧)的相对端。
类似地，在使用例如来自图像402和图像408或者图像404和406的两个标记(它们在集装箱416的沿对角线的相对端上)导出偏移值的情况下，可以应用与上文针对使用起重机吊具418的较长边(长度)和集装箱416的较长边(长度)所解释的相类似的导出步骤。然而，A1和A2将是起重机吊具的沿对角线的相对端，用于接合在集装箱416的沿对角线的相对端上的角铸件。T1和T2将是集装箱416的沿对角线的相对端。
尽管使用上面的两个标记来执行上述三个偏移值或参数(也称为定位偏移值)的导出，但是能够仅使用图像中的集装箱的角处的一个用户输入图像标记来导出上述三个偏移值或参数。在这种情况下，单个用户输入标记可能像图4中的每个标记410和420那样呈十字形式。但是，可能有用户必须执行的附加动作，即旋转在远程个人计算机104和/或远程移动设备106的显示器上的十字，以使得十字的线与集装箱416的边对准。在这种情况下要获得的标记的位置数据将是与集装箱416的边对准的十字的线的坐标或像素位置。在这种情况下，可以基于所标记的十字的旋转角度、十字的线的位置、单个用户输入标记的位置和/或集装箱的预定/已知长度来导出定位偏移值。例如，被旋转以与集装箱的边对准的十字的一条线可以与图5的线T1-T2相对应。得到线T1-T2，可以使用由图5教导的概念来导出偏移值。在另一示例中，用户能够仅标记出一个标记，并且另外可以在所提供的一个或多个图像中绘制诸如图5的T1-T2的线。存在一个标记和与T1-T2相对应的线，当然可以使用图5所教导的概念来导出定位偏移值。
类似地，能够使用三个、四个或甚至更多个标记来以更高准确性确定上述三个偏移值或参数。例如，在图3或图4中的4个图像中的三个图像中标记的3个标记的情况下，可以绘制相同的两条线A1-A2和T1-T2，以导出起重机吊具相对于集装箱的较长边(长度)的定位偏移值并导出起重机吊具相对于集装箱的较短边(宽度或宽)的另一组定位偏移值。利用这两组定位偏移值，可以得出定位偏移值的一组平均值作为实际定位偏移值。
图6示出了分别与图3的图像302、304、306和308以及图4的图像402、404、406和408类似地被捕获并显示在显示器上的4个图像602、604、606和608。每个图像602、604、606和608捕获先前放置在另一个集装箱(其在图像602至608中的任何一个图像中不可见)上的集装箱616的视图的顶部。包括集装箱616的集装箱堆旁边的地面的参考标号为614。在此示例中，起重机操作是使用起重机吊具612来接合集装箱616，并向上提升或吊起集装箱616以便将其移动到另一个位置。
每个图像602、604、606和608分别单独地捕获集装箱616的四个角铸件中的每一个。图像602和604包含在集装箱616的俯视图中的集装箱616的较长边(即长度)的相对角。类似地，图像606和608包含在集装箱616的俯视图中的集装箱616的较长边的相对角。因此，图像602和606包含在集装箱616的俯视图中的集装箱616的较短边(即宽度)的相对角。类似地，图像604和608包含在集装箱616的俯视图中的集装箱616的较短边(即宽度)的相对角。故意给出了没有参考标号和箭头的图像608，以示出实际图像602、604、606和608在图1的远程个人计算机104和/或图1的远程移动设备106的显示器上看起来如何。在所有图像602、604、606和608中，起重机吊具612的一部分被捕获。具体地，起重机吊具612的该部分可以包括用于接合集装箱616的对应角铸件的装置。
图6所示的主要条目是4个边界610、618、620、以及图像608中的第四边界。要注意，这些边界是可选特征。这4个边界61 0、618、620和图像608中的第四边界是由计算机/机器生成的，以用于引导起重机操作员他/她应该在对应图像602、604、606和608的每一个图像上的哪个地方来标记所述标记。应用视觉/成像技术的计算机/机器的处理器/处理单元被用来处理图像602、604、606和608中的每一个，以确定集装箱616的每个角铸件在对应图像602、604、606和608中的位置。角铸件均具有相当类似的设计，并且这便于经由视觉/成像技术进行检测。此外，如果每个相机被物理地安装成捕捉使得集装箱中的角铸件将位于中心的图像，则本领域技术人员将不难做出用来在每个图像中定位角铸件的视觉/成像技术。一旦确定了每个角铸件的位置，计算机/机器的处理器/处理单元生成突出显示角铸件应该在图像中的区域/区的边界。该边界还指示起重机操作员应在图像中的哪里标记出标记。应当理解，计算机/机器可以例如是图1的远程个人计算机104、图1的远程移动设备106、图1的图像处理个人计算机112或图1的起重机控制器122中的一个或多个。在本示例中，包括610、618、620和图像608中的第四边界的每个边界形状为正方形或矩形。然而，应当理解，它们可以以其他方式成形，例如圆形或椭圆形。
图7是示出可能出现在图1的远程个人计算机104和/或图1的远程移动设备106的显示器上的图形用户界面700的示例。图7包括分别与图6的图像602、604、606和608相对应的4个图像702、704、706和708。图像704、706和708与图像604、606和608相同。类似于图6，图7示出了4个边界：图6的610、618和620、包括图像708中的第四边界。图像702为图6的图像602的放大或聚焦视图。此外，图7示出了以下内容。侧面板724包括用于显示关于集装箱616的细节的细节部分710。例如，10.128.255.9是正被操作的参考标号为TT324的起重机的互联网协议(IP)地址。将作业单发送到起重机的IP地址，并通知起重机操作员操作起重机。集装箱616可以具有参考标号ABCD 1234567，并且是40英尺长的类型。集装箱616可以从位置K04 S22 R01 L03移动到另一个位置K04 S22 R01 L04。应当理解，也可以显示在图7中未示出但对典型的起重机操作有帮助的其他细节。
-“发送”按钮714，用于发送一个或多个标记的位置数据用于计算/运算，以导出必须调整起重机吊具以便降落在集装箱616上以与其接合的偏移值或参数。
-“获得吊具”按钮716，用于在起重机操作员要求时指示从相应的一个或多个相机(例如，图1的相机114、116、118和120)来捕获一个或多个快照或图像。
-“直播关闭”按钮718，用于在显示一个或多个静态图像用于用户标记与要进行起重机操作的现场的直播/实时视频馈送或流之间进行切换。这有利地为起重机操作员提供了经由直播视频来查看现场情况的选项。
-“故障重置”按钮720，用于清除中断被控制的起重机的自动运动的故障。每当发生系统故障时，起重机被配置为在起重机的当前位置停止运动，并且不允许进一步运动的控制。例如，起重机可以在起重机的运动路径中的任何位置静止。在故障被解决或故障被确认为错误警报之后，按下“故障重置”按钮720可以清除故障并允许再次控制起重机。
-“自动启动”按钮722，用于指示起重机被控制为从先前的起重机动作继续，或者如果没有要继续的先前起重机动作，则开始新的动作。例如，如果先前发生故障并导致起重机吊具在其运动路径中途停止，则在使用“故障重置”按钮720清除了故障之后，可以按下“自动启动”按钮722以指示起重机吊具继续沿运动路径移动。
-“吊起”按钮726，用于将起重机吊具移动到优选位置，该优选位置被预定为对于对应的一个或多个相机(例如，图1的相机114、116、118和120)捕获一个或多个快照或图像来说是理想的或最佳的。
图8示出了可能出现在图1的远程个人计算机104和/或图1的远程移动设备106的显示器上的图7的相同的图形用户界面700。图8包括分别与图7的图像702、704、706和708相对应的4个图像802、804、806和808。图像806和808与图像706和708相同。但是，图像802和804是图像702和704的被放大或聚焦的视图。图8还示出了包含与图7中的侧面板724相同的组件的相同侧面板810。与图6和图7类似，图8显示了4个边界：图6的610、618和620、包括在图像808中找到的图6的608的第四边界。另外，图8示出了起重机操作员在图像802上标记的标记812。该标记812将被用于计算/运算用于调整起重机吊具的偏移值。在图8所示的示例中，除了在图6和图7中也能找到的边界618之外，图像804还包含第二边界814。边界814位于由边界618包围的区域内。在本示例中，边界814仅在标记812被标记之后出现，因为可以基于标记812的位置来估计边界814。在其他示例中，边界814可以仅在对对应图像执行变焦之后出现，或者边界814可以与边界618一起出现。与边界618所提供的指示相比，边界814是起重机操作员应在何处精确地标记出标记的更精确的指示符。例如，边界814可以包围在公差或误差限制之内的区域或区，以使得如果用户(即起重机操作员)在边界814中的任何地方作标记，则基于以用户标记为基础的计算/运算，起重机吊具将有更高机会来成功降落。如果起重机操作员没有准确地放置标记，比如放置在边界814之外，则起重机吊具的降落可能不会成功，并且起重机操作员可能必须再次提供新的标记。边界814也可以由计算机/机器生成，以引导起重机操作员他/她应该在图像804中的哪里标记出标记，就像边界618一样。类似地，视觉/成像技术被用来处理图像804以生成边界814。要注意，第二边界814是可选特征。
尽管参考图6至图8中的示例描述了第二边界814，但是应当理解，参考其他附图所讨论的所有其他示例也可以被配置为具有这样的第二边界814，作为与包围更多区域或区的边界(例如边界618)相比准确地指示起重机操作员应在何处标记出标记的更精确指示符。
对于图6的所有边界610、618和620，包括图像808中的第四边界和边界814(以下称为“这些边界”)，如果起重机操作员未在这些边界内进行标记，则可以在图1的远程个人计算机104和/或图1的远程移动设备106的显示器上闪烁错误通知，以请求起重机操作员在图像上重新标记。这些边界中的每一个都旨在引导起重机操作员更轻松地标记每个标记。这些边界可以说是计算机/机器提供的便于放置标记的建议。但是，计算机/机器可能无法生成这些边界以使它们出现在图像中的精确或准确位置处。在这种情况下，起重机操作员应无视(override)计算机/机器提供的建议。起重机操作员可以通过经由图形用户界面700进行选择来忽略显示器上闪烁的错误通知，并基于起重机操作员标记的内容继续进行计算/运算。在替代示例中，当错误通知闪烁时，起重机操作员可能无法继续操作，以防止起重机操作员发送关于起重机吊具的调整的错误指令，这将导致事故或损害现场安全。在此替代示例中，这些边界将充当计算机/机器辅助的预防由于人为错误而导致的事故的手段。
尽管在本公开中仅参考图6中的示例描述了图形用户界面700，但是应当理解，参考其他附图讨论的所有其他示例也可以具有相同种类的图形用户界面700，并且具有例如起重机操作员可用来无视边界建议或错误通知的相同无视功能，该边界建议或错误通知不允许起重机操作员继续发送关于起重机吊具的调整的错误指令。
图9示出了分别与图6的图像602、604、606和608类似地被捕获并显示在显示器上的4个图像902、904、906和908。然而，每个图像902、904、906和908捕获起重机吊具912承载的集装箱916被要放置的位置或场所的俯视图。具体而言，图9所示的本示例中的起重机操作是将起重机的起重机吊具912所承载的集装箱916放置在地面914上，地面914包括例如在图像902中的地面标记922以及在图像904中的地面标记924。该起重机操作不同于参照先前附图描述的将起重机吊具降落在集装箱上以便将其提升或吊起并将其移动到另一位置的起重机操作。
每个图像902、904、906和908分别捕获四组对应的地面标记。这些地面标记标记出在地面914上的用于放置或存放集装箱916的集装箱放置区。在本示例中，起重机操作员基于地面标记922和924来在图像902和904中放置标记。地面标记922和924向起重机操作员提供将标记放置在相应图像902和904中的引导。在此示例中，用来放置标记的理想位置是每个图像中地面标记的拐角处。稍后描述的图10将提供关于标记的更多细节。这些标记接着被用来计算用于调整承载集装箱916的起重机吊具912以将集装箱916降落在由地面标记而标记出的集装箱放置区内的偏移值或参数。地面标记922和924位于当集装箱916被放置在地面914上时集装箱916的较长边(即长度)的相对角处。故意地给出了除了其参考标号908之外没有参考标号并且没有任何箭头的图像908，以示出实际图像908在图1的远程个人计算机104和/或图1的远程移动设备106的显示器上看起来如何。
图9还包括4个边界910、918、920、包括图像908中的第四边界。注意，这样的边界是可选特征。这四个边界91 0、918、920和图像908中的第四边界是由计算机/机器生成的，用于引导起重机操作员他/她应该在相应图像902、904、906和908中的每一个上的哪里标记出标记。应用视觉/成像技术的计算机/机器的处理器/处理单元被用来处理图像902、904、906和908中的每一个，以确定相应图像902、904、906和908中的地面标记的拐角的位置。可以使地面标记具有类似的设计，以便于经由视觉/成像技术进行检测。此外，如果每个相机被物理地安装成捕获使得地面标记将位于中心的图像，则技术人员将不难做出用来在每个图像中定位地面标记的视觉/成像技术。一旦确定了地面标记的拐角的位置，计算机/机器的处理器/处理单元生成突出显示地面标记的拐角应该在图像中的区域/区的边界。该边界指示起重机操作员应在图像中的哪里放置标记。应当理解，计算机/机器可以例如是图1的远程个人计算机104、图1的远程移动设备106、图1的图像处理个人计算机112或图1的起重机控制器122中的一个或多个。在本示例中，每个边界(包括910、918、920和图像908中的第四边界)形状为正方形或矩形。然而，应当理解，它们可以以其他方式成形，例如圆形或椭圆形。
图10包括分别与图9的图像902、904、906和908相对应的4个图像1002、1004、1006和1008。图像1006和1008与图像906和908相同。图像1002和1004是图像902和904的放大或聚焦视图。图10还示出了4个边界：图9的910、918和920、包括在图像1008中找到的图像908中的第四个边界。此外，图10示出了起重机操作员在边界910中在图像1002上标记的标记1010和在边界918中在图像1004上标记的另一个标记1012。标记1010和1012将用于计算/运算用于调整起重机吊具912的偏移值。在图10的示例中，标记1010和1012应该理想地由起重机操作员标记在分别存在于每个图像1002和1004中的相应地面标记922和924的拐角处，以便获得调整起重机吊具912以将由起重机吊具912承载的集装箱916降落在地面914上所需的最准确的定位偏移。可以应用先前参考图5描述的用于导出偏移值或参数的类似步骤来导出用于图9和图10所示的示例的偏移值。在这种情况下，A1和A2将是分别与图像1002和1004中的标记1010和1012一起出现的起重机吊具912的较长边(长度)的相对端。T1和T2将是与相应地面标记922和924上的标记1010和1012的位置相对应的相对端。
图11示出了分别与图10的图像1002、1004、1006和1008类似地被捕获并显示在显示器上的4个图像1102、1104、1106和1108。但是，每个图像1102、1104、1106和1108捕获具有其上将被放置起重机吊具1112所承载的集装箱1116的集装箱1122的位置或场所的俯视图。集装箱1122先前被放置在该位置或场所的地面1114上。在此示例中，起重机操作是将由起重机吊具1112承载的集装箱1116放置在集装箱1122上。
每个图像1102、1104、1106和1108分别单独地捕获集装箱1122的四个角铸件中的每一个。图像1102和1104包含在集装箱1122的俯视图中的集装箱1122的较长边(即长度)的相对角。类似地，图像1106和1108包含在集装箱1122的俯视图中的集装箱1122的较长边的相对角。因此，图像1102和1106包含在集装箱1122的俯视图中的集装箱1122的较短边(即宽度)的相对角。类似地，图像1104和1108包含在集装箱1122的俯视图中的集装箱1122的较短边(即宽度)的相对角。故意给出没有附图标号和箭头的图像1106以示出实际图像1102、1104、1106和1108在图1的远程个人计算机104和/或图1的远程移动设备106的显示器上看起来如何。在所有图像1102、1104、1106和1108中，起重机吊具1112的部分被捕获。具体地，起重机吊具11的该部分可以包括用于接合集装箱1122的对应角铸件的装置。
图11示出了4个边界1110、1118、1120、包括图像1106中的第四边界。注意，这些边界是可选特征。这4个边界1110、1118、1120和图像1106中的第四边界是由计算机/机器生成的，用于引导起重机操作员他/她应该在相应图像1102、1104、1106和1108的每一个上的哪里标记出标记。应用视觉/成像技术的计算机/机器的处理器/处理单元被用来处理图像1102、1104、1106和1108中的每一个以确定集装箱1122的每个角铸件在相应图像1102、1104、1106和1108中的位置。角铸件均具有相当相似的设计，并且这便于经由视觉/成像技术进行检测。此外，如果每个相机被物理地安装成捕获使得集装箱中的角铸件将位于中心的图像，则本领域技术人员将不难做出用来在每个图像中定位角铸件的视觉/成像技术。一旦确定了每个角铸件的位置，计算机/机器的处理器/处理单元生成突出显示角铸件应该在图像中的区域/区的边界。该边界还指示起重机操作员应在图像中的哪里标记出标记。应当理解，计算机/机器可以例如是图1的远程个人计算机104、图1的远程移动设备106、图1的图像处理个人计算机112或图1的起重机控制器122中的一个或多个。在本示例中，包括1110、1118、1120和图像1106中的第四边界的每个边界形状为正方形或矩形。然而，应当理解，它们可以以其他方式成形，例如圆形或椭圆形。
图12包括分别与图11的图像1102、1104、1106和1108相对应的4个图像1202、1204、1206和1208。图像1204和1206与图像1104和1106相同。图像1202和1208是图像1102和1108的被放大或聚焦的视图。图12还示出了4个边界：图11的1110、1118和1120、包括在图像1208中找到的图像1108中的第四边界。此外，图12示出了起重机操作员在边界1110中在图像1102上标记的标记1210和在边界1120中在图像1208上标记的另一个标记1212。标记1210和1212将用于计算/运算用于调整起重机吊具的偏移值。在图12的示例中，标记1210和1212应该理想地由起重机操作员标记在分别存在于每个图像1202和1208中的每个角铸件1214和1224的拐角处，以便获得调整起重机吊具1112以将由起重机吊具1112承载的集装箱1116降落在先前放置在地面1114上的集装箱1122上所需的最准确的定位偏移。
注意，分别包含标记1210和1212的图像1202和1208示出了集装箱1122的沿对角线的相对端。在这种情况下，可以应用先前参考图5描述的用于导出偏移值或参数的类似步骤。然而，在这种情况下，A1和A2将是分别与图像1202和1208中的标记1210和1212一起出现的起重机吊具1112的较长边(长度)的沿对角线的相对端。T1和T2将是分别与图像1202和1208中的标记1210和1212的位置相对应的集装箱1116的沿对角线的相对端。
图13示出了根据本发明的示例的另外四个捕获的静态图像，其具有在每个图像中标记出包括拖车(底盘)对准角的区域的边界。图14示出了图13的四个捕获的静态图像，但是其中的两个图像被数字地变焦/聚焦以示出在拖车(底盘)对准角的拐角处的用户标记。
图13示出了分别与图12的图像1202、1204、1206和1208类似地被捕获并显示在显示器上的4个图像1302、1304、1306和1308。然而，每个图像1302、1304、1306和1308捕获具有拖车(也称为“底盘”)1326的位置或场所的俯视图，起重机吊具1312所承载的集装箱1316将被放置在该拖车1326上。拖车1326先前位于该位置或场所的地面1314上。在该示例中的起重机操作是将由起重机吊具1312承载的集装箱1316放置在拖车1326上。
每个图像1302、1304、1306和1308旨在单独捕获延伸或安装到拖车1326的降落引导(例如降落引导1322和1324)的图像。在此示例中，拖车1326仅具有如分别在图像1302和1304中示出的两个可见的降落引导1322和1324。实际上在拖车1326上还有另外两个降落引导，但是它们在图像1306和1308中被集装箱1316挡住并且不可见。在一些其他示例中，典型拖车的所有四个降落引导可以在所有四个图像中都可见。因此，对于本示例，图像1306和1308将不被用于导出用于调整起重机吊具1312的偏移值。这些降落引导1322和1324引导起重机操作员如何将集装箱1316放置在拖车1326上。通常，最少两个降落引导应存在于拖车上并在图像中可见，用于用户标记过程以导出起重机吊具1312的偏移值。在本示例中，起重机操作员基于降落引导1322和1324来将标记放置在图像1302和1304中。在该示例中，放置标记的理想位置分别在图像1302和1304的每一个中的每个降落引导1322和1324的特定角处。稍后描述的图14将提供关于标记的更多细节。这些标记接着被用来计算用于调整承载集装箱1316的起重机吊具1312以将集装箱1316降落在拖车1326上的偏移值或参数。拖车1326的降落引导1322和1324位于当集装箱1316被放置在拖车1326上时集装箱1316的较长边(即长度)的相对角处。故意地给出了除了其参考标号1308之外没有参考标号并且没有任何箭头的图像1308，以示出实际图像1308在图1的远程个人计算机104和/或图1的远程移动设备106的显示器上看起来如何。
图13还包括4个边界：1310、1318、1320、包括在图像1308中的第四边界。注意，这些边界是可选特征。这4个边界1310、1318、1320和图像1308中的第四边界是由计算机/机器生成的，以引导起重机操作员他/她应该在对应图像1302、1304、1306和1308的每一个上的哪里标记出标记。应用视觉/成像技术的计算机/机器的处理器/处理单元被用于处理图像1302、1304、1306和1308中的每一个，以确定拖车1326的降落引导1322和1324在相应图像1302、1304、1306和1308中的潜在位置。可以使降落引导具有类似的设计，以便于经由视觉/成像技术进行检测。此外，如果每个相机被物理地安装成捕获使得降落引导将位于中心的图像，则本领域技术人员将不难做出用来在每个图像中定位降落引导的视觉/成像技术。一旦确定了降落引导的位置，计算机/机器的处理器/处理单元生成突出显示降落引导应该在图像中的区域/区的边界。该边界指示起重机操作员应在图像中的哪里标记出标记。应当理解，计算机/机器可以例如是图1的远程个人计算机104、图1的远程移动设备106、图1的图像处理个人计算机112或图1的起重机控制器122。在本示例中，包括1310、1318、1320和图像1308中的第四边界的每个边界形状为正方形或矩形。然而，应当理解，它们可以以其他方式成形，例如圆形或椭圆形。
图14包括分别与图13的图像1302、1304、1306和1308相对应的4个图像1402、1404、1406和1408。图像1406和1408与图像1306和1308相同。图像1402和1404是图像1302和1304的被放大或聚焦的视图。图14还示出了4个边界：图13的1310、1318和1320、包括在图像1408中找到的图像1308中的第四边界。此外，图14示出了起重机操作员在边界1310中标记在图像1402上的标记1410和在边界1318中标记在图像1404上的另一个标记1412。标记1410和1412将被用来计算/运算用于调整起重机吊具1312的偏移值。在图14的示例中，标记1410和1412应该理想地由起重机操作员标记在分别存在于每个图像1402和1404中的降落引导1322和1324的指定位置处，以便获得调整起重机吊具1312以将由起重机吊具1312承载的集装箱1316降落在拖车1326上所需的最准确的定位偏移。可以应用先前参考图5描述的用于导出偏移值或参数的类似步骤来导出用于图13和图14所示的示例的偏移值。在这种情况下，A1和A2将是分别与图像1402和1404中的标记1410和1012一起出现的起重机吊具1312的较长边(长度)的相对端。T1和T2将是与拖车1326的相应降落引导1322和1324上的标记1410和1412的位置相对应的相对端。
用来使一个或多个相机(例如，图1中的114、116、118和120)准备好用于根据本公开的涉及在图像上的用户(即起重机操作员)标记的远程起重机控制操作的布置/设置如下。这些布置/设置适用于本公开中描述的所有示例。
假设所有相机已经被策略性地安装在起重机吊具的至少一个角上，以拍摄已经在地面上的目标集装箱的角铸件、在另一个集装箱的顶部上的目标集装箱的角铸件、在拖车上的目标集装箱的角铸件、来自拖车的降落引导或地面上的地面标记的快照或静态图像。
1.首先通过利用例如激光传感器进行扫描来确定起重机吊具离已经在地面上的目标集装箱的角铸件、在另一个集装箱的顶部上的目标集装箱的角铸件、在拖车上的目标集装箱的角铸件、拖车的降落引导或地面上的地面标记的高度。以这种方式确定的高度被用于计算起重机吊具应朝向或远离目标集装箱的角铸件、地面或拖车移动多远。
2.然后，起重机自动化算法将被激活，以将起重机吊具移动到预定高度，例如在目标集装箱的角铸件、地面或拖车上方约4m。
在目标集装箱已经在地面上的情况下、在目标集装箱在另一个集装箱的顶部上的情况下以及在目标集装箱在拖车的顶部上的情况下，将一个或多个相机调整为预定高度，以使得可以仅捕获相应目标集装箱的一个角铸件，并且可以在要捕获的图像中看到该角铸件。优选地，捕获角铸件以使得其位于图像的中心。起重机吊具的每个相机都应该安装有物镜，以使角铸件被捕获在所捕获图像的中心。将角铸件捕获在图像的中心可以便于使用相机的光学变焦来获得角铸件的清晰的放大或聚焦的视图。
在捕获地面上的地面标记的情况下，将一个或多个相机调整到预定高度，以使得可以仅捕获集装箱放置区的一个拐角地面标记，并且可以在要捕获的图像中看到拐角地面标记。优选地，捕获拐角地面标记以使得其位于图像的中心。起重机吊具的每个相机都应该安装有物镜，以使拐角地面标记被捕获在捕获图像的中心。将拐角地面标记捕获在图像的中心可以便于使用相机的光学变焦来获得拐角地面标记的清晰的放大或聚焦的视图。
在捕获地面上的拖车的降落引导的情况下，将一个或多个相机调整到预定高度，以使得可以仅捕获拖车的一个降落引导，并且在要捕获的图像中可以看到降落引导。优选地，降落引导被捕获以使得其位于图像的中心。起重机吊具的每个相机都应该安装有物镜，以使降落引导被捕获在捕获图像的中心。将降落引导捕获在图像的中心可以便于使用相机的光学变焦来获得降落引导的清晰的放大或聚焦的视图。
3.然后，起重机运动传感器将感测起重机吊具的运动，直到起重机吊具已达到完全停止而没有摇摆、没有实质性摇摆或可容许的摇摆为止，该可容许的摇摆将不会影响使用安装在起重机吊具上的一台或多台相机而捕获的图像的清晰度。在一个示例中，起重机运动传感器将与起重机吊具的移动/运动有关的信号/数据传送到图1的起重机控制器122。图1的起重机控制器122处理该信号/数据，以确定起重机吊具是否存在摇摆/运动，或者该摇摆/运动是否在可容许的运动范围内。
4.当起重机吊具没有摇动/移动，或者该摇动/移动在可容许的移动范围内时，由安装在起重机吊具上的一个或多个相机来拍摄快照或静态图像。快照中捕获的图像将被传送用于由起重机操作员标记拐角。在一个示例中，在图1的起重机控制器122确定是否存在起重机吊具的摇摆/运动，或者该摇摆/运动是否在可容许的运动范围内之后，图1的起重机控制器122指示图1的图像处理个人计算机112激活一个或多个相机来捕获快照或静态图像。
仍涉及人工起重机操作员的上述用于远程起重机控制的装置和方法可以代替非人工驱动的全自动起重机控制系统，或与之共存。例如，为了高效的集装箱移动操作，存在可以将仍涉及人工起重机操作员的上述用于远程起重机控制的装置和方法与非人工驱动的全自动起重机控制系统一起使用的几种场景。
对于将集装箱放置在地面上、集装箱搬运车(也称为集装箱底盘或拖车)上、另一个集装箱上或集装箱堆上的作业，全自动起重机控制系统可以在以下情况下自动中止操作以将控制转移到仍涉及人工起重机操作员的上述用于远程起重机控制的装置。
起重机操作-从堆场拾取集装箱
在以下情况下发生将控制转移到用于远程起重机控制的装置。
从堆场中的集装箱获得的集装箱编号与在拾取集装箱的电子作业单中记录的集装箱编号不符。
待拾取的集装箱未对准地放置在堆场中，该未对准超出了容许限制。例如，集装箱被放置在集装箱放置区的地面标记之外。
待拾取的集装箱的集装箱角铸件不能被安装到起重机吊具用于起重机吊具降落的相机检测到。
在起重机吊具的自动下降运动期间，起重机遇到故障。
起重机吊具不能自动准确地降落到集装箱上。
起重机吊具正确地降落到集装箱上，但是无法成功锁定来接合集装箱的角铸件(例如，扭锁被卡住)。
起重机操作-从拖车(底盘)上拾取集装箱
在以下情况下发生将控制转移到用于远程起重机控制的装置。
1.从堆场获得的接连到承载待拾取的集装箱的拖车的车辆的车辆编号与在拾取拖车上的集装箱的电子作业单中记录的拖车的车辆编号不一致。
2.接连到承载待拾取的集装箱的拖车的车辆未对准地停放，该未对准超出了堆场中的容许限制。例如，车辆停在车辆的停车场的地面标记之外。
3.从拖车中的集装箱获得的集装箱编号与在拾取集装箱的电子作业单中记录的集装箱编号不符。
4.待拾取的集装箱被未对准地放置，该未对准超出了容许限制。
5.待拾取的集装箱的集装箱角铸件不能被安装到起重机吊具用于起重机吊具降落的相机检测到。
6.在起重机吊具的自动下降运动期间，起重机遇到故障。
7.起重机吊具不能自动准确地降落到集装箱上。
8.起重机吊具正确地降落到集装箱上，但是无法成功锁定来接合集装箱的角铸件(例如，扭锁被卡住)。
起重机操作-将集装箱降落到地面上或堆场中的集装箱堆上
在以下情况下发生将控制转移到用于远程起重机控制的装置。
1.存在其中起重机吊具下方没有集装箱的将集装箱降落到地面上的情形，以供起重机操作员参考以将标记放置在所捕获的位置或场所的图像中。在这种情况下，用户在正确位置的标记将对起重机放置集装箱很有用。例如，正确的位置可以是地面上的集装箱放置区的拐角地面标记处。如果没有地面标记，则起重机操作员可以根据他/她的经验在图像中在起重机吊具下方的可见地面上进行标记。
2.包括堆场中的在起重机吊具下方的一个或多个集装箱的集装箱堆的对准超出了全自动起重机可处理的容许范围，并且用户标记作为引导将是有用的。
3.全自动起重机机载的传感器(其可以包括激光传感器)无法检测到集装箱堆或地面。
4.起重机在朝向集装箱堆或地面的自动下降运动期间遇到故障。
5.起重机吊具正确地降落到集装箱堆上，但是不能成功地从起重机吊具所承载的集装箱的角铸件解锁(例如，扭锁被卡住)。
起重机操作-将集装箱降落到拖车(底盘)上
在以下情况下发生将控制转移到用于远程起重机控制的装置。
1.起重机拖车(底盘)对准激光传感器检测到非标准车辆和/或非标准拖车。
2.从堆场获得的接连到用于降落起重机吊具所承载的集装箱的拖车的车辆的车辆编号与在将集装箱降落到拖车上的电子作业单中记录的拖车的车辆编号不符。
3.接连到用于降落集装箱的拖车的车辆未对准地停放，该未对准超出了堆场中的容许限制。例如，车辆停在车辆的停车场的地面标记之外。
4.相机不能检测到车辆结构，更具体地说是拖车的降落引导。
5.起重机在朝向拖车的自动下降运动中遇到故障。
6.起重机吊具正确地降落到拖车上，但是无法成功地从拖车解锁(例如，扭锁被卡住)
在以上场景中，可以拍摄若干个现场图像。在具有人工起重机操作员的情况下并在用户输入的标记的帮助下，可以安全地解决机器不能解决的某些情形，而无需完全依靠机器。在没有地面标记、没有拖车的降落引导或没有提供计算机/机器辅助(诸如包围所建议的起重机操作员应该标记的区域/区的计算机/机器生成的边界)的情况下，起重机操作员可以依靠经验来输入标记用于导出偏移值，以调整起重机吊具的定位来完成起重机操作。
参考附图描述的装置的优点可以包括以下内容。
与使用已知设置(包括控制台上的按钮和操纵杆)来控制起重机吊具相比，新操作员学习标记集装箱中的角铸件的拐角、标记地面标记的拐角、在拖车的降落引导之上进行标记、或者在场地上没有参考的情况下估计在图像中的哪里进行标记的培训时间将更短。在某些港口，新操作员通常需要接受5个星期的培训，然后他/她才被允许独立操作起重机。通过使用本公开中描述的装置及其示例，新操作员仅需要识别并标记集装箱的图像的拐角以指示起重机吊具的降落位置。作业流程中的这种相对简单性意味着，新操作人员的培训时间可以减少到例如大约1周，这显著减少了80％的培训时间。
与已知的带有操纵杆的起重机吊具的手动控制(大约花费60或70秒)相比，在图像上或在一个以上的单独图像上标记例如两个拐角所需的时间将更短，大约花费15秒。因此，将起重机吊具与集装箱接合的平均处理时间减少了约78％。这极大地提高了每个起重机操作员的生产率，减少了人力需求，并且可以转化为每个港口对于每个起重机操作员所产生的较低的工资成本。
与现有远程起重机控制的实时视频传输(在使用控制中心包括操纵杆的已知设置的远程控制的情况下，将需要约15MBps吞吐量的带宽、60或70秒的持续时间)相比，传送静态图像(照片)仅需要例如大约5MB并且花费例如大约2秒。大带宽要求控制中心位于起重机的现场附近。但是，在仅传送静态图像所需的较小数据量的情况下，将允许控制中心和起重机操作员位于场外更远处，甚至在国外。由于较低的带宽要求，所以该应用可以被扩展到一些通过无线通信而运行的橡胶轮胎龙门起重机。
低带宽要求也更适合于在手持设备上实现。在现有的远程控制中心中，每个控制台都需要复杂的设备，包括专用的可编程逻辑控制器。对于有线网络来提供一致的高可靠性的需求不再是必须。与具有支持远程控制操作的操纵杆的现有控制台相比，本公开中描述的装置及其示例具有更简单且成本更低的基础设施设置。静态图像上标记输入的简单性仅需要例如触摸屏移动设备作为远程起重机操作员的新控制台。
此外，通过所接收的图像，操作员可以从图像来检查环境，以确保在起重机运行时没有人靠近起重机操作区，并且这确保了人身安全。全自动系统需要昂贵的基础设施设置来检查周围环境以确保人身安全，更不用说这种系统有时也会由于设备磨损而出现故障。
由于在计算机计算的定位方面具有半自动化，所以当将起重机吊具对准以降落或接合集装箱时，确保了起重机吊具的运动的精确性。就这一点来说，对人的技能的依赖较少，而人的技能通常需要一些时间来获得或完善。在提供包围所建议的起重机操作员应该标记的区域/区的计算机/机器生成的边界的特征的情况下，这是防止在标记出标记时的人为错误的一种形式。因此，可以防止可能引起事故的起重机操作员对起重机吊具的错误指示。与当前的起重机控制操作相比，这被认为是巨大的改进，在当前起重机控制操作中，当起重机操作员使用操纵杆控制起重机吊具时，他可能会做出判断错误。
图1的网络交换机108和110(每个也称为交换集线器、桥接集线器、媒体访问控制(MAC)桥接器、路由器等)可以是通过使用分组交换将设备一起连接在计算机网络上以接收数据、处理数据并将数据转发到目的地设备的计算机联网设备。在根据本公开的一些示例中，网络交换机108和110可以各自是如图15中示意性示出的服务器装置1550，或者具有充当跨多个服务器组件而分布的服务器的功能。图1中的网络交换机108和110的一个目的是在图像处理个人计算机112与图1的远程个人计算机104和远程移动设备106两者之间中继数据通信。图1中的网络交换机108和110的另一个目的是在图1的起重机控制器122与图1的远程个人计算机104和远程移动设备106两者之间中继数据通信。可以理解的是，图像处理个人计算机112也可以是类似于图15的服务器装置1550的服务器装置。可以理解的是，网络交换机108和110可以是一个相同的网络设备，或者可以包括若干个网络设备。
在图15的示例中，服务器装置1550可以包括多个单独的组件，包括但不限于微处理器1556、用于可执行指令1560的加载的存储器1558(例如，诸如随机存取存储器(RAM)之类的易失性存储器)，所述可执行指令限定服务器装置1550在处理器1556的控制下执行的功能。服务器装置1550还包括网络模块1552，该网络模块1552允许服务器通过通信网络1512(例如互联网)进行通信。用户接口1562可以被提供用于用户交互，并且可以包括例如常规的计算外围设备，诸如显示监视器、计算机键盘等。服务器装置1550还可以包括数据库1554。还应当理解，数据库1554可能不在服务器装置1550本地。数据库1554可以是云数据库。
图1的图像处理个人计算机112和图1的远程个人计算机104每个可以是计算机1504，其包括用于处理一个或多个计算机程序的处理单元1502。处理单元1502可以根据需要经由输入/输出(I/O)接口1524连接到输入/输出设备，例如计算机鼠标1536、键盘/小键盘1504、显示器1508(计算机监视器，其可以具有触摸屏功能)、耳机或麦克风1526(VoIP应用所需的，例如在必要时用来在起重机操作的场所进行广播或寻求帮助)、一个或多个视频/静态相机1540(例如，图1的114、116、118和120)等。处理单元1502可以包括处理器1518、随机存取存储器(RAM)1520和只读存储器(ROM)1522。处理单元1502的组件通常经由互连的总线1528并且以相关领域技术人员已知的方式进行通信。计算机1504还可以包括数据库1530。还应该理解，该数据库1530可能不在计算机1504本地。
处理单元1502可以经由适当的收发器设备1514(即网络接口)或适当的无线收发器1532连接到例如因特网的网络1512，以使得能够访问例如因特网或其他网络系统(诸如有线局域网(LAN)或广域网(WAN))。计算设备1500的处理单元1502还可以通过相应的通信链路1580、1582、1584，经由适当的无线收发器设备1532(例如WiFi收发器、蓝牙模块、适用于全球移动通信系统(GSM)的移动电信收发器、3G、3.5G、4G电信系统等)而连接到一个或多个启用外部无线通信的电子设备1534(以下称为“移动设备”)或服务器1550。。
图1的远程移动设备106可以是移动设备1534，其可以是例如智能电话、平板设备和其他手持设备。移动设备1534能够通过诸如有线网络、移动电信网络之类的其他通信网络进行通信，但是为了清楚起见，在图15中将它们省略。
移动设备1534可以包括多个单独的组件，包括但不限于微处理器1576、用于可执行指令1570的加载的存储器1548(例如，诸如RAM的易失性存储器)，所述可执行指令限定移动设备1534在处理器1576的控制下执行的功能。移动设备1534还包括网络模块1572，该网络模块1572允许移动设备634通过通信网络1512进行通信。用户接口1592被提供用于用户交互和控制，其可以是触摸面板显示器的形式并且可能存在键盘，因为这在许多智能电话和其他手持设备中也很普遍。移动设备1534还可以包括数据库1574。还应当理解，数据库1574可能不在移动设备1534本地。数据库1574可以是云数据库。移动设备1534也可以包括多个其他输入/输出(I/O)接口，但是它们可以用于与耳机或麦克风1594(VoIP应用所需的，例如在必要时用来在起重机操作的场所进行广播或寻求帮助)、订户识别模块(SIM)卡1596、闪存卡1598、基于USB的设备1599等，这些对于移动设备使用是已知的。
服务器装置1550、计算机1504和移动设备1534每个可以包括软件、一个或多个计算机程序和应用程序，例如用于诸如即时消息传递平台、音频/视频回放、互联网可访问性、用作操作系统、网络安全性、文件可访问性、数据库管理的一个或多个软件应用程序，它们通常是在台式机或便携式(移动)设备上配备的应用程序。软件、一个或多个计算机程序和应用程序可以编码在数据存储介质(诸如CD-ROM)上、在闪存载体上或在硬盘驱动器上而被提供给服务器装置1550、计算机1504和/或移动设备1534的用户，并使用例如配置为存储设备的数据库1530的对应数据存储介质驱动器来读取。也可以从网络612下载这样的软件、一个或多个计算机程序和应用程序。这些软件、一个或多个计算机程序和应用程序的指令可以在其执行中由相应的微处理器1556、处理器1518和微处理器1576(这些处理器/微处理器中的每一个也可以被称为“处理单元”)来读取和控制。可以使用相应的RAM 1558、1520和1548来实现程序数据的中间存储。
此外，可以并行而不是顺序地执行这些软件、一个或多个计算机程序和应用程序的一个或多个步骤。这些软件、一个或多个计算机程序和应用程序中的每一个可以被存储在本质上为非暂时性的任何机器或计算机可读介质上。该计算机可读介质可以包括诸如磁盘或光盘、存储器芯片之类的存储设备，或者适用于与通用计算机或移动设备相接口的其他存储设备。机器或计算机可读介质还可以包括诸如在因特网系统中例示的那些的硬连线介质，或者诸如在无线LAN(WLAN)系统中例示的那些的无线介质。这些软件、一个或多个计算机程序和应用程序在具有计算能力的通用计算机或移动设备上加载并执行时，实际上得到实施本文所述示例中的方法的步骤的装置，所述步骤例如生成用于调整起重机吊具的偏移值的计算/运算步骤。
作为总结，本公开的示例可以具有以下特征。
一种用于远程起重机控制的装置(例如，图1的104和106)，该装置包括：用于存储指令的存储器；以及处理单元(例如，图15的1518或1576)，其被配置为执行存储在存储器中的指令以控制所述装置：接收包括起重机吊具(例如，图3的312、图4的418、图6的612、图9的912、图11的1112和图13的1312)要降落在的位置的视图的一个或多个图像(例如，图3的302至308、图4的402至408、图6的602至608、图7的702至708、图8的802至808、图9的902至908、图10的1002至1008、图11的1102至1108、图12的1202至1208、图13的1302至1308、以及图14的1402至1408)；在显示器(例如，图1的104和106的显示器)上显示所述一个或多个图像；接收用于在一个或多个接收到的图像上标记一个或多个标记(例如，图4的410和420、图8的812、图10的1010和1012、图12的1210和1212、以及图14的1014和1412)以便于起重机吊具的降落的用户输入，；以及将一个或多个接收到的图像中的一个或多个标记的位置数据传送到处理器(例如，远程个人计算机104、远程移动设备106、图像处理个人计算机112和/或起重机控制器122的处理器或处理单元)，以用于确定限定起重机吊具相对于该一个或多个标记的位置数据的定位要偏移的值，以使得起重机吊具基于所确定的值进行降落。
可以由安装在起重机吊具上的至少一个成像设备(例如，图1的114至120)来捕获一个或多个图像，并且所述至少一个成像设备被配置为在距起重机吊具下方的最靠近至少一个成像相机的表面(例如，另一个集装箱的顶部、地面或拖车的顶部)的预定距离处捕获一个或多个图像。
可以进一步控制该装置以显示一个或多个图像中的至少一个边界(例如，图6的610、618和620、图9的910、918和920、图11的1110、1118和1120、以及图13的1310、1318和1320)，以建议用户应该在该至少一个边界中的地方进行标记。
可以进一步控制该装置以显示在该至少一个边界(例如，图8中的618)内的边界(例如，图8中的814)，以建议用户应该在该至少一个边界内的边界中的地方进行标记。
如果未在边界内标记一个或多个标记，则可以执行通知用户的动作(例如，错误通知)。
一个或多个图像中的每一个可以是静态图像。
起重机吊具(例如，图3的312、图4的418和图6的612)可以降落并接合集装箱(例如，图3的316、图4的416和图6的616)以将集装箱提升起来，并且在一个或多个图像中存在的集装箱的一个或多个角铸件(例如，图3的318和320、以及图4的412和422)的位置上或附近标记一个或多个标记(例如，图4的410和420、以及图8的812)。
起重机吊具(例如，图11的1112)可以承载集装箱(例如，图11的1116)，并且可以将所承载的集装箱降落在第二集装箱(例如，图11的1122)上，并且在一个或多个图像(例如，图11的1102至1108和图12的1202至1208)中存在的第二集装箱的一个或多个角铸件(例如，图12的1214和1224)的位置上或附近标记一个或多个标记(例如，图12的1210和1212)。
起重机吊具(例如，图9的912)可以承载集装箱(例如，图9的916)，并且可以将所承载的集装箱降落在地面(例如，图9的914)上该位置处，所述地面包括地面标记(例如，图9的922或924)，并且在一个或多个图像(例如，图9的902至908、以及图10的1002至1008)中存在的地面标记上或附近标记一个或多个标记(例如，图10的1010和1012)。
起重机吊具(例如，图13的1312)可以承载集装箱(例如，图13的1316)，并且可以将所承载的集装箱降落在拖车(例如，图13的1326)上，并且在一个或多个图像(例如，图13的1302至1308、以及图14的1402至1408)中存在的拖车的降落引导(例如，图13的1322或1324)的位置上或附近标记一个或多个标记(例如，图14的1410和1412)。
可以标记两个标记(例如，图4的410和420、图10的1010和1012、以及图14的1410和1412)，并且这两个标记与起重机吊具将要降落至的集装箱放置区或集装箱的较长边的相对端相对应。
可以标记两个标记(例如，图12的1210和1212)，并且这两个标记与起重机吊具要降落至的集装箱的位于对角线上的相对端相对应。
确定限定起重机吊具相对于一个或多个标记中的两个标记的位置数据的定位要偏移的值可以包括控制所述装置以：
绘制与第一图像中的第一标记的位置数据和第二图像中的第二标记的位置数据相交的第一线(例如，图5的T1-T2)，
确定第一线的中心(例如，图5的504)，
当分别捕获第一图像和第二图像时，基于起重机吊具的定向的预定数据来绘制第二线(例如，图5的A1-A2)，
确定第二线的中心(例如，图5的502)，
沿着平行于第二线的第一轴(例如，图5中表示为Y轴)确定第二线的中心离第一线的中心的第一偏移距离(例如，图5的y)，
沿着垂直于第一轴的第二轴(例如，图5中表示为X轴)确定第二线的中心离第一线的中心的第二偏移距离(例如，图5的x)，并确定第一线和第二线之间的角度(例如，图5的S)，
其中，第一偏移距离、第二偏移距离和角度的值被确定为限定起重机吊具相对于一个或多个标记中的两个标记的位置数据的定位要偏移的值。
所述装置可以进一步被控制为：接收重新捕获另一图像的请求的用户输入并传送用于重新捕获的请求；接收并显示重新捕获的图像；以及接收在重新捕获的图像上标记一个或多个标记的用户输入。
一种用于远程起重机控制的方法，该方法包括：接收包括起重机吊具(例如，图3的312、图4的418、图6的612、图9的912、图11的1112和图13的1312)要降落至的位置的视图的一个或多个图像(例如，图3的302至308、图4的402至408、图6的602至608、图7的702至708、图8的802至808、图9的902至908、图10的1002至1008、图11的1102至1108、图12的1202至1208、图13的1302至1308、以及图14的1402至1408)；在显示器上显示所述一个或多个图像；接收在一个或多个接收到的图像上标记一个或多个标记(例如，图4的410和420、图8的812、图10的1010和1012、图12的1210和1212、以及图14的1014和1412)以便于起重机吊具的降落的用户输入；以及将一个或多个接收到的图像中的一个或多个标记的位置数据传送到处理器(例如，远程个人计算机104、远程移动设备106、图像处理个人计算机112和/或起重机控制器122的处理器或处理单元)，以用于确定限定起重机吊具相对于一个或多个标记的位置数据的定位要偏移的值，以使得起重机吊具基于所确定的值进行降落。
参考图16，通过以下方法步骤进一步阐述本发明的方法。
在步骤1602，起重机自动对准到要执行的集装箱作业(起重机操作)的对应箱位。
在步骤1604，起重机模块(例如，由图1的图像处理个人计算机112控制并与图1的起重机控制器122协同工作的模块)拍摄作为作业的位置的堆场的一个或多个快照，并将一个或多个快照的图像发送到远程起重机操作员的个人计算机。
在步骤1606，远程操作员分析一个或多个图像并且取决于集装箱的作业，在一个或多个图像上的例如要被拾取的集装箱的拐角、地面标记的拐角、或拖车的降落导引中的拐角、被拾取的集装箱将要降落至的集装箱的拐角处进行标记。用户标记的信息被发送回起重机模块。
在步骤1608，起重机模块计算位移和偏移(即偏移值)，并自动指示将起重机的起重机吊具移动到其预期的地点/位置，以取决于集装箱的作业而降落起重机吊具来拾取集装箱或降落承载集装箱的起重机吊具。
如果在步骤1608处的作业是起重机吊具拾取并提升集装箱以将其移动到例如拖车，则在步骤1610起重机模块拍摄拖车的另一个或多个快照并将对应的一个或多个图像发送给远程操作员的个人计算机。
在步骤1612，远程操作员分析一个或多个图像并且在集装箱要被降落至的拖车的拐角处进行标记。用户标记的信息被发送回起重机模块。
在步骤1614，起重机模块计算位移和偏移(即，偏移值)，并自动指示起重机吊具将集装箱下降到拖车上的其预期位置。此后，集装箱作业视为完成。
应当理解，尽管期望使起重机控制完全自动化并且完全依赖于计算机/机器，但是如本公开的背景技术部分中所解释的，存在一些缺点。本公开中描述的装置及其示例后退一步，以允许人工操作员进行一些控制，并大大简化了操作员的起重机控制作业。此外，通过允许人工操作员进行一些控制，解决了当前机器无法考虑或无法完全考虑在起重机现场附近工作的人员的安全性。然而，通过计算机/机器对可能容易发生人为错误的区域提供帮助，诸如计算机/机器生成的包围所建议的起重机操作员应该标记的区域/区的边界。另外，可以避免全自动起重机控制系统的高设置和设备成本以及高维护成本。
本领域技术人员在理解了上述公开内容连同附图后可以对用于远程起重机控制的装置和方法做出许多修改和其他示例。因此，应当理解的是，用于远程起重机控制的装置和方法不仅限于在此包含的以上描述，并且可能的修改将被包括在本公开的权利要求中。如果技术人员认为是合适并适当的，则在附图中的任何一个示例中发现的任何特征也可以应用于另一附图中的示例。

Claims (15)

1.一种用于远程集装箱起重机控制的装置，该装置包括：
用于存储指令的存储器；以及
处理单元，其被配置为执行存储在存储器中的指令以控制所述装置：
接收包括集装箱起重机吊具要降落至的位置的视图的一个或多个图像；
在显示器上显示所述一个或多个图像；
接收用于在一个或多个接收到的图像上标记一个或多个标记以便于所述集装箱起重机吊具的降落的用户输入；以及
将一个或多个接收到的图像中的所述一个或多个标记的位置数据传送到处理器，以用于确定限定所述集装箱起重机吊具相对于所述一个或多个标记的位置数据的定位要偏移的值，以使得所述集装箱起重机吊具基于所确定的值进行降落，
其中，在所述集装箱起重机吊具要降落并接合集装箱以将所述集装箱提升的情况下，将标记所述一个或多个标记中的两个标记，其中第一标记将标记在所述集装箱的第一角铸件的拐角处，并且第二标记将标记在所述集装箱的第二角铸件的拐角处，或者
其中在所述集装箱起重机吊具承载集装箱并且要将所承载的集装箱降落在第二集装箱上的情况下，将标记所述一个或多个标记中的两个标记，其中第一标记将标记在所述第二集装箱的第一角铸件的拐角处，并且第二标记将标记在所述第二集装箱的第二角铸件的拐角处。
2.根据权利要求1所述的装置，其中，由安装在所述集装箱起重机吊具上的至少一个成像设备来捕获所述一个或多个图像，并且所述至少一个成像设备被配置为在距所述集装箱起重机吊具下方的最靠近所述至少一个成像设备的表面的预定距离处捕获所述一个或多个图像。
3.根据权利要求1或2所述的装置，所述装置被进一步控制为：
在所述一个或多个图像中显示至少一个边界，以建议用户应该在所述至少一个边界内的地方进行标记。
4.根据权利要求3所述的装置，所述装置被进一步控制为：
显示在所述至少一个边界内的边界，以建议用户应该在所述至少一个边界内的边界内的地方进行标记。
5.根据权利要求3所述的装置，其中
如果一个或多个标记未被标记在所述边界内，则执行通知用户的动作。
6.根据权利要求1或2所述的装置，其中，所述一个或多个图像中的每一个是静态图像。
7.根据权利要求1或2所述的装置，其中，在所述集装箱起重机吊具要降落并接合集装箱以将所述集装箱提升的情况下，或者在所述集装箱起重机吊具承载集装箱并且要将所承载的集装箱降落在第二集装箱上的情况下，将由用户标记仅所述两个标记。
8.根据权利要求1或2所述的装置，其中，将由所述第一标记和所述第二标记来标记的拐角是离所述集装箱或所述第二集装箱的中心点最远的尖端边缘。
9.根据权利要求1或2所述的装置，其中，所述集装箱起重机吊具承载集装箱，并且要将所承载的集装箱降落在地面上所述位置处，所述地面包括地面标记，并且一个或多个标记被标记在所述一个或多个图像中存在的地面标记上或附近。
10.根据权利要求1或2所述的装置，其中，所述集装箱起重机吊具承载集装箱，并且要将所承载的集装箱降落在拖车上，并且一个或多个标记被标记在所述一个或多个图像中存在的所述拖车的降落引导的位置上或附近。
11.根据权利要求1或2所述的装置，其中，所述两个标记与所述集装箱起重机吊具将要降落至的集装箱放置区或集装箱的较长边的相对端相对应。
12.根据权利要求1或2所述的装置，其中，所述两个标记与所述集装箱起重机吊具要降落至的集装箱的位于对角线上的相对端相对应。
13.根据权利要求1或2所述的装置，其中，确定限定所述集装箱起重机吊具相对于所述两个标记的位置数据的定位要偏移的值包括控制所述装置：
绘制与第一图像中的第一标记的位置数据和第二图像中的第二标记的位置数据相交的第一线，
确定所述第一线的中心，
当分别捕获所述第一图像和所述第二图像时，基于所述集装箱起重机吊具的定向的预定数据来绘制第二线，
确定所述第二线的中心，
沿着平行于所述第二线的第一轴确定所述第二线的中心离所述第一线的中心的第一偏移距离，
沿着垂直于所述第一轴的第二轴确定所述第二线的中心离所述第一线的中心的第二偏移距离，以及
确定所述第一线和所述第二线之间的角度，
其中，所述第一偏移距离、所述第二偏移距离和所述角度的值被确定为限定所述集装箱起重机吊具相对于所述两个标记的位置数据的定位要偏移的值。
14.根据权利要求1或2所述的装置，其中，所述装置进一步被控制为：
接收重新捕获另一图像的请求的用户输入并传送用于重新捕获的所述请求；
接收并显示重新捕获的图像；以及
接收在重新捕获的图像上标记所述一个或多个标记的用户输入。
15.一种用于远程集装箱起重机控制的方法，所述方法包括：
接收包括集装箱起重机吊具要降落至的位置的视图的一个或多个图像；
在显示器上显示所述一个或多个图像；
接收用于在一个或多个接收到的图像上标记一个或多个标记以便于所述集装箱起重机吊具的降落的用户输入；以及
将一个或多个接收到的图像中的所述一个或多个标记的位置数据传送到处理器，以用于确定限定所述集装箱起重机吊具相对于所述一个或多个标记的位置数据的定位要偏移的值，以使得所述集装箱起重机吊具基于所确定的值进行降落，
其中，在所述集装箱起重机吊具要降落并接合集装箱以将所述集装箱提升的情况下，将标记所述一个或多个标记中的两个标记，其中第一标记将标记在所述集装箱的第一角铸件的拐角处，并且第二标记将标记在所述集装箱的第二角铸件的拐角处，或者
其中在所述集装箱起重机吊具承载集装箱并且要将所承载的集装箱降落在第二集装箱上的情况下，将标记所述一个或多个标记中的两个标记，其中第一标记将标记在所述第二集装箱的第一角铸件的拐角处，并且第二标记将标记在所述第二集装箱的第二角铸件的拐角处。
CN201780092931.0A 2017-07-04 2017-07-04 用于远程起重机控制的装置和方法 Active CN110869306B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SG2017/050338 WO2019009800A1 (en) 2017-07-04 2017-07-04 APPARATUS AND METHOD FOR REMOTELY CRANE CONTROL

Publications (2)

Publication Number Publication Date
CN110869306A CN110869306A (zh) 2020-03-06
CN110869306B true CN110869306B (zh) 2022-05-24

Family

ID=64950257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780092931.0A Active CN110869306B (zh) 2017-07-04 2017-07-04 用于远程起重机控制的装置和方法

Country Status (7)

Country Link
US (1) US11459214B2 (zh)
EP (1) EP3649073A4 (zh)
KR (1) KR102368152B1 (zh)
CN (1) CN110869306B (zh)
AR (1) AR112179A1 (zh)
CA (1) CA3066891A1 (zh)
WO (1) WO2019009800A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111302226B (zh) * 2020-05-11 2020-08-25 上海驭矩信息科技有限公司 基于专家系统的集装箱自动着箱装置及其控制方法
DE102020208109A1 (de) 2020-06-30 2021-12-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Steuerung eines Fördermittels zur Aufnahme eines Containers
CN112623944A (zh) * 2021-01-05 2021-04-09 中铁大桥局集团第五工程有限公司 钢梁吊装过程中吊具和钢梁姿态自动监测系统及方法
CN113184707B (zh) * 2021-01-15 2023-06-02 福建电子口岸股份有限公司 一种基于激光视觉融合和深度学习的集卡防吊起方法、系统
US11943840B2 (en) * 2021-03-12 2024-03-26 Cattron North America, Inc. Associating diverse Bluetooth devices
US20220371867A1 (en) * 2021-05-20 2022-11-24 Crown Equipment Corporation Truck-tablet interface
CN113044736B (zh) * 2021-06-01 2021-08-13 新乡职业技术学院 一种具有吊索稳定控制的起重机
CN113433873A (zh) * 2021-07-21 2021-09-24 合肥市春华起重机械有限公司 一种基于5g网络的随车起重机远程控制系统
KR102685430B1 (ko) * 2021-11-25 2024-07-17 (주)토탈소프트뱅크 항만 장비 원격 운영 플랫폼 및 방법
US12043524B2 (en) 2022-03-04 2024-07-23 Tnt Crane & Rigging, Inc. Remotely operated crane control system
WO2023167711A1 (en) * 2022-03-04 2023-09-07 Tnt Crane & Rigging, Inc. Remotely operated crane control system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB731436A (en) 1952-06-05 1955-06-08 Emi Ltd Improvements in or relating to electron discharge devices employing hollow resonators
JP4598999B2 (ja) * 2001-07-18 2010-12-15 三菱重工業株式会社 クレーン及びクレーンの制御方法
SE513174C2 (sv) * 1998-10-22 2000-07-24 Abb Ab Förfarande för hantering av containrar samt anordning för utförande av förfarandet
AU2000270485A1 (en) 2000-08-16 2002-02-25 Psa Corporation Limited Remote container handling system
JP2002241078A (ja) 2001-02-09 2002-08-28 Mitsubishi Heavy Ind Ltd コンテナクレーンの着床目標設定装置
DE10136398A1 (de) * 2001-07-26 2003-03-06 Siemens Ag Betriebsverfahren für einen Containerkran und hierfür bestimmte Komponenten
DE10212590A1 (de) * 2002-03-15 2003-10-09 Demag Mobile Cranes Gmbh Optische Einrichtung zur automatischen Be- und Entladung von Containern auf Fahrzeugen
US6875552B2 (en) 2002-08-09 2005-04-05 Micron Technology, Inc. Photoresist composition and method of making
DE10251910B4 (de) * 2002-11-07 2013-03-14 Siemens Aktiengesellschaft Containerkran
KR101141591B1 (ko) * 2009-08-12 2012-05-17 한국과학기술원 크레인용 스프레더의 자동랜딩, 위치이동, 체결장치 및 방법
JP6121670B2 (ja) 2012-09-05 2017-04-26 株式会社タダノ 作業計画確認装置
FI125689B (fi) 2012-10-02 2016-01-15 Konecranes Global Oy Kuorman käsitteleminen kuormankäsittelylaitteella
CN102923578A (zh) * 2012-11-13 2013-02-13 扬州华泰特种设备有限公司 集装箱起重机高效装卸作业自动控制系统
KR101699672B1 (ko) * 2013-08-12 2017-01-24 에이비비 테크놀로지 리미티드 컨테이너 크레인을 사용하여 랜딩 타깃 상에 컨테이너들을 자동적으로 랜딩하기 위한 방법 및 시스템
ES2627498T3 (es) 2014-09-24 2017-07-28 Siemens Aktiengesellschaft Método para la determinación óptica, automática, de una posición objetivo para un dispositivo de elevación de contenedores
JP6520273B2 (ja) 2015-03-20 2019-05-29 株式会社タダノ クレーン作業支援システム
DE102015016848A1 (de) * 2015-12-23 2017-06-29 Liebherr-Werk Biberach Gmbh System zur zentralen Steuerung von ein oder mehreren Kranen
CN206266099U (zh) * 2016-12-15 2017-06-20 青岛前湾集装箱码头有限责任公司 桥式起重机下集装箱拖车的视频定位装置
CN106629399A (zh) * 2016-12-23 2017-05-10 上海电机学院 一种集装箱对箱引导系统
JP6838782B2 (ja) * 2017-05-30 2021-03-03 株式会社三井Ｅ＆Ｓマシナリー コンテナクレーンの制御システム及びコンテナクレーンの制御方法

Also Published As

Publication number Publication date
EP3649073A1 (en) 2020-05-13
EP3649073A4 (en) 2021-03-10
US11459214B2 (en) 2022-10-04
CN110869306A (zh) 2020-03-06
AR112179A1 (es) 2019-09-25
WO2019009800A1 (en) 2019-01-10
KR20200016342A (ko) 2020-02-14
CA3066891A1 (en) 2019-01-10
KR102368152B1 (ko) 2022-02-28
US20200115195A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
CN110869306B (zh) 用于远程起重机控制的装置和方法
WO2021208273A1 (zh) 用于识别状态参数的系统、吊装定位系统及吊装设备
CN103332597B (zh) 一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法
JP6838782B2 (ja) コンテナクレーンの制御システム及びコンテナクレーンの制御方法
CN206188241U (zh) 一种新型集装箱码头rtg远程操控系统
US9776838B2 (en) Crane motion control
CN212425180U (zh) 吊装信息识别系统、吊装定位系统及吊装设备
US11292699B2 (en) Remote operation terminal and work vehicle provided with remote operation terminal
KR20160013271A (ko) 컨테이너 크레인을 사용하여 랜딩 타깃 상에 컨테이너들을 자동적으로 랜딩하기 위한 방법 및 시스템
US11926511B2 (en) Remote operation terminal and mobile crane provided with remote operation terminal
CN111801293B (zh) 远程操作终端及具备远程操作终端的作业车辆
CN205397910U (zh) 一种基于机器视觉的起重机大车方向精确定位装置
CN102616657A (zh) 板坯库吊车自动吊运卡车坯出入库的方法
KR20240007160A (ko) 크레인 오퍼레이터를 지원하기 위한 시스템 및 방법
CN108892042B (zh) 一种钢水包耳轴吊装对位识别装置及方法
US12054361B2 (en) Method, computer program and equipment for controlling crane and method for updating crane
KR20150110884A (ko) 크레인
CN116142981A (zh) 吊装作业人员预警方法、装置、系统及吊装设备
JP2016193778A (ja) クレーンの運転支援方法及びクレーンの運転支援装置
JP7063516B2 (ja) クレーンの操作支援システムおよび操作支援方法
JP6927594B2 (ja) クレーンの運転支援システム及び運転支援方法
CN116924244A (zh) 起重机作业方法、起重机控制系统及集装箱起重机
CN113614668A (zh) 无人搬运车的操作系统
KR20070107366A (ko) 컨테이너 전용부두의 야드트렉터 정차유도 장치 및 방법
CN116216526A (zh) 用于起重机械的集装箱自动着箱系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant