ES2865179T3 - Cargar un contenedor en un objetivo de depósito - Google Patents
Cargar un contenedor en un objetivo de depósito Download PDFInfo
- Publication number
- ES2865179T3 ES2865179T3 ES17176830T ES17176830T ES2865179T3 ES 2865179 T3 ES2865179 T3 ES 2865179T3 ES 17176830 T ES17176830 T ES 17176830T ES 17176830 T ES17176830 T ES 17176830T ES 2865179 T3 ES2865179 T3 ES 2865179T3
- Authority
- ES
- Spain
- Prior art keywords
- container
- target
- control system
- deposit
- deposit target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C1/00—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles
- B66C1/10—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles by mechanical means
- B66C1/101—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles by mechanical means for containers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C19/00—Cranes comprising trolleys or crabs running on fixed or movable bridges or gantries
- B66C19/002—Container cranes
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Control And Safety Of Cranes (AREA)
Abstract
Un método para cargar un contenedor en un objetivo (59) de depósito en un vehículo terrestre utilizando una grúa para contenedores que comprende un carro (53) y un sistema de elevación desplegable (55) para sostener y levantar el contenedor, realizándose el método en un sistema (1) de control de grúa para contenedores y comprendiendo la etapa de: obtener (40) imágenes bidimensionales del objetivo (59) de depósito a partir de un primer par de cámaras dispuestas en el sistema de elevación desplegable (55), caracterizado por que el método comprende además las etapas de: realizar (42) extracción de características basándose en las imágenes bidimensionales para identificar características clave del objetivo (59) de depósito; generar (44) una nube de puntos basada en la extracción de características, en la que cada punto en la nube de puntos contiene coordenadas en tres dimensiones; y controlar (46) el movimiento del contenedor al objetivo (59) de depósito basándose en la nube de puntos y las características clave identificadas del objetivo (59) de depósito.
Description
DESCRIPCIÓN
Cargar un contenedor en un objetivo de depósito
CAMPO TÉCNICO
La invención se refiere a un método, un sistema de control de grúa para contenedores, un programa informático y un producto de programa informático para cargar un contenedor en un objetivo de depósito.
ANTECEDENTES
Las grúas para contenedores se utilizan para manipular contenedores de carga, para transferir contenedores entre modos de transporte en terminales de contenedores, puertos de carga y similares. Los contenedores de envío estándar se utilizan para transportar un gran y creciente volumen de carga en todo el mundo. El transporte es una función fundamental en la manipulación de mercancías. El transporte puede ocurrir en cada punto de transferencia y habitualmente hay una gran cantidad de contenedores que deben descargarse, transferirse a una pila temporal y luego cargarse en otro barco, o volver al mismo barco o cargarse en otra forma de transporte, tal como un vehículo de carretera o un tren.
Tradicionalmente, las grúas para contenedores se han controlado en una cabina del operador montada en la grúa para contenedores. Sin embargo, recientemente, las grúas para contenedores se han vuelto controladas a distancia e incluso completamente automatizadas. Esto reduce o elimina la necesidad de que los operadores de grúas estén expuestos a inconvenientes, peligros e incluso lesiones.
El documento WO 2015/022001 muestra el preámbulo de la reivindicación 1 y describe un método para depositar automáticamente un contenedor en un objetivo de depósito utilizando una grúa para contenedores. La grúa para contenedores comprende un carro y un sistema de elevación desplegable para sujetar y levantar el contenedor y un sistema de control de grúa para controlar los movimientos de dicha grúa para contenedores. Se mide la distancia desde el contenedor al objetivo de depósito y el contenedor se mueve hacia el objetivo de depósito dependiendo de la distancia medida. Se obtienen una pluralidad de imágenes del objetivo de depósito utilizando al menos una cámara montada en el sistema de elevación desplegable. Las imágenes se procesan para identificar una o más características de depósito en las imágenes del objetivo de depósito. Las distancias desde el contenedor al objetivo de depósito se calculan en base a una medida de distancia entre el contenedor y las características de depósito en las imágenes.
El documento US 2015/070387 describe el modelado estructural utilizando sensores de profundidad. Cualquier mejora en la identificación del objetivo de depósito es de gran valor.
RESUMEN
Es un objeto mejorar la identificación de un objetivo de depósito para cargar un contenedor.
De acuerdo con un primer aspecto, se proporciona un método para cargar un contenedor en un objetivo de depósito en un vehículo terrestre utilizando una grúa para contenedores que comprende un carro y un sistema de elevación desplegable para sostener y levantar el contenedor. El método se realiza en un sistema de control de grúa para contenedores y comprende las etapas de: obtener imágenes bidimensionales del objetivo de depósito a partir de un primer par de cámaras dispuestas en el sistema de elevación desplegable; realizar una extracción de características basada en las imágenes bidimensionales para identificar las características clave del objetivo de depósito; generar una nube de puntos basada en la extracción de características, en la que cada punto en la nube de puntos contiene coordenadas en tres dimensiones; y controlar el movimiento del contenedor al objetivo de depósito basándose en la nube de puntos y las características clave identificadas del objetivo de depósito.
Las características clave pueden comprender esquinas del objetivo de depósito. Las características clave pueden incluir cierres de giro del objetivo de depósito. Las características clave pueden comprender una o más de un cuello de cisne de un chasis, una estructura de guía, una viga principal y una vigueta.
El objetivo de depósito puede estar situado más alto que las superficies circundantes.
La etapa de obtener imágenes bidimensionales también comprende la obtención de imágenes bidimensionales del objetivo de depósito a partir de un segundo par de cámaras dispuestas en el sistema de elevación desplegable. En tal caso, la etapa de realizar la extracción de características se basa también en una imagen bidimensional de al menos una cámara del segundo par.
El primer par de cámaras y el segundo par de cámaras se pueden disponer a lo largo del mismo lado del sistema de elevación desplegable.
El método puede comprender además la etapa de: detectar la orientación del objetivo de depósito basándose en líneas en las imágenes bidimensionales. En tal caso, la etapa de controlar el movimiento también se basa en la orientación del objetivo de depósito.
La etapa de realizar la extracción de características se puede basar en la transformación de características invariantes de escala, SIFT.
La etapa de generar una nube de puntos también se puede basar en la coincidencia de imágenes estéreo basadas en las imágenes bidimensionales.
El método puede comprender además la etapa de: obtener datos de profundidad adicionales de un dispositivo de detección de profundidad. En tal caso, la etapa de generar una nube de puntos también se basa en los datos de profundidad adicionales.
De acuerdo con un segundo aspecto, se proporciona un sistema de control de grúa para contenedores para cargar un contenedor en un objetivo de depósito en un vehículo terrestre utilizando una grúa para contenedores que comprende un carro y un sistema de elevación desplegable para sostener y levantar el contenedor. El sistema de control de grúa para contenedores comprende: un procesador; y una memoria que almacena instrucciones que, cuando son ejecutadas por el procesador, hacen que el sistema de control de grúa para contenedores: obtenga imágenes bidimensionales del objetivo de depósito a partir de un primer par de cámaras dispuestas en el sistema de elevación desplegable; realice una extracción de características basada en las imágenes bidimensionales para identificar las características clave del objetivo de depósito; genere una nube de puntos basada en la extracción de características, en la que cada punto en la nube de puntos contiene coordenadas en tres dimensiones; y controle el movimiento del contenedor al objetivo de depósito basándose en la nube de puntos y las características clave identificadas del objetivo de depósito.
El objetivo de depósito puede estar situado más alto que las superficies circundantes.
Las instrucciones para obtener imágenes bidimensionales pueden comprender instrucciones que, cuando son ejecutadas por el procesador, hacen que el sistema de control de grúa para contenedores obtenga imágenes bidimensionales del objetivo de depósito a partir de un segundo par de cámaras dispuestas en el sistema de elevación desplegable, y en donde las instrucciones para realizar la extracción de características comprenden instrucciones que, cuando son ejecutadas por el procesador, hacen que el sistema de control de grúa para contenedores realice la extracción de características también en una imagen bidimensional de al menos una cámara del segundo par.
El primer par de cámaras y el segundo par de cámaras se pueden disponer a lo largo del mismo lado del sistema de elevación desplegable.
De acuerdo con un tercer aspecto, se proporciona un programa informático para cargar un contenedor en un objetivo de depósito en un vehículo terrestre utilizando una grúa para contenedores que comprende un carro y un sistema de elevación desplegable para sostener y levantar el contenedor. El programa informático comprende un código de programa informático que, cuando se ejecuta en un sistema de control de grúa para contenedores, hace que el sistema de control de grúa para contenedores: obtenga imágenes bidimensionales del objetivo de depósito a partir de un primer par de cámaras dispuestas en el sistema de elevación desplegable; realice una extracción de características basada en las imágenes bidimensionales para identificar características clave del objetivo de depósito; genere una nube de puntos basada en la extracción de características, en donde cada punto en la nube de puntos contiene coordenadas en tres dimensiones; y controle el movimiento del contenedor al objetivo de depósito basándose en la nube de puntos y las características clave identificadas del objetivo de depósito.
De acuerdo con un cuarto aspecto, se proporciona un producto de programa informático que comprende un programa informático de acuerdo con el tercer aspecto y un medio legible por ordenador en el que se almacena el programa informático.
Generalmente, todos los términos utilizados en las reivindicaciones han de interpretarse de acuerdo con su significado ordinario en el campo técnico, a menos que se defina explícitamente lo contrario en este documento. Todas las referencias a "un/el elemento, aparato, componente, medio, etapa, etc." han de interpretarse abiertamente como una referencia a al menos una instancia del elemento, aparato, componente, medio, etapa, etc., a menos que se indique explícitamente lo contrario. Las etapas de cualquier método descrito en este documento no tienen que realizarse en el orden exacto descrito, a menos que se indique explícitamente.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
La invención se describe ahora, a modo de ejemplo, con referencia a los dibujos adjuntos, en los que:
La Fig. 1 es un diagrama esquemático que ilustra un entorno de grúa para contenedores en el que se pueden aplicar las realizaciones presentadas en este documento;
La Fig. 2 es un diagrama esquemático que ilustra el objetivo de depósito y el vehículo terrestre de la Fig. 1 con más detalle de acuerdo con una realización.
La Fig. 3 es un diagrama esquemático que ilustra una vista desde arriba del objetivo de depósito de la Fig. 2 de acuerdo con una realización.
La Fig.4 es un diagrama esquemático que ilustra una vista desde abajo del sistema de elevación desplegable de la Fig. 1 de acuerdo con una realización;
La Fig.6 es un diagrama de flujo que ilustra un método para cargar un contenedor en un objetivo de depósito en un vehículo terrestre utilizando una grúa para contenedores que comprende un carro y un sistema de elevación desplegable para sostener y levantar el contenedor;
La Fig. 7 es un diagrama esquemático que ilustra los componentes del sistema de control de grúa para contenedores de la Fig. 1; y
La Fig. 8 muestra un ejemplo de un producto de programa informático que comprende medios legibles por ordenador.
DESCRIPCIÓN DETALLADA
La invención se describirá ahora con más detalle a continuación con referencia a los dibujos adjuntos, en los que se muestran ciertas realizaciones de la invención. Sin embargo, esta invención se puede realizar de muchas formas diferentes y no debería interpretarse como limitada a las realizaciones expuestas en este documento; más bien, estas realizaciones se proporcionan a modo de ejemplo de tal manera que esta descripción sea rigurosa y completa, y transmita completamente el alcance de la invención a los expertos en la técnica. Los números similares se refieren a elementos similares a lo largo de la descripción.
Las realizaciones que se presentan en este documento se basan en la identificación de características clave de un objetivo de depósito a partir de varias imágenes bidimensionales utilizando extracción de características y coincidencia estéreo. Alternativamente, se podría utilizar cualquier otro tipo de sensor de mapeo 3D, tal como Lidar, cámaras de tiempo de vuelo, etc. Las características clave pueden, p. ej., ser esquinas del objetivo de depósito, cierres de giro, etc. También se genera una nube de puntos con puntos en tres dimensiones para describir el objetivo de depósito y el entorno alrededor del objetivo de depósito para mejorar la capacidad de identificar el objetivo de depósito. Al basar la identificación del objetivo de depósito en tres dimensiones, se logra una identificación más fiable, lo que permite continuar el funcionamiento también en condiciones de mala visibilidad.
La Fig. 1 es un diagrama esquemático que ilustra un entorno de grúa para contenedores en el que se pueden aplicar las realizaciones presentadas en este documento. La vista de la Fig. 1 es a lo largo de un plano x-y en un sistema de coordenadas Cartesiano.
Una grúa 51 para contenedores utiliza una serie de potentes motores eléctricos montados en un sistema de elevación desplegable 55 y en un carro 53 para impulsar partes móviles y retraer o extender cables para levantar o bajar el sistema de elevación desplegable 55. El sistema de elevación desplegable 55 puede sostener una carga 21 en forma de contenedor. También se utilizan motores eléctricos para impulsar los movimientos del carro 53 que sostiene el sistema de elevación desplegable 55, para levantar y transportar los contenedores fuera del barco y sobre un vehículo terrestre 23 o una pila, etc. La grúa 51 para contenedores se puede utilizar para cargar contenedores en un barco y/o para descargar contenedores de un barco a tierra o en un objetivo 59 de depósito en un vehículo terrestre 23, p. ej., un chasis de camión o un chasis de vagón de tren. También es posible mover contenedores de una posición en tierra a otro objetivo de depósito.
La anchura de los contenedores de transporte está estandarizada en 8 pies (2.436 m), pero la altura varía, típicamente entre 8 pies (2.436 m) y 9,5 pies (2.896 m). Las longitudes estándar más comunes son 20 pies (6.096 m) y 40 pies (12.192 m) de largo. El contenedor de 40 pies (12.192 m) es muy común hoy en día e incluso contenedores más largos de hasta 53 pies (16.154 m) de largo también están en uso. Las dimensiones estándar internacionales se basan en una serie de recomendaciones ISO hechas entre 1968 y 1970, y en particular una recomendación R1161 de enero de 1970, que hizo recomendaciones acerca de las dimensiones de los accesorios de esquina para contenedores estándar. Las distancias entre los accesorios de esquina en contenedores de transporte estándar están estandarizadas de acuerdo con las recomendaciones ISO. Los accesorios de esquina, también conocidos como piezas de fundición de esquina, incluyen aberturas estándar para que un contenedor pueda ser recogido insertando un gancho del sistema de elevación desplegable 55 en cada uno de los cuatro accesorios de esquina en la parte superior del contenedor 21. El tamaño y la forma de las aberturas de forma ovalada se definen en otra norma, ISO 1161 de 1984. El mismo tipo de accesorios de esquina, p. ej., los que se encuentran en la parte inferior de un contenedor, se pueden utilizar para bloquear un contenedor en su sitio en una posición (p. ej., en una bodega o en cubierta) a bordo de un barco, en un vagón o en un chasis.
Por tanto, el sistema de elevación desplegable 55 se utiliza para agarrar el recipiente 21, p. ej., utilizando cierres de giro para aplicar con la abertura de tamaño estándar en los accesorios de esquina en el contenedor, para levantarlo, bajarlo y
soltarlo. En esta descripción, el término sistema de elevación desplegable 55 se utiliza para indicar una parte de un dispositivo de elevación que está en contacto directo con un contenedor 21. Los sistemas de elevación desplegables 55 normalmente están diseñados para manipular más de un tamaño de contenedor, típicamente contenedores de 20-40 pies (6.096-12.192 m) o 20-40-45 pies (6.096-12.192-13.716 m) de largo. Algunos sistemas de elevación desplegables 55 pueden en cualquier momento levantar y manipular uno solo de 40 pies (12.192 m) o un contenedor de 45 pies (13.716 m) 0 dos contenedores de 20 pies (6.096 m). Algunos sistemas de elevación desplegables 55 son de uso ajustable de modo que el mismo sistema de elevación desplegable 55 se pueda utilizar para levantar un contenedor de 20 pies (6.096 m), o dos de 20 pies (6.096 m) contenedores a la vez ajustando la longitud del sistema de elevación desplegable.
La grúa 51 para contenedores se puede utilizar así para levantar un contenedor 21 de un barco y depositarlo en un objetivo 59 de depósito, o viceversa. Alternativamente, la grúa 51 para contenedores se puede utilizar para transferir el contenedor 21 entre el barco y el suelo o una pila de contenedores o cualquier otro movimiento de contenedor adecuado.
Se utiliza un sistema 1 de control de grúa para contenedores para controlar el funcionamiento de la grúa 51. Para permitir el control autónomo de la grúa 51, el sistema 1 de control de grúa para contenedores comprende varias cámaras (mostradas con más detalle en la Fig. 3 y explicadas a continuación) y/u otros dispositivos de mapeo de profundidad tales como Lidar, cámaras de tiempo de vuelo, etc. y un dispositivo 15 de control. Opcionalmente, la grúa para contenedores se puede controlar manualmente, p. ej., por un operador 5 que utiliza un terminal 12 de operador en una oficina 7.
El dispositivo 15 de control es cualquier dispositivo de control adecuado capaz de realizar operaciones lógicas y puede comprender cualquier combinación de una unidad de procesamiento central (CPU), unidad de procesamiento de gráficos (GPU), una unidad de microcontrolador (MCU), un circuito integrado específico de aplicación (ASIC), una matriz de puertas programables en campo (FPGA) y circuitos lógicos discretos, opcionalmente combinados con memoria persistente (p. ej., memoria de solo lectura, ROM).
La Fig. 2 es un diagrama esquemático que ilustra el objetivo 59 de depósito y el vehículo terrestre 23 de la Fig. 1 con más detalle. El objetivo 59 de depósito es una superficie superior o estructura superior del vehículo terrestre 23, que comprende cierres de giro para asegurar un contenedor. El vehículo terrestre 23 puede, p. ej., ser un chasis de camión o un chasis de vagón de tren. El objetivo 59 de depósito está aquí más alto que las superficies circundantes 20 (es decir, el suelo) a una cierta altura 25 de las superficies circundantes 20.
La Fig. 3 es un diagrama esquemático que ilustra una vista desde arriba del objetivo 59 de depósito de la Fig. 2. La vista es a lo largo de un plano z-x en el mismo sistema de coordenadas que en la Fig. 1. Por tanto, la vista de la Fig. 3 es desde arriba mientras que la vista de la Fig. 1 es desde la parte frontal (o la parte posterior). Las cuatro esquinas 31 a-d del objetivo 59 de depósito se pueden ver aquí. Además, el objetivo 59 de depósito comprende cuatro cierres 30a-d de giro, previstos respectivamente en las cuatro esquinas 31a-d. Los cierres de giro se utilizan para asegurar el contenedor en el objetivo 59 de depósito. Alternativamente, el objetivo de depósito puede tener menos de cuatro cierres giratorios, pero en su lugar se utilizan otras estructuras para mantener el contenedor en posición sobre el objetivo de depósito.
La Fig.4 es un diagrama esquemático que ilustra una vista desde abajo del sistema de elevación desplegable 55 de la Fig. 1 de acuerdo con una realización. Aquí se proporcionan ocho cámaras 32a-h para la identificación del objetivo de depósito, etc. Podría haber menos o más cámaras siempre que haya al menos dos cámaras. Alternativamente, podría haber una adición de otros dispositivos de mapeo de profundidad tales como Lidar, cámaras de tiempo de vuelo, etc.
Las cámaras se proporcionan por pares. Específicamente, un primer par 35a comprende la primera cámara 32a y la segunda cámara 32b. Un segundo par 35b comprende la tercera cámara 32c y la cuarta cámara 32d. Un tercer par 35c comprende la quinta cámara 32e y la sexta cámara 32f. Un cuarto par 35d comprende la séptima cámara 32g y la octava cámara 32h.
El término lado de extremo ha de interpretarse como uno de los lados más cortos del sistema de elevación desplegable. Por tanto, el primer par 35a de cámaras y el segundo par 35b de cámaras están previstas en un extremo del sistema de elevación desplegable 55, mientras que el tercer par 35c de cámaras y el cuarto par 35d de cámaras están previstas en el otro extremo del sistema de elevación desplegable 55.
La Fig. 5 es un diagrama esquemático que ilustra las líneas del objetivo 59 de depósito de la Fig. 1 con más detalle de acuerdo con una realización. El objetivo 59 de depósito puede comprender líneas, incluyendo líneas horizontales 37 y/o líneas verticales 38. Las líneas pueden formar parte de la estructura del objetivo 59 de depósito o del chasis subyacente, que están previstas predominantemente a lo largo (horizontalmente en la Fig. 5) o cruzando (verticalmente en la Fig.5) del objetivo 59 de depósito. Al analizar las líneas en las imágenes capturadas por las cámaras y en el mapa de profundidad del objetivo de depósito, el sistema de control de grúa para contenedores puede ajustar con precisión la alineación sesgada del contenedor cuando se coloca en el objetivo 59 de depósito.
La Fig.6 es un diagrama de flujo que ilustra un método para cargar un contenedor en un objetivo de depósito en un vehículo terrestre usando una grúa para contenedores que comprende un carro y un sistema de elevación desplegable para
sostener y levantar el contenedor. El método se realiza en el sistema de control de grúa para contenedores para el control automatizado de la grúa para contenedores.
En una etapa 40 de obtención de imágenes 2D, el sistema de control de grúa para contenedores obtiene imágenes bidimensionales del objetivo de depósito a partir de un primer par (p. ej., cualquiera de los pares 35a-d de la Fig. 4) de cámaras dispuestas en el sistema de elevación desplegable.
Opcionalmente, esto comprende obtener imágenes bidimensionales del objetivo de depósito a partir de un segundo par de cámaras dispuestas en el sistema de elevación desplegable. El primer par de cámaras y el segundo par de cámaras pueden estar dispuestos a lo largo del mismo lado de extremo del sistema de elevación desplegable. El término lado de extremo ha de interpretarse como uno de los lados más cortos del sistema de elevación desplegable.
En una etapa 42 de extracción de características, el sistema de control de grúa para contenedores realiza la extracción de características basándose en las imágenes bidimensionales para identificar características clave del objetivo de depósito. Las características clave pueden ser esquinas del objetivo de depósito. Alternativa o adicionalmente, las características clave pueden comprender cierres de giro del objetivo de depósito. Opcionalmente, se identifican otras características clave, p. ej., una o más de un cuello de cisne de un chasis, estructuras de guía, vigas principales, viguetas, etc. Cuando se extraen más características clave, esto aumenta la fiabilidad para la carga posterior del contenedor en el objetivo de depósito.
Como se muestra en la Fig. 2, el objetivo de depósito se puede situar más alto que las superficies circundantes, lo que simplifica la identificación del objetivo de depósito en la extracción de características, ya que se basa en al menos dos cámaras y, por lo tanto, da como resultado una dimensión de profundidad.
Cuando está disponible una imagen bidimensional de al menos una cámara del segundo par, también se utiliza en la extracción de características. La utilización de cámaras adicionales mejora la capacidad de identificar la dimensión de profundidad.
La extracción de características se basa en cualquier algoritmo adecuado, p. ej., transformación de característica invariante de escala (SIFT) o similar.
En una etapa 43 de obtención opcional de datos de profundidad adicionales, se obtienen datos de profundidad adicionales de un dispositivo de detección de profundidad. El dispositivo de detección de profundidad puede, p. ej., estar en forma de Lidar, cámaras de tiempo de vuelo, etc.
En una etapa 44 de generación de nube de puntos, el sistema de control de grúa para contenedores genera una nube de puntos basada en la extracción de características, en la que cada punto en la nube de puntos contiene coordenadas en tres dimensiones. Cada punto también puede contener valores de luz en uno o más colores, p. ej., valores de luz RGB (Rojo, Verde y Azul).
La nube de puntos también se puede derivar utilizando coincidencia de imágenes estéreo basadas en las imágenes bidimensionales. Esto da como resultado mapas de profundidad más densos que si solo se utilizara la extracción de características. La coincidencia de imágenes estéreo puede, p. ej., basarse en la coincidencia de bloques.
Opcionalmente, los datos de profundidad adicionales recibidos en la etapa 43 se fusionan con las imágenes de la cámara para producir datos de nubes de puntos aún más fiables. Por tanto, la nube de puntos también puede basarse en los datos de profundidad adicionales para obtener de este modo una nube de puntos aún más extensa y precisa.
En una etapa 45 de detección de orientación, el sistema de control de grúa para contenedores detecta la orientación del objetivo de depósito basándose en líneas en las imágenes bidimensionales, véase la Fig. 5 y el texto correspondiente anterior. Esto mejora el control de inclinación al controlar el contenedor en relación con el objetivo de depósito.
En una etapa 46 de control de movimiento, el sistema de control de grúa para contenedores controla el movimiento del contenedor al objetivo de depósito basándose en la nube de puntos y las características clave identificadas del objetivo de depósito. Cuando está disponible, el movimiento también se controla en base a la orientación del objetivo de depósito.
El método hace bucles para proporcionar información continua de la posición en relación con el objetivo de depósito y el control de movimiento apropiado.
Al utilizar datos tridimensionales en la extracción de características y la nube de puntos, se logra una identificación más fiable del objetivo de depósito. Además, debido a la diferencia de altura (25 de la Fig. 2) entre el objetivo de depósito y el suelo, los datos tridimensionales aumentan en gran medida la fiabilidad de la identificación. Esto permite que el sistema de control de grúa para contenedores continúe funcionando también en condiciones de visibilidad limitada, tales como lluvia, nieve, rayos, etc.
Se puede aplicar un método correspondiente para recoger un contenedor, donde en lugar de un objetivo de depósito, se identifican las características clave de un contenedor a recoger.
La Fig. 7 es un diagrama esquemático que ilustra los componentes del sistema 1 de control de grúa para contenedores de la Fig. 1. Se proporciona un procesador 60 que utiliza cualquier combinación de una o más de una unidad de procesamiento central (CPU) adecuada, unidad de procesamiento de gráficos (GPU), multiprocesador, microcontrolador, procesador de señal digital (DSP), circuito integrado específico de aplicación (ASIC), etc., capaz de ejecutar instrucciones 67 de software almacenadas en una memoria 64, que por tanto puede ser un producto de programa informático. El procesador 60 se puede configurar para ejecutar el método descrito con referencia a la Fig. 6 anterior.
La memoria 64 puede ser cualquier combinación de memoria de acceso aleatorio (RAM) y memoria de solo lectura (ROM). La memoria 64 también comprende almacenamiento persistente, que, por ejemplo, puede ser una cualquiera o una combinación de memoria magnética, memoria óptica, memoria de estado sólido o incluso memoria montada de forma remota.
También se proporciona una memoria 66 de datos para leer y/o almacenar datos durante la ejecución de instrucciones de software en el procesador 60. La memoria 66 de datos puede ser cualquier combinación de memoria de acceso aleatorio (RAM) y memoria de sólo lectura (ROM).
El sistema 1 de control de grúa para contenedores comprende además una interfaz 62 de E/S para comunicarse con otras entidades externas. Opcionalmente, la interfaz 62 de E/S también incluye una interfaz de usuario.
Se omiten otros componentes del sistema 1 de control de grúa para contenedores para no oscurecer los conceptos presentados en este documento.
La Fig. 8 muestra un ejemplo de un producto de programa informático que comprende medios legibles por ordenador. En estos medios legibles por ordenador, se puede almacenar un programa informático 91, programa informático que puede hacer que un procesador ejecute un método de acuerdo con las realizaciones descritas en este documento. En este ejemplo, el producto de programa informático es un disco óptico, tal como un CD (disco compacto) o un DVD (disco versátil digital) o un disco Blu-Ray. Como se explicó anteriormente, el producto de programa informático también podría incorporarse en una memoria de un dispositivo, tal como el producto 67 de programa informático de la Fig. 7. Si bien el programa informático 91 se muestra aquí esquemáticamente como una pista en el disco óptico representado, el programa informático se puede almacenar de cualquier forma que sea adecuada para el producto del programa informático, tal como una memoria de estado sólido extraíble, p. ej., una unidad de Bus Universal en Serie (USB).
La invención se ha descrito principalmente antes con referencia a unas pocas realizaciones. Sin embargo, como apreciará fácilmente un experto en la técnica, son igualmente posibles otras realizaciones distintas a las descritas anteriormente dentro del alcance de la invención, como se define en las reivindicaciones de patente adjuntas.
Claims (15)
1. Un método para cargar un contenedor en un objetivo (59) de depósito en un vehículo terrestre utilizando una grúa para contenedores que comprende un carro (53) y un sistema de elevación desplegable (55) para sostener y levantar el contenedor, realizándose el método en un sistema (1) de control de grúa para contenedores y comprendiendo la etapa de: obtener (40) imágenes bidimensionales del objetivo (59) de depósito a partir de un primer par de cámaras dispuestas en el sistema de elevación desplegable (55), caracterizado por que el método comprende además las etapas de: realizar (42) extracción de características basándose en las imágenes bidimensionales para identificar características clave del objetivo (59) de depósito;
generar (44) una nube de puntos basada en la extracción de características, en la que cada punto en la nube de puntos contiene coordenadas en tres dimensiones; y
controlar (46) el movimiento del contenedor al objetivo (59) de depósito basándose en la nube de puntos y las características clave identificadas del objetivo (59) de depósito.
2. El método según la reivindicación 1, en el que las características clave comprenden esquinas (31a-d) del objetivo (59) de depósito.
3. El método según la reivindicación 1 o 2, en el que el objetivo (59) de depósito está situado más alto que las superficies circundantes.
4. El método según cualquiera de las reivindicaciones 1 a 3, en el que la etapa de obtener (40) imágenes bidimensionales también comprende obtener imágenes bidimensionales del objetivo (59) de depósito a partir de un segundo par de cámaras dispuestas en el sistema de elevación desplegable (55), y en el que la etapa de realizar (42) la extracción de características se basa también en una imagen bidimensional de al menos una cámara del segundo par.
5. El método según la reivindicación 4, en el que el primer par de cámaras y el segundo par de cámaras están dispuestos a lo largo del mismo lado del sistema de elevación desplegable (55).
6. El método según cualquiera de las reivindicaciones anteriores, que además comprende la etapa de:
detectar (45) la orientación del objetivo (59) de depósito basándose en las líneas (37, 38) en las imágenes bidimensionales; y en el que la etapa de controlar (46) el movimiento también se basa en la orientación del objetivo de depósito.
7. El método según cualquiera de las reivindicaciones anteriores, en el que la etapa de realizar (42) extracción de características se basa en la transformación de características invariantes de escala, SIFT.
8. El método según cualquiera de las reivindicaciones anteriores, en el que la etapa de generar (44) una nube de puntos también se basa en la coincidencia de imágenes estéreo basada en las imágenes bidimensionales.
9. El método según cualquiera de las reivindicaciones anteriores, que además comprende la etapa de:
obtener (43) datos de profundidad adicionales de un dispositivo de detección de profundidad;
y en el que la etapa de generar (44) una nube de puntos también se basa en los datos de profundidad adicionales.
10. Un sistema (1) de control de grúa para contenedores para cargar un contenedor en un objetivo (59) de depósito en un vehículo terrestre utilizando una grúa para contenedores que comprende un carro (53) y un sistema de elevación desplegable (55) para sostener y levantar el contenedor, comprendiendo el sistema (1) de control de grúa para contenedores:
un procesador (60); y
una memoria (64) que almacena instrucciones (67) que, cuando son ejecutadas por el procesador, hacen que el sistema (1) de control de grúa para contenedores:
obtenga imágenes bidimensionales del objetivo (59) de depósito de un primer par de cámaras dispuestas en el sistema de elevación desplegable (55),
caracterizado por que las instrucciones además hacen que el sistema (1) de control de grúa para contenedores: realice la extracción de características basándose en las imágenes bidimensionales para identificar características clave del objetivo (59) de depósito;
genere una nube de puntos basada en la extracción de características, en la que cada punto en la nube de puntos contiene coordenadas en tres dimensiones; y
controle el movimiento del contenedor al objetivo (59) de depósito basándose en la nube de puntos y las características clave identificadas del objetivo (59) de depósito.
11. El sistema (1) de control de grúa para contenedores según la reivindicación 10, en el que el objetivo (59) de depósito está situado más alto que las superficies circundantes.
12. El sistema (1) de control de grúa para contenedores según la reivindicación 10 u 11, en el que las instrucciones para obtener imágenes bidimensionales comprenden instrucciones (67) que, cuando son ejecutadas por el procesador, hacen que el sistema (1) de control de grúa para contenedores obtenga imágenes bidimensionales del objetivo (59) de depósito de un segundo par de cámaras dispuestas en el sistema de elevación desplegable (55), y en el que las instrucciones para realizar la extracción de características comprenden instrucciones (67) que, cuando son ejecutadas por el procesador, hacen que el sistema (1) de control de grúa para contenedores realice la extracción de características también basándose en una imagen bidimensional de al menos una cámara del segundo par.
13. El sistema (1) de control de grúa para contenedores según la reivindicación 12, en el que el primer par de cámaras y el segundo par de cámaras están dispuestos a lo largo del mismo lado del sistema de elevación desplegable (55).
14. Un programa informático (67, 91) para cargar un contenedor en un objetivo (59) de depósito en un vehículo terrestre utilizando una grúa para contenedores que comprende un carro (53) y un sistema de elevación desplegable (55) para sostener y levantar el contenedor, comprendiendo el programa informático un código de programa informático que, cuando se ejecuta en un sistema (1) de control de grúa para contenedores hace que el sistema (1) de control de grúa para contenedores:
obtenga imágenes bidimensionales del objetivo (59) de depósito de un primer par de cámaras dispuestas en el sistema de elevación desplegable (55),
caracterizado por que el código del programa informático hace además que el sistema (1) de control de grúa para contenedores:
realice la extracción de características basándose en las imágenes bidimensionales para identificar características clave del objetivo (59) de depósito;
genere una nube de puntos basada en la extracción de características, en la que cada punto en la nube de puntos contiene coordenadas en tres dimensiones; y
controle el movimiento del contenedor hacia el objetivo (59) de depósito basándose en la nube de puntos y las características clave identificadas del objetivo (59) de depósito.
15. Un producto (64, 90) de programa informático que comprende un programa informático según la reivindicación 14 y un medio legible por ordenador en el que se almacena el programa informático.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17176830.2A EP3418244B1 (en) | 2017-06-20 | 2017-06-20 | Loading a container on a landing target |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2865179T3 true ES2865179T3 (es) | 2021-10-15 |
Family
ID=59091425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES17176830T Active ES2865179T3 (es) | 2017-06-20 | 2017-06-20 | Cargar un contenedor en un objetivo de depósito |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP3418244B1 (es) |
| ES (1) | ES2865179T3 (es) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109987514A (zh) * | 2019-05-04 | 2019-07-09 | 华电重工股份有限公司 | 岸桥小车吊具微调移位系统 |
| CN110197028B (zh) * | 2019-05-29 | 2022-10-14 | 南京市特种设备安全监督检验研究院 | 一种基于矢量中心偏移敏度的起重机行走轨道咬轨程度检测方法 |
| CN113184707B (zh) * | 2021-01-15 | 2023-06-02 | 福建电子口岸股份有限公司 | 一种基于激光视觉融合和深度学习的集卡防吊起方法、系统 |
| CN114604756B (zh) * | 2022-01-24 | 2023-06-02 | 杭州大杰智能传动科技有限公司 | 用于智能塔吊运行数据的云端信息系统及其方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002104771A (ja) * | 2000-07-25 | 2002-04-10 | Inst Of Physical & Chemical Res | コンテナ位置検出装置 |
| JP2007031102A (ja) * | 2005-07-28 | 2007-02-08 | Mitsubishi Heavy Ind Ltd | クレーン装置の遠隔操作装置及びクレーン装置並びにクレーン装置の遠隔操作システム |
| EP3033293B1 (en) * | 2013-08-12 | 2017-10-11 | ABB Schweiz AG | Method and system for automatically landing containers on a landing target using a container crane |
| US9934611B2 (en) * | 2013-09-11 | 2018-04-03 | Qualcomm Incorporated | Structural modeling using depth sensors |
-
2017
- 2017-06-20 EP EP17176830.2A patent/EP3418244B1/en active Active
- 2017-06-20 ES ES17176830T patent/ES2865179T3/es active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3418244B1 (en) | 2021-03-03 |
| EP3418244A1 (en) | 2018-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2865179T3 (es) | Cargar un contenedor en un objetivo de depósito | |
| KR102581928B1 (ko) | 랜딩 타겟에 컨테이너를 로딩하는 시스템 및 방법 | |
| ES2903220T3 (es) | Transporte de carga por medio de equipos de manipulación de carga | |
| US10290115B2 (en) | Device and method for determining the volume of an object moved by an industrial truck | |
| US10138101B2 (en) | Method in forklift truck for determining a load position in a load rack | |
| FI125689B (fi) | Kuorman käsitteleminen kuormankäsittelylaitteella | |
| CN105431370B (zh) | 用于使用集装箱起重机将集装箱自动地卸货在卸货目标上的方法和系统 | |
| CN103030063B (zh) | 用于确定集装箱吊架用的目标位置的方法和集装箱吊架 | |
| CN110837814B (zh) | 车辆导航方法、装置及计算机可读存储介质 | |
| EP2386516A1 (en) | Trolley assembly for a crane and crane comprising said trolley assembly. | |
| EP3275831B1 (en) | Modified video stream for supporting remote control of a container crane | |
| JP7228800B2 (ja) | 搬送方法、搬送システム、プログラム及びパレット | |
| KR20200104223A (ko) | 기준 마커를 포함하는 컨테이너 크레인 | |
| US20210349468A1 (en) | Identifying elements in an environment | |
| ES2324283T3 (es) | Sistema para alinear un chasis. | |
| US11299376B2 (en) | Method for the positionally accurate receiving and depositing of a container using a gantry stacker and gantry stacker for this purpose | |
| CN216863543U (zh) | 自主移动运输车 | |
| JP2022136849A (ja) | 容器計測システム | |
| CN115485230A (zh) | 用于堆叠元件的机器人 | |
| CN110857859B (zh) | 障碍物检测方法及装置 | |
| US20220245854A1 (en) | Method for determining an orientation of an industrial truck | |
| JP7287329B2 (ja) | フォークリフト | |
| US20230202817A1 (en) | Control method for mobile object, mobile object, and computer-readable storage medium | |
| KR102499279B1 (ko) | 트레일러의 승,하역 위치결정 시스템 | |
| WO2024004723A1 (ja) | 電子機器、制御方法および制御プログラム |