ES2663361T3 - Dispositivo y procedimiento para la determinación del volumen de un objeto movido mediante una carretilla de manuntención - Google Patents

Abstract

Dispositivo (10) para determinar el volumen de un objeto movido (1) mediante una carretilla de manutención (2), caracterizado porque presenta un primer sensor de imagen de profundidad (3) y un segundo sensor de imagen de profundidad (4), que están dispuestos de manera que el objeto (1) al pasar por la región de paso (5) puede registrarse desde dos direcciones diferentes, estando realizado el dispositivo (10), para generar con cada uno de los sensores de imagen de profundidad (3, 4) una secuencia de imágenes individuales en una primera resolución, por lo cual la carretilla de manutención (2) y el objeto (1) se registran desde ángulos de visión diferentes al pasar por la región de paso; y una unidad de determinación de volumen (11), que está realizada para someter a las secuencias de imágenes individuales en la primera resolución del primer sensor de imagen de profundidad (3) y del segundo sensor de imagen de profundidad (4) a un procesamiento de superresolución (15a-15c), para crear un modelo 3D (17) que comprende la carretilla de manutención (2) y el objeto (1) en una segunda resolución, que es superior a la primera resolución, y para determinar el volumen del objeto (1) sobre la base del modelo 3D (17) generado.

Description

5

10

15

20

25

30

35

40

45

50

55

60

DISPOSITIVO Y PROCEDIMIENTO PARA LA DETERMINACIÓN DEL VOLUMEN DE UN OBJETO MOVIDO MEDIANTE UNA CARRETILLA DE MANUTENCIÓN

La invención se refiere a un dispositivo y un procedimiento para determinar el volumen de un objeto movido mediante una carretilla de manutención.

Para poder averiguar de manera lo más exacta posible en la logística de bultos sueltos el espacio de carga necesario es preciso determinar el volumen de carga o el volumen de los productos de carga individuales. Un principio conocido, aunque inexacto es calcular el volumen de carga de un envío mediante una indicación de peso a través del desvío de una densidad de producto media. Por el estado de la técnica se conocen además sistemas de medición que requieren objetos de medición estáticos e independientes, lo cual sin embargo lleva a retrasos e interrupciones desventajosas del flujo de trabajo, dado que en particular en la terminal de logística o de transbordo debe averiguarse el volumen de carga diario en ventanas de tiempo breves.

Por lo tanto existe una demanda de un sistema de medición que posibilite una determinación del volumen del producto de carga sin interrupción y cambio de los procesos de logística internos de la terminal. Un sistema de medición de volumen de este tipo de objetos móviles es conocido ya por la patente
EP 2 439 487 B1. Para registrar el contorno de un producto de carga se propone por ejemplo el empleo de cuatro sensores de registro de contorno configurados como escáner láser, que escanean durante el paso en cada caso el producto de carga movido por líneas o por capas y reproducen los rayos de luz recibidos en sensores de imagen en forma de líneas, de manera que se averigua una vista del producto de carga en forma de imágenes de rayas registradas consecutivamente.

Un procedimiento de escaneo láser de este tipo basado en líneas o rayas requiere sin embargo la composición de imágenes escaneadas individuales del producto de carga movido de nuevo en la distancia correcta, es decir considerando el movimiento del producto de carga para obtener un contorno externo global del producto de carga y del medio de transporte. Los datos registrados deben componerse por lo tanto de manera compleja de nuevo mediante la detección del movimiento del producto de carga, lo cual es muy costoso y propenso a fallos. Esto es debido a que, dependiendo de la velocidad de grabación del sensor, cada línea de imagen está ligeramente retrasada en sí, dado que cada píxel o punto de la línea se graba sucesivamente. La distorsión es diferente en velocidades de producto de carga diferentes o fluctuantes y también dependiendo de la distancia de cada punto desde el sensor. A la misma velocidad los puntos cercanos se mueven más que los puntos alejados con respecto al sensor. Para la composición de una imagen individual el movimiento del objeto debe detectarse y calcularse. Para ello es necesario un sensor de odometría de alta precisión mediante el cual se realiza la determinación del movimiento.

Una desventaja adicional de un procedimiento de escaneo láser basado en rayas es la que los escáneres láser de este tipo, si bien posibilitan una resolución comparativamente elevada de un contorno del producto de carga, sin embargo son comparativamente caros.

Un dispositivo adicional para la determinación de las dimensiones de un producto de carga movido es conocido por la patente
US 7.757.946 B2 que presenta desventajas similares como las que se han descrito anteriormente. El documento de patente
US 8.599.303 B2 describe la estructura de una cámara Time-of-Flight que puede emplearse para el registro óptico de las dimensiones de un objeto movido sobre una cinta transportadora. Por la patente
US 6.798.528 B1 se conoce además un sistema para la determinación de las dimensiones de un objeto móvil que se emplea para la medición de espejos parabólicos. Lo desventajoso en éste es la estructura comparativamente complicada y la dificultad resultante del principio de medición de poder medir con exactitud objetos sin forma.

Por lo tanto un objetivo de la invención es facilitar un dispositivo mejorado y un procedimiento mejorado para determinar el volumen de un objeto movido mediante una carretilla de manutención con el que puedan evitarse las desventajas de las técnicas convencionales. El objetivo de la invención es, en particular, facilitar un dispositivo para determinar el volumen de un objeto movido mediante una carretilla de manutención con el que se posibilite una determinación de volumen fiable en productos de carga movidos, sin modificar procesos de logística existentes internos del terminal o tener que interrumpirlos para la medición del volumen. La invención se basa además en el objetivo de facilitar un dispositivo para determinar el volumen de un objeto movido mediante una carretilla de manutención que pueda disponerse con ahorro de costes y con ahorro de espacio en la región de un terminal de carga, en particular en la región de una puerta de carga de un terminal logístico.

Estos objetivos se resuelven mediante un dispositivo y mediante un procedimiento con las características de las reivindicaciones independientes. Formas de realización y aplicaciones ventajosas de la invención son objeto de las reivindicaciones dependientes y se explican con más

5

10

15

20

25

30

35

40

45

50

55

60

detalle en la siguiente descripción con referencia parcial a las figuras.

El dispositivo de acuerdo con la invención para determinar el volumen de un objeto movido mediante una carretilla de manutención presenta, coincidiendo con el estado de la técnica, una unidad de sensor para el registro de una forma de superficie del objeto, así como una unidad de determinación de volumen, que está realizada para crear, dependiendo de los datos de sensor registrados, un modelo 3D del objeto y para determinar el volumen del objeto basándose en el modelo 3D generado. De acuerdo con puntos de vista generales de la invención la unidad de sensor comprende un primer sensor de imagen de profundidad y un segundo sensor de imagen de profundidad, que están previstos de manera que el objeto movido mediante la carretilla de manutención al pasar por la región de paso puede registrarse desde dos direcciones diferentes.

Además el dispositivo está ideado para generar con cada uno de los sensores de imagen de profundidad una secuencia de imágenes individuales en una primera resolución, mostrando la secuencia de imágenes individuales la carretilla de manutención y el objeto a partir de diferentes ángulos de visión al pasar por la región de paso. Debido al movimiento del objeto a través de la región de paso un cono de visión fijo de un sensor de imagen de profundidad registra por lo tanto diferentes ángulos de visión del objeto al mismo tiempo.

El dispositivo comprende además una unidad de determinación de volumen, que está constituida de acuerdo con la invención para someter a las secuencias de imágenes individuales en la primera resolución del primer sensor de imagen de profundidad y del segundo sensor de imagen de profundidad a un procesamiento de superresolución con el fin de crear un modelo 3D que comprende la carretilla de manutención y el objeto en una segunda resolución, que es más elevada que la primera resolución y para determinar el volumen del objeto basándose en el modelo 3D generado.

Un procesamiento de superresolución es una técnica muy conocida del procesamiento de imágenes en 2D que puede transmitirse a proyectos de 3D, generándose, mediante registro y apilamiento de imágenes (Image Stacking) o combinación en el tiempo y en el espacio de datos de diferentes imágenes individuales de baja resolución, basándose en informaciones de imagen redundantes y/o complementarias incluidas en las imágenes, una imagen con resolución más elevada.

Una especial preferencia de la invención reside por lo tanto en que pueden utilizarse sensores de imagen de profundidad de baja resolución comparativamente económicos dado que, de acuerdo con la invención, de los datos de sensor de baja resolución se genera un modelo 3D de resolución superior, que es más elevada que la resolución de sensor original para poder llevar a cabo una determinación fiable y exacta del volumen de objeto. En el principio de medición propuesto el movimiento de objeto por lo tanto no es un factor agravante o a superar, sino parte importante de la medición que se aprovecha para generar un modelo de alta resolución de la forma de superficie del objeto.

Otra ventaja es que de acuerdo con el dispositivo propuesto dos sensores de imagen de profundidad, con los cuales el objeto puede registrarse desde dos direcciones diferentes, son suficientes para generar el modelo 3D, dado que las secuencias de imágenes tomadas de cada sensor de imagen de profundidad muestran el objeto desde ángulos de visión variables, de manera que mediante una recombinación correspondiente de las imágenes individuales puede generarse un modelo 3D completo.

Igualmente es ventajoso que una forma de superficie del objeto que puede registrarse actualmente por el cono de visión de un sensor de imagen de profundidad pueda registrarse esencialmente al mismo tiempo como imagen de píxeles, es decir como imagen entera, y no en forma de imágenes de rayas tomadas consecutivamente. Esto aumenta la robustez con respecto a un movimiento del objeto, dado que en este caso una imagen entera "salta", no sólo una raya, y debido a que una imagen entera es más fácil de registrar en comparación con una raya.

Particularmente ventajoso es cuando la integración, es decir registro y superposición de los datos se realiza mediante las denominadas funciones de distancia con signo truncado (TSDF truncated signed distance functions), dado que de este modo se corrigen de manera fiable errores de medición mediante desviaciones ocasionales y la integración de los datos es óptima en el sentido de los mínimos cuadrados. Además de este modo pueden evitarse desviaciones.

Los sensores de imagen de profundidad generan imágenes de píxeles, averiguándose para cada píxel de una imagen individual una información de distancia o un valor de distancia. La información de distancia es una medida para la distancia del punto de superficie registrado con respecto al sensor de imagen de profundidad. Los sensores de imagen de profundidad empleados pueden funcionar por ejemplo según el principio de la luz estructurada, el principio del tiempo de vuelo o el principio de estereovisión. Los sensores de imagen de profundidad funcionan de manera análoga a las cámaras de video, al "filmar" el objeto y la carretilla de manutención al pasar por la región de paso, mostrando cada imagen individual de los sensores de imagen de profundidad una vista desde la dirección de

5

10

15

20

25

30

35

40

45

50

55

60

toma del objeto y de la carretilla de manutención. Dado que el objeto, al menos en el estado de movimiento, pasa por los sensores de imagen de profundidad, una imagen individual siguiente de cada secuencia muestra una vista ligeramente modificada del objeto o de la carretilla de manutención. El objeto puede ser por ejemplo una carga o un producto de carga de una carretilla de manutención. La carretilla de manutención puede ser por ejemplo una carretilla de horquilla elevadora, una carretilla elevadora eléctrica, una carretilla elevadora de corto alcance, una carretilla elevadora de gran alcance, una carretilla elevadora manual, unos carros de preparación de pedidos, una carretilla retráctil, una carretilla de plataforma o similar. La carretilla de manutención puede ser además un contenedor de transporte móvil que circunde al menos parcialmente la carga transportada, por ejemplo un carrito, unos carros de rejilla, o un carrito con rejilla. La región de paso puede ser por ejemplo una puerta de carga, un pasaje de carga, una puerta industrial, una puerta de garaje, una puerta interior, un muelle de carga, un túnel, un portal, una zona de trayecto marcada o en general una región recorrida por una carretilla de manutención en el transporte de productos de carga en una dirección de movimiento predeterminada.

De acuerdo con una forma de configuración preferida los dos sensores de imagen de profundidad están dispuestos en la región de paso de manera que una región delantera, una región superior, una primera región lateral y una segunda región lateral enfrentada a la primera región lateral de una forma de la superficie del objeto y de la carretilla de manutención pueden registrarse cuando el objeto atraviesa la región de paso, pudiendo registrarse con el primer sensor de imagen de profundidad al menos la primera región lateral y pudiendo registrarse con el segundo sensor de imagen de profundidad al menos la segunda región lateral. Ambos sensores de imagen de profundidad están colocados preferentemente de manera que con ellos pueden registrarse, en cada caso, regiones laterales complementarias del objeto movido.

Particularmente ventajosa es una disposición de los dos sensores de imagen de profundidad cuando estos están dispuestos y orientados en la región de paso de manera que el objeto movido puede registrarse oblicuamente desde arriba. Los conos de visión de estos dos sensores de imagen de profundidad están orientados por lo tanto de preferencia oblicuamente hacia abajo y pivotados hacia el lado frontal de la carretilla de manutención que se mueve hacia el lado frontal en la región de paso. Por ello cada sensor de imagen de profundidad puede registrar preferentemente un lado delantero, un lado superior y o bien un lado izquierdo o bien un lado derecho del objeto en la región de paso. Los dos sensores de imagen de profundidad pueden estar dispuestos en la región de paso de tal manera que el objeto al pasar por la región de paso se mueve pasando por debajo y entre los dos sensores de imagen de profundidad. Esta variante posibilita una buena protección de los sensores frente a daños en el funcionamiento de la carga.

En particular los sensores de imagen de profundidad pueden estar dispuestos de manera que registran el objeto movido oblícuamente desde arriba y desde delante y los ejes de los conos de visión de los dos sensores de imagen de profundidad están inclinados el uno hacia el otro.

Particularmente ventajoso es además cuando un cono de visión al menos de un sensor de imagen de profundidad está dispuesto de manera que un lado trasero del objeto al pasar por la región de paso al menos en una nueva salida del objeto desde el cono de visión puede registrarse brevemente. Por tanto puede registrase también un canto trasero del objeto al menos en algunas imágenes de la secuencia de imágenes. Si el objeto registrado se registra por ejemplo oblicuamente desde arriba mediante los sensores de imagen de profundidad, ésto puede realizarse cuando al menos una generatriz del cono de visión corta una vertical.

Sin embargo en el marco de la invención existe también la posibilidad de orientar los dos sensores de imagen de profundidad rectos hacia abajo de modo que el objeto se registra recto desde arriba, o de disponer los dos sensores de imagen de profundidad en lados enfrentados de una región de paso, de tal manera que los conos de visión están orientados en perpendicular a la dirección de movimiento del objeto y dirigidos los unos hacia los otros.

Sin embargo en el marco de la invención existe también la posibilidad de disponer y orientar un primer sensor de imagen de profundidad en la región de paso de manera que el objeto con ello puede registrarse oblicuamente desde arriba y desde delante y orientar el segundo sensor de imagen de profundidad recto hacia abajo, de manera que el objeto al pasar por la región de paso se registra recto desde arriba. De acuerdo con una variante de esta posibilidad de disposición el primer sensor de imagen de profundidad está dispuesto preferentemente en un borde superior lateral de la región de paso de manera que el objeto al pasar por la región de paso no se mueve pasando directamente por debajo, sino lateralmente o lateralmente por debajo en el primer sensor de imagen de profundidad, mientras que el segundo sensor de imagen de profundidad está dispuesto preferentemente en el centro arriba en la región de paso, con el cono de visión en perpendicular hacia abajo.

Una forma de configuración ventajosa de la invención prevé que la unidad de determinación de

5

10

15

20

25

30

35

40

45

50

55

60

volumen esté establecida para determinar, mediante la averiguación de elementos movidos en la secuencia de imágenes, una región de interés (en inglés Región of Interest (RoI)) que comprende la carretilla de manutención y el objeto en las imágenes individuales, para lo cual se ejecuta el procesamiento de superresolución. Por lo tanto el movimiento de objeto puede utilizarse ventajosamente para separar el objeto y la carretilla de manutención del fondo de la imagen y limitar el procesamiento de superresolución sólo a estas regiones de imagen.

Los objetos movidos pueden averiguarse por ejemplo mediante aquellas regiones de píxeles, para las que varía una información de distancia con respecto a una imagen predecesora o con respecto a una imagen de fondo o imagen vacía, es decir una imagen, en la que la carretilla de manutención y el objeto no están incluidos. Si por ejemplo un valor de distancia de un píxel en una imagen individual varía repentinamente con respecto a la siguiente imagen individual en la secuencia de imágenes, por ejemplo cuando la diferencia de los valores de distancia de los píxeles correspondientes en la imagen y la imagen predecesora o la imagen de fondo supera un valor umbral predeterminado, esto puede emplearse para la identificación de un objeto en movimiento en la imagen.

En una variante ventajosa de este modo de configuración la unidad de determinación de volumen está creada con el fin de emplear para la determinación de la región de interés solo aquellos elementos movidos, que sobrepasan un tamaño mínimo predeterminado y/o se mueven a lo largo de una dirección o trayectoria predeterminados. Por ello pueden identificarse y filtrarse de manera fiable por ejemplo objetos pequeños y/o en movimiento en el fondo de la imagen, que por lo general no se mueven a lo largo de la trayectoria esperada de la carretilla de manutención. A este respecto ha de constatarse que la carretilla de manutención y con ello el objeto movido con la carretilla de manutención se mueve en la región de paso de acuerdo con una dirección de movimiento predeterminada, por ejemplo a lo largo de la dirección de transporte predeterminada para atravesar una puerta de carga.

De modo particularmente ventajoso puede ejecutarse el procesamiento de superresolución de tal manera que se combinan en primer lugar datos de la secuencia de imágenes individuales del primer sensor de imagen de profundidad en el tiempo y se combinan datos de la secuencia de imágenes individuales del segundo sensor de imagen de profundidad en el tiempo y a continuación los datos de imagen combinados en el tiempo del primer sensor de imagen de profundidad se combinan en el espacio con los datos de imagen combinados en el tiempo del segundo sensor de imagen de profundidad. Este orden aumenta la exactitud del modelo 3d resultante dado que la combinación espacial es más complicada y lleva a mejores resultados cuanto mejores son los datos iniciales.

Sin embargo, en el marco de la invención existe también la posibilidad de combinar inicialmente en el espacio imágenes individuales correspondientes desde la secuencia de imágenes de los sensores de imagen de profundidad y a continuación combinar en el tiempo los datos de imagen combinados en el espacio. De acuerdo con ambas variantes el procesamiento de superresolución genera por tanto una nube de puntos tridimensional de la carretilla de manutención y del objeto, a partir de la cual puede determinarse a continuación un modelo 3D.

La unidad de determinación de volumen está creada según un aspecto adicional de la invención para complementar y/o corregir en el procesamiento de superresolución en imágenes individuales la falta de informaciones de imagen o informaciones de imagen erróneas en la creación del modelo 3D. La superposición de las varias imágenes individuales, que se crean del objeto y de la carretilla de manutención al pasar por la región de paso mediante los sensores de imagen de profundidad, posibilita por tanto además del efecto ventajoso del aumento de resolución también la entrega posterior de informaciones de imagen no presentes o erróneas en partes de imagen de imágenes individuales. Las informaciones de imagen no presentes o erróneas pueden entregarse posteriormente mediante otras imágenes individuales desde la secuencia, en las cuales está contenida la información correspondiente sobre el segmento ausente o erróneo. Por ello pueden corregirse por un lado errores ocasionales como por otro lado la ausencia de errores de medición. Esto último requiere que las informaciones de imagen correspondientes que se refieren al segmento de superficie objeto están contenidas en al menos una imagen de profundidad.

Con el fin de determinar el volumen del objeto basándose en el modelo 3D generado es necesario separar del modelo 3D el objeto de la carretilla de manutención, de manera que puede averiguarse una forma de la superficie del objeto.

Una posible variante prevé a este respecto que la unidad de determinación de volumen esté realizada para emplear una marcación fijada en la carretilla de manutención mediante el objeto en un lugar predeterminado, que no puede ocultarse para diferenciar el objeto y la carretilla de manutención.

La marcación puede estar efectuada por ejemplo a modo de banda, lo cual favorece una detección fiable. Además la unidad de determinación del volumen puede estar configurada para determinar mediante la marcación registrada un movimiento vertical del objeto con respecto a la carretilla de

5

10

15

20

25

30

35

40

45

50

55

60

manutención. De la práctica se conoce que puede modificarse una posición vertical de un producto de carga movido al pasar por la región de paso, por ejemplo mediante elevación o descenso de las horquillas de elevación de una carretilla de horquilla elevadora. Un desplazamiento vertical de este tipo del objeto puede detectarse de manera fiable mediante comparación de la distancia de un canto superior del objeto con la marcación fija. El movimiento vertical registrado de esta manera puede emplearse en la composición de las secuencias de imágenes en el marco del procesamiento de superresolución como factor de corrección.

La marcación puede estar colocada lateralmente a la dirección de la marcha en un mástil telescópico de la carretilla de manutención, en el caso de que la carretilla de manutención por ejemplo esté creada como carretilla de horquilla elevadora. Una marcación en el mástil telescópico ofrece además la ventaja de que la unidad de determinación del volumen puede estar orientada para determinar una inclinación del mástil telescópico mediante la marcación registrada. Una inclinación del mástil telescópico condiciona una inclinación correspondiente de las horquillas de elevación que fijan un plano del suelo para el objeto. La inclinación de las horquillas de elevación o del plano del suelo condiciona por lo tanto una inclinación correspondiente del objeto o producto de carga, que está alojado sobre las horquillas de elevación o del plano del suelo. Una inclinación registrada de tal manera puede emplearse por tanto como factor de corrección en la creación del modelo 3D para aumentar la exactitud. En particular la unidad de determinación del volumen puede estar orientada para determinar mediante la inclinación del mástil telescópico un plano de separación paralelo al mástil telescópico, así como el plano del suelo del producto de carga perpendicular a éste o la inclinación del plano del suelo, limitando el plano de separación y el plano del suelo un posible emplazamiento del objeto.

El plano de separación contiene el mástil telescópico de la carretilla de manutención o presenta para ello una distancia predeterminada que puede fijarse específicamente para una carretilla de manutención. La distancia indica la distancia del objeto más pequeña posible al mástil telescópico. El plano de separación establece por tanto un plano de limitación que representa un límite para un posible emplazamiento del objeto dado que el objeto se encuentra por ejemplo siempre delante del mástil telescópico. Un plano de separación determinado de este tipo puede emplearse, por tanto, para la identificación del objeto en la región de interés con el fin de diferenciar de manera fiable una forma de superficie del objeto de una forma de superficie de la carretilla de manutención.

Según un aspecto adicional de la invención el dispositivo puede presentar una cámara RGB sincronizada para detectar la marcación de la variante de realización anteriormente citada. Sincronizada en el sentido de que el ángulo de visión, el ángulo de apertura y la tasa de fotogramas de la cámara RGB coincide con el sensor de imagen de profundidad.

Una variante de realización alternativa para la separación del objeto de la carretilla de manutención en el modelo 3D generado prevé que el dispositivo está creado para registrar una secuencia de imágenes individuales de la carretilla de manutención sin carga en un recorrido a través de la región de paso. Esto puede realizarse en un desplazamiento de ida o un desplazamiento de vuelta de la carretilla de manutención, en función de si tiene lugar un proceso de carga o un proceso de descarga. Por ejemplo el dispositivo puede registrar la carretilla de manutención en el desplazamiento de vuelta a través de la región de paso, después de que la carretilla de manutención haya descargado su carga. La unidad de determinación de volumen puede estar ideada entonces para averiguar mediante esta secuencia de imágenes individuales una forma de la superficie de la carretilla de manutención sin objeto, que se emplea para diferenciar una forma de superficie del objeto de la forma de superficie de la carretilla de manutención en el modelo 3D. Esta variante de realización ofrece la ventaja de que no son necesarias marcaciones o bases de datos adicionales con los modelos de las carretillas de manutención.

Según un modo de realización adicional el dispositivo puede comprender también una base de datos, en la que están depositados modelos 3D de diferentes carretillas de manutención. A este respecto la unidad de determinación de volumen para diferenciar una forma de superficie del objeto de la forma de superficie de la carretilla de manutención está realizada para averiguar la forma de superficie de la carretilla de manutención en el modelo 3D mediante el modelo 3D depositado y características de identificación predeterminadas. Las características de identificación predeterminadas pueden ser por ejemplo determinados cantos, esquinas o demás características caracterizadoras de la carretilla de manutención que por lo general no están ocultas por la carga y que se buscan en los datos de imagen para averiguar el tipo de la carretilla de manutención y a continuación leer la forma de superficie depositada en la base de datos para este tipo.

Anteriormente ya se ha mencionado que la carretilla de manutención puede ser un contenedor de transporte móvil que encierra al menos parcialmente la carga transportada, por ejemplo un carrito, un carro de rejilla, o una carretilla de rejilla. Según esta forma de realización la determinación de volumen de la carga puede emplearse para determinar el nivel de llenado del carrito o carro de rejillas.

5

10

15

20

25

30

35

40

45

50

55

60

A este respecto el modelo 3D se emplea, a su vez, para poder diferenciar la carga de la carretilla de manutención, siendo no necesario para ello eliminar de la escena la carretilla de manutención para determinar su volumen mediante la forma de superficie de la carga que queda. Más bien puede ser suficiente detectar mediante el modelo 3D el contenedor de transporte, en este caso un carrito o un carro de rejilla, y separarlo o diferenciarlo de la carga. Para la determinación del volumen puede determinarse y emitirse la longitud, altura y ancho y con ello el volumen de la carga o también un valor porcentual en comparación con el tamaño del contenedor de transporte, es decir puede determinarse y emitirse la ocupación el estado de llenado del contenedor de transporte. Una aplicación a modo de ejemplo podría ser un carro de rejilla y/o un carrito con el que se transporta una pluralidad de envíos de cartas, paquetes y/o mercancías como carga.

Anteriormente ya se ha mencionado que los sensores de imagen de profundidad pueden estar dispuestos en la región de paso de manera que el objeto movido con la carretilla de manutención puede registrarse oblicuamente desde arriba. El primer sensor de imagen de profundidad y el segundo sensor de imagen de profundidad pueden estar situados por ejemplo a una altura de 2 a 4 metros, más preferentemente a una altura de 2,5 a 3 metros, por encima del suelo y/o estar situados distanciados el uno del otro a de 2,5 a 4 metros transversalmente a la dirección de movimiento del objeto en la región de paso. En el marco de la invención se comprobó que una disposición de este tipo de los sensores de imagen de profundidad posibilita, por un lado, un registro de la forma de superficie del objeto particularmente fiable y de la carretilla de manutención y además puede evitarse un deterioro involuntario mediante la carretilla de manutención que pasa.

De acuerdo con una variante de realización particularmente ventajosa para la generación de datos de imagen de profundidad están previstos dos sensores de imagen de profundidad que se emplean para la creación del modelo 3D del objeto, de manera que no son necesarios sensores de imagen de profundidad adicionales para el registro de la forma de superficie.

Sin embargo, de acuerdo con una variante de realización adicional pueden estar dispuestos uno o dos sensores de imagen de profundidad adicionales en una sección inferior de la región de paso. En particular cuando el objeto movido se registra con el primer y el segundo sensor de imagen de profundidad oblícuamente desde arriba, tales sensores de imagen de profundidad adicionales ofrecen la ventaja de un registro particularmente exacto del borde inferior del objeto.

Como alternativa un sensor de imagen de profundidad adicional puede estar situado también de manera que registra el objeto movido desde arriba y está orientado esencialmente en vertical hacia abajo. Un sensor de imagen de profundidad orientado de esta manera puede registrar de manera fiable un canto trasero y/o lado trasero del objeto y mejorar por tanto la exactitud del modelo 3D generado.

La invención se refiere además a un procedimiento para determinar el volumen de un objeto movido mediante una carretilla de manutención que comprende las etapas de: (a) disposición de un primer sensor de imagen de profundidad y de un segundo sensor de imagen de profundidad en una región de paso del objeto movido de tal manera que el objeto al pasar por la región de paso puede registrarse desde dos direcciones diferentes; (b) generación de una secuencia de imágenes individuales en una primera resolución con cada uno de los sensores de imagen de profundidad, que muestran la carretilla de manutención y el objeto a partir de diferentes ángulos de visión al pasar por la región de paso; (c) generación de un modelo 3D que comprende la carretilla de manutención y el objeto en una segunda resolución, que es superior a la primera resolución, mediante la ejecución de un procesamiento de superresolución basándose en la secuencia de imágenes individuales en la primera resolución del primer sensor de imagen de profundidad y del segundo sensor de imagen de profundidad; y (d) determinación del volumen del objeto basándose en el modelo 3D generado.

Para evitar repeticiones las características desveladas en cuanto al dispositivo deben valer y poder reivindicarse como desveladas también en cuanto al procedimiento.

Detalles y ventajas adicionales de la invención se describen a continuación con referencia a los dibujos adjuntos. Muestran:

figura 1 vistas laterales para la ilustración del registro de un objeto movido mediante una carretilla de manutención en el paso de una región de paso mediante dos sensores de imagen de profundidad;

figura 2 las representaciones de la figura 1 en cada caso en una vista en planta desde arriba;

figura 3 las representaciones de la figura 1 en cada caso en una vista delantera;

figura 4 un dispositivo para determinar el volumen según una forma de configuración;

figura 5 un organigrama del procedimiento para determinar el volumen;

figura 6 la determinación de una región de interés que contiene la carretilla de manutención y el objeto en las imágenes individuales;

figura 7 una representación de la región de interés en coordenadas mundiales;

5

10

15

20

25

30

35

40

45

50

55

60

figura 8 un modelo 2,5D durante etapas individuales de la integración en el tiempo del procesamiento de superresolución;

figura 9A y 9Bun modelo 3D tras la integración en el espacio del procesamiento de superresolución; figura 10 un modelo 3D del objeto tras la separación de la carretilla de manutención; figura 11 una vista en planta desde arriba para la ilustración de la disposición de dos sensores de imagen de profundidad según una forma de realización adicional; y figura 12 un modelo 3D según una forma de realización adicional.

La figura 1 ilustra una carretilla de manutención 2 y un producto de carga 1 movido con ella al pasar por una región de paso 5 y el registro del producto de carga movido 1 mediante dos sensores de imagen de profundidad 3, 4.

A este respecto las subfiguras 1.A a 1.E ilustran diferentes posiciones del producto de carga 1 y de la carretilla de manutención 2 al atravesar la región de paso 5. Las figuras 2 y 3 muestran posiciones de la carretilla de manutención 2 y del producto de carga 1 correspondientes a la figura 1 en una vista en planta desde arriba y una vista delantera. A este respecto los componentes con los mismos números de referencia se corresponden con los componentes de la figura 1 y no se describen por separado.

La carretilla de manutención 2 es en el presente ejemplo una carretilla de horquilla elevadora, sobre cuyas horquillas de elevación se transporta el producto de carga 1. Con el número de referencia 7 está designada a modo de ejemplo una puerta de carga 7 de un terminal de logística. La región de paso comprende la región de delante y un poco por detrás de la puerta de carga 7. La flecha designada con B indica la dirección normal de la marcha de la carretilla de manutención 2 cargada en la región de paso. Sin embargo en la práctica también es posible que una carretilla de manutención cargada se mueva hacia la dirección opuesta a B, por ejemplo cuando la carretilla de manutención para descargar un camión o un contenedor se desplace cargado hacia atrás de vuelta a través de la región de paso, estando entonces el lado frontal de la carretilla de manutención de nuevo en el lado dirigido a la disposición de los sensores. El dispositivo puede por tanto estar configurado tanto para procesos de carga, en los que la carretilla de manutención se desplaza normalmente hacia delante a través de la región de paso, como para procesos de descarga en los que la carretilla de manutención se desplaza normalmente hacia atrás a través de la región de paso, para registrar la carretilla de manutención con los sensores de imagen de profundidad y para determinar el volumen del objeto transportado con la unidad de determinación del volumen.

Para el registro de la forma de superficie del producto de carga 1 y de la carretilla de manutención 2 en la región superior de la puerta de carga 7 están montadas dos cámaras de imagen de profundidad 3, 4. La distancia de ambas cámaras de imagen de profundidad 3, 4, montadas a la misma altura con respecto al suelo, asciende a aproximadamente 2,5 a 3 metros. Transversalmente a la dirección de la marcha B de la carretilla de manutención 2 las cámaras de imagen de profundidad 3, 4 están distanciadas aproximadamente 3 metros. Las cámaras de imagen de profundidad 3, 4 están orientadas de manera que el producto de carga 1 y la carretilla de manutención 2 pueden marcarse oblicuamente desde arriba, lo que está señalado mediante las líneas discontinuas, que marcan el cono de visión 3a, 3b de la cámara de imagen de profundidad 3 o el cono de visión 4a, 4b de la cámara de imagen de profundidad 4.

El ángulo de visión de las cámaras de imagen de profundidad 3, 4 es por tanto oblícuo hacia adelante y oblicuo hacia abajo. De la figura 2 puede verse además que los conos de visión están pivotados el uno hacia el otro.

El ángulo de apertura del cono de visión asciende por ejemplo a aproximadamente de 60 a 90 grados. A este respecto los conos de visión de las cámaras de imagen de profundidad 3, 4 están orientados además de manera que puede registrarse brevemente un lado trasero 1e del producto de carga 1 en el paso por la puerta de cargas 7 al menos al salir de nuevo el producto de carga 1 de los conos de visión. Esto se representa en las figuras 1.E y 2.E. La generatriz 4a ó 3a está situada detrás del plano vertical de la puerta de carga 7 e incide de esta manera en un lado trasero 1e del producto de carga 1 al atravesar la puerta de carga 7. Por lo tanto también con la presente disposición de sensores desde solamente dos cámaras de imagen de profundidad 3, 4 puede registrarse también el lado trasero, siempre y cuando no esté oculto, del producto de carga 1, aunque sólo en pocas imágenes individuales, para obtener una vista completa del objeto. Cada una de las cámaras de imagen de profundidad 3, 4 puede registrar, por tanto, un lado delantero, un lado superior, una vista lateral y un canto trasero o lado trasero del producto de carga 1.

Las cámaras de imagen de profundidad 3, 4 son cámaras de píxeles y pueden funcionar por ejemplo según el denominado principio de luz estructurada (structured-light) o el principio de tiempo de vuelo (time of flight) o el principio de estereovisión. Las cámaras de imagen de profundidad 3, 4 averiguan para cada píxel de la matriz de píxeles un valor de distancia entre el producto de carga 1 y el plano del sensor. Las cámaras de imagen de profundidad actuales de este tipo tienen por ejemplo resoluciones

5

10

15

20

25

30

35

40

45

50

55

60

de 160 x 120 píxeles, 320 x 240 píxeles ó 640 x 480 píxeles para cada imagen individual.

En la entrada de una carretilla de manutención en la región de paso 5 se filman el producto de carga 1 y la carretilla de manutención 2 mediante cada cámara de imagen de profundidad 3, 4 con tasa de fotogramas predeterminada, por ejemplo con tasa de fotogramas de 30 imágenes por segundo (frames per second (fps)), lo que genera un flujo de video de imágenes de profundidad.

Tal como puede verse de las figuras 1 a 3 el primer sensor de imagen de profundidad 3 está orientado de manera que una región delantera 1a, una región superior 1b y una primera región lateral 1c del producto de carga o regiones correspondientes de la carretilla de manutención pueden registrarse cuando se atraviesa la región de paso 5. Según la posición de desplazamiento de la carretilla de manutención 2 o en función de lo lejos que se encuentre la carretilla de manutención y el producto de carga 1 dentro del cono de visión de la cámara de imagen de profundidad 3 se registran el lado delantero, el lado superior y la región lateral por completo o solo parcialmente. Esto está ilustrado para el producto de carga 1 en las figuras 1 a 3 a modo de ejemplo mediante la superficie sombreada que señala, en cada caso, la parte de la forma de superficie del producto de carga 1 que se encuentra actualmente dentro del cono de visión de la cámara de imagen de profundidad 3.

De manera análoga la cámara de imagen de profundidad 4 registra la región lateral 1d enfrentada a la primera región lateral 1c así como a su vez el lado delantero 1a y el lado superior 1b o dependiendo de la posición de desplazamiento a su vez en cada caso sólo segmentos (cf. figuras 2 y 3).

Mediante la filmación anteriormente citada del objeto movido 1 mediante la carretilla de manutención 2 cada una de las cámaras de imagen de profundidad 3, 4 genera una secuencia de imágenes individuales en una resolución original de estas cámaras de imagen de profundidad 3, 4 (primera resolución). Una resolución de este tipo con las cámaras de imagen de profundidad disponibles actualmente se sitúa en el intervalo de alrededor de +/- 100mm, que no es suficiente inicialmente para una determinación de volumen fiable.

Los datos de imagen tomados de las cámaras de imagen de profundidad 3, 4 se transfieren a una unidad de determinación de volumen y allí se procesan adicionalmente, lo cual se explica con más detalle a continuación.

La figura 4 muestra una forma de realización de una unidad 10 para determinar el volumen de acuerdo con la invención. A este respecto en cada puerta de carga 7 de un terminal de carga están dispuestas dos cámaras de imagen de profundidad 3, 4, tal como se describió anteriormente con respecto a las figuras 1 a 3 b. Las secuencias de datos de imagen registradas por las cámaras de imagen de profundidad 3, 4 se envían y procesan a través de correspondientes líneas de comunicación 12 a una unidad de determinación de volumen central 11. La unidad de determinación de volumen central 11 puede ser un ordenador convencional que está configurado según el programa correspondiente para procesar las imágenes de profundidad recibidas de las cámaras de imagen de profundidad 3, 4 para determinar el volumen.

La ejecución de una determinación de volumen mediante la unidad de determinación de volumen 11 se explica mediante las figuras siguientes a título de ejemplo.

La figura 5 describe en un organigrama las etapas para determinar el volumen de un producto de carga movido mediante una carretilla de manutención 2 1.

En la etapa S1 se determina el momento de inicio para un proceso de medición mediante las cámaras de imagen de profundidad 3, 4. Un proceso de medición (etapa S2) se inicia a este respecto cuando la carretilla de manutención 2 y el producto de carga se acercan a los conos de visión de las cámaras de imagen de profundidad 3, 4 o entran en éstas. Esto puede realizarse por ejemplo mediante una barrera de luz que está dispuesta poco antes de los conos de visión transversalmente a la dirección de movimiento B. Como alternativa el momento de inicio puede determinarse mediante una solución por radiocomunicación, un escáner de código de barras o mediante la entrada a una región predefinida de la región de paso 5. Adicionalmente pueden almacenarse temporalmente imágenes hasta que se determine un momento de inicio con el fin de poder recurrir entonces a las imágenes más antiguas.

En la etapa S2 con las dos cámaras de imagen de profundidad 3 y 4 se filma entonces la carretilla de manutención 2 que se mueve a través de la región de paso 5 así como el producto de carga 1 transportado con el mismo, generando cada sensor de imagen de profundidad 3, 4, tal como se ha descrito anteriormente una secuencia de imágenes de profundidad individuales en una tasa de fotogramas y resolución predefinidas, que muestran la carretilla de manutención 2 y el producto de carga 1 a partir de diferentes ángulos de visión cuando se atraviesa la región de paso. Después de que la carretilla de manutención 2 haya salido de nuevo del cono de visión de las cámaras de imagen de profundidad 3, 4, las secuencias tomadas de los datos de imagen se transmiten a la unidad de determinación de volumen 11 que procesa adicionalmente los datos de imagen transmitidos (etapas S3 a S7).

En la etapa S3 la unidad de determinación de volumen ejecuta una detección de movimiento. En la

5

10

15

20

25

30

35

40

45

50

55

60

detección de movimiento el producto de carga 1 que va a medirse en combinación con la carretilla de manutención 2 se separa del fondo de imagen. En las imágenes de píxeles se averiguan para ello objetos movidos y se clasifican como importantes para la determinación de volumen. Los objetos movidos se caracterizan porque los píxeles asociados al objeto presentan valores de distancia que varían repentinamente con respecto a la imagen predecesora. Como alternativa la variación de los valores de distancia puede también averiguarse basándose en una imagen de fondo, es decir una imagen de cámara sin carretilla de manutención y producto de carga.

A este respecto se seleccionan solamente objetos que presentan un tamaño mínimo predeterminado y se mueven en una dirección de trayectoria esperada que se corresponde con la dirección de movimiento B para mejorar la robustez de los métodos con respecto a los valores erráticos o a los errores de medición.

Los objetos movidos averiguados de este modo se definen en la etapa S4 en las imágenes individuales como región de interés (en inglés región of interest (RoI)) que comprende la carretilla de manutención 2 y el objeto 1. Esto se representa a modo de ejemplo en la figura 6. La imagen superior 13a muestra una imagen de un sensor de imagen de profundidad, en la que se marcó la región de interés RoI de una manera correspondiente. La región de interés RoI contiene una carretilla de plataforma como ejemplo para una carretilla de manutención 2, el producto de carga 1 transportada en la misma en forma de un paquete así como una persona 16, que empuja la carretilla de plataforma 2. Las otras regiones 14a no son relevantes para la determinación del volumen del producto de carga 1. La imagen inferior 13b muestra la imagen individual correspondiente de la secuencia del otro sensor de imagen de profundidad. La región de imagen de profundidad RoI, 1 del paquete 1 transportado sobre la carretilla de plataforma, en la representación de la representación de imagen en gris de la figura 6 apenas puede diferenciarse de la región de imagen de profundidad RoI, 2 de la carretilla de plataforma, dado que ambos objetos presentan valores de distancia similares con respecto al sensor de imagen de profundidad y por tanto presentan colores similares.

Esta región de interés RoI está basado en el procesamiento siguiente, en particular en el procesamiento de superresolución siguiente.

Una ventaja especial de esta detección de movimiento es por lo tanto que el movimiento del objeto se utiliza ventajosamente para separar datos de imagen importantes de datos de imagen sin importancia, de manera que las siguientes etapas de procesamiento pueden ejecutarse solamente para la región de interés identificada de los datos de imagen.

A continuación aquellos datos de imagen RoI, que en el transcurso de la detección de movimiento se clasificaron como relevantes y como parte de la región de interés, se convierten de coordenadas de imagen a coordenadas mundiales. Esto se representa en la ilustración 7, de manera que tras esta transformación se forma una nube de puntos tridimensional.

A continuación se analiza la geometría de las coordenadas de puntos en el sentido de si la geometría conocida de la carretilla de manutención, por ejemplo de la carretilla de plataforma puede estar incluida en la nube de puntos medida.

A continuación en la etapa S5 para los datos de imagen de la región de interés identificada se ejecuta un procesamiento de superresolución para alcanzar mediante combinación de las imágenes individuales con mala resolución una nube de puntos 3D resultante o un modelo 3D con una resolución muy mejorada, que es más elevada que la resolución original del sensor.

Los procesamientos de superresolución son conocidos per se en el campo del procesamiento de imágenes, registrándose datos de imagen iniciales de baja resolución y superponiéndose, es decir combinándose en el tiempo y en el espacio. Esto describe la superposición en el tiempo y/o en el espacio de imágenes de profundidad desplazadas.

Particularmente ventajosa es a este respecto inicialmente la combinación de los datos en el tiempo de la primera cámara de imagen de profundidad 3 así como en el tiempo de la segunda cámara de imagen de profundidad 4. En el transcurso de la combinación de datos en el tiempo se integran las imágenes de profundidad de cada sensor. Por ello debido al objeto que se mueve aumenta el contenido de información, dado que las regiones visibles varían en el tiempo mediante auto ocultación. Esto se representa en la figura 8.

La imagen 15a muestra el modelo 2,5D tras la integración en el tiempo de una imagen de profundidad. La imagen 15b muestra el modelo 2,5D tras la integración en el tiempo de cinco imágenes de profundidad y la imagen 15c muestra el modelo 2,5D tras la integración en el tiempo de 15 imágenes de profundidad, por lo cual la resolución aumenta por etapas. La resolución del resultado por ello puede ser mejor por ejemplo en un factor 5 que la resolución original del sensor.

A continuación se combinan en el espacio ambos modelos 2,5D de ambos sensores de imagen de profundidad mediante la unidad de determinación de volumen. De ello resulta un modelo 3D o una nube de puntos de la carretilla de manutención y del objeto. Esto se ilustra en las figuras 9A ó 9B que

5

10

15

20

25

30

35

40

45

50

55

60

muestran un modelo 3D 17, que comprende la carretilla de plataforma, la persona que empuja la carretilla de plataforma, así como el producto de carga 1 transportado con la carretilla de plataforma. Adicionalmente mediante la superposición de muchas imágenes individuales se entregan posteriormente informaciones no presentes en partes de imagen (partes de imagen vacías) mediante otras imágenes individuales que contienen informaciones sobre el fragmento. Se corrigen por un lado errores ocasionales como también valores de medición ausentes. Esto último exige que las superficies correspondientes estén contenidas en al menos una imagen de profundidad.

En la etapa S6 a continuación basándose en el modelo 3D generado 17 se realiza una separación de la carretilla de manutención 2 y dado el caso de la persona que maneja la carretilla de manutención del objeto 1. Seguidamente se explican algunas variantes de realización ventajosas a este respecto. Una primera posibilidad consiste en que la unidad de determinación de volumen 11 comprenda una base de datos, en la que están depositados modelos 3D de diferentes carretillas de manutención. Tal base de datos puede generarse por ejemplo al desplazarse una carretilla de manutención sin carga una, o varias veces a través de la región de medición, y al almacenarse la nube de puntos de la carretilla de manutención resultante generada mediante las imágenes de profundidad con un código inequívoco que designa la carretilla de manutención. El código de la carretilla de manutención puede detectarse entonces para la medición real mediante RFID, código de barras o una solución de radiocomunicación cualquiera o transmitirse a la unidad de determinación de volumen que entonces lee la nube de puntos depositada previamente para el código en la base de datos. Mediante esta nube de puntos leída se determina la nube de puntos correspondiente en la región de interés para separar el producto de carga de la carretilla de manutención.

Como alternativa la unidad de determinación de volumen 11 puede estar creada también para averiguar por sí misma la forma de superficie de la carretilla de manutención en el modelo 3D generado mediante los modelos 3D depositados en la base de datos y características de identificación predeterminadas, sin que tenga que transmitirse un código de identificación de la carretilla de manutención.

Además existe la posibilidad de instalar un marcador óptico o una marcación en la carretilla de manutención 2 que se registra mediante una cámara RGB adicional que está prevista en la región de paso. Una variante particularmente ventajosa prevé que se utilice una marcación a modo de banda que pueda tener una longitud de por ejemplo un metro y está realizado en negro/blanco, negro/blanco/negro o negro en combinación con un retrorreflector.

Esta se instala lateralmente en vertical en el mástil telescópico por ejemplo de una carretilla elevadora con una distancia claramente definida con respecto al plano de separación, es decir un plano que es paralelo al mástil telescópico y en el que puede empezar la carga como muy temprano. Mediante la marcación la carretilla de manutención puede detectarse de manera fiable y diferenciarse del producto de carga.

Después de que la carretilla de manutención se haya identificado mediante uno de los métodos anteriormente citados la carretilla de manutención se conoce y con ello su geometría y por consiguiente puede localizarse en la nube de puntos.

Seguidamente se realiza una separación del producto de carga de la carretilla de manutención o la separación de cada punto de la nube de puntos que no representan el producto de carga.

A continuación la nube de puntos tridimensional del producto de carga se completa hasta formar un modelo 3D del producto de carga 1. Esto se ilustra en la figura 10, que muestra a modo de ejemplo un modelo 3D 18 del producto de carga 1.

En la etapa S7 se realiza a continuación el cálculo del volumen de objeto, que se conoce per se del estado de la técnica. A este respecto se busca por ejemplo el cuadrado mínimo que encierra todo el producto de carga o la correspondiente nube de puntos.

Para el procesamiento de superresolución anteriormente citado pueden utilizarse diferentes procedimientos de superresolución conocidos per se del estado de la técnica. Seguidamente se describe con detalle únicamente a título de ejemplo una variante de realización particularmente ventajosa para la ejecución de la etapa S5.

En el transcurso de la combinación de datos se integran las imágenes de profundidad de cada sensor, es decir se registran y se superponen -procedimientos, que también se conocen bajo los términos especializados en inglés image registration y image stacking. La integración se realiza mediante las denominadas funciones de distancia con signo (truncated signed distance functions (TSDF)). En este caso se trata de una cuadrícula de vóxeles, cuyos vóxeles almacenan dos valores - la distancia a la siguiente superficie a lo largo de los rayos visuales del sensor F(p) así como una ponderación W(p). La distancia va acompañada de signos; las distancias positivas se sitúan, contempladas desde el sensor delante de una superficie, las negativas detrás. La ponderación W(p) se corresponde con la confianza y es inversamente proporcional a la distancia de objeto y al ángulo entre los rayos visuales y

5

10

15

20

25

30

35

40

45

50

55

60

los vectores normales de las superficies. La transformación de una imagen de profundidad a una función TSDF se realiza mediante proyección de las coordinadas de vóxeles p al plano de imagen.

La integración mediante funciones TSDF presenta dos ventajas principales con respecto a otros procedimientos. En primer lugar, de este modo se corrigen de manera fiable errores de medición mediante desviaciones ocasionales dado que la integración de los datos es óptima en el sentido de los mínimos cuadrados. En segundo lugar, se evitan de este modo desviaciones que, por ejemplo, aparecen por parejas en el caso de un registro de nube de puntos incremental e influyen negativamente en el resultado final.

La integración de las informaciones de una imagen de profundidad Dk en el modelo 3D global se realiza mediante combinación de las funciones correspondiente TSDF Tk de las imágenes individuales con la función global TSDF T. Dado que la posición del objeto en las imágenes individuales de la secuencia de imágenes siempre varía, ésta debe compensarse primeramente. Para este fin las regiones relevantes de Dk se transforman en una nube de puntos. Una nube de puntos adicional que se sintetiza mediante un denominado Raycasting (emisión de rayos) a partir de T, sirve como referencia. El desplazamiento del objeto con respecto al momento k se averigua mediante registro de esta nube de puntos. Para el registro se emplea el algoritmo conocido Largest-Common-Pointset (LCP). Tras la corrección del desplazamiento de objeto se superponen Tk y T y pueden combinarse mediante promediación ponderada de los vóxeles.

Para la inicialización de T se emplea la imagen de profundidad que muestra los objetos relevantes en su totalidad y desde la distancia mínima con respecto a los sensores. A continuación se ejecutan las anteriores etapas para cada imagen de profundidad que va a integrarse.

La nube de puntos sintetizada según esto a partir de T se corresponde con la información combinada. Para detalles adicionales de la integración mediante las denominadas funciones de distancia con signo truncada (TSDF) se remite a la siguiente bibliografía: P.J. Besl y Neil D. McKay.
"A method for registration of 3-D shapes" ". IEEE Trans. Pattern Analysis and Machine Intelligence 14.2 (1992), pág. 239-256; Brian Curless y Marc Levoy.
"A volumetric method for building complex models from range
images". Proceedings of the 23rd annual conference on Computer graphics and interactive techniques. ACM. 1996, pág. 303-312; así como Richard A Newcombe entre otros. "KinectFusion: Real-time dense surface mapping and tracking". 10th IEEE international symposium on mixed and augmented reality (ISMAR). IEEE. 2011, pág. 127-136.

La figura 11 ilustra una disposición alternativa de ambos sensores de imagen de profundidad según una variante de realización adicional en una vista en planta desde arriba. En esta variante de realización una cámara de imagen de profundidad 4, como en la figura 1, está dispuesta en una región superior externa de la puerta de carga 7 con la que se registra lateralmente desde arriba la carretilla de manutención 2 que se acerca y el objeto 1. El ángulo de visión de la cámara de imagen de profundidad 4 está orientado por tanto oblicuamente hacia delante y oblicuamente hacia abajo. La segunda cámara de imagen de profundidad 113 sin embargo está dispuesta en una región superior central de la región de paso 5, con la dirección de visión en perpendicular hacia abajo. Las líneas discontinuas 4a y 4b ó 113a marcan de nuevo los límites del cono de visión de las cámaras de imagen de profundidad 4 o 113.

La cámara 4 está dispuesta, por tanto, en el borde superior de la región de paso de manera que la carretilla de manutención 2 con el objeto 1 al pasar por la región de paso 5 no se mueve pasando directamente por debajo, sino lateralmente o lateralmente por debajo en la cámara 4, mientras que la segunda cámara 113a está dispuesta arriba en el centro en la región de paso 7, con el cono de visión en perpendicular hacia abajo, de manera que el objeto se registra al pasar por la región de paso recto desde arriba.

La figura 12 muestra un modelo 3D 17a según una forma de realización adicional. Según esta forma de realización la carretilla de manutención es un contenedor de transporte móvil, que encierra la carga transportada al menos parcialmente, en el presente caso un carrito o carro de rejilla 2a. La carga del carrito se compone de una serie de paquetes apilados los unos sobre los otros y está designada en el modelo 3d 17a con el número de referencia 1a.

Según este modo de realización el dispositivo y el procedimiento para determinar el volumen se emplean para realizar un sistema de sensores de nivel de llenado de carros de rejilla o carrito 2a.

A este respecto tal como se ha descrito anteriormente, a partir de los datos de imagen de dos sensores de imagen de profundidad se calcula el modelo 3D 17a para poder diferenciar la carga 1a del contenedor de transporte 2a. No obstante, tal como se ha descrito previamente en la etapa S6 de la figura 5, no se elimina de la escena una carretilla de horquilla elevadora y después se determina el volumen de los palés. Más bien se averigua un nivel de llenado del contenedor de transporte 2a móvil. Para el cálculo debe detectarse de nuevo el contenedor de transporte 2a (que encierra en este caso parcialmente la carga) y separarse de la carga o delimitarse. Como resultado puede determinarse la

longitud, altura y ancho de la carga 1a y el volumen de la carga. Como alternativa puede determinarse y emitirse también un valor porcentual en comparación con el tamaño del contenedor de transporte, es decir, la ocupación o un nivel de llenado como medida para el volumen de la carga.

Aunque la invención se ha descrito con referencia a determinados ejemplos de realización para el 5 experto en la materia es evidente que pueden realizarse diferentes variaciones y pueden emplearse equivalentes como sustitución sin abandonar el alcance de la invención. Adicionalmente pueden realizarse muchas modificaciones sin abandonar el alcance respectivo. Por consiguiente, la invención no debe quedar limitada a los ejemplos de realización desvelados, sino que la invención debe comprender todos los ejemplos de realización que entran dentro del alcance de las reivindicaciones 10 adjuntas.

Claims (17)

1. 5

   10

   15

   20

   25

   30

   35

   40

   45

   50

   55

   60

   1. Dispositivo (10) para determinar el volumen de un objeto movido (1) mediante una carretilla de

   manutención (2), caracterizado porque presenta

   un primer sensor de imagen de profundidad (3) y un segundo sensor de imagen de profundidad (4), que están dispuestos de manera que el objeto (1) al pasar por la región de paso (5) puede registrarse desde dos direcciones diferentes, estando realizado el dispositivo (10), para generar con cada uno de los sensores de imagen de profundidad (3, 4) una secuencia de imágenes individuales en una primera resolución, por lo cual la carretilla de manutención (2) y el objeto (1) se registran desde ángulos de visión diferentes al pasar por la región de paso; y una unidad de determinación de volumen (11), que está realizada para someter a las secuencias de imágenes individuales en la primera resolución del primer sensor de imagen de profundidad (3) y del segundo sensor de imagen de profundidad (4) a un procesamiento de superresolución (15a-15c), para crear un modelo 3D (17) que comprende la carretilla de manutención (2) y el objeto (1) en una segunda resolución, que es superior a la primera resolución, y para determinar el volumen del objeto (1) sobre la base del modelo 3D (17) generado.
2. 2. Dispositivo de acuerdo con la reivindicación 1, caracterizado porque los dos sensores de imagen de profundidad (3, 4) están situados en la región de paso (5), de tal manera que pueden registrarse una región delantera (1a), una región superior (1b), una primera región lateral (1c) y una segunda región lateral (1d) enfrentada a la primera región lateral de una forma de superficie del objeto (1), pudiendo registrarse con el primer sensor de imagen de profundidad (3) al menos la primera región lateral (1c) y pudiendo registrarse con el segundo sensor de imagen de profundidad (4) al menos la segunda región lateral (1d).
3. 3. Dispositivo de acuerdo con la reivindicación 1 ó 2, caracterizado (a) porque los dos sensores de imagen de profundidad (3, 4) están dispuestos y orientados en la región de paso (5) de tal manera que el objeto movido (1) puede registrarse oblicuamente desde arriba; y/o (b) porque los dos sensores de imagen de profundidad (3, 4) están dispuestos en la región de paso (5), de manera que el objeto (1) al pasar por la región de paso (5) se mueve pasando por debajo y entre los dos sensores de imagen de profundidad (3, 4).
4. 4. Dispositivo de acuerdo con una de las reivindicaciones anteriores, caracterizado porque la unidad de determinación de volumen (11) está prevista para determinar mediante la averiguación de elementos movidos en las secuencias de imágenes una región de interés (RoI) que comprende la carretilla de manutención (2) y el objeto (1) en las imágenes individuales, para la cual se ejecuta el procesamiento de superresolución, averiguándose los elementos movidos mediante aquellas regiones de píxeles, para las que varía una información de distancia con respecto a una imagen predecesora o con respecto a una imagen de fondo, que no contiene la carretilla de manutención y el objeto.
5. 5. Dispositivo de acuerdo con la reivindicación 4, caracterizado porque para la determinación de la región de interés (RoI) se emplean solamente aquellos elementos movidos, que sobrepasan un tamaño mínimo predeterminado y/o o se mueven a lo largo de una dirección o trayectoria predeterminadas.
6. 6. Dispositivo de acuerdo con una de las reivindicaciones anteriores, caracterizado porque para el procesamiento de la superresolución se combinan en primer lugar en el tiempo datos de la secuencia de imágenes individuales del primer sensor de imagen de profundidad (3) y datos de la secuencia de imágenes individuales del segundo sensor de imagen de profundidad (4) en el tiempo, y a continuación los datos de imagen combinados en el tiempo del primer sensor de imagen de profundidad (3) se combinan en el espacio con los datos de imagen combinados en el tiempo del segundo sensor de imagen de profundidad (4).
7. 7. Dispositivo de acuerdo con una de las reivindicaciones anteriores, caracterizado porque la unidad de determinación de volumen (11) está prevista para complementar y/o corregir en el procesamiento de superresolución en imágenes individuales la falta de informaciones de imagen o informaciones de imagen erróneas en la creación del modelo 3D (17).
8. 8. Dispositivo de acuerdo con una de las reivindicaciones anteriores caracterizado

   5

   10

   15

   20

   25

   30

   35

   40

   45

   50

   55

   60

   (a) porque los ejes de los conos de visión de los dos sensores de imagen de profundidad están inclinados el uno hacia el otro; y/o

   (b) porque un cono de visión al menos de un sensor de imagen de profundidad está previsto, de manera que un lado trasero (1e) del objeto al pasar por la región de paso (5) al menos en una nueva salida del objeto (1) desde el cono de visión puede registrarse brevemente.
9. 9. Dispositivo de acuerdo con una de las reivindicaciones anteriores, caracterizado porque la unidad de determinación de volumen (11) está prevista para utilizar una marcación fijada en la carretilla de manutención (2) en un lugar predeterminado, que no puede ocultarse mediante el objeto (1) para diferenciar el objeto (1) de la carretilla de manutención (2).
10. 10. Dispositivo de acuerdo con la reivindicación 9, caracterizado porque

    (a) la marcación está dispuesta lateralmente a la dirección de la marcha en un mástil telescópico de la carretilla de manutención (2) y preferentemente está prevista a modo de banda; y

    (b) la unidad de determinación de volumen (11) está configurada.

    (b1) para determinar mediante la marcación registrada una inclinación del mástil telescópico y un plano de separación paralelo al mástil telescópico, así como un plano del suelo del producto de carga perpendicular a éste, limitando el plano de separación y el plano del suelo un posible emplazamiento del objeto; y/o

    (b2) para determinar mediante la marcación registrada un movimiento vertical del objeto realizado con respecto a la carretilla de manutención.
11. 11. Dispositivo de acuerdo con una de las reivindicaciones 9 a 10, caracterizado por presentar una cámara RGB sincronizada para detectar la marcación.
12. 12. Dispositivo de acuerdo con una de las reivindicaciones 1 a 8, caracterizado

    (a) porque el dispositivo está previsto para registrar una secuencia de imágenes individuales de la carretilla de manutención (2) sin carga en un desplazamiento a través de la región de paso (5); y

    (b) porque la unidad de determinación de volumen (11) está prevista para averiguar mediante esta secuencia de imágenes individuales una forma de superficie de la carretilla de manutención (2), que se emplea para diferenciar una forma de superficie del objeto (1) de la forma de superficie de la carretilla de manutención (2) en el modelo 3D (17).
13. 13. Dispositivo de acuerdo con una de las reivindicaciones 1 a 8, caracterizado porque en una base de datos, en la cual están depositados unos modelos 3D de diferentes carretillas de manutención, está prevista la unidad de determinación de volumen para diferenciar una forma de la superficie del objeto de la forma de la superficie de la carretilla de manutención, de tal modo que la forma de superficie de la carretilla de manutención en el modelo 3D puede averiguarse mediante el modelo 3D depositado y las características de identificación predeterminadas.
14. 14. Dispositivo de acuerdo con una de las reivindicaciones anteriores, caracterizado

    (a) porque el primer sensor de imagen de profundidad (3) y el segundo sensor de imagen de profundidad (4) funcionan de acuerdo con un procedimiento de formació de imagen de píxeles como por ejemplo el principio de la luz estructurada y/o el principio de tiempo de vuelo y/o el principio de estereovisión; y/o

    (b) porque el primer sensor de imagen de profundidad (3) y el segundo sensor de imagen de profundidad (4) están situados distanciados el uno del otro a una altura de 2 a 4 metros, preferentemente a una altura de 2,5 a 3 metros, por encima del suelo y/o de 2,5 a 4 metros transversalmente al desplazamiento del movimiento del objeto (1) en la región de paso (5).
15. 15. Dispositivo de acuerdo con una de las reivindicaciones anteriores, caracterizado

    (a) porque para la creación del modelo 3D (17) del objeto (1) se emplean exclusivamente datos de

    imagen de profundidad del primer sensor de imagen de profundidad (3) y del segundo sensor de imagen de profundidad (4);

    o

    (b) porque uno o dos sensores de imagen de profundidad adicionales están dispuestos en una

    5

    10

    15

    20

    25

    30

    sección inferior de la región de paso;

    y/o

    (c) porque está previsto un sensor de imagen de profundidad adicional, el cual está orientado para la detección de un canto trasero y/o lado trasero del objeto esencialmente en vertical hacia abajo.
16. 16. Dispositivo de acuerdo con una de las reivindicaciones anteriores, caracterizado

    (a) porque el objeto (1) es una carga o un producto de carga de una carretilla de manutención; y/o

    (b) porque la carretilla de manutención (2) es una carretilla de horquilla elevadora, una carretilla elevadora eléctrica, una carretilla elevadora de corto alcance, una carretilla elevadora de gran alcance, una carretilla elevadora manual, unos carros de preparación de pedidos, una carretilla retráctil, una carretilla de plataforma, un carrito, un carro de rejilla o similares; y/o

    (c) la región de paso (5) es una puerta de carga, un pasaje de carga, una puerta industrial, una puerta de garaje, una puerta interior, un muelle de carga, un túnel, un portal o una zona de trayecto marcada o similares.
17. 17. Procedimiento para determinar el volumen de un objeto movido (1) mediante una carretilla de manutención (2), caracterizado por las etapas de:

    (a) disposición de un primer sensor de imagen de profundidad (3) y de un segundo sensor de imagen de profundidad (4) en una región de paso (5) del objeto movido (1) de tal manera que el objeto (1) al pasar por la región de paso (5) puede registrarse desde dos direcciones diferentes;

    (b) generación de una secuencia de imágenes individuales en una primera resolución con cada uno de los sensores de imagen de profundidad (3, 4), que muestran la carretilla de manutención (2) y el objeto (1) a partir de diferentes ángulos de visión diferentes al pasar por la región de paso (5);

    (c) generación de un modelo 3D (17) que comprende la carretilla de manutención (2) y el objeto (1) en una segunda resolución, que es superior a la primera resolución, mediante la ejecución de un procesamiento de superresolución (15a-15c) basándose en la secuencia de imágenes individuales en la primera resolución del primer sensor de imagen de profundidad (3) y del segundo sensor de imagen de profundidad (4); y

    (d) determinación del volumen del objeto (1) basándose en el modelo 3D (17) generado.