ES2912406T3

ES2912406T3 - Sistema y método computarizados que usan diferentes vistas de imágenes para encontrar ubicaciones de agarre y trayectorias para una recogida robótica

Info

Publication number: ES2912406T3
Application number: ES19157525T
Authority: ES
Inventors: Heiko Claussen; Martin Sehr; Eugen Solowjow; Changtao Wen; Ojea Juan L Aparicio
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2019-02-15
Filing date: 2019-02-15
Publication date: 2022-05-25
Anticipated expiration: 2039-02-15
Also published as: EP3695941B1; US20200262064A1; EP3695941A1; US11667034B2; CN111571581A; CN111571581B

Abstract

Método computarizado que comprende: durante el movimiento de un manipulador (12) robótico dispuesto para agarrar objetos (20) en un entorno del manipulador robótico, capturar imágenes con un sensor (14) de obtención de imágenes del manipulador robótico, proporcionando las imágenes diferentes vistas de uno o más objetos de los objetos en el entorno del manipulador robótico; basándose en las diferentes vistas proporcionadas por las imágenes capturadas, encontrar ubicaciones de agarre candidatas para realizar el agarre de un objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico; calcular valores respectivos indicativos de calidad de agarre para las ubicaciones de agarre candidatas; y basándose en los valores respectivos calculados indicativos de calidad de agarre para las ubicaciones de agarre candidatas, seleccionar una ubicación de agarre y trayectoria que es probable que den como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico; y ordenar el movimiento del manipulador robótico a lo largo de la trayectoria seleccionada para alcanzar la ubicación de agarre seleccionada, en el que el método comprende además ejecutar con una pinza (16) unida al manipulador robótico un agarre en la ubicación de agarre seleccionada para agarrar el objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico, y en el que cuando la ejecución de la ubicación de agarre seleccionada da como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico, mover el objeto agarrado satisfactoriamente a una ubicación deseada, y durante el movimiento del objeto agarrado satisfactoriamente a la ubicación deseada, capturar imágenes con el sensor de obtención de imágenes del manipulador robótico, proporcionando las imágenes diferentes vistas de uno o más objetos restantes de los objetos en el entorno del manipulador robótico, comprendiendo además el método basándose en las diferentes vistas proporcionadas por las imágenes capturadas del uno o más objetos restantes de los objetos en el entorno del manipulador robótico, planificar la siguiente trayectoria del manipulador robótico.

Description

DESCRIPCIÓN

Sistema y método computerizados que usan diferentes vistas de imágenes para encontrar ubicaciones de agarre y trayectorias para una recogida robótica

Antecedentes

1. Campo

Las realizaciones dadas a conocer se refieren de manera general al campo de la robótica autónoma y, más particularmente, a un sistema y método que se refieren a un manipulador robótico para agarrar objetos e, incluso más particularmente, a un sistema y método computarizados que implican imágenes dispuestas para proporcionar diferentes vistas de objetos que van a recogerse de manera robótica para encontrar ubicaciones de agarre y trayectorias que es probable que den como resultado un agarre satisfactorio.

2. Descripción de la técnica relacionada

La detección de pose de agarre de alta precisión en desorden denso, Gualtieri et al, conferencia internacional IEEE/RSJ sobre sistemas y robots inteligentes, se refiere al principio de detección de pose de agarre en nubes de puntos. Véase GUALTIERl MARCUS ET AL: “High precision grasp pose detection in dense clutter”, 2016 CONFERENCIA INTERNACIONAL IEEE/ RSJ SOBRE SISTEMAS Y ROBOTS INTELIGENTES (IROS), IEEE, 9 de octubre de 2016 (09-10-2016), páginas 598-605, XP033011464.

La detección de agarre de vista secuencial para brazos robóticos económicos, Gualtieri y Platt, ARCIV.ORG, biblioteca de la universidad Cornell, se refiere a mejorar el rendimiento de detección de agarre observando un objeto que va a agarrarse a partir de una serie de perspectivas diferentes. Véase GUALTIERI MARCUS ET AL: “Sequential View Grasp Detection For Inexpensive Robotic Arms”, ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 16 de septiembre de 2016 (16-09-2016), XP080727290. La automatización de tareas en una instalación industrial, tal como puede implicar ensamblaje, aprovisionamiento en almacén, envasado; o en una instalación automatizada doméstica y en otras instalaciones que pueden hacer uso de sistemas autónomos, se realiza de manera creciente por robots. Los robots han demostrado ser eficaces en realizar tareas repetitivas con poca o ninguna intervención del usuario. Un desafío que debe resolverse para realizar de manera rentable y fiable tales tareas implica la recogida y manipulación robótica de objetos.

Determinadas aproximaciones conocidas pueden implicar un posicionamiento preciso, y programación detallada de cada posición de robot para el agarre de un objeto, y este posicionamiento normalmente tiene que conocerse de antemano por un controlador de robot. Por consiguiente, los algoritmos de control tienen que rescribirse o adaptarse para cada nuevo objeto que va a manipularse por un robot dado. Esto es sólo factible para la producción en cadena o manipulación repetitiva de objetos idénticos por robots programados de manera similar.

Determinadas aproximaciones alternativas conocidas pueden implicar archivos de diseño asistido por ordenador (CAD) u otra información de modelo para cada objeto que va a manipularse, con la finalidad de automatizar el procedimiento para encontrar una ubicación de recogida adecuada, también denominada agarre. Sin embargo, tales aproximaciones pueden no ser factibles en entornos flexibles que cambian de manera dinámica, tal como es generalmente el caso en aplicaciones de almacenes, donde pueden esperarse miles o incluso millones de objetos diferentes y que cambian continuamente, o en aplicaciones de automatización doméstica, en las que robots tienen que manipular objetos que pueden ser desconocidos durante el diseño, entrenamiento y validación de algoritmos. Puede esperarse que surjan situaciones similares en cualquier instalación de producción flexible inspirada en la industria 4.0, por ejemplo, dirigidas a mejorar: la productividad (tal como reduciendo sustancialmente el tiempo transcurrido desde el desarrollo de un nuevo producto hasta su suministro a clientes en el mercado); la eficiencia (por ejemplo, la automación permite mayor flexibilidad, mejor calidad de productos y producción más eficiente); y ahorro de energía (por ejemplo, reduciendo el tiempo para realizar tareas robóticas), y por tanto reduciendo el uso de energía eléctrica para realizar tales tareas. Para un ejemplo de un sistema de inventario que implica un brazo robótico para agarrar artículos de inventario del sistema de inventario, véase la patente estadounidense 9.914.213.

Breve descripción

La invención se define por el método según la reivindicación 1 y el sistema según la reivindicación 7. Se proporcionan aspectos opcionales de la invención por las reivindicaciones dependientes.

Breve descripción de los dibujos

La figura 1 ilustra un diagrama esquemático de una realización no limitativa de un sistema computarizado dado a conocer que implica un manipulador robótico para recoger objetos.

Las figuras 2-5 ilustran diagramas de flujo respectivos que representan realizaciones no limitativas del flujo de trabajo de acciones o las etapas que pueden estar implicadas en un método computarizado dado a conocer para recoger objetos de manera robótica.

La figura 6 ilustra un ejemplo no limitativo de una secuencia de diferentes vistas de un objeto dado, tal como una taza de café.

Las figuras 7 y 8 ilustran respectivamente secuencias de flujo no limitativas para agarrar la taza de café.

La figura 9 ilustra un evento de agarre no limitativo en el que la taza de café se está cogiendo. Dicho evento de agarre resulta de las secuencias de flujo ilustradas en las figuras 7 y 8.

Descripción detallada

Los presentes inventores han reconocido que la tasa de agarre satisfactorio en determinadas aproximaciones conocidas puede verse afectada negativamente por información limitada sobre las geometrías en 3D de los objetos que van a manipularse. Una razón para esta información limitada puede ser debido a obstáculos provocados por otros objetos en un entorno del manipulador robótico.

Otra razón que puede provocar la información limitada sobre las geometrías en 3D de los objetos que van a manipularse puede surgir a partir del punto de vista generalmente fijo de una cámara que puede usarse para observar los objetos que van a agarrarse. Es decir, los objetos pueden estar colocados aleatoriamente en el entorno del manipulador robótico, pero tales objetos pueden ser sólo visibles desde una dirección fija única de la cámara. Por tanto, la configuración física real (por ejemplo, las características físicas, distribución de peso, etc.) de un objeto dado pueden ser sustancialmente diferentes de lo que se percibe dada la vista direccional fija única del objeto proporcionada por la cámara. En algunas situaciones, porciones de un objeto dado pueden estar ocultas en la vista única del objeto proporcionada por la cámara. Por ejemplo, el asa de una taza o vaso de café puede estar oculta en la vista única proporcionada por la cámara. Y, por consiguiente, en este ejemplo, la identificación de una ubicación de agarre adecuada para recoger el vaso no sería factible.

El ejemplo anterior puede visualizarse en la figura 6, que ilustra un ejemplo no limitativo de una secuencia de diferentes vistas de un objeto dado, tal como una taza 201 de café. Diferentes puntos de vista proporcionan una apariencia visual diferente del mismo objeto, tal como puede apreciarse en las imágenes 221, 222 y 223. En este ejemplo, el asa 21 de la taza 201 de café es sólo observable en la imagen 223.

Adicionalmente, en determinadas aproximaciones conocidas, una vez que se ha realizado un agarre satisfactorio de un objeto dado, puede existir la necesidad de retraer (por ejemplo, alejar) el manipulador robótico de la zona de observación monitorizada por la cámara con el fin de observar ubicaciones de agarre candidatas para objetos restantes. Esta retracción del manipulador robótico tarda un tiempo valioso considerando el número sustancialmente grande de objetos que, por ejemplo, pueden estar implicados en una instalación industrial. Además, evaluar la aceptabilidad de ubicaciones de agarre, en al menos algunas aproximaciones conocidas, puede implicar un gran número de intentos de ubicaciones de agarre candidatas y una evaluación concomitante de la calidad de agarre. Durante esta evaluación, el manipulador robótico puede no moverse hacia la siguiente ubicación de agarre, tardando de nuevo un tiempo valioso.

Las realizaciones dadas a conocer resuelven al menos los problemas anteriores colocando un sensor de obtención de imágenes (por ejemplo, una cámara que puede estar configurada para generar una nube de puntos en 3D de una escena dada) en el manipulador robótico (por ejemplo, brazo(s) robótico(s)) y procesar una calidad de agarre sobre la marcha, tal como por medio de una red neuronal convolucional, mientras permite el movimiento del manipulador robótico. Sin limitación, puede realizarse una evaluación en tiempo real de la calidad de agarre por medio de aceleradores de hardware de inteligencia artificial (AI) periférica dedicados. Cuando se mueve el manipulador robótico a lo largo de una trayectoria dada, la vista proporcionada por tal sensor de obtención de imágenes de un objeto cambia de manera natural desvelando, por tanto, ubicaciones de agarre alternativas.

Sin limitación, puede almacenarse un candidato de agarre deseable mientras se buscan continuamente candidatos de agarre alternativos que puedan reemplazar un candidato de agarre presente, sujeto a un umbral de diferencia de calidad anticipado. La búsqueda para encontrar mejores candidatos de agarre puede basarse en la optimización estocástica, tal como sin limitación una aproximación de templado simulada. Es decir, puede establecerse una ubicación de agarre inicial por una regla predefinida (tal como sin limitación, disponibilidad de superficies planas en el objeto, identificación de una ubicación en el objeto menor que una anchura de agarre máxima, proximidad al centro de gravedad estimado del objeto, etc.)

Sin limitación, pueden evaluarse entonces ubicaciones aleatorias, tal como permitir inicialmente una distancia física relativamente grande para la mejor ubicación de agarre encontrada hasta el momento, y después reducir iterativamente a lo largo del tiempo esta variación. Una vez que ha convergido, si hay tiempo adicional antes de que tenga que ejecutarse el agarre, puede inicializarse y optimizarse de manera iterativa un segundo punto de inicio. Con el tiempo, puede almacenarse un conjunto de diferentes ubicaciones de agarre máximamente prometedoras en ubicaciones máximamente diferentes. Además, siempre que la predicción de calidad de agarre inicial sea aceptable, pueden evaluarse nuevas ubicaciones de agarre a lo largo de la trayectoria del brazo robótico hasta esa ubicación, lo que permite un refinamiento de la trayectoria planificada o la replanificación para un mejor candidato de agarre.

Sin limitación, pueden desacoplarse el entorno reconstrucción y las tareas de agarre. El sistema puede calcular nuevas trayectorias basándose en un objeto objetivo que va a agarrarse y su comprensión del entorno, que puede obtenerse durante el movimiento actual y pasado del manipulador robótico. Por ejemplo, pueden utilizarse ubicaciones de agarre satisfactorio y trayectorias para mejorar adicionalmente la calidad de agarre y reducir el tiempo para encontrar mejores candidatos de agarre.

En la siguiente descripción detallada, se exponen diversos detalles específicos con el fin de proporcionar una comprensión exhaustiva de tales realizaciones. Sin embargo, los expertos en la técnica entenderán que pueden llevarse a la práctica las realizaciones dadas a conocer sin estos detalles específicos que los aspectos de la presente invención no se limitan a las realizaciones dadas a conocer, y que pueden llevarse a la práctica aspectos de la presente invención en una variedad de realizaciones alternativas. En otros casos, los métodos, procedimientos y componentes, que un experto en la técnica entendería bien, no se han descrito en detalle para evitar una explicación innecesaria y pesada.

Además, diversas operaciones pueden describirse como múltiples etapas discretas realizadas de una manera que es útil para entender realizaciones de la presente invención. Sin embargo, no debe interpretarse que el orden de descripción implica que estas operaciones tienen que realizarse en el orden en el que se han presentado, ni siquiera que dependen del orden, a menos que se indique lo contrario. Además, el uso repetido de la frase “en una realización” no se refiere necesariamente a la misma realización, aunque puede que sí. Se observa que las realizaciones dadas a conocer no tienen que interpretarse como realizaciones mutuamente exclusivas, puesto que aspectos de tales realizaciones dadas a conocer pueden combinarse apropiadamente por un experto en la técnica dependiendo de las necesidades de una aplicación dada.

La figura 1 ilustra un diagrama esquemático de una realización no limitativa de un sistema 10 computarizado dado a conocer que implica un manipulador 12 robótico para agarrar objetos 20 en un entorno del manipulador robótico. El manipulador 12 robótico incluye un sensor 14 de obtención de imágenes, tal como, sin limitación, una cámara que puede estar configurada para generar una nube de puntos tridimensional (3D) de una escena dada. Una pinza 16 puede estar unida al manipulador 12 robótico. Se apreciará que, sin limitación, alternativamente, puede construirse una imagen en 3D a partir de diferentes imágenes de una cámara bidimensional (2D) convencional registrando las imágenes desde puntos de vista diferentes, tal como puede implementarse con una cámara de este tipo ubicada en el manipulador robótico.

Tal como puede apreciarse en la figura 2, después de una etapa de inicio 30, tal como se muestra en el bloque 32, durante el movimiento a lo largo de una trayectoria dada del manipulador 12 robótico, el sensor 14 de obtención de imágenes (figura 1) puede disponerse para capturar imágenes que proporcionan diferentes vistas de uno o más objetos de los objetos 20 en el entorno del manipulador robótico. Tal como se observó anteriormente, sin limitación tales imágenes pueden ser imágenes en 3D (por ejemplo, imágenes RGB-D), o imágenes en 2D (por ejemplo, imágenes RGB o imágenes de profundidad) configuradas de manera apropiada. Tal como se muestra en el bloque 34, un procesador 18 (figura 1) puede estar configurado para encontrar, basándose en las diferentes vistas proporcionadas por las imágenes capturadas, ubicaciones de agarre candidatas para realizar el agarre de un objeto respectivo del uno o más objetos de los objetos 20 en el entorno del manipulador robótico.

Tal como se muestra en el bloque 36, el procesador 18 puede estar configurado para calcular valores respectivos indicativos de calidad de agarre para las ubicaciones de agarre candidatas. Tal como se muestra en el bloque 37, basándose en los valores respectivos calculados indicativos de calidad de agarre para las ubicaciones de agarre candidatas, el procesador 18 puede estar configurado para seleccionar una ubicación de agarre y trayectoria que es probable que den como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos de los objetos 20 en el entorno del manipulador robótico. Por ejemplo, la ubicación de agarre seleccionada puede ser, pero no necesita ser, una ubicación de agarre con la probabilidad más alta de resultar satisfactorio. Antes de volver a la etapa 39, tal como se muestra en el bloque 37, el procesador 18 puede estar configurado para ordenar el movimiento del manipulador 12 robótico a lo largo de la trayectoria seleccionada para alcanzar la ubicación de agarre seleccionada.

Sin limitación, el procesador 18 puede estar configurado para ordenar que una pinza 16 ejecute un agarre en la ubicación de agarre seleccionada para agarrar el objeto respectivo del uno o más objetos de los objetos 20 en el entorno del manipulador robótico.

Sin limitación, el procesador 18 puede estar configurado para realizar una planificación de movimiento de agarre sobre la marcha. Es decir, después de detectar una nueva ubicación de agarre candidata con mayor calidad de agarre, el procesador 18 puede estar configurado para calcular en tiempo real una nueva trayectoria desde una posición presente hasta la nueva ubicación de agarre.

Tal como un experto en la técnica apreciará, los términos “tiempo real”, “sobre la marcha” o similares pueden aplicarse sin limitación en el contexto de aplicaciones cuando va a realizarse una respuesta de garantía para introducir estímulos en un límite de tiempo especificado (tal como sin limitación en el orden de milisegundos, microsegundos o más rápido), a menudo denominado “plazo límite”. Por ejemplo, en una aplicación que implica un sistema de control autónomo de un vehículo, para tomar decisiones apropiadas, las señales de sensor deben recibirse y procesarse prácticamente en tiempo real verdadero, de lo contrario las consecuencias pueden ser indeseables. Puede haber aplicaciones en las que no tiene que realizarse una acción de agarre en tiempo real verdadero con respecto al cálculo de una ubicación de agarre y trayectoria dadas.

La finalidad de planificación de movimiento de agarre sobre la marcha es maximizar la probabilidad de un agarre satisfactorio. Además, la replanificación de trayectoria no requiere volver a una posición inicial. Esto reduce el tiempo total implicado para realizar un agarre satisfactorio.

Cuando el agarre ordenado en la ubicación de agarre seleccionada da como resultado un agarre no satisfactorio del objeto respectivo del uno o más objetos de los objetos 20 en el entorno del manipulador robótico, en una realización no limitativa, a partir de los valores respectivos calculados anteriormente indicativos de calidad de agarre para las ubicaciones de agarre candidatas, el procesador 18 puede estar configurado para seleccionar una ubicación de agarre adicional que es probable que dé como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos de los objetos 20 en el entorno del manipulador robótico. Es decir, en el caso de que el agarre falle, (por ejemplo, el objeto respectivo que se está recogiendo se resbala de la pinza 16), el sistema basado en obtención de imágenes dado a conocer detectaría tal problema esencialmente en tiempo real. En tal caso, el manipulador 12 robótico no tiene que moverse de vuelta a lo largo de la trayectoria original sino que simplemente puede intentar ejecutar de nuevo en el acto un nuevo agarre del objeto respectivo, basándose en los candidatos de agarre adicionales.

Se apreciará que en una situación práctica el objeto podría haberse desplazado después de un agarre no satisfactorio. En una situación de este tipo, para realizar otro agarre en la nueva ubicación, se realizaría un registro del objeto y ubicaciones de agarre basándose en la nueva ubicación del objeto. (Tal como apreciará un experto en la técnica el registro del objeto calculará la diferencia en ubicación entre el intento de agarre inicial y la ubicación actual del objeto). Sin limitación, este registro, por ejemplo, puede realizarse basándose en una imagen en rojo, verde y azul (RGB) en 2D de la cámara que puede funcionar a una distancia relativamente corta con respecto al objeto (una cámara de nube de puntos en 3D que puede usarse para calcular candidatos de agarre implica generalmente una distancia mayor desde el objeto).

Sin limitación, el procesador 22 puede estar configurado para asignar una sanción a la ubicación de agarre seleccionada, que dio como resultado el agarre no satisfactorio del objeto respectivo. Tal como debe apreciarse ahora, esto garantiza que el sistema dado a conocer no se queda estancado repitiendo una operación desfavorable (es decir, repetir agarres en una ubicación de agarre no satisfactorio). Tal como se sugirió anteriormente, el siguiente intento de agarre puede ejecutarse en la siguiente mejor ubicación de calidad de agarre identificada (por ejemplo, diferentes conjuntos óptimos locales a partir de un conjunto almacenado anteriormente de candidatos de agarre).

En una realización no limitativa, tal como se muestra en la figura 3, después de iniciar la etapa 40, tal como se muestra en el bloque 42, el procesador 18 puede estar configurado para definir una trayectoria actualizada del manipulador 12 robótico, tal como basándose en las diferentes vistas proporcionadas por las imágenes capturadas. Por ejemplo, suponiendo que se encuentra una ubicación de agarre inicial que tiene una calidad de agarre aceptable, en una realización no limitativa, pueden evaluarse nuevas ubicaciones de agarre a lo largo de la trayectoria del manipulador robótico hasta esa ubicación de agarre inicial, lo que permite el refinamiento de la trayectoria o la replanificación de la trayectoria para un candidato de agarre más adecuado.

Sin limitación, la trayectoria actualizada puede seleccionarse para proporcionar máxima información adicional sobre los objetos (suponiendo que se toman imágenes durante el movimiento del manipulador robótico). Sin limitación, la trayectoria actualizada puede basarse además en la siguiente mejor ubicación de agarre, que puede compilarse a partir de análisis de agarres considerando diferentes posiciones y ángulos de visión de la cámara. Se apreciará que la siguiente ubicación de agarre puede estar en el mismo objeto o puede estar en un objeto diferente. Por ejemplo, la figura 6 ilustra una única taza de café, pero en un caso práctico en el que puede haber implicadas múltiples tazas de café, la ubicación de agarre correspondiente al asa 21 de la taza de café mostrada en la imagen 223 podría ser el asa de una taza diferente. Es decir, una taza de café diferente de la taza de café mostrada en las imágenes 221 y 222 anteriores.

Este procedimiento puede ser favorable para un nivel de optimización superior sin sacrificar la eficiencia de tiempo. Es decir, sin sacrificar la velocidad de funcionamiento. Por ejemplo, tal como se muestra en el bloque 44, durante el movimiento del manipulador 12 robótico a lo largo de la trayectoria actualizada, el sensor 14 de obtención de imágenes puede disponerse para capturar imágenes adicionales que proporcionan diferentes vistas adicionales del uno o más objetos de los objetos 20 en el entorno del manipulador 12 robótico.

Tal como se muestra en el bloque 46, el procesador 18 puede estar configurado para determinar, basándose en las diferentes vistas adicionales proporcionadas por las imágenes adicionales del uno o más objetos de la pluralidad de objetos 20 en el entorno del manipulador robótico, ubicaciones de agarre candidatas adicionales para realizar el agarre del objeto respectivo del uno o más objetos de los objetos 20 en el entorno del manipulador robótico. Tal como se muestra en el bloque 47, el procesador 18 puede estar configurado para calcular valores respectivos indicativos de calidad de agarre para las ubicaciones de agarre candidatas adicionales. Antes de volver a la etapa 49, tal como se muestra en el bloque 48, basándose en los valores respectivos calculados indicativos de calidad de agarre para las ubicaciones de agarre candidatas adicionales, el procesador 18 puede estar configurado para seleccionar una ubicación de agarre y trayectoria que es probable que den como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos de los objetos 20 en el entorno del manipulador robótico.

En una realización no limitativa, tal como se muestra en la figura 4, después de iniciar la etapa 50, tal como se muestra en el bloque 52, cuando el agarre ordenado en la ubicación de agarre seleccionada da como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos de los objetos 20 en el entorno del manipulador robótico. Tal como se muestra en el bloque 53, durante el movimiento del objeto agarrado satisfactoriamente a la ubicación deseada, el sensor 14 de obtención de imágenes puede estar configurado para capturar imágenes que proporcionan diferentes vistas de uno o más objetos restantes de los objetos en el entorno del manipulador robótico.

Por ejemplo, puede ganarse velocidad de funcionamiento evaluando nuevas ubicaciones de agarre candidatas mientras se mueve el manipulador robótico con el objeto agarrado satisfactoriamente a una ubicación deseada de tal objeto. Se contempla que en determinadas situaciones, por ejemplo, objetos sustancialmente difíciles de agarrar, el sistema dado a conocer puede estar configurado para mover activamente tales objetos (por ejemplo, por medio de percepción activa) y explorar los objetos desde diversos lados para identificar candidatos de agarre óptimos.

Tal como se muestra en el bloque 54, basándose en las diferentes vistas proporcionadas por las imágenes capturadas del uno o más objetos restantes de los objetos 20 en el entorno del manipulador robótico, el procesador 18 puede estar configurado para planificar la siguiente trayectoria del manipulador 12 robótico. Tal como se muestra en el bloque 56, la siguiente trayectoria del manipulador robótico puede estar configurada para encontrar ubicaciones de agarre candidatas para ejecutar el agarre de un objeto respectivo del uno o más objetos restantes de los objetos en el entorno del manipulador robótico. Antes de volver a la etapa 59, tal como se muestra en el bloque 58, a partir de las ubicaciones de agarre candidatas determinadas, el procesador 18 puede estar configurado para seleccionar una ubicación de agarre y trayectoria que es probable que den como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos restantes de los objetos en el entorno del manipulador robótico.

En una realización no limitativa, tal como se muestra en la figura 5, después de iniciar la etapa 60, tal como se muestra en el bloque 62, simultáneamente con encontrar ubicaciones de agarre candidatas para realizar el agarre del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico, el procesador 18 puede estar configurado para procesar las imágenes capturadas para realizar una evaluación visual de objetos en el entorno del manipulador robótico para planificar la siguiente trayectoria del manipulador robótico. Antes de volver a la etapa 66, tal como se muestra en el bloque 64, la siguiente trayectoria puede estar configurada para encontrar ubicaciones de agarre candidatas y trayectorias para realizar el siguiente agarre de otro objeto respectivo de los objetos en el entorno del manipulador robótico. Se cree que esta aproximación, en la que, por ejemplo, puede realizarse proactivamente una evaluación visual de objetos en el entorno del manipulador robótico para planificar la siguiente trayectoria del manipulador robótico mientras se mueve el manipulador robótico hacia un objeto de interés a lo largo de una presente trayectoria, aumenta sustancialmente el rendimiento de las realizaciones dadas a conocer en comparación con las aproximaciones conocidas.

Las figuras 7 y 8 ilustran respectivamente secuencias de flujo no limitativas para agarrar la taza 201 de café. La secuencia de flujo mostrada en la figura 7 puede basarse en una imagen 221 inicial de la taza 201 de café en la que el asa 21 de la taza 201 de café no puede observarse. Basándose en la imagen 221 inicial, el sistema dado a conocer puede encontrar una ubicación de agarre inicial (representada esquemáticamente por las flechas 24) para recoger la taza 201 de café y puede planificar una trayectoria 25 inicial para la pinza 16 (unida al manipulador 12 robótico) para alcanzar tal ubicación de agarre inicial.

La secuencia de flujo mostrada en la figura 8 puede producirse mientras el sistema dado a conocer está ejecutando la trayectoria 25 inicial planificada para alcanzar la ubicación 24 de agarre inicial (figura 7). Por ejemplo, en un determinado punto 27 a lo largo de la trayectoria 25, el asa 21 de la taza 20' de café pasa a ser visible, tal como se muestra en la imagen 222. Después, basándose en la imagen 222 que muestra el asa 21 de la taza 20' de café, puede encontrarse una nueva ubicación de agarre (representada esquemáticamente por las flechas 26 en correspondencia con el asa 21) con una mayor calidad de agarre. En este caso, puede planificarse previamente una nueva trayectoria 28 para que la pinza 16 alcance tal nueva ubicación de agarre. Se observa que el manipulador 12 robótico puede avanzar desde el punto 27 a lo largo de la nueva trayectoria 28 para alcanzar la nueva ubicación de agarre. Es decir, el manipulador 12 robótico no tiene que volver hacia la posición inicial en la trayectoria 25 inicial. Se apreciará que esta característica es favorable para un rendimiento eficiente en el tiempo de tareas implicadas para recogida y manipulación robóticas de objetos.

La figura 9 ilustra una acción de agarre no limitativa realizada por la pinza 16 para recoger la taza 20' de café en la ubicación 26 de agarre en correspondencia con el asa 21 de la taza 20' de café. Dicha acción de agarre resulta de las secuencias de flujo de ejemplo ilustradas y explicadas anteriormente en el contexto de las figuras 7 y 8.

En funcionamiento, las realizaciones dadas a conocer proponen una solución rentable y fiable a desafíos técnicos encontrados generalmente en entornos que implican un agarre de alta variabilidad, tal como puede esperarse en las líneas de fabricación de la industria 4.0. Adicionalmente, las realizaciones dadas a conocer mejoran las capacidades técnicas que pueden conseguirse por medio de predicción de calidad de agarre activa en tiempo real, tal como sin limitación, a través de redes neuronales convolucionales (CNN). Esta solución en tiempo real hace un uso innovador de realimentación activa para facilitar un agarre eficiente en el tiempo y consistente de objetos desconocidos altamente variables.

En funcionamiento, las realizaciones dadas a conocer pueden ser eficaces en resolver situaciones de agarre, en las que calcular previamente de manera precisa y sistemática el comportamiento de agarre robótico ha sido generalmente problemático en determinadas aproximaciones de la técnica anterior. Ejemplos de tales situaciones pueden ser, sin limitación: aplicaciones que implican objetos deformables, pose de objetos arbitraria, enredo de objetos, etc.

En funcionamiento, las realizaciones dadas a conocer son eficaces para encontrar ubicaciones de agarre (por ejemplo, ubicaciones de agarre optimizadas) sobre la marcha. Simultáneamente con encontrar tales ubicaciones de agarre, las realizaciones dadas a conocer son eficaces para implementar una planificación de movimiento de agarre sobre la marcha. Sin limitación, tal planificación de movimiento de agarre permite determinar una ruta/trayectoria entre una posición de pinza presente y una ubicación de agarre deseada. Esta determinación de una nueva trayectoria en tiempo real se basa en obtener nuevas vistas de imagen con ubicaciones de agarre de mayor calidad. La replanificación de movimiento no requiere moverse de vuelta a una posición de pinza inicial. Esta característica debe reducir significativamente el tiempo implicado para realizar tareas de agarre.

Aunque se han dado a conocer unas realizaciones de la presente divulgación en formas a modo de ejemplo, resultará evidente a los expertos en la técnica que pueden realizarse muchas modificaciones, adiciones y deleciones en la misma sin apartarse del alcance de la invención tal como se expone en las siguientes reivindicaciones.

Claims

REIVINDICACIONES

Método computarizado que comprende:

durante el movimiento de un manipulador (12) robótico dispuesto para agarrar objetos (20) en un entorno del manipulador robótico, capturar imágenes con un sensor (14) de obtención de imágenes del manipulador robótico, proporcionando las imágenes diferentes vistas de uno o más objetos de los objetos en el entorno del manipulador robótico;

basándose en las diferentes vistas proporcionadas por las imágenes capturadas, encontrar ubicaciones de agarre candidatas para realizar el agarre de un objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico;

calcular valores respectivos indicativos de calidad de agarre para las ubicaciones de agarre candidatas; y basándose en los valores respectivos calculados indicativos de calidad de agarre para las ubicaciones de agarre candidatas, seleccionar una ubicación de agarre y trayectoria que es probable que den como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico; y

ordenar el movimiento del manipulador robótico a lo largo de la trayectoria seleccionada para alcanzar la ubicación de agarre seleccionada,

en el que el método comprende además ejecutar con una pinza (16) unida al manipulador robótico un agarre en la ubicación de agarre seleccionada para agarrar el objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico, y

en el que cuando la ejecución de la ubicación de agarre seleccionada da como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico, mover el objeto agarrado satisfactoriamente a una ubicación deseada, y durante el movimiento del objeto agarrado satisfactoriamente a la ubicación deseada, capturar imágenes con el sensor de obtención de imágenes del manipulador robótico, proporcionando las imágenes diferentes vistas de uno o más objetos restantes de los objetos en el entorno del manipulador robótico, comprendiendo además el método basándose en las diferentes vistas proporcionadas por las imágenes capturadas del uno o más objetos restantes de los objetos en el entorno del manipulador robótico, planificar la siguiente trayectoria del manipulador robótico.

Método según la reivindicación 1, en el que, cuando la ejecución del agarre en la ubicación de agarre seleccionada da como resultado un agarre no satisfactorio del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico, a partir de los valores respectivos calculados indicativos de calidad de agarre para las ubicaciones de agarre candidatas, seleccionar una ubicación de agarre adicional que es probable que dé como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos en el entorno del manipulador robótico, o asignar una sanción a la ubicación de agarre seleccionada.

Método según la reivindicación 1, que comprende además definir una trayectoria actualizada del manipulador robótico basándose al menos en las diferentes vistas proporcionadas por las imágenes capturadas.

Método según la reivindicación 3, que comprende además, durante el movimiento del manipulador robótico a lo largo de la trayectoria actualizada, capturar imágenes adicionales con el sensor de obtención de imágenes del manipulador robótico, proporcionando las imágenes adicionales diferentes vistas adicionales del uno o más objetos de los objetos en el entorno del manipulador robótico;

basándose en las diferentes vistas adicionales proporcionadas por las imágenes adicionales del uno o más objetos de los objetos en el entorno del manipulador robótico, encontrar ubicaciones de agarre candidatas adicionales para realizar el agarre del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico;

calcular valores respectivos indicativos de calidad de agarre para las ubicaciones de agarre candidatas adicionales; y

basándose en los valores respectivos calculados indicativos de calidad de agarre para las ubicaciones de agarre candidatas adicionales, seleccionar una ubicación de agarre de las ubicaciones de agarre candidatas adicionales y trayectoria que es probable que den como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico; y ordenar el movimiento del manipulador robótico a lo largo de la trayectoria seleccionada para alcanzar la ubicación de agarre seleccionada de las ubicaciones de agarre candidatas adicionales.

Método según la reivindicación 1, en el que la siguiente trayectoria del manipulador robótico está configurada para encontrar ubicaciones de agarre candidatas para realizar el agarre de un objeto respectivo del uno o más objetos restantes en el entorno del manipulador robótico;

calcular valores respectivos indicativos de calidad de agarre para las ubicaciones de agarre candidatas; y a partir de los valores respectivos calculados indicativos de calidad de agarre para las ubicaciones de agarre candidatas, seleccionar una ubicación de agarre y trayectoria que es probable que den como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos restantes en el entorno del manipulador robótico; y

ordenar el movimiento del manipulador robótico a lo largo de la trayectoria seleccionada para alcanzar la ubicación de agarre seleccionada para agarrar el objeto respectivo del uno o más objetos restantes.

Método según la reivindicación 1, que comprende además, simultáneamente con encontrar ubicaciones de agarre candidatas para realizar el agarre del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico, procesar las imágenes capturadas para realizar una evaluación visual de objetos en el entorno del manipulador robótico para planificar la siguiente trayectoria del manipulador robótico, estando la siguiente trayectoria configurada para encontrar ubicaciones de agarre candidatas y trayectorias para realizar el siguiente agarre de otro objeto respectivo de los objetos en el entorno del manipulador robótico.

Sistema computarizado que comprende:

un manipulador (12) robótico dispuesto para agarrar objetos (20) en un entorno del manipulador robótico, incluyendo el manipulador robótico un sensor (14) de obtención de imágenes;

una pinza (16) unida al manipulador robótico,

en el que durante el movimiento de un manipulador robótico, el sensor de obtención de imágenes está dispuesto para capturar imágenes que proporcionan diferentes vistas de uno o más objetos de los objetos en el entorno del manipulador robótico; y

un procesador (18) configurado para encontrar, basándose en las diferentes vistas proporcionadas por las imágenes capturadas, ubicaciones de agarre candidatas para realizar el agarre de un objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico,

en el que el procesador está configurado para calcular valores respectivos indicativos de calidad de agarre para las ubicaciones de agarre candidatas,

en el que, basándose en los valores respectivos calculados indicativos de calidad de agarre para las ubicaciones de agarre candidatas, el procesador está configurado para seleccionar una ubicación y trayectoria de agarre que es probable que den como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos en el entorno del manipulador robótico,

en el que el procesador está configurado para ordenar el movimiento del manipulador robótico a lo largo de la trayectoria seleccionada para alcanzar la ubicación de agarre seleccionada, en el que el procesador está configurado para ordenar que la pinza ejecute un agarre en la ubicación de agarre seleccionada para agarrar el objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico, en el que, cuando el agarre ordenado en la ubicación de agarre seleccionada da como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico, el procesador está configurado para ordenar un movimiento del objeto agarrado satisfactoriamente a una ubicación deseada, en el que durante el movimiento del objeto agarrado satisfactoriamente a la ubicación deseada, el sensor de obtención de imágenes está configurado para capturar imágenes que proporcionan diferentes vistas de uno o más objetos restantes de los objetos en el entorno del manipulador robótico, en el que basándose en las diferentes vistas proporcionadas por las imágenes capturadas del uno o más objetos restantes de los objetos en el entorno del manipulador robótico, el procesador está configurado para planificar la siguiente trayectoria del manipulador robótico.

Sistema computarizado según la reivindicación 7, en el que, cuando el agarre ordenado en la ubicación de agarre seleccionada da como resultado un agarre no satisfactorio del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico, a partir de los valores respectivos calculados indicativos de calidad de agarre para las ubicaciones de agarre candidatas, el procesador está configurado para seleccionar una ubicación de agarre adicional y trayectoria que es probable que den como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico, o

el procesador está configurado para asignar una sanción a la ubicación de agarre seleccionada.

Sistema computarizado según la reivindicación 7, en el que el procesador está configurado para definir una trayectoria actualizada del manipulador robótico basándose en las diferentes vistas proporcionadas por las imágenes capturadas.

Sistema computarizado según la reivindicación 7, en el que, durante el movimiento del manipulador robótico a lo largo de la trayectoria actualizada, el sensor de obtención de imágenes está dispuesto para capturar imágenes adicionales que proporcionan diferentes vistas adicionales del uno o más objetos de los objetos en el entorno del manipulador robótico,

en el que el procesador está configurado para determinar, basándose en las diferentes vistas adicionales proporcionadas por las imágenes adicionales del uno o más objetos de la pluralidad de objetos en el entorno del manipulador robótico, ubicaciones de agarre candidatas adicionales para realizar el agarre del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico,

en el que el procesador está configurado para calcular valores respectivos indicativos de calidad de agarre para las ubicaciones de agarre candidatas adicionales, y

en el que basándose en los valores respectivos calculados indicativos de calidad de agarre para las ubicaciones de agarre candidatas adicionales, el procesador está configurado para seleccionar una ubicación y trayectoria de agarre que es probable que den como resultado un agarre satisfactorio del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico.

Sistema computarizado según la reivindicación 10, en el que, simultáneamente con encontrar ubicaciones de agarre candidatas y trayectorias para realizar el agarre del objeto respectivo del uno o más objetos de los objetos en el entorno del manipulador robótico, el procesador está configurado para procesar las imágenes capturadas para realizar una evaluación visual de objetos en el entorno del manipulador robótico para planificar la siguiente trayectoria del manipulador robótico, estando la siguiente trayectoria configurada para encontrar ubicaciones de agarre candidatas y trayectorias para realizar la siguiente agarre de otro objeto respectivo de los objetos en el entorno del manipulador robótico, y/o

en el que el sensor de obtención de imágenes es una cámara seleccionada del grupo que consiste en una cámara configurada para generar una nube de puntos tridimensional (3D) de una escena dada, una cámara bidimensional (2D) configurada para registrar imágenes en 2D a partir de diferentes puntos de vista, y una combinación de dichas cámaras.