ES2774521T3 - Sistema y método de orientación automatizada para una máquina de movimientos coordinados - Google Patents

Abstract

Un método de orientación automatizada, que comprende: tomar una imagen inicial de una pluralidad de piezas de trabajo (Wa, Wb, Wc) de forma similar con una cámara (16) montada en un componente móvil (18) de una máquina de movimiento coordinado (10); reconocer visualmente las piezas de trabajo (Wa, Wb, Wc) individuales, entre la pluralidad de piezas de trabajo (Wa, Wb, Wc) de forma similar, utilizando un programa que se ejecuta en un procesador (42) en comunicación con la cámara (16) y la máquina de movimiento coordinado (10), en donde el programa compara la imagen inicial con un modelo de enseñanza almacenado en una base de datos, en donde el modelo de enseñanza está basado en imágenes del modelo de enseñanza previamente captadas por la cámara (16) y las imágenes del modelo de enseñanza son de un objeto de forma y tamaño similares a una de la pluralidad de piezas de trabajo (Wa, Wb, Wc) de forma similar y cada imagen del modelo de enseñanza es asociada a una respectiva posición de la cámara (16) cuando se tomó la imagen del modelo de enseñanza particular; determinar los ejes x, y, z de acuerdo con un sistema de coordenadas cartesianas y las rotaciones Rx, Ry, Rz sobre dichos ejes del componente móvil (18) con respecto a cada pieza de trabajo (Wa, Wb, Wc) reconocida, entre la pluralidad de piezas de trabajo (Wa, Wb, Wc) reconocidas; y con las posiciones x, y, z, así como Rx, Ry, Rz del componente móvil (18) ahora conocidas, mover el componente móvil (18) de la máquina de movimiento coordinado para realizar un trabajo sobre la pieza de trabajo (Wa, Wb, Wc), caracterizado por que las posiciones x, y, z, así como Rx, Ry, Rz del componente móvil (18) se determinan basándose únicamente en una comparación entre la imagen inicial y los datos de los modelos de enseñanza derivados de las imágenes del modelo de enseñanza tomadas por la cámara (16), sin el uso de un sensor tridimensional para determinar z, que es el desplazamiento del componente móvil (18) con respecto a la pieza de trabajo (Wa, Wb, Wc) reconocida.

Description

DESCRIPCIÓN

Sistema y método de orientación automatizada para una máquina de movimientos coordinados

Campo técnico

Un método y un dispositivo bien conocidos para detectar la posición y la postura de un objeto colocado en un plano incluye almacenar una imagen bidimensional del objeto a detectar como modelo de enseñanza antes de hacer coincidir los patrones del modelo de enseñanza y de los datos de imagen producidos por una cámara. Este método y este dispositivo para detectar el objeto se suele aplicar cuando se transportan piezas y artículos ("piezas de trabajo") agarrados por un robot, en donde el robot está colocado en una posición predeterminada con respecto a las piezas de trabajo que se están agarrando.

Se ha descubierto que para el robot no es adecuado seleccionar una pieza de trabajo individual de una pila desordenada de piezas de trabajo de una misma forma colocadas dentro de un margen predeterminado, p. ej. el campo de visión de una cámara, en cualquier posición y postura tridimensionalmente diferentes. Se han hecho intentos para confiar en datos CAD como modelo de enseñanza; sin embargo, todavía existen limitaciones para detectar la pieza de trabajo cuando la pieza de trabajo se encuentra en ciertas posiciones tridimensionales con respecto a la cámara del robot.

El documento US 7.200.260 B1 describe el uso de una cámara CCD para generar modelos de enseñanza de una pieza de trabajo. El operador establece un sistema de coordenadas de trabajo para una pieza de trabajo fija en su lugar. Entonces se calibra un sistema de coordenadas para la cámara, que está unida a un brazo robótico, y se configura en el controlador del robot. A continuación, se establece la primera posición en el espacio (x, y, z) y la postura, o ángulo, de la cámara con respecto a la pieza de trabajo, y las subsiguientes posiciones y ángulos que adoptará la cámara con respecto a la pieza de trabajo. Luego la cámara adopta estas posiciones, se describen cuatro posiciones diferentes en el documento US 7.200.260 B1, y captura una imagen en cada posición. Estas cuatro imágenes se convierten en cuatro modelos de enseñanza diferentes, que se muestran en la FIG. 4 del documento US 7.200.260 B1 y se muestran en las Figs. 1A a 1D del presente documento.

El documento US 7.200.260 B1 describe el uso de la coincidencia de patrones para localizar una pieza de trabajo que tenga la misma forma del modelo de enseñanza. La coincidencia de patrones localiza un objeto, en este caso sería una imagen de la pieza de trabajo, traducida en x, y, Rz (rotación sobre el eje Z) y escala, que es un porcentaje. La coincidencia de patrones era, al menos en el momento de la fecha de presentación del documento US 7.200.260 B1, un proceso bidimensional (2D). En aquel momento, en la coincidencia de patrones no había cálculos de Rx o Ry. El documento US 7.200.260 B1 describe la producción de datos de imagen con un sensor visual tridimensional (3D), que permite la medición de datos de distancia, y diferencia este sensor de una cámara CCD que, según el documento US 7.200.260 B1, sirve para producir una imagen bidimensional. Usando el método descrito en el documento US 7.200.260 B1, cuando se encuentra un objeto utilizando la coincidencia de patrones, la coordenada z se toma de los datos adquiridos por el sensor visual 3D, y Rx y Ry se derivan de los datos asociados a la posición del robot en la enseñanza, es decir, la posición del robot cuando se tomó la imagen adecuada del modelo de enseñanza. Por lo tanto, si se desea una resolución de -3 grados en un intervalo de 30 grados en Rx y Ry, entonces se necesitan 21 modelos de enseñanza diferentes, lo que ralentizaría en gran medida la coincidencia de patrones. Además, para lograr una precisión de selección razonable con el brazo robótico, es fundamental la alineación del mapa 3D, generado por el sensor visual 3D, con la imagen 2D de la cámara CCD.

Sumario

A la vista de lo anterior, se proporciona un método de orientación automatizada. El método incluye tomar una imagen inicial de una pluralidad de piezas de trabajo de forma similar con una cámara montada en un componente móvil de una máquina de movimiento coordinado. El método también incluye reconocer visualmente unas piezas de trabajo individuales, de entre la pluralidad de piezas de trabajo de forma similar, utilizando un programa que se ejecuta en un procesador comunicado con la cámara y la máquina de movimiento coordinado. El programa compara la imagen inicial con un modelo de enseñanza almacenado en una base de datos. El modelo de enseñanza se basa en imágenes del modelo de enseñanza previamente captadas por la cámara, y las imágenes del modelo de enseñanza son de un objeto similar, en forma y tamaño, a una de las piezas de la pluralidad de piezas de trabajo de forma similar. El método también incluye determinar las coordenadas x, y, z, así como Rx, Ry, Rz del componente móvil con respecto a cada pieza de trabajo reconocida de entre la pluralidad de piezas de trabajo reconocidas. El método incluye adicionalmente mover el componente móvil de la máquina de movimiento coordinado después de determinar las coordenadas x, y, z, así como Rx, Ry, Rz del componente móvil.

A la vista de lo anterior, un sistema de orientación automatizado para una máquina de movimiento coordinado incluye una cámara y al menos un procesador. La cámara está montada en un componente móvil de la máquina de movimiento coordinado. El procesador está en comunicación con la cámara y la máquina de movimiento coordinado. El procesador está configurado para reconocer visualmente las piezas de trabajo individuales, de entre una pluralidad de piezas de trabajo de forma similar, usando un programa que se ejecuta en el procesador. El programa compara la imagen inicial con un modelo de enseñanza almacenado en una base de datos. El modelo de enseñanza se basa en imágenes del modelo de enseñanza previamente captadas por la cámara, y las imágenes del modelo de enseñanza son de un objeto similar, en forma y tamaño, a una pieza de la pluralidad de piezas de trabajo de forma similar. El procesador está configurado además para determinar las coordenadas x, y, z, así como Rx, Ry, Rz del componente móvil con respecto a cada pieza de trabajo reconocida, de entre la pluralidad de piezas de trabajo reconocidas, y para mover el componente móvil de la máquina de movimiento coordinado después de determinar las coordenadas x, y, z, así como Rx, Ry, Rz del componente móvil.

Breve descripción de los dibujos

Las FIGS. 1A-1D representan imágenes de modelos de enseñanza usadas con un método conocido para generar modelos de enseñanza.

La FIG. 2 es una representación esquemática de un robot que tiene un brazo robótico y una unidad de tratamiento de imágenes en comunicación con el robot.

La FIG. 3 es una representación esquemática de los componentes de un controlador robótico para el robot representado en la FIG. 2.

La FIG. 4 es una representación esquemática de los componentes de la unidad de tratamiento de imágenes representada en la FIG. 4.

Las FIGS. 5A-5F representan imágenes del modelo de enseñanza para usar con el método y los sistemas descritos en el presente documento.

La FIG. 6 representa una porción distal del brazo robótico del robot mostrado en la FIG. 2 y una pluralidad de piezas de trabajo.

La FIG. 7 es un diagrama de flujo de un método para realizar trabajo, por ejemplo, el agarre de una pieza de trabajo.

La FIG. 8 es un diagrama de flujo de etapas adicionales del método para realizar trabajo, por ejemplo, el agarre de una pieza de trabajo

Descripción detallada

Se describirá en detalle un sistema y un método de reconocimiento y orientación automatizados para usar con un robot 10. Sin embargo, el sistema y el método de reconocimiento y orientación automatizados se pueden usar con cualquier tipo de máquina de movimiento coordinado. Además, el sistema y el método de reconocimiento y orientación automatizados son útiles para reconocer las piezas de trabajo que tiene que agarrar el robot 10, pero el sistema y el método de reconocimiento y orientación automáticos también pueden ser útiles para otras operaciones automatizadas, tales como pintar la pieza de trabajo, aplicar adhesivo a la pieza de trabajo, soldar la pieza de trabajo, etc., utilizando el robot 10 u otra máquina de movimiento coordinado.

La FIG. 2 representa un robot 10 en comunicación con una unidad 12 de tratamiento de imágenes. El robot 10 incluye un controlador robótico 14, que puede ser convencional, y un dispositivo de captación de imagen, que puede ser una cámara CCD 16 convencional. El robot 10 incluye un brazo robótico 18 que se puede mover en múltiples direcciones y en múltiples ejes. La cámara 16 y un ejecutor final, que es la pinza 20 en la realización ilustrada, están montados en una porción extrema distal del brazo robótico 18. Otros tipos de ejecutores finales, tales como un cepillo, una herramienta de corte, un taladro, un imán, una lijadora, un atornillador, una pistola pulverizadora, una ventosa, una pistola de soldar, etc., podrían montarse en el brazo robótico 18 en lugar de la pinza.

La relación relativa entre un sistema 22 de coordenadas de robot, que se encuentra en la porción del extremo distal del brazo robótico 18, y un sistema 24 de coordenadas de cámara para la cámara 16 se establece de una manera convencional, p. ej. basándose en el desplazamiento entre la parte distal extrema del brazo robótico 18, o una ubicación en la pinza 20, y la cámara 16. Una imagen captada por la cámara 16 es enviada a la unidad 12 de tratamiento de imágenes a través de una línea 26 de comunicación, que puede ser inalámbrica. La unidad 12 de tratamiento de imágenes también incluye un monitor 28 para visualizar la imagen tomada.

La FIG. 3 representa esquemáticamente el controlador robótico 14, que puede tener la misma construcción que un controlador robótico convencional. Un bus 40 conecta un procesador principal 42, una memoria 44 que incluye RAM, ROM y memoria no volátil, una interfaz 46 de enseñanza, una interfaz 48 de la unidad de tratamiento de imágenes, una interfaz 50 de dispositivo externo y una unidad 52 de servocontrol. En la ROM de la memoria 44 se almacena un programa de sistema para realizar las funciones básicas del robot 10 y del controlador robótico 14. En la memoria no volátil de la memoria 44 se almacena un programa para la operación del robot que varía según la aplicación y se prepara de antemano, junto con datos preestablecidos relevantes. El programa para la operación del robot, que varía según la aplicación, se puede introducir a través de la interfaz 46 de enseñanza. La unidad 52 de servocontrol incluye los servocontroladores #1 a #n (en donde n indica el número total de ejes del robot). Cada uno de los servocontroladores incluye un procesador y una memoria dispuestos para llevar a cabo el control de un servomotor M1-Mn del eje correspondiente. Las salidas de los servocontroladores se entregan a través de los servoamplificadores A1-An a los servomotores M1-Mn de los ejes, que están provistos de detectores de posición/velocidad para detectar individualmente la posición y la velocidad de los servomotores con el fin de retroalimentar a los servocontroladores con la posición/velocidad de los servomotores. Los dispositivos externos tales como actuadores y sensores de equipos periféricos se conectan al controlador robótico 14 a través de la interfaz 50 de dispositivo externo.

La FIG. 4 representa esquemáticamente la unidad 12 de tratamiento de imágenes, que está conectada al controlador robótico 14 a través de la interfaz 48 de la unidad de tratamiento de imágenes (FIG. 3). Un procesador 60 está conectado a través de un bus 62 a una ROM 64 para almacenar un programa de sistema ejecutado por el procesador 60, a un procesador 66 de imagen, a una interfaz 68 de cámara, a una interfaz 70 de monitor, a una memoria 72 de marcos, a una memoria 74 no volátil, a una RAM 76 utilizada para el almacenamiento temporal de datos, y a una interfaz 78 del controlador robótico. La interfaz 68 de cámara permite que la cámara 16 (FIG. 2) se conecte con la unidad 12 de tratamiento de imágenes. La interfaz 70 de monitor permite que la unidad 12 de tratamiento de imágenes se conecte con el monitor 28 (FIG. 2). La interfaz 78 del controlador robótico permite que la unidad 12 de tratamiento de imágenes se conecte con el controlador robótico 14.

Con referencia de nuevo a la FIG. 2, un objeto O está fijo en su lugar y la cámara 16, que está fija al brazo robótico 18, toma imágenes del objeto O desde una pluralidad de direcciones diferentes. Se genera un modelo de enseñanza del objeto O basado en los datos de imagen producidos al tomar imágenes del objeto O mediante la cámara 16. Por ejemplo, se pueden generar seis imágenes de modelo de enseñanza capturando seis imágenes del objeto O desde seis lados diferentes del objeto O, por ejemplo, superior, izquierdo, frontal, posterior, derecho e inferior, tal como se muestra en las FIGS. 5A-5F. Cada imagen del modelo de enseñanza se almacena en la unidad 12 de tratamiento de imágenes, por ejemplo en la RAM 76, y cada imagen del modelo de enseñanza se asocia a una respectiva posición (x, y, z, Rx, Ry, Rz) de la cámara 16 cuando se tomó la imagen particular del modelo de enseñanza. Por ejemplo, la posición de la cámara se puede establecer en cero, que es un punto arbitrario en el espacio ocupado por la cámara 16 en el que todas las coordenadas (x, y, z, Rx, Ry y Rz) miden cero (0, 0, 0, 0, 0, 0) cuando la cámara 16 toma la imagen del modelo de enseñanza que se muestra en la FIG. 5A, que es una imagen de la parte superior del objeto O. El robot 10 puede mover la cámara 16 hasta otra ubicación para recoger la imagen del modelo de enseñanza que se muestra en la FIG. 5B, por ejemplo girando la cámara 16 sobre el eje x, así como moviendo la cámara 16 en el plano y-z del sistema de coordenadas de la cámara 24 para tomar una imagen de uno de los lados, es decir, el lado izquierdo, del objeto O. La ubicación de la cámara 16 al tomar la imagen del modelo de enseñanza que se muestra en la FIG. 5B podría ser, por ejemplo, (0, 15, 20, 90, 0, 0). El proceso puede repetirse para que el robot 10 mueva la cámara 16 hasta otras ubicaciones para tomar las imágenes del modelo de enseñanza que se muestran en las FIGS. 5C-5F, y pueden almacenarse en la unidad 12 de tratamiento de imágenes las coordenadas del sistema 24 de coordenadas de cámara cuando la cámara 16 tomó cada imagen.

Además de almacenar cada imagen del modelo de enseñanza y la posición de la cámara 16 cuando se tomó la imagen particular del modelo de enseñanza, también puede almacenarse en la base de datos la relación entre las propias imágenes del modelo de enseñanza. Por ejemplo, también puede almacenarse en la unidad de tratamiento de imágenes que la FIG. 5A es la imagen del modelo de enseñanza para la parte superior del objeto O y que la FIG. 5B es la imagen del modelo de enseñanza para el lado izquierdo del objeto O (similarmente para las FIGS. 5C-5F).

El tratamiento de las imágenes del modelo de enseñanza que se muestran en la FIG. 5 permite que la unidad 12 de tratamiento de imágenes "aprenda" el objeto O. Puede usarse un software de reconocimiento y orientación visual, tal como el software de reconocimiento y orientación visual CortexRecognition® comercializado por Recognition Robotics, Inc., para aprender el objeto O y para ubicar el objeto O en las coordenadas x, y, z, así como Rx, Ry, Rz.

Después de que la unidad 12 de tratamiento de imágenes haya aprendido el objeto O, el robot 10 puede ser utilizado para realizar operaciones en piezas de trabajo de forma y tamaño similares. La FIG. 6 representa una pluralidad de piezas de trabajo Wa, Wb, Wc que tienen todas una forma y un tamaño similares al objeto O de la FIG. 2, pero las piezas de trabajo están colocadas en diferentes orientaciones con respecto a la cámara 16 en comparación con las imágenes del modelo de enseñanza mostradas en las FIGS. 5A-5F. La FIG. 7 representa un diagrama de flujo para realizar un trabajo sobre la pluralidad de piezas de trabajo, que se describirá como una operación de agarre. Sin embargo, si se hubiera conectado al brazo robótico 18 un ejecutor final distinto de la pinza 20, se podría realizar una operación diferente, por ejemplo, cepillar, cortar, taladrar, agarrar con un imán, lijar, apretar un tornillo, pulverizar, agarrar con una ventosa, soldar, etc.

En la etapa 110 de la FIG. 7, el brazo robótico 18 y la cámara 16 se mueven hasta una ubicación, con respecto a las piezas de trabajo Wa, Wb, Wc, que normalmente sobrevuela las piezas de trabajo Wa, Wb, Wc, estando cada una de las piezas de trabajo Wa, Wb, Wc dentro del campo de visión (FOV) de la cámara 16. En 112, se toma una imagen inicial del FOV con la cámara 16 y se envía a la unidad 12 de tratamiento de imágenes. En 114, la unidad 12 de tratamiento de imágenes compara la imagen inicial con modelos de enseñanza, que pueden ser las imágenes del modelo de enseñanza (FIGS. 5A-5F) o datos extraídos de las imágenes del modelo de enseñanza y almacenados en la unidad 12 de tratamiento de imágenes. En 116, la unidad 12 de tratamiento de imágenes determina si se ha reconocido alguna pieza de trabajo, por ejemplo, determinando si en la imagen inicial existe una coincidencia adecuada con un modelo de enseñanza.

Cuando se toma la imagen, en 112, con la cámara 16 en la posición mostrada en la FIG. 6, la pieza de trabajo Wa tendrá los lados superior y derecho de la pieza de trabajo Wa dentro del FOV, la pieza de trabajo Wb tendrá los lados posterior y superior de la pieza de trabajo Wb en el FOV, y la pieza de trabajo Wc tendrá los lados inferior y posterior de la pieza de trabajo Wc en el FOV. Como es evidente, la presentación de cada pieza de trabajo Wa, Wb, Wc con respecto a la cámara 16 es diferente a la presentación del objeto O en las imágenes del modelo de enseñanza mostradas en las Figs. 5A-5F. Usando el software de reconocimiento y orientación visual mencionado anteriormente, por ejemplo, la unidad 12 de tratamiento de imágenes puede reconocer la pieza de trabajo 5A para determinar si existe una coincidencia adecuada entre la imagen de la pieza de trabajo Wa, dentro de la imagen inicial, y la imagen del modelo de enseñanza mostrado en la FIG. 5A.

Si en 116 la unidad 12 de tratamiento de imágenes no reconoce ninguna pieza de trabajo, entonces el proceso vuelve a la etapa 110 y mueve el brazo robot 18 y la cámara 16 a otra ubicación por encima de las piezas de trabajo Wa, Wb, Wc. La cámara 16 toma otra imagen, en 112, que también puede denominarse imagen inicial, la unidad 12 de tratamiento de imágenes compara, en 114, la imagen inicial con las imágenes del modelo de enseñanza (FIGS. 5A-5F) almacenadas en la unidad 12 de tratamiento de imágenes, y se repite la etapa 116 para que la unidad 12 de tratamiento de imágenes determine si en la imagen subsiguiente existe una coincidencia adecuada con un modelo de enseñanza.

Si la unidad 12 de tratamiento de imágenes reconoce al menos una de las piezas de trabajo Wa, Wb, Wc, entonces, en 118, se procesa la imagen inicial para determinar las coordenadas x, y, z, así como Rx, Ry, Rz de la pinza 20 (u otro ejecutor final) con respecto a cada pieza de trabajo reconocida. El programa que se ejecuta en la unidad 12 de tratamiento de imágenes, tal como el software de reconocimiento y orientación visual CortexRecognition® mencionado anteriormente, puede determinar las coordenadas x, y, z, así como Rx, Ry, Rz de la cámara 16 con respecto a una pieza de trabajo individual, tal como la pieza de trabajo Wa de la FIG. 6. Dado que se conoce el desplazamiento entre el sistema de coordenadas de la cámara 24 y el sistema de coordenadas del robot 22, se pueden determinar las coordenadas x, y, z, así como Rx, Ry, Rz de la pinza 20 con respecto a la pieza de trabajo individual Wa.

Con la posición de la cámara 16 con respecto a la pieza de trabajo, p. ej. la pieza de trabajo Wa de la FIG. 6, ahora conocida, el brazo robótico 18 puede ser movido mediante el controlador robótico 14 para realizar el trabajo sobre la pieza de trabajo Wa, en 120. Por ejemplo, se puede mover el brazo robótico 18 para agarrar la pieza de trabajo Wa usando la pinza 20. Tal como se mencionó anteriormente, también se pueden realizar otros tipos de trabajo sobre la pieza de trabajo Wa si el ejecutor final, conectado al brazo robótico 18, es diferente de la pinza 20.

La relación entre las propias imágenes del modelo de enseñanza también se almacena en la unidad 12 de tratamiento de imágenes. Esto también puede facilitar la realización de trabajos sobre la pieza de trabajo Wa con menos reconocimiento. Por ejemplo, si la pieza de trabajo Wa es localizada en la imagen inicial de la etapa 112 basándose en una coincidencia con la FIG. 5E, que es el lado derecho del objeto O, entonces la parte superior de la pieza de trabajo Wa puede ser ubicada en función de la relación entre la FIG. 5A y la FIG. 5E. La relación entre la FIG. 5A y la FIG. 5E puede ser almacenada de tal manera que la unidad 12 de tratamiento de imágenes sepa que el lado del objeto O representado por la FIG. 5A está rotacionalmente desplazado 90 grados, alrededor del eje x, en el plano y-z desde el lado del objeto O representado por la FIG. 5E. Esta información puede usarse para enviar instrucciones al brazo robótico 18 a través del controlador robótico 14 para guiar la pinza 20 hacia la parte superior de la pieza de trabajo Wa.

La FIG. 8 representa etapas adicionales que pueden realizarse después de que las piezas de trabajo Wa, Wb, Wc hayan sido reconocidas en la etapa 116 de la FIG. 7. En 130, se pueden determinar las coordenadas x, y, z, así como Rx, Ry, Rz de la pinza 20 (u otro ejecutor final o ubicación en el brazo robótico 18) con respecto a cada pieza de trabajo Wa, Wb, Wc. Tal como se explicó anteriormente, la presentación de cada pieza de trabajo Wa, Wb, Wc con respecto a la cámara 16 es diferente a la presentación del objeto O en las imágenes del modelo de enseñanza mostradas en las FIGS. 5A-5F. Por lo tanto, la perspectiva de cada pieza de trabajo en la imagen inicial, que se recogió en 112, en la FIG. 7, es diferente. En 132, un procesador comunicado con la cámara 16 y el robot 10, tal como un procesador situado en la unidad 12 de tratamiento de imágenes o en el controlador robótico 14, clasifica cada pieza de trabajo Wa, Wb, Wc por el orden de su perspectiva en la imagen inicial. La perspectiva de cada pieza de trabajo en la imagen inicial se puede determinar utilizando el software de orientación y reconocimiento visual CortexRecognition® antes mencionado, por ejemplo.

En 134, el procesador comunicado con la cámara 16 y el robot 10, tal como el procesador situado en la unidad 12 de tratamiento de imágenes o en el controlador robótico 14, clasifica cada pieza de trabajo Wa, Wb, Wc en la imagen inicial por el orden de su desplazamiento en z desde la cámara 16. El desplazamiento en z de cada pieza de trabajo en la imagen inicial también se puede determinar utilizando el software de reconocimiento y orientación visual CortexRecognition® antes mencionado, por ejemplo.

En 136, el procesador comunicado con la cámara 16 y el robot 10, tal como el procesador situado en la unidad 12 de tratamiento de imágenes o en el controlador robótico 14, clasifica cada pieza de trabajo Wa, Wb, Wc en la imagen inicial por el orden de su desplazamiento desde el centro de la imagen inicial. El desplazamiento desde el centro de cada pieza de trabajo en la imagen inicial también se puede determinar utilizando el software de reconocimiento y orientación visual CortexRecognition® antes mencionado, por ejemplo.

En 138, el procesador comunicado con la cámara 16 y el robot 10, tal como el procesador situado en la unidad 12 de tratamiento de imágenes o en el controlador robótico 14, verifica si existe una obstrucción sobre cualquiera de las piezas de trabajo Wa, Wb, Wc. Por ejemplo, en una operación de agarre, cada una de las piezas de trabajo Wa, Wb, Wc tendrá una ubicación de trabajo (agarre) en donde la pinza 20 debe agarrar la pieza de trabajo. Esta ubicación de trabajo se puede enseñar a la unidad 12 de tratamiento de imágenes, por ejemplo, utilizando el software de reconocimiento y orientación visual CortexRecognition® mencionado anteriormente. El procesador puede determinar si la ubicación de agarre está obstruida, por ejemplo, por otra pieza de trabajo. Si la ubicación de trabajo (agarre) no se reconoce en la imagen inicial, el procesador determina que la ubicación de trabajo (agarre) está obstruida.

En 150, el robot 10 mueve la cámara 16 para deshacer la perspectiva de una pieza de trabajo individual, por ejemplo, la pieza de trabajo Wa, basándose en las clasificaciones mencionadas anteriormente y después de verificar que la ubicación de agarre de la pieza de trabajo Wa no está obstruida. Por ejemplo, después de determinar la perspectiva para cada pieza de trabajo reconocida Wa, Wb, Wc con respecto a la cámara 16 en la imagen inicial, la cámara 16 se mueve con el brazo robótico 18 hasta una ubicación de perspectiva reducida con respecto a una pieza de trabajo reconocida, p. ej. la pieza de trabajo Wa, de entre la pluralidad de piezas reconocidas. La ubicación de perspectiva reducida es allí donde se encuentra la cámara 16 con respecto a la pieza de trabajo Wa, por lo que se espera que la imagen subsiguiente que tome la cámara 16 tendrá una perspectiva reducida en comparación con la imagen inicial. Idealmente, la cámara 16 se mueve hasta una ubicación cero con respecto a la pieza de trabajo Wa. La ubicación cero es allí donde se encontraba la cámara 16 con respecto al objeto O, que se utilizó para generar el modelo de enseñanza, cuando la cámara 16 tomó una imagen del modelo de enseñanza. Dado que las coordenadas x, y, z, así como Rx, Ry, Rz para la cámara 16 con respecto a cada pieza de trabajo reconocida Wa, Wb, Wc se puede determinar en un sistema de coordenadas mundial, el brazo robótico 18 puede ser movido hasta una nueva ubicación, por ejemplo la ubicación de perspectiva reducida, por el controlador robótico 14.

La determinación de qué pieza de trabajo Wa, Wb, Wc, de entre las piezas de trabajo reconocidas, debe moverse primero para deshacer la perspectiva puede basarse en (1) elegir la pieza de trabajo Wa, Wb, Wc que tenga la menor perspectiva basándose en las clasificaciones de la etapa 132, (2) elegir la pieza de trabajo Wa, Wb, Wc que esté más cerca de la cámara 16 basándose en las clasificaciones de la etapa 134, (3) elegir la pieza de trabajo Wa, Wb, Wc que esté más cerca del centro de la imagen inicial basándose en las clasificaciones de la etapa 136, o (4) elegir la pieza de trabajo Wa, Wb, Wc que no tenga obstrucción de la ubicación de trabajo (agarre), tal como se determinó en la etapa 138. Además, se pueden ponderar las clasificaciones; por ejemplo, se pueden elegir las piezas de trabajo que estén más cerca de la cámara 16, según el eje z, antes que las piezas de trabajo que se encuentren más lejos de la cámara 16, según el eje z.

Después de haber movido la cámara 16 para deshacer la perspectiva de una pieza de trabajo individual, en 150, la cámara 16 toma una imagen subsiguiente en 152. Usando el programa que se ejecuta en el procesador, en 154 se puede determinar si la cámara 16 (o la pinza 20) se encuentra en la ubicación cero. Si la cámara 16 (o la pinza 20) no se encuentra en la ubicación cero, entonces el proceso puede volver a 150 para deshacer la perspectiva nuevamente. Si la cámara 16 (o la pinza 20) se encuentra en la ubicación cero, entonces el procesador puede confirmar, en 156, que la ubicación de trabajo (agarre) para la pieza de trabajo Wa no está obstruida. Si la ubicación de trabajo (agarre) para la pieza de trabajo Wa no está obstruida, entonces, en 158, el brazo robótico 18 puede mover la pinza 20 para agarrar la pieza de trabajo Wa. Sin embargo, si la ubicación de trabajo (agarre) para la pieza de trabajo Wa está obstruida, entonces, en 162, puede usarse el brazo robótico 18 para sacudir la mesa u otra estructura que soporte las piezas de trabajo. Si se agita la mesa en 162, entonces el proceso vuelve a la etapa110 de la FIG. 7.

Al utilizar el software de reconocimiento y orientación visual antes mencionado para determinar una imagen de modelo de enseñanza coincidente, se necesitan menos modelos de enseñanza y se reducen los tiempos de tratamiento en comparación con otros sistemas de orientación automatizada. Además, la unidad 12 de tratamiento de imágenes está configurada para determinar las coordenadas x, y, z así como Rx, Ry, Rz de la pinza 20 (u otro ejecutor final), con respecto a la pieza de trabajo Wa, basándose únicamente en una comparación entre la imagen inicial y los datos de los modelos de enseñanza derivados de las imágenes del modelo de enseñanza tomadas por la cámara 16. No se requiere un sensor 3D adicional para determinar el desplazamiento (medido en el eje z) del ejecutor final con respecto a la pieza de trabajo Wa. Los procesos descritos en el presente documento se han descrito con referencia a una operación de agarre, sin embargo, también se podrían realizar otras operaciones, que se mencionaron anteriormente, utilizando el sistema y el método de orientación automatizada descritos en el presente documento. Además, también podrían emplearse otros tipos de software de reconocimiento y orientación visual capaces de determinar las coordenadas x, y, z, así como Rz, Ry, Rz de una cámara 16 con respecto a un objeto.

Se apreciará que varias de las características y funciones descritas anteriormente, o alternativas o variedades de las mismas, pueden combinarse a voluntad en muchos otros sistemas o aplicaciones diferentes. Además, los expertos en la materia pueden realizar diversas alternativas, modificaciones, variaciones o mejoras actualmente imprevistas o inesperadas, que también pretenden abarcar las siguientes reivindicaciones.

Claims (14)

REIVINDICACIONES

1. Un método de orientación automatizada, que comprende:

tomar una imagen inicial de una pluralidad de piezas de trabajo (Wa, Wb, Wc) de forma similar con una cámara (16) montada en un componente móvil (18) de una máquina de movimiento coordinado (10); reconocer visualmente las piezas de trabajo (Wa, Wb, Wc) individuales, entre la pluralidad de piezas de trabajo (Wa, Wb, Wc) de forma similar, utilizando un programa que se ejecuta en un procesador (42) en comunicación con la cámara (16) y la máquina de movimiento coordinado (10), en donde el programa compara la imagen inicial con un modelo de enseñanza almacenado en una base de datos, en donde el modelo de enseñanza está basado en imágenes del modelo de enseñanza previamente captadas por la cámara (16) y las imágenes del modelo de enseñanza son de un objeto de forma y tamaño similares a una de la pluralidad de piezas de trabajo (Wa, Wb, Wc) de forma similar y cada imagen del modelo de enseñanza es asociada a una respectiva posición de la cámara (16) cuando se tomó la imagen del modelo de enseñanza particular; determinar los ejes x, y, z de acuerdo con un sistema de coordenadas cartesianas y las rotaciones Rx, Ry, Rz sobre dichos ejes del componente móvil (18) con respecto a cada pieza de trabajo (Wa, Wb, Wc) reconocida, entre la pluralidad de piezas de trabajo (Wa, Wb, Wc) reconocidas; y

con las posiciones x, y, z, así como Rx, Ry, Rz del componente móvil (18) ahora conocidas, mover el componente móvil (18) de la máquina de movimiento coordinado para realizar un trabajo sobre la pieza de trabajo (Wa, Wb, Wc), caracterizado porque

las posiciones x, y, z, así como Rx, Ry, Rz del componente móvil (18) se determinan basándose únicamente en una comparación entre la imagen inicial y los datos de los modelos de enseñanza derivados de las imágenes del modelo de enseñanza tomadas por la cámara (16), sin el uso de un sensor tridimensional para determinar z, que es el desplazamiento del componente móvil (18) con respecto a la pieza de trabajo (Wa, Wb, Wc) reconocida.

2. El método de orientación automatizada de la reivindicación 1, que incluye adicionalmente:

clasificar cada pieza de trabajo (Wa, Wb, Wc) reconocida basándose en una perspectiva con respecto a la cámara para cada pieza de trabajo (Wa, Wb, Wc) reconocida.

3. El método de orientación automatizada de la reivindicación 1, que incluye adicionalmente:

clasificar cada pieza de trabajo (Wa, Wb, Wc) reconocida basándose en un desplazamiento en el eje z entre la cámara (16) y cada pieza de trabajo (Wa, Wb, Wc) reconocida.

4. El método de orientación automatizada de la reivindicación 1, que incluye adicionalmente:

clasificar cada pieza de trabajo (Wa, Wb, Wc) reconocida basándose en el desplazamiento desde el centro de la imagen inicial.

5. El método de orientación automatizada de la reivindicación 1, que incluye adicionalmente:

clasificar cada pieza de trabajo (Wa, Wb, Wc) reconocida basándose en una perspectiva con respecto a la cámara (16) para cada pieza de trabajo (Wa, Wb, Wc) reconocida;

clasificar cada pieza de trabajo (Wa, Wb, Wc) reconocida basándose en el desplazamiento en el eje z entre la cámara (16) y cada pieza de trabajo (Wa, Wb, Wc) reconocida; y

clasificar cada pieza de trabajo (Wa, Wb, Wc) reconocida basándose en el desplazamiento desde el centro de la imagen inicial,

en donde mover el componente móvil (18) de la máquina de movimiento coordinado (10) incluye adicionalmente mover el componente móvil (18) para realizar un trabajo sobre al menos una pieza reconocida o para tomar una imagen subsiguiente de al menos una pieza de trabajo reconocida basándose en al menos una clasificación.

6. El método de orientación automatizada de la reivindicación 5, que incluye adicionalmente:

tomar la imagen subsiguiente con la cámara (16) después de mover el componente móvil (18); y determinar si la ubicación de trabajo de al menos una pieza de trabajo (Wa, Wb, Wc) reconocida es visible en la imagen subsiguiente.

7. El método de orientación automatizada de la reivindicación 5, en donde mover el componente móvil (18) de la máquina de movimiento coordinado (10) incluye adicionalmente mover el componente móvil (18) basándose en cada clasificación.

8. El método de orientación automatizada de la reivindicación 5, en donde mover el componente móvil (18) de la máquina de movimiento coordinado (10) incluye adicionalmente mover el componente móvil (10) hasta una ubicación cero con respecto a la al menos una pieza de trabajo (Wa, Wb, Wc) reconocida, en donde la ubicación cero es allí donde estaba situada la cámara (16) con respecto al objeto que se utilizó para generar el modelo de enseñanza, cuando la cámara (16) tomó una imagen del modelo de enseñanza.

9. El método de orientación automatizada de la reivindicación 1, que comprende adicionalmente:

determinar una perspectiva para cada pieza de trabajo (Wa, Wb, Wc) reconocida con respecto a la cámara (16) en la imagen inicial; y

después de determinar la perspectiva para cada pieza de trabajo (Wa, Wb, Wc) reconocida con respecto a la cámara (16) en la imagen inicial, mover la cámara (16) con la máquina de movimiento coordinado (10) hasta una ubicación de perspectiva reducida con respecto a una pieza de trabajo (Wa, Wb, Wc) reconocida, de entre la pluralidad de piezas de trabajo (Wa, Wb, Wc) reconocidas, en donde la ubicación de perspectiva reducida es allí donde se encuentra la cámara (16), con respecto a la pieza de trabajo (Wa, Wb, Wc) reconocida, en donde se espera que la imagen subsiguiente que será captada por la cámara (16) tenga una perspectiva reducida en comparación con la imagen inicial.

10. El método de orientación automatizada de la reivindicación 9, que comprende adicionalmente:

tomar una imagen subsiguiente de la pieza de trabajo (Wa, Wb, Wc) reconocida con la cámara (16) en la ubicación de perspectiva reducida; y

determinar x, y, z, así como Rx, Ry, Rz del componente móvil (18) con respecto a la pieza de trabajo (Wa, Wb, Wc) reconocida; y

mover el componente móvil (18) para realizar el trabajo sobre una pieza de trabajo (Wa, Wb, Wc) reconocida después de determinar x, y, z, así como Rx, Ry, Rz del componente móvil (18) con respecto a la pieza de trabajo (Wa, Wb, Wc) reconocida.

11. El método de orientación automatizada de la reivindicación 10, que comprende adicionalmente: determinar si una ubicación de trabajo en la pieza de trabajo (Wa, Wb, Wc) reconocida es visible en la imagen subsiguiente antes de mover el componente móvil (18) para realizar el trabajo sobre la pieza de trabajo (Wa, Wb, Wc) reconocida.

12. El método de orientación automatizada de la reivindicación 1, en donde las imágenes del modelo de enseñanza incluyen imágenes de cada una de las vistas superior, izquierda, frontal, posterior, derecha e inferior del objeto.

13. El método de orientación automatizada de la reivindicación 12, en donde la relación de las imágenes del modelo de enseñanza entre sí se almacena en la base de datos.

14. Un sistema de orientación automatizada para una máquina de movimiento coordinado (10), comprendiendo el sistema:

una cámara (16) montada en un componente móvil (18) de la máquina de movimiento coordinado (10); y al menos un procesador (42) en comunicación con la cámara (16) y la máquina de movimiento coordinado (10), estando configurado el al menos un procesador (42) para reconocer visualmente las piezas de trabajo (Wa, Wb, Wc) individuales, de entre una pluralidad de piezas de trabajo (Wa, Wb, Wc) de forma similar, utilizando un programa que se ejecuta en el al menos un procesador (42), en donde el programa está configurado para comparar una imagen inicial, que es captada por la cámara (16), con un modelo de enseñanza almacenado en una base de datos, en donde el modelo de enseñanza está basado en imágenes del modelo de enseñanza previamente captadas por la cámara (16) y las imágenes del modelo de enseñanza son de un objeto de forma y tamaño similares a una de la pluralidad de piezas de trabajo de forma similar, y cada imagen del modelo de enseñanza está asociada a una respectiva posición de la cámara (16) cuando se tomó la imagen particular del modelo de enseñanza;

estando además configurado el al menos un procesador (42) para determinar los ejes x, y, z de acuerdo con un sistema de coordenadas cartesianas y las rotaciones Rx, Ry, Rz sobre dichos ejes del componente móvil (28), con respecto a cada pieza de trabajo (Wa, Wb, Wc) reconocida entre la pluralidad de piezas de trabajo reconocidas (Wa, Wb, Wc) y, con las posiciones x, y, z así como Rx, Ry, Rz del componente móvil (18) ahora conocidas, mover el componente móvil (18) de la máquina de movimiento coordinado (10) para realizar un trabajo sobre las piezas de trabajo (Wa, Wb, Wc), caracterizado por que

las posiciones x, y, z, así como Rx, Ry, Rz del componente móvil (18) se determinan basándose únicamente en una comparación entre la imagen inicial y los datos de los modelos de enseñanza derivados de las imágenes del modelo de enseñanza tomadas por la cámara (16), sin el uso de un sensor tridimensional para determinar z, que es el desplazamiento del componente móvil (18) con respecto a la pieza de trabajo (Wa, Wb, Wc) reconocida.