ES2728861T3

ES2728861T3 - Sistema robótico autónomo supervisado para inspección y procesamiento de superficie compleja

Info

Publication number: ES2728861T3
Application number: ES14763890T
Authority: ES
Inventors: Christopher Baker; David Galati; Justin Haines; Herman Herman; Alonzo Kelley; Stuart Lawrence; Eric Meyhofer; Anthony Stentz; Jean-Sebastien Valois; Andrew Strat
Original assignee: Carnegie Mellon University
Current assignee: Carnegie Mellon University
Priority date: 2013-03-15
Filing date: 2014-03-17
Publication date: 2019-10-29
Anticipated expiration: 2034-03-17
Also published as: US20160016312A1; CA2904542C; KR20160014585A; HUE043828T2; EP2973074B1; US9796089B2; EP2973074A1; JP6426143B2; JP2016522089A; US20170297198A1; DK2973074T3; CA2904542A1; KR102211010B1; SI2973074T1; WO2014145471A1; EP2973074A4; SG11201507679RA

Abstract

Un sistema para realizar procesamiento de superficie en un objeto tridimensional en un entorno de trabajo que comprende: una base estacionaria o móvil; uno o más manipuladores robóticos, incluyendo cada uno de dichos manipuladores robóticos un efector final que tiene una herramienta de procesamiento de superficie, un sensor telemétrico y uno o más sensores de propiedades de superficie unidos al mismo, estando montados dicho uno o más manipuladores robóticos en dicha base estacionaria o móvil; un ordenador que comprende software para controlar dicho uno o más manipuladores robóticos, comprendiendo dicho software: un analizador de propiedades de superficie, para procesar datos del sensor de propiedades de superficie antes y después del punto de procesamiento de dicha herramienta de procesamiento de superficie para clasificar el estado actual de dicha superficie; un modelo de superficie para el almacenamiento de la geometría de dicha superficie y dicho estado actual de dicha superficie, en el que el software está adaptado para generar el modelo de superficie refinando un modelo de base tridimensional de dicho objeto tridimensional produciendo un escaneo de superficie de dicho objeto tridimensional y aumentando dicho modelo de base con datos de distancia y datos de propiedades de superficie obtenidos de dicho escaneo; un planificador de procesos de superficie para planificar una secuencia de acciones de procesamiento que va a llevar a cabo dicha herramienta de procesamiento basándose en un estado observado de dicha superficie almacenada en dicho modelo de superficie, en el que el planificador de procesos de superficie está adaptado para crear una secuencia temporal de estados de dicho uno o más manipuladores robóticos que comprende un conjunto de posiciones y posturas; un modulador de proceso de superficie para modificar dicha secuencia planificada de acciones de procesamiento basándose en retroalimentación en tiempo real desde dicho sensor telemétrico y dicho uno o más sensores de propiedades de superficie; y un planificador de cobertura de superficie, para planificar movimientos y posturas de dicho uno o más manipuladores robóticos para maximizar la cobertura de dicha superficie.

Description

DESCRIPCIÓN

Sistema robótico autónomo supervisado para inspección y procesamiento de superficie compleja

Campo de la invención

Esta invención se refiere al control de manipuladores robóticos para mover un dispositivo de procesamiento de superficie sobre la superficie de un objeto tridimensional. En particular, la presente solicitud tiene utilidad para retirar pintura de las superficies del fuselaje, las alas y las superficies de control de aeronaves.

Antecedentes de la invención

Los supuestos que requieren un robot para procesar, visitar o realizar de algún modo una acción en la totalidad de un espacio de trabajo dado se conocen como problemas de cobertura. Los ejemplos comunes de problemas de cobertura incluyen corte del césped, mapeo exploratorio, aspirado doméstico, vigilancia, pintado y despintado de superficies, fumigación con plaguicidas y muchos otros. Si bien estos problemas tienen mucho en común, también difieren en formas importantes que tienen un impacto considerable en las estrategias utilizadas para optimizar y automatizar sus soluciones. En la mayoría de los problemas de cobertura, los requisitos de cobertura se discretizan en celdas bi- o tridimensionales de tamaño uniforme, donde cada celda representa un área o volumen que puede requerir cobertura. Mediante el uso de modelos apropiados, es posible estimar qué celdas estarán “cubiertas” por una combinación particular de estado mundial, estado del robot y acción del robot. Los planificadores de cobertura usan esta estimación junto con un sistema jerárquico de algoritmos para determinar una secuencia de acciones de robot que satisfacen eficazmente los requisitos de cobertura a la vez que obedecen cualquier restricción específica del proceso.

La naturaleza de estos algoritmos está fuertemente influida por criterios tales como el nivel de incertidumbre ambiental, las restricciones ambientales y robóticas y la naturaleza de la acción de cobertura. Algunos problemas, tales como el mapeo exploratorio, operan en un entorno dinámico con muchas incógnitas. En estos problemas, los planificadores de cobertura deben planificar de manera adaptativa en tiempo real, ya que la acción “correcta” cambia constantemente a medida que se descubre nueva información. Otros problemas, tales como el corte del césped, operan en un entorno casi estático, lo que permite planificar las acciones del robot con mucha mayor antelación. Las restricciones ambientales y robóticas también afectan significativamente a los tipos de algoritmos usados. Por ejemplo, un cortacésped omnidireccional más lento elegirá normalmente una estrategia de cobertura diferente a un cortacésped más rápido con dirección no holonómica. Un cortacésped omnidireccional puede usar un algoritmo de búsqueda de gráfico rectangular simple, mientras que un vehículo no holonómico tendería a usar un planificador de retícula más complejo.

La naturaleza de los criterios de cobertura también tiene un gran impacto sobre el tipo de algoritmos considerados. Un robot de vigilancia que cubre un área apuntando con una cámara a una ubicación desde cualquiera de un número casi infinito de puntos panorámicos requerirá diferentes técnicas de planificación, a diferencia de un robot aspirador que cubre un área simplemente desplazándose sobre ella.

El documento de patente WO01/14539 da a conocer un sistema automatizado de retirada de pintura para aeronaves, en el que se comprueba la retirada de pintura y se facilita retroalimentación sobre la velocidad de procesamiento en tiempo real. Un sistema similar se describe brevemente en el comunicado de prensa de la Universidad Carnegie Mellon de 26 de noviembre de 2012, denominado “Press Release: Carnegie Mellon, Concurrent Technologies To Develop Robotic Laser System That Strips Paint From Aircraft”, que se encuentra en Internet. El documento de patente Us 5281 798 da a conocer un sistema de retirada de pintura controlado por retroalimentación adicional.

Breve sumario de la invención

El sistema dado a conocer en el presente documento hace maniobrar con precisión uno o más componentes de visión artificial y/o uno o más dispositivos de procesamiento de superficie sobre la superficie de un objeto tridimensional. Los sistemas de visión recopilan datos sobre la superficie que se usan para informar sobre el proceso de superficie. Estos datos incluyen tanto propiedades intrínsecas de la superficie, tales como color, textura o resultados de clasificación abstracta, junto con estimaciones precisas de la distancia y la orientación de la superficie en relación con el punto de procesamiento. Estos datos se usan para planificar y modular con precisión el proceso de superficie para generar eficazmente resultados de alta calidad. En la realización preferida de la invención, los componentes de visión artificial están compuestos por cámaras multiespectrales con fuentes de iluminación correspondientes que pueden discriminar entre varias capas de pintura y sustratos subyacentes, y el dispositivo de procesamiento de superficie es un escáner láser de alta potencia, diseñado originalmente para soldadura láser, que se usa para retirar recubrimientos de superficies aeronáuticas.

La invención se define mediante la reivindicación independiente 1.

Descripción de los dibujos

Figura 1: Principios de funcionamiento básicos. La simetría de los analizadores de propiedades de superficie permite que los datos de clasificación de superficie se generen tanto inmediatamente antes como inmediatamente después del procesamiento.

Figura 2: Efector final para la retirada de recubrimiento con láser, que incluye todos los componentes descritos en la figura 1, más una unidad de mapeo de superficie y otros componentes de soporte para el proceso de retirada de recubrimiento con láser.

Figura 3: Sistema móvil completo para procesamiento de superficie automatizado.

Figura 4: La descomposición de un modelo de superficie 3D completo en un conjunto de parches de superficie 2D, mostrando parches en la parte superior del ala y la parte superior del fuselaje de una estructura aeronáutica de ejemplo. Ha de tenerse en cuenta que este modelo incluiría cuatro parches adicionales (no mostrados) para cubrir la otra parte superior del ala y las tres superficies “inferiores” análogas.

Figura 5: El sensor de mapeo montado en el efector de fin de prueba (izquierda) y el modelo CAD relacionado (parte insertada). Los campos de visión relativos del sensor también se muestran a la derecha como un cono truncado para la cámara y un ventilador láser para el Sick LMS400.

Figura 6: La salida típica de sensor ruidoso da como resultado grosores de nube de alrededor de 1-2 cm (izquierda). Agrupar la nube en compartimentos angulares y al calcular la distancia más probable para cada compartimento da como resultado una estimación mucho mejor de la distancia real en una dirección particular. Volver a proyectar las estimaciones de distancia resultantes en tres dimensiones proporciona grosores de nube submilimétricos, reduce significativamente el volumen de datos y mantiene una representación geométrica precisa (derecha).

Figura 7: Generación de modelo de parche plano basado en árbol octal. Deben observarse los parches de mayor resolución que capturan el detalle de modelo en el borde de la estructura plana, pero se requieren significativamente menos datos para describir la superficie.

Figura 8: Esta ilustración muestra cualitativamente la heurística usada para identificar aspectos del modelo de superficie que proporcionan fuertes restricciones sobre la incertidumbre de la postura del sensor.

Figura 9: Generación de trayectoria de superficie: (izquierda) Se genera una “variedad de soluciones” dada la ubicación de base actual y la cinemática de brazo. (Centro) Se generan filas de cobertura sobre la variedad de soluciones. (Derecha) La secuencia de filas está optimizada para el tiempo de ejecución a la vez que obedece las políticas y restricciones del proceso.

Figura 10: Generación de la variedad de soluciones. (Izquierda) Se usa la geometría de superficie para calcular soluciones cinemáticas inversas. (Derecha) Se desarrollan soluciones cinemáticas inversas geográfica y físicamente adyacentes para formar “parches de solución”

Figura 11: Generación de ruta de cobertura (izquierda). Un parche de solución se divide en “rutas de cobertura”. (Centro) Las rutas de cobertura se recortan para eliminar secciones ya completadas. (Derecha) El conjunto mínimo resultante de las rutas de cobertura se amplía para permitir la aceleración y desaceleración del efector final.

Figura 12: Suavizado del plan de cobertura

Figura 13: Procedimiento de procesamiento de SPA. (Izquierda) Los datos de imagen se mapean sobre la superficie. (Centro) Los datos se agrupan en regiones subcelulares, que se clasifican individualmente, representadas en este caso por límites de subceldas de diferentes colores. (Derecha) Estas regiones subcelulares se agregan según una política configurable para producir clasificaciones de nivel de celda.

Figura 14: Comparación lado a lado de los datos de imagen y los resultados de clasificación del modelo de mezcla gaussiana.

Figura 15: Diagrama funcional que representa el hardware actual del analizador de propiedades de superficie. A la izquierda, se emite luz blanca a través de un filtro de polarización y se recoge por dos cámaras RGB, una detrás de un filtro de polarización colineal y otra detrás de un filtro ortogonal. A la derecha, se emite luz de infrarrojo cercano y se recoge por una tercera cámara con un filtro de paso banda apropiado.

Figura 16: Proceso de planificación de superficie: Se usan el estado actual del sistema y la trayectoria planificada del brazo para determinar la región de la superficie objetivo que está a punto de procesarse. La información de clasificación asociada se recupera del modelo de superficie para generar comandos de procesamiento según políticas altamente configurables.

Figura 17: Diagrama de bloques del modulador de proceso de superficie para la retirada de recubrimiento con láser.

Figura 18: Localización global: Las cámaras en el robot observan puntos de referencia visuales (cuadrados codificados en blanco y negro) con ubicaciones bien conocidas (inspeccionadas). La colocación de la cámara en relación con la base del manipulador proporciona una postura completa de 6 DOF (degree of freedom, grados de libertad).

Figura 19: Visión general del modelo de colisión de resolución múltiple. (IZQUIERDA) Manipulador y efector final de ejemplo. (CENTRO) Manipulador de muestra superpuesto con “cápsulas de colisión”. (Derecha) Representación bidimensional de una evaluación de cápsula de colisión frente al modelo de colisión de resolución múltiple.

Figura 20: Proceso de planificación de ruta punto a punto.

Figura 21: Cinemática de base móvil: los ángulos y las velocidades de las ruedas pueden reducirse a velocidades lineales y rotaciones en el sistema de coordenadas del robot.

Figura 22: Planificación simplista para una base omnidireccional: Se descompone en combinaciones de traslación y rotación en el lugar.

Figura 23: Secuencia de estaciones de MBU de ejemplo, que cubre el lado de babor de una aeronave.

Figura 24: Máquina de estado del sistema de seguridad y control remoto de seguridad de ejemplo.

Figura 25: Modelo de funcionamiento del usuario final principal. Las flechas azules indican las transiciones de estado activadas por el usuario, y las flechas rojas indican el flujo de datos hacia y desde el modelo de trabajo.

Figura 26: Paradigma de procesos de cooperación: Múltiples procesos se comunican entre sí a través de ordenadores centrales usando envío de mensajes jerárquicos a través de enrutadores de mensajes.

Figura 27: Metáfora de interfaz de usuario (UI) del sistema: Los complementos proporcionan elementos de UI para una o más regiones y los administran en sincronía con el estado del sistema.

Figura 28: Modelo jerárquico de composición del sistema robótico desarrollado para este proyecto: Un “robot” completo, a la derecha, está compuesto por una base, un manipulador y un efector final. La instancia específica de cada subcomponente, a la izquierda, puede sustituirse por componentes diferentes, pero análogos, como modelo alternativo de manipulador o geometría de efector final alternativo, sin requerir ninguna alteración de software en el sistema.

Figura 29: Arquitectura en capas básica, que muestra una separación problemas de modelo-controlador-vista para controlar y simular un manipulador industrial (brazo), en configuraciones en vivo (izquierda), simulado de alta fidelidad (centro) y simulado de baja fidelidad (derecho).

Descripción detallada de la invención

En una realización, el sistema puede hacer maniobrar dos componentes de visión artificial y un dispositivo de procesamiento de superficie sobre la superficie de un objeto tridimensional. El sistema de visión está destinado a recopilar datos suficientes sobre la superficie que pasa por debajo del punto de procesamiento para planificar y modular con precisión el proceso de superficie para generar eficazmente resultados de alta calidad. En el caso del sistema implementado actualmente, el dispositivo de procesamiento de superficie es, en un ejemplo, un escáner láser de alta potencia, originalmente diseñado para soldadura láser, que se usa para retirar recubrimientos de superficies aeronáuticas, y los componentes de visión estiman tanto el estado actual de la superficie, es decir, donde queda recubrimiento que debe extraerse, y la distancia y orientación de la superficie en relación con el escáner láser de alta potencia mencionado anteriormente.

El caso de uso central del procesamiento de superficie continuo se captura en la figura 1, que muestra las principales colaboraciones entre cinco componentes críticos del sistema y la superficie objetivo; estos cinco componentes, comentados en detalle a continuación, incluyen:

• Analizador de propiedades de superficie

• Modelo de superficie

• Planificador de procesos de superficie

• Modulador de proceso de superficie

• Planificador de cobertura de superficie

Dos analizadores de propiedades de superficie procesan los datos de imagen antes y después del punto de procesamiento para generar información de clasificación en relación con el proceso activo. En el caso de la retirada de recubrimiento con láser, esto significa clasificar la superficie como una de “capa superior”, “imprimador” o “sustrato”, donde los dos primeros implican que queda por hacer algo de procesamiento, y el último implica que el procesamiento está completo. Estos resultados del análisis de superficie se almacenan en el modelo de superficie, donde los datos de “antes” del punto de procesamiento se usan por el planificador de procesos de superficie para modular el proceso de superficie, y los datos de “después” del punto de procesamiento se usan para inspeccionar los resultados del proceso y, en el ejemplo de la retirada de recubrimiento, para determinar si se requieren pases adicionales.

El modelo de superficie captura la geometría de superficie completa y almacena en memoria caché el estado clasificado de la superficie objetivo en una base de datos persistente asociada con el objeto físico que se somete a inspección o procesamiento de superficie.

El planificador de procesos de superficie consulta los datos de SPA observados más recientemente de la superficie objetivo inmediatamente a lo largo de la trayectoria de la herramienta de procesamiento para planificar una secuencia de acciones de procesamiento. Esta serie de acciones se pasa al modulador de proceso de superficie. El modulador de proceso de superficie combina los comandos del planificador de procesos de superficie con retroalimentación en tiempo real para lograr un control más fino del proceso general y un resultado final de mayor calidad. En el caso de la retirada de recubrimiento con láser, esto significa modular la intensidad del láser dependiendo de la reacción de la superficie al comando del láser anterior.

La presente implementación de este sistema combina estos componentes, y más, en un efector final personalizado, mostrado en la figura 2, que se monta, por ejemplo, en un manipulador industrial para permitir una colocación precisa y un movimiento suave en relación con la superficie objetivo.

Para permitir un rendimiento sistemático en una amplia variedad de objetos, este sistema adopta un enfoque de programación fuertemente centrado en el modelo, generando planes, almacenando resultados de percepción y, en cualquier caso, especificando el comportamiento del sistema en relación con un modelo explícito de la superficie objetivo, tal como se sugiere en la figura 1. Como tal, la precisión y eficacia finales del sistema depende en gran medida de la construcción y el mantenimiento de un modelo altamente preciso de la geometría de la superficie objetivo, su estado actual y, lo que es más importante, su posición precisa en relación con el robot.

Dado un modelo geométrico preciso de la superficie de un objeto tridimensional, el planificador de cobertura de superficie planea maniobras para el brazo industrial que cubre eficazmente toda la superficie objetivo a la vez que respeta las restricciones geométricas y temporales del proceso de superficie. De manera conjunta, los componentes descritos anteriormente son suficientes para procesar toda el área de superficie de objetos objetivo relativamente pequeños que pueden alcanzarse completamente desde una única ubicación fija del manipulador. La cantidad de área de superficie que puede alcanzarse se amplía al montar el manipulador en una unidad de base móvil, tal como el que se muestra en la figura 3, permitiendo que el manipulador se recoloque en diversas ubicaciones alrededor de objetos más grandes, tales como aeronaves, según sea necesario para alcanzar toda la superficie.

En una realización, el modelo de superficie representa la superficie de un objeto tridimensional como un conjunto de variedades bidimensionales homomórficas, denominadas “parches de superficie”. Para mantener el homomorfismo, lo que quiere decir que las distancias en la variedad 2D se mapean fuertemente a las mismas distancias sobre la superficie 3D, y que los ángulos entre los vectores en la variedad 2D se conservan cuando se mapean en el espacio 3D, cada parche de superficie individual debe tener varias propiedades geométricas importantes:

• el parche debe tener una geometría contigua localmente, lo que quiere decir que el parche es continuo para al menos el segundo orden (no hay discontinuidades a través de C2), y

• si está curvado, debe haber una sola dirección de curvatura “dominante”, tal como alrededor del fuselaje de una aeronave o a lo largo de la dirección de avance del ala de una aeronave, de manera que

• cada parche puede “desenrollarse” fácilmente con una distorsión local mínima, preservando así la homomorfia local.

Estas restricciones geométricas, ilustradas en la figura 4, son muy similares al concepto de gráficos por ordenador del mapeo de texturas. La diferencia crítica radica en la importancia del homomorfismo geométrico entre la “textura” 2D y el modelo 3D. En una configuración de gráficos por ordenador más genérica, la distorsión de textura local puede compensarse por un experto con talento, pero en esta solicitud, el planificador de cobertura de superficie se basa en la homomorfia local para planificar eficazmente maniobras 3D en un espacio 2D.

Cada parche individual se discretiza adicionalmente en celdas individuales, que son análogas a píxeles individuales en una imagen de textura pero, en lugar de representar el color de una región geométrica arbitraria, representan en cambio el estado detallado de una unidad física de área de superficie. Cada celda individual codifica su geometría 3D, incluyendo la posición central y los ejes de curvatura normal, mayor y menor, junto con un conjunto flexible de “propiedades de superficie”, que expresan el estado de la superficie según la tarea de inspección o procesamiento en cuestión. El conjunto relevante de propiedades de la superficie depende de la aplicación particular. En el caso de la retirada de recubrimiento con láser, las propiedades de superficie relevantes incluyen, por ejemplo:

1. El tipo de sustrato, si se clasificó lo más recientemente como “capa superior”, “imprimador” o “sustrato”, y cuándo se clasificó por última vez como tal;

2. El momento más reciente que estuvo expuesto a energía de láser, y con qué intensidad;

3. Una serie de marcadores interactivos para el usuario que pueden anular la planificación del proceso, por ejemplo para:

• marcar un área particular como “prácticamente enmascarada”, que suprime el procesamiento de superficie en esa región, tal como para evitar que las regiones sensibles se expongan a la energía de láser,

• marcar un área particular como de “mantenimiento alejado virtual”, lo que impediría que el planificador de cobertura de superficie coloque el efector final sobre un área en absoluto y podría usarse para compensar obstáculos de superficie o, por el contrario,

• marcar un área particular como que “requiere un procesamiento adicional”, tal como para anular un área que se clasifica erróneamente como “sustrato”, cuando el operador puede ver que es simplemente un color de pintura anómalo u otra anomalía de la superficie.

Todos estos datos de superficie se almacenan en una base de datos a la que puede acceder todo el sistema, de modo que cualquier componente del sistema puede consultar la geometría y el estado detallados de la superficie objetivo en cualquier momento. Esto soporta directamente una amplia variedad de tareas de percepción, planificación y análisis, a la vez que se mantiene una buena separación de problemas de modelo-controlador-vista. El modelo también puede archivarse para su análisis sin conexión, tal como para comparar los resultados con los de otras aeronaves del mismo tipo, o incluso con la misma aeronave en visitas posteriores a las instalaciones de procesamiento.

En una realización de la invención, la generación de modelos es un proceso manual que comienza con la construcción de un modelo anterior, que o bien puede generarse a mano o bien puede derivarse de modelos 3D existentes, pero tiene varias restricciones en su composición. En el caso más sencillo, el modelo anterior puede estar compuesto por una geometría 3D única y cerrada que representa la “línea de molde exterior” del objeto en el que va a trabajarse. Es decir, superficies que son físicamente contiguas deben estar representadas por una geometría contigua que, aunque es directa a primera vista, es contraria a la construcción de la mayoría de los modelos 3D existentes. Por ejemplo, componentes físicos adyacentes o superpuestos, tal como las superficies de control unidas a un ala, a menudo se modelan como geometrías separadas para expresar problemas de fabricación, ensamblaje y articulación. En un ejemplo, el modelo de base se genera manualmente a partir de una combinación de modelos 3D existentes y resultados intermedios del proceso de mapeo de superficie, confiando en la intuición humana y en la comprensión del problema del molde exterior para generar un modelo que cumpla con los requisitos geométricos del sistema. Dada una geometría de superficie precisa, puede determinarse la subdivisión de parches, en un ejemplo, mediante el uso de la funcionalidad de “desenrollado” del mapa de textura incorporada en herramientas de modelado 3D profesionales y asignando mapas de textura a distintos parches de superficie.

En una realización, la generación y localización del modelo de superficie se realiza utilizando datos procedentes de un sensor telemétrico tridimensional, tal como LIDAR tradicional, proyección estéreo activa o LIDAR flash. El presente sistema usa un sensor telemétrico 3D construido montando un escáner plano bidimensional en un mecanismo de inclinación personalizado que barre el plano de medición a través de la tercera dimensión, tal como se muestra en la figura 5. El mecanismo de inclinación incluye una cámara a color con un campo de visión horizontal similar al del escáner LIDAR plano, que permite el aumento de los datos de distancia resultantes con información de color y textura de la superficie. El sensor de mapeo está incluido en el efector final mostrado en la figura 2 de modo que pueda hacerse maniobrar con el mismo manipulador industrial para adquirir datos de distancia de la superficie objetivo desde múltiples puntos panorámicos.

En una realización, el proceso de captura de un solo escaneo de la superficie, denominado “nube de puntos”, consiste en:

1. Seleccionar un punto panorámico deseado para el sensor de mapeo, como para adquirir datos de una región de la superficie objetivo que aún no se ha medido;

2. Ordenar al manipulador que coloque el sensor de mapeo en ese punto panorámico;

3. Esperar que el manipulador complete la maniobra, más un pequeño retraso para permitir que se asienten los efectos secundarios dinámicos del movimiento;

4. Ordenar al sensor de mapeo que barra suavemente su mecanismo de inclinación a través de la distancia deseada, recopilando datos de LIDAR de manera continua a través del barrido;

5. Ordenar de manera iterativa el mecanismo de inclinación a posiciones individuales a lo largo de ese barrido y capturar datos de imágenes en color que cubren la misma distancia angular que los datos LIDAR; y

6. Devolver el mecanismo de inclinación a una posición nominal de “inicio”.

El proceso anterior puede repetirse varias veces, desde múltiples puntos panorámicos y desde múltiples ubicaciones de base móvil, para capturar datos de superficies mucho más grandes de lo que es posible desde una única postura del sensor de mapeo en forma aislada. El estado total del sistema durante cada escaneo, es decir, la postura de la base móvil, más los ángulos de unión de los estados de unión del manipulador industrial, se utiliza para registrar la nube de puntos resultante en el marco de referencia del entorno de trabajo. Estas variables de estado se suponen constantes después de la etapa n.° 3 anterior para simplificar la complejidad computacional general de la recopilación de esta nube de puntos “sin procesar”. Sin embargo, como con cualquier sistema físico, tanto los errores sistemáticos como los aleatorios están presentes en la postura derivada del sensor de mapeo, lo que requiere la alineación posterior de tales escaneos.

Cada una de estas nubes de puntos también contiene una determinada cantidad de ruido intrínseco del sensor. Como tal, las nubes de puntos se procesan posteriormente usando un enfoque de probabilidad máxima para estimar datos de distancia de mayor precisión en un contexto de agrupación angular, suprimiendo eficazmente el ruido intrínseco del sensor tal como se ilustra en la figura 6. Esta etapa de procesamiento posterior proporciona tanto una representación más suave como más precisa de la superficie, así como una reducción significativa de los datos redundantes para el procesamiento y la visualización en sentido descendente. Este algoritmo se ajusta a las características de ruido del escáner LIDAR específico y el mecanismo de inclinación actualmente en uso, pero puede ajustarse fácilmente para usar datos de cualquier dispositivo de medición de puntos tridimensional similar. Sin embargo, es importante tener en cuenta que las propiedades intrínsecas del escáner LIDAR influyen en gran medida en la calidad del resultado final, y que los errores crecientes del sensor implican al menos uno de los siguientes:

• un aumento proporcional de errores en el modelo generado resultante y la localización;

• la necesidad de invertir más tiempo en capturar datos de escaneo superpuestos para reducir estadísticamente el error; o

• desarrollo de algoritmos más avanzados para modelar y compensar el ruido inherente en la salida del sensor.

Dado un conjunto de tales nubes de puntos con la expectativa de una cierta cantidad de error en sus posturas relativas, es necesario realizar una etapa de refinamiento en la que se usan los datos de cada nube para alinear el conjunto de datos general para dar un conjunto coherente. Esto puede observarse generalmente como “grosor” excesivo en las regiones de superposición de los datos de escaneo, lo que indica estimaciones contradictorias de la misma superficie física. Este conflicto se resuelve utilizando técnicas de coincidencia de escaneo iterativo que reducen de manera incremental la distancia entre cada punto en una nube dada y las superficies implicadas por las regiones de superposición de otras nubes, con el objetivo de converger finalmente en una sola nube de puntos “más delgada” que estima mejor la superficie objetivo.

Estos algoritmos de coincidencia de escaneo generalmente se basan en características geométricas fuertes (por ejemplo, esquinas duras, bordes o planos ortogonales) para impedir que las superficies se “deslicen” erróneamente una sobre otra durante el proceso de coincidencia. Sin embargo, en el contexto de la retirada de recubrimiento en aeronaves, las curvas generalmente grandes y suaves de las superficies aeronáuticas presentan relativamente pocas restricciones de este tipo, lo que hace que el “deslizamiento” descrito anteriormente constituya un desafío significativo. En un ejemplo, se ha desarrollado un algoritmo de detección de restricciones novedoso, que mejora los resultados coincidentes para las nubes de puntos tomadas de tales superficies suaves. El algoritmo mejora significativamente el proceso de generación de modelos al proporcionar coincidencias de nube de puntos de mayor calidad como entradas a algoritmos descendentes.

Las nubes de puntos refinadas y alineadas resultantes se convierten en una malla poligonal que puede importarse a un software profesional de edición de modelos y usarse, en un ejemplo, para la generación manual de modelos. En un ejemplo, el proceso de conversión de malla usa una estructura de datos de árbol octal para subdividir recursivamente los datos de puntos en celdas 3D cada vez más pequeñas hasta que los puntos dentro de una celda dada puedan estimarse con precisión y reemplazarse con un parche plano. En la actualidad, la malla resultante no cumple con los requisitos del modelo de superficie generado y, por tanto, no puede utilizarse de manera directa. Específicamente, esta técnica no produce un modelo triangulado cerrado y conectado, por lo que solo puede usarse como guía en el proceso de modelado manual. Sin embargo, este proceso produce una estimación poligonal resultante de la superficie objetivo que tiene varias propiedades notables:

• los tamaños de los polígonos resultantes generalmente varían inversamente con respecto a la cantidad de curvatura en las proximidades particulares de la superficie medida, lo que es beneficioso porque se generan polígonos más pequeños y más densos sólo en áreas de curvatura o incertidumbre particularmente altas; y

• la superficie se aproxima con muchos menos polígonos que las técnicas tradicionales de formación de malla de nubes de puntos basadas en vóxeles, que, aparte de ser una mejor aproximación de la superficie; además

• reduce el recuento de facetas en el modelo resultante, lo que reduce la dificultad del proceso manual de manipulación de modelo descrito anteriormente.

Una vez que se ha generado y/o refinado el modelo de superficie, los datos originales de escaneo registrados globalmente se utilizan una vez más en una etapa de localización, similar a la técnica de coincidencia de escaneo a escaneo mencionada anteriormente, pero haciendo coincidir en cambio los escaneaos con el modelo generado para refinar la posición del modelo dentro del entorno de trabajo. Esto permite que el sistema funcione de manera más segura en una proximidad mucho más cercana a la superficie objetivo, dada una estimación más precisa de la ubicación y la forma del objeto que va a procesarse.

En un ejemplo, el papel de la interacción manual en el proceso de refinado de las nubes de puntos para dar una representación de la superficie objetivo se reduce a través de una distribución de densidad de probabilidad gaussiana que se utiliza para representar la superficie, en apoyo de la generación de modelos y como constituyente del propio modelo de superficie. Por ejemplo, la incertidumbre residual de la geometría de superficie se utiliza para influir en la distancia de separación de seguridad usada por el planificador de cobertura de superficie para evitar colisiones con la superficie.

Más allá del alcance de la construcción de modelos, pequeños errores en la estimación de la postura de la base móvil y el manipulador también constituyen un problema significativo para la planificación y ejecución de las maniobras de cobertura de superficie. Es decir, los requisitos de separación y ortogonalidad del procesamiento de superficie requieren que el efector final se haga maniobrar muy cerca de la superficie objetivo, y las imprecisiones en la postura del brazo en relación con la superficie pueden conducir a varios problemas, incluyendo el contacto involuntario con la superficie, la retirada no óptica del recubrimiento, o el requemado. Como tal, inmediatamente antes de planificar y ejecutar los comandos de cobertura de superficie, la postura de la base móvil se refina realizando varios escaneos del área de superficie objetivo que va a procesarse y aplicando las mismas técnicas de coincidencia de escaneos descritas anteriormente.

En un ejemplo, las posturas del sensor se planifican utilizando una técnica de siguiente mejor escaneo novedosa, que elige el siguiente escaneo basándose en qué escaneo posible añadirá la información más nueva con respecto a la postura de la base del manipulador en relación con la superficie objetivo. En un ejemplo, la heurística de ganancia de información se basa principalmente en cubrir la geometría de la superficie objetivo completa con una densidad de puntos suficiente, pero esta heurística también puede extenderse para incluir una estimación más explícita de la reducción en la incertidumbre estimada de la postura de la base del manipulador en relación con la superficie objetivo. Por tanto, la siguiente selección de mejor escaneo puede hacer hincapié simultáneamente en los puntos panorámicos que restringen la postura de la base del manipulador a la vez que también producen la cobertura de superposición total de la superficie que va a procesarse. Este enfoque de ganancia de información mutua se ilustra para un caso 2D sencillo en la figura 8 a continuación. La incertidumbre estimada de la postura, las mediciones de distancia y los puntos de restricción de superficie se muestran como elipses. Para cada punto en el modelo de superficie, se estima un jacobiano relacionando pequeñas perturbaciones de la postura con las perturbaciones resultantes de las distancias medidas. Al intersecar las restricciones proporcionadas por las mediciones de superficie con la incertidumbre de la postura del sensor, se predicen las restricciones de postura proporcionadas por varias mediciones de la superficie. Esto implica que la información adicional va a obtenerse al realizar una medición de una parte particular de la superficie, produciendo el mejor escaneo siguiente basado en maximizar la reducción de la incertidumbre de la postura del sensor.

En un ejemplo, estas exploraciones resultantes se hacen coincidir con el modelo creado anteriormente para estimar la postura de la base del manipulador durante la adquisición de escaneo. Esta postura refinada se publica para que el planificador de cobertura de superficie la use cuando se determinan las maniobras de unión necesarias para procesar la superficie objetivo. Cabe destacar que esta técnica de localización de superficie “justo a tiempo” difumina la línea entre la inexactitud de la estimación de la postura y la imprecisión del modelo de superficie, ya que puede compensarse la postura resultante par alguna combinación de ambas fuentes de error.

En un ejemplo, los conceptos de selección de siguiente mejor escaneo pueden aplicarse al problema mayor de la planificación y selección de ubicaciones de base móvil, o “estaciones” que van a usarse para el proceso de mapeo inicial de toda la superficie. Los algoritmos descritos anteriormente, además de su propósito principal de selección del siguiente mejor escaneo, también expresan una función de valor para un planificador de estaciones base que automatiza el proceso de selección de estaciones y optimiza el tiempo requerido para los escaneos iniciales de mapeo de construcción de modelos al minimizar los movimientos de la base móvil junto con el número de escaneos recopilados en cada estación.

En otro ejemplo, los requisitos para el ajuste manual del modelo de superficie, ya sea durante la construcción del modelo anterior o durante el refinamiento para su uso en una instancia de superficie particular, se relajan, si no se eliminan por completo a través de un conjunto de herramientas que puede emplear un usuario final no experto para la construcción y el ajuste de modelos. En esencia, puede ajustarse automáticamente un modelo de cubierta inicial que captura la geometría bruta del objeto tridimensional para que se adapte a la geometría de los datos observados y alineados cuando sea posible, notificando al usuario y solicitando la intervención manual para cualquier ajuste no trivial que sea necesario. Esto se hace posible definiendo las normales de superficie para que el modelo de base describa con precisión la dirección en la que se permite que se ajuste la superficie y en qué medida. Después de las fases mencionadas anteriormente de adquisición de datos y determinación de una función de densidad de probabilidad que describe la superficie, puede usarse un algoritmo de regresión numérica para hacer coincidir la geometría de superficie con la probabilidad máxima de una superficie probabilística. Esto puede dar como resultado una superficie “más probable” para que el usuario la verifique antes de realizar interacciones alrededor del objeto o cerca de él. Una extensión natural de esto será realizar un ajuste de superficie automatizado similar en una escala más pequeña justo antes del procesamiento de la superficie de estrecha proximidad, con umbrales más pequeños en los ajustes autónomos permitidos que requieren la interacción del usuario.

En la mayoría de los problemas de cobertura, el espacio de trabajo se discretiza en celdas 2D o 3D de tamaño uniforme, donde cada celda representa un área o volumen que puede requerir cobertura. Al usar modelos apropiados, es posible estimar qué celdas se cubrirán por una combinación particular de estado mundial, estado del robot y acción del robot. Los planificadores de cobertura usan esta estimación junto con un sistema jerárquico de algoritmos para determinar una secuencia de acciones de robot que satisfacen eficazmente los requisitos de cobertura a la vez que obedecen cualquier restricción específica del proceso. La naturaleza de estos algoritmos está fuertemente influida por criterios tales como el nivel de incertidumbre ambiental, las restricciones ambientales y robóticas y la naturaleza de la acción de cobertura. Algunos problemas, tales como el mapeo exploratorio, operan en un entorno dinámico con muchas incógnitas. En estos problemas, los planificadores de cobertura deben planificar de manera adaptativa en tiempo real, ya que la acción “correcta” cambia constantemente a medida que se descubre nueva información. Otros problemas, tales como el corte del césped, operan en un entorno casi estático, lo que permite planificar las acciones del robot con mucha mayor antelación. Las restricciones ambientales y robóticas también afectan significativamente a los tipos de algoritmos usados. Por ejemplo, un cortacésped omnidireccional más lento elegirá normalmente una estrategia de cobertura diferente a un cortacésped más rápido con dirección no holonómica. Un cortacésped omnidireccional puede usar un algoritmo de búsqueda de gráfico rectangular simple, mientras que un vehículo no holonómico tendería a usar un planificador de retícula más complejo. La naturaleza de los criterios de cobertura también tiene un gran impacto en el tipo de algoritmos considerados. Un robot de vigilancia que cubre un área apuntando una cámara a una ubicación desde cualquiera de un número casi infinito de puntos panorámicos requerirá diferentes técnicas de planificación, a diferencia de un robot aspirador que cubre un área simplemente desplazándose sobre ella.

El planificador de cobertura de superficie considera un problema de cobertura casi estático en el que una implementación, tal como un láser para retirada de recubrimiento, debe colocarse sobre la superficie del objeto tridimensional. Tal como se describió anteriormente, la superficie se mapea sobre un conjunto de variedades 2D homomórficas, que luego se discretizan a lo largo de la cuadrícula regular en celdas relativamente pequeñas. Cada celda modela el estado de un área individual de la superficie, incluyendo datos de geometría, color y clasificación, así como otro marcador que puede suprimir el requisito de cobertura, tal como “máscara virtual” o “mantenerse alejado”. La cobertura se define como completa cuando estas celdas de superficie han alcanzado un estado específico, como “imprimador” o “sustrato” en el caso de la retirada de recubrimiento.

Para cambiar el estado de estas celdas, el sistema mueve un efector final sobre la superficie en una orientación, distancia de separación y velocidad que están determinadas por políticas que gobiernan el proceso de la superficie activa. En el caso de la retirada de recubrimiento con láser, una franja unidimensional de celdas en la punta del efector final en la figura 2 se ven afectados por cualquier postura del sistema, y las políticas del proceso especifican una determinada velocidad de recorrido de superficie y un “tiempo de enfriamiento” mínimo que debe observarse entre las visitas posteriores a las mismas celdas de superficie para obtener resultados aceptables. Las celdas deben cubrirse normalmente múltiples veces antes de alcanzar el estado deseado, y si bien el planificador de cobertura de superficie puede disponer de una estimación de este número, la integridad se determina principalmente mediante la detección por parte del analizador de propiedades de superficie que sigue “después” del punto de procesamiento de superficie.

Para mover el efector final sobre la superficie, el sistema emplea un manipulador comercial multieje que opera desde una ubicación de base bien conocida. Este manipulador comercial se define por un conjunto de cinemática directa e inversa, que se traduce entre las posiciones de eje individual y las posturas del efector final. Cabe destacar que la mayoría de tales manipuladores son cinemáticamente redundantes al menos parcialmente, lo que quiere decir que si bien cualquier conjunto dado de posiciones de eje se traducirá en una posición de efector final no ambigua, normalmente podrá lograrse una postura de efector final dada mediante una pluralidad de posiciones de eje. Cuando se planifican movimientos suaves del efector final, este mapeo inverso de uno a muchos se complica adicionalmente por las singularidades en el espacio cinemático inverso, en el que las uniones en el manipulador están alineadas de tal manera que ya no es posible el movimiento instantáneo del efector final en una o más direcciones. Más allá de la limitación intrínseca del movimiento del efector final, las configuraciones de eje en las proximidades de tales singularidades también son propensas a la inestabilidad numérica y dinámica, ya que las velocidades de unión asintóticamente infinitas se vuelven necesarias para mantener velocidades relativamente pequeñas en el efector final.

Estos movimientos se someten a varias restricciones del manipulador, ambientales y de proceso. Por ejemplo, el manipulador comercial tiene límites intrínsecos de aceleración, velocidad y posición de eje, cada uno de los cuales se reduce en un margen configurable para garantizar el funcionamiento seguro y mitigar el ruido del proceso debido a oscilaciones no deseadas. Las autocolisiones del manipulador y los límites de ajuste del anclaje inducen restricciones que se modelan como funciones complejas de subconjuntos de posiciones de ejes. Las restricciones ambientales incluyen un mapa de obstáculos estático que representa todos los objetos ubicados en el entorno, como aeronaves, soportes de gato, superestructuras de edificios, ubicaciones de suelos, techos y paredes, así como un mapa de obstáculos casi estático que representa la base. Las restricciones del proceso incluyen la distancia de separación del efector final, la distancia de separación del obstáculo, la velocidad ideal de cobertura, la velocidad máxima de recorrido de superficie sin cobertura y muchos otros.

El planificador de cobertura de superficie genera una secuencia temporizada de estados de robot que cubre la mayor parte posible del parche de superficie objetivo, lo más rápido posible, desde una ubicación de base móvil dada y sometida a todas las restricciones de robot, proceso y ambientales. La consideración más importante para este planificador es la maximización del tiempo de procesamiento activo, pero también considera la seguridad, solidez e integridad como motivadores principales.

Los problemas de cobertura tienden a no poder tratarse en ninguna forma general y normalmente se resuelven haciendo suposiciones de simplificación que permiten la segmentación del problema central en un conjunto jerárquico de subproblemas más fáciles de abordar. En un ejemplo, el planificador de cobertura de superficie hace esto a través de una aplicación novedosa de restricciones basadas en la posición que convierten la superficie objetivo en “variedades de soluciones” bidimensionales contiguas, que contienen estados de manipulador asociados y se someten a la restricción de que las celdas de superficie geométricamente adyacentes también tienen estados de manipulador adyacentes al espacio de unión. Esta formulación simplifica el problema de cubrir una superficie tridimensional con un manipulador de seis ejes en un problema de cobertura bidimensional más sencillo con un “robot virtual” omnidireccional que puede transitar entre dos celdas adyacentes en una variedad de soluciones dada. Usando esta representación, pueden especificarse rutas de cobertura mediante una secuencia sencilla de coordenadas bidimensionales, y pueden generarse fácilmente para cubrir eficazmente las partes requeridas de la variedad de soluciones. Tal como se muestra en la figura 9, esto puede ser tan sencillo como especificar un conjunto de segmentos de línea paralelos, con desviaciones correspondientes a las políticas de procesamiento de superficie, que cubren la totalidad de una única variedad de soluciones. Un optimizador ordena entonces estas rutas de cobertura, selecciona la dirección de desplazamiento (es decir, hacia adelante o hacia atrás) y conecta sus puntos finales con segmentos de desplazamiento óptimos.

Estas dos rutas bidimensionales se suavizan, se combinan y se convierten en trayectorias de estado de manipulador basadas en el tiempo según las restricciones de velocidad especificadas por la política de procesamiento de superficie. Las restricciones de velocidad y aceleración del manipulador intrínseco se superponen entonces sobre las trayectorias resultantes a través de un algoritmo novedoso que “dilata” el tiempo entre dos puntos de trayectoria hasta que se cumplen todas las restricciones.

En una realización, el planificador de cobertura de superficie está compuesto por varios componentes de software jerárquicos y modularizados que interactúan para producir complejas trayectorias de manipulador del espacio de unión que cubren de manera segura y eficaz un parche de superficie dado.

El generador de la variedad de soluciones es responsable de crear una representación bidimensional de la superficie que puede “recorrerse” de manera contigua por el efector final por medio de estados de unión adyacentes. Transforma eficazmente la geometría de superficie tridimensional en una celda de superficie dada en un estado de unión del manipulador correspondiente, garantizando:

• los estados de manipulador individuales son universalmente factibles, están libres de obstáculos y autocolisiones, y están lo suficientemente lejos de las singularidades mencionadas anteriormente como para evitar sus desafíos dinámicos y numéricos;

• las celdas de variedad de soluciones adyacentes tienen estados de manipulador adyacentes, lo que simplifica el problema de cobertura en un espacio de búsqueda bidimensional.

Para abordar las redundancias cinemáticas, tal como se comentó anteriormente, se calculan diversas variedades de soluciones candidatas para cualquier combinación dada de posición base y parche de superficie.

Lo que sigue se aplica a cada uno de los candidatos, y se selecciona para la ejecución la variedad que mejor cumpla con los criterios generales de cobertura.

La generación de variedades de soluciones se divide en tres componentes principales: un solucionador de cinemática inversa, un algoritmo de crecimiento de parche de solución vecino más cercano basado en la cola de prioridad y un algoritmo de selección y ponderación de parche de solución. El solucionador cinemático inverso calcula todos los estados de unión del manipulador válidos que producen posturas de efector final en cumplimiento de los requisitos de cobertura, incluyendo compensación de efectos físicos, tales como la desviación del montaje de manipulador en la unidad de base móvil producido por el par aplicado a la misma por la masa del brazo en una configuración de unión dada.

En primer lugar, el sistema determina el conjunto de posturas de superficie que satisfacen los criterios de cobertura para cada celda en el parche de superficie. Para el proceso de retirada de recubrimientos, estos se expresan como tolerancias en la separación y la orientación del escáner láser de alta potencia en relación con la superficie, lo que produce un pequeño conjunto de posturas nominales para el dispositivo de procesamiento de superficie. Dentro de las tolerancias permisibles, este conjunto inicial puede perturbarse por pequeñas cantidades, tal como para permitir una pequeña desviación en la separación o posición de la superficie, a fin de acceder a áreas de otro modo inaccesibles de geometrías de superficie más complejas. Estas posturas de superficie candidatas se calculan usando una regresión de superficie bidimensional ponderada sobre las ubicaciones de las celdas y las normales, lo que proporciona una geometría de superficie numéricamente estable, precisa y suave que elimina la mayoría de los artefactos de cuantificación que se producen naturalmente en modelos discretizados, tales como la representación de parche de superficie comentada anteriormente.

Una vez que se han calculado las posturas de superficie candidatas para una celda dada, se transforman del marco de referencia del dispositivo de procesamiento al marco de efector final nativo para el manipulador industrial. Un solucionador cinemático inverso personalizado calcula entonces el conjunto de posibles estados del manipulador que satisfacen cada una de las posturas resultantes del efector final, teniendo en cuenta los obstáculos, las autocolisiones y la desviación de la base estimada producida por el estado del manipulador dado. Dadas las redundancias en el manipulador actual en combinación con la pluralidad de posturas de efector final permitidas por la política de cobertura, no es raro tener dieciséis o más soluciones cinemáticas inversas para una celda de superficie dada.

Un algoritmo de generación de parches de solución divide entonces el conjunto de soluciones cinemáticas inversas factibles para cada celda en un conjunto de variedades de soluciones, tal como se describió anteriormente. Esencialmente, se trata de un algoritmo de relleno por difusión, que comienza desde el centro del parche de superficie y conecta todas las celdas vecinas con estados de manipulador suficientemente cercanos para formar una variedad de soluciones individual. La determinación de la proximidad “suficiente” en el espacio de unión se define según las velocidades que puede lograr el eje del manipulador dado. Este relleno por difusión “consume” cada solución cinemática inversa candidata a medida que se incorpora a una variedad dada, y el proceso se repite para cada solución cinemática inversa restante hasta que todos los candidatos se asignan a una variedad dada. El resultado final es un conjunto de variedades de soluciones sobre la superficie objetivo que puede ser arbitrariamente grande, dependiendo de la complejidad de la geometría de superficie y de la naturaleza del espacio de trabajo cinemático del manipulador. Las variedades de soluciones resultantes se clasifican por tamaño, y una selección de los más grandes se procesa según un algoritmo de valoración que combina:

• los requisitos de procesamiento actuales para cada celda accesible, recompensando esencialmente la cobertura de celdas que requieren procesamiento adicional, con

• la proximidad al estado inicial del manipulador, que desvía el proceso de selección de variedades de soluciones que requieren movimientos de brazos extraños.

Entonces se selecciona la variedad de soluciones con la puntuación más alta para su procesamiento adicional. En un ejemplo, esta “mejor” variedad se procesa de forma aislada, pero también es posible definir puntos de transferencia entre variedades superpuestas, uniendo eficazmente múltiples variedades en una sola variedad de superficie más grande para aumentar la cantidad de superficie que se cubre en un paso.

Generador de ruta de cobertura - La variedad de soluciones óptima se segmenta entonces adicionalmente en un conjunto de rutas bidireccionales que satisfacen las restricciones geométricas y dinámicas de la política de procesamiento de superficie. En el caso de la retirada de recubrimiento con láser, esto incluye una velocidad de recorrido de superficie nominal que limita la cantidad de energía de láser aplicada a una unidad de superficie dada, junto con un período de “enfriamiento” entre visitas que requiere la determinación del área de superficie afectada por el láser en una postura dada, y la selección de rutas de cobertura que no exponen la misma área a la energía de láser dentro de un período de tiempo configurable. Estas restricciones actualmente se adaptan a través de:

• generar “filas” paralelas y espaciadas uniformemente a lo largo de la variedad de soluciones con una desviación fija de manera que, por ejemplo, el área de superficie expuesta a la energía de láser para cualquier fila no se superponga a la de filas adyacentes, pero

• en conjunto, el área de superficie cubierta por todas estas filas cubre toda el área que puede alcanzar la variedad de soluciones, y

• en la dirección de desplazamiento para cualquier fila dada, las soluciones cinemáticas inversas que comprenden la variedad de soluciones satisfacen una variación más estricta de las reglas de proximidad usadas originalmente para generar la variedad y, por tanto, es más probable que logren la velocidad de recorrido requerida.

Los dos primeros requisitos representan directamente la solución al problema de cobertura, garantizando la cobertura máxima de la variedad de soluciones, donde el tercero refuerza la garantía de movimiento lineal suave sobre la superficie. El conjunto resultante de rutas de cobertura bidireccionales, que cubren toda la variedad de soluciones, se recortan por motivos de eficiencia tal como se ilustra en la figura 11. Se retiran las secciones que cubren las celdas de la superficie que ya están “completas” según la política de procesamiento de la superficie, dejando solo las rutas que cubren regiones incompletas. Esta etapa de optimización aumenta el tiempo de procesamiento activo al permitir que los puntos finales de las filas activas se conecten con rutas que o bien atajan a filas adyacentes o bien recorren la superficie mucho más rápidamente de lo que se permitiría de otro modo para el procesamiento activo.

Tenerador de plan de cobertura - El conjunto de rutas de cobertura optimizadas se ensamblan entonces en una sola maniobra de cobertura mediante una combinación de algoritmos de búsqueda de gráficos tradicionales y novedosos. El primer componente, más tradicional, es una aplicación convencional del algoritmo de Djikstra a un gráfico de conectividad rectangular para calcular el coste y la ruta óptima entre dos puntos cualquiera en la variedad de soluciones.

El segundo componente, denominado “optimizador de ruta de cobertura”, es un optimizador que determina un orden casi óptimo y una dirección de recorrido para cada ruta de cobertura al expresar el problema como un problema de vendedor ambulante generalizado binomial. Por tanto, cada ruta se expresa como un conjunto de dos “ciudades”, una para cada dirección transversal, donde visitar una de ellas marca toda la ruta como “visitada”.

Los costes iniciales de ciudad a ciudad se generan usando los costes de ruta óptimos del planificador de búsqueda de gráficos mencionado antes, y posteriormente se modulan mediante cualquier parámetro temporal del proceso de superficie. En el caso de la retirada de recubrimiento con láser, esta modulación consiste en un aumento artificial en el coste de recorrer filas adyacentes que están “demasiado cerca” y violan los requisitos de enfriamiento térmico del proceso con láser.

Una vez que se ha optimizado el orden y la dirección de las rutas de cobertura, se conectan a través de las técnicas tradicionales de búsqueda de gráficos descritas anteriormente, dando como resultado un conjunto continuo de coordenadas de variedades de superficie, etiquetadas o bien como “cobertura” o bien como “viaje” como en la figura 9, que debe seguir el efector final para cubrir completamente las partes requeridas de la variedad de soluciones. Generador de trayectorias de estado del robot - El generador de trayectorias de estado del robot convierte el plan de cobertura optimizado de una lista de coordenadas de superficie bidimensionales en una secuencia temporal de estados de manipulador que satisfacen tanto los requisitos de velocidad del proceso de superficie como las restricciones de velocidad y aceleración intrínsecas del manipulador. Durante esta fase, las trayectorias resultantes también se filtran para reducir los efectos de alias debido a la búsqueda de gráficos en una superficie discretizada, y para reemplazar esquinas “duras” en las transiciones entre la cobertura y los segmentos de recorrido con transiciones más suaves que maximizan el tiempo de procesamiento activo a la vez que minimizan oscilaciones indeseables del sistema.

La primera de dos de estas fases de filtración consiste en un algoritmo de espacio de superficie que aplica una regresión cuadrática adaptativa a una ventana rodante de la trayectoria de superficie para suprimir los efectos mencionados anteriormente de alias en el espacio de superficie. Este algoritmo incluye parametrización adaptativa que permite que se produzca un suavizado a la vez que se siguen obedeciendo restricciones subyacentes del sistema, tales como autocolisiones de manipulador o la observancia de las regiones “de mantenimiento alejado”. Estas rutas suavizadas se hacen pasar entonces a través de un algoritmo de combinación adaptativa, que utiliza un esquema de ponderación sinusoidal para redondear los puntos de conexión entre la cobertura y las rutas de desplazamiento, produciendo una trayectoria de superficie final tipo estría, tal como se ilustra en la figura 12. Esta fase aumenta el tiempo de procesamiento activo al reemplazar la unión casi estática entre la cobertura y las rutas de desplazamiento por una trayectoria completamente dinámica que reduce, si no elimina, el requisito de ralentizarse hasta detenerse para cambiar la dirección del recorrido sobre la superficie.

Una vez que se genera un plan de cobertura suavizado en coordenadas de superficie 2D, se convierte en una trayectoria válida de espacio de unión de manipulador mediante la indexación a través de la variedad de soluciones para recuperar las soluciones cinemáticas inversas correspondientes. En esta fase se usa una forma adicional de regresión cuadrática bidimensional para suprimir la oscilación no deseada debido a discretización de superficie o precisión numérica, y se deriva el intervalo de tiempo entre cada estado de manipulador calculando la velocidad del efector final objetivo como una función de la política de procesamiento de superficie actual.

Como etapa de procesamiento final, la trayectoria resultante del espacio de unión se somete a una serie de algoritmos de dilatación del tiempo basados en restricciones que amplían de manera iterativa el tiempo entre estados adyacentes en la maniobra de cobertura de superficie para imponer:

• una velocidad de efector final máxima crítica para la seguridad, que se configura a 500 mm/s en la realización actual

• límites de velocidad del espacio de unión configurables para el manipulador

• límites de aceleración del espacio de unión configurables del manipulador.

La aplicación de estas restricciones en este orden maximiza la velocidad de la superficie del efector final en cualquier instante dado, lo que a su vez maximiza el tiempo de procesamiento activo, que es un parámetro de rendimiento clave para este sistema.

Planificador de entrada/salida de superficie - La etapa final en la construcción de una maniobra de cobertura de toda la superficie es generar rutas que conecten el estado inicial del manipulador con un punto apropiado en la trayectoria sobre la superficie y, de manera similar, devolver el manipulador a su posición inicial cuando se completa el procesamiento de la superficie. Estas maniobras, denominadas maniobras de “entrada” y “salida”, se planifican de la misma manera que los movimientos de brazos generalizados, con una excepción especial para los fallos de planificación. En tales casos, puntos de entrada y salida alternativos se sustituyen hasta que ambos planes tienen éxito, y las rutas de desplazamiento se añaden a la trayectoria sobre la superficie según sea necesario para conectarse al plan de cobertura original. Como mecanismo de seguridad adicional, los algoritmos de dilatación del tiempo descritos anteriormente se amplían con una regla de “aterrizaje suave” que ralentiza la velocidad del efector final en las proximidades de la superficie para mitigar el riesgo de oscilaciones “profundas” que pueden provocar colisiones de superficie y para aumentar generalmente la comodidad del usuario final con el funcionamiento del sistema.

Plan de verificación y serie de métricas - Antes de la publicación de la tarea de control del manipulador, la trayectoria se somete a una etapa de validación final, usando una variación altamente conservadora de los mecanismos de detección de obstáculos como una mitigación del riesgo de que los errores algorítmicos o numéricos en la generación de rutas de cobertura pueden producir una ruta que colisionará con la superficie. Esto es especialmente prudente al operar manipuladores industriales a centímetros de superficies objetivo potencialmente valiosas.

También se calculan varias métricas de rendimiento como un efecto secundario del proceso de validación del plan que captura la medida en que el plan resultante maximiza el tiempo de procesamiento activo, junto con una enumeración detallada de cualquier fuente de ineficacia, informando tanto del uso final como de los esfuerzos de ingeniería en curso de las capacidades actuales y las principales ineficiencias del sistema global.

Recuperación de fallos - Para los sistemas que están destinados en última instancia para implementación industrial a largo plazo, la detección robusta y el tratamiento de fallos es un problema de diseño crítico. Dada la complejidad del planificador de cobertura de superficie, junto con sus reglas de seguridad de superficie altamente conservadoras, se espera un fallo intermitente debido a la sutil confluencia de errores en la postura de la base, la geometría de la superficie, la rigidez mecánica, etc. Como parte del paradigma de autonomía supervisada, es necesario presentar tales fallos al operador para una resolución interactiva, pero también es necesario minimizar el grado de intervención manual requerida para abordar el error. En el caso de la planificación de cobertura de superficie, al usuario final se le ofrece la opción de volver a ejecutar el comando de cobertura de superficie con un conjunto de estrategias complementarias que están diseñadas para superar los casos típicos de fallo. Un ejemplo de tal estrategia sería reducir temporalmente el grado de conservatividad aplicado a las políticas de comprobación de obstáculos para liberar al robot de una “colisión” falso-positiva que es un artefacto de un error transitorio en el sistema de localización. Estas maniobras tienen una mayor expectativa de supervisión del operador, y normalmente se ejecutan a velocidades más bajas hasta que puede reanudarse el funcionamiento normal.

Aunque esta invención se ha descrito principalmente en lo que se refiere a realizaciones que usan el planificador de cobertura de superficie para generar una secuencia temporal de estados de robot que cubren la mayor parte posible del parche de superficie objetivo, los expertos en la técnica reconocerán que los métodos de la presente invención también pueden usarse para otras tecnologías, tales como:

• ampliar las rutas de cobertura a ángulos genéricos a través del parche de superficie (actualmente solo están en la dirección de desplazamiento)

• habilitar el planificador de cobertura de filas para usar múltiples variedades de cobertura en un solo plan

• optimizar varios parámetros clave de rendimiento (KPP) (eficazmente, con láser en el tiempo)

• soportar la planificación de la posición base sin conexión

• incorporar restricciones basadas en secuencia (tal como la disipación térmica) directamente en el optimizador de planificación de cobertura de filas

• completar la planificación de ruta adaptativa en tiempo real que modificará las rutas de cobertura durante el proceso de extracción a medida que se descubre nueva información, como el grosor de capa.

Mientras se ejecuta un plan de cobertura de superficie, todos los dispositivos de entrada del analizador de propiedades de superficie (SPA) capturan continuamente datos de imagen de superficie y actualizan la información de clasificación de superficie. En la presente realización, un solo dispositivo SPA consta de dos cámaras de color RGB y una sola cámara de infrarrojo cercano, con filtración e iluminación adecuadas para producir un sensor de imagen multiespectral de 7 canales, tal como se muestra en la figura 15. Estos resultados de clasificación de estos sensores se almacenan en el modelo de superficie mediante la combinación de:

• la postura instantánea del efector final en el momento de la adquisición de datos, y

• la geometría y la información de clasificación existente incorporada en el modelo de superficie, para determinar la región de la superficie objetivo que está en el campo de visión.

Los datos de imagen de superficie se proyectan sobre la región de la superficie objetivo para asociar los píxeles de imagen individuales con las celdas de superficie correspondientes que van a clasificarse. Estos píxeles se agrupan entonces en subregiones para cada celda, se clasifican individualmente en esa escala más pequeña, y luego se agregan a la clasificación de celda final tal como se ilustra en la figura 13. Actualmente, el grado de subdivisión celular, mostrado en la figura 13 (Centro) es una cuadrícula de cuatro por cuatro, o 16 subceldas para cada celda de superficie. El sistema actual usa un algoritmo de clasificación de la máquina de vectores de soporte (SVM), que se eligió debido a su capacidad para clasificar los datos de entrada a una tasa que es en gran medida independiente de la complejidad del modelo subyacente. Las SVM se usan normalmente para la clasificación lineal binaria no probabilística, pero el algoritmo convencional se amplía comúnmente para producir resultados de múltiples clases o probabilísticos. En la realización actual, el algoritmo de SPA usa una ampliación de este tipo para generar, para cada región de imagen, una probabilidad correspondiente a cada clasificación potencial para esa región, por ejemplo, capa superior frente a imprimador frente a sustrato.

La conversión de estas clasificaciones de subceldas en las clasificaciones de nivel de celda mostradas en la figura 13 (Derecha) depende de una política de agregación altamente configurable, que puede configurarse, por ejemplo, para depender de características secundarias de la superficie objetivo, como el tipo de sustrato. En el caso nominal, se usa un esquema de votación ponderada, basándose en los tamaños de subceldas constituyentes y su clasificación relativa.

La etapa de agregación también produce un modelo de mezclas gaussianas (GMM) para retener cierta información sobre la distribución subcelular de las clasificaciones de superficie. Esto tiene la clara ventaja de ser una expresión explícita de la idea de que, en cualquier nivel de discretización, una celda de superficie dada generalmente contendrá una pluralidad de clases de superficie, y que la distribución aproximada de esas clases es información útil para los consumidores intermedios. Los datos de GMM de ejemplo en la figura 14 muestran los beneficios potenciales del uso de esta representación para superar los problemas de alias y cuantificación de celdas. Como tal, el planificador de procesamiento de superficie se aprovecha de esta representación alternativa para generar comandos de procesamiento de mayor fidelidad en el nivel de subcelda.

Aunque los algoritmos del analizador de propiedades de superficie se han descrito principalmente en lo que se refiere a su uso de modelos de mezclas gaussianas para expresar la información de clasificación de un conjunto único de datos de imagen de SPA, los expertos en la técnica reconocerán que los métodos de la presente invención también podrían usarse con otras tecnologías, tales como:

• Mejora de la precisión de la generación de GMM mediante el uso de regiones superpuestas de otros conjuntos de datos de imagen de SPA;

• Aplicación de algoritmos alternativos de segmentación subcelular, tal como el uso de una función de base no gaussiana para crear regiones subcelulares, tal como para generar formas geométricas explícitas según las características detectadas dentro de los datos de imagen;

• Introducción de algoritmos de clasificación alternativos (es decir, distintos de SVM), o uso de un esquema de votación ponderada entre una pluralidad de clasificadores para generar resultados de mayor calidad.

• Incorporación de un modelo de avance en el proceso de clasificación, que podría ajustarse para combinar información de datos de imagen de SPA con los efectos esperados de cualquier procesamiento que se haya producido desde la observación previa de una región particular de la superficie.

El uso del clasificador SVM permite que se aplique una amplia variedad de datos de sensor al problema de clasificación, lo que permite que el SPA se reconfigure fácilmente para clasificar para diferentes tareas de procesamiento de superficie, dado un conjunto suficientemente discriminativo de sensores y datos de entrenamiento asociados. Para la retirada de recubrimiento con láser, la implementación actual hace uso de tres cámaras y fuentes de iluminación activas asociadas, tal como se describió anteriormente y en la figura 15. Los canales de color individuales de cada una de estas cámaras se usan directamente en el algoritmo de clasificación, lo que genera un espacio de características de siete dimensiones para la SVM: RGB con polarización colineal, RGB con polarización ortogonal e infrarrojo de 850 nm.

Las cámaras y fuentes de luz mostradas en la figura 15 se sincronizan para garantizar que las imágenes de cada una de las tres cámaras representan la misma perspectiva y el mismo momento en el tiempo. Aunque no es estrictamente necesario, esto reduce la complejidad computacional de fusionar los datos de imagen de las tres cámaras en las fases iniciales del algoritmo de SPA. Además, las cámaras y la iluminación se activan como complemento del proceso de retirada de recubrimiento con láser, es decir, que las imágenes se toman mientras el láser está apagado, para minimizar los efectos de la fuga de luz del proceso con láser.

Además de las técnicas de entrenamiento de SVM sin conexión convencionales, los parámetros de clasificación de SPA pueden actualizarse interactivamente en el tiempo de ejecución. Para hacerlo, el operador selecciona celdas de superficie en una GUI que presenta datos similares a los que se muestran en la figura 13, y selecciona una nueva clasificación deseada para esas celdas. Los datos de imagen actuales de esas celdas se añaden al modelo de clasificación actual para producir un modelo actualizado. El usuario puede elegir entonces entre varias opciones para el modelo actualizado, por ejemplo:

• obtener una vista previa de los resultados de clasificación para el nuevo modelo en los datos de imagen existentes en el parche actual,

• aplicar el nuevo modelo al motor de clasificación de SPA en vivo, y/o

• guardar el nuevo modelo para su uso posterior, tal como para la comparación sin conexión.

Esta es una característica crítica en el sistema final, ya que permite a los usuarios finales identificar acciones apropiadas para adoptar superficies novedosas, tales como los recubrimientos con pigmentación que no están clasificados correctamente por el modelo de SPA existente. Como tal, se utilizan herramientas de GUI avanzadas y un esquema de notificación donde se solicita al supervisor de la operación de procesamiento autónomo que vuelva a capacitarse cuando el SPA no esté seguro de la clasificación correcta para una celda determinada.

El planificador de procesos de superficie genera secuencias regulares y discretizadas en el tiempo de acciones de procesamiento de superficie mediante la combinación, tal como se ilustra en la figura 16, de:

• el estado de clasificación actual por área unitaria según lo determinado por el SPA y como se codifica en el modelo de superficie,

• el movimiento esperado del manipulador industrial según lo previsto por el planificador de cobertura de superficie,

• sensores de retroalimentación de trama local que proporcionan mediciones directas de distancia y posición mientras el efector final está cerca de la superficie, y

• un conjunto de políticas de procesamiento de superficie altamente configurables que cumplen diversos requisitos para un procesamiento eficaz de la superficie, especialmente las acciones apropiadas que han de adoptarse según la clasificación de superficie.

Más allá del algoritmo detallado para convertir clasificaciones de superficies en comandos de procesamiento, tal como intensidades del láser mostradas en el ejemplo anterior, las políticas de proceso también codifican:

• los requisitos geométricos para un procesamiento eficaz, tal como la posición de la superficie o la distancia de separación de la herramienta de procesamiento, que son especialmente importantes para la retirada de recubrimiento con láser, y

• las condiciones terminales para la finalización satisfactoria del proceso de la superficie, tal como “retirar solo la capa superior”, lo que implicaría la terminación del proceso cuando toda (o al menos una gran mayoría) de la superficie se haya clasificado como “imprimador” o “sustrato”

En general, se espera que la política de procesamiento de la superficie genere comandos de proceso que actuarán sobre la superficie para transformarla de una manera que cambiará la clasificación de la superficie de un estado que requiere más visitas (un estado de “más trabajo por hacer”) en un estado que no lo requiere (un estado de “trabajo completado”). Dependiendo de la aplicación objetivo, el algoritmo de generación de comandos y las políticas circundantes pueden ser arbitrariamente complejas. En el caso de la retirada de recubrimiento con láser, una política de ejemplo incluiría las intensidades del láser deseadas que se aplicarán a determinadas clasificaciones de superficie junto con el enfoque de láser y otros parámetros intrínsecos al proceso de retirada de recubrimiento. La política del proceso también puede codificar problemas geométricos y temporales, tal como la velocidad de recorrido del efector final y los tiempos de enfriamiento que influirán en el comportamiento del planificador de cobertura de superficie, tal como se comentó anteriormente.

Dada la trayectoria esperada del efector final producida por el planificador de cobertura de superficie, el planificador de procesos de superficie predice la ubicación, la velocidad y la orientación del dispositivo de procesamiento durante varios segundos. Con estas predicciones, y a lo largo de ese mismo horizonte temporal, el planificador de procesos de superficie realiza cálculos espaciales y temporales para decidir si se cumplirán los diversos criterios de proceso a corto plazo y cuándo. Para aquellos momentos en los que se cumplirán los criterios de proceso, se calcula entonces sobre qué regiones del modelo de superficie puede actuarse. A su vez, las propiedades de superficie actuales asociadas con esas regiones se utilizan, a través de la política de procesamiento de superficie, para determinar los comandos de proceso que deben ejecutarse a medida que el efector final recorre la superficie.

Aunque este es principalmente un problema de razonamiento geométrico, el planificador de procesamiento de superficie también debe soportar una determinada cantidad de interacción del usuario, tal como respetar las restricciones de enmascaramiento especificadas por el operador, o adaptar las anulaciones de la política transitoria, tal como forzar un pase de retirada de recubrimiento en un área que ha clasificado erróneamente por el SPA. En un ejemplo, estas características se amplían para permitir que los usuarios finales modifiquen aspectos más significativos de las políticas de procesamiento de la superficie, tales como las velocidades de la superficie o las intensidades del láser mencionadas anteriormente, para proporcionar un mayor control sobre el proceso general. En un ejemplo, además del bucle de retroalimentación suelto entre las unidades de SPA y la unidad de procesamiento de superficie, el sistema actual también alberga un mecanismo de control de retroalimentación de trama local más estricto para el proceso de superficie. Este circuito de control de retroalimentación funciona a una velocidad mucho mayor y con una latencia mucho menor que el sistema de visión artificial, y permite la modulación en tiempo real del proceso. En el caso de la retirada de recubrimiento con láser, este “modulador de proceso de superficie” (SPM) consta de varios componentes principales:

• una serie de sensores ópticos con electrónica de acondicionamiento de señales analógicas,

• convertidores analógico-digital,

• un bus de comunicación digital de alta velocidad,

• algoritmos de modulación de proceso que se ejecutan en un microcontrolador incorporado, y

• un convertidor digital-analógico para dirigir el comando de salida al láser de alta potencia.

La figura 17 muestra un diagrama de bloques del modulador de proceso de superficie usado para la retirada de recubrimiento con láser. El conjunto de sensor está montado en el efector final de tal manera que los sensores ópticos pueden observar directamente el punto donde el láser intersecta la superficie y, por tanto, la luz emitida por el proceso de retirada de recubrimiento. Los sensores son fotodiodos, cada uno de los cuales es sensible a una longitud de onda de luz particular y está acoplado a un circuito analógico que genera una tensión proporcional a la intensidad de la iluminación incidente. La ganancia de este circuito puede ajustarse sobre la marcha a través de un potenciómetro controlado por software. Esto permite que el circuito se sintonice fácilmente para capturar la distancia dinámica completa de intensidad de luz del proceso de superficie. La señal analógica generada por cada sensor se conecta a un convertidor analógico-digital de alta velocidad, que en un ejemplo puede tomar como muestras 12 bits de cada sensor a velocidades superiores a 250 KHz. Este dispositivo difiere de las técnicas anteriores similares en que:

1. Este dispositivo usa una serie de sensores ópticos cuyo campo de visión combinado coincide con el espacio de trabajo instantáneo del proceso actual de retirada de recubrimiento con láser.

2. Este dispositivo digitaliza los datos del sensor en el cabezal del sensor y transmite los datos al microcontrolador a través de un enlace de datos digitales de alta velocidad.

3. Este dispositivo caracteriza la respuesta de cada sensor en todo el ancho del proceso de retirada de recubrimiento con láser y aplica tanto las ganancias analógicas configurables como una función de normalización digital para garantizar que la respuesta de la señal sea

4. Este dispositivo permite instalar una amplia serie de filtros ópticos convencionales de la industria para ajustar adicionalmente su respuesta de sensor a aplicaciones particulares

5. Este dispositivo permite la monitorización continua de las respuestas del sensor, el ajuste en línea de las ganancias del circuito analógico y los parámetros del proceso, y la visualización continua de las salidas de comandos computadas a través de un enlace de red TCP/IP dedicado.

Los datos digitales generados por los ADC se transmiten a través de un dispositivo de capa física IEEE 802.3u 100BASE-TX, que admite velocidades de datos sin errores de hasta 100 Mbit/s en distancias de hasta 100 m mediante un cable de red convencional. En el controlador, los datos del sensor digital se reciben y se procesan por un microcontrolador ARM Cortex M4F, que combina las señales con comandos de procesamiento especificados externamente para el ajuste fino de la cantidad de potencia de láser para su aplicación a la superficie. El microcontrolador luego ordena la potencia de láser deseada a través de un convertidor digital-analógico final.

Los algoritmos usados para determinar la cantidad correcta de potencia de láser que va a aplicarse a la superficie en función de las lecturas del sensor son altamente configurables, y hay dos algoritmos principales implementados actualmente en el sistema de SPM. El primero es un algoritmo simple de potencia constante que aplica una potencia de láser fija a la superficie, que se usa nominalmente durante el desarrollo. El segundo algoritmo usa un conjunto de umbrales aplicados a la respuesta de una sola señal, derivados de una combinación de la serie completa de sensores para determinar la cantidad de potencia de láser que ha de ordenarse. Los expertos en la técnica reconocerán que los métodos de la presente invención podrán ampliarse fácilmente para usar algoritmos de procesamiento más complejos que traten a los sensores individuales de manera diferente, por ejemplo, basados en combinaciones de ubicación física en la matriz y filtros ópticos instalados.

Estos algoritmos y sus parámetros pueden inspeccionarse, seleccionarse y ajustarse a través de comunicaciones TCP/IP dedicadas. El ajuste en línea de estos parámetros de funcionamiento surte efecto inmediatamente mientras el sistema está en funcionamiento, y también pueden almacenarse en EEPROM no volátil, lo que permite que el dispositivo retenga y cargue automáticamente la configuración deseada en el encendido. El enlace TCP/IP también puede usarse para transmitir datos en vivo desde los sensores de superficie, lo que permite al usuario visualizar las lecturas del sensor en tiempo real mientras está en funcionamiento.

Aunque el flujo de trabajo fundamental descrito en la figura 1 puede realizarse por cualquier manipulador industrial razonablemente diestro desde una sola ubicación fija, el uso típico de una posición base fija limita el tamaño del espacio de trabajo que puede alcanzarse a las capacidades intrínsecas de ese manipulador. Para habilitar el procesamiento de superficies de trabajo a gran escala, este sistema monta un manipulador de este tipo en una unidad de base móvil (MBU) que se usa para recolocar la base en cualquier caso fija del brazo en relación con la superficie objetivo. Esto introduce una serie de requisitos asociados con la navegación clásica de robots móviles, y las soluciones incorporadas en este sistema se comentan a continuación:

• localización o determinación de la postura del robot en un marco de referencia externo fijo;

• planificación de la ruta del manipulador bajo restricciones de obstáculos globales;

• planificación y seguimiento de rutas de robots móviles bajo restricciones de obstáculos globales;

• mecanismos de seguridad e interbloqueos relacionados con la seguridad del operador mejorados en las proximidades de un robot móvil, estabilidad dinámica del sistema MBU-brazo y validación del modelo de obstáculos.

Se utiliza una combinación de sensores y técnicas para localizar un robot individual en su entorno de trabajo, cada uno ajustado en un contexto de funcionamiento particular. En primer lugar, y sobre todo, se deriva la postura global general del robot en el entorno utilizando una técnica de localización visual basada en puntos de referencia, ilustrada en la figura 18, en la que una serie de cámaras observan puntos de referencia estudiados, llamados marcadores fiduciales. Además de la técnica basada en marcadores fiduciales, se utiliza una técnica de seguimiento y registro de la superficie cuando se requiere la mayor precisión para realizar el proceso.

En un ejemplo, los marcadores de entorno que se muestran en la figura 18, denominados “AprilTags”, están diseñados para poder identificarse de manera tanto fácil como única dentro de una imagen mediante el uso de codificaciones de píxeles que son únicas a través de las cuatro rotaciones cardinales. Es decir, ninguna etiqueta puede confundirse con otra o con ella misma en una orientación diferente, sin importar la perspectiva de observación. La configuración inicial del sistema de localización consiste en:

1. fijar una constelación de marcadores fiduciales en el entorno de manera tal que cualquier postura dada del robot incluya una pluralidad de etiquetas en el campo de visión de cada cámara;

2. examinar cada marcador fiducial de una manera que asocie su ID única con su postura completa de 6-DOF en el entorno;

3. fijar una pluralidad de cámaras en el robot (por ejemplo, en la base del manipulador) y determinar su geometría extrínseca en relación con el robot con alta precisión.

Dados estos requisitos previos, la parte en línea del algoritmo de localización consiste, para cada conjunto de datos de imagen de las cámaras de localización, en

1. Identificar cada marcador fiducial visible en la escena y extraer su ID única.

2. Recuperar la postura estudiada de cada marcador fiducial identificado y convertir esa postura en el sistema de coordenadas de la cámara en observación.

3. Sembrar múltiples posturas candidatas utilizando los principios geométricos básicos de la visión por ordenador en combinación con la cámara conocida y las geometrías fiduciales.

4. Refinar las posturas candidatas para el sistema de cámaras múltiples a través de un algoritmo de optimización numérica mediante:

4.1 Usar la estimación de la postura actual para proyectar cada marcador fiducial identificado en el plano de imagen de su cámara de observación (es decir, determinar dónde “debería estar” el marcador fiducial “en la imagen”);

4.2. Determinar los vectores de error en el espacio de imagen entre las esquinas esperadas del marcador fiducial y las esquinas detectadas;

4.3. Proporcionar estos vectores de error, junto con matrices jacobianas de postura-imagen-espacio para las cámaras de observación como las funciones de error y gradiente del algoritmo de minimización de errores.

5. Seleccionar la postura candidata con el error más bajo para la propagación al resto del sistema.

Esta técnica se selecciona sobre los sistemas de localización de interior existentes debido a su capacidad para medir la orientación con mucha precisión, su área de trabajo potencialmente muy grande y su capacidad para observar desviaciones estructurales del mecanismo que conecta la pluralidad de cámaras a la base móvil. El enfoque también muestra un coste relativamente bajo, robustez ante pequeños errores en la medición de los puntos de referencia ambientales y la capacidad de compensar oclusiones simplemente añadiendo puntos de referencia. Los resultados del sistema de localización visual se combinan con otros sensores y técnicas de localización de manera dependiente del contexto para determinar la postura instantánea del sistema. Otras fuentes principales de localización incluyen:

• sensores odométricos, inerciales y otros sensores propioceptivos en la unidad de base móvil,

• resultados de localización de superficie del subsistema de mapeo.

El grado de influencia de cada uno de estos sensores en el estado general del sistema depende del contexto de funcionamiento del sistema, como se resume en la tabla 1.

Tabla 1. Influencia de la situación de las fuentes de localización en el estado general del robot

Las ideas generales tras este esquema de ponderación son que:

1. cuando la base está en movimiento, la solución de localización visual puede degradarse debido a problemas de sincronización de la cámara y/o desenfoque de movimiento, por lo que los sensores propioceptivos de la unidad de base móvil (es decir, estimación a través de codificadores de rueda y sensores de inercia) deben influir más fuertemente en el estado del sistema, pero

2. cuando la base es estacionaria, la solución de localización visual es mucho más estable, por lo que el estado del sistema debe verse influido más directamente por sus resultados, excepto que

3. antes de planificar una maniobra de cobertura de la superficie, el sistema debe realizar una localización “justo a tiempo” del robot en relación con la superficie de trabajo para obtener la máxima precisión a la vez que realiza el seguimiento de la forma de la superficie.

En un ejemplo, el subsistema de localización puede aumentarse con datos de otras fuentes de posturas, como escáneres láser planos o instrumentos de anclaje, para compensar áreas de trabajo donde no puede evitarse una oclusión fiducial significativa, como cuando se trabaja bajo el ala de una gran aeronave de carga o pasajeros.

El planificador de manipuladores genera una secuencia temporal de estados de robot que hace que el manipulador realice una transición segura de un estado actual dado a un estado específico a la vez que obedece todas las restricciones ambientales, de proceso y de robot. Estos incluyen la posición intrínseca del manipulador, los límites de velocidad y aceleración, las restricciones de autocolisión del robot y un modelo integral de colisión con el entorno. El planificador se subdivide en dos componentes principales, un modelo de colisión de resolución múltiple y una serie de planificación de ruta punto a punto.

Modelo de colisión de resolución múltiple - En un ejemplo, la evitación de obstáculos se realiza mediante un modelo de colisión de resolución múltiple de dos partes. Esto comienza con una representación discreta y volumétrica de los obstáculos en el entorno, pero amplía esa representación para codificar no sólo las ubicaciones de obstáculos, sino también la distancia desde cada “vóxel” sin obstáculos al obstáculo más cercano. Este modelo se utiliza para procesar una representación simplificada de “cápsula de cierre” del manipulador, los anclajes de cable y el efector final, tal como se muestra en la figura 19.

Se utilizan varios algoritmos para generar y expandir este modelo de colisión incluyendo, pero sin limitarse a: • un algoritmo de expansión de celda libre basado en colas de prioridad que determina la distancia mínima de cada vóxel a la celda de obstáculo más cercana,

• un mapa de obstáculos, discretizado recursivamente, basado en vóxeles, tridimensional,

• un algoritmo de búsqueda de rasterización que escanea a lo largo de una línea a través del mapa de obstáculos para determinar la distancia mínima de obstáculos a lo largo de esa línea y recopila vóxeles con distancias por debajo de un umbral dado,

• un algoritmo binomial de búsqueda de obstáculos que recursivamente biseca una línea dada para determinar de manera eficaz y precisa si un estado de robot dado interseca un obstáculo,

• un algoritmo de casi interpolación que utiliza vóxeles adyacentes para suprimir los efectos de alias en el proceso de discretización y mejorar la estimación de distancia del obstáculo.

Planificador punto a punto - En otro ejemplo, se lleva a cabo planificación punto a punto por medio de un conjunto jerárquico de componentes, dispuesto tal como se ilustra en la figura 20. Esta serie comienza con dos estados de manipulador que se conectan, se especifican en coordenadas conjuntas y se denominan estados “actual” y “ordenado”. Dados dos de tales estados, un planificador de estado de unión síncrono simple usa los límites de velocidad y aceleración intrínsecos del manipulador para generar la ruta más rápido posible entre esos estados. El plan resultante se comprueba entonces por medio de un módulo de validación de plan, que impone las diferentes reglas de velocidad, aceleración, autocolisión y colisión con el entorno descritas anteriormente. Si este movimiento inicial y simplista supera esas comprobaciones, no se realizará ningún trabajo adicional y se seleccionará ese plan para su ejecución.

Cabe destacar que el tamaño del espacio de trabajo del robot, y el hecho de que se mantenga generalmente libre de obstáculos extraños, permite que este planificador simplista tenga éxito en un número no trivial de casos, por ejemplo, aproximadamente el 35-40% en uso general. Sin embargo, si el plan simple falla, el control se pasa a un planificador avanzado basado en retícula que genera una ruta más complicada libre de colisiones hacia la meta. Esto comienza con un módulo de selección de punto de inicio y final que puede proporcionar una variedad de variaciones levemente perturbadas de los estados de inicio y final originales. Este módulo tiene dos funciones principales:

1. Suprimir los efectos de alias en el planificador de retícula, lo que discretiza el espacio de unión del manipulador para la eficacia, pero también introduce un problema por el cual los puntos de inicio y final “reales”, que no están en colisión, pueden cuantificarse en los estados vecinos que son, y

2. En relación con esto, puede parecer que cualquier número de acciones de robot correctamente planificadas, especialmente en las proximidades de la superficie objetivo, están ligeramente en colisión en sus estados terminales debido al ruido del sensor en el sistema de localización y/o pequeños errores de seguimiento del manipulador.

En estos casos, que incluyen algunos escenarios automatizados de recuperación de fallos, el planificador de retícula puede generar una variedad de condiciones iniciales y finales para su uso, cada una de las cuales es un pequeño “impulso” de la verdadera condición inicial. Cada combinación de las configuraciones de inicio y final se pasa al planificador de retícula hasta que una de tales combinaciones tenga éxito, o hasta que se agoten todas las opciones, tras lo cual se informa al operador sobre el fallo en el plan de ruta segura.

En un ejemplo, el planificador de retícula se basa en la librería de planificación basada en búsqueda (SBPL) de código abierto, que emplea un algoritmo de búsqueda basado en retícula guiado por heurística para generar rutas complejas libres de colisiones a través de un espacio de configuración dado. Como planificador de retícula, SBPL genera trayectorias que se discretizan en el espacio de unión y deben suavizarse antes de que el robot las ejecute. El algoritmo de suavizado del plan de retícula utiliza una variación del planificador simplista del espacio de unión mencionado anteriormente para reemplazar la mayor cantidad posible de segmentos de plan discretos del planificador de retícula con movimientos suaves del brazo, al tiempo que todavía obedece restricciones de colisión del robot y con el entorno. Al igual que con el resto de las secuencias de generación de planes, el plan resultante se hace pasar a través de una comprobación de validez de modelo de colisión final e independiente antes de pasar el plan a la tarea del controlador para su ejecución.

En una realización, el objetivo del planificador de movimiento de base móvil es hacer maniobrar de manera segura la unidad de base móvil para colocar la base del manipulador industrial en una postura especificada en el entorno. En general, esta postura se especifica utilizando seis grados de libertad completos: tres coordenadas cartesianas y tres ángulos de Euler en el marco de referencia del entorno de trabajo. En la práctica actual, sin embargo, la MBU es un robot móvil plano con accionamiento hidráulico en el eje vertical. Esto permite el control total de los tres ejes cartesianos, pero solo puede controlarse explícitamente el ángulo de guiñada (rotación alrededor del eje vertical) de la base del manipulador. Con la altura de la base del manipulador controlada de manera total y explícita a través del mástil hidráulico, el problema de planificación de movimiento de MBU es principalmente un problema de planificación de robot móvil plano.

Tal como se muestra en la figura 21, la MBU es una plataforma pseudo-omnidireccional porque, aunque su movimiento se restringe instantáneamente por los ángulos de sus ruedas (es decir, no holonómico), las ruedas pueden dirigirse individualmente de manera que la plataforma puede lograr guiados y curvaturas arbitrarios si se da un tiempo suficiente de dirección. Esto permite una planificación de movimiento relativamente simplista, por lo que un plan de movimiento se descompone usando un pequeño conjunto de maniobras desunidas, tales como alternar traslaciones lineales con rotaciones en el lugar para lograr una postura objetivo final, tal como se muestra en la figura 22.

Este algoritmo básico, ampliado con heurísticas específicas de contexto tal como una secuencia de estados intermedios seguros que permiten el paso alrededor de un ala de aeronave, es el algoritmo en uso en el momento de la redacción de este documento. Esto produce un pequeño espacio combinatorio de maniobras que se someten a prueba cada una explícitamente usando el mismo modelo de colisión usado para la planificación de movimiento del manipulador. Se selecciona la primera combinación de maniobras que pasa todas las comprobaciones de obstáculos y se pasa al rastreador de ruta de MBU, o si no, se notifica al usuario la necesidad de una intervención manual si todas esas rutas fallan en las comprobaciones de colisión.

En un ejemplo, este planificador de movimiento ha demostrado ser suficiente para el desarrollo inicial y las pruebas de este sistema, pero el planificador actual se basa en gran medida en la selección manual de secuencias seguras de maniobras de MBU para evitar fallos en el planificador. En otro ejemplo, se incorpora un planificador más explícito basado en búsqueda, que utiliza las mismas librerías de planificación subyacentes usadas por el planificador de manipuladores, para planificar rutas más generales a través del entorno. Además de reducir la dependencia de la selección manual de estados intermedios, esto también puede ayudar a respaldar los avances paralelos en la planificación de estaciones de MBU.

Más allá de la capacidad de planificar maniobras de punto a punto seguras para la MBU, también existe la necesidad en este sistema de planificar dónde debe ir la MBU para cumplir los objetivos de procesamiento de la superficie del sistema. Hay muchas ventajas y desventajas que considerar en la selección de tales “estaciones de MBU”, en particular que el movimiento de la MBU representa el tiempo que no se invierte en el procesamiento activo de la superficie, lo que afecta al resultado final de cualquier análisis de coste-beneficio. La esencia del problema es la selección de una secuencia de posturas de MBU que permiten procesar toda la superficie en un tiempo mínimo, tal como se representa para la mitad de una aeronave abstracta en la figura 23.

El sistema dado a conocer incorpora varias características de seguridad para abordar los peligros presentes en un vehículo autónomo a gran escala con un sistema láser de alta potencia. Los objetivos de los sistemas de seguridad son (en orden de prioridad):

• Impedir daños a los operadores humanos debido a (1) la exposición al láser de alta potencia; y (2) contacto involuntario con el vehículo.

• Impedir daños en la superficie que está procesándose debido a (1) la exposición involuntaria a la emisión del láser; y (2) contacto involuntario entre el vehículo y la superficie.

• Impedir daños al robot debido a: (1) contacto involuntario con elementos del entorno; (2) interferencia entre una parte y otra del robot; y (3) inestabilidad producida por maniobras dinámicas.

El núcleo del sistema de seguridad es un mecanismo de parada de emergencia, diseñado para terminar y prevenir la emisión de láser y todo el movimiento externo del vehículo de forma a prueba de fallos y altamente fiable. El sistema de seguridad sigue una máquina de estado básica, indicándose claramente a los operadores el estado de funcionamiento actual del sistema mediante luces en la estación de control del operador, en el entorno de trabajo y en el robot. Estos estados, y sus implicaciones, se resumen en la tabla 2.

Tabla 2: Estados primarios del sistema de seguridad del robot

Las transiciones entre estos estados se ilustran en la figura 24. En términos generales, la activación de cualquier sensor de seguridad conducirá directamente al estado de parada de emergencia, lo que requerirá la intervención del operador utilizando el control remoto de seguridad para volver a un estado de funcionamiento. Los diversos sensores de seguridad usados en este sistema incluyen:

• Botones de parada de emergencia explícitos, que se encuentran dispersos por todo el entorno de trabajo según sea necesario para proporcionar una amplia oportunidad para que los operadores detengan el sistema.

• Interruptores de puerta, que se usan para detectar implícitamente un cambio en la ocupación del área de trabajo. La apertura de cualquier puerta al área de trabajo, activará una parada de emergencia si el sistema se encuentra en modo autónomo con láser, bajo el supuesto de que el personal tiene la intención de entrar en el área de trabajo.

• Interruptores de límite de anclaje de MBU, lo que impide que el robot salga del entorno de trabajo o dañe su anclaje activando una parada de emergencia cuando el robot se acerca a las dimensiones de la distancia de anclaje.

• Monitor de seguridad dinámica, que gobierna eficazmente la MBU a bajas velocidades activando una parada de emergencia si la MBU supera un límite de velocidad preestablecido. Por ejemplo, la MBU en el sistema actual, aunque puede alcanzar velocidades de más de varios metros por segundo, se limita a velocidades inferiores a 100 mm/s para poder garantizar la estabilidad del sistema combinado.

• Interruptores de límite de efector final, que están incorporados en el efector final y están diseñados para detectar el contacto con cualquier obstáculo. Estos interruptores se activarán si se aplica una fuerza suficiente al punto de procesamiento del efector final en cualquier dirección. Si cualquiera de estos interruptores está activado, el sistema de seguridad entrará en el modo de parada de movimiento (M-Stop) e impedirá el funcionamiento autónomo hasta que el efector final se haya desenganchado manualmente del obstáculo.

El modelo de funcionamiento de usuario final de este sistema, mostrado en la figura 25, orbita un “Modelo de trabajo” único y coherente, que representa explícitamente el entorno de procesamiento, realizando el conjunto de sistemas del robot el procesamiento y procesándose el estado del objeto.

El modelo de trabajo puede construirse a través de un asistente interactivo, con trabajos de plantilla disponibles para procesar una amplia variedad de superficies arquetípicas en determinadas configuraciones por defecto dentro de un entorno de trabajo dado. El trabajo continúa entonces a través de la siguiente secuencia de acciones:

1. El supervisor de autonomía confirma la forma y la posición aproximadas de la superficie objetivo comparando el modelo anterior presentado en la GUI con la superficie física en el entorno de trabajo.

2. Tras la confirmación, el sistema continúa para mapear la superficie objetivo, coordinando las actividades de planificación y secuenciación de la estación de uno o más sistemas robóticos dentro del entorno con un objetivo de mapeo de superficie.

3. Una vez que se ha completado toda la recopilación de datos, los robots vuelven a una configuración “de inicio” nominal, y el modelo anterior para el arquetipo de la superficie objetivo se refina para que coincida con la superficie objetivo medida, solicitándose al supervisor autónomo que realice las acciones apropiadas que deben llevarse a cabo en relación con cualquier geometría de superficie anómala.

4. Cuando se completa el proceso de refinamiento del modelo, el operador debe revisar y aprobar las deformaciones y la alineación que se realizaron, selecciona un estado terminal deseado para la superficie objetivo, tal como retirar todos los recubrimientos” o “retirar solo la capa superior” en el caso de retirada de recubrimiento láser.

5. El sistema coordina las actividades de planificación y secuenciación de la estación de uno o más sistemas robóticos, emitiendo alternativamente maniobras de MBU y comandos de cobertura de superficie apropiados hasta que toda el área de superficie que puede alcanzarse se haya transformado en el estado objetivo.

5.1. Durante la ejecución de los comandos de cobertura de superficie, puede pedirse al supervisor de autonomía que proporcione consejos de procesamiento en superficies que el SPA no puede identificar claramente, y

5.2. Antes de que un robot salga de una estación de procesamiento de superficie dada, al supervisor de autonomía se le dará la oportunidad de inspeccionar los resultados finales y, opcionalmente, de especificar el trabajo adicional que se realizará en los subconjuntos de esa área, tal como forzar “un pase de limpieza más” para la retirada de recubrimiento.

6. Una vez completado el procesamiento de superficie para cada estación, todos los productos de datos, incluyendo la geometría y el estado de la superficie, se archivan para su análisis sin conexión.

Además de las principales interacciones descritas anteriormente, existen varias interacciones críticas con el operador, parte del paradigma de autonomía supervisada, que pueden producirse en cualquier momento durante el funcionamiento del sistema. En términos generales, estos eventos se refieren a eventos de recuperación de fallos y seguridad, siendo los más críticos:

1. Detección positiva inesperada de obstáculos, en la que varios sensores en cada robot están midiendo continuamente el entorno circundante, buscando evidencia de objetos sólidos que no se tienen en cuenta en los mapas de obstáculos utilizados por el resto del sistema. En el caso de que se detecte tal obstáculo anómalo, el sistema:

• Emitirá un evento de parada de emergencia del software para el robot que detectó el obstáculo, deteniendo cualquier operación activa en ese sistema;

• Resaltará el obstáculo inesperado en la GUI, solicitando al usuario la acción apropiada, como por ejemplo:

(a) Suspender todo el procesamiento activo para permitir que el usuario entre en el entorno para retirar el obstáculo engañoso, o bien

(b) Incorporar el obstáculo en el modelo de colisión y obligar a todos los robots a generar nuevos planes que incorporen los nuevos datos.

2. Evento de seguridad del sistema, en el que uno o más de los sensores de seguridad descritos anteriormente activan una parada de emergencia por hardware. En este caso, se informará al operador de la causa ordinal del evento y se le proporcionarán instrucciones sobre las acciones de recuperación adecuadas. Esto puede incluir el uso de los mandos de COTS para la MBU o el manipulador, tal como para desactivar un interruptor de límite, antes de reanudar el funcionamiento manual.

El patrón fundamental de interacción utilizado en este sistema son los procesos de cooperación, en el que múltiples programas independientes, distribuidos a través de múltiples sistemas físicos, colaboran a través de mensajes para alcanzar los objetivos generales del sistema. Como tal, el software de soporte utilizado en este trabajo incluye estructuras de datos, algoritmos, servicios del sistema, plantillas de código y metáforas de diseño (en forma de interfaces abstractas) que apoyan la colaboración ilustrada en la figura 26.

Además de soportar directamente el paradigma anterior, la infraestructura central utilizada en este trabajo también admite el registro generalizado del tráfico de mensajes entre procesos, la reproducción temporizada de esos registros y las herramientas de análisis sin conexión que son fundamentales para el diagnóstico de fallos y el análisis de rendimiento en sistemas de software complejos.

Este sistema también incluye una interfaz gráfica de usuario rica en características que proporciona metáforas coherentes para visualizar una amplia variedad de datos desde y sobre el sistema. Como se muestra en la figura 27, la GUI proporciona mecanismos para mostrar información textual, mediante el uso de metáforas de ventana convencionales, como botones y cuadros de texto, junto con una rica vista tridimensional del estado del sistema. Los datos se visualizan en la GUI a través de una metáfora de “complemento”, que permite añadir o eliminar funcionalidad de una instancia de GUI particular añadiendo o eliminando de la lista de complementos activos. Tras una fuerte separación de problemas entre modelo-controlador-vista, un complemento individual actúa como controlador, gestionando el contenido de una o más GUI, o elementos de vista en cada área descrita en la figura anterior en sincronía con el tráfico de mensajes del sistema, que proporciona el modelo. Por ejemplo, uno de estos complementos puede suscribirse al mensaje de estado general del sistema, utilizando los datos que se encuentran en él para actualizar un modelo 3D del sistema en el centro de la figura 27, pero también actualizando la información textual en un panel lateral, y posiblemente permitiendo que algunos comandos básicos se envíen al sistema a través de botones en la barra de herramientas.

El software de soporte para este sistema también incluye componentes de software explícitos y metáforas de configuración para describir las piezas constituyentes de un sistema robótico, cómo se ensamblan en robots completos y cómo estos robots interaccionan con su entorno para lograr un propósito de nivel superior. Este denominado “modelo de activos” permite que los detalles de cada robot individual, tales como la cinemática del manipulador, la geometría del efector final calibrado o las capacidades de la base móvil se expresen por separado y se combinen en un “robot” a un nivel superior, tal como se muestra en la figura 28.

Expresando la circunscripción y la composición de los sistemas robóticos en un modelo explícito de esta manera, los componentes de software de nivel superior, como los diversos sistemas de percepción y planificadores descritos anteriormente, controlan una variedad de sistemas semánticamente similares, pero heterogéneamente detallados. También permite separar vistas del sistema que va a generarse, tal como para la GUI descrita anteriormente, pero también para representar modelos de colisión, derivar transformaciones homogéneas, etc., que garantizan una representación real del estado del sistema sin interferir con otros componentes del sistema.

El amplio uso de este paradigma de modelado, junto con otras aplicaciones apropiadas del patrón de diseño de modelo-controlador-vista, también permite que el sistema sea completamente simulado con diferentes grados de fidelidad. Por ejemplo, tal como se muestra en la figura 29, el software de planificación y control se desarrolló y sometió a prueba sin conexión sustituyendo los procesos de control e interfaz “reales” del brazo con simuladores de diversos grados de fidelidad.

Un concepto importante expresado en este diagrama es el de la variación de comportamiento por sustitución de componentes: ninguno de los componentes de nivel superior necesita “saber” si los componentes de nivel inferior son reales o simulados.

Se han desarrollado capacidades de simulación similares para todos los subsistemas principales del sistema robótico presentado en este documento, incluyendo en particular la unidad de base móvil, el sensor de mapeo y, en cierta medida, el sistema de localización global además del manipulador. Esta capacidad de simulación generalizada permite que todo el software de planificación de alto nivel se desarrolle, se someta a prueba y se depure sin conexión. Esto, a su vez, permite que los problemas se resuelvan o que se añadan nuevas características al sistema sin consumir tiempo de prueba en el robot real, lo que reduce el riesgo de comportamiento inesperado o erróneo en el mismo. En un ejemplo, esta capacidad de simulación puede ampliarse para poder simular también el proceso de superficie. Esto puede respaldar la experimentación con y la optimización de los comportamientos del sistema que surgen de variaciones en el proceso de superficie, tal como surgirían de variaciones en el grosor de la pintura para la retirada de recubrimiento con láser

Claims

REIVINDICACIONES

i. Un sistema para realizar procesamiento de superficie en un objeto tridimensional en un entorno de trabajo que comprende:

una base estacionaria o móvil;

uno o más manipuladores robóticos, incluyendo cada uno de dichos manipuladores robóticos un efector final que tiene una herramienta de procesamiento de superficie, un sensor telemétrico y uno o más sensores de propiedades de superficie unidos al mismo, estando montados dicho uno o más manipuladores robóticos en dicha base estacionaria o móvil;

un ordenador que comprende software para controlar dicho uno o más manipuladores robóticos, comprendiendo dicho software:

un analizador de propiedades de superficie, para procesar datos del sensor de propiedades de superficie antes y después del punto de procesamiento de dicha herramienta de procesamiento de superficie para clasificar el estado actual de dicha superficie;

un modelo de superficie para el almacenamiento de la geometría de dicha superficie y dicho estado actual de dicha superficie, en el que el software está adaptado para generar el modelo de superficie refinando un modelo de base tridimensional de dicho objeto tridimensional produciendo un escaneo de superficie de dicho objeto tridimensional y aumentando dicho modelo de base con datos de distancia y datos de propiedades de superficie obtenidos de dicho escaneo;

un planificador de procesos de superficie para planificar una secuencia de acciones de procesamiento que va a llevar a cabo dicha herramienta de procesamiento basándose en un estado observado de dicha superficie almacenada en dicho modelo de superficie, en el que el planificador de procesos de superficie está adaptado para crear una secuencia temporal de estados de dicho uno o más manipuladores robóticos que comprende un conjunto de posiciones y posturas;

un modulador de proceso de superficie para modificar dicha secuencia planificada de acciones de procesamiento basándose en retroalimentación en tiempo real desde dicho sensor telemétrico y dicho uno o más sensores de propiedades de superficie; y

un planificador de cobertura de superficie, para planificar movimientos y posturas de dicho uno o más manipuladores robóticos para maximizar la cobertura de dicha superficie.
2. El sistema según la reivindicación 1, en el que dicha herramienta de procesamiento es un láser que puede eliminar pintura de dicha superficie.
3. El sistema según la reivindicación 1, que comprende además uno o más sensores para detectar y localizar objetos que rodean dicho sistema para impedir la colisión con dichos objetos.
4. El sistema según la reivindicación 1, en el que dicha base es una base móvil que puede moverse sobre una superficie.
5. El sistema según la reivindicación 1, en el que dicha base es una base carril que puede mover dicho uno o más manipuladores robóticos a lo largo del carril.
6. El sistema según la reivindicación 1, en el que dicho sensor telemétrico se selecciona de un grupo que comprende un telémetro de láser de barrido, una cámara estéreo, una cámara telemétrica y un sensor de captura de distancia.
7. El sistema según la reivindicación 1, en el que dicho uno o más sensores de propiedades de superficie se seleccionan de un grupo que comprende cámaras de vídeo y sensores de inspección.
8. El sistema según la reivindicación 1, que comprende además iluminación activa para iluminar el área visualizada por dicho uno o más sensores de propiedades de superficie.
9. El sistema según la reivindicación 1, en el que dicho software permite la edición manual de dicho modelo de superficie por un usuario para efectuar cambios en dicha secuencia de acciones de procesamiento.
10. El sistema según la reivindicación 1, en el que dicha superficie es el fuselaje, las alas y las superficies de control de una aeronave y en el que además dicho procesamiento de superficie es la retirada de capas de recubrimiento de dicha superficie.
11. El sistema según la reivindicación 1, en el que el software está configurado para generar dicho modelo de base mediante el barrido de dicho objeto tridimensional usando un sensor óptico que puede capturar la forma de dicho objeto tridimensional.
12. El sistema según la reivindicación 11, en el que el software está configurado para aumentar dicho modelo de base con políticas de procesamiento en relación con el procesamiento de dicha superficie.
13. El sistema según la reivindicación 1, en el que dicho modelo de superficie incluye áreas o volúmenes enmascarados que imposibilitan que se procesen posiciones de dicha superficie.