ES2927177T3

ES2927177T3 - Monitorización de la seguridad del espacio de trabajo y control de equipos

Info

Publication number: ES2927177T3
Application number: ES18751554T
Authority: ES
Inventors: Clara Vu; Scott Denenberg; Patrick Sobalvarro; Patrick Barragan; Alberto Moel
Original assignee: Veo Robotics Inc
Current assignee: Veo Robotics Inc
Priority date: 2017-02-07
Filing date: 2018-02-06
Publication date: 2022-11-03
Anticipated expiration: 2038-02-06
Also published as: US10099372B2; US11376741B2; JP2020511325A; US20190061158A1; WO2018148181A1; JP6898012B2; US20180222051A1; EP4088891A1; CA3052961A1; US20180222050A1; JP2021126767A; US20180222052A1; EP4088890A1; JP6752499B2; EP3580735A1; EP3580735B1; JP7122776B2; CN110494900A; US10899007B2; US20210069907A1

Abstract

Los sistemas y métodos supervisan un espacio de trabajo con fines de seguridad utilizando sensores distribuidos por el espacio de trabajo. Los sensores se registran entre sí, y este registro se controla a lo largo del tiempo. Se identifica el espacio ocluido así como el espacio ocupado, y este mapeo se actualiza con frecuencia. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Monitorización de la seguridad del espacio de trabajo y control de equipos

Referencia cruzada a solicitud relacionada

La presente solicitud reivindica la prioridad y el beneficio de las solicitudes de patentes provisionales de Estados Unidos núms 62/455.828 y 62/455.834, ambas presentadas el 7 de febrero de 2017.

Campo de la invención

El campo de la invención se refiere, en general, a la monitorización de entornos industriales, en los que humanos y maquinaria interactúan o están cerca y, en particular, a sistemas y métodos para detectar condiciones inseguras en un espacio de trabajo monitorizado.

Antecedentes

La maquinaria industrial es a menudo peligrosa para los humanos. Algunas máquinas son peligrosas a menos que estén completamente apagadas, mientras que otras máquinas pueden tener una variedad de estados operativos, algunos de los cuales son peligrosos y otros no. En algunos casos, el grado de peligro puede depender de la localización del ser humano con respecto a la maquinaria. Como resultado, se han desarrollado muchos enfoques de "protección" para evitar que la maquinaria provoque daño a los humanos. Un tipo de protección muy simple y común es simplemente una jaula que rodea la maquinaria, configurada de tal manera que al abrir la puerta de la jaula provoque que un circuito eléctrico apague la maquinaria. Esto garantiza que los humanos nunca puedan acercarse a la maquinaria mientras está en operación. Por supuesto, esto evita toda interacción entre humanos y máquinas y restringe severamente el uso del espacio de trabajo.

Los tipos de protección más sofisticados involucran sensores ópticos. Ejemplos incluyen cortinas de luz que determinan si algún objeto se ha introducido en una región monitorizada mediante uno o más emisores y detectores de luz y sensores LIDA^r2D que usan detección óptica activa para detectar la distancia mínima a un obstáculo a lo largo de una serie de rayos que emanan del sensor y, por lo tanto, pueden configurarse para detectar proximidad o intrusión en zonas bidimensionales (2D) preconfiguradas. Más recientemente, los sistemas han comenzado a emplear información de profundidad 3D usando, por ejemplo, cámaras de tiempo de desplazamiento 3D, LIDAR 3D y cámaras de visión estéreo. Estos sensores ofrecen la capacidad de detectar y localizar intrusiones en el área que rodea la maquinaria industrial en 3D, lo que tiene varias ventajas. Por ejemplo, un sistema LIDAR 2D que protege un robot industrial tendrá que parar el robot cuando se detecte una intrusión mucho más allá de la distancia de un brazo del robot, debido a que si la intrusión representa las piernas de una persona, los brazos de esa persona podrían estar mucho más cerca y sería indetectable por el LIDAR plano. Sin embargo, un sistema 3D puede permitir que el robot continúe operando hasta que la persona realmente estire su brazo hacia el robot. Esto permite un interbloqueo mucho más estrecho entre las acciones de la máquina y las acciones del humano, lo que facilita muchas aplicaciones y ahorra espacio en la planta de producción, que siempre es un bien escaso.

Debido a que la seguridad humana está en juego, los equipos de protección, en general, deben cumplir con los estrictos estándares de la industria. Estos estándares pueden especificar tasas de fallo para componentes de hardware y prácticas de desarrollo rigurosas para tanto componentes de hardware como de software. Los sistemas que cumplen con los estándares deben garantizar que las condiciones peligrosas puedan detectarse con una probabilidad muy alta, que se detecten los fallos del propio sistema y que el sistema responda a los fallos detectados haciendo la transición del equipo que se está controlando a un estado seguro. El diseño de equipos de protección se vuelve específicamente desafiante en relación con tareas en las que el humano y la máquina trabajan juntos en colaboración. Si bien las máquinas pueden ser más fuertes, más rápidas, más precisas y más repetibles que los humanos, carecen de la flexibilidad, destreza y juicio de los humanos. Un ejemplo de una aplicación colaborativa es la instalación de un tablero de instrumentos en un automóvil: el tablero de instrumentos es pesado y difícil de maniobrar para un humano, pero conectarlo requiere una variedad de conectores y elementos de sujeción que necesitan habilidades humanas para manejarlos correctamente. El simple hecho de mantener separados a los humanos y las máquinas representa una tarea de protección mucho más simple que detectar condiciones inseguras cuando los humanos trabajan activamente con máquinas que puedan lesionarlos. Los sistemas de protección convencionales tienen una operación insuficientemente definida para monitorizar de manera confiable dichos entornos.

Los sistemas de sensores 3D ofrecen la posibilidad de mejorar la definición en los sistemas de protección. Pero el sistema de datos 3D puede ser difícil de configurar en comparación con los sistemas de sensores 2D. En primer lugar, deben diseñarse y configurarse zonas específicas para cada caso de uso, teniendo en cuenta los peligros específicos que plantea la maquinaria, las posibles acciones de los humanos en el espacio de trabajo, el diseño del espacio de trabajo y la localización y el campo de visión de cada sensor individual. Puede ser difícil calcular las formas óptimas de las zonas de exclusión, especialmente cuando se trata de preservar la seguridad mientras se optimiza el espacio del piso y el rendimiento del sistema, donde un objeto puede presentar una oclusión en relación con un sensor y donde los niveles de luz varían en relación con los diferentes sensores. Los errores en la configuración pueden resultar en serios peligros para la seguridad, lo que requiere una sobrecarga significativa en el diseño y las pruebas. Y todo este trabajo debe rehacerse por completo si se realizan cambios en el espacio de trabajo. El grado adicional de libertad que presentan los sistemas 3D da como resultado un conjunto mucho mayor de posibles configuraciones y peligros. En consecuencia, existe la necesidad de técnicas mejoradas y tratables computacionalmente para monitorizar un espacio de trabajo con alta definición.

Incluso si el espacio de trabajo puede mapearse y monitorizarse con precisión, manteniendo la seguridad en un entorno dinámico donde los robots y los humanos pueden moverse, es decir, cambiar tanto la posición como la configuración, de manera rápida y desigual. Los robots industriales típicos son estacionarios, pero no obstante tienen brazos poderosos que pueden provocar lesiones en un amplio "envolvente" de posibles trayectorias de movimiento. En general, los brazos robóticos consisten en una serie de enlaces mecánicos conectados por articulaciones rotatorias que pueden controlarse con precisión y un controlador coordina todas las articulaciones para lograr trayectorias determinadas por un ingeniero industrial para una aplicación específica.

Las aplicaciones de robots individuales pueden usar solo una parte del intervalo completo del movimiento del robot. Sin embargo, el software que controla la trayectoria del robot normalmente no se ha considerado ni desarrollado como parte del sistema de seguridad del robot. A continuación, aunque el robot solo puede usar una pequeña parte de su trayectoria envolvente, los sistemas de protección (tal como, de nuevo, jaulas) se han configurado para abarcar todo el intervalo de movimiento del robot. Al igual que con otros tipos de protección, estos dispositivos han evolucionado desde simples soluciones mecánicas hasta sensores electrónicos y control de software. En los últimos años, los fabricantes de robots también han introducido los llamados sistemas de limitación de velocidad y eje "suave", un software con calificación de seguridad que restringe al robot a ciertas partes de su intervalo de movimiento, así como a ciertas velocidades. A continuación, esta restricción se aplica en el software de seguridad-velocidad, si en algún momento se descubre que el robot está violando los ajustes de limitación de velocidad y eje suave, se declara una parada de emergencia. Este enfoque aumenta el área segura efectiva alrededor del robot y permite aplicaciones de colaboración.

No obstante, estos sistemas presentan al menos dos inconvenientes significativos. En primer lugar, los ingenieros industriales deben programar normalmente zonas específicas para cada caso de uso, teniendo en cuenta la trayectoria del robot, las posibles acciones de los humanos en el espacio de trabajo, el diseño del espacio de trabajo y la localización y el campo de visión de cada sensor individual. Puede ser difícil calcular las formas óptimas de estas zonas, independientemente de la precisión con la que puedan caracterizarse y controlarse las propias zonas. Los errores en la configuración pueden dar como resultado graves peligros para la seguridad y las zonas de seguridad deben reconfigurarse si se realiza algún cambio en el programa del robot o en el espacio de trabajo. En segundo lugar, estas zonas y limitaciones de velocidad son discretas, por lo general, no hay forma de ralentizar proporcionalmente al robot solo lo necesario para la distancia precisa entre el robot y el obstáculo detectado, por lo que deben ser muy conservadores. Otra complicación más es la necesidad de planificar las trayectorias esperadas y posibles del robot que incluyen piezas de trabajo que el robot ha recogido o que de otro modo se han asociado al robot. En consecuencia, se necesitan nuevos enfoques para configurar y reconfigurar las zonas seguras de manera dinámica a medida que evolucionan la ocupación del espacio de trabajo y las tareas del robot.

En el documento US 2015/0249496 A1 se describe un ejemplo de un sistema de monitorización humano conocido que incluye una pluralidad de cámaras y un procesador visual.

Sumario

La presente invención se define mediante el conjunto adjunto de reivindicaciones.

En un aspecto, las realizaciones de la presente invención proporcionan sistemas y métodos para monitorizar un espacio de trabajo por motivos de seguridad usando sensores distribuidos por el espacio de trabajo. El espacio de trabajo puede contener uno o más piezas de un equipo que pueden ser peligrosas para los humanos, por ejemplo, robots industriales y equipos auxiliares tales como alimentadores de piezas, carriles, abrazaderas u otras máquinas. Los sensores se registran entre sí y este registro se monitoriza a lo largo del tiempo. Se identifica el espacio ocluido, así como el espacio ocupado y este mapeo se actualiza con frecuencia.

Las regiones dentro del espacio monitorizado pueden marcarse como ocupadas, desocupadas o desconocidas; solo el espacio vacío puede considerarse seguro en última instancia y solo cuando se cumple cualquier criterio de seguridad adicional, por ejemplo, la distancia mínima desde una pieza de la maquinaria controlada. En general, los datos sin procesar de cada sensor se analizan para determinar si, en toda la zona de cobertura correspondiente al sensor, se ha detectado definitivamente un objeto o límite del espacio mapeado en 3D.

A medida que una persona se mueve dentro de un espacio 3D, normalmente ocluye algunas áreas de algunos sensores, dando como resultado áreas del espacio que son temporalmente desconocidas. Además, una maquinaria en movimiento, tal como un brazo robótico industrial, también puede ocluir temporalmente algunas áreas. Cuando la persona o la maquinaria se mueve a una localización diferente, uno o más sensores podrán observar nuevamente el espacio desconocido y devolverlo al estado vacío confirmado y, por lo tanto, seguro para que el robot o la máquina operen en este espacio. En consecuencia, en algunas realizaciones, el espacio también puede clasificarse como "potencialmente ocupado". El espacio desconocido se considera potencialmente ocupado cuando surge una condición donde el espacio desconocido podría estar ocupado. Esto podría producirse cuando el espacio desconocido es adyacente a los puntos de entrada al espacio de trabajo o si el espacio desconocido es adyacente a un espacio ocupado o potencialmente ocupado. El espacio potencialmente ocupado "infecta" el espacio desconocido a un ritmo que es representativo de un humano que se mueve por el espacio de trabajo. El espacio potencialmente ocupado permanece potencialmente ocupado hasta que se observa que está vacío. Por motivos de seguridad, el espacio potencialmente ocupado se trata igual que el espacio ocupado.

Para algunas modalidades de sensor, tales como las que dependen de una señal óptica activa, la capacidad de un sensor para detectar definitivamente un objeto o un límite disminuye rápidamente con la distancia; es decir, más allá de cierta distancia, un sensor puede no ser capaz de distinguir entre un objeto y un espacio vacío ya que los niveles de iluminación asociados son demasiado similares. Los puntos o regiones en dichas localizaciones se marcan como "desconocidos" con respecto al sensor relevante y ese sensor no puede confirmar que las regiones así marcadas estén vacías.

En otro aspecto, las realizaciones de la presente invención proporcionan sistemas y métodos para determinar zonas seguras en un espacio de trabajo, donde las acciones seguras se calculan en tiempo real basándose en todos los objetos relevantes detectados y en el estado actual de la maquinaria (por ejemplo, un robot) en el espacio de trabajo. Estas realizaciones pueden, pero no necesariamente, usar los enfoques de monitorización-espacio de trabajo descritos en la descripción detallada a continuación. Las realizaciones de la invención realizan un modelado dinámico de la geometría del robot y pronostican la trayectoria futura del o los robots) y/o del o los humanos, usando, por ejemplo, un modelo del movimiento humano y otras formas de control. El modelado y la predicción del robot pueden, en algunas realizaciones, hacer uso de los datos proporcionados por el controlador de robot que pueden o no incluir garantías de seguridad. Sin embargo, las realizaciones de la invención pueden proporcionar una garantía de seguridad en cualquier caso mediante la validación independiente de estos datos y el uso de una función de parada con clasificación de seguridad.

Las realizaciones de la invención pueden pronosticar, en tiempo real, tanto el movimiento de la maquinaria como el posible movimiento de un humano dentro del espacio y actualizar continuamente el pronóstico a medida que la maquinaria opera y los humanos se mueven en el espacio de trabajo. A medida que el sistema rastrea y pronostica, puede encontrar volúmenes ocluidos o desconocidos que son desconocidos y posiblemente podrían estar ocupados por un humano. El sistema trata dichos volúmenes como si estuvieran ocupados actualmente por humanos. Nuestro enfoque supera la necesidad de programar zonas específicas, no requiere limitaciones de velocidad discretas para operar y mantiene el movimiento del robot en una intervalo más amplio de acciones humanas en el espacio de trabajo, reduciendo de este modo el área del espacio de trabajo designada como fuera de límites para los humanos, incluso cuando el robot continúa la operación.

En otro aspecto más, las realizaciones de la presente invención determinan la configuración de una pieza de trabajo y si está manipulándose realmente por una pieza de maquinaria monitorizada, tal como un robot. El problema resuelto por estas realizaciones es especialmente desafiante en entornos de fábrica del mundo real debido a que muchos objetos, la mayoría de los cuales no son piezas de trabajo, pueden estar cerca de la maquinaria. En consecuencia, dichas realizaciones pueden utilizar la comprensión semántica para distinguir entre piezas de trabajo que pueden asociarse a la maquinaria y otros objetos (y humanos) en el espacio de trabajo que no lo harán y detectar cuándo, por ejemplo, un robot está transportando una pieza de trabajo. En este caso, la pieza de trabajo se trata como parte del robot con el fin de establecer una envolvente de posibles trayectorias de robot. La envolvente se rastrea a medida que el robot y la pieza de trabajo se mueven juntos en la celda de trabajo y el espacio ocupado correspondiente a la misma se marca dinámicamente como no vacío y no seguro. Los espacios 3d ocluidos por la combinación de robot-pieza de trabajo se marcan como no vacíos a menos que pueda obtenerse una verificación independiente de vacío de los sensores adicionales.

En diversas realizaciones, el sistema incluye una pluralidad de sensores distribuidos alrededor del espacio de trabajo. Cada uno de los sensores incluye o está asociado a una cuadrícula de píxeles para grabar representaciones de una parte del espacio de trabajo dentro de un campo de visión del sensor; las partes del espacio de trabajo cubren conjuntamente todo el espacio de trabajo. Una memoria de ordenador almacena (i) una serie de imágenes de los sensores, (ii) un modelo del robot y sus movimientos permitidos y (iii) un protocolo de seguridad que especifica restricciones de velocidad de un robot en la proximidad de un humano y una mínima distancia de separación entre un robot y un humano. Se configura un procesador para generar, a partir de las imágenes almacenadas, una representación espacial del espacio de trabajo (por ejemplo, como volúmenes, que pueden corresponder a vóxeles, es decir, píxeles 3d ). El procesador identifica y monitoriza, a lo largo del tiempo, una representación del espacio ocupado por el robot dentro del espacio de trabajo como una región del robot en el volumen. El procesador genera, alrededor de la región del robot, una región envolvente que abarca los movimientos permitidos del robot de acuerdo con el modelo almacenado.

El procesador también identifica y monitoriza volúmenes que representan piezas de trabajo. Este reconocimiento puede estar asistido por la información sobre la forma física de las piezas de trabajo determinadas durante un proceso de configuración, que podría consistir en modelos CAD, escaneos 3D o modelos 3D aprendidos por el sistema durante una fase de aprendizaje. Estos volúmenes de piezas de trabajo se caracterizan entonces como definitivamente no ocupados por un humano y, por lo tanto, se permite que el robot se acerque según el protocolo de seguridad. Además, el procesador reconoce la interacción entre el robot y una pieza de trabajo dentro del espacio de trabajo y, en respuesta a la interacción reconocida, actualiza la región del robot para incluir la pieza de trabajo y actualiza la región envolvente de acuerdo con el modelo almacenado y la región del robot actualizada. El procesador genera una zona segura alrededor de la región del robot, actualizada, de acuerdo con el protocolo de seguridad.

En general, como se usa en el presente documento, el término "sustancialmente" significa ±10 % y, en algunas realizaciones, ±5 %. Además, la referencia a través de la presente memoria descriptiva a "un ejemplo" o "una realización" significa que un rasgo, estructura o característica específico descrito en relación con el ejemplo está incluido en al menos un ejemplo de la presente tecnología. Por lo tanto, las apariciones de las expresiones "en un ejemplo", "una realización" en diversos lugares a través de la presente memoria descriptiva no se refieren todas necesariamente al mismo ejemplo. Además, los rasgos, estructuras, rutinas, etapas o características específicos pueden combinarse de cualquier manera adecuada en uno o más ejemplos de la tecnología. Los encabezados proporcionados en el presente documento son solo por conveniencia y no pretenden limitar o interpretar el alcance o el significado de la tecnología reivindicada.

Breve descripción de los dibujos

En los dibujos, caracteres de referencia similares se refieren, en general, a las mismas partes a través de todas las diferentes vistas. También, los dibujos no están necesariamente a escala, haciendo énfasis en su lugar, en general, en ilustrar los principios de la invención. En la siguiente descripción, diversas realizaciones de la presente invención se describen haciendo referencia a los siguientes dibujos, en los que:

La figura 1 es una vista en perspectiva de un espacio de trabajo monitorizado de acuerdo con una realización de la invención.

La figura 2 ilustra esquemáticamente la clasificación de regiones dentro del espacio de trabajo monitorizado de acuerdo con una realización de la invención.

La figura 3 ilustra esquemáticamente un sistema de control de acuerdo con una realización de la invención.

La figura 4 ilustra esquemáticamente un sistema de monitorización de objetos de acuerdo con una realización de la invención.

La figura 5 ilustra esquemáticamente la definición de envolventes de seguridad progresiva en la proximidad de una pieza de maquinaria industrial.

Descripción detallada

En la siguiente exposición, se describe un sistema integrado para monitorizar un espacio de trabajo, clasificar las regiones en el mismo por motivos de seguridad e identificar dinámicamente los estados seguros. En algunos casos, esta última función involucra el análisis semántico de un robot en el espacio de trabajo y la identificación de las piezas de trabajo con las que interactúa. Debería entenderse, sin embargo, que estos diversos elementos pueden implementarse por separado o juntos en combinaciones deseadas que caen bajo el alcance de las reivindicaciones adjuntas; los aspectos inventivos expuestos en el presente documento no necesitan todos los elementos descritos, los cuales se exponen juntos simplemente para facilitar la presentación y para ilustrar su interoperabilidad. El sistema descrito representa simplemente una realización.

1. Monitorización del espacio de trabajo

En primer lugar se hace referencia a la figura 1, que ilustra un espacio de trabajo 3D representativo 100 monitorizado por una pluralidad de sensores indicados representativamente en 1021, 1022. Los sensores 102 pueden ser sensores ópticos convencionales tales como cámaras, por ejemplo, cámaras de tiempo de desplazamiento 3D, cámaras de visión estéreo o sensores LIDAR 3D o sensores basados en radar, idealmente con frecuencias de fotograma altas (por ejemplo, entre 30 Hz y 100 Hz). El modo de operación de los sensores 102 no es crítico siempre que pueda obtenerse una representación 3D del espacio de trabajo 100 a partir de imágenes u otros datos obtenidos por los sensores 102. Como se muestra en la figura, los sensores 102 cubren conjuntamente y pueden monitorizar el espacio de trabajo 100, que incluye un robot 106 controlado por un controlador de robot convencional 108. El robot interactúa con diversas piezas de trabajo W y una persona P en el espacio de trabajo 100 puede interactuar con las piezas de trabajo y el robot 106. El espacio de trabajo 100 también puede contener diversos artículos del equipo auxiliar 110, que pueden complicar el análisis del espacio de trabajo al ocluir diversas partes del mismo de los sensores. De hecho, cualquier disposición realista de sensores con frecuencia no podrá "ver" al menos una parte de un espacio de trabajo activo. Esto se ilustra en la disposición simplificada de la figura 1: debido a la presencia de la persona P, al menos una parte del controlador de robot 108 puede quedar ocluida de todos los sensores. En un entorno que atraviesan las personas y donde incluso los objetos estacionarios pueden moverse de vez en cuando, las regiones no observables cambiarán y variarán.

Como se muestra en la figura 2, las realizaciones de la presente invención clasifican las regiones del espacio de trabajo como ocupadas, desocupadas (o vacías) o desconocidas. Para facilitar la ilustración, la figura 2 muestra dos sensores 2021, 2022 y sus zonas de cobertura 2051, 2052 dentro del espacio de trabajo 200 en dos dimensiones; de manera similar, solo se muestra la huella 2D 210 de un objeto 3D. Las partes de las zonas de cobertura 205 entre el límite del objeto y los sensores 200 están marcadas como desocupadas debido a que cada sensor no detecta obstrucciones afirmativamente en este espacio intermedio. El espacio en el límite del objeto se marca como ocupado. En una zona de cobertura 205 más allá de un límite de objeto, todo el espacio se marca como desconocido; el sensor correspondiente está configurado para detectar la ocupación en esta región pero, debido al objeto intermedio 210, no puede hacerlo.

Haciendo referencia de nuevo a la figura 1, los datos de cada sensor 102 se reciben por un sistema de control 112. El volumen del espacio cubierto por cada sensor, en general, un cono sólido, puede representarse de cualquier forma adecuada, por ejemplo, el espacio puede dividirse en una cuadrícula 3D de pequeños cubos (5 cm, por ejemplo) o "vóxeles" u otra forma de representación volumétrica. Por ejemplo, el espacio de trabajo 100 puede representarse usando un trazado de rayos 2D o 3D, donde las intersecciones de los rayos 2D o 3D que emanan de los sensores 102 se usan como las coordenadas de volumen del espacio de trabajo 100. Este trazado de rayos puede realizarse dinámicamente o a través del uso de volúmenes precalculados, donde los objetos en el espacio de trabajo 100 se identifican y se capturan anteriormente por el sistema de control 112. Por conveniencia de la presentación, la exposición posterior asume una representación de vóxel; el sistema de control 112 mantiene una representación interior del espacio de trabajo 100 a nivel de vóxeles, con vóxeles marcados como ocupados, desocupados o desconocidos.

La figura 3 ilustra, con mayor detalle, una realización representativa del sistema de control 112, que puede implementarse en un ordenador de fin general. El sistema de control 112 incluye una unidad central de procesamiento (CPU) 305, una memoria de sistema y uno o más dispositivos de almacenamiento masivo no volátil (tal como uno o más discos duros y/o unidades de almacenamiento óptico) 312. El sistema 112 incluye además un bus de sistema bidireccional 315 a través del que la CPU 305, la memoria y el dispositivo de almacenamiento 312 se comunican entre sí, así como con unos dispositivos de entrada/salida (E/S) interiores o exteriores tales como una pantalla 320 y unos periféricos 322, que puede incluir dispositivos de entrada tradicionales tales como un teclado o un ratón). El sistema de control 112 también incluye un transceptor inalámbrico 325 y uno o más puertos de E/S 327. El transceptor 325 y los puertos de E/S 327 pueden proporcionar una interfaz de red. El término "“red"” se usa en el presente documento en sentido amplio para connotar redes alámbricas o inalámbricas de ordenadores o dispositivos de telecomunicaciones (tales como teléfonos alámbricos o inalámbricos, tabletas, etc.). Por ejemplo, una red informática puede ser una red de área local (LAN) o una red de área amplia (WAN). Cuando se usa en un entorno de red LAN, los ordenadores pueden conectarse a la LAN a través de una interfaz o adaptador de red; por ejemplo, un supervisor puede establecer comunicación con el sistema de control 112 usando una tableta que se une a la red de manera inalámbrica. Cuando se usan en un entorno de red WAN, los ordenadores suelen incluir un módem u otro mecanismo de comunicación. Los módems pueden ser interiores o exteriores y pueden conectarse al bus del sistema a través de la interfaz de entrada de usuario u otro mecanismo apropiado. Los ordenadores en red pueden conectarse a través de Internet, Intranet, Extranet, Ethernet o cualquier otro sistema que proporcione comunicaciones. Algunos protocolos de comunicaciones adecuados incluyen TCP/IP, UDP u OSI, por ejemplo. Para las comunicaciones inalámbricas, los protocolos de comunicación pueden incluir IEEE 802.11x ("Wi-Fi"), Bluetooth, ZigBee, IrDa, comunicación de campo cercano (NFC) u otro protocolo adecuado. Además, los componentes del sistema pueden comunicarse a través de una combinación de rutas alámbricas o inalámbricas y la comunicación puede involucrar tanto redes informáticas como de telecomunicaciones.

La CPU 305 suele ser un microprocesador, pero en diversas realizaciones puede ser un microcontrolador, un elemento de circuito integrado periférico, un CSIC (circuito integrado específico del cliente), un ASIC (circuito integrado específico de la aplicación), un circuito lógico, un procesador de señal digital, un dispositivo lógico programable tal como una FPGA (matriz de puertas programables en campo), un PLD (dispositivo lógico programable), una PLA (matriz lógica programable), un procesador RFID, una unidad de procesamiento de gráficos (GPU), un chip inteligente o cualquier otro dispositivo o disposición de dispositivos que sea capaz de implementar las etapas de los procesos de la invención.

La memoria de sistema contiene una serie de búferes de fotograma 335, es decir, particiones que almacenan, en forma digital (por ejemplo, como píxeles o vóxeles o como mapas de profundidad), imágenes obtenidas por los sensores 102; los datos pueden llegar realmente a través de los puertos de E/S 327 y/o el transceptor 325 como se ha explicado anteriormente. La memoria de sistema contiene instrucciones, ilustradas conceptualmente como un grupo de módulos, que controlan la operación de la CPU 305 y su interacción con los demás componentes de hardware. Un sistema operativo 340 (por ejemplo, Windows o Linux) dirige la ejecución de funciones básicas del sistema de bajo nivel tales como la asignación de memoria, la gestión de archivos y la operación del dispositivo de almacenamiento masivo 312. En un nivel superior, y como se describe con mayor detalle a continuación, un módulo de análisis 342 registra las imágenes en los búferes de fotograma 335 y las analiza para clasificar las regiones del espacio de trabajo monitorizado 100. El resultado de la clasificación puede almacenarse en un mapa de espacio 345, que contiene una representación volumétrica del espacio de trabajo 100 con cada vóxel (u otra unidad de representación) etiquetado, dentro del mapa de espacio, como se describe en el presente documento. Como alternativa, el mapa de espacio 345 puede ser simplemente una matriz 3D de vóxeles, almacenándose las etiquetas de vóxeles en una base de datos separada (en la memoria o en el almacenamiento masivo 312).

El sistema de control 112 también puede controlar la operación o la maquinaria en el espacio de trabajo 100 usando rutinas de control convencionales indicadas conjuntamente en 350. Como se explica a continuación, la configuración del espacio de trabajo y, en consecuencia, las clasificaciones asociadas a su representación de vóxel pueden cambiar con el tiempo a medida que las personas y/o las máquinas se mueven alrededor, y las rutinas de control 350 pueden responder a estos cambios en la operación de la maquinaria para lograr altos niveles de seguridad. Todos los módulos en la memoria de sistema 310 pueden programarse en cualquier lenguaje de programación adecuado, incluidos, entre otros, lenguajes de alto nivel tales como C, C++, C#, Ada, Basic, Cobra, Fortran, Java, Lisp, Perl, Python, Ruby o lenguajes ensambladores de bajo nivel.

1.1 Registro de sensores

En un sistema multisensor típico, la localización precisa de cada sensor 102 con respecto a todos los demás sensores se establece durante la configuración. El registro de sensores, en general, se realiza automáticamente y debe ser lo más simple posible para facilitar la configuración y la reconfiguración. Suponiendo por simplicidad que cada búfer de fotograma 335 almacena una imagen (que puede refrescarse periódicamente) de un sensor específico 102, el módulo de análisis 342 puede registrar los sensores 102 comparando toda o parte de la imagen de cada sensor con las imágenes de otros sensores los búferes de fotograma 335, y usar técnicas convencionales de visión por ordenador para identificar correspondencias en esas imágenes. Los algoritmos de registro global adecuados, que no necesitan una aproximación de registro inicial se dividen, en general, en dos categorías: métodos basados en características y métodos basados en intensidad. Los métodos basados en características identifican las correspondencias entre las características de imagen tales como los bordes, mientras que los métodos basados en la intensidad usan métricas de correlación entre los patrones de intensidad. Una vez que se identifica un registro aproximado, puede usarse un algoritmo de punto más cercano iterativo (ICP) o una variante adecuada del mismo para el ajuste fino del registro.

Si hay suficiente superposición entre los campos de visión de los diversos sensores 102 y suficiente detalle en el espacio de trabajo 100 para proporcionar distintas imágenes de sensor, puede ser suficiente comparar imágenes del espacio de trabajo estático. Si este no es el caso, un "objeto de registro" que tenga una firma distintiva en 3D puede colocarse en una localización dentro del espacio de trabajo 100 donde pueda verse por todos los sensores. Como alternativa, el registro puede lograrse haciendo que los sensores 102 graben imágenes de una o más personas de pie en el espacio de trabajo o caminando por el espacio de trabajo durante un período de tiempo, combinando un número suficiente de imágenes parcialmente coincidentes hasta que se logre un registro preciso.

El registro de maquinaria dentro del espacio de trabajo 100 puede lograrse, en algunos casos, sin ninguna instrumentación adicional, especialmente si la maquinaria tiene una forma 3D distintiva (por ejemplo, un brazo de robot), siempre que la maquinaria pueda verse por al menos un sensor registrado con respecto a los otros. Como alternativa, puede usarse un objeto de registro o una interfaz de usuario, que se muestra en la pantalla 320 y que muestra la escena observada por los sensores, puede permitir que un usuario designe ciertas partes de la imagen como elementos clave de la maquinaria bajo control. En algunas realizaciones, la interfaz proporciona una pantalla 3D interactiva que muestra la cobertura de todos los sensores para ayudar en la configuración. Si el sistema se configura con algún grado de información de alto nivel sobre la maquinaria que se está controlando (para fines de las rutinas de control 350, por ejemplo), tales como la o las localizaciones de una parte o partes peligrosas de la maquinaria y el tiempo de parada y/o la distancia: el módulo de análisis 342 puede configurarse para proporcionar una retroalimentación inteligente sobre si los sensores están proporcionando suficiente cobertura, y sugerir la colocación de sensores adicionales.

Por ejemplo, el módulo de análisis 342 puede programarse para determinar la distancia mínima desde la maquinaria observada a la que debe detectarse una persona con el fin de detener la maquinaria en el momento en que la persona la alcanza (o una zona de seguridad a su alrededor), dadas unas estimaciones conservadoras de la velocidad de marcha. (Como alternativa, la distancia de detección necesaria puede introducirse directamente en el sistema a través de la pantalla 320). Opcionalmente, el módulo de análisis 342 puede, a continuación, analizar los campos de visión de todos los sensores para determinar si el espacio está suficientemente cubierto para detectar todos los acercamientos. Si la cobertura del sensor es insuficiente, el módulo de análisis 342 puede proponer nuevas localizaciones para los sensores existentes o localizaciones para sensores adicionales, que remedien la deficiencia. De lo contrario, el sistema de control pasará por defecto a un estado seguro y las rutinas de control 350 no permitirán que la maquinaria opere a menos que el módulo de análisis 342 verifique que pueden monitorizarse de manera efectiva todas las aproximaciones. El uso del aprendizaje automático y los algoritmos genéticos o evolutivos pueden usarse para determinar la colocación óptima del sensor dentro de una celda. Los parámetros para optimizar incluyen, pero no se limitan a, minimizar las oclusiones alrededor del robot durante la operación y la observabilidad del robot y las piezas de trabajo.

Si se desea, este análisis estático puede incluir sustracción de "fondo". Durante un período de puesta en marcha inicial, cuando puede suponerse con seguridad que no hay objetos que entren en el espacio de trabajo 100, el módulo de análisis 342 identifica todos los vóxeles ocupados por los elementos estáticos. Esos elementos pueden, a continuación sustraerse de mediciones futuras y no considerarse como posibles objetos intrusos. No obstante, se realiza una monitorización continua para garantizar que la imagen de fondo observada sea consistente con el mapa de espacio 345 almacenado durante el período de inicio. El fondo también puede actualizarse si objetos estacionarios se eliminan o se agregan al espacio de trabajo

Puede haber algunas áreas que los sensores 102 no pueden observar lo suficiente para proporcionar seguridad, pero que están protegidas por otros métodos tales como jaulas, etc. En este caso, la interfaz de usuario puede permitir que el usuario designe estas áreas como seguras, anulando el análisis de seguridad basado en sensores. Las limitaciones de velocidad y eje suave con clasificación de seguridad también pueden usarse para limitar la envolvente del robot para mejorar el rendimiento del sistema.

Una vez que se ha logrado el registro, los sensores 102 deberían permanecer en la misma localización y orientación mientras se monitoriza el espacio de trabajo 100. Si uno o más sensores 102 se mueven accidentalmente, las salidas de control resultantes no serán válidas y podrían resultar en un peligro para la seguridad. El módulo de análisis 342 puede extender los algoritmos usados para el registro inicial para monitorizar la precisión continua del registro. Por ejemplo, durante el registro inicial, el módulo de análisis 342 puede calcular una métrica que capture la precisión del ajuste de los datos observados a un modelo de los elementos estáticos de la celda de trabajo que se captura durante el proceso de registro. A medida que el sistema opera, puede volverse a calcular la misma métrica. Si en algún momento esa métrica supera un umbral específico, se considera que el registro no es válido y se desencadena una condición de error; en respuesta, si alguna maquinaria está funcionando, una rutina de control 350 puede detenerla o hacer que la maquinaria pase a un estado seguro.

1.2 Identificación de áreas ocupadas y potencialmente ocupadas

Una vez que se han registrado los sensores, el sistema de control 112 actualiza periódicamente el mapa de espacio 345, a una frecuencia fija alta (por ejemplo, cada ciclo de análisis) con el fin de poder identificar todas las intrusiones en el espacio de trabajo 100. El mapa de espacio 345 refleja una fusión de datos de algunos o todos los sensores 102. Pero dada la naturaleza de los datos 3D, en función de las localizaciones de los sensores 102 y la configuración del espacio de trabajo 100, es posible que un objeto en una localización ocluya la vista del sensor de objetos en otras localizaciones, incluidos objetos (que pueden incluir personas o partes de personas, por ejemplo, brazos) que están más cerca de la maquinaria peligrosa que el objeto que ocluye. Por lo tanto, para proporcionar un sistema seguro y confiable, el sistema monitoriza el espacio ocluido así como el espacio ocupado.

En una realización, el mapa de espacio 345 es una cuadrícula de vóxeles. En general, cada vóxel puede marcarse como ocupado, desocupado o desconocido; solo el espacio vacío puede considerarse seguro en última instancia y solo cuando se cumple cualquier criterio de seguridad adicional, por ejemplo, la distancia mínima desde una pieza de la maquinaria controlada. Los datos sin procesar de cada sensor se analizan para determinar si, para cada vóxel, se ha detectado definitivamente un objeto o límite del espacio mapeado en 3D en el volumen correspondiente a ese vóxel. Para mejorar la seguridad, el módulo de análisis 342 puede designar como vacíos solo los vóxeles que más de un sensor 102 observa que están vacíos. Nuevamente, todo el espacio que no puede confirmarse como vacío se marca como desconocido. Por lo tanto, solo el espacio entre un sensor 102 y un objeto detectado o un límite de espacio 3D mapeado a lo largo de un rayo puede marcarse como vacío.

Si un sensor detecta algo en un vóxel dado, todos los vóxeles que se encuentran en el rayo que comienza en el punto focal de ese sensor y que pasan por el vóxel ocupado y que están entre el punto focal y el vóxel ocupado, se clasifican como desocupados, mientras que todos los vóxeles que se encuentran más allá del vóxel ocupado en ese rayo se clasifican como ocluidos para ese sensor; todos esos vóxeles ocluidos se consideran "desconocidos". La información de todos los sensores puede combinarse para determinar qué áreas están ocluidas de todos los sensores; estas áreas se consideran desconocidas y, por lo tanto, inseguras. El módulo de análisis 342 puede finalmente marcar como "desocupado" solo los vóxeles o volúmenes de espacio de trabajo que se han marcado preliminarmente al menos una vez (o, en algunas realizaciones, al menos dos veces) como "desocupado". Basándose en las marcas asociadas a los vóxeles o volúmenes discretos dentro del espacio de trabajo, el módulo de análisis 342 puede mapear una o más zonas volumétricas seguras dentro del mapa de espacio 345. Estas zonas seguras están fuera de una zona de seguridad de la maquinaria e incluyen solo vóxeles o volúmenes de espacio de trabajo marcados como desocupados.

Un modo de fallo común de los sensores ópticos activos que dependen de la reflexión, tal como los LIDAR y las cámaras de tiempo de desplazamiento, es que no devuelven ninguna señal de las superficies que no sean lo suficientemente reflectantes y/o cuando el ángulo de incidencia entre el sensor y la superficie es demasiado superficial. Esto puede conducir a un fallo peligroso debido a que esta señal puede ser indistinguible del resultado que se devuelve si no se encuentra ningún obstáculo; el sensor, en otras palabras, informará de un vóxel vacío a pesar de la posible presencia de un obstáculo. Esta es la razón por la que las normas ISO para, por ejemplo, los sensores LIDAR 2D tienen especificaciones para la reflectividad mínima de los objetos que deben detectarse; sin embargo, estos estándares de reflectividad pueden ser difíciles de cumplir para algunas modalidades de sensores 3D tales como los ToF. Con el fin de mitigar este modo de fallo, el módulo de análisis 342 marca el espacio como vacío solo si se detecta definitivamente algún obstáculo en un intervalo más amplio a lo largo del mismo rayo. Al apuntar los sensores ligeramente hacia según tal manera que la mayoría de los rayos encuentren el suelo si no hay obstáculos, es posible analizar de manera concluyente la mayor parte del espacio de trabajo 100. Pero si el nivel de luz detectado en un vóxel dado es insuficiente para establecer definitivamente el vacío o la presencia de un límite, el vóxel se marca como desconocido. La señal y el valor de umbral pueden depender del tipo de sensor que se use. En el caso de un sensor 3D basado en intensidad (por ejemplo, una cámara de tiempo de desplazamiento), el valor umbral puede ser una intensidad de señal, que puede atenuarse por objetos en el espacio de trabajo de baja reflectividad. En el caso de un sistema de visión estéreo, el umbral puede ser la capacidad de resolver objetos individuales en el campo de visión. Pueden usarse otras combinaciones de señal y valor de umbral en función del tipo de sensor usado.

Puede crearse un sistema seguro tratando todos los espacios desconocidos como si estuvieran ocupados. Sin embargo, en algunos casos, esto puede ser demasiado conservador y dar como resultado un rendimiento deficiente. Por lo tanto, es deseable clasificar adicionalmente el espacio desconocido de acuerdo con si podría estar potencialmente ocupado. A medida que una persona se mueve dentro de un espacio 3D, normalmente ocluye algunas áreas de algunos sensores, lo que da como resultado áreas del espacio que son temporalmente desconocidas (véase la figura 1). Además, una maquinaria en movimiento, tal como un brazo robótico industrial, también puede ocluir temporalmente algunas áreas. Cuando la persona o la maquinaria se mueven a una localización diferente, uno o más sensores podrán volver a observar el espacio desconocido y devolverlo al estado de vacío confirmado en el que es seguro que opere el robot o la máquina. En consecuencia, en algunas realizaciones, el espacio también puede clasificarse como "potencialmente ocupado". El espacio desconocido se considera potencialmente ocupado cuando surge una condición donde el espacio desconocido podría estar ocupado. Esto podría producirse cuando el espacio desconocido es adyacente a los puntos de entrada al espacio de trabajo o si el espacio desconocido es adyacente a un espacio ocupado o potencialmente ocupado. El espacio potencialmente ocupado "infecta" el espacio desconocido a un ritmo que es representativo de un humano que se mueve por el espacio de trabajo. El espacio potencialmente ocupado permanece potencialmente ocupado hasta que se observa que está vacío. Por motivos de seguridad, el espacio potencialmente ocupado se trata igual que el espacio ocupado. Puede ser conveniente usar técnicas probabilísticas tales como las que se basan en el filtrado bayesiano para determinar el estado de cada vóxel, lo que permite que el sistema combine datos de múltiples muestras para proporcionar niveles más altos de confianza en los resultados. Los modelos adecuados de movimiento humano, incluidas las velocidades previstas (por ejemplo, un brazo puede levantarse más rápido de lo que una persona puede caminar), están fácilmente disponibles.

2. Clasificación de objetos

Para muchas aplicaciones, la clasificación de regiones en un espacio de trabajo como se ha descrito anteriormente puede ser suficiente, por ejemplo, si el sistema de control 112 está monitorizando un espacio en el que no debería haber ningún objeto durante la operación normal. En muchos casos, sin embargo, puede desearse controlar una área, en la que hay al menos algunos objetos durante la operación normal, tal como una o más máquinas y piezas de trabajo en las que está operando la máquina. En estos casos, el módulo de análisis 342 puede configurarse para identificar objetos intrusos que son inesperados o que pueden ser humanos. Un enfoque adecuado para dicha clasificación es agrupar los vóxeles ocupados individuales en objetos que puedan analizarse en un nivel más alto.

Para lograr esto, el módulo de análisis 342 puede implementar cualquiera de varias técnicas de agrupamiento conocidas y convencionales tales como el agrupamiento euclidiano, el agrupamiento de medias K y agrupamiento de muestreo de Gibbs. Cualquiera de estos algoritmos u otros similares pueden usarse para identificar grupos de vóxeles ocupados a partir de datos de la nube de puntos 3D. También pueden usarse técnicas de malla, que determinan la malla que mejor se ajusta a los datos de la nube de puntos y, a continuación, usan la forma de la malla para determinar el agrupamiento óptimo. Una vez identificados, estos grupos pueden ser útiles de diversas maneras.

Una forma sencilla de usar el agrupamiento es eliminar pequeños grupos de vóxeles ocupados o potencialmente ocupados que son demasiado pequeños para contener posiblemente a una persona. Dichos pequeños grupos pueden surgir del análisis de ocupación y oclusión, como se ha descrito anteriormente, y pueden hacer que el sistema de control 112 identifique incorrectamente un peligro. Los grupos pueden rastrearse a lo largo del tiempo simplemente asociando grupos identificados en cada fotograma de imagen a grupos cercanos en fotogramas anteriores o usando técnicas de procesamiento de imágenes más sofisticadas. La forma, el tamaño u otras características de un grupo pueden identificarse y rastrearse de un fotograma a la siguiente. Estas características pueden usarse para confirmar asociaciones entre grupos de fotograma a fotograma o para identificar el movimiento de un grupo. Esta información puede usarse para mejorar o habilitar algunas de las técnicas de clasificación que se describen a continuación. Además, pueden emplearse grupos de puntos de rastreo para identificar situaciones incorrectas y, por lo tanto, potencialmente peligrosas. Por ejemplo, un grupo que no estaba presente en fotogramas anteriores y no está cerca de un borde conocido del campo de visión puede indicar una condición de error.

En algunos casos, puede ser suficiente filtrar los grupos por debajo de cierto tamaño e identificar las transiciones de grupos que indican estados de error. En otros casos, sin embargo, puede ser necesario clasificar adicionalmente los objetos en una o más de cuatro categorías: (1) elementos de la maquinaria controlados por el sistema 112, (2) la pieza o piezas de trabajo sobre las que opera la maquinaria y (3) otros objetos extraños, incluidas personas, que pueden moverse de manera impredecible y que pueden resultar dañados por la maquinaria. Puede ser necesario o no clasificar de manera concluyente a las personas frente a otros objetos extraños desconocidos. Puede ser necesario identificar definitivamente elementos de la maquinaria como tales debido a que, por definición, estos siempre estarán en estado de "colisión" con la propia maquinaria y, por lo tanto, harán que el sistema detenga erróneamente la maquinaria si los detecta y no los clasifica adecuadamente. Del mismo modo, la maquinaria normalmente entra en contacto con las piezas de trabajo, pero normalmente es peligroso que la maquinaria entre en contacto con las personas. Por lo tanto, el módulo de análisis 342 debería poder distinguir entre piezas de trabajo y objetos extraños desconocidos, especialmente personas.

Los elementos de la propia maquinaria pueden manipularse con fines de clasificación mediante la etapa opcional de calibración por sustracción de fondo descrita anteriormente. En los casos donde la maquinaria cambia de forma, los elementos de la maquinaria pueden identificarse y clasificarse, por ejemplo, suministrando al módulo de análisis 342 información sobre estos elementos (por ejemplo, como representaciones 3D escalables) y en algunos casos (tales como brazos de robots industriales) proporcionando una fuente de información instantánea sobre el estado de la maquinaria. El módulo de análisis 342 puede "entrenarse" operando maquinaria, transportadores, etc. en aislamiento bajo la observación de los sensores 102, lo que permite que el módulo de análisis 342 aprenda sus regiones precisas de operación resultantes de la ejecución del repertorio completo de movimientos y poses. El módulo de análisis 342 puede clasificar las regiones espaciales resultantes como ocupadas.

Pueden emplearse técnicas de visión por ordenador convencionales para permitir que el módulo de análisis 342 distinga entre piezas de trabajo y humanos. Estas incluyen el aprendizaje profundo, una rama del aprendizaje automático diseñada para usar niveles más altos de abstracción en los datos. Los más exitosos de estos algoritmos de aprendizaje profundo han sido las redes neuronales convolucionales (CNN) y, más recientemente, las redes neuronales recurrentes (RNN). Sin embargo, tales técnicas se emplean, en general, en situaciones donde la identificación errónea accidental de un ser humano como no humano no provoca peligros para la seguridad. Con el fin de usar tales técnicas en el entorno actual, pueden ser necesarias varias modificaciones. En primer lugar, los algoritmos de aprendizaje automático pueden afinarse, en general, para preferir falsos positivos o falsos negativos (por ejemplo, la regresión logística puede afinarse para alta especificidad y baja sensibilidad). Los falsos positivos en este escenario no crean un peligro para la seguridad, si el robot confunde una pieza de trabajo con un ser humano, reaccionará de manera conservadora. Además, pueden usarse múltiples algoritmos o redes neuronales basadas en diferentes propiedades de imagen, promoviendo la diversidad que puede ser clave para lograr suficiente confiabilidad para las clasificaciones de seguridad. Puede obtenerse una fuente específicamente valiosa de diversidad usando sensores que proporcionen tanto datos de imagen 3D como 2D del mismo objeto. Si alguna técnica identifica un objeto como humano, el objeto se tratará como humano. Usando múltiples técnicas o algoritmos de aprendizaje automático, todos afinados para favorecer los falsos positivos sobre los falsos negativos, puede lograrse una confiabilidad suficiente. Además, pueden rastrearse múltiples imágenes a lo largo del tiempo, lo que mejora adicionalmente la confiabilidad, y nuevamente, cada objeto puede tratarse como humano hasta que suficientes identificaciones lo hayan caracterizado como no humano para lograr métricas de confiabilidad. Esencialmente, este enfoque algorítmico diverso, en lugar de identificar a los humanos, identifica cosas que definitivamente no son humanos.

Además de combinar técnicas de clasificación, es posible identificar piezas de trabajo de maneras que no se basan en absoluto en ningún tipo de clasificación humana. Un enfoque es configurar el sistema proporcionando modelos de piezas de trabajo. Por ejemplo, una etapa de "enseñanza" en la configuración del sistema puede simplemente proporcionar imágenes o características clave de una pieza de trabajo al módulo de análisis 342, que busca configuraciones coincidentes en el mapa de espacio 345 o, en su lugar, puede involucrar el entrenamiento de una red neuronal para clasificar automáticamente las piezas de trabajo como tales en el mapa de espacio. En cualquier caso, solo los objetos que coinciden con precisión con el modelo almacenado se tratan como piezas de trabajo, mientras que todos los demás objetos se tratan como seres humanos.

Otro enfoque adecuado es especificar regiones particulares dentro del espacio de trabajo, como se representa en el mapa de espacio 345, donde entrarán las piezas de trabajo (como la parte superior de una cinta transportadora). Solo los objetos que entran en el espacio de trabajo en esa localización pueden elegirse para el tratamiento como piezas de trabajo. A continuación, las piezas de trabajo pueden modelarse y rastrearse desde el momento en que entran en el espacio de trabajo hasta el momento en salen. Mientras una máquina monitorizada, tal como un robot, manipula una pieza de trabajo, el sistema de control 112 garantiza que la pieza de trabajo se mueva solo de manera consistente con el movimiento esperado del efector de extremo del robot. Los equipos conocidos, tales como las cintas transportadoras, también pueden modelarse de esta manera. Puede prohibirse a los humanos entrar en la celda de trabajo como una pieza de trabajo, por ejemplo, sentándose en transportadores.

Todas estas técnicas pueden usarse por separado o en combinación, en función de los requisitos de diseño y las limitaciones ambientales. En todos los casos, sin embargo, puede haber situaciones donde el módulo de análisis 342 pierda el rastro de si un objeto identificado es una pieza de trabajo. En estas situaciones, el sistema debería volver a un estado seguro. A continuación, puede colocarse un interbloqueo en un área segura del espacio de trabajo donde un trabajador humano puede confirmar que no hay objetos extraños presentes, lo que permite que el sistema reanude su operación.

En algunas situaciones, un objeto extraño entra en el espacio de trabajo, pero posteriormente debe ignorarse o tratarse como una pieza de trabajo. Por ejemplo, una pila de cajas que no estaba presente en el espacio de trabajo en el momento de la configuración puede colocarse posteriormente en el mismo. Este tipo de situación, que será más común a medida que los sistemas flexibles reemplacen la protección fija, puede abordarse proporcionando una interfaz de usuario (por ejemplo, mostrada en la pantalla 320 o en un dispositivo en comunicación inalámbrica con el sistema de control 112) que permite que un trabajador humano designar el nuevo objeto como seguro para futuras interacciones. Por supuesto, el módulo de análisis 342 y las rutinas de control 350 aún pueden actuar para evitar que la maquinaria choque con el nuevo objeto, pero el nuevo objeto no se tratará como un objeto potencialmente humano que podría moverse hacia la maquinaria, permitiendo de este modo que el sistema lo maneje de una manera menos conservadora.

3. Generación de salidas de control

En esta etapa, el módulo de análisis 342 ha identificado todos los objetos en la zona monitorizada 100 que deben considerarse por motivos de seguridad. Dados estos datos, pueden tomarse una variedad de acciones y generar salidas de control. Durante la calibración estática o con el espacio de trabajo en una configuración predeterminada libre de humanos, el mapa de espacio 345 puede ser útil para que un humano evalúe la cobertura del sensor, la configuración de la maquinaria desplegada y las oportunidades para interacciones no deseadas entre humanos y máquinas. Incluso sin poner jaulas o protecciones fijas, el diseño general del espacio de trabajo puede mejorarse canalizando o fomentando el movimiento humano a través de las regiones marcadas como zonas seguras, como se ha descrito anteriormente, y lejos de las regiones con poca cobertura de sensores.

Las rutinas de control 350, en respuesta al módulo de análisis 342, pueden generar señales de control para operar una maquinaria, como un robot, dentro del espacio de trabajo 100 cuando se detectan ciertas condiciones. Este control puede ser binario, indicando condiciones seguras o inseguras o puede ser más complejo, tal como una indicación de qué acciones son seguras e inseguras. El tipo más simple de señal de control es una señal binaria que indica si se detecta una intrusión del volumen ocupado o potencialmente ocupado en una zona específica. En el caso más simple, hay una única zona de intrusión y el sistema de control 112 proporciona una única salida indicativa de una intrusión. Esta salida puede enviarse, por ejemplo, a través de un puerto de E/S 327 a un puerto complementario en la maquinaria controlada para parar o limitar la operación de la maquinaria. En escenarios más complejos, múltiples zonas se monitorizan por separado y una rutina de control 350 emite una salida digital a través de un puerto de E/S 327 o un transceptor 325 direccionado, a través de una red, a una pieza objetivo de la maquinaria (por ejemplo, usando el protocolo de Internet u otro esquema de direccionamiento adecuado).

Otra condición que puede monitorizarse es la distancia entre cualquier objeto en el espacio de trabajo y una máquina, comparable a la salida de un sensor de proximidad 2D. Esto puede convertirse en una salida binaria estableciendo un umbral de proximidad por debajo del que debe afirmarse la salida. También puede ser deseable que el sistema grabe y ponga a disposición la localización y extensión del objeto más cercano a la máquina. En otras aplicaciones, tales como un sistema de seguridad para un robot industrial colaborativo, la salida de control deseada puede incluir la localización, forma y extensión de todos los objetos observados dentro del área cubierta por los sensores 102.

4. Restricciones de acción segura y determinación dinámica de zonas seguras

ISO 10218 e ISO/TS 15066 describen la monitorización de velocidad y separación como una función de seguridad que puede permitir la colaboración entre un robot industrial y un trabajador humano. La reducción de riesgos se logra manteniendo al menos una distancia de separación protectora entre el trabajador humano y el robot durante los períodos de movimiento del robot. Esta distancia de separación de protección se calcula usando la información que incluye la posición y el movimiento del robot y del trabajador humano, la distancia de parada del robot, la incertidumbre de medición, la latencia del sistema y la frecuencia de control del sistema. Cuando la distancia de separación calculada disminuye a un valor por debajo de la distancia de separación de protección, el sistema de robot se para. Esta metodología puede generalizarse más allá de la robótica industrial a la maquinaria.

Por conveniencia, la siguiente exposición se enfoca en definir dinámicamente una zona segura alrededor de un robot que opera en el espacio de trabajo 100. Sin embargo, debería entenderse que las técnicas descritas en el presente documento se aplican no solo a múltiples robots, sino también a cualquier forma de maquinaria que pueda ser peligrosa cuando se acerque demasiado y que tenga una distancia de separación mínima segura que puede variar con el tiempo y con actividades específicas emprendidas por la máquina. Como se ha descrito anteriormente, una matriz de sensores obtiene suficiente información de imagen para caracterizar, en 3D, el robot y la localización y extensión de todos los objetos relevantes en el área que rodea al robot en cada ciclo de análisis. (Cada ciclo de análisis incluye la captura de imágenes, la actualización de los búferes de fotogramas y el análisis computacional; en consecuencia, ya que el período del ciclo de análisis o control es lo suficientemente corto como para que se produzca una monitorización efectiva en tiempo real, involucra muchos ciclos de reloj de ordenador). El módulo de análisis 342 utiliza esta información junto con la información instantánea sobre el estado actual del robot en cada ciclo para determinar las restricciones de acción segura instantáneas actuales para el movimiento del robot. Las restricciones pueden comunicarse al robot, ya sea directamente mediante el módulo de análisis 342 o a través de una rutina de control 350, al robot a través del transceptor 325 o el puerto de E/S 327.

La operación del sistema se comprende mejor haciendo referencia a la ilustración conceptual de la organización y operación del sistema de la figura 4. Como se ha descrito anteriormente, una matriz de sensores 102 monitoriza el espacio de trabajo 400, que incluye un robot 402. Los movimientos del robot están controlados por un controlador de robot convencional 407, que puede ser parte del propio robot o estar separado del mismo; por ejemplo, un solo controlador de robot puede emitir comandos a más de un robot. Las actividades del robot pueden involucrar principalmente un brazo de robot, cuyos movimientos se orquestan por el controlador de robot 407 usando comandos de articulación que operan las articulaciones del brazo de robot para efectuar un movimiento deseado. Un sistema de monitorización de objetos (OMS) 410 obtiene información sobre los objetos de los sensores 102 y usa esta información del sensor para identificar objetos relevantes en el espacio de trabajo 400. El OMS 410 se comunica con el controlador de robot 407 a través de cualquier protocolo alámbrico o inalámbrico adecuado. (En un robot industrial, la electrónica de control normalmente reside en una caja de control exterior. Sin embargo, en el caso de un robot con un controlador integrado, el OMS 410 se comunica directamente con el controlador integrado del robot). Usando la información obtenida del robot (y, normalmente, los sensores 102), el OMS 410 determina el estado actual del robot. A continuación, el OMS 410 determina las restricciones de acción segura para el robot 402 dado el estado actual del robot y todos los objetos relevantes identificados. Finalmente, el OMS 410 comunica las restricciones de acción segura al robot 407. (Se apreciará que, haciendo referencia a la figura 3, las funciones del OMS 410 se realizan en un sistema de control 112 mediante el módulo de análisis 342 y, en algunos casos, una rutina de control 350).

4.1 Identificación de objetos relevantes

Los sensores 102 proporcionan información de imagen en tiempo real que se analiza por un módulo de análisis de objetos 415 a una frecuencia fija de la manera expuesta anteriormente; en particular, en cada ciclo, el módulo de análisis de objetos 415 identifica la localización 3D precisa y la extensión de todos los objetos en el espacio de trabajo 400 que están dentro del alcance del robot o que podrían moverse dentro del alcance del robot a velocidades esperadas conservadoras. Si no todo el volumen relevante está dentro del campo de visión conjunto de los sensores 102, el OMS 410 puede configurarse para determinar e indicar la localización y extensión de todos los objetos fijos dentro de esa región (o un superconjunto conservador de esos objetos) y/o verificar que se hayan usado otras técnicas de protección para evitar el acceso a las áreas no monitorizadas.

4.2 Determinación del estado del robot

Un módulo de determinación de estado de robot (RSDM) 420 responde a los datos de los sensores 102 y las señales del robot 402 y/o el controlador de robot 407 para determinar el estado instantáneo del robot. En particular, el RSDM 420 determina la pose y localización del robot 402 dentro del espacio de trabajo 400; esto puede lograrse usando sensores 102, señales del robot y/o su controlador o datos de alguna combinación de estas fuentes. El RSDM 420 también puede determinar la velocidad instantánea del robot 402 o cualquier apéndice del mismo; además, puede ser necesario conocer las aceleraciones o pares instantáneos de articulación del robot o la trayectoria futura planificada, con el fin de determinar las restricciones de movimiento seguras para el ciclo posterior, como se describe a continuación. Normalmente, esta información proviene del controlador de robot 407, pero en algunos casos puede deducirse directamente de las imágenes grabadas por los sensores 102 como se describe a continuación.

Por ejemplo, estos datos podrían proporcionarse por el robot 402 o el controlador de robot 407 a través de un protocolo de comunicación con clasificación de seguridad que proporcione acceso a datos con clasificación de seguridad. A continuación, puede determinarse la pose 3D del robot combinando las posiciones de articulación proporcionadas con un modelo 3D estático de cada enlace para obtener la forma 3D de todo el robot 402.

En algunos casos, el robot puede proporcionar una interfaz para obtener unas posiciones de articulación que no tienen clasificación de seguridad, en cuyo caso las posiciones de articulación pueden verificarse frente a imágenes de sensores 102 (usando, por ejemplo, un software con clasificación de seguridad). Por ejemplo, las posiciones de articulación recibidas pueden combinarse con modelos 3D estáticos de cada enlace para generar un modelo 3D de todo el robot 402. Esta imagen 3D puede usarse para eliminar cualquier objeto de los datos de detección que formen parte del propio robot. Si las posiciones de articulación son correctas, esto eliminará por completo todos los datos de objetos atribuidos al robot 402. Sin embargo, si las posiciones de articulación son incorrectas, la verdadera posición del robot 402 divergirá del modelo y algunas partes del robot detectado no se eliminarán. Esos puntos aparecerán entonces como un objeto extraño en el nuevo ciclo. En el ciclo anterior, puede suponerse que las posiciones de articulación eran correctas debido a que, de lo contrario, el robot 402 se habría detenido. Ya que la articulación base del robot no se mueve, al menos uno de los puntos divergentes debe estar cerca del robot. La detección de un objeto inesperado cerca del robot 402 puede usarse, a continuación, para desencadenar una condición de error, que hará que el sistema de control 112 (véase la figura 1) haga la transición del robot 402 a un estado seguro. Como alternativa, los datos del sensor pueden usarse para identificar la posición del robot usando un algoritmo de correlación, tal como el descrito anteriormente en la sección de registro, y esta posición detectada puede compararse con la posición de articulación informada por el robot. Si la información de posición de articulación proporcionada por el robot 402 se ha validada de esta manera, puede usarse para validar la información de velocidad de articulación que, a continuación, puede usarse para predecir futuras posiciones de articulación. Si estas posiciones son inconsistentes con las posiciones de articulación reales anteriormente validadas, el programa puede desencadenar una condición de error de manera similar. Estas técnicas permiten el uso de una interfaz sin clasificación de seguridad para producir datos que, a continuación, pueden usarse para realizar funciones de seguridad adicionales.

Finalmente, el RSDM 420 puede configurarse para determinar el estado de articulación del robot usando solo la información de imagen proporcionada por los sensores 102, sin ninguna información proporcionada por el robot 402 o los sensores 102 del controlador 407. Dado un modelo de todos los enlaces en el robot, el RSDM 420 puede usar cualquiera de varias técnicas de visión por ordenador convencionales y bien conocidas para registrar el modelo en los datos del sensor, determinando de este modo la localización del objeto modelado en la imagen. Por ejemplo, el algoritmo ICP (expuesto anteriormente) minimiza la diferencia entre dos nubes de puntos 3D. El ICP proporciona, a menudo, eficientemente una solución localmente óptima y, por lo tanto, puede usarse con precisión si ya se conoce la localización aproximada. Este será el caso si el algoritmo se ejecuta cada ciclo, ya que el robot 402 no puede haberse movido lejos de su posición anterior. En consecuencia, no se necesitan técnicas de registro globalmente óptimas, que pueden no ser lo suficientemente eficientes para ejecutarse en tiempo real. Los filtros digitales, como los filtros de Kalman o los filtros de partículas, pueden usarse a continuación, para determinar las velocidades de articulación instantáneas dadas las posiciones de articulación identificadas por el algoritmo de registro.

Estas técnicas de monitorización basadas en imágenes se basan a menudo en ejecutarse en cada ciclo de sistema y en la suposición de que el sistema estaba en un estado seguro en el ciclo anterior. Por lo tanto, puede ejecutarse una prueba cuando se inicia el robot 402, por ejemplo, confirmando que el robot está en una posición "inicial" preconfigurada conocida y que todas las velocidades de articulación son cero. Es común que los equipos automatizados tengan un conjunto de pruebas que se ejecutan por un operario en un intervalo fijo, por ejemplo, cuando el equipo se pone en marcha o en los cambios de turno. El análisis de estado confiable requiere, en general, un modelo preciso de cada enlace de robot. Este modelo puede obtenerse a priori, por ejemplo, a partir de archivos CAD 3D proporcionados por el fabricante del robot o generados por ingenieros industriales para un proyecto específico. Sin embargo, es posible que dichos modelos no estén disponibles, al menos no para el robot y todos los accesorios posibles que pueda tener.

En este caso, es posible que el RSDM 420 cree el propio modelo, por ejemplo, usando los sensores 102. Esto puede hacerse en un modo de entrenamiento separado donde el robot 402 ejecuta un conjunto de movimientos, por ejemplo, los movimientos que están destinados a usarse en la aplicación dada y/o un conjunto de movimientos diseñados para proporcionar a los sensores 102 unas vistas apropiadas de cada enlace. Es posible, pero no necesario, proporcionar alguna información básica sobre el robot a priori, tal como las longitudes y los ejes de rotación de cada enlace. Durante este modo de entrenamiento, el RSDM 420 genera un modelo 3D de cada enlace, completo con todos los accesorios necesarios. A continuación, el RSDM 420 puede usar este modelo junto con las imágenes del sensor para determinar el estado del robot.

4.3 Determinación de restricciones de acción segura

En las aplicaciones tradicionales de limitación de velocidad y eje, un ingeniero industrial calcula qué acciones son seguras para un robot, dada la trayectoria planificada del robot y el diseño del espacio de trabajo, prohibiendo por completo algunas áreas del intervalo de movimiento del robot y limitando la velocidad en otras áreas. Estos límites suponen un entorno de trabajo fijo y estático. Este caso se ocupa de los entornos dinámicos en los que los objetos y las personas vienen, van y cambian de posición; por lo tanto, las acciones seguras se calculan por un módulo de determinación de acción segura (SADM) 425 en tiempo real basándose en todos los objetos relevantes detectados y en el estado actual del robot 402, y estas acciones seguras pueden actualizarse cada ciclo. Con el fin de considerarse seguras, las acciones deberían garantizar que el robot 402 no colisione con ningún objeto estacionario y también que el robot 402 no entre en contacto con una persona que pueda estar moviéndose hacia el robot. Ya que el robot 402 tiene alguna desaceleración máxima posible, debería instruirse al controlador 407 para que comience a reducir la velocidad del robot con la suficiente anticipación para garantizar que pueda alcanzar una parada completa antes de que se haga contacto.

Un enfoque para lograr esto es modular la velocidad máxima del robot (es decir, la velocidad del propio robot o cualquier apéndice del mismo) proporcionalmente a la distancia mínima entre cualquier punto del robot y cualquier punto en el conjunto relevante de objetos detectados a evitar. Se permite que el robot opere a la velocidad máxima cuando el objeto más cercano está más lejos que cierta distancia umbral más allá de la cual las colisiones no son una preocupación, y el robot se detiene por completo si un objeto está dentro de una cierta distancia mínima. Puede agregarse un margen suficiente a las distancias especificadas para tener en cuenta el movimiento de los objetos relevantes o humanos hacia el robot a una velocidad máxima realista. Esto se ilustra en la figura 5. Una envolvente exterior o zona 3D 502 se genera computacionalmente por el SADM 425 alrededor del robot 504. Fuera de esta zona 502, todos los movimientos de la persona P se consideran seguros debido a que, dentro de un ciclo operativo, no pueden acercar suficientemente a la persona al robot 504 para representar un peligro. La detección de cualquier parte del cuerpo de la persona P dentro de una segunda zona 3D 508, definida computacionalmente dentro de la zona 502, se registra por el SADM 425 pero se permite que el robot 504 continúe operando a velocidad completa. Si cualquier parte de la persona P cruza el umbral de la zona 508 pero todavía está fuera de una zona de peligro interior 510, se le indica al robot 504 que opere a una velocidad más lenta. Si cualquier parte de la persona P cruza la zona de peligro 510 □ o se predice que lo hará dentro del próximo ciclo basándose en un modelo del movimiento humano □ se detiene la operación del robot 504. Estas zonas pueden actualizarse si mueven el robot 504 (o se mueve) dentro del entorno.

Un refinamiento de esta técnica es que el SADM 425 controle la velocidad máxima proporcionalmente a la raíz cuadrada de la distancia mínima, lo que refleja el hecho de que en un escenario de desaceleración constante, la velocidad cambia proporcionalmente a la raíz cuadrada de la distancia recorrida, lo que resulta en un resultado más suave y eficiente, pero igualmente seguro. Un refinamiento adicional es que el SADM 425 module la velocidad máxima proporcionalmente al tiempo mínimo posible de colisión, es decir, proyecte el estado actual del robot hacia delante en el tiempo, proyecte las intrusiones hacia la trayectoria del robot e identifique la colisión potencial más cercana. Este refinamiento tiene la ventaja de que el robot se alejará más rápidamente de un obstáculo que hacia él, lo que maximiza el rendimiento sin dejar de preservar correctamente la seguridad. Ya que la trayectoria futura del robot depende no solo de su velocidad actual sino también de los comandos posteriores, el SADM 425 puede considerar todos los puntos alcanzables por el robot 402 dentro de un cierto tiempo de reacción dadas sus posiciones y velocidades de articulación actuales, y hacer que se emitan señales de control basadas en el tiempo mínimo de colisión entre cualquiera de estos estados. Otro refinamiento más es que el SADM 425 tenga en cuenta toda la trayectoria planificada del robot al realizar este cálculo, en lugar de simplemente las velocidades de articulación instantáneas. Además, el SADM 425 puede, a través del controlador de robot 407, alterar la trayectoria del robot, en lugar de simplemente alterar la velocidad máxima a lo largo de esa trayectoria. Es posible elegir entre un conjunto fijo de trayectorias una que reduzca o elimine posibles colisiones o incluso generar una nueva trayectoria sobre la marcha.

Si bien no es necesariamente una violación de seguridad, las colisiones con elementos estáticos del espacio de trabajo, en general, no son deseables. El conjunto de objetos relevantes puede incluir todos los objetos en el espacio de trabajo, incluidos tanto fondos estáticos, como paredes y mesas, y objetos en movimiento, como piezas de trabajo y trabajadores humanos. Ya sea a partir de la configuración previa o de la detección en tiempo de ejecución, los sensores 102 y el módulo de análisis 342 pueden ser capaces de deducir qué objetos posiblemente podrían estar moviéndose. En este caso, cualquiera de los algoritmos descritos anteriormente puede refinarse para dejar márgenes adicionales para tener en cuenta los objetos que podrían estar en movimiento, pero para eliminar esos márgenes de los objetos que se sabe que son estáticos, para no reducir el rendimiento innecesariamente pero aun así eliminar automáticamente la posibilidad de colisiones con partes estáticas de la celda de trabajo.

Más allá de simplemente dejar márgenes para tener en cuenta de la velocidad máxima de los objetos potencialmente en movimiento, las técnicas de estimación de estado basadas en la información detectada por el sistema de detección pueden usarse para proyectar los movimientos de humanos y otros objetos en el tiempo, expandiendo de este modo las opciones de control disponibles para controlar las rutinas 350. Por ejemplo, las técnicas de rastreo de esqueleto pueden usarse para identificar las extremidades móviles de los humanos que se han detectado y limitar las posibles colisiones basándose en las propiedades del cuerpo humano y los movimientos estimados de, por ejemplo, el brazo de una persona en lugar de la persona completa.

4.4 Comunicación de restricciones de acción segura al robot

Las restricciones de acción segura identificadas por el SADM 425 pueden comunicarse por el OMS 410 al controlador de robot 407 en cada ciclo a través de un módulo de comunicación de robot 430. Como se ha descrito anteriormente, el módulo de comunicación puede corresponder a una interfaz del puerto de E/S 327, a un puerto complementario en el controlador de robot 407 o puede corresponder al transceptor 325. La mayoría de los robots industriales proporcionan una variedad de interfaces para usar con dispositivos exteriores. Una interfaz adecuada debería operar con baja latencia al menos en la frecuencia de control del sistema. La interfaz puede configurarse para permitir que el robot se programe y funcione como de costumbre, con una velocidad máxima que se envía a través de la interfaz. Como alternativa, algunas interfaces permiten que las trayectorias se entreguen en forma de puntos de ruta. Usando este tipo de interfaz, la trayectoria prevista del robot 402 puede recibirse y almacenarse dentro del OMS 410, que a continuación puede generar puntos de ruta que están más cerca o más separados en función de las restricciones de acción segura. De manera similar, puede usarse una interfaz que permita la entrada de pares de articulación objetivo para accionar las trayectorias calculadas de acuerdo con esto. Estos tipos de interfaz también pueden usarse donde el SADM 425 elija nuevas trayectorias o modifique trayectorias de acuerdo con las restricciones de acción segura.

Al igual que con la interfaz usada para determinar el estado del robot, si el robot 402 admite un protocolo con clasificación de seguridad que proporcione acceso en tiempo real a las entradas de control con clasificación de seguridad relevantes, esto puede ser suficiente. Sin embargo, no hay disponible un protocolo con clasificación de seguridad, puede usarse un software con clasificación de seguridad adicional en el sistema para garantizar que todo el sistema permanezca seguro. Por ejemplo, el SADM 425 puede determinar la velocidad y la posición esperadas del robot si el robot está operando de acuerdo con las acciones seguras que se han comunicado. A continuación, el SADM 425 determina el estado real del robot como se ha descrito anteriormente. Si las acciones del robot no se corresponden con las acciones esperadas, el SADM 425 hace que el robot pase a un estado seguro, normalmente mediante una señal de parada de emergencia. Esto implementa efectivamente un esquema de control con clasificación de seguridad en tiempo real sin necesitar una interfaz con clasificación de seguridad en tiempo real más allá de un mecanismo de parada con clasificación de seguridad.

En algunos casos, un sistema híbrido puede ser óptimo, muchos robots tienen una entrada digital que puede usarse para mantener una parada monitorizada de seguridad. Puede ser deseable usar un protocolo de comunicación para velocidad variable, por ejemplo, cuando los objetos intrusos están relativamente lejos del robot, y usar una parada monitorizada de seguridad digital cuando el robot debe parar por completo, por ejemplo, cuando los objetos están cerca del robot.

Anteriormente se han descrito ciertas realizaciones de la presente invención. Sin embargo, se indica expresamente que la presente invención no se limita a esas realizaciones; más bien, las adiciones y modificaciones a lo que se describe expresamente en el presente documento también se incluyen dentro del alcance de la invención.

Claims

REIVINDICACIONES

1. Un sistema de seguridad para identificar regiones seguras en un espacio de trabajo tridimensional, que incluye maquinaria controlada, comprendiendo el sistema:

una pluralidad de sensores distribuidos por el espacio de trabajo, estando cada uno de los sensores asociado a una cuadrícula de píxeles para grabar imágenes de una parte del espacio de trabajo dentro de un campo de visión del sensor, superponiéndose parcialmente las partes del espacio de trabajo entre sí;

un controlador configurado para:

registrar los sensores unos con respecto a otros de tal manera que las imágenes obtenidas por los sensores representen conjuntamente el espacio de trabajo;

generar una representación tridimensional del espacio de trabajo como una pluralidad de volúmenes; tener, para cada píxel de sensor, un nivel de intensidad por encima de un valor de umbral, marcando preliminarmente como desocupados los volúmenes interceptados por una trayectoria del rayo de línea de visión a través del píxel y que terminan a una distancia estimada del sensor asociado de una oclusión, marcando como ocupados los volúmenes correspondientes a un término de la trayectoria del rayo y marcando como desconocido cualquier volumen más allá de la oclusión a lo largo de la trayectoria del rayo;

tener, para cada píxel de sensor, un nivel de intensidad por debajo del valor umbral, marcando preliminarmente como desconocidos todos los volúmenes interceptados por una trayectoria del rayo de línea de visión a través del píxel y que terminan en un límite del espacio de trabajo;

marcar finalmente como desocupados los volúmenes que se han marcado preliminarmente al menos una vez como desocupados; y

mapear una o más zonas volumétricas seguras dentro del espacio de trabajo, estando las zonas volumétricas fuera de una zona segura de la maquinaria e incluyendo solo volúmenes marcados como desocupados, en donde el controlador responde a la monitorización en tiempo real del espacio de trabajo por parte de los sensores, y está configurado para alterar la operación de la maquinaria en respuesta a una intrusión en la zona de seguridad detectada por los sensores.

2. El sistema de seguridad de la reivindicación 1, en el que los volúmenes son vóxeles.

3. El sistema de seguridad de la reivindicación 1, en el que la zona de seguridad es un volumen 3D que rodea al menos una parte de la maquinaria.

4. El sistema de seguridad de la reivindicación 3, en el que la zona de seguridad se divide en una pluralidad de subzonas, anidadas dentro del volumen 3D, dando como resultado una intrusión detectada en cada una de las subzonas un grado diferente de alteración de la operación de la maquinaria.

5. El sistema de seguridad de la reivindicación 1, en el que los sensores son sensores 3D.

6. El sistema de seguridad de la reivindicación 5, en el que al menos algunos de los sensores son cámaras de tiempo de desplazamiento y/o en donde al menos algunos de los sensores son sensores LIDAR 3D y/o en donde al menos algunos de los sensores son cámaras de visión estéreo.

7. El sistema de seguridad de la reivindicación 1, en el que el controlador está configurado para reconocer una pieza de trabajo que se manipula por la maquinaria y para tratar la pieza de trabajo como una parte de la misma al generar la zona de seguridad.

8. El sistema de seguridad de la reivindicación 4, en el que el controlador está configurado para extender computacionalmente la intrusión en el espacio de trabajo de acuerdo con un modelo del movimiento humano.

9. Un método para manejar maquinaria de manera segura en un espacio de trabajo tridimensional, comprendiendo el método las etapas de:

monitorizar el espacio de trabajo con una pluralidad de sensores distribuidos alrededor del mismo, estando cada uno de los sensores asociado a una cuadrícula de píxeles para grabar imágenes de una parte del espacio de trabajo dentro de un campo de visión del sensor, superponiéndose parcialmente las partes del espacio de trabajo entre sí;

generar computacionalmente una representación tridimensional del espacio de trabajo almacenado en una memoria de ordenador;

tener, para cada píxel de sensor, un nivel de intensidad por encima de un valor de umbral, marcando preliminarmente como desocupados, en la memoria del ordenador, los volúmenes interceptados por una trayectoria del rayo de línea de visión a través del píxel y que terminan a una distancia estimada del sensor asociado de una oclusión, marcando como ocupados los volúmenes correspondientes a un término de la trayectoria del rayo y marcando como desconocido cualquier volumen más allá de la oclusión a lo largo de la trayectoria del rayo; tener, para cada píxel de sensor, un nivel de intensidad por debajo del valor umbral, marcando preliminarmente como desconocidos todos los volúmenes interceptados por una trayectoria del rayo de línea de visión a través del píxel y que terminan en un límite del espacio de trabajo;

marcar finalmente como desocupados los volúmenes que se han marcado preliminarmente al menos una vez como desocupados;

mapear computacionalmente una o más zonas volumétricas seguras dentro del espacio de trabajo, estando las zonas volumétricas fuera de una zona segura de la maquinaria e incluyendo solo volúmenes marcados como desocupados; y

responder a una intrusión detectada en la zona de seguridad alterando la operación de la maquinaria en respuesta.

10. El método de la reivindicación 9, en el que la zona de seguridad es un volumen 3D que rodea al menos una parte de la maquinaria.

11. El método de la reivindicación 10, en el que la zona de seguridad se divide en una pluralidad de subzonas anidadas dentro del volumen 3D, dando como resultado una intrusión detectada en cada una de las subzonas un grado diferente de alteración de la operación de la maquinaria.

12. El método de la reivindicación 9, que comprende además la etapa de reconocer computacionalmente una pieza de trabajo que se manipula por la maquinaria y de tratar la pieza de trabajo como una parte de la misma al generar la zona de seguridad, en donde, opcionalmente, la etapa de reconocimiento computacional se realiza usando una red neuronal.

13. El método de la reivindicación 11, que comprende además la etapa de extender computacionalmente la intrusión en el espacio de trabajo de acuerdo con un modelo del movimiento humano.

14. El método de la reivindicación 9, que comprende además la etapa de generar restricciones de acción segura para la maquinaria y controlar la maquinaria de acuerdo con las mismas.

15. El método de la reivindicación 9, en el que la maquinaria es al menos un robot.