ES2383000T3 - Sistema y método de teleoperación de vehículos posibilitada con háptica - Google Patents
Sistema y método de teleoperación de vehículos posibilitada con háptica Download PDFInfo
- Publication number
- ES2383000T3 ES2383000T3 ES07872560T ES07872560T ES2383000T3 ES 2383000 T3 ES2383000 T3 ES 2383000T3 ES 07872560 T ES07872560 T ES 07872560T ES 07872560 T ES07872560 T ES 07872560T ES 2383000 T3 ES2383000 T3 ES 2383000T3
- Authority
- ES
- Spain
- Prior art keywords
- control
- haptic
- teleoperable
- vehicle
- teleoperable device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000033001 locomotion Effects 0.000 claims abstract description 117
- 238000005259 measurement Methods 0.000 claims abstract description 12
- 230000008878 coupling Effects 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 238000000151 deposition Methods 0.000 claims description 2
- 230000005484 gravity Effects 0.000 claims description 2
- 230000002265 prevention Effects 0.000 claims description 2
- 238000010298 pulverizing process Methods 0.000 claims description 2
- 239000007787 solid Substances 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 17
- 238000004088 simulation Methods 0.000 description 11
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000014616 translation Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000006641 stabilisation Effects 0.000 description 4
- 238000011105 stabilization Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 239000006096 absorbing agent Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 244000144992 flock Species 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000011449 Rosa Nutrition 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000001307 helium Substances 0.000 description 1
- 229910052734 helium Inorganic materials 0.000 description 1
- SWQJXJOGLNCZEY-UHFFFAOYSA-N helium atom Chemical compound [He] SWQJXJOGLNCZEY-UHFFFAOYSA-N 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/005—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Motorcycle And Bicycle Frame (AREA)
Abstract
Un sistema (100) para la teleoperación de un vehículo (110), que comprende: un componente de control configurado para proporcionar control de posición y de orientación con retroacción háptica de fuerzas del vehículo sobre la base de una medición de la posición del vehículo y que está configurado para funcionar en un modo de retroacción en bucle cerrado, que se caracteriza porque las diferencias en al menos una de entre la posición y la velocidad entre el vehículo y un objeto proxy simulado (112) proporcionan una o más solicitudes de control al vehículo, y porque las diferencias en al menos una de entre la posición y la velocidad del objeto proxy simulado y un dispositivo de E / S háptico (120) se utilizan para el control de retroacción, y porque el sistema está configurado para controlar simultáneamente una pluralidad de vehículos mediante el control del movimiento de un punto de acoplamiento virtual (182) conectado virtualmente a los vehículos.
Description
Sistema y método de teleoperación de vehículos posibilitada con háptica.
Una variedad de diferentes dispositivos pueden ser operados de forma remota, incluyendo vehículos aéreos, acuáticos y terrestres, robots de fabricación, y otros dispositivos adecuados controlados remotamente. En general, tales dispositivos teleoperables (operables a distancia) requieren un sistema de control que permite a un operador humano o a un controlador de máquina monitorizar los movimientos del vehículo y emitir las señales de control apropiadas para hacer que el dispositivo se mueva según se desee. Claramente, una amplia variedad de dispositivos controlables necesitan sistemas de control para efectuar el movimiento controlable deseado. Sin embargo, los sistemas de teleoperación (operación a distancia) y los métodos de las técnicas anteriores no pueden proporcionar la controlabilidad deseada de tales dispositivos. Aunque los sistemas y los métodos de la técnica anterior han logrado resultados deseados, hay margen de mejora. Un sistema de teleoperación de la técnica anterior que utiliza dispositivos hápticos se conoce por medio de la publicación: Lam, MT, et al. , "Tele - operación de un UAV utilizando dispositivos hápticos que modelizan el sistema neuromuscular", IEEE 2005.
La presente invención se refiere a un sistema y a un método para la teleoperación de dispositivos posibilitada con háptica, incluyendo vehículos aéreos, acuáticos y terrestres, robots de fabricación, y otros dispositivos adecuados controlados remotamente. Las realizaciones de la invención pueden proporcionar ventajosamente un control mejorado de los dispositivos teleoperables en comparación con los sistemas y métodos de la técnica anterior. Por ejemplo, en algunas circunstancias anteriores, la capacidad de un operador de controlar un dispositivo teleoperable puede disminuir debido a que el operador no experimenta físicamente una reacción a las fuerzas y aceleraciones que el operador experimentaría si estuviera situado a bordo del dispositivo teleoperable. En el caso de una aeronave, un piloto a bordo experimentado a menudo puede realizar un aterrizaje sin utilizar instrumentación basándose en la información visual y por la retroacción de sensaciones (por ejemplo, fuerzas y aceleraciones) producida por los movimientos de la aeronave. La detección física de las fuerzas de aceleración puede ser particularmente importante para un piloto de helicóptero.
En una realización, un sistema de teleoperación de un vehículo comprende un componente de control configurado para proporcionar control de posición y orientación con retroacción háptica de las fuerzas del vehículo sobre la base de una medición de la posición y de las fuerzas de inercia del vehículo y está configurado para funcionar en modo de retroacción en bucle cerrado. El sistema está configurado para controlar simultáneamente una pluralidad de vehículos mediante el control del movimiento de un punto de acoplamiento virtual conectado virtualmente a los vehículos. En una realización particular, la medición de la posición puede incluir datos de posición con seis grados de libertad proporcionados por un sistema de captura de movimiento, al control y / o a los componentes de E / S hápticos de la aplicación. El sistema también puede utilizar las diferencias en posición y / o velocidad entre el vehículo y un dispositivo de E / S háptico para el control de retroacción.
En la realización, un sistema para la teleoperación de un vehículo comprende: un componente de control configurado para proporcionar el control de la posición y de la orientación con retroacción háptica de fuerzas del vehículo sobre la base de una medición de la posición del vehículo y está configurado para funcionar en un modo de retroacción en bucle cerrado, que se caracteriza porque las diferencias en al menos una de entre la posición y la velocidad entre el vehículo y un objeto proxy simulado proporciona una o más solicitudes de control al vehículo, porque las diferencias en al menos una de entre la posición y la velocidad del objeto proxy simulado y un dispositivo de E / S háptico se utiliza para el control de retroacción, y porque el sistema está configurado para controlar simultáneamente una pluralidad de vehículos mediante el control del movimiento de un punto de acoplamiento virtual conectado virtualmente a los vehículos.
En una realización preferida, la medición de la posición incluye datos de posición con seis grados de libertad proporcionados por un sistema de captura de movimiento en por lo menos uno de entre el componente de control y el componente de entrada / salida (E / S) háptico del sistema.
En otra realización preferida, el vehículo es capaz de realizar al menos una de entre las acciones de capturar, manipular, levantar, depositando, y pulverizar objetos externos.
En una realización preferida adicional, la retroacción de fuerza es generada por una o más restricciones de un sistema de protección envolvente incorporado en el componente de control, y en el que las una o más restricciones incluyen al menos una de evitación de colisiones, limitaciones de altura, limitaciones de velocidad, y la prevención de salida en vuelo incontrolado.
En una realización preferida adicional, el componente de control está configurado para posibilitar que una pluralidad de operadores utilicen una pluralidad de dispositivos de E / S hápticos para el control de una pluralidad de vehículos aéreos no tripulados.
En una realización preferida adicional, el componente de control está configurado para proporcionar el control de la posición y de la orientación utilizando el mapeo entre un dispositivo de entrada de posición / orientación y el vehículo, y en el que el mapeo está escalado por lo menos en uno entre lineal y no lineal.
En una realización preferida adicional, el componente de control está configurado para proporcionar el control de la posición y de la orientación utilizando al menos una entrada de control controlada por tasa.
En una realización preferida adicional, el vehículo es por lo menos uno de entre un vehículo holonómico, un vehículo casi holonómico, un vehículo aéreo, un vehículo submarino, y un vehículo de entorno de gravedad cero.
En otra realización, un método para operar un dispositivo teleoperable controlando directamente por lo menos una de entre la posición y la orientación del dispositivo teleoperable, incluye proporcionar una entrada a un dispositivo háptico acoplado virtualmente al dispositivo teleoperable; proporcionar al menos una señal de control al dispositivo teleoperable sobre la base de la entrada, estando configurada la al menos una señal de control para controlar directamente al menos una de entre la posición y la orientación del dispositivo teleoperable; siendo proporcionada simultáneamente la al menos una señal de control a una pluralidad de dispositivos teleoperables para moverlos en una modo coordinada; medir al menos una característica de estado del dispositivo teleoperable, y proporcionar una salida háptica a un operador sobre la base de al menos una de entre una respuesta del dispositivo teleoperable y la al menos una característica de estado.
En una realización, la presente invención proporciona un método de operar un dispositivo teleoperable, controlando directamente al menos una de entre la posición y la orientación del dispositivo teleoperable, que comprende: proporcionar una entrada física a un dispositivo háptico acoplado virtualmente al dispositivo teleoperable; proporcionar al menos una señal de control al dispositivo teleoperable sobre la base de la entrada física, estando configurada la al menos una señal de control para controlar directamente al menos una de entre la posición y la orientación del dispositivo teleoperable, siendo proporcionada simultáneamente la al menos una señal de control a una pluralidad de dispositivos teleoperables para mover de manera controlable la pluralidad de dispositivos teleoperables de un modo coordinado; medir al menos una característica de estado del dispositivo teleoperable, y proporcionar una salida háptica a un operador sobre la base de al menos una de entre una respuesta del dispositivo teleoperable y la al menos una característica de estado, en el que se utiliza un sistema de acuerdo con cualquiera de las realizaciones anteriores.
En una realización preferida, proporcionar una entrada física a un dispositivo háptico incluye proporcionar una entrada física a un dispositivo háptico acoplado virtualmente por una disposición de retroacción de fuerzas bilateral al dispositivo teleoperable.
En una realización preferida medir al menos una característica de estado del dispositivo teleoperable incluye medir al menos una característica de movimiento del dispositivo teleoperable utilizando un sistema de captura de movimiento.
En una realización preferida, proporcionar al menos una señal de control al dispositivo teleoperable incluye proporcionar al menos una señal de control al dispositivo teleoperable sobre la base de al menos una de entre una respuesta del dispositivo teleoperable y la al menos una característica de movimiento.
En una realización preferida, comprende determinar por lo menos una señal de control adicional sobre la base de la al menos una característica de movimiento, y proporcionar la al menos una señal de control adicional al dispositivo teleoperable para controlar al menos una característica de movimiento del dispositivo teleoperable en un modo de retroacción en bucle cerrado.
En una realización preferida, comprende, además, simular al menos una característica de un entorno operativo del dispositivo teleoperable, y en el que proporcionar una salida háptica a un operador incluye proporcionar una salida háptica a un operador sobre la base, por lo menos parcialmente, de la al menos una característica simulada del entorno operativo.
En una realización preferida, simular al menos una característica de un entorno operativo incluye simular al menos uno de entre un obstáculo sólido, un objeto móvil, una condición de flujo de aire, una condición límite de movimiento, y un campo de proximidad dispuesto alrededor del dispositivo teleoperable.
Las características, funciones y ventajas que se han mostrado se pueden lograr de modo independiente en diversas realizaciones de la presente invención o se pueden combinar en todavía otras realizaciones, cuyos detalles adicionales se pueden ver con referencia a la descripción y a los dibujos que siguen.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
Las realizaciones de la presente invención se describen en detalle a continuación con referencia a los dibujos que siguen.
La figura 1 es una vista esquemática de un sistema teleoperado que incluye un dispositivo teleoperable, un dispositivo de E / S háptico de retroacción de fuerzas, y una representación del modelo matemático del sistema de acuerdo con una realización de la invención;
La figura 2 es una imagen (vista en perspectiva) de un dispositivo háptico del sistema teleoperado de la figura 1;
La figura 3 es un sistema teleoperado posibilitado con háptica que incorpora un sistema de seguimiento de captura de movimiento de acuerdo con otra realización de la invención;
La figura 4 es una imagen de un dispositivo teleoperable, y un dispositivo háptico, y una vista del entorno virtual de la figura 3 en operación;
La figura 5 muestra una pluralidad de dispositivos teleoperables, teniendo cada uno de ellos un campo de proximidad de contacto virtual, de acuerdo con otra realización de la invención;
Las figuras 6 y 7 muestran una pluralidad de dispositivos teleoperables controlados por un único agente de acuerdo con otras realizaciones de la invención;
La figura 8 es una representación esquemática de un sistema de control de retroacción utilizado en una realización de la invención; y
La figura 9 es una vista esquemática de un sistema teleoperado posibilitado con háptica, con múltiples vehículos teleoperados por medio de múltiples interfaces hápticas de acuerdo con otra realización de la invención.
DESCRIPCIÓN DETALLADA
La presente invención se refiere a sistemas y métodos para la teleoperación posibilitada con háptica de dispositivos, incluyendo dispositivos controlables tales como vehículos de vuelo, vehículos acuáticos y terrestres, vehículos y sistemas de fabricación y cualquier otro dispositivo o sistema controlable adecuado. Muchos detalles específicos de ciertas realizaciones de la invención se exponen en la descripción que sigue y en las figuras 1 - 9 para proporcionar una comprensión completa de tales realizaciones. Sin embargo, un experto en la técnica entenderá que la presente invención puede tener realizaciones adicionales, o que la presente invención puede ser practicada sin varios de los detalles que se describen en la descripción que sigue.
En general, las realizaciones de la presente invención proporcionan retroacción de un movimiento de un dispositivo teleoperable a un operador por medio de un sistema de retroacción posibilitada con háptica. El operador recibe retroacción desde el dispositivo teleoperable lo cual puede permitir al operador controlar el dispositivo (por ejemplo, una aeronave) utilizando estímulos tanto visuales como físicos, proporcionando con ello una controlabilidad mejorada en comparación con los sistemas de la técnica anterior. En el caso de aeronaves teleoperables, las realizaciones de los métodos y sistemas de acuerdo con la presente invención pueden ser implementadas en cualquiera de los sistemas de control de vuelo por cable o sistemas de control directo, según se desee.
Las capacidades de control de teleoperación proporcionadas por las realizaciones de la invención puede ser extendidas adicionalmente añadiendo a la aplicación una interfaz de retroacción háptica de fuerzas y un entorno de simulación en tiempo real. Estos aspectos pueden proporcionar un método intuitivo y eficiente para el control preciso de los sistemas pilotados por control remoto. La retroacción de bajo nivel de los movimientos del dispositivo está disponible al operador, lo cual puede proporcionar una comprensión intuitiva o "sensación" de la dinámica del dispositivo teleoperable. Un concepto básico de realizaciones posibilitadas con háptica descritas en la presente memoria descriptiva implica conectar los cálculos de retroacción de fuerzas a un bucle de control por medio de un acoplamiento virtual y objetos proxy, que pueden ser definidos en un entorno de simulación en tiempo real, ejecutándose simultáneamente con un sistema de control. Este tipo de retroacción de fuerzas permite aplicaciones que requieren un control de movimiento preciso. La retroacción intuitiva proporciona una interfaz más natural que se traduce en una operación del vehículo o dispositivo más eficiente, y también proporciona al piloto u operador a distancia un tiempo de reacción más rápido a las perturbaciones inesperadas.
La figura 1 es una vista esquemática de un sistema teleoperado 100 que tiene un dispositivo teleoperable 110 de acuerdo con una realización de la invención. En esta realización, el dispositivo teleoperable 110 es un helicóptero, sin embargo, en realizaciones alternativas, el dispositivo teleoperable 110 puede ser cualquier tipo de vehículo, robot, máquina, u otro dispositivo adecuado. En una realización particular, el dispositivo teleoperable 110 es una versión modificada de un helicóptero E-flite Blade CX 180 RC disponible en el mercado en Horizon Hobby, Inc., de Champaign, Illinois.
La retroacción de control y fuerzas del dispositivo teleoperable 110 es proporcionada por un dispositivo háptico (o mango) 120. Un primer acoplamiento virtual 130 acopla operativamente el dispositivo háptico 120 a un objeto proxy 112, y un segundo acoplamiento virtual 136 acopla operativamente el objeto proxy 112 al dispositivo teleoperable
110. En esta realización, cada uno de los acoplamientos virtuales primero y segundo 130, 136 incluye un elemento elástico 131, 137 de múltiples grados de libertad y un elemento amortiguador 133, 138 de múltiples grados de libertad.
La figura 2 es una imagen vista en perspectiva de una realización del dispositivo háptico 120 de la figura 1. En general, los dispositivos hápticos son interfaces para el sentido del tacto. Para la teleoperación háptica, esta interfaz puede ser bidireccional, lo que significa que un usuario 124 proporciona una entrada de posición o fuerza al sistema 100 y el software que controla el dispositivo háptico 120 proporciona una respuesta de posición moviendo los componentes (por ejemplo, motores, actuadores, etc.) en el dispositivo háptico 120. La resistencia a este movimiento por el usuario 124 produce la retroacción de fuerzas. Con la interacción háptica, se podrá proporcionar al usuario 124 algo más que solamente otro tipo de dispositivo de entrada. Los dispositivos hápticos, proporcionan un canal de gran anchura de banda para el flujo de información adicional para el usuario desde el sistema o la aplicación. Este tipo de retroacción de la información no está disponible desde los dispositivos de sólo entrada tales como las palancas de control. La interacción con el dispositivo háptico 120 es similar a lo que sería sentida por el usuario si el vehículo real fuese dirigido y manipulados por el usuario 124. Las fuerzas se pueden escalar de modo que los vehículos más grandes o más pequeños puedan ser controlados por el mismo tipo de interfaz háptica. Las fuerzas experimentadas por el usuario en este tipo de teleoperación se calculan sobre la base de una combinación de las fuerzas de inercia generadas por las aceleraciones del vehículo, y por las fuerzas restrictivas generadas en el entorno virtual con base en la física. La ventaja de este tipo de retroacción es que permite al usuario percibir información adicional con respecto a la condición del vehículo o el medio ambiente en el que está operando. Algunos ejemplos de este tipo de retroacción incluyen:
Las fuerzas de inercia proporcionan Información con respecto a la magnitud y dirección de la aceleración Las fuerzas de contacto y de casi contacto (proximidad) pueden ser representadas como una barrera
Los vientos pueden ser interpretados como una resistencia de dirección específica al movimiento
La turbulencia puede ser transmitida como una fuerzas de vibración
La lentitud del vehículo debido a una baja energía de la batería puede ser sentida como una resistencia al movimiento
La masa incrementada debido a la elevación de un objeto se puede sentir como un aumento de la resistencia vertical.
En la realización particular que se muestra en la figura 2, el dispositivo háptico 120 es un dispositivo de retroacción de fuerzas bidireccional en forma de un brazo de robot articulado, llamado dispositivo háptico PHANTOM®, que está disponible comercialmente en SerisAble Technologies, Inc. de Wobum, Massachusetts. Por supuesto, en realizaciones alternativas, se puede utilizar cualquier otra realización adecuada de dispositivos hápticos. El dispositivo háptico 120 incluye un mango 122 que tiene un máximo de seis entradas: tres translaciones cartesianas (x, y, z) y tres rotaciones (balanceo, cabeceo, guiñada). El dispositivo háptico 120 puede producir salidas de fuerzas en tres dimensiones cartesianas. En las aplicaciones en las que se utiliza un dispositivo háptico de salida de seis grados de libertad, las fuerzas de rotación adicionales (pares) también se pueden sentir a través del mango 122, dando al usuario 124 retroacciones de los pares de balanceo, cabeceo y guiñada.
En operación, las fuerzas de movimiento aplicadas a cualquier componente (por ejemplo, el dispositivo háptico 120, el dispositivo teleoperable 110, y los elementos dinámicos del entorno de simulación416 en base a la física) del sistema 100 se transmitirán a otros componentes del sistema 100. Esta interacción en dos sentidos se llama retroacción de fuerzas bilateral para un sistema de dos puertos de E / S. En la realización que se muestra en las figuras 1 y 2, tanto el dispositivo háptico 120 como el dispositivo teleoperable 110 son vistos por el otro como un par de rotación con capacidades de E / S similares.
En una realización, el usuario 124 opera el sistema teleoperado 100 moviendo (es decir, trasladando y rotando) el mango 122 del dispositivo háptico 120, mientras observa una simulación en una pantalla o el movimiento vivo del dispositivo teleoperable 110. Mover el dispositivo teleoperable 110 desde un lugar a otro implica un mapeo a escala del movimiento del dispositivo háptico 120 para el movimiento del dispositivo teleoperable 110. En algunas realizaciones, el control de posición de la empuñadura 122 del dispositivo háptico 120 puede ser indexado (reposicionado) presionando un botón de aguja (no mostrado) en el mango 122. La indexación es similar en concepto a recoger y volver a colocar un ratón para obtener una posición más útil en la alfombrilla del ratón. La indexación también se puede aplicar a la orientación relativa.
El movimiento del dispositivo háptico 120 produce un movimiento correspondiente del objeto proxy 112 a través del primer acoplamiento virtual 130, que a su vez produce un movimiento del dispositivo teleoperable 110 a través del segundo acoplamiento virtual 136. Los detalles de implementar los acoplamientos virtuales primero y segundo 130, 136 son generalmente conocidos, y se describirán con mayor detalle más adelante. En algunas realizaciones, por ejemplo, los acoplamientos virtuales 130, 136 se implementan utilizando uno o más de los métodos descritos en una
o más de las siguientes publicaciones: McNeely, W. A, Puterbaugh, K. D, y Troy, J. J, "Renderización Háptica con Seis Grados de Libertad usando el Muestreo Voxel". Proc. ACM SIGGRAPH 99 Conf.., Los Angeles, CA, páginas 401 - 408, agosto 1999; McNeely, W. A., Puterbaugh, K. D., y Troy, J. J., "Mejoras en la Renderización Háptica en base a Voxel 6 - DOF", Haptics - e, Vol. 3, número 7, Enero 2006 (en la presente memoria descriptiva y a
continuación " Publicación Haptic - e por McNeely et al."), y Troy J. J., "Control Háptico de un Modelo Humano Simplificado con Dinámica de Multicuerpo." Phantom Users Group Conf..., Aspen, CO, páginas 43 -46, octubre 2000; Adams, RJ. y Hannaford, B., "Un Marco de Dos Puertos para el Diseño de Interfaces Hápticas Incondicionalmente Estables", Proc. IROS, Anaheim, CA, 1998.
Por ejemplo, como se describe en el documento que se ha mencionado más arriba, titulado " Renderización Háptica con Seis Grados de Libertad usando el Muestreo Voxel", en algunas realizaciones, los acoplamientos virtuales 130, 136 pueden ser modelizados dinámicamente usando un enfoque de impedancia, en el que el movimiento del usuario es detectado y se produce una pareja de fuerzas / par de rotación. Específicamente, se puede adoptar un esquema de acoplador virtual que conecta los movimientos hápticos del usuario con los movimientos del objeto dinámico a través de un resorte y amortiguador virtuales. Para resolver el movimiento del objeto dinámico, se puede realizar una integración numérica de la ecuación de Newton -Euler usando un paso de tiempo constante correspondiente a un tiempo entre las actualizaciones de la fuerzas (por ejemplo, 1 ms para una velocidad háptica de regeneración de 1000 Hz). Además, una masa puede ser asignada al objeto dinámico para que sea igual a la masa aparente del objeto dinámico que un usuario puede sentir en el dispositivo háptico (además de la fricción y de la inercia intrínsecas del dispositivo háptico y suponiendo que sus fuerzas todavía no están saturadas).
En un modelo dinámico de este tipo, una fuerza neta y un par de rotación en el objeto dinámico pueden ser una suma de las contribuciones de un sistema de resorte -amortiguador colocado conceptualmente en una escena virtual y acoplado entre el dispositivo háptico y el objeto dinámico. El dispositivo háptico real controla la posición y la orientación de su contraparte virtual, e influye en el desplazamiento del resorte que genera una fuerzas / par de rotación virtuales en el objeto dinámico y una fuerzas / par de rotación opuestos en el mango háptico real. El desplazamiento del resorte puede incluir también un movimiento de rotación. La fuerza elástica puede ser proporcional al desplazamiento, mientras que el par de rotación elástico puede ser proporcional a un ángulo de rotación de un análisis de ángulo equivalente y dirigido a lo largo de un eje de rotación equivalente.
Por otra parte, un resorte con seis grados de libertad (6 -DOF) hace que el objeto dinámico tienda a adquirir la misma posición y orientación del dispositivo háptico virtual, asumiendo que los dos objetos están inicialmente en registro de alguna manera (por ejemplo, estando situado el centro del dispositivo háptico en el centro de masa del objeto dinámico y estando alineado el eje principal del dispositivo con uno de los ejes principales del objeto dinámico). Al objeto virtual se le asignan propiedades de masa, que pueden ser reflejadas en la interfaz háptica como una masa aparente que se añade a la inercia intrínseca del dispositivo háptico. Las ecuaciones de fuerzas y
- par de rotación utilizadas son como sigue:
- Felastica
- dT vT
- � Telastica
- � R � R
- en las que
kT, bT = rigidez y viscosidad de translación del resorte
kR, bR = rigidez viscosidad rotacional del resorte
θ = ángulo de eje equivalente (incluyendo la dirección del eje)
v, ω = velocidad lineal y angular relativa del objeto dinámico.
La rigidez del resorte se puede establecer en un valor razonablemente alto que todavía sea consistente cómodamente con el comportamiento numérico estable en la tasa de muestreo de tiempo conocida. La rigidez y la viscosidad pueden estar relacionadas directamente para obtener un comportamiento amortiguado críticamente. Este modelo es el más válido para un objeto dinámico que tiene momentos de inercia iguales en todas las direcciones, tal como por ejemplo una esfera de densidad de masa uniforme, que es típicamente una suposición aceptable si no se desean o no son necesarios los momentos de inercia reflejados. La asunción de la igualdad de momentos de inercia en todos los sentidos típicamente representa una restricción implícita en la distribución de densidad de masa del objeto virtual, pero no en su forma geométrica.
La figura 3 es una vista esquemática de un sistema teleoperado 400 de acuerdo con otra realización de la invención. La figura 4 muestra el sistema teleoperado 400 durante la operación por el usuario 124. En esta realización, el sistema teleoperado 400 incluye el dispositivo teleoperable 110 y el dispositivo háptico 120 como se ha descrito más arriba con referencia a las figuras 1 y 2. El sistema teleoperado 400 también incluye un sistema de captura de movimiento 420 que tiene una unidad de procesamiento 410 acoplada a una pluralidad de cámara 424. El dispositivo teleoperable 110 se coloca dentro de un volumen de control (o de captura) 422 monitorizado por el sistema de captura de movimiento 420. El dispositivo teleoperable 410 puede ser un vehículo, tal como un vehículo aéreo tripulado o no tripulado (UAV), un vehículo terrestre, un vehículo acuático, un robot de fabricación, o cualquier otro tipo de dispositivo controlable. Además, el dispositivo teleoperable 110 puede ser alimentado por cualquier fuente de energía adecuada, incluyendo baterías, energía solar, gas y dispositivos alimentados por pilas de combustible.
En algunas realizaciones, la unidad de procesamiento 410 puede incluir un PC de procesamiento de movimientos 402, y una unidad de cámara de recogida de datos 404. La unidad de cámara de recogida de datos 404 puede estar configurada para recoger información de imágenes en tiempo real desde las cámaras de captura de movimiento 424, procesar los datos, y transmitir la información al procesador de movimiento 402. La unidad de procesamiento 410 está acoplada a un ordenador de aplicaciones (o componente de análisis y visualización) 450 a través de un enlace de datos 452 (por ejemplo, una conexión Ethernet), y una pantalla 454 está acoplada al ordenador de aplicaciones
450. Ejecutándose en el ordenador de aplicaciones 450 hay un programa de control 413 que puede estar configurado para recibir las señales de entrada desde el dispositivo háptico 120 y la unidad de procesamiento 410, y para producir como salida señales de control adecuadas para el dispositivo teleoperable 110 para el movimiento, la estabilización y la recuperación de perturbaciones externas a través de un componente de comunicaciones 456.
En realizaciones alternativas, un o más de entre la unidad del procesador 410, el procesador de movimiento 402, y el ordenador de aplicaciones 450 se pueden combinar. El ordenador de aplicaciones 450, u otro ordenador de monitorización de entorno, se puede utilizar para mostrar la posición, orientación, y otros datos de telemetría del dispositivo teleoperable 110. Por ejemplo, la trayectoria deseada, así como la trayectoria real se pueden trazar en tiempo casi real. Otros obstáculos y las restricciones 460 también se pueden mostrar, así como los datos derivados de los sistemas de control o de medición.
En una realización, el componente de comunicaciones 456 es un transmisor RC, sin embargo, en realizaciones alternativas, el componente de comunicación 456 se puede comunicar con el dispositivo teleoperable 110 utilizando cualquier método de comunicación adecuado, incluyendo, por ejemplo, el estándar de comunicación inalámbrica de corto alcance Bluetooth® establecido por Bluetooth SIG, Inc. de Bellevue, Washington, el estándar 802.11 de comunicación inalámbrica desarrollado por el Instituto de Ingenieros Eléctricos y Electrónicos, o cualesquiera otros estándares o protocolos de comunicación adecuados. Un convertidor 458 (por ejemplo, un convertidor de señal RC) puede ser acoplado entre el ordenador de aplicaciones 450 y el componente de comunicación 456 para convertir las señales de control desde el ordenador de aplicaciones 450 a un formato adecuado para su transmisión al dispositivo teleoperable 110 por el componente de comunicación 456.
Con referencia continuada a las figuras 3 y 4, las cámaras de captura de movimiento 424 del sistema de captura de movimiento 420 están distribuidas operativamente en el volumen de control 422, y están configuradas para monitorizar las posiciones y los movimientos de una pluralidad de marcadores retro - reflectantes 426 dispuestos en el dispositivo teleoperable 110. Los marcadores retro - reflectantes 426, que reflejan la luz que retorna a la fuente (en este caso, las cámaras de captura de movimiento 424, que pueden incorporar su propia fuente de luz), pueden estar compuestos con varias formas, incluyendo cintas, esferas, semiesferas o medias esferas, o cualesquiera otras formas adecuadas.
En algunas realizaciones, las cámaras de captura de movimiento 424 pueden operar en la porción visible del espectro, sin embargo, en realizaciones alternativas, se pueden utilizar dispositivos que operan en otras porciones del espectro (por ejemplo, infrarrojo cercano, infrarrojo, etc.). Las cámaras de captura de movimiento 424 están configuradas para controlar los marcadores retro - reflectantes 426 y para exportar las posiciones de los marcadores retro - reflectantes 426 a la unidad de procesamiento 410 en tiempo real. La posición y orientación del dispositivo teleoperable 110 puede ser determinada entonces por el ordenador de aplicaciones 450. Alternativamente, utilizando un conocimiento a priori de las posiciones de los marcadores retro - reflectantes 426 en el dispositivo teleoperable 110, las cámaras de captura de movimiento 424 (o la unidad de procesamiento 410) pueden procesar internamente los datos de los marcadores de posición medidos para determinar la posición y orientación de los datos del dispositivo teleoperable 110, y pueden proporcionar como salida los datos de posición y de orientación del dispositivo teleoperable 110 al ordenador de aplicaciones 450.
Las realizaciones de los sistemas teleoperados y métodos que tienen un sistema de captura de movimiento 420 proporcionan ventajosamente la capacidad para ejecutar la retroacción háptica en bucle cerrado dirigida por control remoto. En una realización particular, un total de seis dispositivos de captura de movimiento 424 están distribuidos sobre un volumen de control 422 de un tamaño aproximadamente de una habitación (por ejemplo, 7,62 m x 7,62 m x 3,05 m (25 'x 25' x 10')) y están configurados para proporcionar una precisión submilimétrica de la posición de los marcadores retro - reflectantes 426 con velocidades de regeneración de hasta 500 Hz. En otra realización, los dispositivos de captura de movimiento 424 incluyen sistemas de medición de movimiento correlacionados que tienen precisiones de posicionamiento inferiores al centímetro, frecuencias de actualización de por lo menos 20 Hz, y períodos de latencia de 1/20 de segundo o menos.
El sistema de captura de movimiento 420 puede ofrecer un seguimiento de movimiento con seis grados de libertad del dispositivo teleoperable 110 aproximadamente en tiempo real para permitir el control de retroacción en bucle cerrado de la posición, movimiento y características de estabilización del dispositivo teleoperable 110. En realizaciones alternativas, se puede utilizar cualquier número adecuado de dispositivos de captura de movimiento 424 (por ejemplo, dos o más), y el volumen de control 422 se puede ampliar o reducir a cualquier tamaño deseado. De modo similar, en realizaciones alternativas, los dispositivos de captura de movimiento 424 pueden estar configurados para proporcionar cualquier resolución y frecuencia operativa adecuada o deseada. En una realización particular, se encontró que una velocidad de actualización de 50 Hz y una precisión de 1 mm proporcionaba a un sistema de helicóptero RC eléctrico, como se muestra en la figura 3, con una masa de 240 g, un control, estable y una recuperación suficientemente rápida de las perturbaciones externas. El mismo vehículo también ha demostrado tener un rendimiento estable a velocidades de actualización de 20 Hz, pero con una recuperación más lenta de las perturbaciones. Los dispositivos de captura de movimiento 424 que pueden ser utilizados en el sistema de captura de movimiento 420 incluyen los dispositivos comercialmente disponibles en Vicon Limited, de Oxford, Reino Unido, así como los sistemas de captura de movimiento disponibles comercialmente en Motion Analysis Corp. de Santa Rosa, California. Detalles adicionales y realizaciones alternativas de sistemas de captura de movimiento adecuados se describen en la solicitud de patente norteamericana de propiedad común en tramitación junto con la presente número 11/459.631 presentada el 24 de julio de 2006 y titulada " Control de Retroinformación en Bucle Cerrado Utilizando Sistemas de Captura de Movimiento", habiendo sido publicada dicha solicitud de patente como US 20080125896 A1 el 29 de mayo de 2008. Información adicional se puede encontrar en el documento de investigación: Try, J.J., Erignac, CA., Murray, P. "Control de Retroinformación de Captura de Movimiento en Bucle Cerrado de Vehículos Aéreos de Pequeña Escala ", AIAA Infotech @ Aerospace Conferencia, mayo de 2007.
En algunas realizaciones, un entorno virtual puede ser creado para simular los diversos aspectos del entorno real (por ejemplo, el volumen de control 422) en el que el dispositivo teleoperable 110 va a ser operado. Un entorno virtual de este tipo puede ser modelizado en el ordenador de aplicaciones 450 y puede ser utilizado por el programa de control 413 con diversos fines, incluyendo proporcionar retroacción háptica al usuario 124 a través del dispositivo háptico 120.
La figura 4 muestra la pantalla de un entorno virtual 415, un PC de procesamiento háptico 451, y el dispositivo háptico 120. El software 416 que se ejecutan en el PC de procesamiento háptico 451 utiliza una simulación basada en la física del vehículo controlado y otros objetos estáticos o en movimiento en el entorno virtual en 3D 415. En algunas realizaciones, las funciones del PC háptico 451 también pueden ser manejadas por el ordenador principal de aplicaciones 450, cuando hay disponible suficiente potencia de procesamiento en el ordenador de aplicaciones
450. La información de posición y de orientación desde el sistema de seguimiento de vehículos en el entorno real se integra con los datos de simulación basados en la física utilizando la técnica de acoplamiento virtual de multiagente que se muestra en la figura 9.
En algunos aspectos, con el fin de que el dispositivo háptico 120 produzca la salida de las respuestas de retroacción de posición / fuerzas apropiadas, el software de aplicaciones hápticas (por ejemplo, que puede residir en el dispositivo háptico 120 o en el ordenador de aplicaciones 450) calcula las fuerzas de control de reacción necesarias sobre la base de las entradas del usuario. Algunas realizaciones de la invención utilizan una simulación de modelo en 3D completa en un entorno basado en la física, que puede ser del tipo generalmente utilizado para un análisis digital de premontaje.
Por ejemplo, en algunas realizaciones, las restricciones geométricas pueden ser creadas por medio del uso de modelos en tres dimensiones (3D) en el entorno virtual. Uno o más objetos (u obstáculos) 460 existentes en el entorno real pueden ser modelizados e importados en el entorno virtual. Las restricciones de paredes y techos se pueden incluir para definir la extensión del movimiento dentro de un ambiente interior. La geometría del movimiento artificial también puede ser creada de modo que no tenga una contraparte física, tales como los obstáculos virtuales
o el área directamente por encima y por debajo de otro helicóptero (por ejemplo, para evitar perturbaciones debidas al flujo de aire generado por los rotores). En relación con esto se encuentra la opción de permitir que la geometría "vista" por un helicóptero sea diferente de la geometría vista por otro.
En otras realizaciones, un campo de proximidad ajustable dinámicamente que se extiende alrededor de uno o más objetos estacionarios y en movimiento puede ser modelizado para proporcionar un volumen de holgura adicional alrededor de tales objetos. Por ejemplo, la figura 5 muestra una pluralidad de dispositivos teleoperables 110, teniendo cada uno de ellos un campo de proximidad 180, de acuerdo con una realización de la invención. Los campos de proximidad 180 pueden ser utilizados ventajosamente como restricciones por el sistema teleoperado para evitar colisiones con obstáculos y con otros vehículos.
De manera similar, las técnicas de acoplamiento hápticas y virtuales que se describen en la presente memoria descriptiva también se pueden aplicar para controlar múltiples vehículos desde el mismo dispositivo de entrada. Por ejemplo, la figura 6 muestra una pluralidad de dispositivos teleoperables 110 de acuerdo con una realización de la invención. Un campo de proximidad 180 rodea a cada dispositivo teleoperable 110, y cada dispositivo teleoperable 110 está virtualmente conectado a un punto de acoplamiento virtual 182. De modo similar, la figura 7 muestra una pluralidad de dispositivos teleoperables 110, teniendo cada uno un campo de proximidad asociado 180, y estando cada uno de ellos acoplado virtualmente a un punto de fijación 184 en un elemento de restricción virtual 186. El elemento de restricción virtual 186 pueden ser rígido, flexible y / o ramificado, y típicamente es controlado por medio de un punto de acoplamiento virtual 188 que está fijado al dispositivo háptico. Los dispositivos teleoperables 110 de las figuras 6 y 7 pueden ser capaces de moverse uno con relación al otro, pero no chocan uno contra el oto debido a los campos de proximidad 180 que se extienden alrededor de cada dispositivo 110.
De esta manera, los dispositivos teleoperables 110 de las figuras 6 y 7 pueden ser movido controlablemente por un sistema teleoperado como una unidad. En la realización que se muestra en la figura 6, el sistema puede mover controlablemente la pluralidad de dispositivos teleoperables 110 mediante el control del movimiento del punto de acoplamiento virtual 182, mientras que en la realización que se muestra en la figura 7, el sistema puede mover controlablemente un punto de control de acoplamiento virtual 188 localizado, por ejemplo, en cualquier parte en el miembro virtual 186. En varios aspectos, los dispositivos teleoperables 110 pueden ser comandados para moverse independientemente uno del otro, o alternativamente, dos o más de los dispositivos teleoperables 110 pueden ser comandados para moverse en una manera coordinada, tal como con movimientos de bandada o de enjambre. Las realizaciones particulares de los movimientos coordinados de una pluralidad de vehículos se describen más detalladamente, por ejemplo, en el documento Más allá de la Inteligencia de Enjambre: El Ultra - enjambre, presentado en el Swarm Intelligence Simposio IEEE por Holland et al., el 8 de junio de 2005.
Un aspecto particular de este tipo de control de enjambre es la estructura de ramificación virtual que se puede utilizar en el punto de control de acoplamiento virtual 182 (figura 6) y 188 (figura 7). En un modo primero o por defecto, todos los dispositivos teleoperables 110 pueden usar el mismo punto de acoplamiento virtual 182 proporcionando los campos de proximidad 180 la separación, como se ha descrito más arriba. Esto da como resultado una formación que es análoga a la de una persona que sostiene las cuerdas de varios globos de helio en una mano (figura 6). Los campos de proximidad 180 se tocan y se mueven uno respecto al otro (como las superficies de los globos), pero los dispositivos teleoperables 110 en el interior permanecen de forma segura lejos uno del otro. En un acoplamiento ramificada virtual (figura 7), las posiciones de desplazamiento deseadas son especificadas. Usando la analogía de los globos de nuevo, esto sería similar a colocar las cuerdas en una tabla (por ejemplo, el miembro virtual 186 de la figura 8) de tal modo que moviendo la tabla se moviesen todos los globos, al mismo tiempo que se mantiene la separación relativa especificada.
El concepto de ramificación permite a los vehículos u otros dispositivos teleoperables ser configurados en cualquier tipo de formación, pero todavía proporciona un movimiento relativo y una conexión de grupo para el punto de control de acoplamiento virtual 188 para la retroacción háptica. Por ejemplo, se podría especificar una agrupación lineal para permitir que la formación se moviese a través de una abertura estrecha, o se podría especificar una configuración ampliamente dispersada para permitir la máxima cobertura de superficie. El elemento de ramificación en sí mismo puede ser una función variable con restricciones de posición ajustables controladas por otros algoritmos. Por ejemplo, el punto de acoplamiento virtual 182 puede ser colocado en la "cabeza" de la agrupación articulada y se utiliza para dirigir la formación a través de un estrecho sendero tortuoso. Todas las fuerzas de contacto y la inercia generadas por cada vehículo en estas configuraciones de múltiples vehículos se transmiten a través del punto de control de acoplamiento virtual 182 o 188 al dispositivo háptico. Esto permite al usuario recibir retroacción de fuerzas simultánea de todos los vehículos controlados.
Además, las capacidades mejoradas de teleoperación del ambiente de retroacción posibilitada en háptica descritas en la presente memoria descriptiva pueden ser mejoradas para trabajar con el concepto de autonomía ajustable, que es la capacidad de moverse sin interrupciones entre la teleoperación controlado completamente por personas y la operación del vehículo totalmente autónoma. En este tipo de aplicación unificada, el entorno de simulación en tiempo real es el elemento común de puente entre la teleoperación humana con el control proporcionada por agentes autónomos. Ambas restricciones geométricas y acciones autónomas trabajarán por medio de la conexión de acoplamiento virtual con el vehículo o dispositivo remoto.
En una realización particular, el entorno virtual y la dinámica simulada pueden ser modelizados utilizando el kit de herramientas (SDK) de software Voxmap PointShell (VPS) disponible comercialmente, desarrollado por la compañía Boeing. Las bibliotecas VPS permiten una rápida detección de colisión / proximidad y la generación de fuerzas de reacción deseables para las simulaciones hápticas. El motor de simulación VPS basado en la física utiliza modelos dinámicos de segundo orden para calcular el movimiento realista del objeto, y funciona a una velocidad de actualización en tiempo real de 1000 Hz. Este proceso de generación se denomina renderización háptica de fuerzas.
La retroacción de control y fuerzas hacia y desde el dispositivo teleoperable 110 y el dispositivo háptico 120 es proporcionada por acoplamiento virtual, incluyendo el uso de elementos de amortiguadores elásticos de varios grados de libertad, como se ha descrito más arriba con referencia a las figuras 1 y 2. En algunas realizaciones, las posiciones definidas por el sistema de captura de movimiento 420, y algoritmos de control de retroacción en bucle cerrado que se han descrito en la publicación Haptics - e por McNeely et al., que se ha mencionado más arriba, se puede tratar de una manera similar a un punto de acoplamiento virtual fijado al mango háptico 122. De manera similar, en otras realizaciones, el concepto de acoplamiento virtual del dispositivo teleoperable 110 puede ser una extensión de las técnicas de interacción de múltiples usuario que han sido descritas en la publicación Haptics - e por McNeely et al. (figura 1). De nuevo, las fuerzas de movimiento aplicadas a cualquiera de los componentes de E / S del sistema 400 pueden ser transmitidas a otros componentes de E / S en un sistema de retroacción de fuerzas bilateral, y cada componente de E / S puede ver los otros componentes de E / S como pares con similares capacidades E / S.
Se apreciará que el entorno de simulación que se ha descrito más arriba se puede utilizar adecuadamente para la generación de fuerzas hápticas para el dispositivo simulado (o proxy) 112 (véase la figura 1) que se transmiten a ambos mango háptico 122 y dispositivo teleoperable 110 a través de los acoplamientos virtuales 130, 136. Por lo tanto, cualquier contacto, inercia, o restricciones en el entorno virtual puede afectar el dispositivo simulado 112 y son transmitidos al usuario 124 y al dispositivo teleoperable 110. De manera similar, el movimiento del mango háptico 122 por el usuario 124 mueve el dispositivo simulado 112 que también mueve el dispositivo teleoperable 110, y viceversa. Las condiciones de estado de los componentes conectados por los acoplamientos virtuales 130, 136, y los datos de posición proporcionados por el sistema de captura de movimiento 420 se proporcionan a un bucle de actualización del controlador del dispositivo, del programa 413.
En algunas realizaciones, tales como la que se muestran en la figura 3, el sistema 400 utiliza zócalos de red TCP o UDP para la comunicación entre el PC de procesamiento de seguimiento 402 y el PC de aplicaciones 450. El software de control que se ejecuta en el PC 450 calcula y envía los comandos de actuador al dispositivo teleoperable 110 por medio del componente de comunicación 456. El dispositivo háptico 120, el software háptico 416, y el software de entorno virtual 415 también se ejecutan en el PC 450. Una variación de la configuración del sistema que se muestra en la figura 3 permite que el dispositivo háptico 120 sea conectado a un ordenador diferente, tal como el ordenador 451 (figura 4), utilizando el mismo tipo de zócalos de conexiones. Puesto que los cálculos hápticos pueden ser muy exigentes, la utilización de este segundo método puede proporcionar ventajosamente capacidad de procesamiento adicional para situaciones en las que un único PC no tiene suficientes recursos de procesamiento para manejar la carga de trabajo completa.
El mango 122 del dispositivo háptico 120 en algunas realizaciones puede ser análogo a una versión en 3D de una palanca de control de vuelo en los aviones reales. La retroacción cinética y táctil del dispositivo háptico 1200 también puede ser similar a la retroacción de una palanca de control de la aeronave, excepto en que el mango háptico 122 puede tener la capacidad adicional de transmitir movimiento vertical. En otras realizaciones en las que el dispositivo teleoperable 110 es un helicóptero, un controlador de cabeceo colectivo del helicóptero separado puede no ser necesario, puesto que mover el mango 122 verticalmente puede servir para mover el helicóptero verticalmente. Además, en todavía otras realizaciones, el dispositivo háptico 120 puede controlar directamente la posición, como una palanca de control de vuelo que en un avión normalmente controla la velocidad. Alternativamente, el dispositivo háptico 120 puede estar configurado para controlar las velocidades, si así se desea. Por lo general, las oscilaciones y las vibraciones se pueden sentir a través del mango háptico 122, y otros eventos táctiles, como un algoritmo de "agitador de palanca", se pueden programar para proporcionar información adicional.
El control de entrada háptico puede ser especialmente ventajoso para el control de vehículos holonómicos o casi holonómicos, tales como un helicóptero. Tal como se utiliza en esta exposición, se considera que un vehículo es holonómico si los grados de libertad controlables son iguales a los grados de libertad totales. Los helicópteros se consideran holonómicos en términos de los movimientos de traslación. Utilizando las realizaciones de la invención, los movimientos de traslación de un helicóptero mapean el movimiento de traslación del mango (o efector final) 122 del dispositivo háptico 120 que tiene tres grados de libertad (DOF) en el espacio cartesiano. Dispositivos 120 tales como el brazo articulado que se muestra en la figura 2 pueden ser muy adecuados para este propósito.
En el contexto de los vehículos aéreos operados por control remoto, diferentes realizaciones de la invención pueden utilizar diferentes métodos de control. Por ejemplo, los tipos principales de métodos de control incluyen el control directo y el control de vuelo por cable. En los métodos de control directo, los movimientos específicos de los actuadores de control de vuelo son comandados directamente por el operador. Esto a menudo requiere una habilidad de pilotaje y experiencia importantes puesto que la operación estable y eficiente puede depender de un conocimiento detallado e intuitivo de las características de vuelo del vehículo. Los métodos de control de vuelo por cable reducen la necesidad de comandos específicos de estabilización por el piloto al proporcionar un ordenador que especifica las posiciones reales de los actuadores de control de vuelo sobre la base del movimiento deseado del vehículo especificado por el piloto. El ordenador también puede proporcionar protección de envolvente de vuelo. Una comprensión operativa del vehículo por parte del piloto todavía es deseable, pero se necesita típicamente menos habilidad en la manipulación de los actuadores de control de vuelo.
Las realizaciones de la invención pueden ser implementadas en sistemas teleoperados que utilizan sistemas de control bien de control directo o de vuelo por cable, en los que las fuerzas de la dinámica del vehículo se presentan al operador a través de un dispositivo de retroacción háptica de fuerzas. Un nivel relativamente bajo de retroacción de los movimientos de la aeronave está disponible para el operador, proporcionando una comprensión más intuitiva,
o "sentir" la dinámica del vehículo. Los comandos de alto nivel, que establecen las posiciones de objetivo para el movimiento, puede ser proporcionados por los operadores humanos (es decir, teleoperación) o por el software de planificación de ruta (como el enfoque de campo de potencial). Las restricciones de límites y la protección de envolvente de vuelo se pueden añadir para proporcionar más capacidades de vuelo por cable para el modo de control de teleoperación. Por otra parte, las realizaciones de los sistemas teleoperados que tienen sistemas de captura de movimiento proporcionan la capacidad para ejecutar la retroacción háptica en bucle cerrado pilotada por control remoto.
Con referencia a las figuras 3 y 4, en operación, el ordenador de aplicaciones 450 comunica operativamente con el dispositivo teleoperable 110 a través del componente de comunicación 456, que puede utilizar un enlace inalámbrico, un enlace basado en cable, un enlace de fibra óptica, o cualquier otro tipo adecuado de enlace de comunicación. El componente de comunicación 456 comunica las señales y datos entre el ordenador de aplicaciones 450 y el dispositivo teleoperable 110. En una realización alternativa, el ordenador de aplicaciones 450 puede estar configurado para recibir video, señales de los sensores, y otra telemetría directamente desde el dispositivo teleoperable 110, y para transmitir señales de comando apropiadas directamente al dispositivo teleoperable 110. El programa de control 413 implementado en el ordenador de aplicaciones 450 puede realizar una variedad de funciones asociadas con monitorizar y controlar el dispositivo teleoperable 110. Alternativamente, el ordenador de aplicaciones 450 puede incluir uno o más componentes de hardware programables configurados para realizar una o más de estas funciones. En todavía otras realizaciones, el programa de control 413 y el ordenador de aplicaciones 450 se podrían combinar mediante la programación del algoritmo de aplicación de control en el firmware.
En operación, el ordenador de aplicaciones 450 hace que las señales de comando apropiadas sean transmitidas a uno o más dispositivos teleoperables 110, dirigiendo los uno o más dispositivos teleoperables 110 para que realicen las actividades o funciones deseadas. Por ejemplo, si el dispositivo teleoperable 110 es un vehículo de vuelo, las señales de mando pueden dirigir al vehículo de vuelo para que vuele en una trayectoria de vuelo deseada y recoja la información deseada utilizando sensores a bordo. De manera similar, un vehículo terrestre o acuático puede ser dirigido para que recorra un trayecto deseado, recoja información, o realice otras actividades deseadas. Para aquellas realizaciones que tienen una pluralidad de dispositivos teleoperables 110, los dispositivos teleoperables 110 pueden ser comandados para que se muevan independientemente uno de otro, o alternativamente, dos o más de los dispositivos teleoperables 110 puede ser comandados para que se muevan en una manera coordinada, tal como con movimientos de bandada o de enjambre.
Usando la capacidad de exportación de datos en tiempo real del sistema de procesamiento de captura de movimiento 410, la información de posición y de orientación se envía al programa de mando y control 413 u otra aplicación o componente de control adecuado. Los datos de posición y de orientación proporcionados por el sistema de procesamiento de captura de movimiento 410 son diferenciados para conseguir la velocidad y la velocidad angular (ambas de las cuales también pueden ser filtradas para reducir el ruido) para cada grado de libertad. Los datos de posición, orientación, y velocidad lineal y angular se convierten después en las coordenadas del vehículo (mediante el uso de una multiplicación de matriz de transformación homogénea de 4 x 4) y se utilizan para calcular las señales de error, las cuales entonces son multiplicadas por los valores de ganancia de retroacción, y a continuación son usadas para generar los valores de control del actuador para los actuadores del dispositivo teleoperable 110.
A continuación, los valores de control del actuador determinados por la aplicación de control (por ejemplo, el software de control 413 en el ordenador de aplicaciones 450) se pueden convertir en un formato que necesita el dispositivo de comunicación 456 antes de la transmisión al dispositivo teleoperable 110 por el convertidor 458. En una realización particular, el convertidor 458 es un transmisor análogo de 72 MHz RC (control remoto) que tiene un "educador" de puerto que se conecta al ordenador de aplicaciones 450 usando una conexión USB o serie. En otra realización específica, un convertidor de controlador de servo de pulso – posición - modulación (PPM) basado en USB, se puede utilizar para la conversión de datos de PC (ordenador personal) a RC, tales como los convertidores comercialmente disponibles en TTI, Inc., de Fremont, California. En realizaciones alternativas, cualquiera dispositivo transmisor y convertidores análogos o digitales adecuados pueden ser utilizados.
Durante el movimiento del dispositivo teleoperable 110 dentro del espacio de control 422, como se muestra en las figuras 3 y 4, el sistema de captura de movimiento 420 realiza el seguimiento de las posiciones de los marcadores retro - reflectantes 426 en el dispositivo teleoperable 110 y genera una representación de la posición y de la orientación (cuaternión o matriz de transformación homogénea de 4 x 4) de una agrupación particular de marcadores retro - reflectantes 426. Los distintos dispositivos controlables y otros objetos en el entorno son identificados por el sistema de captura de movimiento 420 sobre la base del patrón único de colocación de marcadores retro reflectantes en cada objeto. En algunas realizaciones, el software de control 413 que se ejecuta en el ordenador de aplicaciones 450 compara la información de retroacción de posición y orientación con las posiciones deseadas del dispositivo teleoperable 110, determina las entradas del actuador deseadas para controlar el movimiento del dispositivo teleoperable 110 y hace que las señales de comando apropiadas sean transmitidas al dispositivo teleoperable 110 a través del componente de comunicación 456 para ajustar de modo controlable (o mantener) las posiciones y las velocidades del dispositivo teleoperable 110 en sus posiciones deseadas o a lo largo de sus direcciones deseadas con las velocidades de movimiento deseadas. Alternativamente, las señales de control pueden ser generadas por el usuario 124 por medio del dispositivo háptico 120, o se puede utilizar una combinación de señales de control generadas por el software de control 413 y generadas por el usuario.
De esta manera, el sistema de captura de movimiento 420 proporciona al sistema teleoperado 400 la información de posición y de orientación necesarias para una capacidad de control de retroacción en bucle cerrado para ajustar las posiciones y los movimientos del dispositivo teleoperable 110. Más específicamente, el sistema de captura de movimiento 420 puede proporcionar ventajosamente información de retroacción de posición y de orientación que permite que el ordenador de aplicaciones 450 determine y controle no sólo las posiciones cartesianas (x, y, z), sino también los comandos de control de orientación (balanceo, cabeceo, guiñada) para un control y estabilización correctos del dispositivo teleoperable 110.
El sistema 400 que se ha descrito más arriba y que se muestra en las figuras 3 y 4 está representado cuando está siendo utilizado en un ambiente interior; sin embargo, el funcionamiento en otros entornos también es posible. Por ejemplo, el sistema 400 puede ser adaptado para operar en algunos ambientes exteriores. En realizaciones alternativas, otros tipos de sistemas de seguimiento de posición pueden ser utilizados en lugar del sistema de captura de movimiento 420 en base a cámaras para facilitar aún más las implementaciones en el exterior. Por ejemplo, con la adición de los datos de aceleración de los acelerómetros de a bordo o las unidades de medición inercial (IMU) y los GPS, se pueden implementar sistemas de gran tamaño en el exterior.
Las realizaciones de sistemas y métodos de acuerdo con la presente invención pueden proporcionar ventajas significativas sobre la técnica anterior. La retroacción háptica para la teleoperación de dispositivos proporciona señales táctiles y cinéticas que indican la reacción del dispositivo a las entradas del usuario. La implementación de los procesos de teleoperación mejorados de acuerdo con la presente exposición se traducirá en un mayor rendimiento de los dispositivos teleoperables, incluidos los vehículos dirigidos por control remoto, debido al flujo de información incrementado por medio de canales táctiles y cinéticos del operador humano. Este aumento de rendimiento permitirá a los operadores externos tener algunas de las capacidades de control precisas que se encuentran disponibles a un operador a bordo de tal dispositivo, (por ejemplo, un piloto a bordo de un avión), que pueden incluir: mayor seguridad, menores tiempos de reacción a las perturbaciones inesperadas, y la habilidad precisa de vuelo de pilotos de helicópteros necesarios para enganchar y levantar objetos. En resumen, la retroacción háptica ayuda a devolver las capacidades de vuelo "de asiento" al piloto a distancia. Las realizaciones de sistemas y métodos de acuerdo con la presente invención también pueden proporcionar un entorno de desarrollo bien estructurado para probar varios tipos de técnicas de control utilizando la retroacción de fuerzas en un entorno de laboratorio. Por último, las realizaciones de los sistemas y métodos que tienen sistemas de captura de movimiento proporcionan ventajosamente las habilidades que se han mencionado más arriba y las mejoras de rendimiento por medio de sistemas de control con retroacción háptica en bucle cerrado.
Detalles adicionales de diversos aspectos de los sistemas y métodos de acuerdo con la invención se describirán a continuación. La figura 8 es un diagrama de un método de control 300 para controlar uno o más vehículos 410 utilizando el sistema de control 400 de las figuras 1 a 3. En esta realización, el método 300 incluye proporcionar una solicitud de comandos de alto nivel, que puede provenir de un operador humano, un agente autónomo, u otra fuente de nivel superior. En las realizaciones que utilizan la teleoperación, las peticiones de comandos pueden provenir de una interfaz de usuario, tal como un dispositivo háptico, 120. La solicitud de comando de alto nivel deseado es convertida en un comando de vehículo formateado correctamente (por ejemplo, vector de estado Xset de la figura 8). Un bucle de control de retroacción en bucle cerrado comienza cuando la solicitud de comando formateada para el vehículo, que está determinada por una función de los estados deseados y medidos, es enviada al vehículo ("Planta" en la figura 8). A continuación, una o más posiciones y orientaciones de los uno o más vehículos 410 son adquiridos. Inicialmente, las una o más posiciones y orientaciones pueden ser conocidas, tal como por entradas o condiciones iniciales durante el inicio del método 300, o pueden ser determinadas por el sistema de referencia de posición 420. El bucle de control es cerrado por la alimentación de la información de la posición y la orientación medida que retornan al inicio del proceso. El bucle de control es la implementación de uno o más de los métodos de control que se han descritos más arriba, y es responsable de mantener la trayectoria deseada y la recuperación por perturbaciones inesperadas.
En una realización, se utiliza un método llamado control proporcional, integral, derivado (PID). Este método se aplica un conjunto de ganancias de control de retroacción (bloques 312 Kp, Ki, Yd, en la figura 8) a los errores de vector de estado (Xerr de la figura 8) para determinar las señales de control enviadas al dispositivo controlado (o Planta) 410. En el bloque de unión de suma 310, el método 300 determina la diferencia (Xerr) entre las posiciones deseadas y los valores medidos por el sistema de captura de movimiento 420. De modo similar, en el bloque de unión 311, el método 300 determina la diferencia entre las velocidades deseadas y las velocidades determinadas al diferenciar (bloque 314) los valores de posición medidos por el sistema de captura de movimiento 420. Las señales de control del actuador apropiadas se determinan multiplicando los valores de error que salen de las uniones de suma 310 y 311 por las ganancias de retroacción (Kp, Ki, Yd) en los bloques 312. Realizaciones adicionales pueden utilizar otras técnicas de control que utilizan el estado del sistema actual o las predicciones del estado para el control de retroacción (por ejemplo, colocación de polos, LQR). Además, los datos de múltiples tipos de sistemas de medición de posición, velocidad o aceleración pueden ser combinados con los datos de captura de movimiento para dar una estimación más precisa del estado (por ejemplo, filtro de Kalman). A continuación, las señales de control del actuador determinadas pueden ser convertidas en señales de RC (control remoto), y las señales de RC pueden ser transmitidas al vehículo 410. Múltiples casos del método 300 se pueden ejecutar simultáneamente para controlar uno o más dispositivos adicionales controlados desde uno o más ordenadores de aplicaciones 450 (figura 3). Para realizaciones de teleoperación de este método, los datos la posición medida y de velocidad derivada también pueden ser enviados a un entorno de simulación virtual (416) para su uso en la generación de fuerzas háptica.
El vehículo 410 se puede mover en respuesta a las señales de control, y las posiciones y velocidades del vehículo 410 son monitorizadas y medidas por el sistema de referencia de posición 420. El método 300 a continuación retorna a donde son actualizadas las posiciones y las velocidades medidas y las acciones que se han descrito más arriba se repiten indefinidamente. De esta manera, el método 300 utiliza el sistema de captura de movimiento 420 para proporcionar datos de posición y orientación para el control de retroacción en bucle cerrado del dispositivo controlado 410.
Se apreciará que varios módulos y técnicas puede ser descritos en la presente memoria descriptiva en el contexto general de instrucciones ejecutables por ordenador, tales como módulos de programa, ejecutados por uno o más ordenadores u otros dispositivos. En general, los módulos del programa incluyen rutinas, programas, objetos, componentes, estructuras de datos, y otros similares sucesivamente para realizar tareas particulares o implementar tipos de datos abstractos particulares. Estos módulos de programa y otros similares pueden ser ejecutados como código original o pueden ser descargados y ejecutados, tal como en una máquina virtual o en otro entorno de ejecución de compilación justo a tiempo. Típicamente, la funcionalidad de los módulos de programa puede ser combinada o distribuida como se desee en diversas realizaciones. Una implementación de estos módulos y técnicas puede ser almacenada o transmitida por medio de alguna forma de medios legibles por ordenador.
La figura 9 es una vista esquemática de un sistema teleoperado con habilitación háptica 600 de acuerdo con otra realización de la invención. Se apreciará que varios de los componentes del sistema 600 son sustancialmente los mismos que los componentes correspondientes que se han descrito más arriba con respecto a las figuras 1 a 4, y por lo tanto, con fin de brevedad, tales componentes no se describirán en detalle otra vez. En esta realización, el sistema teleoperado 600 está configurado para supervisar y controlar simultáneamente una pluralidad de dispositivos controlables 610 utilizando una pluralidad correspondiente de controladores hápticos 620. Más específicamente, el sistema de captura de movimiento 420 monitoriza un volumen de control 422 que incluye un vehículo terrestre 610A, un dirigible (o vehículo más ligero que el aire) 610B, y una pluralidad de helicópteros 610C, brazos de robot 610D, y otros objetos controlables 610E. Por supuesto, en realizaciones alternativas, cualquier otro dispositivo controlable adecuado puede ser utilizado. También en realizaciones alternativas, otros tipos de seguimiento de posición y orientación pueden ser utilizados.
En una realización alternativa, al menos uno de los dispositivos controlables 610 es una plataforma de grúa volante. Las realizaciones de métodos de interacción háptica permiten un control preciso de este tipo de plataforma de elevación sin la amplia formación necesaria para operar un helicóptero real. Una de las dificultades con tales plataformas elevadoras es enganchar una carga útil. Una interfaz operada por control remoto de acuerdo con la presente invención haría esta tarea mucho más eficiente. Las grúas volantes más pequeñas son otras aplicaciones principales de esta tecnología, incluidos los dispositivos para realizar tareas tales como levantar los escombros de una carretera o las piezas móviles en una fábrica.
En realizaciones que utilizan un sistema de captura de movimiento para el seguimiento de la posición y orientación, cada uno de los dispositivos controlables 610 está configurado con una pluralidad de marcadores retro - reflectantes 426 que están monitorizados y son seguidos por el sistema de captura de movimiento 420 como se ha descrito más arriba. Los marcadores retro - reflectantes 426 (u otros dispositivos de marcado adecuados) pueden ser colocados con diferentes patrones en los dispositivos controlables 610 para permitir al sistema de captura de movimiento 420 identificar y distinguir entre los dispositivos controlables individuales 610.
Como se muestra adicionalmente en la figura 9, en esta realización, un ordenador de aplicaciones 650 incluye una pluralidad de procesadores de aplicaciones 652 que están acoplados al ordenador de procesamiento de captura de movimiento 402 a través de un conmutador de red 653. Cada procesador de aplicaciones 652 recibe las salidas desde el ordenador de procesamiento de captura de movimiento 402 (por ejemplo, los datos de posición y orientación que proporciona el sistema de captura de movimiento 420), realiza cualquier filtrado necesario, almacenamiento en búfer, amplificación de la señal, u otras funciones deseadas, y transmite los datos de la señal de control a un convertidor correspondiente 655. El convertidor 655 realiza la conversión de las señales de control a un formato adecuado para su transmisión a los dispositivos controlables 610 como se ha descrito más arriba, y comunica las señales de control formateadas adecuadamente al transmisor correspondiente 657 para su transmisión a los dispositivos controlables correspondientes 610 por medio del puerto "educador" del transmisor. En realizaciones alternativas, el transmisor 657 puede ser reemplazado por otros tipos de equipos de comunicación inalámbrica (por ejemplo, Bluetooth 802.11).
En una realización adicional, la información de captura de movimiento proporcionada por el sistema de captura de movimiento 420 puede ser transmitida a uno o más componentes del sistema de control 600, tales como el software 413 implementado en el ordenador de aplicaciones 450, para la determinación del rango y velocidad de cada dispositivo controlable 610, incluyendo cualquiera de las acciones que sean necesarias para evitar colisiones.
Claims (15)
- REIVINDICACIONES1. Un sistema (100) para la teleoperación de un vehículo (110), que comprende:un componente de control configurado para proporcionar control de posición y de orientación con retroacción háptica de fuerzas del vehículo sobre la base de una medición de la posición del vehículo y que está configurado para funcionar en un modo de retroacción en bucle cerrado, que se caracteriza porque las diferencias en al menos una de entre la posición y la velocidad entre el vehículo y un objeto proxy simulado(112) proporcionan una o más solicitudes de control al vehículo, y porque las diferencias en al menos una de entre la posición y la velocidad del objeto proxy simulado y un dispositivo de E / S háptico (120) se utilizan para el control de retroacción, y porque el sistema está configurado para controlar simultáneamente una pluralidad de vehículos mediante el control del movimiento de un punto de acoplamiento virtual (182) conectado virtualmente a los vehículos.
-
- 2.
- El sistema de la reivindicación 1, en el que la medición de la posición incluye los datos de posición con seis grados de libertad proporcionados por un sistema de captura de movimiento (420) a al menos a uno de entre el componente de control y un componente de entrada / salida (I / O) háptico del sistema.
-
- 3.
- El sistema de las reivindicaciones 1 o 2, en el que el vehículo es capaz de realizar al menos una de las acciones de capturar, manipular, levantar, depositando, y pulverizar objetos externos.
-
- 4.
- El sistema de cualquiera de las reivindicaciones 1 - 3, en el que una retroacción de fuerzas adicional es generada por una o más restricciones de un sistema de protección de envolvente integrado en el componente de control, y en el que las una o más restricciones incluyen al menos una de entre la evitación de colisiones, las limitaciones de actitud, las restricciones de velocidad, y la prevención de salida en vuelo incontrolado.
-
- 5.
- El sistema de cualquiera de las reivindicaciones 1 - 4, en el que el componente de control está configurado para posibilitar una pluralidad de operadores para utilizar una pluralidad de dispositivos de E / S hápticos para el control de una pluralidad de vehículos aéreos no tripulados.
-
- 6.
- El sistema de cualquiera de las reivindicaciones 1 - 5, en el que el componente de control está configurado para proporcionar el control de posición y orientación utilizando el mapeo entre un dispositivo de entrada de posición / orientación y el vehículo, y en el que el mapeo está escalado al menos uno de entre linealmente y no linealmente.
-
- 7.
- El sistema de cualquiera de las reivindicaciones 1 - 6, en el que el componente de control está configurado para proporcionar el control de la posición y de la orientación utilizando al menos una entrada de control de tasa controlada.
-
- 8.
- El sistema de cualquiera de las reivindicaciones 1 - 7, en el que el vehículo es por lo menos uno de entre un vehículo holonómico, un vehículo casi holonómico, un vehículo aéreo, un vehículo submarino, y un vehículo de entorno de gravedad cero.
-
- 9.
- Un método de operar un dispositivo teleoperable (110) controlando directamente al menos una de entre la posición y la orientación del dispositivo teleoperable, que comprende:
proporcionar una entrada física a un dispositivo háptico (120) virtualmente acoplado al dispositivo teleoperable;proporcionar al menos una señal de control al dispositivo teleoperable sobre la base de la entrada física, estando configurada la al menos una señal de control para controlar directamente al menos una de entre la posición y la orientación del dispositivo teleoperable, siendo proporcionada simultáneamente la al menos una señal de control a una pluralidad de dispositivos teleoperables para mover de forma controlada la pluralidad de dispositivos teleoperables de manera coordinada;medir al menos una característica de estado del dispositivo teleoperable; yproporcionar una salida háptica a un operador sobre la base de al menos una de entre una respuesta del dispositivo teleoperable y la al menos una característica de estado, en el que se utiliza un sistema de acuerdo con cualquiera de las reivindicaciones 1 - 8. -
- 10.
- El método de la reivindicación 9, en el que proporcionar una entrada física a un dispositivo háptico incluye proporcionar una entrada física a un dispositivo háptico acoplado virtualmente por medio de una disposición de retroacción de fuerzas bilateral al dispositivo teleoperable.
-
- 11.
- El método de la reivindicación 9 o 10, en el que medir al menos una característica del estado del dispositivo teleoperable incluye medir al menos una característica de movimiento del dispositivo teleoperable utilizando un sistema de captura de movimiento.
-
- 12.
- El método de la reivindicación 11, en el que proporcionar al menos una señal de control al dispositivo teleoperable incluye proporcionar al menos una señal de control al dispositivo teleoperable sobre la base de al menos una de entre una respuesta del dispositivo teleoperable y la al menos una característica de movimiento.
-
- 13.
- El método de la reivindicación 11 o 12, que comprende además:
5 determinar al menos una señal de control adicional sobre la base de la al menos una característica de movimiento, yproporcionar la al menos una señal de control adicional al dispositivo teleoperable para controlar al menos una característica de movimiento del dispositivo teleoperable en un modo de retroacción en bucle cerrado. - 14. El método de cualquier reivindicación precedente, que comprende, además, simular al menos una característica10 de un entorno operativo del dispositivo teleoperable, y en el que proporcionar una salida háptica a un operador incluye proporcionar una salida háptica a un operador sobre la base, al menos parcialmente, de la al menos una característico simulada del entorno operativo.
- 15. El método de la reivindicación 14, en el que simular la al menos una característica de un entorno operativoincluye simular al menos uno de entre un obstáculo sólido, un objeto móvil, una condición del flujo de aire, una 15 condición de límite de movimiento, y un campo de proximidad dispuesto alrededor del dispositivo teleoperable.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US86295206P | 2006-10-25 | 2006-10-25 | |
| US862952P | 2006-10-25 | ||
| US764119 | 2007-06-15 | ||
| US11/764,119 US7885732B2 (en) | 2006-10-25 | 2007-06-15 | Systems and methods for haptics-enabled teleoperation of vehicles and other devices |
| PCT/US2007/016284 WO2008097264A1 (en) | 2006-10-25 | 2007-07-18 | System and method for haptics-enabled teleoperation of vehicles |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2383000T3 true ES2383000T3 (es) | 2012-06-15 |
Family
ID=39331300
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES07872560T Active ES2383000T3 (es) | 2006-10-25 | 2007-07-18 | Sistema y método de teleoperación de vehículos posibilitada con háptica |
| ES10162866T Active ES2383740T3 (es) | 2006-10-25 | 2007-07-18 | Sistema de teleoperación de vehículos posibilitada con háptica |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES10162866T Active ES2383740T3 (es) | 2006-10-25 | 2007-07-18 | Sistema de teleoperación de vehículos posibilitada con háptica |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7885732B2 (es) |
| EP (2) | EP2089783B1 (es) |
| AT (2) | ATE551643T1 (es) |
| AU (1) | AU2007346088B2 (es) |
| CA (1) | CA2664519C (es) |
| ES (2) | ES2383000T3 (es) |
| WO (1) | WO2008097264A1 (es) |
Families Citing this family (99)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8299905B2 (en) * | 2005-02-10 | 2012-10-30 | Quentin King | System for applying tactile stimulation to the controller of unmanned vehicles |
| US20090222148A1 (en) * | 2006-06-21 | 2009-09-03 | Calspan Corporation | Autonomous Outer Loop Control of Man-Rated Fly-By-Wire Aircraft |
| US8615714B2 (en) | 2007-01-22 | 2013-12-24 | Textron Innovations Inc. | System and method for performing multiple, simultaneous, independent simulations in a motion capture environment |
| US8599194B2 (en) * | 2007-01-22 | 2013-12-03 | Textron Innovations Inc. | System and method for the interactive display of data in a motion capture environment |
| CA2675276C (en) * | 2007-01-22 | 2017-09-12 | Bell Helicopter Textron Inc. | System and method for controlling a virtual reality environment by an actor in the virtual reality environment |
| TWI361095B (en) * | 2007-03-23 | 2012-04-01 | Yu Tuan Lee | Remote-controlled motion apparatus with acceleration self-sense and remote control apparatus therefor |
| DE08733207T1 (de) * | 2007-04-17 | 2011-04-21 | Bell Helicopter Textron Inc., Fort Worth | Kollaboratives vr-system unter verwendung mehrerer bewegungsaufnahmesysteme und mehrerer interaktiver klienten |
| US8019447B2 (en) * | 2007-09-14 | 2011-09-13 | The Boeing Company | Method and system to control operation of a device using an integrated simulation with a time shift option |
| US8290646B2 (en) * | 2008-03-27 | 2012-10-16 | Hetronic International, Inc. | Remote control system implementing haptic technology for controlling a railway vehicle |
| US8392045B2 (en) * | 2008-09-05 | 2013-03-05 | The Boeing Company | System and methods for aircraft preflight inspection |
| WO2010123529A2 (en) * | 2008-12-19 | 2010-10-28 | Xollai, Llc | System and method for autonomous vehicle control |
| EP2409287A1 (en) * | 2009-03-17 | 2012-01-25 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Teleoperation method and human robot interface for remote control of a machine by a human operator |
| PE20121018A1 (es) | 2009-05-01 | 2012-08-18 | Univ Sydney | Sistema de automatizacion integrado |
| AU2010242544B2 (en) * | 2009-05-01 | 2015-07-16 | Technological Resources Pty. Limited | Integrated automation system with picture compilation system |
| US9262933B2 (en) * | 2009-11-13 | 2016-02-16 | The Boeing Company | Lateral avoidance maneuver solver |
| US8725402B2 (en) | 2009-11-13 | 2014-05-13 | The Boeing Company | Loss of separation avoidance maneuvering |
| US9703476B1 (en) | 2010-12-23 | 2017-07-11 | The Boeing Company | Multi-touch cockpit interface for controlling aircraft systems |
| WO2012174406A1 (en) | 2011-06-15 | 2012-12-20 | University Of Washington | Methods and systems for haptic rendering and creating virtual fixtures from point clouds |
| TW201327356A (zh) * | 2011-12-28 | 2013-07-01 | Acer Inc | 電子裝置及控制電子裝置的方法 |
| BR112014031922B1 (pt) | 2012-06-18 | 2022-03-15 | Technological Resources Pty. Limited | Sistemas e métodos para processar dados geofísicos |
| US9245428B2 (en) * | 2012-08-02 | 2016-01-26 | Immersion Corporation | Systems and methods for haptic remote control gaming |
| AU2013204965B2 (en) | 2012-11-12 | 2016-07-28 | C2 Systems Limited | A system, method, computer program and data signal for the registration, monitoring and control of machines and devices |
| EP2939163A4 (en) * | 2012-12-31 | 2015-12-02 | Shuster Gary Stephen | DECISION MAKING USING PROGRAMMATIC OR ALGORITHMIC ANALYSIS |
| PT106723A (pt) * | 2013-01-09 | 2014-07-09 | Far Away Sensing | Sistema e processo de comando remoto de veículos por cópia de orientação espacial compreendendo um subsistema avisador de ordens não executáveis |
| US20140320392A1 (en) | 2013-01-24 | 2014-10-30 | University Of Washington Through Its Center For Commercialization | Virtual Fixtures for Improved Performance in Human/Autonomous Manipulation Tasks |
| US9102406B2 (en) | 2013-02-15 | 2015-08-11 | Disney Enterprises, Inc. | Controlling unmanned aerial vehicles as a flock to synchronize flight in aerial displays |
| DE102013003245A1 (de) * | 2013-02-27 | 2014-08-28 | Patrik Zajonc | Verfahren und Vorrichtung zum Lehren des Steuerns eines ferngesteuerten Modellgeräts, wie eines Fluggeräts |
| US8818571B1 (en) | 2013-03-13 | 2014-08-26 | HPI Racing & HB | Steering control system for radio control vehicle and a radio controlled car comprising the same |
| US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
| US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
| US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
| DE112014004920T5 (de) | 2013-10-28 | 2016-07-14 | Traxxas Lp | Bodenfahrzeugähnliche Steuerung für ein ferngesteuertes Luftfahrzeug |
| WO2015081113A1 (en) | 2013-11-27 | 2015-06-04 | Cezar Morun | Systems, articles, and methods for electromyography sensors |
| US10078712B2 (en) * | 2014-01-14 | 2018-09-18 | Energid Technologies Corporation | Digital proxy simulation of robotic hardware |
| US9366546B2 (en) | 2014-02-24 | 2016-06-14 | Lockheed Martin Corporation | Projected synthetic vision |
| WO2015134391A1 (en) | 2014-03-03 | 2015-09-11 | University Of Washington | Haptic virtual fixture tools |
| CN103869773A (zh) * | 2014-03-04 | 2014-06-18 | 南昌大学 | 基于主端机的力反馈控制器校正反馈力的方法 |
| US9563276B2 (en) * | 2014-03-26 | 2017-02-07 | Lockheed Martin Corporation | Tactile and peripheral vision combined modality hover drift cueing |
| US9908614B2 (en) | 2014-05-02 | 2018-03-06 | Sikorsky Aircraft Corporation | Crew seat integral inceptor system for aircraft |
| WO2016048713A1 (en) * | 2014-09-22 | 2016-03-31 | Sikorsky Aircraft Corporation | Haptic feedback for realtime trajectory constraints |
| EP3037907A1 (en) * | 2014-12-23 | 2016-06-29 | Université Sciences Technologies Lille | Autonomously assisted and guided vehicle |
| US9849595B2 (en) | 2015-02-06 | 2017-12-26 | Abb Schweiz Ag | Contact force limiting with haptic feedback for a tele-operated robot |
| WO2016168117A2 (en) * | 2015-04-14 | 2016-10-20 | John James Daniels | Wearable electric, multi-sensory, human/machine, human/human interfaces |
| EP3082081A1 (de) * | 2015-04-16 | 2016-10-19 | Siemens Aktiengesellschaft | Verfahren und system zur haptischen rückmeldung von aktuellen energieverbrauchspreisen an den fahrer einer anlage oder maschine |
| CN105204394B (zh) * | 2015-08-26 | 2017-08-08 | 电子科技大学 | 一种六自由度咀嚼机器人的控制系统 |
| CN105380613B (zh) * | 2015-11-13 | 2018-06-12 | 西京学院 | 一种体育活动监测系统 |
| US20170255719A1 (en) * | 2016-03-04 | 2017-09-07 | Xarkin Software | Dynamic motion solver methods and systems |
| US10359779B2 (en) * | 2016-03-22 | 2019-07-23 | Aurora Flight Sciences Corporation | Aircrew automation system and method |
| CN105955486A (zh) * | 2016-05-16 | 2016-09-21 | 西北工业大学 | 一种基于视觉激发脑电波辅助遥操作的方法 |
| CN105882967B (zh) * | 2016-05-16 | 2018-12-21 | 南京国器智能装备有限公司 | 一种具有机器人的无人机装置 |
| CN109466775A (zh) * | 2016-05-16 | 2019-03-15 | 合肥智慧龙图腾知识产权股份有限公司 | 一种具有机器人物品运输功能的无人机 |
| US10059446B2 (en) | 2016-06-06 | 2018-08-28 | Traxxas Lp | Ground vehicle-like control for remote control aircraft |
| EP3487395A4 (en) | 2016-07-25 | 2020-03-04 | CTRL-Labs Corporation | METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS |
| US11635736B2 (en) | 2017-10-19 | 2023-04-25 | Meta Platforms Technologies, Llc | Systems and methods for identifying biological structures associated with neuromuscular source signals |
| US11337652B2 (en) | 2016-07-25 | 2022-05-24 | Facebook Technologies, Llc | System and method for measuring the movements of articulated rigid bodies |
| US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
| WO2020112986A1 (en) | 2018-11-27 | 2020-06-04 | Facebook Technologies, Inc. | Methods and apparatus for autocalibration of a wearable electrode sensor system |
| CN110337269B (zh) | 2016-07-25 | 2021-09-21 | 脸谱科技有限责任公司 | 基于神经肌肉信号推断用户意图的方法和装置 |
| US10162422B2 (en) * | 2016-10-10 | 2018-12-25 | Deere & Company | Control of machines through detection of gestures by optical and muscle sensors |
| CN109976390A (zh) * | 2016-11-21 | 2019-07-05 | 清华大学深圳研究生院 | 一种基于三维手势的空间机器人遥操作系统 |
| WO2018098046A2 (en) | 2016-11-25 | 2018-05-31 | Kinaptic, LLC | Haptic human machine interface and wearable electronics methods and apparatus |
| CN110431505B (zh) * | 2017-02-14 | 2022-03-29 | 杭州零零科技有限公司 | 航空装置和用于控制航空装置的方法 |
| CN106840142B (zh) * | 2017-02-15 | 2023-12-19 | 江苏中科智能科学技术应用研究院 | 一种无人机检验检测系统 |
| WO2018191975A1 (en) * | 2017-04-21 | 2018-10-25 | SZ DJI Technology Co., Ltd. | Wind velocity force feedback |
| US10698492B2 (en) * | 2017-09-28 | 2020-06-30 | John James Daniels | Wearable electronic, multi-sensory, human/machine, human/human interfaces |
| CA3078578A1 (en) | 2017-10-06 | 2019-04-11 | Moog Inc. | Teleoperation system, method, apparatus, and computer-readable medium |
| DE102017220992A1 (de) * | 2017-11-23 | 2019-05-23 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Fahrzeug- oder Flugzeugsteuerung |
| US10970936B2 (en) | 2018-10-05 | 2021-04-06 | Facebook Technologies, Llc | Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment |
| US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
| US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
| US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
| US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
| CN112074870A (zh) | 2018-01-25 | 2020-12-11 | 脸谱科技有限责任公司 | 重构的手部状态信息的可视化 |
| US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
| US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
| US10607407B2 (en) * | 2018-03-30 | 2020-03-31 | Cae Inc. | Dynamically modifying visual rendering of a visual element comprising a visual contouring associated therewith |
| US10592001B2 (en) | 2018-05-08 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
| WO2019231911A1 (en) | 2018-05-29 | 2019-12-05 | Ctrl-Labs Corporation | Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods |
| WO2019241701A1 (en) | 2018-06-14 | 2019-12-19 | Ctrl-Labs Corporation | User identification and authentication with neuromuscular signatures |
| US11045137B2 (en) | 2018-07-19 | 2021-06-29 | Facebook Technologies, Llc | Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device |
| WO2020036958A1 (en) | 2018-08-13 | 2020-02-20 | Ctrl-Labs Corporation | Real-time spike detection and identification |
| EP4241661A1 (en) | 2018-08-31 | 2023-09-13 | Facebook Technologies, LLC | Camera-guided interpretation of neuromuscular signals |
| CN109739249B (zh) * | 2018-09-06 | 2022-04-19 | 中国船舶工业系统工程研究院 | 一种速度状态缺失条件下的多uuv编队协调控制方法 |
| WO2020061451A1 (en) | 2018-09-20 | 2020-03-26 | Ctrl-Labs Corporation | Neuromuscular text entry, writing and drawing in augmented reality systems |
| CN112771478A (zh) * | 2018-09-26 | 2021-05-07 | 脸谱科技有限责任公司 | 对环境中的物理对象的神经肌肉控制 |
| US12035206B2 (en) | 2019-01-13 | 2024-07-09 | Kinaptic, LLC | Fabric, connections and functional structures for wearable electronic garments and applications for the same |
| US11543819B2 (en) * | 2019-02-25 | 2023-01-03 | Textron Innovations Inc. | Remote control unit having active feedback |
| US10905383B2 (en) | 2019-02-28 | 2021-02-02 | Facebook Technologies, Llc | Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces |
| US11016485B2 (en) * | 2019-03-28 | 2021-05-25 | Nissan North America, Inc. | Teleoperation for exception handling |
| US11873018B2 (en) | 2019-04-08 | 2024-01-16 | Directrains Ltd. | Non-stop transportation system |
| US12089953B1 (en) | 2019-12-04 | 2024-09-17 | Meta Platforms Technologies, Llc | Systems and methods for utilizing intrinsic current noise to measure interface impedances |
| CN111487904B (zh) * | 2020-04-14 | 2021-08-13 | 上海商汤临港智能科技有限公司 | 参数配置方法及装置、电子设备和存储介质 |
| US12031982B2 (en) | 2020-04-19 | 2024-07-09 | John J. Daniels | Using exhaled breath condensate for testing for a biomarker of COVID-19 |
| CN112347558B (zh) * | 2020-10-26 | 2023-12-01 | 上海感探号信息科技有限公司 | 一种基于概率波的闭环优化方法、系统、电子设备和介质 |
| US20220148437A1 (en) * | 2020-11-10 | 2022-05-12 | Joby Aero, Inc. | Systems and Methods for Facilitating Communication Between Aerial Computing Devices |
| JP7540357B2 (ja) * | 2021-02-04 | 2024-08-27 | トヨタ自動車株式会社 | 遠隔運転装置及び遠隔運転システム |
| US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
| US11502729B1 (en) | 2021-08-10 | 2022-11-15 | The Boeing Company | Methods for through-structure power and data transfer between mobile robots and sensor nodes |
| CN113998100B (zh) * | 2021-12-24 | 2022-03-15 | 湖南大学 | 一种用于空中接触式无损检测作业的机器人及控制方法 |
Family Cites Families (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5148591A (en) | 1981-05-11 | 1992-09-22 | Sensor Adaptive Machines, Inc. | Vision target based assembly |
| US4654949A (en) | 1982-02-16 | 1987-04-07 | Diffracto Ltd. | Method for automatically handling, assembling and working on objects |
| US5506682A (en) | 1982-02-16 | 1996-04-09 | Sensor Adaptive Machines Inc. | Robot vision using targets |
| GB8807355D0 (en) | 1988-03-28 | 2000-03-15 | British Aerospace | Missile guidance |
| US5646843A (en) | 1990-02-05 | 1997-07-08 | Caterpillar Inc. | Apparatus and method for surface based vehicle control system |
| US5109345A (en) | 1990-02-20 | 1992-04-28 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Closed-loop autonomous docking system |
| US5281901A (en) | 1990-12-03 | 1994-01-25 | Eaton-Kenway, Inc. | Downward compatible AGV system and methods |
| US5380978A (en) | 1991-07-12 | 1995-01-10 | Pryor; Timothy R. | Method and apparatus for assembly of car bodies and other 3-dimensional objects |
| US5489830A (en) | 1994-09-09 | 1996-02-06 | Mcdonnell Douglas Corporation | Control system with loadfeel and backdrive |
| US5721680A (en) | 1995-06-07 | 1998-02-24 | Hughes Missile Systems Company | Missile test method for testing the operability of a missile from a launch site |
| US6460004B2 (en) | 1996-02-06 | 2002-10-01 | Perceptron, Inc. | Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system |
| US5637826A (en) | 1996-02-07 | 1997-06-10 | The United States Of America As Represented By The Secretary Of The Navy | Method and apparatus for optimal guidance |
| US5909218A (en) | 1996-04-25 | 1999-06-01 | Matsushita Electric Industrial Co., Ltd. | Transmitter-receiver of three-dimensional skeleton structure motions and method thereof |
| DE19731724A1 (de) | 1997-07-23 | 1999-01-28 | Horst Juergen Dipl Ing Duschek | Verfahren zum Kontrollieren eines unbemannten Fortbewegungsmittels und unbemanntes Fortbewegungsmittelsystem zum Durchführen dieses Verfahrens |
| US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
| DE59803221D1 (de) | 1997-10-06 | 2002-04-04 | Siemens Ag | Verfahren und vorrichtung zur automatisch unterstützten führung von luftfahrzeugen zu einer parkposition |
| US6317658B1 (en) | 1997-10-15 | 2001-11-13 | The Boeing Company | Neurocomputing control distribution system |
| US6114976A (en) | 1999-02-05 | 2000-09-05 | The Boeing Company | Vehicle emergency warning and control system |
| GB0022444D0 (en) | 2000-09-13 | 2000-11-01 | Bae Systems Plc | Positioning system and method |
| US9625905B2 (en) | 2001-03-30 | 2017-04-18 | Immersion Corporation | Haptic remote control for toys |
| JP2004536400A (ja) | 2001-07-16 | 2004-12-02 | 本田技研工業株式会社 | 行動制御装置および方法 |
| FR2830078B1 (fr) | 2001-09-25 | 2004-01-30 | Sagem | Procede de guidage d'une roquette |
| EP1502896A4 (en) | 2002-01-23 | 2009-11-18 | Toyota Jidoshokki Kk | POSITION CONTROL DEVICE AND POSITION CONTROL PROCESS FOR LOADING DEVICE IN INDUSTRIAL VEHICLE |
| US6938853B2 (en) | 2002-03-15 | 2005-09-06 | University Of Maryland, College Park | Biomimetic mechanism for micro aircraft |
| FR2849223B1 (fr) | 2002-09-23 | 2009-01-02 | Stefan Johannes Reich | Systeme de mesure et de stabilisation pour vehicules et objets volants |
| WO2004108527A1 (en) | 2002-10-15 | 2004-12-16 | United States Of America, As Represented By The Administrator Of The National Aeronautics And Space Administration | Resonant wingbeat tuning circuit using strain-rate feedback for ornithoptic micro aerial vehicles |
| US7039367B1 (en) | 2003-01-31 | 2006-05-02 | The United States Of America As Represented By The Secretary Of The Navy | Communications using unmanned surface vehicles and unmanned micro-aerial vehicles |
| JP4141860B2 (ja) | 2003-02-26 | 2008-08-27 | 健蔵 野波 | 小型無人ヘリコプタの自律制御装置及びプログラム |
| US7107842B2 (en) | 2003-05-10 | 2006-09-19 | The Regents Of The University Of California | Angular rate sensor using micro electromechanical haltere |
| US6896220B2 (en) | 2003-05-23 | 2005-05-24 | Raytheon Company | Munition with integrity gated go/no-go decision |
| US6910657B2 (en) | 2003-05-30 | 2005-06-28 | Raytheon Company | System and method for locating a target and guiding a vehicle toward the target |
| US7222002B2 (en) | 2003-05-30 | 2007-05-22 | The Boeing Company | Vibration engine monitoring neural network object monitoring |
| KR100537173B1 (ko) | 2003-06-21 | 2005-12-26 | 주식회사마이크로에어 | 초소형 비행체 |
| SG115546A1 (en) | 2003-06-23 | 2005-10-28 | Affineon Technologies Pte Ltd | Computer input device tracking six degrees of freedom |
| IL156739A0 (en) | 2003-07-02 | 2009-02-11 | Elta Systems Ltd | Method and system for destroying rockets |
| US6955324B2 (en) | 2003-10-22 | 2005-10-18 | The Boeing Company | Laser-tethered vehicle |
| JP4592276B2 (ja) | 2003-10-24 | 2010-12-01 | ソニー株式会社 | ロボット装置のためのモーション編集装置及びモーション編集方法、並びにコンピュータ・プログラム |
| US7742036B2 (en) * | 2003-12-22 | 2010-06-22 | Immersion Corporation | System and method for controlling haptic devices having multiple operational modes |
| US7321809B2 (en) | 2003-12-30 | 2008-01-22 | The Boeing Company | Methods and systems for analyzing engine unbalance conditions |
| US7313463B2 (en) | 2005-03-31 | 2007-12-25 | Massachusetts Institute Of Technology | Biomimetic motion and balance controllers for use in prosthetics, orthotics and robotics |
| US7731588B2 (en) * | 2005-09-28 | 2010-06-08 | The United States Of America As Represented By The Secretary Of The Navy | Remote vehicle control system |
| US7510142B2 (en) | 2006-02-24 | 2009-03-31 | Stealth Robotics | Aerial robot |
| US8157205B2 (en) | 2006-03-04 | 2012-04-17 | Mcwhirk Bruce Kimberly | Multibody aircrane |
| US7813888B2 (en) | 2006-07-24 | 2010-10-12 | The Boeing Company | Autonomous vehicle rapid development testbed systems and methods |
| US7643893B2 (en) | 2006-07-24 | 2010-01-05 | The Boeing Company | Closed-loop feedback control using motion capture systems |
| US7948439B2 (en) | 2008-06-20 | 2011-05-24 | Honeywell International Inc. | Tracking of autonomous systems |
-
2007
- 2007-06-15 US US11/764,119 patent/US7885732B2/en active Active
- 2007-07-18 WO PCT/US2007/016284 patent/WO2008097264A1/en active Application Filing
- 2007-07-18 ES ES07872560T patent/ES2383000T3/es active Active
- 2007-07-18 AU AU2007346088A patent/AU2007346088B2/en active Active
- 2007-07-18 CA CA2664519A patent/CA2664519C/en active Active
- 2007-07-18 EP EP07872560A patent/EP2089783B1/en active Active
- 2007-07-18 AT AT07872560T patent/ATE551643T1/de active
- 2007-07-18 AT AT10162866T patent/ATE552544T1/de active
- 2007-07-18 EP EP10162866A patent/EP2211246B1/en active Active
- 2007-07-18 ES ES10162866T patent/ES2383740T3/es active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CA2664519C (en) | 2012-10-09 |
| AU2007346088B2 (en) | 2012-08-23 |
| EP2211246A1 (en) | 2010-07-28 |
| WO2008097264A8 (en) | 2008-10-02 |
| EP2089783A1 (en) | 2009-08-19 |
| WO2008097264A1 (en) | 2008-08-14 |
| EP2089783B1 (en) | 2012-03-28 |
| US20080103639A1 (en) | 2008-05-01 |
| ATE551643T1 (de) | 2012-04-15 |
| US7885732B2 (en) | 2011-02-08 |
| ES2383740T3 (es) | 2012-06-25 |
| EP2211246B1 (en) | 2012-04-04 |
| CA2664519A1 (en) | 2008-08-14 |
| AU2007346088A1 (en) | 2008-08-14 |
| ATE552544T1 (de) | 2012-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2383000T3 (es) | Sistema y método de teleoperación de vehículos posibilitada con háptica | |
| Hoffmann et al. | The Stanford testbed of autonomous rotorcraft for multi agent control (STARMAC) | |
| Fernando et al. | Modelling, simulation and implementation of a quadrotor UAV | |
| Nagaty et al. | Control and navigation framework for quadrotor helicopters | |
| Woods et al. | A novel potential field controller for use on aerial robots | |
| US8190295B1 (en) | Apparatus and method for modifying the operation of a robotic vehicle in a real environment, to emulate the operation of the robotic vehicle operating in a mixed reality environment | |
| US20180134387A1 (en) | Aerial Device Capable of Additive Manufacturing and Associated Method | |
| Korpela et al. | Designing a system for mobile manipulation from an unmanned aerial vehicle | |
| Bolognini et al. | Lidar-based navigation of tethered drone formations in an unknown environment | |
| CN114488848B (zh) | 面向室内建筑空间的无人机自主飞行系统及仿真实验平台 | |
| Islam et al. | Haptic and virtual reality based shared control for MAV | |
| Wang et al. | Image-based visual servoing of quadrotors to arbitrary flight targets | |
| Can et al. | Desing of a Chattering-Free Sliding Mode Control System for Robust Position Control of a Quadrotor | |
| Liu et al. | Design and implementation of a mini quadrotor control system in GPS denied environments | |
| Števek et al. | Teaching aids for laboratory experiments with AR. Drone2 Quadrotor | |
| Shakev et al. | Autonomous flight control and precise gestural positioning of a small quadrotor | |
| Popov et al. | Control of the flight of a small quadrotor using gestural interface | |
| Omari et al. | Bilateral haptic teleoperation of an industrial multirotor UAV | |
| Tognon | Attitude and tension control of a tethered formation of aerial vehicles | |
| AU2012211357B2 (en) | Systems and methods for haptics-enabled teleoperation of vehicles and other devices | |
| Xie et al. | Development of a small UAV with autopilot capability | |
| Sevcik et al. | Exploring search-and-rescue in near-earth environments for aerial robots | |
| Rojas et al. | Teleoperation of a drone based on a virtual environment | |
| Troy et al. | Closed-loop motion capture feedback control of small-scale aerial vehicles | |
| Akhtar | The use of modern tools for modelling and simulation of UAV with haptic |