ES2679125T3 - Sistema para la visualización interactiva en tiempo real de fuerzas musculares y pares articulares en el cuerpo humano - Google Patents

Abstract

Un sistema para el diagnóstico y tratamiento de trastornos musculoesqueléticos, el sistema comprende: un sistema de captura de movimiento (32); un ordenador; un dispositivo de exposición (34); en el que dicho ordenador está dispuesto para recibir datos de dicho sistema de captura de movimiento (32); un desarrollo computacional de algoritmos dispuestos en dicho ordenador; estando dicho desarrollo computacional configurado para: derivar orientaciones, aceleraciones y velocidades articulares a partir de dichos datos recibidos desde dicho sistema de captura de movimiento (32); calcular pares articulares, fuerzas musculares y fuerzas articulares a partir de dichas orientaciones, aceleraciones y velocidades articulares; en el que dicho sistema está además dispuesto para: proporcionar una imagen generada por ordenador que ilustra una capa muscular anatómica tridimensional dispuesta sobre un esqueleto anatómico tridimensional, caracterizado por que el sistema está dispuesto para calcular dichos pares articulares, fuerzas musculares y fuerzas articulares de dichas orientaciones articulares en tiempo real; y mostrar visualmente en dicha pantalla (34) en tiempo real dichas fuerzas musculares y pares articulares calculados como animaciones en tiempo real de colores de los músculos respectivos en la capa muscular anatómica tridimensional.

Description

5

10

15

20

25

30

35

40

45

50

DESCRIPCION

Sistema para la visualización interactiva en tiempo real de fuerzas musculares y pares articulares en el cuerpo humano

Campo de la invención

La invención se refiere a un sistema de acuerdo con la reivindicación 1. La publicación de solicitud de patente internacional n.° WO 2006/138594 A2 divulga un sistema de acuerdo con el preámbulo de la reivindicación 1.

La presente invención se refiere más generalmente a un sistema que combina tecnología de captura de movimiento y un modelo musculoesquelético computacional tridimensional para crear un entorno de exposición en tiempo real donde se ilustran las fuerzas musculares y los pares articulares. Más específicamente, diversas realizaciones de la presente invención crean visualizaciones en tiempo real de las fuerzas musculares físicas y pares articulares en el cuerpo durante el movimiento.

Antecedentes de la invención

Actualmente no existe un sistema o un método conocidos disponibles para visualizar en 3D las fuerzas musculares ejercidas por el cuerpo humano en tiempo real. La mayoría de las clínicas de rehabilitación e institutos de investigación médica utilizan programas terapéuticos especializados, basados en clasificaciones relacionadas con causas de trastornos del movimiento, pero no hay forma conocida de que puedan ver las distribuciones de fuerza corporal en tiempo real, ya que generalmente tardan muchas horas y días de cálculos para derivar esos parámetros, y los resultados son numéricos o gráficos y no son intuitivos para el espectador.

Captura de movimiento es un término para una diversidad de técnicas, y la tecnología ha existido durante muchos años en una diversidad de aplicaciones. El objetivo de la captura de movimiento es crear animaciones tridimensionales (3D) y simulaciones naturales de una manera orientada a la actuación. En la industria del entretenimiento, la captura de movimiento permite a un operador usar personajes generados por ordenador. La captura de movimiento se puede usar para crear un movimiento complejo, usando toda la gama de movimientos humanos, y para permitir también que los objetos inanimados se muevan de forma realista. Algunos sistemas de captura de movimiento proporcionan retroinformación en tiempo real de los datos y permiten al operador determinar inmediatamente si el movimiento funciona de manera suficiente. La captura de movimiento se puede aplicar a todo el movimiento corporal, así como también a la animación de las manos, a la animación facial y a la sincronización de los labios en tiempo real. La captura de movimiento también se usa en aplicaciones médicas, de simulación, de ingeniería y ergonómicas, y en películas, publicidad, televisión y juegos de ordenador en 3D.

La cinemática es el proceso de calcular la posición en el espacio del extremo de una estructura enlazada, dados los ángulos de todas las articulaciones. La cinemática inversa hace lo contrario. Dado el punto final de la estructura, calcula los ángulos de las articulaciones necesarios para alcanzar ese punto final. Este proceso se utiliza en robótica, animación 3D por ordenador y algunas aplicaciones de ingeniería.

La dinámica es el proceso de calcular las aceleraciones de una estructura enlazada en el espacio, dado el conjunto de fuerzas internas y externas que actúan sobre la estructura. La dinámica inversa hace lo contrario. Dadas las aceleraciones de la estructura y un conjunto de fuerzas medidas, calcula las fuerzas internas desconocidas necesarias para producir esas aceleraciones. El resultado generalmente se proporciona como un conjunto de pares articulares y fuerzas articulares resultantes.

Lo que se necesita, por lo tanto, son técnicas para crear un único desarrollo computacional de todas las etapas en tiempo real. Se crea por primera vez la capacidad de ver las fuerzas musculares a medida que se producen.

Resumen de la invención

La invención proporciona un sistema de acuerdo con la reivindicación 1. Una realización de la presente invención proporciona un sistema para la exposición en tiempo real de la distribución de fuerzas musculares y pares articulares en un cuerpo humano utilizando animación de espacio de color de un modelo muscular corporal humano en 3D. El flujo de datos procedente de un sistema de captura de movimiento se analiza a través de un desarrollo de algoritmos especialmente escritos que deriva orientaciones, aceleraciones y velocidades articulares y dinámica hacia delante e inversa que da como resultado mediciones en tiempo real de fuerzas musculares y pares articulares. Estos se pasan en tiempo real a un modelo muscular humano en 3d que hace visibles las fuerzas y pares al usuario a medida que ocurren.

Otra realización de la presente invención proporciona interacción en tiempo de ejecución por un usuario u operador.

Una realización adicional de la presente invención proporciona una combinación de tecnologías de captura de movimiento, tecnología de simulación y algoritmos personalizados de procesamiento de datos en tiempo real, usando una combinación de elementos de hardware y software combinados con el software de creación y control para personalizar la visualización en tiempo real de fuerzas y pares ejercidos por el cuerpo humano.

Aún otra realización de la invención crea una nueva herramienta de medición y visualización que soporta aplicaciones en diversas industrias. La invención crea la posibilidad de observar la transferencia de fuerza muscular en el cuerpo para determinar, registrar y evaluar el rendimiento funcional humano con respecto a una diversidad de situaciones dadas.

5 Otra realización más de la presente invención proporciona una nueva herramienta de medición y visualización que soporta aplicaciones en diversas industrias. La invención crea la posibilidad de observar la transferencia de fuerzas musculares y fuerzas articulares en el cuerpo para determinar, registrar y evaluar el rendimiento funcional humano con respecto a una diversidad de situaciones dadas. Otras aplicaciones incluyen estudios y diseños ortopédicos y ergonómicos.

10 Una realización más de la presente invención proporciona un proceso que incorpora flujos de datos de marcador 3D en tiempo real procedentes de un sistema de captura de movimiento a través de conjuntos de algoritmos en tiempo real que derivan de las nubes de marcadores 3d los centros articulares de rotación, posiciones y orientaciones, luego deriva las aceleraciones y velocidades y las convierte en una distribución de fuerzas musculares que se pasan al modelo muscular corporal humano 3D como un flujo de datos usado en la visualización de espacio de color en 3D 15 de las fuerzas musculares y pares articulares.

Las características y ventajas descritas en el presente documento no son exhaustivas y, en particular, muchas características y ventajas adicionales serán evidentes para los expertos en la técnica en vista de los dibujos, la memoria descriptiva y las reivindicaciones. Además, debe observarse que el lenguaje utilizado en la memoria descriptiva se ha seleccionado principalmente para fines de legibilidad e instrucción, y no para limitar el alcance de la 20 materia objeto.

Breve descripción de los dibujos

La Figura 1A es una imagen generada por ordenador que ilustra puntos de captura de movimiento dispuestos en un usuario (no mostrado) configurados de acuerdo con, pero sin limitación, una realización de la presente invención.

La Figura 1B es una imagen generada por ordenador que ilustra un esqueleto cinemático configurado de acuerdo 25 con una realización de la presente invención.

La Figura 1C es una imagen generada por ordenador que ilustra un esqueleto anatómicamente correcto configurado de acuerdo con una realización de la presente invención.

La Figura 1D es una imagen generada por ordenador que ilustra una capa muscular tridimensional anatómicamente correcta configurada de acuerdo con una realización de la presente invención.

30 La Figura 1E es una imagen generada por ordenador que ilustra una capa muscular tridimensional anatómicamente correcta dispuesta sobre un esqueleto tridimensional anatómicamente correcto configurado de acuerdo con una realización de la presente invención.

La Figura 2 es una imagen generada por ordenador que ilustra conexiones de capa de desarrollo configuradas de acuerdo con una realización de la presente invención.

35 La Figura 3 es una imagen generada por ordenador que ilustra un V-Gait configurado de acuerdo con una realización de la presente invención.

La Figura 4 es un diagrama de bloques que ilustra un sistema de captura de movimiento configurado de acuerdo con una realización de la presente invención.

La Figura 5 es un diagrama de flujo que ilustra un método de captura de movimiento.

40 Descripción detallada

Las fuerzas musculares son típicamente invisibles por naturaleza y normalmente solo se pueden ver los resultados de las fuerzas musculares aplicadas en los alrededores del individuo. Una realización de la presente invención hace posible ver las fuerzas musculares simuladas en el cuerpo humano en tiempo real, de una manera que se hace evidente la transferencia de fuerza en el sistema musculoesquelético humano. El proceso de lograr esta 45 funcionalidad se basa en un rápido y preciso procesamiento de datos de captura de movimiento en tiempo real en una capa esquelética IK (cinemática inversa) que contiene posiciones y orientaciones articulares, un proceso adicional que deriva aceleraciones y velocidades, un proceso adicional que deriva dinámica inversa en tiempo real, un proceso adicional que deriva fuerzas musculares de pares articulares, y un proceso final que convierte los flujos de resultados en visualizaciones en 3D de color y cambios de forma en un modelo muscular 3D preciso de cuerpo 50 humano.

La Patente de Estados Unidos N.° 6.774.885 se menciona para todos los fines.

La invención es un sistema para la exposición en tiempo real de la distribución de fuerzas musculares y pares

5

10

15

20

25

30

35

40

45

50

55

articulares en un cuerpo humano utilizando animación de espacio de color de un modelo muscular corporal humano en 3D. Los flujos de datos procedentes de un sistema de captura de movimiento se analizan a través de un desarrollo de algoritmos especialmente escritos que derivan orientaciones, aceleraciones y velocidades articulares y dinámica hacia delante e inversa que da como resultado mediciones en tiempo real de fuerzas musculares y pares articulares. Estos se pasan en tiempo real a un modelo muscular humano en 3D que hace visibles las fuerzas y pares al ojo a medida que ocurren.

Una realización de la presente invención permite una interacción en tiempo de ejecución por un usuario u operador. Tal realización de la invención puede verse como una combinación de tecnologías de captura de movimiento, tecnología de simulación y algoritmos personalizados de procesamiento de datos en tiempo real, usando una combinación de elementos de hardware y software combinados con el software de creación y control para visualizar en tiempo real las fuerzas y pares ejercidos por el cuerpo humano.

Una realización de la invención proporciona una nueva herramienta de medición y visualización que soporta aplicaciones en diversas industrias. Una realización de la invención crea la posibilidad de observar la transferencia de fuerza muscular en el cuerpo para determinar, registrar y evaluar el rendimiento funcional humano con respecto a una diversidad de situaciones dadas. Aunque al menos una realización de la presente invención está destinada a aplicaciones médicas, las realizaciones de la presente invención son adaptables para otros segmentos de mercado, incluyendo ergonomía y deportes.

Diversas realizaciones de la presente invención proporcionan herramientas que son útiles en numerosas aplicaciones, incluyendo la industria deportiva y de fitness. Este sistema permite la visualización de las fuerzas musculares para cualquier ejercicio dado en tiempo real. Tal sistema, ilustrado en la Figura 3, se puede usar para potenciar, optimizar y mejorar las fuerzas musculares, proporcionando una visualización realista en tiempo real de las fuerzas y pares dados. El sistema permite al usuario 30 ver la transferencia de fuerza a diversos músculos en el cuerpo y lograr el efecto deseado. Un sistema de captura de movimiento 32 registra instantáneamente el movimiento del usuario y proporciona visualizaciones inmediatas de la fuerza muscular 34.

La comunidad médica puede utilizar la presente invención haciendo posible ver las fuerzas y pares musculares en tiempo real. Puede ayudar y mejorar la calidad de vida de muchos pacientes y permitir la percepción de movimientos físicos y comportamientos musculares para aquellos que de otro modo no serían capaces de realizar tal movimiento. El sistema puede ser útil para las víctimas de lesión cerebral traumática, daño cerebral y daño espinal. El estudio del reconocimiento de movimiento apoya la noción de que el cuerpo recuerda ciertos movimientos e incluso puede regenerar rutas sinópticas. Al visualizar la fuerza muscular deseada, el cuerpo puede volver a entrenarse para realizar ese movimiento. En el campo de la ortopedia y las prótesis, las realizaciones de la presente invención pueden ayudar a los pacientes a comprender su situación actual, dónde carecen de fuerza muscular y dónde ejercen demasiada fuerza por razones de compensación. Con la ortopedia, las prótesis y los amputados, el sistema puede visualizar y rastrear las deficiencias musculares mientras se entrenan y se mejoran los movimientos.

Todavía otra realización de la presente invención combina fuerzas musculares y la fuerza articular resultante en un cálculo y visualización de las fuerzas que actúan en las articulaciones. Esto es útil como herramienta de entrenamiento para prevenir y tratar lesiones por uso excesivo en el lugar de trabajo, en la ergonomía y en los deportes.

En el contexto de una realización de la presente invención, se da una primera etapa en el desarrollo de análisis de datos ilustrado en la Figura 2, tomando el flujo de datos del sistema de captura de movimiento y calculando los ángulos articulares para cada parte del cuerpo, cada articulación calculada se dibuja como una esfera en este dibujo. En la presente invención, se usa la cinemática inversa para calcular la orientación articular de los datos de captura de movimiento antes de derivar las aceleraciones y las velocidades de cada parte del cuerpo. Las siguiente etapa en el desarrollo es tomar los ángulos articulares calculados y derivar los valores de aceleraciones y velocidades para cada articulación (que representa cada parte del cuerpo), los valores de aceleración y velocidades son la base para el cálculo a través del uso de dinámica inversa, las fuerzas musculares y los pares articulares que después se pasan a la exposición de modelo muscular en 3D como información de color.

Una realización de la presente invención en relación con aplicaciones médicas puede servir como ejemplo. Un proyecto de desarrollo llamado "Virtual Gait Lab" es una realización del sistema que opera en el dominio en tiempo real. Tal realización se refiere al desarrollo de un sistema de realidad virtual en el que las fuerzas musculares y pares articulares del cuerpo humano se pueden ver y evaluar en tiempo real en una diversidad de condiciones reproducibles.

Entre las características de la invención está la capacidad de mejorar las actividades de diagnóstico y terapéuticas en una gama de campos médicos. Las mejoras se definen al permitir que un equipo de expertos médicos, por primera vez, tenga la oportunidad de ver y analizar las fuerzas musculares y los patrones de pares articulares a medida que suceden en un entorno controlado en tiempo real.

Tal sistema consiste en una combinación de una cinta de correr instrumentada capaz de medir las fuerzas de reacción del suelo, una pantalla grande o un sistema de proyección para la exposición de las fuerzas, un sistema de

5

10

15

20

25

30

35

40

45

50

55

captura de movimiento en tiempo real y el desarrollo computacional personalizado que traduce los datos de captura en la visualización de las fuerzas musculares y los pares articulares.

Una realización de la presente invención busca desarrollar un modelo muscular interactivo virtual en tiempo real, que pueda proporcionar a los pacientes medios de comportamientos exploratorios casi ilimitados y al mismo tiempo proporcionar a los expertos médicos herramientas de medición precisas para monitorizar la compleja distribución de fuerzas presentes en el cuerpo humano.

Especialmente en tareas complejas de equilibrio, los patrones de activación muscular determinan si un sujeto se cae o no. Estas simulaciones apuntan a la comprensión de patrones de respuesta normales o patológicos en ciertas tareas de equilibrio.

Tal realización ofrece no solo un entorno de prueba y aprendizaje para pacientes y médicos, sino también un entorno de investigación valioso para el control motor. Tal realización abre la puerta a un nuevo tipo de experimentos en los que se puede ofrecer visualización de la fuerza muscular en tiempo real.

Por ejemplo, los temblores de la fuerza muscular observados en pacientes con Parkinson son considerados un enigma por muchos médicos y científicos del movimiento humano. En estos pacientes, algunas pistas visuales son suficientes para desencadenar patrones de fuerza muscular de aspecto bastante normal (por ejemplo, usados al caminar), mientras que en ausencia de tales estímulos dicho patrón ni siquiera se puede iniciar. En sujetos sanos, el control continuo de la transferencia de fuerza muscular al andar es posible al tener una entrada sensorial multicanal en una gran biblioteca de patrones motores aprendidos. Una vez que existe la posibilidad de ver en tiempo real la inmersión en el patrón de fuerza muscular, se logrará una mejora fundamental en la comprensión y el posible tratamiento de la enfermedad. Tal realización permitirá una nueva visión de la complejidad de los procesos naturales asociados con el movimiento humano.

Se pueden encontrar otros ejemplos entre pacientes con trastornos periféricos, tales como parálisis parcial o paresia de una extremidad. En estas situaciones, los andares y el equilibrio se ven comprometidos tanto por una falta parcial de aporte sensorial como por la falta de coordinación muscular. El resultado habitual de esto es que, con el fin de obtener andares y equilibrio funcionales, los pacientes encuentran compensaciones, lo que da como resultado patrones de movimiento desviados en partes sanas del cuerpo. El uso de la visualización en tiempo real de la fuerza muscular y los pares articulares puede ayudar a resolver la diferencia entre los trastornos de compensación y primarios.

Otro ejemplo de una aplicación para una realización de la presente invención es la prevención y el tratamiento del dolor lumbar a través de la enseñanza de técnicas de elevación apropiadas. El cálculo y la visualización en tiempo real de las fuerzas que actúan sobre los discos intervertebrales proporcionarán retroinformación inmediata al paciente sobre la calidad de su movimiento.

En muchas realizaciones, las fuerzas musculares se visualizarán, pero ciertas aplicaciones de entrenamiento pueden proporcionar señales de audio impulsadas por valores de fuerza muscular a partir del desarrollo computacional. Otras aplicaciones de entrenamiento pueden usar valores de fuerza muscular como entrada para un entorno virtual, lo que provoca cambios en la posición de los objetos virtuales, o cambios en la posición de la plataforma de movimiento en la que el sujeto está de pie.

El desarrollo computacional que da como resultado la exposición de la fuerza muscular en tiempo real es flexible y permite realizar simulaciones de dinámica hacia delante en cualquier momento durante el tiempo de ejecución del sistema. El flujo de movimientos como entrada a la simulación dinámica inversa se detiene durante una secuencia y los movimientos articulares calculados ahora se utilizan como entrada, mientras que los movimientos se convierten en salida. Por lo tanto, las simulaciones hacia delante calculan los movimientos y las fuerzas de reacción a partir de los momentos de fuerza producidos alrededor de las articulaciones de los sujetos. Estas simulaciones hacia delante se pueden visualizar como parte del entorno virtual, y mostrarán lo que le podría suceder al paciente en situaciones hipotéticas.

Los cálculos de dinámica hacia delante e inversa típicamente consisten en un gran conjunto de ecuaciones. Dependiendo de los métodos utilizados para formar estas ecuaciones, se expresan de varias maneras, tales como las ecuaciones de Newton-Euler, las ecuaciones de Lagrange, o las ecuaciones de Kane. Estas se denominan ecuaciones de movimiento, que contienen la relación entre las fuerzas generalizadas aplicadas al cuerpo y los movimientos generalizados. "Generalizado" en este sentido significa que están formulados a lo largo de las posibilidades de movimiento (o grados de libertad) del cuerpo humano, más que en términos de coordenadas tridimensionales en el mundo exterior. Esto implica que la mayoría de las fuerzas generalizadas son en realidad momentos de fuerza (o par). Se pueden añadir ecuaciones que describen el tipo de interacción con el entorno, tales como los contactos con el suelo. Las ecuaciones se pueden resolver simultáneamente en una simulación hacia delante, se resuelven algebraicamente en una simulación inversa, o se reordenan y se resuelven para realizar una simulación mixta inversa y hacia delante. En una realización de la presente invención, estos cálculos suceden todos en tiempo real.

A partir de la simulación dinámica, se calcula la ubicación del centro de masa, que, junto con la posición de los pies,

5

10

15

20

25

30

35

40

45

50

55

se puede utilizar para impulsar el movimiento de la plataforma, si así lo requiere el entorno virtual. El modelo de cuerpo humano produce los momentos articulares de la fuerza del sujeto. La simulación dinámica hacia delante se puede iniciar para indicar dónde se encuentran las partes débiles en el patrón motor.

Las principales tareas del desarrollo computacional en tiempo real son procesar los datos de entrada procedentes de los sensores de captura de movimiento, mapear los datos recogidos en el modelo de cuerpo humano mencionado anteriormente, procesar los diversos datos de entrada y/o computados dependiendo de los diferentes casos. Otras tareas se refieren a la exposición de representaciones gráficas en 3D en tiempo real de fuerzas musculares y pares articulares 28, así como a la activación de dispositivos de salida tales como una cinta de correr 38 y un sistema de exposición 34 como se ilustra en la Figura 3.

La interfaz de usuario para el operador se implementa como el medio para comunicarse con el modelo muscular en 3D en tiempo real 26 de la Figura 1D a través de un programa de software escrito personalizado. Como ejemplo de operación, después de haber decidido el tipo de movimientos a ejecutar, el modelo muscular en 3D en tiempo real se proyecta en la pantalla frente al sujeto. El usuario se mantiene en una plataforma o cinta de correr, que se puede controlar como parte del sistema o como una reacción a los movimientos del sujeto. El usuario lleva marcadores de captura de movimiento 20, como se ilustra en las Figuras 1A y 2, de los que se registran las posiciones. Estos se introducen en un algoritmo que los convierte en grados de libertad del modelo de cuerpo humano, que se llena con las masas de segmento 22 y la inercia del sujeto y se exponen como animaciones en tiempo real de espacio de color del modelo muscular en 3D de la Figura 1E.

A partir del movimiento del esqueleto y las propiedades de la masa, también se calcula la ubicación del centro de masa, que, junto con la posición de los pies, puede usarse para impulsar el movimiento de la cinta de correr o la plataforma según lo requiera el entorno. El modelo de cuerpo humano 26 produce los momentos articulares de fuerza del sujeto, si es necesario; esta información se puede ofrecer en la imagen proyectada para ser utilizada por el sujeto. También se puede computar simulación dinámica hacia delante para indicar dónde se encuentran las partes débiles en el patrón motor.

Las Figuras 1A-1E ilustran una vista general de una realización del desarrollo computacional en tiempo real de la presente invención en el que, como se ilustra en la Figura 1A, un usuario está equipado con varios sensores de captura de movimiento o marcadores 20 unidos en diversas ubicaciones estratégicas del cuerpo. Los datos de los sensores son recibidos por un sistema de captura de movimiento 32. En una realización preferida, el conjunto de datos de captura de movimiento contiene las posiciones del eje X, el eje Y y el eje Z del usuario para todo el cuerpo, y se transmite a >100 FPS (fotogramas por segundo) al ordenador 36. El ordenador 36 opera interactivamente con la interfaz de operador 34 y ejecuta la primera etapa en el desarrollo computacional convirtiendo los datos posicionales en tiempo real a un esqueleto de cinemática inversa 22 ilustrado en la Figura 1B. Estos datos se aplican típicamente al esqueleto de cinemática inversa 22 para impulsar un esqueleto anatómicamente correcto en 3D 24 aproximadamente en tiempo real (Figura 1C). Después, se conecta una capa muscular en 3D anatómicamente correcta 26 de la Figura 1D al esqueleto humano 24 y las fuerzas musculares y pares articulares resultantes del desarrollo computacional en tiempo real se aplican a animaciones de colores en tiempo real 28 de los músculos respectivos en el modelo muscular 3D de la Figura IE.

Con referencia a la Figura 2, una persona está equipada con marcadores 20 y se procesa una plantilla 22 para una posición inicial o de equilibrio. Los marcadores 20 se usan típicamente para registrar el movimiento. Se capturan de manera sustancialmente instantánea y se usan para procesar una plantilla completa. La plantilla 22 utiliza un algoritmo de correspondencia de plantilla para interpolar los datos de marcadores faltantes o malos. El resultado de correspondencia de plantilla se pasa al esqueleto de cinemática inversa computacional 24. Aquí, los datos de posición de los marcadores se trazan en tiempo real para las orientaciones articulares en el esqueleto computacional 24. Utilizando Montaje basado en restricciones; los datos a su vez impulsan un esqueleto geométrico (anatómicamente correcto). Este esqueleto es la base para la capa de visualización de fuerza muscular.

La Figura 3 ilustra una realización de la presente invención, en la que el paciente 30 en una cinta de correr instrumentada 38 está mirando el modelo muscular interactivo 3D en tiempo real 34 de sí mismo viendo los músculos en acción a medida que se ejerce la fuerza muscular. Este modelo de fuerza muscular interactivo 34 se calcula mediante un procesador 36 usando el método descrito anteriormente usando datos obtenidos de sensores ópticos de captura de movimiento 32 dispuestos en el cuerpo del paciente 30, en combinación con sensores dispuestos en la cinta de correr instrumentada 38. En tal realización, los sensores de peso pueden estar dispuestos en la cinta de correr instrumentada 38 mientras que también pueden incluirse otros sensores, tales como acelerómetros, velocímetros, sensores de rotación y de posición.

La Figura 4 es una vista en diagrama de bloques que ilustra las interconexiones posibles de hardware y software de una realización de la presente invención. La plataforma de hardware se basa en estaciones de trabajo de múltiples procesadores de varios núcleos de alta calidad.

En una realización, la plataforma de hardware multi-CPU 36 se usa como el medio informático para procesamiento, memoria e interfaz. Los diversos periféricos y comunicaciones se logran mediante el uso de conexiones estándar de alta velocidad usando Ethernet, conexiones en serie y conexiones SCSI a hosts dedicados. El host dedicado puede

5

10

15

20

25

30

35

40

45

50

55

60

ser un ordenador personal (PC) separado o un ordenador a bordo integrado que interactúa con el equipo periférico. El sistema óptico de captura de movimiento de una realización incluye seis cámaras, y la unidad de adquisición de datos del sistema óptico de captura de movimiento traduce la entrada de la cámara en el conjunto de datos deseado.

El conjunto de datos de una realización es información de posición 3D de los sensores 20 obtenida de una persona 30 en tiempo real, y es accesible para un host dedicado que permite el intercambio rápido de datos con la CPU 36. En una realización, los datos se entregan en un formato de archivo personalizado. Aunque no se limita a este tipo de sistema, el sistema de captura óptica principal elegido de una realización es un sistema marcador pasivo en tiempo real 32, que se puede configurar fácilmente para muchas configuraciones. Esta tecnología es capaz de convertir y exponer coordenadas de datos 3D de hasta 300 marcadores ópticos a >100 Hz. La cinta de correr instrumentada 38 está interconectada a un host dedicado que se conecta a la CPU para transferir datos e información de control. La cinta de correr 38 de una realización tiene la capacidad de medir las fuerzas de reacción del suelo en tiempo real mediante el uso de sensores de fuerza debajo de la cinta de correr. Su velocidad está interconectada al desarrollo computacional para establecer un circuito de retroalimentación entre el sistema de captura de movimiento 32 y la cinta de correr 38 para que la persona permanezca en el centro de la cinta de correr sin importar los cambios en las velocidades de marcha/carrera. Se usa un dispositivo de proyección 34 tal como una pantalla de plasma o un proyector de vídeo y una pantalla para exponer el modelo muscular en 3D en tiempo real al usuario.

La Figura 5 ilustra un diagrama de flujo que ilustra el funcionamiento de un sistema configurado de acuerdo con una realización de la presente invención. La entrada desde el sistema de captura de movimiento 1 en forma de coordenadas de marcador 3D se usa como entrada para el solucionador de cinemática 6. El solucionador de cinemática 6 también utiliza archivos de recursos de una definición de esqueleto y plantillas de conjuntos de marcadores 3. El solucionador de cinemática 6 transmite en tiempo real la pose del esqueleto actual. El filtrado de paso bajo en tiempo real y la diferenciación procesan los cambios en la pose del esqueleto en velocidades y aceleraciones que se utilizan como entrada para las ecuaciones de movimiento 7. La salida del solucionador de cinemática también impulsa la generación de rutas musculares para todos los músculos respectivos 5, y da como salida el esqueleto esquemático utilizado para la visualización 9. Las ecuaciones de movimiento 7 también utilizan la entrada de las fuerzas de reacción del suelo y otras fuerzas externas procedentes de una distribución de sensores de fuerza 2. Las ecuaciones de movimiento 7 también utilizan una entrada desde archivos de recursos que contienen las propiedades de masa corporal respectivas 4. Las ecuaciones de movimiento 7 dan como salida momentos articulares al proceso de optimización 8. El proceso de optimización 8 también utiliza la entrada de longitudes musculares y brazos de momento procedentes de las trayectorias musculares respectivas 5. El proceso de optimización 8 de como salida fuerzas musculares utilizadas en la visualización de la fuerza muscular en tiempo real 9.

En una realización de la invención, la pose del esqueleto (es decir, el conjunto de coordenadas generalizadas) se calcula en tiempo real utilizando el algoritmo de mínimos cuadrados no lineales de Levenberg-Marquardt para resolver el problema de optimización global. El uso de la matriz analítica Jacobiana hace que los cálculos sean muy rápidos.

En una realización de la invención, las ecuaciones de movimiento se producen a través de un software que crea el código C para las ecuaciones de cinemática hacia delante. Estas ecuaciones generan coordenadas de marcadores en el cuerpo a partir de las coordenadas generalizadas del esqueleto. Las derivadas de las ecuaciones de cinemática hacia delante, que forman una matriz jacobiana, se generan mediante una diferenciación simbólica. Finalmente, una realización de la presente invención traduce estas ecuaciones en un código informático que se incorpora al desarrollo computacional que ejecuta los cálculos en tiempo de ejecución.

En una realización, las fuerzas musculares son la solución de un problema de optimización estático, con la forma general: minimizar la suma de las fuerzas musculares normalizadas elevadas a la N-ésima potencia, mientras que se requiere que todas las fuerzas musculares no sean negativas, y que el conjunto de fuerzas musculares multiplicadas por sus respectivos brazos de momento, son idénticas a los pares articulares resueltos por las ecuaciones de dinámica inversa. La fuerza muscular normalizada se define como la fuerza muscular relativa a la capacidad de fuerza máxima del músculo. El brazo de momento es la distancia desde el vector de fuerza muscular al centro instantáneo de rotación de una articulación particular y se calcula matemáticamente como la derivada de la longitud muscular con respecto a la coordenada generalizada de la articulación. Los métodos de optimización tradicionales son demasiado lentos para las aplicaciones en tiempo real. Para N = 2, que se usa comúnmente en la estimación de la fuerza muscular, se obtiene una solución en tiempo real usando el algoritmo de la red neuronal para la programación cuadrática.

Captura de movimiento es una frase utilizada para describir una diversidad de técnicas para capturar el movimiento de un cuerpo u objeto, y la tecnología ha existido durante muchos años en una diversidad de aplicaciones. El objetivo de la captura de movimiento es crear animaciones tridimensionales (3D) y simulaciones naturales de una manera orientada a la actuación. En la industria del entretenimiento, la captura de movimiento permite a un operador usar personajes generados por ordenador. La captura de movimiento se usa para crear un movimiento natural complejo, usando toda la gama de movimientos humanos, y para permitir también que los objetos inanimados se muevan de forma realista. Algunos sistemas de captura de movimiento proporcionan retroinformación en tiempo real de los datos y permiten al operador determinar inmediatamente si el movimiento funciona de manera suficiente. La

5

10

15

20

25

30

35

40

45

50

55

captura de movimiento se puede aplicar a todo el movimiento corporal, así como también a la animación de las manos, a la animación facial y a la sincronización de los labios en tiempo real. La captura de movimiento también se usa en aplicaciones médicas, de simulación, de ingeniería y ergonómicas, y en películas, publicidad, televisión y juegos de ordenador en 3D. En el contexto de la presente invención, se usa captura de movimiento para transmitir posiciones de marcadores XYZ en 3D.

En muchas industrias se usan sensores de fuerza, tales como automoción, robótica y diversas aplicaciones de ingeniería, típicamente un sensor de fuerza medirá las fuerzas totales aplicadas sobre él, que pueden ser componentes de fuerza vertical u horizontal y componentes de fuerza de corte. En el contexto de la presente invención, se usan sensores de fuerza para medir las fuerzas de reacción del suelo de la cinta de correr sobre la que una persona está de pie, caminando o corriendo. Por ejemplo, la cinta de correr de una realización tiene la capacidad de medir fuerzas de reacción del suelo en tiempo real mediante el uso de sensores de fuerza debajo de la cinta de correr. Su velocidad está interconectada al desarrollo computacional para establecer un circuito de retroalimentación entre el sistema de captura de movimiento y la cinta de correr de manera que la persona permanezca en el centro de la cinta de correr sin importar los cambios en las velocidades de marcha/carrera.

Las plantillas 3 de definición de esqueleto y de conjunto de marcadores son archivos de recursos utilizados en el desarrollo computacional de la presente invención, las personas son de diferente tamaño y peso, y se seleccionan plantillas de esqueleto de un grupo de plantillas de esqueleto para obtener la mejor correspondencia para cada persona. Las plantillas de marcadores se usan para definir dónde se colocan los 4 marcadores en el cuerpo humano. Típicamente, dichos marcadores se disponen en cada articulación del cuerpo.

Las propiedades de masa corporal 4 se refieren al peso de diferentes partes del cuerpo de diferentes personas. Las personas varían de peso y esto tiene ramificaciones en la fuerza muscular que ejercen para generar movimientos específicos. Las propiedades de masa se utilizan como un recurso para los cálculos correctos de fuerza en tiempo real.

Las trayectorias musculares 5 se utilizan para compensar las diferencias de construcción entre los usuarios. Las variaciones en longitud y ancho entre sujetos tienen ramificaciones en los cálculos de fuerza ya que un músculo más largo ejercerá una fuerza diferente para generar el mismo movimiento que un músculo más corto, y también la colocación de los ligamentos será diferente en diferentes personas. En el contexto de una realización de la presente invención, las trayectorias musculares se utilizan para facilitar los cálculos de las fuerzas musculares y los pares articulares.

El solucionador de cinemática 6 proporciona el cálculo de la orientación articular usando cinemática inversa. La cinemática es el proceso de calcular la posición en el espacio del extremo de una estructura enlazada, dados los ángulos de todas las articulaciones. La cinemática inversa hace lo contrario. Dado el punto final de la estructura, ¿en qué ángulos deben estar las articulaciones para lograr ese punto final? Este proceso se utiliza en robótica, animación 3D por ordenador y algunas aplicaciones de ingeniería. En el contexto de una realización de la presente invención, se da una única etapa en el desarrollo de análisis de datos, tomando el flujo de datos del sistema de captura de movimiento y calculando los ángulos articulares para cada parte del cuerpo. En el contexto de una realización de la presente invención, se usa cinemática inversa para calcular la orientación articular a partir de los datos de captura de movimiento, y para convertir de este modo los valores posicionales XYZ en ángulos de rotación de las articulaciones en grados o radianes.

Las ecuaciones usadas en el cálculo del movimiento y la fuerza son conocidas por los expertos en las ciencias físicas, o se derivan fácilmente a partir de ecuaciones ya conocidas en el campo de la física. Las ecuaciones de movimiento 7 son conjuntos de ecuaciones matemáticas diseñadas para combinar flujos entrantes de datos de cinemática con plantillas de marcadores y esqueletos y convertirlos en datos de dinámica hacia delante e inversa. Estos pueden ser conjuntos de ecuaciones de Lagrange, conjuntos de Casey o conjuntos de ecuaciones de Euler- Newton. En el contexto de una realización de la presente invención, las ecuaciones de movimiento 7 proporcionan la relación entre fuerzas generalizadas aplicadas en el cuerpo y movimientos generalizados. "Generalizado" en este sentido significa que están formulados a lo largo de las posibilidades de movimiento (o grados de libertad) del cuerpo humano, más que en términos de fuerzas en el mundo exterior. Esto implica que la mayoría de las fuerzas generalizadas son en realidad momentos de fuerza (o par). Se pueden añadir ecuaciones 7 que describen el tipo de interacción con el entorno, tales como los contactos con el suelo. Las ecuaciones 7 se pueden resolver simultáneamente en una simulación hacia delante, se resuelven algebraicamente en una simulación inversa, o se reordenan y se resuelven para realizar una simulación mixta inversa y hacia delante. En una realización de la presente invención, estos cálculos suceden todos en tiempo real. En una realización, se elimina el retardo eficaz usando algoritmos eficientes, logrando una velocidad de muestreo mínima en tiempo real que sea mayor que 30 Hz, un estándar familiar para aquellos en la industria de la televisión y la radiodifusión. Un experto en la técnica apreciará fácilmente que un tiempo más rápido también sería aceptable o deseable en algunas aplicaciones.

Un proceso de optimización 8 usa la entrada de longitudes musculares y brazos de momento procedentes de las trayectorias musculares respectivas para dar como salida fuerzas musculares y pares articulares. La optimización 8 de los datos contiene rutinas para la normalización de datos y varios filtros de software en tiempo real.

5

10

15

20

25

30

35

40

45

50

55

60

La visualización de la fuerza muscular en tiempo real 9 se proporciona por las entradas de fuerzas musculares y pares articulares y se usan para impulsar la animación de color en los músculos respectivos expuestos como un modelo de cuerpo humano en 3D en la pantalla. El brillo y el tono del color se correlacionan con la amplitud de la fuerza muscular, la ganancia y los patrones de activación. El usuario y el operador pueden ver una animación en tiempo real de las fuerzas musculares activas en el cuerpo humano en cualquier momento dado.

Diversas realizaciones de la presente invención proporcionan aplicaciones adaptables para otros segmentos del mercado. Deporte y fitness son uno de esos mercados. Una realización de la presente invención proporciona una herramienta que es útil en numerosas aplicaciones, incluida la industria del fitness. Este sistema permite la visualización de las fuerzas musculares para cualquier ejercicio dado en tiempo real. El sistema se puede utilizar para potenciar y mejorar las fuerzas musculares, proporcionando una visualización realista de las fuerzas y pares dados. El presente sistema permite al usuario ver la transferencia de fuerza a diversos músculos en el cuerpo y lograr un efecto deseado. El sistema de captura de movimiento registra instantáneamente el movimiento del usuario y proporciona visualizaciones inmediatas de la fuerza muscular.

Una realización de la presente invención puede tener un impacto enorme en la comunidad médica, haciendo posible ver las fuerzas musculares y pares en tiempo real. Puede ayudar y mejorar la calidad de vida de muchos pacientes y permitir la percepción de movimientos físicos y comportamientos musculares para aquellos que de otro modo no serían capaces de realizar tal movimiento. El sistema es útil para las víctimas de lesión cerebral traumática, daño cerebral y daño espinal. El estudio del reconocimiento de movimiento apoya la noción de que el cuerpo recuerda ciertos movimientos e incluso puede regenerar rutas sinópticas. Al visualizar la fuerza muscular deseada, el cuerpo puede volver a entrenarse para realizar ese movimiento. En el campo de la ortopedia y las prótesis, la presente invención puede ayudar a los pacientes a comprender su situación actual, dónde carecen de fuerza muscular y dónde ejercen demasiada fuerza por razones de compensación. Con la ortopedia, las prótesis y los amputados, el sistema puede visualizar y rastrear las deficiencias musculares mientras se entrenan y se mejoran los movimientos. Una realización de la presente invención en relación con aplicaciones médicas puede servir como ejemplo. Un proyecto de desarrollo llamado "Virtual Gait Lab" es una realización del sistema que opera en el dominio en tiempo real. Este proyecto pertenece al desarrollo de un sistema de realidad virtual en el que las fuerzas musculares y pares articulares del cuerpo humano se pueden ver y evaluar en tiempo real en una diversidad de condiciones reproducibles. Uno de los principales objetivos de tal proyecto es mejorar las actividades de diagnóstico y terapéuticas en una diversidad de campos médicos. Las mejoras se definen al permitir que un equipo de expertos médicos, por primera vez, tenga la oportunidad de ver y analizar las fuerzas musculares y los patrones de pares articulares a medida que suceden en un entorno controlado en tiempo real.

En una realización, tal como la ilustrada en la Figura 3, el sistema consiste en una combinación de una cinta de correr instrumentada 38 capaz de medir las fuerzas de reacción del suelo, una pantalla grande o un sistema de proyección para la exposición de las fuerzas 34, un sistema de captura de movimiento en tiempo real 32 y el desarrollo computacional personalizado 36 que traduce los datos de captura en la exposición de las fuerzas musculares y los pares articulares.

Diversas realizaciones de la presente invención buscan desarrollar un modelo muscular interactivo virtual en tiempo real, lo que puede proporcionar a los pacientes medios de comportamientos exploratorios casi ilimitados y al mismo tiempo proporcionar a los expertos médicos herramientas de medición precisas para monitorizar la compleja distribución de fuerzas presentes en el cuerpo humano. Especialmente en tareas complejas de equilibrio, los patrones de activación muscular determinan si un sujeto se cae o no. Estas simulaciones apuntan a la comprensión de patrones de respuesta normales o patológicos en ciertas tareas de equilibrio. Tal realización ofrece no solo un entorno de prueba y aprendizaje para pacientes y médicos, sino también un entorno de investigación valioso para el control motor. Tal realización abre la puerta a un nuevo tipo de experimentos en los que se puede ofrecer visualización de la fuerza muscular en tiempo real. Por ejemplo, los temblores de la fuerza muscular observados en pacientes con Parkinson son considerados un enigma por muchos médicos y científicos del movimiento humano. En estos pacientes, algunas pistas visuales son suficientes para desencadenar patrones de fuerza muscular de aspecto bastante normal (por ejemplo, usados al caminar), mientras que en ausencia de tales estímulos dicho patrón ni siquiera se puede iniciar. En sujetos sanos, el control continuo de la transferencia de fuerza muscular al andar es posible al tener una entrada sensorial multicanal en una gran biblioteca de patrones motores aprendidos. Una vez que existe la posibilidad de ver en tiempo real la inmersión en el patrón de fuerza muscular, se logrará una mejora fundamental en la comprensión y el posible tratamiento de la enfermedad. Tal realización permitirá una nueva visión de la complejidad de los procesos naturales asociados con el movimiento humano. Se pueden encontrar otros ejemplos entre pacientes con trastornos periféricos, tales como parálisis parcial o paresia de una extremidad. En estas situaciones, los andares y el equilibrio se ven comprometidos tanto por una falta parcial de aporte sensorial como por la falta de coordinación muscular. El resultado habitual de esto es que, con el fin de obtener andares y equilibrio funcionales, los pacientes encuentran compensaciones, lo que da como resultado patrones de movimiento desviados en partes sanas del cuerpo. El uso de la visualización en tiempo real de la fuerza muscular y los pares articulares puede ayudar a resolver la diferencia entre los trastornos de compensación y primarios.

Una realización de la invención es un nuevo principio en visualización en tiempo real, donde la fuerza muscular se ve y se evalúa de una manera totalmente nueva. Este principio establece un mecanismo para lograr un estado de visualización mediante el cual las personas involucradas pueden ver de inmediato qué músculos están utilizando y

en qué medida.

Una realización de la presente invención es un sistema de procesamiento de la fuerza muscular, que comprende medios de procesamiento, un sistema de captura de movimiento conectado a los medios de procesamiento. Los datos de captura de movimiento se toman de una pluralidad de sensores de movimiento y se procesan en tiempo 5 real. Hay un desarrollo computacional conectado a los medios de procesamiento, en donde los datos resultantes también se procesan en tiempo real, y en donde los datos resultantes se visualizan en tiempo real a través de cambios de espacio de color en un modelo muscular 3D que muestra las fuerzas musculares y pares articulares en tiempo real. También hay un medio de interfaz con el modelo muscular con una entrada de control de tiempo de ejecución. Una realización adicional es una cinta de correr instrumentada capaz de medir las fuerzas de reacción del 10 suelo, en donde las mediciones de dichas fuerzas de reacción del suelo están integradas en el desarrollo computacional dando como resultado una visión en tiempo real de fuerzas musculares y pares articulares. Una realización adicional es un modelo muscular interactivo en 3D que comprende además una capa de esqueleto de cinemática inversa, una capa de esqueleto anatómicamente correcta de geometría en 3D y una capa de modelo muscular anatómicamente correcta. Una realización adicional es un desarrollo computacional en tiempo real, que 15 comprende además un medio de memoria para registrar los datos de captura de movimiento y procesar los datos en tiempo real a través de dichas capas del desarrollo de procesamiento en tiempo real. Otra realización es un sistema para el registro de visualización en tiempo real, la evaluación y la corrección de las fuerzas musculares y pares articulares en el cuerpo humano, en donde el proceso completo está sucediendo en tiempo real.

La descripción anterior de las realizaciones de la invención se ha presentado con fines de ilustración y descripción. 20 No pretende ser exhaustiva o limitar la invención a la forma precisa divulgada. Son posibles muchas modificaciones y variaciones a la luz de esta divulgación. Se pretende que el alcance de la invención esté limitado no por esta descripción detallada, sino más bien por las reivindicaciones adjuntas a la misma.

Claims (6)

1. 5

   10

   15

   20

   25

   REIVINDICACIONES

   1. Un sistema para el diagnóstico y tratamiento de trastornos musculoesqueléticos, el sistema comprende: un sistema de captura de movimiento (32);

   un ordenador;

   un dispositivo de exposición (34);

   en el que dicho ordenador está dispuesto para recibir datos de dicho sistema de captura de movimiento (32); un desarrollo computacional de algoritmos dispuestos en dicho ordenador; estando dicho desarrollo computacional configurado para:

   derivar orientaciones, aceleraciones y velocidades articulares a partir de dichos datos recibidos desde dicho sistema de captura de movimiento (32);

   calcular pares articulares, fuerzas musculares y fuerzas articulares a partir de dichas orientaciones, aceleraciones y velocidades articulares;

   en el que dicho sistema está además dispuesto para:

   proporcionar una imagen generada por ordenador que ilustra una capa muscular anatómica tridimensional dispuesta sobre un esqueleto anatómico tridimensional,

   caracterizado por que el sistema está dispuesto para calcular dichos pares articulares, fuerzas musculares y fuerzas articulares de dichas orientaciones articulares en tiempo real; y mostrar visualmente en dicha pantalla (34) en tiempo real dichas fuerzas musculares y pares articulares calculados como animaciones en tiempo real de colores de los músculos respectivos en la capa muscular anatómica tridimensional.
2. 2. El sistema de la reivindicación 1 que comprende además una unidad de control de tiempo de ejecución.
3. 3. El sistema de la reivindicación 1, en el que dicho sistema de captura de movimiento (32) comprende sensores seleccionados del grupo de sensores que consiste en sensores ópticos, magnéticos, inerciales y basados en vídeo.
4. 4. El sistema de acuerdo con la reivindicación 1 que comprende además un dispositivo de almacenamiento de memoria.
5. 5. El sistema de acuerdo con la reivindicación 1, que comprende además una cinta de correr instrumentada (38).
6. 6. El sistema de acuerdo con la reivindicación 1, que comprende además un sensor de fuerza de reacción del suelo.