ES2967111T3 - Dispositivo de caracterización de la actimetría de un sujeto en tiempo real - Google Patents

Abstract

Dispositivo (1) para caracterizar la actimetría de un sujeto en tiempo real, que dispone de un radar (2) que transmite y recibe señales radar y que dispone de una interfaz software para configurar la forma de la señal transmitida; medios (3) de procesamiento y computación que están conectados al radar (2) y cuentan con un clasificador (3a) entrenado mediante una base de datos, estando configurados los medios (3) de procesamiento y computación para realizar, en tiempo real: - adquisición de imágenes micro-Doppler en color (6) que tienen una pluralidad de canales de color (R, V, B), teniendo cada uno firmas micro-Doppler (6a) con píxeles de color cuyo valor depende de la reflectividad y la velocidad del sujeto; - procesamiento de las imágenes micro-Doppler (6) para calcular una imagen denominada monocromática y que tiene píxeles monocromáticos, teniendo cada uno una intensidad monocromática determinada, a partir de los píxeles de color de cada imagen micro-Doppler en color; - transformación de la imagen monocromática en una imagen binaria mediante segmentación, según un umbral de intensidad, de los píxeles monocromáticos, produciendo píxeles binarios cuyo valor depende de la intensidad cromática del píxel monocromático asociado al píxel binario con respecto al umbral . (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Dispositivo de caracterización de la actimetría de un sujeto en tiempo real

Campo de la invención

La presente invención se refiere a un dispositivo para caracterizar en tiempo real la actimetría de un sujeto.

Estado de la técnica

En los últimos años, la detección automática de la postura ha generado una intensa actividad investigadora acompañada de un gran estímulo económico. Particularmente, los sensores 3D del tipo, en inglés, “ Kinect” han permitido una transformación radical en este terreno, ofreciendo la posibilidad de tener en cuenta la información de profundidad (3D) y discriminar así más eficazmente los diferentes tipos de movimientos de los sujetos.

A día de hoy, nos encontramos con la mayoría de estos sistemas de medida y de análisis de los movimientos tanto en el sector de la animación virtual (simulación de la marcha) como en el campo biomecánico y médico.

Estos sistemas permiten estudiar problemáticas de detección de patología del sujeto, analizar el cuerpo en actividad o comprender los mecanismos de la marcha.

No obstante, las competiciones académicas que recientemente se siguen organizando en torno a esta temática muestran las limitaciones de los actuales sensores, en particular para el reconocimiento de la postura en diversas situaciones y particularmente las caídas de sujetos con deficiencias.

Los actuales sistemas pueden agruparse en tres categorías; los sistemas portados por un sujeto, los sistemas desplazados y los sistemas híbridos (mixto entre portados y desplazados).

En los últimos treinta años se han propuesto numerosas tecnologías portadas para la monitorización de los sujetos y, específicamente, para la detección de caídas [3]. Estas incluyen los dispositivos portátiles tales como los podómetros, locómetros, acelerómetros, los giróscopos y los botones de pánico, los sensores inerciales tales como los teléfonos inteligentes, los sensores de infrarrojos, vibratorios, acústicos, magnéticos,

Si bien estos dispositivos dan buenos resultados [4] en cuanto a la identificación de caídas (98 %), la mayoría de estas soluciones portadas por el sujeto adolecen de varios problemas capitales [2] que limitan sus usos:

• Deben ser llevados, cosa que depende de la aceptación del usuario o de pensar en ellos al despertarse por la noche para ir al baño.

• Se rompen fácilmente en caso de caída, de impacto o si uno se sienta encima.

• Deben ser recargados, lo cual puede ser difícil para los sujetos con una deficiencia cognitiva.

• La tasa de falsas alarmas.

• Son estigmatizadores para los sujetos.

• No respetan (algunos) la vida privada.

Los dispositivos desplazados generalmente se basan en la utilización de sistemas de medida integrados en la residencia del usuario. Nos encontramos con el empleo de cámara(s) de vídeo [5], las cintas de andar, los sensores fotográficos RGB-D, por “ Red, Green, Blue detector” según la terminología anglosajona, y los radares, o una combinación de estos sistemas. Pisos enteros pueden estar equipados con sensores de movimiento PIP, por “ passive infrared sensor” según la terminología anglosajona, detectores de gases, sensores en la cama, sensores en el suelo..., lo que permite facilitar esquemas de actividades de la vida diaria. Sin embargo, no son capaces de facilitar información más fina sobre el análisis de la marcha para la detección de cambios.

En cuanto a los sistemas de radar y RGBI-D, quedan retos por afrontar para poder desplegar y utilizar estos sistemas en supuestos prácticos en el hogar o en establecimientos especializados:

• En lo referente a las cámaras [6], los principales retos por afrontar siguen siendo las oclusiones (áreas de píxeles muertas), el funcionamiento de noche, las áreas de píxeles muertas en 3D, la precisión, la resolución de las cámaras y el respeto de la vida privada. La monitorización de los sujetos en su vida diaria plantea un auténtico problema de confidencialidad (figura 1). Efectivamente, dependiendo del sensor, cambia la percepción de la intrusión y del respeto de la vida privada. Esta percepción se traduce en una modificación de los comportamientos y la adición de

• En lo referente a los sistemas radar [7], el entorno interior susceptible de generar blancos multitrayectoria y la normativa sobre las emisiones implican restricciones.

Aunque el radar presente más retos tecnológicos, el hecho de que no haya problemas jurídicos en lo referente al derecho a la imagen y que no se capture ninguna imagen del sujeto, respetando así la vida privada, facilita la aceptación por parte de los usuarios finales y de los inversores. Por las razones expresadas, la modalidad de radar es una interesante pista de investigación aún sin aprovechar en entornos especializados (residencias para personas mayores dependientes), en el entorno penitenciario o en los hogares inteligentes.

El radar se considera una tecnología emergente para la monitorización de la salud y la detección de caídas en la vida asistida en virtud de cierto número de atributos no compartidos con otras modalidades de detección. El método más corriente para clasificar las actividades está basado en la extracción de características procedentes de las firmas micro-Doppler (espectrograma). El movimiento relativo de los componentes estructurales de un objeto / cuerpo genera áreas de píxeles únicas en el dominio tiempo-frecuencia de las respuestas de radar. Por consiguiente, actividades diferentes generan características distintivas únicas en las firmas micro-Doppler que pueden ser utilizadas para la clasificación. En general, los individuos miden y extraen diferentes características de los espectrogramas (tiempo lento, Doppler), seguidas de diferentes clasificaciones automáticas. Las técnicas para la clasificación automática comprenden el análisis discriminante de Fisher (FDA), los K vecinos más próximos (KNN), la clasificación bayesiana ingenua (NB) y las máquinas de vectores de soporte (SVM).

Recientemente, con el aumento de la potencia de cálculo, se ha vuelto posible utilizar métodos de “ deep learning” , según la terminología anglosajona. El “ deep learning” , o aprendizaje profundo, agrupa el conjunto de los métodos de aprendizaje automático, supervisados o no supervisados, y es capaz de determinar automáticamente las características más pertinentes con fines de clasificación.

Por ejemplo, para reconocer una cara en visión por ordenador con las redes neuronales convolucionales (RNC), la primera capa puede reconocer los bordes con diferentes ángulos y luego, en la segunda capa, diferentes partes de la cara (ojos, boca, nariz), y luego superponer caras enteras y tratar a continuación de clasificar lo que ve.

Otra clase de arquitecturas de aprendizaje profundo utilizadas para el procesamiento de la voz natural son las redes neuronales recurrentes (RNN) con unidades recurrentes bloqueadas y la memoria a largo plazo (LST).

La mayoría de estos enfoques permiten demostrar que el procesamiento de las señales procedentes de los espectrogramas de un radar hace posible la detección de las actividades humanas. Los resultados obtenidos proceden de procesamiento fuera de línea sobre bases de datos.

Las dimensiones portadas y la implementación en tiempo real de los procesamientos no se abordan. Estas requieren diseñar los algoritmos de clasificación teniendo en cuenta, desde el mismo diseño, restricciones de tiempo de cálculo (velocidades de transferencia IO), de implementación eficaz de los procesamientos cumpliendo con restricciones adicionales de consumo.

Descripción de la invención

Para dar respuesta a estos objetivos, se ha desarrollado (figura 1) un nuevo sistema basado en el desarrollo de una arquitectura de radar en soporte lógico que transmite a la frecuencia (banda entre 6 MHz y 250 GHz, preferiblemente banda de 2 - 4 GHz, de manera más preferida entre 2,3 y 2,5 GHz).

La naturaleza de soporte lógico del radar hace flexible la forma de onda que es emitida, así como el procesamiento de las señales, al pie de la antena. Así pues, el procesamiento de las firmas de radar de tipo micro-Doppler mediante soluciones de algoritmos de procesamiento de imágenes y de “ machine learning” , según la terminología anglosajona, o de aprendizaje automático, permite caracterizar la actimetría de un sujeto.

La invención estriba en la agrupación de varias técnicas con vistas a dar respuesta a una problemática. El carácter inventivo comprende dos partes:

• Una técnica de extracción de parámetros de forma geométrica dimanada de la técnica de visión por ordenador, sobre imágenes de tipo espectrogramas micro-Doppler de altas resoluciones que representan mapas de velocidad / distancia.

• Una técnica de clasificación simple, por ejemplo estadística, que permite el cálculo en tiempo real; por ejemplo, una clasificación binaria o multiclase de tipo SVM.

La utilización conjunta de estas dos técnicas permite obtener un rendimiento superior al estado de la técnica (enfoques “ deep” ), al tiempo que garantiza una implementación menor en soporte físico (compatible con un objeto conectado de pequeña potencia de cálculo) y un mínimo consumo.

La presente invención presenta un dispositivo para caracterizar en tiempo real la actimetría de un sujeto, que presenta:

• un radar que transmite y recibe señales de radar y que presenta una interfaz de soporte lógi

la forma de la señal transmitida;

• medios de procesamiento y de cálculo acoplados al radar, que presentan un clasificador entrenado con ayuda de una base de datos.

Dichos medios de procesamiento y de cálculo están configurados para llevar a cabo en tiempo real:

- una adquisición de imágenes micro-Doppler en color que tienen varios canales de color (R, V, B), cada una de las cuales presenta firmas micro-Doppler con píxeles en color cuyos valores de intensidades se distribuyen en una escala gradual;

- un procesamiento de las imágenes micro-Doppler para:

y calcular una imagen llamada monocromática que tiene píxeles monocromáticos, cada uno de los cuales tiene una intensidad monocromática dada, a partir de los píxeles en color de cada imagen micro-Doppler en color;

y transformar la imagen monocromática en imagen binaria por segmentación, según un umbral de intensidad, de los píxeles monocromáticos, realizando píxeles binarios, cuyo valor binario para cada píxel binario depende del valor de la intensidad cromática del píxel monocromático asociado o correspondiente al píxel binario (en la misma posición en la imagen binaria que la posición del píxel monocromático en la imagen cromática), con respecto al valor del umbral, formando, en la superficie de la imagen binaria, áreas segmentadas (o partes delimitadas de la superficie de la imagen binaria) que presentan píxeles binarios de igual valor binario, y que proceden de la transformación de cada firma micro-Doppler;

y calcular valores de parámetros en cada área segmentada, siendo cada parámetro únicamente un parámetro que caracteriza la forma geométrica de las áreas segmentadas;

y clasificar cada imagen binaria en una clase referente a la actimetría del sujeto, en función de los valores de los parámetros calculados para todas las áreas segmentadas de la imagen binaria, con ayuda del clasificador entrenado.

Descripción de las figuras

Otros objetivos, características y ventajas se desprenderán de la descripción detallada que sigue con referencia a los dibujos, dados a título ilustrativo y no limitativo, de los que:

- la figura 1 representa un esquema básico de la invención;

- la figura 2 representa firmas micro-Doppler que van a ser procesadas por el dispositivo y procedimiento según la invención; las firmas micro-Doppler son las siguientes: (a) Sentado en una silla; (b) Levantado de una silla; (c) Flexión y recogida de un bolígrafo del suelo; (d) Flexión y se ata los cordones; (e) Caer hacia delante; (f) Puesta en cuclillas para mirar por encima y por debajo de un mueble;

- la figura 3 representa una cadena algorítmica de procesamiento de las firmas micro-Doppler y que es objeto de la presente invención;

- la figura 4 representa una prueba de diseño de laboratorio y las clases consideradas;

- la figura 5 representa una matriz de confusión.

Descripción general de la invención

La presente invención se refiere a un dispositivo 1 para caracterizar en tiempo real la actimetría de un sujeto, que presenta:

• un radar 2 que transmite y recibe señales radar 2 y que presenta una interfaz de soporte lógi

la forma de la señal transmitida;

• medios 3 de procesamiento y de cálculo acoplados al radar 2, que presentan un clasificador 3a entrenado con ayuda de una base de datos.

Dichos medios 3 de procesamiento y de cálculo están configurados para llevar a cabo en tiempo real:

- una adquisición de imágenes micro-Doppler 6 en color que tienen varios canales de color (R, V, B), cada una de las cuales presenta firmas micro-Doppler 6a con píxeles en color cuyos valores de intensidades se distribuyen en una escala gradual;

- un procesamiento de las imágenes micro-Doppler 6 para:

y calcular una imagen llamada monocromática que tiene píxeles monocromáticos, cada uno de los cuales tiene una intensidad monocromática dada, a partir de los píxeles en color de cada imagen micro-Doppler en color;

y transformar la imagen monocromática en imagen binaria por segmentación, según un umbral de intensidad, de los píxeles monocromáticos, realizando píxeles binarios, cuyo valor binario para cada píxel binario depende del valor de la intensidad cromática del píxel monocromático asociado o correspondiente al píxel binario (en la misma posición en la imagen binaria que la posición del píxel monocromático en la imagen cromática), con respecto al valor del umbral, formando, en la superficie de la imagen binaria, áreas segmentadas 5a (o partes delimitadas de la superficie de la imagen binaria) que presentan píxeles binarios de igual valor binario, y que proceden de la transformación de cada firma micro-Doppler 6a;

y calcular valores de parámetros en cada área segmentada 5a, siendo cada parámetro únicamente un parámetro que caracteriza la forma geométrica de las áreas segmentadas 5a;

y clasificar cada imagen binaria 5 en una clase referente a la actimetría del sujeto, en función de los valores de los parámetros calculados para todas las áreas segmentadas 5a de la imagen binaria 5, con ayuda del clasificador 3a entrenado.

Los píxeles en color de las firmas micro-Doppler tienen una intensidad cuyo valor depende de una reflectividad y de una velocidad del sujeto, y se distribuye en una escala gradual (en el sentido de continuo).

Así pues, la conversión de la imagen Doppler en color en la imagen monocromática puede consistir en convertir, para cada píxel de la representación Doppler en color, la tripleta de valores que representa los niveles de los colores primarios de cada píxel en color en un valor entero que es su suma, y que representa una luminosidad o una intensidad luminosa o luminancia asociada a un píxel de representación así producida.

Así, cada área geométrica segmentada presenta unos primeros píxeles binarios de igual valor y que se distinguen del fondo de la superficie de la imagen binaria.

En efecto, también el fondo de la superficie de la imagen binaria presenta unos segundos píxeles binarios de igual valor, pero de un valor diferente del de los primeros píxeles binarios.

Así pues, las firmas micro-Doppler se encuentran segmentadas en varias áreas geométricas segmentadas.

El cálculo de similitud para clasificar las imágenes puede estar basado en un cálculo de distancia en un hiperplano de dimensión N, donde N es el tamaño de los parámetros.

La presente invención está orientada a evitar efectuar los cálculos, dispendiosos en tiempo, del estado de la técnica sobre los valores representados en las firmas micro-Doppler, y tan solo se centra únicamente en las características de forma geométrica de las áreas segmentadas. La transformación mediante la binarización de las firmas micro-Doppler pasa de una información 3D a una información 2D, pero permite efectuar cálculos rápidos y es eficaz para clasificar las imágenes.

El presente dispositivo 1 presenta medios 4 de almacenamiento acoplados a los medios 3 de cálculo para almacenar el clasificador 3a, las imágenes micro-Doppler 6, las imágenes monocromáticas, las imágenes binarias 5 y la clasificación obtenida de las imágenes binarias 5.

El procesamiento de las imágenes micro-Doppler 6 puede explorar cada una de las imágenes binarias en tiempo real con una subventana deslizante; y, para cada posición de dicha subventana deslizante, extrae parámetros de forma geométrica para clasificar cada subimagen extraída de la imagen binaria en cuestión, en una clase referente a la actimetría del sujeto.

Esta subventana se utiliza para la coherencia temporal de las clases (o actividades extraídas) y proceder a un seguimiento (en inglés, “tracking” ); para llevar a cabo esta operación de “tracking” , es necesario adaptar la extracción de los parámetros geométricos al transcurso del tiempo.

Esta adaptación implica modificaciones de los parámetros de adquisición (tales como el tiempo de medición, la intensidad luminosa, la o las formas de las ondas) en función de las áreas segmentadas y de las clases esperadas, para modificar las próximas áreas segmentadas futuras.

En una realización, el cálculo de la imagen monocromática se realiza con el color gris que depende del valor de los canales de color (R, V, B) de los píxeles en color, por ejemplo, según la fórmula: Gris = 0,299*Rojo+0,587*Verde+0,144*Azul, para cada píxel de las imágenes micro-Doppler en color que tiene un valor de intensidad rojo, un valor de intensidad verde y un valor de intensidad azul.

Ventajosamente, el dispositivo 1 está configurado para caracterizar de forma continua la actimetría de la persona, alimentándose y acrecentándose continuamente la base de datos con la clasificación obtenida de las imágenes binarias 5 realizada por el clasificador 3a.

Ventajosamente, los medios 3 de procesamiento y de cálculo están configurados para filtrar (suprimir) los píxeles de igual valor binario que los píxeles de las áreas segmentadas, pero situados a distancia de las áreas segmentadas 5a.

Por ejemplo, se utiliza un filtrado morfológico de erosión y dilatación para suprimir estos píxeles aislados, que están situados a varios píxeles de distancia de estas áreas segmentadas y que está claro que no forman parte de estas últimas.

Los valores de los parámetros de forma geométrica de cada área segmentada 5a de píxeles binarios de igual valor binario no son valores de frecuencia, tiempo, velocidad, potencia, medidos sobre las firmas micro-Doppler, como ocurre en el estado de la técnica.

Ventajosamente, el clasificador 3a de los medios 3 de cálculo clasifica las imágenes sin utilizar redes neuronales, tales como redes neuronales convolucionales (CNN) o redes neuronales multicapa (DNN), demasiado dispendiosas en tiempo.

Ventajosamente, el dispositivo 1 es portado, y el clasificador 3a se selecciona en particular de la siguiente lista:

- un algoritmoboosting;

- una cascada AdaBoost;

- aprendizaje activo (“ active learning” en la terminología anglosajona);

- un clasificador 3a binario y/o una cascada de clasificadores binarios;

- un clasificador multiclase (por ejemplo SVM (en inglés, “ Support Vector Machine” ) de núcleo cúbico).

Elboostingagrupa un conjunto de algoritmos tales como: AdaBoost, LPBoost, TotalBoost, BrownBoost, xgboost, MadaBoost, LogitBoost. Elboostinges un método secuencial y cada muestra se saca en función del rendimiento de la regla de base sobre la muestra anterior. Elboostingy su implementación se describen con detalle en el documento Freund & Schapire 1999 (Machine Learning Large. Margin Classification Using the Perceptron Algorithm). En el ámbito de un aprendizaje activo, un algoritmo de aprendizaje es capaz de interrogar de forma interactiva al usuario (u otra fuente de información) para obtener las salidas deseadas a nuevos puntos de datos.

Las características de forma geométrica de cada área segmentada 5a de píxeles binarios de igual valor se seleccionan en particular de entre la siguiente lista: superficie, perímetro, centroide de grado 1, de grado 2, orientación, cálculo de los momentos de orden 0, 1 y 2 a n, cuadrado delimitador, elipse delimitadora, etc.

De manera más precisa, por ejemplo, puede considerarse:

Superficie = Superficie = pxy pertenece [forma í}.

P<x,y>representa el valor del píxel en las coordenadas x,y en la imagen. La superficie contabiliza el número de píxeles que tienen el mismo valor, '1', en la imagen. Ventajosamente, la detección de contornos se obtiene mediante un filtrado convolucional con el núcleo de Sobel.

- Perímetro = Suma de los px,y pertenecientes a la periferia de la superficie. El perímetro se obtiene sumando todos los píxeles del mismo valor en el contorno de la forma. Se utiliza un operador de Sobel para definir el contorno de la superficie. De este modo, se puede utilizar la siguiente ecuación:

Perímetro = px py con x, ye[zona de borde de la forma i},

y

- Momento de orden 0:

M0 = ''^x''^yplx •p} conx/y e {formal} e i y ] = 0

- Centroide de grado 1 (momento de orden 1), correspondiente al centro de masa de la forma. Es de coordenadas gx y gy, y se calcula a partir de las siguientes ecuaciones:

1 V w 1 v 1"

9X = w L l=0^ y 9 y = w L l=0^

con N el número total de píxeles en la imagen, pxi la abscisa del píxel y pyi la ordenada del píxel. También puede obtenerse según la siguiente ecuación:

- Centroide de grado 2, se calcula, por ejemplo, a partir de la siguiente ecuación:

M2 = ^ x^ yplx •py conx/y e {formal} e i y j = 2

- Orientación: obtenida mediante la determinación de la recta que pasa por el momento de orden 1 y que minimiza la distancia desde los puntos de contorno a la recta.

Ejemplos:

- para la superficie: recuento de los píxeles blancos, momento de orden 0 (promedios según el eje x e y); - para el perímetro: detección de contornos (algoritmo de Sobel) recuento de los píxeles blancos;

- para el cálculo de los momentos de orden 1 y 2:

Mm/n = suma[suma{xmynf(x/y)dxdy))

- Cuadrado delimitador;

- Elipse delimitadora.

Por ejemplo, se pueden utilizar polinomios de Legendre.

En una realización, la segmentación de los píxeles se realiza con ayuda de un umbral binario fijo. En otra realización, la segmentación de los píxeles se realiza con ayuda de un umbral binario adaptativo o variable en función de la luminancia (por ejemplo: en la publicación Otsu [9]).

Las clases se pueden seleccionar de entre la siguiente lista:

- marcha,

- carrera,

- levantarse,

- sentarse,

- clase de TUG.

Las clases se pueden seleccionar de entre la siguiente lista:

- marcha portando un objeto con las 2 manos,

- caída,

- sentarse en una silla,

- atarse los cordones,

- marcha parkinsoniana,

- sentarse en el suelo,

- recoger un objeto,

- buscar un objeto bajo una silla,

- levantarse de una silla y marcha.

Ventajosamente, los medios 3 de cálculo están configurados para almacenar las sucesivas secuencias de clases obtenidas y determinar un mapa de actividad del sujeto, en particular utilizando cadenas de Markov, árboles de decisión binaria o no, etc.

En una realización, el radar 2 es monoestático (un transmisor y un receptor).

En otra realización, el radar 2 es biestático (un transmisor y varios receptores).

El radar 2 transmite las señales de radar según una banda de frecuencia comprendida entre 6 MHz y 250 GHz, preferiblemente entre 2 y 4 GHz, de manera más preferida, entre 2,3 y 2,5 GHz.

La interfaz de soporte lógico de radar puede permitir transmitir ondas seleccionadas, por ejemplo, de entre las siguientes categorías:

° Onda continua

° Onda continua modulada en frecuencia: lineal y no lineal

° Multiplexación por división de frecuencia ortogonal

■ Código de fase Newman

■ M_ary - Codificación por desplazamiento de fase

■ M_ary - Modulación por amplitud en cuadratura

■ Codificación de fase portadora aleatoria

■ Codificación de fase de portadora optimizada con algoritmos genéticos

° OFDM ensanchado

o GFDM

° Codificación de frecuencia de Costas

o Códigos Barker

o Códigos de fase Chirplike

Códigos P1, P2 y Px

Código Zadoo-chu

Códigos P3, P4 y Golomb

Códigos de fase basados en NLFM

Código Ipatov

Código Huffman

o MFSK

° Onda continua modulada en frecuencia escalonada

° Tren coherente de pulsos

° Tren coherente de pulsos modulados

° Tren coherente de pulsos modulados diversos

° Formas de onda arbitrarias

El umbral se adapta con respecto a la imagen creada a partir de la señal.

El umbral de intensidad luminosa se relaciona con la forma de onda transmitida, y se conforma con respecto a las intensidades luminosas de las imágenes micro-Doppler en color, formadas a su vez a partir de la señal radar transmitida.

La forma de onda se configura con respecto al tamaño de la habitación y, a conveniencia, por ambigüedad, distancia y Doppler.

La señal se puede configurar para ser más precisa o menos en cuanto a distancia, según las necesidades.

Las formas de onda se pueden configurar para que los códigos sean ortogonales para evitar las interferencias entre radares que puedan operar en el mismo edificio y también evitar las interferencias de otros aparatos circundantes. La presente invención también se refiere a un sistema de control de la actimetría de un sujeto, comprendiendo dicho sistema:

- un edificio con paredes;

- un dispositivo 1 según la invención, estando dicho dispositivo integrado en una pared de dicho edificio. El dispositivo 1 puede estar acoplado con un dispositivo de aviso y de control, apto para avisar de una necesidad de intervención sobre el sujeto cuya actimetría se está siguiendo, si la sucesión de clases de las imágenes binarias 5, determinada en tiempo real, indica como mapa de actividad un comportamiento de riesgo.

Como se ha mencionado anteriormente, en dicho sistema, el dispositivo 1 incluye:

- uno o varios radares monoestáticos; y/o

- uno o varios radares biestáticos.

Se han desarrollado unos primeros procesamientos para el reconocimiento de la actimetría de sujetos. Se ha constituido una base de datos a partir de un prototipo de radar 2 en soporte lógico, compuesto por 10 clases (marcha, marcha portando un objeto con las 2 manos, caída, sentarse en una silla, se ata los cordones, marcha parkinsoniana, sentarse en el suelo, recoge un objeto, busca un objeto bajo una silla, levantarse de una silla y marcha), de 5 sujetos. Se han extraído 10 características de las imágenes correspondientes a parámetros de formas geométricas (superficie, perímetro, centroide de grado 1, de grado 2, orientación, etc.). El 70 % de las características extraídas se han utilizado para entrenar modelos estadísticos (SVM - Support Vector Machine de núcleo cúbico) (figura 2).

Partiendo de la base de datos, la precisión (en inglés, “ accuracy” ) en el conjunto de las 10 clases es del 84,5 % (figura 3). Estos resultados son comparables a los obtenidos mediante redes neuronales convolucionales -CNN- pero con una menor complejidad algorítmica, haciéndolos más optimizados para una implementación en tiempo real.

Principales aplicaciones de la invención

1. Detección de caídas en el hogar, en residencias para personas mayores dependientes y en el sector hospitalario.

2. Ayuda para la evaluación de las deficiencias de la marcha para los profesionales sanitarios (por ejemplo, kinesioterapia).

La cuantificación de pruebas utilizadas en la práctica clínica para detectar posibles patologías o fragilidades. Las tres pruebas principales son el TUG -en inglés, “Time Up and Go” -, la prueba del apoyo unipodal y la prueba de Tinetti. Estas pruebas permiten proporcionar una evaluación de la calidad de la marcha y del equilibrio del sujeto para evaluar con ello su estado. A partir de las imágenes de los espectrogramas, es posible calcular la clase de TUG, la de la prueba del apoyo unipodal o la de la prueba de Tinetti.

A continuación, una vez identificada, por ejemplo, la clase de TUG, resulta posible extraer métricas específicas y objetivar las medidas de TUG, especialmente. Los primeros resultados permiten identificar una prueba de TUG con un 100 % de precisión. Para ello, deberán definirse métricas adicionales para extraer cualidades metrológicas del TUG.

La observación repetida de la actividad de un sujeto a lo largo del tiempo permitirá identificar los signos de deterioro de la marcha. Después de haber identificado la clase de la actividad (marcha, marcha lenta...), de los espectrogramas se pueden extraer métricas sobre la marcha para caracterizar su comportamiento biomecánico, como la longitud del paso, las velocidades de marcha (mín., máx., media), las asimetrías espaciotemporales, la cadencia de marcha y la evolución del centro de gravedad. El seguimiento de estos parámetros permitirá detectar variaciones de comportamiento e identificar deterioros que puedan conducir a caídas.

3. Detección de los suicidios en entorno penitenciario

El seguimiento de la actividad en tiempo real del recluso de riesgo, a partir de la solución que en este documento se presenta, permitirá anticipar las situaciones extremas de suicidio (riesgo 7 veces más elevado que en el resto de la población), identificando firmas características de la actividad.

Publicaciones citadas:

[1] M. G. Amin, Y. D. Zhang, F. Ahmad y K. C. D. Ho, “ Radar 2 Signal Processing for Elderly Fall Detection: The future for in-home monitoring” , IEEE Signal Processing Magazine, vol. 33, n.° 2, págs. 71-80, 2016.

[2] (2012). Report to Congress: Aging services Technology Study.

[3] C. Debes, A. Merentitis, S. Sukhanov, M. Niessen, N. Frangiadakis y A. Bauer, “ Monitoring Activities of Daily Living in Smart Homes: Understanding human behavior” , IEEE Signal Processing Magazine, vol. 33, n.° 2, págs. 81 94, 2016.

[4] H. Li, A. Shrestha, F. Fioranelli, J. L. Kernec y H. Heidari, “ Multisensory Data Fusion for Human Activities Classification and Fall Detection” , presentado en IEEE Sensors 2017, Glasgow, UK, 30 oct - 1 nov de 2017.

[5] E. Cippitelli, F. Fioranelli, E. Gambi y S. Spinsante, “ Radar 2 and RGB-Depth Sensors for Fall Detection: A Review” , IE<e>E Sensors Journal, vol. 17, n.° 12, págs. 3585-3604, 2017.

[6] E. Cippitelli, F. Fioranelli, E. Gambi y S. Spinsante, “ Radar 2 and RGB-Depth Sensors for Fall Detection: A Review” , IE<e>E Sensors Journal, vol. 17, n.° 12, págs. 3585-3604, 2017.

[7] M. G. Amin, Y. D. Zhang, F. Ahmad y K. C. D. Ho, “ Radar 2 Signal Processing for Elderly Fall Detection: The future for in-home monitoring” , IEEE Signal Processing Magazine, vol. 33, n.° 2, págs. 71-80, 2016.

[8] B. Jokanovic y M. Amin, “ Fall Detection Using Deep Learning in Range-Doppler Radar 2s” , IEEE Transactions on Aerospace and Electronic Systems, vol. PP, n.° 99, págs. 1-1,2017.

[9] Nobuyuki Otsu, “A threshold selection method from gray-level histograms” , IEEE Trans. Sys., Man., Cyber., vol. 9, 1979, págs. 62-66

Claims (14)

REIVINDICACIONES

1. Dispositivo (1) para caracterizar en tiempo real la actimetría de un sujeto, que presenta:

•un radar (2) que transmite y recibe señales de radar y que presenta una interfaz de soporte lógico para configurar la forma de la señal transmitida;

•medios (3) de procesamiento y de cálculo acoplados al radar (2), que presentan un clasificador (3a) entrenado con ayuda de una base de datos,

estando dichos medios (3) de procesamiento y de cálculo configurados para llevar a cabo en tiempo real:

-una adquisición de imágenes micro-Doppler (6) en color que tienen varios canales de color (R, V, B), cada una de las cuales presenta firmas micro-Doppler (6a) con píxeles en color; -un procesamiento de las imágenes micro-Doppler (6) para:

■/calcular una imagen llamada monocromática que tiene píxeles monocromáticos, cada uno de los cuales tiene una intensidad monocromática dada, a partir de los píxeles en color de cada imagen micro-Doppler en color;

/transformar la imagen monocromática en imagen binaria por segmentación, según un umbral binario de intensidad luminosa, de los píxeles monocromáticos,

realizando píxeles binarios, cuyo valor binario para cada píxel binario depende del valor de la intensidad cromática del píxel monocromático asociado al píxel binario, con respecto al valor del umbral de intensidad, formando, en la superficie de la imagen binaria, áreas segmentadas (5a) que presentan píxeles binarios de igual valor binario, y que proceden de la transformación de cada firma micro-Doppler (6a);

•S calcular valores de parámetros de forma geométrica en cada área segmentada (5a), siendo cada parámetro de forma geométrica únicamente un parámetro que caracteriza la forma geométrica de las áreas segmentadas (5a);

/clasificar cada imagen binaria (5) en una clase referente a la actimetría del sujeto, en función de los valores de los parámetros calculados para todas las áreas segmentadas (5a) de la imagen binaria (5), con ayuda del clasificador (3a) entrenado con estos parámetros de forma geométrica calculados sobre áreas segmentadas de imágenes binarias de sujetos de prueba que tienen una actimetría conocida,

•medios (4) de almacenamiento acoplados a los medios (3) de procesamiento y de cálculo para almacenar el clasificador (3a), las imágenes micro-Doppler (6), las imágenes monocromáticas, las imágenes binarias (5) y la clasificación obtenida de las imágenes binarias (5).

2. Dispositivo (1) según la reivindicación 1, en el que los parámetros de forma geométrica de cada área segmentada (5a) de píxeles binarios se seleccionan en particular de entre la siguiente lista:

-superficie,

-perímetro,

-centroide de grado 1,

-centroide de grado 2,

-orientación,

-cálculo de los momentos de orden 0, 1 y 2 a n,

-cuadrado delimitador, y/o

-elipse delimitadora.

3. Dispositivo (1) según una de las reivindicaciones anteriores 1 o 2, en el que la segmentación de los píxeles se realiza con ayuda de un umbral binario de intensidad luminosa variable en función de la luminancia.

4. Dispositivo (1) según una de las reivindicaciones anteriores, en el que la segmentación de los píxeles se realiza con ayuda de un umbral binario de intensidad luminosa según el método de Otsu.

5. Dispositivo (1) según la reivindicación 1, en el que la segmentación de los píxeles se realiza con ayuda de un umbral binario de intensidad luminosa que es fijo.

6. Dispositivo (1) según una de las reivindicaciones anteriores, en el que el clasificador (3a) es un clasificador binario y/o una cascada de clasificadores binarios.

7. Dispositivo (1) según una de las reivindicaciones anteriores, en el que los medios (3) de procesamiento y de cálculo están configurados para filtrar los píxeles de igual valor binario que los píxeles de las áreas segmentadas, pero situados a distancia de las áreas segmentadas (5a).

8. Dispositivo (1) según una de las reivindicaciones anteriores, en el que el dispositivo (1) es portado.

9. Dispositivo (1) según una de las reivindicaciones anteriores, en el que el procesamiento de las imágenes micro-Doppler (6) explora cada una de las imágenes binarias (5) en tiempo real con una subventana deslizante;

y, para cada posición de dicha subventana deslizante, extrae parámetros de forma geométrica para clasificar cada subimagen extraída de la imagen binaria en cuestión, en una clase referente a la actimetría del sujeto.

10. Dispositivo (1) según la reivindicación 9, en el que el procesamiento de las imágenes micro-Doppler (6) permite, con la subventana deslizante, realizar un seguimiento para modificar los parámetros de adquisición tales como el tiempo de medición, la intensidad luminosa, la forma de las ondas, en función de las áreas segmentadas (5a) y de las clases esperadas, para modificar las próximas áreas segmentadas (5a) futuras.

11. Dispositivo (1) según una de las reivindicaciones anteriores, en el que el cálculo de la imagen monocromática se realiza en escala de grises, dependiendo dicha escala de grises del valor de los canales de color (R, V, B) de los píxeles en color.

12. Dispositivo (1) según una de las reivindicaciones anteriores, en el que la clase se selecciona de entre la siguiente lista:

-marcha;

-carrera;

-levantarse;

-sentarse;

-clase de TUG:

-marcha portando un objeto con las 2 manos;

-caída;

-sentarse en una silla;

-atarse los cordones;

-marcha parkinsoniana;

-sentarse en el suelo;

-recoger un objeto;

-buscar un objeto bajo una silla;

-levantarse de una silla y marcha.

13. Sistema de control de la actimetría de un sujeto, comprendiendo dicho sistema:

-un edificio con paredes;

-un dispositivo (1) según una cualquiera de las reivindicaciones 1 a 12, estando dicho dispositivo integrado en una pared de dicho edificio.

14. Sistema según la reivindicación anterior, en el que el dispositivo (1) está acoplado con un dispositivo de aviso y de control, apto para avisar de una necesidad de intervención sobre el sujeto cuya actimetría se está siguiendo, si la sucesión de clases de las imágenes binarias (5), determinada en tiempo real, indica como mapa de actividad un comportamiento de riesgo.