ES2334040T3

ES2334040T3 - Dispositivo para la deteccion de un objeto en un asiento de un vehiculo.

Info

Publication number: ES2334040T3
Application number: ES05740740T
Authority: ES
Inventors: Jason Jeongsuk Yoon; Stefan Weidhaas; Michael Bauer
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2004-09-06
Filing date: 2005-05-20
Publication date: 2010-03-04
Anticipated expiration: 2025-05-20
Also published as: CN101010224B; JP2008516301A; US7379195B2; EP1786654A1; JP4756044B2; CN101010224A; KR20070050053A; DE602005017290D1; US20070206836A1; WO2006027032A1; EP1786654B1; KR101115944B1

Abstract

Un dispositivo para la detección de un objeto en un asiento de un vehículo, que comprende una cámara y una unidad de tratamiento para la generación de una representación bidimensional del objeto, comprendiendo además el dispositivo al menos dos fuentes de iluminación, posicionadas de tal forma que el objeto pueda ser iluminado desde direcciones diferentes, y que pueden encenderse y apagarse, siendo adecuada la unidad de tratamiento para generar una representación tridimensional del objeto a partir de dos representaciones bidimensionales, cada una de ellas generada en condiciones de iluminación diferentes, caracterizado porque la representación tridimensional es generada a partir de las dos representaciones bidimensionales basándose en una estimación de vectores normales a la superficie del objeto y una integración de la superficie del objeto a partir de estos vectores normales a la superficie, de acuerdo con el método estereofotométrico.

Description

Dispositivo para la detección de un objeto en un asiento de un vehículo.

El invento se refiere a un dispositivo para la detección de un objeto en un asiento de un vehículo, que comprende una cámara y una unidad de tratamiento para la generación de una representación bidimensional del objeto.

Existen varias técnicas y sistemas para realizar la detección, identificación o clasificación de los ocupantes de un vehículo de motor. Además, existen varias técnicas para el reconocimiento de la posición de la cabeza de los ocupantes del vehículo. La información obtenida a partir de tales técnicas sirve, principalmente, como datos para adaptar los sistemas de restricción de los ocupantes al tipo, tamaño o posición de los mismos en el asiento.

Un ejemplo de ello se describe en el documento EP 1039314, de acuerdo con el preámbulo de la reivindicación 1.

De acuerdo con la norma federal 208 sobre seguridad a bordo de vehículos a motor (FMVSS) de la NHSTA (National Highway Transportation and Safety Administration) norteamericana, casi el 100% de todos los automóviles vendidos en los EE.UU. a partir de los modelos aparecidos en el 2006 deben poseer la capacidad de controlar automáticamente la potencia de inflado de los airbag basándose en la violencia del choque, el tipo de ocupantes y su tamaño, así como en el uso del cinturón de seguridad. A medida que los fabricantes comenzaron a desarrollar diversos sistemas de detección de los ocupantes, las técnicas de visión han llamado mucho la atención debido a su superior capacidad de adaptación a los diversos entornos que se encuentran en el espacio dedicado a los ocupantes en comparación con otros métodos mecánico-electrónicos.

En los últimos años, se han estudiado varias soluciones de tipo óptico para resolver el problema de supone la decisión de suprimir la actuación de los airbags. Estos estudios pueden clasificarse en dos categorías dependiendo del número de cámaras empleadas en el sistema. En las primeras versiones de los sistemas para la detección de los ocupantes, la demanda recaía sobre las soluciones de cámara única debido al elevado coste de los perceptores de imagen. Sin embargo, tales sistemas mono-oculares no proporcionan la suficiente información tridimensional para la ejecución de funciones tales como la detección de que los ocupantes se encuentren fuera de su sitio, que resulta ser una tarea complementaria que garantiza el despliegue, con bajo riesgo, de acuerdo con la posición/postura del pasajero. En consecuencia, la mayoría de los sistemas de detección de ocupantes se hicieron más dependientes de las técnicas de visión estereoscópica mediante el empleo de dos cámaras. Enfrentado a una creciente demanda de diversas aplicaciones para vehículos basadas en la visión, el número creciente de cámaras empleadas ha pasado a considerarse seriamente.

En lo que sigue, se enumeran algunos de los inconvenientes más importantes que presentan las soluciones ópticas existentes para la detección de ocupantes.

-: Los sistemas de cámaras estereoscópicas utilizan más de una cámara. El uso de múltiples cámaras incrementa de manera significativa el coste del equipo.

-: Muchas soluciones emplean fuentes de luz suplementarias para iluminar el interior del vehículo. Esto también incrementa el coste.

-: Debido a la teórica limitación de la visión estereoscópica, dos cámaras tienen que disponerse en posiciones adyacentes. Esto dificulta el diseño de un módulo compacto para el sistema.

-: Los sistemas de visión estereoscópica son extremadamente sensibles a cualquier impacto físico que deforme la geometría de las cámaras implicadas.

-: Dado que la reconstrucción tridimensional de la mayoría de las técnicas de visión estereoscópica se fundamenta, básicamente, en la adaptación de la correspondencia de la textura, la gran mayoría de las soluciones basadas en la visión estereoscópica no reconstruyen fielmente la forma de un objeto considerado como blanco en caso de que la superficie de éste carezca de textura.

-: Para obtener una resolución satisfactoria en profundidad, la mayoría de las técnicas de visión estereoscópica emplean una resolución espacial inferior al píxel (elemento de imagen), lo que incrementa el coste total del sistema al exigir una mayor anchura de banda para los datos y una mayor potencia para acelerar los cálculos.

-: Los procesos de triangulación y de búsqueda intensiva, que son esenciales para la visión estereoscópica, influyen sobre el coste del sistema.

-: La mayor parte de las técnicas de visión estereoscópica requieren una complicada calibración de las cámaras.

Un objeto del presente invento es proporcionar un sistema de una sola cámara que sea capaz de generar información en tres dimensiones sobre un ocupante de un asiento de un vehículo. De preferencia, este objeto ha de conseguirse utilizando una iluminación activa suplementaria mínima.

El objeto del presente invento se consigue mediante un dispositivo para la detección de un objeto en un asiento de un vehículo, que comprende una cámara y una unidad de tratamiento para la generación de una representación bidimensional del objeto, caracterizado porque el dispositivo comprende, además, al menos dos fuentes de iluminación posicionadas de tal manera que el objeto pueda ser iluminado en distintas direcciones, y la unidad de tratamiento es adecuada para generar una representación tridimensional del objeto a partir de dos representaciones bidimensionales, cada una de ellas generada en condiciones de iluminación diferentes.

Típicamente, un dispositivo de acuerdo con el presente invento comprende una sola cámara mediante la cual se captura una secuencia de imágenes. Pueden crearse condiciones de iluminación diferentes amortiguando, cambiando o moviendo (desplazando y/o haciendo girar) las fuentes de iluminación. Para simplificar, de acuerdo con una realización preferida del invento, las diferentes condiciones de iluminación se crean encendiendo y apagando las fuentes de iluminación, es decir, se consiguen condiciones de iluminación diferentes combinando de distintas formas las fuentes de iluminación activas, en particular utilizando un número diferente de fuentes de iluminación activas.

Una realización preferida del invento se caracteriza porque la unidad de tratamiento es adecuada para generar una representación tridimensional del objeto a partir de dos representaciones bidimensionales, cada una de ellas generada con distintas condiciones de iluminación, creándose las condiciones de iluminación diferentes mediante un número diferente de fuentes de iluminación activas. Dicha generación de una representación tridimensional a partir de dos representaciones bidimensionales incluye el caso de que la generación se realice a partir de más de dos representaciones bidimensionales.

Un sistema de detección de ocupantes de acuerdo con el presente invento está diseñado para clasificar un objeto en un vehículo con el fin de facilitar el módulo de control de los airbags. La clasificación puede llevarse a cabo basándose en características del objeto extraídas a partir de las imágenes originales y/o de la representación tridimensional del objeto y/o a partir de resultados intermedios. El objetivo típico de la clasificación es asignar el objeto a una clase ocupante objetivo.

De acuerdo con una realización preferida del presente invento, el número de clases ocupante objetivo de dicha clasificación, es limitado. Las clases ocupante objetivo se reducen a tres, a saber, asiento para niño orientado hacia delante, asiento para niño orientado hacia atrás y adulto.

Por tanto, una realización preferida del invento se caracteriza porque la unidad de tratamiento es adecuada para asignar el objeto detectado a una de, al menos, dos clases de objeto, cuyas al menos dos clases de objeto se seleccionan de entre una pluralidad de clases de objeto que comprenden las siguientes tres clases de objeto:

-: un asiento para niños colocado mirando en la dirección de la marcha,

-: un asiento para niños colocado mirando en dirección contraria a la de la marcha,

-: un adulto.

El resultado de la clasificación del objeto se utiliza, típicamente, para soportar, por ejemplo, simplificar, otras tareas. Para ello, el resultado puede ser señalado a otra tarea.

De acuerdo con una realización preferida del presente invento, la unidad de tratamiento señala la clase de objeto a la que le ha sido asignado el dispositivo del asiento del vehículo, a una tarea que es ejecutada por la propia unidad de tratamiento o mediante otro dispositivo, por lo que el hecho y/o la forma de ejecución de esta tarea depende de la clase de objeto a la que le ha sido asignado el dispositivo del asiento del vehículo. Particularmente, de acuerdo con una realización preferida del presente invento, solamente se activa la detección de un objeto fuera de posición si el objeto es clasificado como un adulto.

En un método de acuerdo con el presente invento, tienen que generarse diferentes condiciones de iluminación dentro de una secuencia de imágenes mediante, al menos, dos fuentes de luz. Han de eliminarse las sombras y/o las fluctuaciones de la luz ambiente.

De acuerdo con una realización preferida del presente invento, las fluctuaciones de la iluminación ambiente se eliminan de la secuencia de imágenes mediante una técnica denominada de doble flash.

Una imagen sin sombras se compone, preferiblemente, a partir de la secuencia de imágenes, simulando una fuente de luz virtual de extensión infinita. Esto se consigue, en forma adecuada, mediante una técnica denominada flash para eliminación de sombras.

Preferiblemente, se extrae la información sobre los límites de un objeto en la imagen sin sombras resultante y se reconstruye la superficie en tres dimensiones del objeto.

Finalmente, de acuerdo con una realización preferida del presente invento, se define un vector característica multidimensional y se le utiliza con fines de clasificación. De preferencia, el vector característica emplea información bidimensional y/o tridimensional.

Mediante el presente invento, se propone un nuevo marco para un sistema de detección de ocupantes de un vehículo. El comportamiento de un dispositivo de acuerdo con el presente invento es comparable al de los sistemas de visión estereoscópica. Así, un dispositivo de acuerdo con el presente invento puede servir como solución alternativa a los sistemas de visión binoculares que ofrecen algunas ventajas sustanciales.

-: Un dispositivo de acuerdo con el presente invento es económico en comparación con las técnicas de visión estereoscópica, ya que solamente se necesita una sola cámara. El precio de mercado de las fuentes de iluminación conmutables requeridas es, usualmente, menor que el de una cámara.

-: En comparación con las soluciones de visión estereoscópica, para un dispositivo y/o un método de acuerdo con el presente invento, se necesita menos potencia de cálculo. La complejidad de los algoritmos utilizados en el sistema propuesto es, normalmente, menor que la de cualquier algoritmo de visión estereoscópica.

-: Dado que el sistema propuesto no se basa en la adaptación de correspondencia de textura, el rendimiento de la reconstrucción tridimensional es completamente independiente de la propiedad de la textura de un objeto tomado como blanco.

-: El grado de libertad para situar en posición la cámara y las fuentes de luz es mucho mayor que en el caso de la mayoría de las técnicas de visión estereoscópica.

-: En un método de acuerdo con el presente invento, la resolución en profundidad es, solamente, función de la resolución espacial de la cámara. Por tanto, no es necesaria generación de imágenes con calidad inferior al píxel.

-: La complejidad, en particular la complejidad del equipo, de un sistema de acuerdo con el presente invento es, normalmente, menor que la complejidad de un sistema basado en la visión estereoscópica.

\vskip1.000000\baselineskip

Más información, detalles y realizaciones preferidas del presente invento se exponen mediante los dibujos y las siguientes explicaciones. Los dibujos muestran:

la fig. 1 Una visión global del sistema:

: (a) un marco básico de un sistema de acuerdo con el presente invento.

: (b) Un diagrama de transición de estado del sistema global.

\vskip1.000000\baselineskip

la fig. 2 Ejemplos de una técnica de flash para eliminación de sombras en tiempo real, que se aplica de acuerdo con el presente invento:

: (a) sin la estrategia de N-tupla deslizante,

: (b) con la estrategia de N-tupla deslizante.

\vskip1.000000\baselineskip

la fig. 3 Resultados del uso de la técnica de flash para eliminación de sombras y segmentación:

: (a)-(d) una secuencia de imágenes utilizadas para esta prueba,

: (e) una imagen resultante de la técnica de flash para eliminación de sombras, y

: (f) un resultado segmentación aplicado a la imagen obtenida mediante flash para eliminación de sombras.

\vskip1.000000\baselineskip

la fig. 4 Mapas de puntos de las normales a la superficie y sus superficies tridimensionales recuperadas proyectadas según el eje Z:

: (a)-(c) mapas de puntos superpuestos sobre sus imágenes originales, y

: (d)-(f) resultados de reconstrucción superficial con los ejes extendidos.

\vskip1.000000\baselineskip

la fig. 5 Coordenadas, ejes y parámetros para extracción de características, de acuerdo con el presente invento.

\newpage

la fig. 6 El diseño de un clasificador de acuerdo con el presente invento:

: (a) una red de Jordan tras el proceso de aprendizaje,

: (b) el marco de clasificador propuesto con dos líneas de retardo derivadas, y

: (c) el espacio de errores de clasificación con respecto a la longitud de las líneas de retardo.

\vskip1.000000\baselineskip

La fig. 1a muestra un esquema básico de un sistema de acuerdo con el presente invento, es decir, la estructura del sistema propuesto en conjunto con el sistema de detección de fuera de posición. Se supone que los resultados de la clasificación pueden ser compartidos con el sistema de detección de fuera de posición (OOP), como se muestra en el diagrama de transición de estado de la fig. 1b, que ilustra la transición de estado entre dos sistemas. La detección de OOP solamente es activada si el objeto es clasificado como un adulto. La clase "adulto" es la única clase observada continuamente después de la clasificación. La transición "Suceso" en la fig. 1b se produce cuando en el campo de visión se produce un cambio drástico, tal como un brusco cambio de clase.

En primer lugar, se describen las técnicas de adquisición de imagen y de pre-tratamiento aplicadas.

Para la captura de imágenes se emplea un perceptor para generación de imágenes monocromo de alto rango dinámico, de 12 bits, con una resolución de 256 por 256 a 15 Hz. Y se utilizan tres fuentes de luz infrarroja activadas mediante una señal de código de grises de 2 bits, destellando en orden secuencial. La señal de código de grises está sincronizada, también, con el reloj de activación del perceptor de generación de imágenes, de modo que cada cuadro debe ser capturado en las condiciones de iluminación previamente asignadas. En consecuencia, durante la adquisición se obtienen consecutivamente cuatro tipos de imágenes con distinta iluminación: tres imágenes por cada fuente de luz (más la iluminación ambiente) y una con sólo la iluminación ambiente.

La estabilización de la iluminación se consigue mediante la técnica denominada de doble flash. Los perceptores de imagen basados en CCD tradicionales y la mayoría de los perceptores de imagen basados en CMOS más recientes, o proporcionan suficiente rango óptico dinámico para vigilar el interior de un vehículo, donde los ocupantes experimentan variaciones extremas de iluminación, ya sea espacial o temporalmente. Con el fin de capturar imágenes en tal entorno sin perder detalles de las mismas, es esencial emplear un generador de imágenes adecuado al alto rango dinámico y/o un nuevo enfoque para reducir el rango dinámico sin variar la compensación de la iluminación. En el sistema propuesto se empleaba la técnica de doble flash, que combina las ventajas de una reducción de la compensación y una compresión del rango dinámico iluminando dos imágenes de entrada con diferentes intensidades radiantes. La técnica de doble flash ha sido introducida, originalmente, por C. Koch, S. Park, T. J. Ellis y A. Georgiadis, en "Técnica de iluminación para la compresión del rango óptico dinámico y reducción de la compensación", en la British Machine Vision Conference (BMVC01, páginas 293-302, celebrada en Manchester, Inglaterra, en Septiembre de 2001, BMVA Press.

Tras eliminar las distorsiones introducidas por las lentes, la secuencia de imágenes es entregada al módulo de doble flash, que elimina las fluctuaciones de la iluminación ambiente restando dos imágenes expuestas a diferentes potencias de iluminación. Facilitado por una memoria intermedia de retardo de tres etapas, el método de doble flash elimina por completo la iluminación ambiente y produce tres imágenes en cada ciclo de reloj.

La eliminación de las sombras se logra mediante la técnica denominada de flash para eliminación de sombras.

Casi todas las aplicaciones de vigilancia del interior de vehículos introducen fuentes de luz suplementarias (usualmente en la región próxima a la de los infrarrojos) con el fin de conseguir una compensación apropiada de la iluminación. Por tanto, las fuertes sombras proyectadas son inevitables en el campo de visión. Las sombras, con frecuencia, son el origen de segmentaciones erróneas que provocan la detección falsa de objetos imaginarios, lo cual supone un obstáculo para el comportamiento global de un sistema. La técnica de flash para eliminación de sombras, introducida originalmente en el documento WO 2004/040515 A1 constituye un método adecuado para eliminar las sombras mediante simulación de una fuente de luz virtual de tamaño infinito. El algoritmo utiliza múltiples imágenes, cada una de las cuales es iluminada mediante un flash en una dirección diferente. El número de imágenes de entrada, N_{entrada}, necesarias para crear una imagen sin sombras, es igual al número de fuentes luminosas empleadas, n_{luz}, más una imagen adicional para calcular la supresión de la luz ambiente.

(1)N_{entrada} = n_{luz} + 1

De acuerdo con una realización preferida del presente invento, se utilizan tres fuentes de luz, lo que hace que el número de entradas sea de cuatro, incluyendo la imagen con luz ambiente. Si la imagen con iluminación del ambiente, I_{compensada}, es despreciable, puede reducirse el número de imágenes de entrada a n_{luz} ignorando el doble flash. Sin embargo, se pierde la robustez de que se dispone para tratar con el cambio de iluminación.

El tratamiento en el dominio del tiempo se realiza siguiendo una estrategia de n-tupla deslizante.

La idea del flash para eliminación de sombras puede ampliarse al dominio del tiempo sincronizando las fuentes de iluminación con la señal de activación de un generador de imágenes de tal forma que el generador de imágenes produzca una secuencia de video de (..., I_{b}, I_{compensada}, I_{a}, I_{b}, I_{compensada}, I_{a}, ...), donde I_{x} denota una imagen iluminada por la fuente de luz x e I_{compensada} denota una imagen obtenida con sólo iluminación ambiente.

Sin embargo, la aplicación directa del método de flash para eliminación de sombras al dominio del tiempo genera dos problemas. En primer lugar, la frecuencia de cuadros de la secuencia de salida se reduce a 1/N_{entrada} acompañada con un retardo de n_{luz}-cuadro al comienzo de la adquisición, ya que se necesitan N_{entrada} imágenes para obtener una imagen sin sombras, como se explica en la ecuación (1). En segundo lugar, si algún objeto de la escena se mueve durante la captura de una N_{entrada}-tupla, se producirán algunos artefactos en torno a los límites del objeto.

Con el fin de evitar la reducción de la frecuencia de cuadros, se propone una estrategia de N-tupla deslizante. Se crea un intervalo de memoria con una anchura de N_{entrada} cuadros, por lo que el intervalo se desplaza a lo largo del eje de tiempos. Dentro de este intervalo, se renuevan constantemente N_{entrada} imágenes sucesivas iluminadas de manera diferente. Estas imágenes forman continuamente un grupo de entradas para crear una imagen de salida sin sombras. La fig. 2a evidencia que empleando una estrategia de N-tupla usual, la frecuencia de cuadros de la secuencia resultante es dividida por cuatro, mientras que empleando la estrategia de N-tupla deslizante, véase la fig. 2b, se calculan consecutivamente los cuadros de salida.

Los objetos que se mueven rápidamente pueden distorsionar el resultado de la estrategia de N-tupla deslizante. La magnitud de la distorsión depende de la frecuencia de cuadros del generador de imágenes. Cuando el generador de imágenes produce cuadros con velocidad suficiente, los artefactos provocados por los objetos en movimiento deben ser despreciables. En caso de una frecuencia de cuadros baja, en comparación con la velocidad de los objetos en movimiento dentro de la escena, debe llevarse a la práctica un algoritmo suplementario para detectar y corregir la diferencia entre cuadros.

Un resultado ilustrativo del método de flash para eliminación de sombras extendido, propuesto, se muestra en la fig. 3e. Las figs. 3a, 3b, 3c y 3d muestran una secuencia de imágenes en las que se basa la imagen sin sombras de la fig. 3e: I_{compensada}, I_{a}, I_{b} e I_{c}, respectivamente.

Con el fin de extraer información primordial útil a partir de la imagen bidimensional disponible, se lleva a cabo una extracción de límites. Una vez iniciado el proceso de segmentación, se analiza el parecido textural de cada cuadro contra el fondo de referencia comparando la varianza local. Dado que los cambios de iluminación local y global son estabilizados mediante la técnica de doble flash, y que todas las sombras son eliminadas mediante la técnica de flash para eliminación de sombras, una comparación de varianza seguida por una simple designación de umbral adaptable, es suficiente para conseguir un límite aproximado del objeto observado.

Se emplea un modelo de contorno activo para refinar este límite aproximado. Con el fin de proporcionar un contorno inicial para la siguiente evolución de la curva, se genera una envolvente convexa alrededor del límite aproximado. En este caso existe, normalmente, una secuencia de los puntos limítrofes aproximados entre dos vértices consecutivos de la envolvente convexa, mientras que cada par de vértices forma un segmento de línea. Para cada secuencia, podemos definir la profundidad como la distancia vertical máxima entre la secuencia y el segmento de línea correspondiente. Por ejemplo, la profundidad de una secuencia adyacente/solapada al segmento de línea correspondiente, es cero. Finalmente, se utiliza la profundidad para ponderar la función energía de cada celda de la curva que pertenece al segmento de línea que proporciona el peso, de modo que la celda tenga mayor movilidad cuando se encuentre a mayor distancia que otras celdas, del límite aproximado. En la fig. 3f se muestra un resultado de la segmentación aplicada a la imagen carente de sombras obtenida mediante la técnica de flash para eliminación de sombras de la fig. 3e (curva 1: recuadro delimitador, curva 2: envolvente convexa, curva 3: límite aproximado y curva 4: resultado de la curva).

Con el fin de proporcionar información tridimensional, se utiliza el método estéreo fotométrico.

Como el objetivo era proporcionar información tridimensional sin utilizar una imagen binocular, había, de entrada, tres posibilidades a considerar como método de recuperación de la superficie. La iluminación estructurada es un método denominado de visión estéreo activa que calcula la forma tridimensional del objeto basándose en la deformación de los patrones de luz proyectados sobre la superficie del blanco. Los cálculos son sencillos y rápidos, de manera que la forma de la escena podría extraerse fácilmente siempre que se detectasen con precisión los puntos característicos del diseño proyectado. Sin embargo, en realidad, es difícil conseguir en la práctica un diseño exacto utilizando una fuente de luz infrarroja debido a la vibración constante que existe en el entorno del vehículo. Además, tales diseños pueden no proporcionar resolución suficiente para conseguir la clasificación del objeto.

Recientemente, un generador de imágenes TOF (tiempo de vuelo), que consiste en una agrupación de unidades de medición de distancia de punto único que miden el tiempo de pasada o las fases de la luz emitida desde una fuente de luz suplementaria, ha despertado un gran interés en la industria. El generador de imágenes TOF tiene la gran ventaja de que mide directamente la profundidad absoluta y determina, sin retardo alguno, un mapa completo de distancias de la escena. No obstante, como el rango de medición está limitado por la magnitud de la máxima potencia radiante, la posibilidad de quebrantar la seguridad de los ojos continúa siendo un problema sin resolver.

\newpage

El método estéreo fotométrico (PSM) es una versión ampliada del método de forma a partir de la sombra (SFS) que utiliza múltiples fuentes de luz, que construye la profundidad relativa del objeto utilizando sus propiedades de reflexión. A diferencia del SFS, que adolece de falta de información suficiente en una imagen con irradiación arbitraria para reconstruir sin ambigüedades la superficie del objeto, el PSM lleva a cabo la recuperación de la superficie con mayor facilidad, particularmente cuando hay más de tres fuentes de luz. Como las condiciones y las fuentes de iluminación múltiples ya se emplean para el método de flash para eliminación de sombras, es sencillo aplicar el PSM, ya que no es necesario proporcionar equipo suplementario para su puesta en práctica.

Los movimientos bruscos de los objetos entre dos cuadros sucesivos pueden constituir un problema al utilizar el método PSM para ciertas aplicaciones. Sin embargo, en la aplicación corriente, la medida típica de las deformaciones provocadas por el movimiento es, usualmente, aceptable. Además, en caso de un bajo rendimiento de la reconstrucción, una variación de la frecuencia de decisiones en el tiempo y/o de la resolución espacial de la escena y/o de la frecuencia de cuadros del generador de imágenes, puede servir de ayuda.

La tarea global del PSM comprende dos procedimientos fundamentales: la estimación de las normales a la superficie y la integración de la superficie del objeto a partir de los vectores normales. La estimación del vector normal a la superficie se lleva a cabo con independencia del albedo, resolviendo ecuaciones de irradiación soportadas por información recibida a priori acerca de la dirección y la potencia de las fuentes de iluminación. Se conocen métodos adecuados, por ejemplo, a partir del trabajo de R. Klette, K. Schulens y A. Koschan, "Visión de ordenador, datos tridimensionales a partir de imágenes", en Springer, 1998.

Se emplea el algoritmo de Frankot-Chellappa (conocido por R. T. Frankot y R. Chellappa, en "Un método para favorecer la capacidad de integración en la forma a partir del problema de las sombras", en IEEE Trans. on PAMI, 10(4), págs. 439-451, de Julio de 1988) basado en la reducción al mínimo de las condiciones de integrabilidad en el dominio de la frecuencia, tras someterlo a una modificación menor para mejorar su robustez frente a pequeños artefactos provocados por el movimiento, con independencia de su desventaja por consumo de tiempo.

Algunos ejemplos típicos de recuperación de superficie, al igual que los mapas de puntos de sus normales a la superficie, se representan en la fig. 4. La fig. 4 muestra los correspondientes mapas de puntos de las normales a la superficie y sus superficies tridimensionales recuperadas proyectadas según el eje Z. Las figs. 4a, 4b y 4c, muestran mapas de puntos superpuestas sobre sus imágenes originales, mientras que las figs. 4d, 4e y 4f ilustran resultados de reconstrucción de la superficie con los ejes extendidos.

En los párrafos que siguen, se presentan el método de clasificación aplicado y los resultados de clasificación correspondientes.

En primer lugar, como base para la clasificación, han de definirse y/o seleccionarse las características.

Como no hay necesidad de detectar un asiento vacío por motivos de seguridad, el número de tipos de ocupantes a clasificar se limita a tres: adulto, asiento para niño orientado hacia delante (FFCS) y asiento para niño orientado hacia atrás (RFCS). La definición de características distintivas invariables para cualesquiera transformaciones de entrada irrelevantes es una tarea esencial para que el trabajo del clasificador resulte trivial.

De acuerdo con la presente realización preferida del presente invento, cada característica se diseña para especificar al menos una clase frente a las otras dos clases (por ejemplo, hacer uso del tamaño del ocupante con el fin de distinguir a un adulto de las clases silla de niño). Las características propuestas se definen como sigue:

Imagen Gaussiana extendida (EGI): 4 dimensiones

La EGI es un histograma de las normales a la superficie calculadas sobre una esfera Gaussiana individualizada. Aunque las normales a la superficie se derivan de manera fluida durante el cálculo en el PSM (véase la fig. 4), se espera que el asiento para niño orientado hacia atrás debe tener un aspecto diferente en la dirección de su superficie respecto de cada una de las otras dos clases. El histograma se divide en fragmentos de 90 grados cada uno y se calcula el número de vectores normales pertenecientes a cada fragmento.

Profundidad de la superficie: 4 dimensiones

También se utiliza como característica el perfil de la profundidad relativa proyectada desde la parte superior de un objeto. Como el sistema de coordenadas de la cámara difiere del sistema mundial de coordenadas, se realiza una transformación rotacional con una matriz R de rotación dada que representa tres ángulos de transformación parciales (alrededor del eje Y, alrededor del eje X y alrededor del eje Z) con el fin de proporcionar un perfil de profundidad proyectado a lo largo del eje Z del sistema mundial de coordenadas. Una breve ilustración del cambio del punto de visión se representa en la fig. 5a. La calibración de la cámara proporciona la matriz rotacional R con respecto al origen mundial de coordenadas. En principio, todas las características tridimensionales son transformadas rotacionalmente con el fin de hacer que sean vistas correctamente desde arriba.

Información en ejes extendidos: 9 dimensiones

Con la recuperación satisfactoria de la superficie del objeto, se utilizan tres valores extremos (E_{1}, E_{2} y E_{3} como se definen en la fig. 5b) en la superficie como definiciones de unas pocas características útiles. En la fig. 5b, los valores extremos E_{1}, E_{2} y E_{3} se definen, respectivamente, como el punto situado más arriba, el punto situado más al frente (izquierda) y el punto situado más atrás (derecha) en la superficie recuperada. Los ejes extendidos son las líneas comprendidas entre el centro de gravedad y los extremos. En consecuencia, los ángulos extendidos (\alpha_{z1}, \alpha_{x2} y \alpha_{x3}) se definen como los ángulos comprendidos entre los ejes extendidos y el sistema de coordenadas; mientras que los ángulos extendidos relativos (\beta_{12}, \beta_{13} y \beta_{23}) son los ángulos comprendidos entre los propios ejes extendidos. Estas dos características angulares, al igual que las longitudes de los ejes extendidos, son utilizadas como características clave para el clasificador. En las figs. 4d, 4e y 4f se muestran unos pocos ejemplos.

Posición relativa del valor extremo situado más arriba: 1 dimensión

La posición relativa del valor extremo situado más arriba, E_{1}, a lo largo del eje X, puede ser una buena pista para especificar la clase asiento de niño orientado hacia atrás frente a las otras dos clases. Como se muestra en la fig. 5b, la posición relativa P_{E1} está definida, simplemente, como P_{E1} = W_{E1}/W, donde W y W_{E1} designan la anchura del objeto y la distancia a lo largo del eje X entre el E_{1} y el E_{3}, respectivamente.

Relación volumétrica y compacidad: 2 dimensiones

Como no es posible reconocer qué ocurre detrás del objeto, es difícil definir el volumen del objeto. Incluso suponiendo que el objeto tenga un lado trasero plano, el volumen del blanco puede seguir siendo extremadamente flexible al resultado de la segmentación. En consecuencia, la relación entre el área de la superficie tridimensional y el área del límite bidimensional se define como relación volumétrica, que tiene que aumentar a medida que se expande el volumen del objeto. Suponiendo un lado trasero plano, la proporción, o compacidad, del volumen del objeto referido a un hexaedro que envuelva el objeto podría proporcionar, también, una estimación robusta de su volumen.

Otra información geométrica bidimensional: 9 dimensiones

Junto con la anchura, la altura y el área del límite del objeto, se seleccionan como características tres componentes de orden bajo de los momentos Hu y de los momentos centrales normalizados.

El clasificador empleado se diseña como sigue:

Dado que no es probable que se produzca, durante la marcha, un cambio del tipo de ocupante, en la mayoría de los casos es suficiente que la clasificación se ejecute solamente una vez al comienzo de la operación, a no ser que se produzca un cambio drástico en el campo de visión, véase la fig. 1. Por ello, se supone que el sistema propuesto debe llegar a una decisión antes de tres segundos, lo que supone el tratamiento de 90 cuadros a una frecuencia de cuadros de 30 Hz, antes de tomar una decisión final.

Considerando que las características propuestas no reflejan ninguna propiedad dinámica del pasajero, es necesario construir un modelo clasificador que sea capaz de tratar y clasificar series temporales. Entrenada bajo supervisión, se emplea una red parcialmente recurrente propuesta por Jordan (por ejemplo, conocida a partir del trabajo de M. I. Jordan "Dinámicas de atractor y paralelismo en una máquina secuencial conexionista", en Proc. of the 8th annual conference of cognitive science society, páginas 531-546, Amherst, MA, EE.UU.) con el soporte de dos líneas de retardo derivadas, que son memorias de retardo que proporcionan acceso a su contenido a valores de longitud de retardo intermedio arbitrarios. Cada línea de retardo derivada mejora la precisión del rendimiento de clasificación global al filtrar los componentes ruidosos de la corriente de vector característica (entrada) o de resultado de clasificación (salida). La longitud de retardo máxima del sistema propuesto se limita a los 90 cuadros, permitiendo que el sistema vigile tres segundos de la historia de los pasajeros. La red de Jordan propuesta tras el proceso de aprendizaje, se muestra en la fig. 6a, mientras que en la fig. 6b se presenta la estructura global del módulo clasificador, es decir, el esquema de clasificador propuesto con dos líneas de retardo derivadas.

Con el fin de aclarar el comportamiento, la eficacia y la robustez de un sistema y de un método de acuerdo con el presente invento, en los párrafos siguientes se exponen algunos resultados de experimentos realizados con el sistema y el método propuestos.

El sistema y el método propuestos se han ensayado en experimentos con 578 secuencias de imágenes recogidas a partir de 29 asientos diferentes para niños y de 25 personas con una escala de grises de 12 bits a 30 Hz. Se eliminaron las distorsiones de las lentes utilizando parámetros de cámara calibrada. Se utilizaron objetos adicionales, tales como mantas y diferentes condiciones de iluminación ambiente, para proporcionar diversidad. Finalmente, las secuencias se dividieron en dos grupos de manera uniforme creando un conjunto de entrenamiento y ensayo, mientras que se hizo variar la longitud de las secuencias de 100 a 500 cuadros, dependiendo del comportamiento de los ocupantes, y se vigilaron manualmente los valores de salida de blanco. La red propuesta fue entrenada mediante el algoritmo de retropropagación elástica (Rprop) con el conjunto de entrenamiento, mientras que se estableció la función de activación logística regular para todas las neuronas y se seleccionaron aleatoriamente los valores iniciales en sus sinapsis. La enseñanza se detuvo cuando la red llegó al error del cuadrado medio de 0,0793 después de 120 repeticiones.

Como la red neural solamente toma una decisión por cuadro, el comportamiento de la clasificación se evaluó con un conjunto de ensayo de acuerdo con las longitudes de dos líneas de retardo derivadas. La fig. 6c muestra el espacio del error de clasificación con respecto a la longitud de las líneas de retardo. La fig. 6c muestra que el sistema es, aparentemente, más sensible a la longitud de la memoria intermedia de retardo de salida debido a la capacidad de adaptación recurrente de la red al comportamiento secuencial. Sin embargo, a medida que aumentan los tamaños de ambas líneas de retardo, la diferencia de sensibilidad se hace despreciable. La tabla 1 muestra el análisis de errores intermedios de acuerdo con los tipos de clases sin el soporte de las líneas de retardo derivadas.

\vskip1.000000\baselineskip

TABLA 1 Estadísticas de errores sin líneas de retardo derivadas (tasa global de errores: 6, 66%)

10

De acuerdo con el análisis intermedio de la Tabla 1, la mayoría de los errores ocurren entre las clases FFCS y RFCS debido a sus características similares de geometría bidimensional, especialmente cuando la escena es alterada por objetos adicionales (por ejemplo, un niño con un osito de peluche en el RFCS cubierto por una manta). La baja tasa de errores en la clase adulto se consiguió incluso con secuencias de ensayo que implicaban grandes cantidades de movimiento. Se trata de resultados alentadores, ya que un fallo de clasificación entre un adulto y un asiento para niño conlleva, generalmente, más peligro que un fallo de clasificación entre dos asientos para niño. Después de aplicar las líneas de retardo derivadas, las tasas de errores de todas las clases se redujeron drásticamente, como se muestra en la Tabla 2.

\vskip1.000000\baselineskip

TABLA 2 Estadísticas de errores con las líneas de retardo derivadas (tasa de errores global: 1,14%)

11

Aunque la tasa de errores original de la red de Jordan ordinaria llega al 6,66%, véase la Tabla 1, se consiguió una tasa de clasificación de 98,9% después de fijar las longitudes de las líneas de retardo de entrada y de salida a 31 y 59, respectivamente.

Los anteriores resultados demuestran el rendimiento, la eficacia y la robustez de un sistema y un método de acuerdo con el presente invento.

\newpage

De acuerdo con una realización preferida del presente invento, el objeto situado en el asiento del vehículo es asignado a una de, al menos, dos clases. Esta característica del método propuesto no tiene que combinarse, necesariamente, con otras características del método propuesto y/o un método caracterizado por esta particularidad puede utilizarse con independencia de un dispositivo de acuerdo con el presente invento.

Así, el presente invento se refiere, además, a un método de clasificar un objeto detectado en un asiento de vehículo, en el que el objeto es asignado a una de, al menos, dos clases. De acuerdo con una realización preferida del invento, el objeto es asignado a una de, al menos, dos clases de objetos, por lo que dichas la menos dos clases de objetos se seleccionan de entre una pluralidad de clases de objetos que comprenden las tres clases siguientes de objetos: un asiento para niño dispuesto de forma que mire en la dirección de la marcha, un asiento para niño dispuesto de modo que mire en dirección contraria a la de la marcha, y un adulto.

Claims

1. Un dispositivo para la detección de un objeto en un asiento de un vehículo, que comprende una cámara y una unidad de tratamiento para la generación de una representación bidimensional del objeto, comprendiendo además el dispositivo al menos dos fuentes de iluminación, posicionadas de tal forma que el objeto pueda ser iluminado desde direcciones diferentes, y que pueden encenderse y apagarse, siendo adecuada la unidad de tratamiento para generar una representación tridimensional del objeto a partir de dos representaciones bidimensionales, cada una de ellas generada en condiciones de iluminación diferentes, caracterizado porque la representación tridimensional es generada a partir de las dos representaciones bidimensionales basándose en una estimación de vectores normales a la superficie del objeto y una integración de la superficie del objeto a partir de estos vectores normales a la superficie, de acuerdo con el método estereofotométrico.

2. Un dispositivo de acuerdo con la reivindicación 1, caracterizado porque la unidad de tratamiento es adecuada para generar una representación tridimensional del objeto a partir de dos representaciones bidimensionales, cada una de ellas generada en distintas condiciones de iluminación, cuyas condiciones de iluminación diferentes son causadas por un número diferente fuentes de iluminación activas.

3. Un dispositivo de acuerdo con la reivindicación 1 o la reivindicación 2, caracterizado porque la unidad de tratamiento es adecuada para asignar el objeto detectado a una de entre, al menos, dos clases de objetos, siendo seleccionadas dichas al menos dos clases de objetos de entre una pluralidad de clases de objetos que comprenden las tres clases de objetos siguientes: un asiento para niño dispuesto de forma que mire en la dirección de la marcha, un asiento para niño dispuesto de forma que mire en dirección contraria a la de la marcha, y un adulto.

4. Un dispositivo de acuerdo con la reivindicación 3, caracterizado porque la unidad de tratamiento señala la clase de objeto a la que ha sido asignado el dispositivo que hay en el asiento del vehículo a una tarea que es ejecutada por la propia unidad de tratamiento o por otro dispositivo, por lo que el hecho y/o la manera en que se ejecuta esta tarea, depende de la clase de objeto a la cual ha sido asignado el dispositivo que hay en el asiento del vehículo.