ES2247873B1 - Sistema de reconocimiento de patrones en imagenes afectadas por degradaciones opticas. - Google Patents

Abstract

Sistema de reconocimiento de patrones en imágenes afectadas por degradaciones ópticas.

Sistema indicado para reconocer y detectar imágenes de un conjunto de patrones prefijado, en imágenes observadas degradadas por el proceso óptico de captación. Esta degradación óptica es desconocida, y puede existir también degradación debida a ruido no deseado. Para reconocer los patrones se hace uso de una descomposición basada en canales sintonizados a distintas frecuencias y orientaciones, tanto de los patrones originales como de la imagen observada. Utilizando esta descomposición es posible realizar simplificaciones en el modelo de degradación, de manera que a partir de la imagen observada se pueda calcular la probabilidad de que cada una de las imágenes originales generara esa observación. El método de decisión es Bayesiano, eligiendo como imagen original aquella con mayor probabilidad.

Description

Sistema de reconocimiento de patrones en imágenes afectadas por degradaciones ópticas.

Sector de la técnica

La invención se dirige a todas las áreas en las que sea necesario el reconocimiento automático de patrones en imágenes, en general en aplicaciones de inspección automática usando medios ópticos, y en particular en aplicaciones de vigilancia, monitorización de procesos, control de calidad, simulación del proceso visual con fines clínicos, etc. Su aplicación está especialmente indicada cuando las condiciones de observación no permitan garantizar una buena calidad de imagen. Se trata de un sistema que incorpora un módulo de adquisición y tratamiento digital de imagen, que se caracteriza por hacer uso de un procedimiento numérico que combina modelos ópticos y de reconocimiento de patrones basados en la percepción visual.

Estado de la técnica

El reconocimiento de patrones en imágenes es un área de gran interés dentro del análisis automático de imágenes, y con múltiples aplicaciones. Entre ellas, cabe destacar el reconocimiento óptico de caracteres, el reconocimiento de blancos en aplicaciones militares, clasificación de especies biológicas observadas por medios ópticos, vigilancia activa con reconocimiento automático de objetos de interés, etc.

Debido al gran interés de esta técnica, se han desarrollado muchas mejoras respecto de los métodos de reconocimiento óptico de patrones originales, basados en filtros óptimos de correlación. Gran parte de estas mejoras han consistido en preprocesar la imagen observada para corregir determinados factores que hacen que se aleje de los patrones originales, tales como distorsión geométrica, cambios de escala, etc. Otro conjunto de mejoras importantes se ha dirigido a tratar de reconocer patrones en imágenes afectadas por una gran cantidad de ruido, para lo que es muy útil considerar modelos probabilísticos y estadísticos. Sin embargo son muy pocos los métodos propuestos para reconocer patrones en imágenes afectadas de degradaciones ópticas importantes y desconocidas a priori, y prácticamente inexistentes los métodos propuestos para tratar imágenes degradadas ópticamente y con ruido añadido. La mayoría de los métodos de reconocimiento óptico suponen que la información sobre la degradación óptica es conocida, y que por tanto puede compensarse en un proceso previo al reconocimiento, a pesar de que son frecuentes los casos en los que no se cuenta con esa información. Por tanto, es necesario desarrollar métodos específicos de reconocimiento que sean robustos a degradaciones ópticas desconocidas además de al ruido. Por ejemplo, aparte de las degradaciones ópticas introducidas por el sistema de captación de la imagen, la atmósfera puede introducir degradaciones ópticas que en principio son variables, aleatorias y desconocidas.

En este sentido, un trabajo anterior demostró que, usando métodos de representación de imágenes inspirados en la visión humana, era posible realizar reconocimiento de patrones en presencia de ciertas degradaciones ópticas, principalmente desenfoques [A. Vargas, J. Campos, R. Navarro (2000). "Invariant pattern recognition against defocus based on subband decomposition of the filter", Optics Communications 185: 33-40]. El presente procedimiento está igualmente basado en métodos de representación de imágenes basados en la visión humana, pero al combinar éstos con un modelo Bayesiano más general, permite tratar casos en los que las degradaciones no se limitan a desenfoques, y además se incluye de una manera natural el ruido en el modelo. Por tanto, el presente procedimiento es más amplio y genérico, dando lugar a la presente invención.

Descripción de la invención

La presente invención consiste en un sistema que incorpora un módulo de adquisición y tratamiento digital de imágenes, que se caracteriza por hacer uso de un procedimiento numérico que combina modelos ópticos y de reconocimiento de patrones basados en la percepción visual. El sistema permite el reconocimiento e identificación de patrones en imágenes sometidas a degradaciones ópticas y ruido, de entre un conjunto finito y prefijado. Este conjunto de patro-
nes es almacenado en formato digital, y en una escala de grises (intensidades entre negro y blanco) o de colores.

Dependiendo de la aplicación concreta, la imagen observada puede ser adquirida mediante un sistema óptico de captación de imágenes (por ejemplo, en aplicaciones de vigilancia), o bien puede ser una simulación de un sistema óptico de captación (por ejemplo, una simulación de la imagen retiniana de un objeto a partir de los datos ópticos de un modelo del ojo). En cualquier caso, el procedimiento está indicado para imágenes observadas que han sufrido una degradación óptica desconocida a priori, introducida bien por el sistema de captación (cámara, ojo, etc.) o por factores externos al mismo (turbulencia atmosférica, etc.).

La Figura 1 muestra un diagrama de bloques que esquematiza los distintos elementos del proceso numérico utilizado por el sistema de la presente invención que permite el reconocimiento e identificación de los patrones y la estimación del tipo de degradación, como se describen con más detalle a continuación.

Se parte de una imagen digital degradada ópticamente, que puede provenir bien de una escena observada por un sistema óptico de captación de imagen y convertida mediante un procedimiento apropiado a una imagen digital, o bien ser el resultado de una simulación numérica de dichos procesos de captación. Esta imagen digital se compara con las imágenes digitales del conjunto de patrones prefijado, usando ordenadores digitales.

La imagen degradada es transformada aplicando un banco de filtros multiescala/multiorientación para obtener una representación visual de la misma. Este mismo procedimiento se aplica a las imágenes conteniendo el conjunto de patrones prefijado, pudiéndose ejecutar este proceso en un tiempo anterior y recuperando directamente la representación visual almacenada en un dispositivo adecuado. El método es flexible en cuanto al tipo de filtro a usar (Gabor, derivadas de Gaussiana, Laplacianas, etc.), número de filtros y disposición de las escalas y orientaciones, lo que permite adaptarlo a las necesidades concretas de cada aplicación.

A continuación se procede a calcular, para cada patrón del conjunto prefijado, su probabilidad de haber generado la imagen observada. Para ello se aplica un método Bayesiano que hace uso de la representación visual de las imágenes, y en el que implícitamente se estima una aproximación de la degradación desconocida que está afectando a la imagen observada. Usando esta representación visual introducimos la simplificación adicional de que la respuesta en frecuencia de la degradación óptica desconocida es constante dentro del rango de frecuencias que deja pasar cada canal. Esta simplificación hace que pasemos de un sistema no determinado a un sistema determinado, y que sea posible calcular las probabilidades de haber generado la imagen observada. Con la suposición anterior es posible formular el siguiente modelo de observación simplificado para las versiones de la imagen observada filtradas con cada uno de los filtros de Gabor del esquema de representación:

(1)o_{i}(x) = (h(x)*c(x))*g_{i}(x) + \eta _{i} (x) \approx h_{i}c_{i} (x - u_{i}) + \eta _{i} (x), \ i = 1,..., N_{c}

donde o_{i}(x) es la imagen degradada observada filtrada con el i-ésimo filtro de Gabor, g_{i}(x) , y contaminada con el ruido aditivo \eta_{i}(x); h(x) es la respuesta al impulso de la degradación óptica desconocida; y c(x) es la imagen que contiene el patrón original sin degradar. Haciendo uso de la simplificación anterior, se llega a la parte de la derecha de la ecuación anterior, en la que c_{i}(x) es la imagen con el patrón de entrada sin degradar y filtrada con el filtro de Gabor i-ésimo; (h_{i}, u_{i}) son el factor multiplicativo constante y el desplazamiento global con los que se ha aproximado la respuesta en frecuencia de la degradación óptica en el rango de frecuencias que deja pasar el canal i-ésimo; y, finalmente, N_{c} es el número de canales de Gabor de la representación.

Con el modelo de observación anterior podemos formular la probabilidad a posteriori del carácter original c, conjunta con los parámetros que modelan la degradación óptica {h_{i}, u_{i}}, dado el conjunto de observaciones {o_{i}}. Aplicando la regla de Bayes obtenemos la siguiente expresión, en la que se hace explícita la posibilidad de incluir información a priori, como la probabilidad aparición de un patrón concreto, o como la probabilidad a priori de los parámetros que modelan la degradación óptica:

(2)p(c,\{h_{i},u_{i}\} \ \arrowvert \ \{o_{i}\}) = K \ p(\{o_{i}\} \ \arrowvert \ c,\{h_{i},u_{i}\})p(c)p(\{h_{i},u_{i}\})

donde por conveniencia de notación hemos expresado las imágenes como vectores; K es una constante de normalización. La probabilidad a posteriori es igual a la verosimilitud, o probabilidad condicional de las observaciones dados los parámetros del modelo, multiplicada por la probabilidad a priori de los parámetros del modelo. Hemos supuesto que la imagen original de entrada y los parámetros que modelan la degradación óptica son independientes. Si no se tiene información a priori, es posible suponer que los parámetros que modelan la degradación óptica son equiprobables, resultando:

(3)p(c,\{h_{i},u_{i}\} \ \arrowvert \ \{o_{i}\}) = K' \ p(\{o_{i}\} \ \arrowvert \ c,\{h_{i},u_{i}\})p(c)

donde K' es otra constante de normalización. El estimador máximo a posteriori, MAP, para el patrón de entrada, \hat{c}, y para los parámetros de la degradación óptica, {\hat{h}_{i},û_{i}} es aquel que maximiza la probabilidad a posteriori de la ecuación (3):

100

donde la función de verosimilitud p({o_{i}} | c,{h_{i}, u_{i}}) viene dada por la función densidad de probabilidad del ruido, de acuerdo con el modelo de observación de la ecuación (1). Suponiendo independencia condicional entre canales, así como entre pixeles, la función de verosimilitud resulta:

(5)p(\{o_{i}\} \ \arrowvert \ c,\{h_{i},u_{i}\}) = \prod\limits_{i=1}^{N _{c}} \prod\limits_{x} p_{\eta _{i}} (o_{i} (x) - h_{i}c_{i} (x - u_{i}))

A continuación, incorporamos la probabilidad a priori del patrón original sin degradar, c, que está determinada por el hecho de que la imagen de entrada debe corresponderse con alguno de los patrones del conjunto de patrones pre-establecido. De esta manera, esta probabilidad a priori puede expresarse como una suma de funciones delta cada una asociada a un patrón, con un peso dado por la probabilidad a priori de que ese patrón aparezca en la imagen. Considerando todos los patrones equiprobables, la probabilidad a posteriori resulta:

(6)p(c, \{h_{i},u_{i}\} \ \arrowvert \ \{o_{i}\}) \propto \prod\limits_{i=1}^{N _{c}} \prod\limits_{x} p_{\eta _{i}} (o_{i} (x) - h_{i}c_{i} (x - u_{i})) \left[\sum\limits_{j=1}^{N} \delta (c-c^{j}) \right]

donde {c^{j}}^{N}_{j=1} son las imagines correspondientes a los N patrones. La introducción de la probabilidad a priori hace que se reduzca enormemente el espacio de todas las posibles configuraciones de las intensidades en la imagen de entrada, resultando que la probabilidad es distinta de cero únicamente para c\in{c^{j}}^{N}_{j=1} puntos en los que la probabilidad a posteriori es:

(7)p(c = c^{j}, \{h_{i},u_{i}\} \ \arrowvert \ \{o_{i}\}) \propto \prod\limits_{i=1}^{N _{c}} \prod\limits_{x} p_{\eta _{i}} (o_{i} (x) - h_{i}c_{i}{}^{j} (x - u_{i}))

Así, el reconocimiento Bayesiano consiste en primer lugar en elegir los parámetros de la degradación que maximizan la probabilidad en (7) para cada patrón del conjunto, y seguidamente escoger como patrón reconocido aquel con mayor probabilidad, que es precisamente el correspondiente al máximo global de la probabilidad a posteriori. La obtención de los parámetros {\hat{h}_{i}, û_{i} que maximizan la expresión (7) puede hacerse individualmente para cada canal, y después multiplicar los valores máximos para cada canal para obtener la probabilidad. Para un canal concreto, i, y suponiendo ruido blanco gaussiano, maximizar la probabilidad es equivalente a minimizar la siguiente función de error:

(8)E_{i}{}^{j} = \sum\limits_{x} (o_{i} (x) - h_{i}c_{i}{}^{j} (x - u_{i}))^{2}

Es posible demostrar que la función (8) se minimiza para el valor û_{i}^{j} que maximiza la función de correlación
Corr_{i}^{j} (u_{i}) = \sum\limits_{x} o_{i}(x)c_{i}^{j} (x - u_{i}), y que entonces \hat{h}_{i}^{j} = Corr_{i}^{j} (û_{i}^{j}) / K_{i}^{j}, con K_{i}^{j} = \sum\limits_{x} (c_{i}^{j}(x))^{2}. Así, el valor de la probabilidad a posteriori para el patrón j resulta finalmente:

(9)P_{j} = max \{p(c = c^{j}, \{h_{i}, u_{i} \} \ | \ \{o_{i} \}) \} \propto exp \left(\frac{1}{2\sigma^{2}} \sum\limits_{i=1}^{N_{c}} \hat{h}_{i}{}^{j} Corr_{i}{}^{j} (\hat{u}_{i}{}^{j}) \right)

El resultado del método Bayesiano es una probabilidad como la anterior, asociada a cada uno de los patrones j del conjunto. Esta información puede ser utilizada de muchas maneras, dependiendo de la aplicación. Una de las posibilidades más interesantes es seleccionar el patrón con la máxima probabilidad como el patrón reconocido a partir de la imagen observada. También es posible rechazar la hipótesis de que alguno de los patrones esté presente en la imagen, si no se superan unos umbrales de confianza en las probabilidades calculadas. Otra información adicional proporcionada por este método es una estimación de los parámetros de la degradación más probables, que pueden servir para recuperar una aproximación de la degradación óptica desconocida que afectó a la imagen observada.

En resumen, el resultado de la aplicación de este procedimiento proporciona:

1.-

Un conjunto de probabilidades de que el patrón que aparece en la imagen degradada corresponda a cada patrón almacenado, siendo posible establecer una lista ordenada de patrones de mayor a menor probabilidad.

2.-

El patrón de entre el conjunto de patrones que con mayor probabilidad ha generado la observación. Esta es la respuesta proporcionada por el modelo Bayesiano de máximo a posteriori.

3.-

Una estimación de la degradación óptica más probable que afecta a la imagen observada.

La presente invención podía ser aplicada en variadas situaciones prácticas entre las que se incluyen:

1.-

Observación de objetos en el cielo desde plataformas terrestres fijas, usando medios ópticos, de tal forma que a las posibles degradaciones introducidas por los instrumentos ópticos (desenfoques, etc.) se suman las introducidas por la turbulencia atmosférica. Ejemplos concretos de aplicación son el reconocimiento de aves (mostrado en el ejemplo), aeronaves (por ejemplo, aviones y helicópteros), satélites, astros, objetos estelares, etc.

2.-

Observación de objetos, tanto en el cielo como en la tierra, usando medios ópticos desde plataformas móviles, terrestres o aéreas, es decir, imágenes de objetos móviles captadas desde plataformas también móviles, de manera que se producen degradaciones debidas al movimiento (además de las propias de la óptica y de la atmósfera). Ejemplos de aplicación son el reconocimiento de los números y letras en matriculas de vehículos mediante imágenes tomadas desde helicópteros de vigilancia, reconocimiento de objetivos militares en imágenes tomadas desde vehículos o aeronaves de reconocimiento, etc.

3.-

Imágenes de especímenes biológicos, captadas mediante microscopía u otras técnicas de imagen biomédica, y afectadas por degradaciones introducidas por la turbidez del medio biológico, preparaciones, etc., así como por los sistemas de formación y captación de la imagen, en las que es necesario reconocer el espécimen para proceder a su clasificación.

Breve descripción de las figuras

Figura 1.- Diagrama de bloques que esquematiza los distintos elementos del proceso numérico utilizado por el sistema para el reconocimiento de los patrones y la estimación del tipo de degradación.

Figura 2.- Resultado de la aplicación del sistema de reconocimiento de patrones de la presente invención a un caso simulado. En él se ha partido de cinco patrones originales, que se muestran en la primera columna, y se les ha aplicado digitalmente una degradación que incluye desenfoque y otras aberraciones de orden superior, obteniendo las imágenes degradadas mostradas en la segunda columna. El logaritmo del modulo de la OTF (Optical Transfer Function, o función de transferencia óptica) y la PSF (Point Spread Function, o función de dispersión de un punto) se muestran en parte inferior de la figura. El resultado de aplicar el sistema de reconocimiento de patrones a cada una de las imágenes degradadas se muestra en la tercera columna. En este ejemplo, la primera imagen no ha sido reconocida correctamente, mientras que el resto de las imágenes sí lo ha sido.

Ejemplo de realización de la invención

Un ejemplo de realización se muestra en la figura 2. En este ejemplo se ha usado como patrones un conjunto de imágenes de aves en formato digital, sobre las que se han simulado digitalmente los efectos de la degradación óptica introducida por turbulencia atmosférica y por un cierto desenfoque debido al desajuste de la óptica de captación. Esta simulación ha sido llevada a cabo de forma realista, de manera que es un ejemplo fiel de situaciones reales en las que la presente invención podría ser aplicada en un día en el que el estado de la atmósfera seria normal, las aves (águilas) de gran envergadura, superior a un metro, son observadas a una distancia de 100 metros aproximadamente.

En la simulación se han considerado las 5 aves de la columna izquierda, que se han guardado en memoria para el posterior reconocimiento. Cada una de las imágenes fuertemente degradadas de la columna central ha sido la información de entrada para el procedimiento de reconocimiento. La salida del procedimiento es una asignación, mediante el método Bayesiano de máxima probabilidad a posteriori, en la cual se ha inferido que la imagen degradada corresponde a una de las posibles aves (esta asignación se muestra en la columna de la derecha). Finalmente, a la derecha se muestra cuando la asignación fue correcta (acierto) o errónea (fallo).

Las etapas concretas seguidas en el procedimiento de reconocimiento aplicado en este ejemplo concreto se detallan a continuación:

-

Se aplica una descomposición piramidal multiescala/multiorientación, que en este caso se ha realizado mediante un banco de filtros de Gabor [O. Nestares, R. Navarro, J. Portilla, A. Tabernero (1998), "Efficient spatial-domain implementation of a multiscale image representation based on Gabor functions", J. Electronic Imaging, 7; 166-173], a las imágenes que contienen los patrones sin degradaciones ópticas, así como a la imagen degradada que se quiere reconocer. En esta realización se han usado 16 filtros distribuidos en 4 niveles de frecuencia por 4 orientaciones. El número, tipo y disposición de los filtros puede ser adaptado dependiendo de la aplicación concreta.

-

Para cada subbanda (correspondiente a una escala y orientación) se realiza la correlación entre la imagen observada y cada uno de los patrones (5 en este ejemplo).

-

Los valores de la correlación de cada subbanda se transforman a probabilidades, se extrae el máximo, y se combinan los máximos de forma multiplicativa, de un modo similar al descrito en la referencia [A. Vargas, J. Campos, R. Navarro (2000). "Invariant pattern recognition against defocus based on subband decomposition of the filter", Optics Communications 185: 33-40].

-

Los 5 valores obtenidos son las probabilidades de que cada uno de los patrones haya generado la imagen degradada observada, y que se pueden interpretar como una medida del parecido entre ambos, de manera que el valor máximo determina el patrón elegido como respuesta.

En este ejemplo de realización se han tomado los cinco patrones originales, que se muestran en la primera columna, y se les ha aplicado digitalmente una degradación que incluye desenfoque y otras aberraciones de orden superior, obteniendo las imágenes degradadas mostradas en la segunda columna. El logaritmo del modulo de la OTF (Optical Transfer Function, o función de transferencia óptica) y la PSF (Point Spread Function, o función de dispersión de un punto) se muestran en parte inferior de la figura. Cada una de las imágenes degradadas ha sido sometida al procedimiento de reconocimiento, mostrándose el patrón reconocido en la tercera columna. En este ejemplo, la primera imagen no ha sido reconocida correctamente, mientras que el resto de las imágenes sí lo ha sido, a pesar de lo fuertemente degradadas que aparecen las imágenes (columna central de la Figura 2).

Claims (5)

1. Sistema de reconocimiento de patrones en imágenes afectadas por degradaciones ópticas y ruido, que se caracteriza por hacer uso de un procedimiento numérico que combina modelos ópticos y de reconocimiento de patrones basados en la percepción visual, y porque comprende:

a)

un módulo de adquisición y tratamiento digital de imágenes,

b)

un banco configurable de patrones digitalizados previamente de entre los que se pretende efectuar el reconocimiento e identificación en la imagen degradada,

c)

un banco de filtros pasa-banda, adaptables en número, tipología y parametrización a cada aplicación concreta, que permite una representación visual multiescala y multiorientación tanto de las imágenes degradadas como de los patrones,

d)

un reconocimiento Bayesiano que, utilizando el método de representación descrito en el punto c), permite calcular tanto la probabilidad de que cada uno de los patrones del conjunto esté presente en la imagen degradada, como los parámetros que modelan la degradación óptica, caracterizado porque:

i)

se basa en el valor de la correlación entre la imagen observada y el patrón;

ii)

aplica la correlación en las diferentes subbandas de escalas y orientaciones, y

iii)

transforma los valores de correlación a probabilidades y los combina de acuerdo con el método Bayesiano.

2. Sistema de la reivindicación 1 para su uso en el reconocimiento de patrones en imágenes sometidas a degradaciones ópticas causadas por el desenfoque de los instrumentos ópticos de captación.

3. Sistema de la reivindicación 1 para su uso en el reconocimiento de patrones en imágenes captadas a través de la atmósfera y afectadas por tanto de las aberraciones aleatorias típicas introducidas por la turbulencia del medio, además de las propias del instrumento óptico de captación.

4. Sistema de la reivindicación 1 para su uso en el reconocimiento de patrones en imágenes sometidas a degradaciones ópticas simuladas, con el objeto de evaluar objetivamente la respuesta de sistemas ópticos de captación en función del nivel de degradación.

5. Sistema de la reivindicación 1 para su uso en el reconocimiento de patrones en imágenes de especímenes biológicos, captadas mediante microscopía u otras técnicas de imagen biomédica, y afectadas por degradaciones introducidas por la turbidez del medio biológico, preparaciones, etc., así como por los sistemas de formación y captación de la imagen.