ES2773841T3 - Procesamiento de imágenes - Google Patents

Abstract

Un método de procesamiento de imágenes que comprende las etapas de: (i) proporcionar una pila para almacenar un número predeterminado de porciones de cuadro; (ii) obtener (510) una imagen que incluye un objeto objetivo, formando la imagen una matriz de píxeles; (iii) extraer (580) una porción de cuadro de la imagen, siendo la porción de cuadro al menos una porción de los píxeles que forman la imagen, que corresponde a una región de interés en la imagen, la región de interés que comprende el objeto objetivo; la porción de cuadro que tiene una fase asociada, representativa del desplazamiento de traslación de subpíxeles de la región de interés definida por la porción de cuadro, (iv) almacenar (650, 540) la porción de cuadro en la pila, el almacenamiento que incluye descartar una porción de cuadro almacenada previamente más antigua de la pila si el número de porciones de cuadro almacenadas en la pila ha alcanzado el número predeterminado; (v) repetir las etapas (ii) a (iv) una pluralidad de veces; y (vi) calcular (550) una imagen súper-resuelta a partir de la pluralidad de porciones de cuadro almacenadas, que incluye una subetapa de promediar todas las porciones de cuadro en la pila que tienen una fase esencialmente igual a una fase determinada.

Description

DESCRIPCIÓN

Procesamiento de imágenes

Campo de la invención

Esta invención se refiere al campo del procesamiento de imágenes, y en concreto a la generación de una imagen de mayor resolución a partir de una pluralidad de imágenes de menor resolución. La invención se refiere especialmente, pero no exclusivamente, al campo del procesamiento de imágenes en misiles guiados.

Antecedentes de la invención

La precisión de detección, reconocimiento, identificación y rastreo utilizando sensores electro-ópticos depende de manera importante de la calidad de la imagen; por lo tanto se puede esperar que una mejor calidad de imagen produzca un mayor rendimiento. Sin embargo, en algunas aplicaciones es necesario lograr un equilibrio entre, por un lado, obtener la mejor calidad de imagen posible y, por otro lado, obtener una imagen rápidamente y con el procesador y otros requisitos de hardware que no sean demasiado exigentes. Por ejemplo, en el campo de los misiles guiados, la provisión de imágenes de mayor calidad que las proporcionadas por los sistemas existentes aumentaría la distancia sobre la cual un sistema de procesamiento de imágenes asociado con el misil puede funcionar con éxito, permitiendo al operador disparar antes y permanecer fuera de peligro y/o reduciría el coste, el peso y riesgo de desarrollo. Sin embargo, los misiles guiados son normalmente de tamaño y peso limitado, y viajan a una velocidad muy alta en relación con su objetivo y, por lo tanto, existen limitaciones importantes en las técnicas de procesamiento de imágenes que pueden usarse. Varias técnicas de procesamiento de imágenes de la técnica anterior que proporcionan imágenes de alta calidad son lentas y exigentes a nivel de cálculo.

Sería ventajoso proporcionar un método y un aparato para el procesamiento de imágenes en el que las desventajas mencionadas se reduzcan o al menos mejoren.

El documento US 2010/259607 divulga un sistema de guía de misiles, el documento WO 2009/126445 se refiere al reconocimiento aéreo.

Divulgación de la invención

Un primer aspecto de la invención proporciona un método de procesamiento de imágenes que comprende las etapas de:

(i) proporcionar una pila para almacenar un número predeterminado de porciones de cuadro;

(ii) obtener una imagen que incluye un objeto objetivo, estando formada la imagen por una matriz de píxeles;

(iii) extraer una porción de cuadro de la imagen, siendo la porción de cuadro al menos una porción de los píxeles que forman la imagen, correspondiente a una región de interés en la imagen, la región de interés que comprende el objeto objetivo; la porción de cuadro que tiene una fase asociada, representativa del desplazamiento de traslación de subpíxeles de la región de interés definida por la porción de cuadro;

(iv) almacenar la porción de cuadro en la pila, el almacenamiento que incluye descartar una porción de cuadro almacenada previamente más antigua de la pila si el número de porciones de cuadro almacenadas en la pila ha alcanzado el número predeterminado;

(v) repetir las etapas (ii) a (iv) una pluralidad de veces; y

(vi) calcular una imagen súper-resuelta a partir de la pluralidad de porciones de cuadro almacenadas, incluyendo una subetapa de hacer el promedio de todas las porciones de cuadro en la pila que tengan una fase esencialmente igual a una fase determinada.

Puede ser que la porción de cuadro extraída en cada iteración de la etapa (iii) después de la primera iteración corresponda a una región de interés identificada en la imagen utilizada en la primera iteración de la etapa (iii).

La creación de imágenes súper-resueltas a partir de una pluralidad de imágenes es una técnica conocida para sintetizar una imagen de mayor resolución a partir de una pluralidad de imágenes de menor resolución. Se utiliza por ejemplo en astronomía para generar mejoras significativas en la resolución de objetos de interés astronómico. Sin embargo, las técnicas de súper-resolución conocidas, por ejemplo en astronomía, son lentas y requieren una gran cantidad de poder de procesamiento por ordenador. De manera ventajosa, el método de la invención es un método para generar imágenes súper-resueltas que es más rápido y menos exigente a nivel de cálculo que dichas técnicas del estado de la técnica. En algunos modos de realización, es capaz de proporcionar imágenes súper-resueltas incluso de objetos en movimiento rápido en relación con el detector. Puede ser que el método proporcione las imágenes súper-resueltas en tiempo real.

Puede ser que el método se lleve a cabo utilizando un generador de imágenes y al menos un microprocesador de propósito general o especial.

Puede ser que el objeto objetivo se identifique en una primera imagen obtenida del generador de imágenes. Puede ser que el objeto objetivo sea identificado por un usuario en la primera imagen. Puede ser que el objeto objetivo sea identificado en la primera imagen mediante un algoritmo de reconocimiento de objetivos.

Puede ser que la región de interés se defina en una imagen obtenida del generador de imágenes y luego se calcule en imágenes posteriores. Puede ser que la región de interés en la imagen sea definida por un usuario. Puede ser que la región de interés en la imagen sea definida por un algoritmo, por ejemplo, un algoritmo de reconocimiento de objetos.

Puede ser que la imagen de súper-resolución se calcule utilizando la pila de imágenes actual y el registro de un par de imágenes sucesivas calculadas a partir del rastreo.

Puede ser que el objetivo sea rastreado entre imágenes. Puede ser que se suponga que el objetivo está en la posición del objetivo en una imagen anterior. Puede ser que la posición del objetivo en la imagen se determine mediante correlación cruzada. Puede ser que la correlación cruzada sea con una versión no resuelta de una imagen de súper-resolución calculada en una iteración previa del método. Puede ser que se calcule un desplazamiento en la posición del objetivo en imágenes sucesivas, y la parte entera del desplazamiento calculado se usa para cambiar la región de interés en la imagen posterior en relación con la posición de la región de interés en la imagen anterior.

Puede ser que se extraiga una porción de cuadro de trabajo de cada imagen posterior. Puede ser que la porción de cuadro de trabajo se extraiga de la ubicación aproximada del objeto objetivo en la imagen anterior, por ejemplo, el mismo conjunto de ubicaciones de píxeles que se extrajeron para formar la porción de cuadro anterior. Puede ser que la porción de cuadro de trabajo esté correlacionada de forma cruzada con una imagen no resuelta de la iteración anterior del método. Puede ser que se obtenga por lo tanto el cambio en la posición del objetivo en la porción de cuadro de trabajo en comparación con la posición del objetivo en la imagen no resuelta. Puede ser que el cambio de posición se divida en un desplazamiento de un número entero de píxeles y un desplazamiento de una fracción de píxel. Puede ser que el desplazamiento de entero se use para definir una ubicación para una porción de cuadro adicional, es decir, la ubicación de la porción de cuadro anterior es trasladada por el desplazamiento de entero para dar la ubicación para la porción de cuadro adicional. Puede ser que se extraigan los píxeles que forman la porción de cuadro adicional, correspondiente a una región de interés reubicada.

Puede ser que el desplazamiento de traslación entre un par de imágenes se calcule mediante una correlación. Puede ser que el desplazamiento de traslación entre un par de imágenes se calcule mediante una correlación en el dominio espacial. Puede ser que el desplazamiento de traslación entre un par de imágenes se calcule por correlación de fase en el dominio de frecuencia. Puede ser que el desplazamiento de traslación entre un par de imágenes se calcule mediante un método iterativo en el que un desplazamiento de traslación calculado por una correlación en el dominio espacial o por una correlación de fase en el dominio de frecuencia se use como una conjetura inicial para construir una imagen súper-resuelta estimada y el registro se ajusta iterativamente para producir una imagen súper-resuelta mejorada.

Cada imagen, y por tanto cada porción de cuadro extraída, que tiene una fase asociada, representativa del desplazamiento de traslación de subpíxeles de la región de interés definida por la porción de cuadro, la fase se determina efectivamente por el método. La fase puede determinarse mediante la determinación del desplazamiento de traslación de la imagen en el dominio espacial o dominio de frecuencia.

La etapa de calcular la imagen súper-resuelta a partir de las porciones de cuadro almacenadas incluye una subetapa de promediar todas las porciones de cuadro en la pila que tienen una fase esencialmente igual a una fase determinada. Hay que señalar que al menos algunas porciones de cuadro de una fase determinada se desplazarán espacialmente de otras porciones de cuadro de esencialmente la misma fase determinada por un número entero de píxeles. Puede ser que el cálculo de la imagen súper-resuelta incluya el promedio de todas las regiones de interés que están en la misma fase. Los datos que representan dichas regiones de interés o porciones de cuadro una vez creadas promediando regiones de interés o porciones de cuadro que tienen la misma fase se denominarán convenientemente a continuación como un "promedio de fase". Puede ser que la imagen súper-resuelta se calcule a partir de una pluralidad de dichos promedios de fase. La ponderación aplicada a cada promedio de fase en el cálculo de la imagen súper-resuelta puede ser esencialmente la misma. Por lo tanto, puede darse el caso de que cuando se calcula el promedio de una fase a partir de un número diferente de porciones de cuadro del promedio de otra fase, la ponderación efectiva aplicada a cada porción de cuadro en la pila al calcular la imagen súper-resuelta será diferente. Puede ser que la subetapa de promediar todas las porciones de cuadro en la pila que tiene esencialmente la misma fase se realice antes de que la imagen súper-resuelta finalmente se calcule a partir de la pluralidad de porciones de cuadro almacenadas. La subetapa puede ser una etapa intermedia.

Puede ser que el cálculo de la imagen súper-resuelta incluya agrandar las regiones de interés promediadas por un factor de escala de súper-resolución y promediar píxeles en todas las fases, contabilizando los desplazamientos de subpíxeles. Puede ser que el cálculo de una imagen súper-resuelta a partir de la pluralidad de porciones de cuadro almacenadas incluya la actualización de una imagen súper-resuelta calculada en una iteración previa cambiando en el cálculo solo las fases que han cambiado en un cuadro nuevo. Puede ser que el cálculo de una imagen súperresuelta a partir de la pluralidad de porciones de cuadro almacenadas incluya la actualización de una imagen súperresuelta calculada en una iteración previa al eliminar el cuadro más antiguo de su promedio de fase correspondiente, agregar el nuevo cuadro a su promedio de fase correspondiente y actualizar el promedio de fase sobre fases con las dos fases modificadas. Hay que señalar que al eliminar el cuadro más antiguo, al tener una primera fase y agregar un nuevo cuadro que tenga una segunda fase (normalmente diferente), dos de los promedios de fase se calcularán usando un número diferente de porciones de cuadro en comparación con el anterior cálculo. Por tanto, la ponderación efectiva dada a las porciones de cuadro individuales combinadas para crear la imagen súper-resuelta normalmente variará. Puede ser que se calcule un desplazamiento de traslación entre un primer par de porciones de cuadro y el desplazamiento de traslación calculado resultante se use para calcular una primera imagen súperresuelta derivada de un primer conjunto de porciones de cuadro que incluye dicho primer par de porciones de cuadro. Posteriormente, se puede calcular una segunda imagen súper-resuelta a partir de un segundo conjunto de porciones de cuadro, diferente del primer conjunto, pero aun incluyendo dicho primer par de porciones de cuadro, en donde la segunda imagen súper-resuelta se calcula usando el desplazamiento de traslación calculado previamente. Puede ser que no sea necesario volver a calcular el desplazamiento de traslación calculado previamente al calcular la segunda imagen súper-resuelta, lo que resulta en un procesamiento de imagen más eficiente. El desplazamiento de traslación previamente calculado puede calcularse originalmente de una manera distinta a la comparación de un par de porciones de cuadro. Por ejemplo, el registro relativo de un par de porciones de cuadro sucesivas puede calcularse a partir de una medida de rastreo. No tener que volver a calcular un desplazamiento de traslación previamente calculado puede ser una ventaja en los modos de realización de la invención de un tipo para el cual la primera etapa tradicional del procesamiento de súper-resolución sería calcular el registro de todas las imágenes en una única imagen maestra.

Puede ser que el cálculo de la imagen súper-resuelta se lleve a cabo solo en los píxeles en los que se superponen todas las regiones de interés utilizadas en el cálculo. Como alternativa, puede ser que el cálculo de la imagen súperresuelta se lleve a cabo en todos los píxeles en todas las regiones de interés utilizadas en el cálculo. Puede ser que el cálculo de la imagen súper-resuelta se lleve a cabo utilizando solo los píxeles correspondientes a los píxeles de la región de interés de la primera imagen en la que se identifica el objetivo.

Puede ser que el cálculo de la imagen súper-resuelta incluya una etapa de enfoque de imágenes borrosas. Puede ser que el enfoque de imágenes borrosas se lleve a cabo utilizando ecuaciones formuladas en el dominio de la imagen, en lugar de en el dominio de la frecuencia o en forma lexicográfica. Puede ser que el enfoque de imágenes borrosas se lleve a cabo utilizando un método Bayesiano de máximo a posteriori.

Puede ser que el cálculo de la imagen súper-resuelta se omita en cada iteración hasta que se haya almacenado un número mínimo predefinido de porciones de cuadro en la pila, por ejemplo, hasta que la pila esté llena.

Puede ser que las imágenes súper-resueltas se envíen a un usuario. Puede ser que las imágenes súper-resuelta se pasen a otra unidad automatizada, donde se usan en otros procesos automatizados.

Un segundo aspecto de la invención proporciona un aparato de procesamiento de imágenes que comprende:

(i) un generador de imágenes para obtener una imagen que incluye un objeto objetivo, estando formada la imagen por una matriz de píxeles;

(ii) una pila para almacenar un número predeterminado de porciones de cuadro;

(iii) un procesador de imagen configurado para

a. extraer una porción de cuadro de la imagen, siendo la porción de cuadro al menos una porción de los píxeles que forman la imagen, correspondiente a una región de interés en la imagen, la región de interés que comprende el objeto objetivo, la porción de cuadro que tiene una fase asociada, representativa del desplazamiento de traslación de subpíxeles de la región de interés definida por la porción de cuadro;

b. almacenar la porción de cuadro en la pila, el almacenamiento que incluye descartar una porción de cuadro almacenada previamente más antigua de la pila si el número de porciones de cuadro almacenadas en la pila ha alcanzado el número predeterminado; y

c. calcular una imagen súper-resuelta a partir de una pluralidad de porciones de cuadro almacenadas, incluido el promedio de todas las porciones de cuadro en la pila que tienen una fase esencialmente igual a una fase determinada.

Puede ser que el procesador de imágenes incluya un capturador de cuadro configurado para obtener la imagen del generador de imágenes. Puede ser que el procesador de imágenes incluya un módulo de extracción de región de interés, al que el capturador de cuadro proporciona la imagen obtenida.

Puede ser que el aparato de procesamiento de imágenes incluya una interfaz gráfica de usuario para que un usuario defina la región de interés.

Puede ser que el procesador de imágenes incluya una calculadora de desplazamiento configurada para proporcionar información con respecto a un desplazamiento de la región de interés en imágenes sucesivas.

Puede ser que el procesador de imágenes incluya un correlacionador cruzado.

Puede ser que el procesador de imágenes incluya un módulo de súper-resolución configurado para recuperar regiones de interés almacenadas de la pila y usar un desplazamiento de fracción de la región de interés en imágenes sucesivas para crear una imagen súper-resuelta a partir de una pluralidad de las imágenes

Puede ser que el procesador de imagen incluya un módulo de des-resolución configurado para calcular una imagen no resuelta y pasarla a un correlacionador cruzado.

Puede ser que la salida del correlacionador cruzado se pase a la calculadora de desplazamiento.

Un tercer aspecto de la invención proporciona un buscador de misiles que incluye un aparato de procesamiento de imágenes de acuerdo con el segundo aspecto de la invención.

Un cuarto aspecto de la invención proporciona un producto de programa informático configurado para producir, cuando se ejecuta el programa informático, un aparato de procesamiento de datos para:

(i) recibir una imagen que incluye un objeto objetivo, estando formada la imagen por una matriz de píxeles;

(ii) extraer una porción de cuadro de la imagen, siendo la porción de cuadro al menos una porción de los píxeles que forman la imagen, correspondiente a una región de interés en la imagen, la región de interés que comprende el objeto objetivo, la porción de cuadro que tiene una fase asociada, representativa del desplazamiento de traslación de subpíxeles de la región de interés definida por la porción de cuadro;

(iii) almacenar la porción de cuadro en una pila para almacenar un número predeterminado de porciones de cuadro, el almacenamiento que incluye descartar una porción de cuadro almacenada previamente más antigua de la pila si el número de porciones de cuadro almacenadas en la pila ha alcanzado el número predeterminado;

(iv) repetir las etapas (i) a (iii) una pluralidad de veces; y

(v) calcular una imagen súper-resuelta a partir de la pluralidad de porciones de cuadro almacenadas, incluyendo el promedio de todas las porciones de cuadro en la pila que tienen una fase esencialmente igual a una fase determinada.

Evidentemente, se apreciará que las características descritas en relación con un aspecto de la presente invención pueden incorporarse en otros aspectos de la presente invención. Por ejemplo, el aparato de la invención puede incorporar cualquiera de las características descritas con referencia al método de la invención y al contrario.

Breve descripción de los dibujos

Los modos de realización de ejemplo de la invención se describirán ahora solo a modo de ejemplo y con referencia a los dibujos esquemáticos adjuntos, de los cuales:

La figura 1 es una representación de (a) cuatro píxeles de baja resolución y (b) sus correspondientes cuatro veces dieciséis píxeles de alta resolución;

La figura 2 es una representación de dos imágenes de baja resolución y su combinación;

La figura 3 es una ilustración del desenfoque de imagen que surge de la súper-resolución;

La figura 4 es un diagrama de bloques que muestra los componentes de un aparato de acuerdo con un modo de realización de ejemplo de la invención;

La figura 5 es un diagrama de flujo que muestra las etapas en un método de acuerdo con un modo de realización de ejemplo de la invención;

Las figuras 6 a 9 son cada una de las tres imágenes grabadas por una cámara infrarroja estacionaria de un objetivo en movimiento, siendo (a) una escena completa que incluye un objetivo y una región de interés definida alrededor del objetivo (en cada caso el objetivo y la región de interés definida alrededor del objetivo se indica con una flecha blanca en línea discontinua), (b) una imagen de la región de interés, ampliada mediante la interpolación del vecino más cercano, y (c) la imagen de (b) mejorada por un método de súper-resolución de acuerdo con un modo de realización de ejemplo de la invención (en la figura 6, el tamaño de la pila es de 25 imágenes y el factor de escala es 5; en las figuras 7 a 9, el tamaño de la pila es de 100 imágenes y el factor de escala es 10);

La figura 10 es una representación de una pila que contiene cuatro porciones de cuadro; y

La figura 11 es una representación de un método de acuerdo con un modo de realización de ejemplo de la invención, para un píxel de baja resolución correspondiente a una matriz 4x4 de píxeles de alta resolución, y para un tamaño de pila de 20, con los números en cada píxel de alta resolución que indican los números de cuadro que tienen un desplazamiento de fase correspondiente a ese píxel de alta resolución.

Descripción detallada

Los algoritmos de súper-resolución han estado en la literatura abierta durante varios años, pero son lentos. En modos de realización de ejemplo de la presente invención, se proporciona una súper-resolución continua de una región de interés (ROI) dentro de una imagen en tiempo real.

Una implementación directa de súper-resolución en tiempo no real toma como su entrada una pila de imágenes de baja resolución y proporciona como salida una única imagen de mayor resolución. Para lograrlo, se llevan a cabo tres etapas principales de procesamiento de manera secuencial, a saber, registro, suma y enfoque de imágenes borrosas.

En muchas aplicaciones, tales como la astronomía, en las que solo se requiere una única imagen fija, de una pila de imágenes históricas, se han desarrollado algoritmos muy exigentes a nivel de cálculo para generar la mejor imagen súper-resuelta posible. Por el contrario, en los modos de realización de ejemplo de la invención, no se busca la mejor imagen súper-resuelta posible, sino más bien una imagen que sea "suficientemente buena" y que se pueda construir en el tiempo disponible (por ejemplo, milisegundos), en el hardware disponible (por ejemplo, procesadores integrados).

Un buscador de misiles normal tendrá una matriz de sensores de al menos 320x240 píxeles, y por varias razones no es realista intentar súper-resolver toda la escena. Una razón es la potencia de procesamiento y los requisitos de memoria: sencillamente hay demasiados píxeles para llevar a cabo una súper-resolución en un tiempo razonable, incluso con un procesador potente. Otra razón es que, si el movimiento del objetivo y el movimiento del fondo son diferentes, no será posible súper-resolver ambos y, en un escenario normal donde el objetivo es pequeño, al hacerlo se obtendría una imagen en la que el fondo estuviera súper-resuelto pero el objetivo estuviera borroso, lo que sería peor que la imagen original. En cambio, es deseable súper-resolver un pequeño parche de la imagen indicado como una región de interés (ROI).

En la súper-resolución de una ROI, se construye una pila de imágenes, y cada imagen dentro de la pila contiene el objetivo de interés. La pila de imágenes entonces se procesa para construir la imagen súper-resuelta. Cuando se proporciona una secuencia de imágenes, se define un objetivo en el primer cuadro (ya sea por un operador o por algún algoritmo aguas arriba) y se extrae una región de interés alrededor de este objetivo y se agrega a la posición uno de la pila de imágenes. En esta etapa, la súper-resolución de la pila de imágenes (con solo una única imagen) produce sencillamente la imagen original.

En cuadros posteriores, se rastrea el objetivo designado y se extraen más ROIs. Hay muchas formas diferentes en las que se podría rastrear el objetivo, pero el método utilizado en este ejemplo es la correlación cruzada utilizando una versión no resuelta de la imagen de súper-resolución actual. Este método de rastreo se usa por dos razones. En primer lugar, la versión no resuelta de la imagen de súper-resolución (SR) es una predicción de cómo debería verse la imagen con la resolución base del sensor. Es inherentemente muy estable y contiene menos ruido que cualquiera de las imágenes aisladas porque el ruido ha sido promediado por el proceso de SR. En segundo lugar, varios de los cálculos realizados para realizar el rastreo de esta manera pueden ser reutilizados por el proceso de SR para reducir la carga de cálculo.

Cuando se proporciona un nuevo cuadro, se extrae un parche de imagen en la ubicación aproximada de la ROI. Suponiendo que el movimiento del objetivo dentro del campo de visión sea pequeño, este puede ser sencillamente la posición de la ROI del cuadro anterior; si ese no es el caso, se puede utilizar un rastreador más sofisticado para determinar la posición aproximada de la ROI. Este parche de imagen se registra con una precisión de subpíxel con la versión no resuelta de la imagen de SR actual. La parte entera del desplazamiento calculado se usa para desplazar la ventana de extracción dentro del campo de visión y se extrae la nueva ROI objetivo, de modo que solo existe un desplazamiento fraccional. Esta parte fraccional del cambio se propaga al algoritmo de SR para proporcionar el movimiento de subpíxeles requerido por el algoritmo.

En el cuadro dos, la ROI extraída se agrega a la posición dos de la pila de imágenes y se lleva a cabo una súperresolución en el par de imágenes. Pasando al tercer cuadro, la ROI se agrega a la posición tres de la pila y así sucesivamente hasta que la pila de imágenes esté completamente ocupada. La imagen de SR continuará siendo refinada a medida que se agreguen más imágenes a la pila. Sin embargo, la pila es de tamaño finito, porque la carga a nivel de cálculo aumenta cuanto más grande es, y también porque una pila grande implica una gran diferencia de tiempo entre la ROI más nueva y la más antigua (lo que aumenta la posibilidad de que se produzca una distorsión de la imagen, por ejemplo, un cambio de perspectiva, que no está modelado por el algoritmo de SR en este ejemplo).

Una vez que la pila de imágenes está completamente poblada, las imágenes posteriores se agregan a la pila eliminando la ROI más antigua e insertando la nueva. No es necesario ajustar los registros de imagen calculados previamente, ya que todos se calculan con referencia a la imagen de SR. Esto da como resultado que la pila de imágenes sea una ventana deslizante de ROI, representada en la figura 10, en la que el cuadro 700 más superior de cada pila 1-9 representa el nuevo cuadro (actual), los cuadros 720 inferiores 1, 2, 3 y 4 en pilas 6 a 9 representan los cuadros descartados (pasados), y los otros cuadros 710 representan cuadros almacenados en las pilas a partir de iteraciones anteriores (los cuadros 1, 2 y 3 inferiores en pilas 2, 3 y 4 respectivamente, y los cuatro cuadros bajo el cuadro más superior en pilas 5-9).

Después de este proceso, la pila de imágenes solo contiene ROI que difieren en una fracción de píxel, ya que el desplazamiento de píxeles enteros se ha contabilizado en el proceso de extracción. La primera etapa tradicional del procesamiento de súper-resolución es calcular el registro de todas las imágenes en una única imagen maestra, pero en este ejemplo, el método ya se ha calculado y, por tanto no se repite; en cambio, es una entrada a la función principal de procesamiento de súper-resolución que ahora solo calcula la suma de la imagen y lleva a cabo el enfoque de imágenes borrosas.

El proceso de suma comprende primero promediar todas las imágenes que están en la misma fase (es decir, tienen el mismo desplazamiento fraccional) y luego ampliar esas imágenes promedio de cada fase por el factor de escala de súper-resolución y promediar píxeles en todas las fases, contabilizando los desplazamientos de subpíxeles. Esta etapa da como resultado una imagen de súper-resolución borrosa. El procesamiento en esta etapa del algoritmo se puede reducir considerablemente observando que una gran parte del cálculo se repite en cada cuadro y, por lo tanto, los resultados se pueden guardar y reutilizar en lugar de volver a calcular. Para cada nueva imagen se cambia un máximo de dos fases: la fase que contiene la imagen que se elimina de la pila y la fase que contiene la imagen que se agrega a la pila. Todas las otras fases siguen siendo las mismas, por lo que no es necesario volver a calcularlas.

Se da ahora un ejemplo para describir este proceso (figura 11) para un factor de aumento de súper-resolución de cuadro, en el que cada píxel de baja resolución se subdivide en una cuadrícula de 4x4, dando como resultado un total de 16 fases diferentes, para un tamaño de pila de 20. La matriz en la figura 11(a) da un mapa de cobertura de ejemplo de 20 cuadros de imagen. Si cada imagen es desplazada por el desplazamiento de fase calculado, la imagen de súper-resolución en este ejemplo se construye como:

donde I^sr es la intensidad del píxel de súper-resolución e ln es la intensidad del enésimo cuadro de imagen en la pila.

Si, para el siguiente cuadro (figura11(b)), la imagen 1 se elimina de la pila y la imagen 21 se agrega en la misma fase que la imagen 10, la nueva imagen de súper-resolución se construye como:

(Cabe señalar el cambio en los términos 1° y 8° de la suma).

Si, para el siguiente cuadro, figura 11(c), la imagen 2 se elimina y la imagen 22 se agrega en la fase entre las imágenes 14 y 17, la nueva imagen de súper-resolución se construye como:

(Cabe señalar el cambio en el 9° término, la introducción del término I²² y el cambio en el denominador del multiplicador fuera del paréntesis).

(En cada una de las dos ecuaciones anteriores, la diferencia con respecto al cuadro anterior se destaca por medio de una fuente ligeramente más grande en negrita-cursiva.) Para cada actualización, las dos fases que se cambian se eliminan, se vuelven a calcular y luego se agregan nuevamente. Por tanto, actualizar la imagen sumada con un nuevo cuadro implica: (i) eliminar el cuadro más antiguo de su media de fase correspondiente; (ii) agregar el nuevo cuadro a su media de fase correspondiente, y (iii) actualizar la media sobre las fases con las dos fases modificadas. Es implícito que al hacer esto, la ponderación efectiva dada a los cuadros individuales cambia a medida que la composición de las medias de fase varía con el tiempo. La ponderación de los cuadros en la pila, por tanto, no es uniforme en toda la pila. La ponderación de los cuadros también puede variar con el tiempo, dependiendo de cuántos cuadros en la pila corresponden a una fase determinada. Con la imagen sumada calculada, ahora se puede realizar el enfoque de imágenes borrosas, para eliminar el desenfoque de imagen inherente al proceso de súperresolución, y también cualquier desenfoque de imagen adicional en que se incurra en el proceso de captura de imágenes. El método de enfoque de imágenes borrosas utilizado en este ejemplo es un método Bayesiano de máximo a posteriori (MAP), que es un método iterativo. Cada iteración del algoritmo de enfoque de imágenes borrosas es costosa a nivel de cálculo y, por lo tanto, para aplicaciones en tiempo real, no es factible iterar para la convergencia, y en su lugar solo se calcula un número fijo de iteraciones. El algoritmo de enfoque de imágenes borrosas a menudo se describe en la literatura en notación lexicográfica, en la que las imágenes se expresan como vectores de columna, lo que permite una fácil exposición de las fórmulas involucradas; sin embargo, escribir software de esta manera da como resultado matrices muy grandes (pero escasas). Se descubrió que esta forma no era tratable para el uso en tiempo real y, por lo tanto, todas las operaciones se llevan a cabo dentro del dominio de la imagen (es decir, una operación de desenfoque de imagen es una convolución en lugar de una multiplicación de matriz).

La descripción anterior del método de ejemplo se puede resumir de la siguiente manera:

• se elige una región de interés (ROI) de un cuadro de imagen;

• la ROI se rastrea en cuadros posteriores usando correlación cruzada con la imagen de SR no resuelta calculada usando cuadros anteriores;

• cada nueva ROI se agrega a la pila de imágenes, y si la pila está llena entonces la nueva imagen reemplaza a la imagen más antigua;

• la imagen de súper-resolución se construye utilizando la pila de imágenes actual y el registro se calcula a partir del rastreo;

• la suma de imágenes solo ocurre para las fases que han cambiado para este cuadro (un máximo de dos fases);

• el enfoque de imágenes borrosas de la imagen sumada se lleva a cabo utilizando ecuaciones formuladas dentro del dominio de la imagen;

• la des-resolución de la imagen de SR se lleva a cabo para la extracción de la ROI en el siguiente cuadro.

La producción resultante de imágenes de súper-resolución en tiempo real permite un rendimiento mejorado de, por ejemplo, un sensor electro-óptico, permitiendo reducciones en coste, peso y riesgo de desarrollo. El sistema puede presentar imágenes mejoradas por ejemplo a un operador en el bucle o a algoritmos aguas abajo.

Los aspectos de los modos de realización de ejemplo de la invención se expondrán ahora con más detalle.

La primera parte de la mayoría de los algoritmos de súper-resolución (SR) es el registro de imágenes, en el que múltiples imágenes de baja resolución (LR) se registran entre sí. Hay varias formas de calcular el desplazamiento traslacional entre un par de imágenes. La correlación en el dominio espacial es un método eficaz pero relativamente lento de implementar, especialmente para imágenes grandes. Un método mucho más rápido, pero no tan eficaz para imágenes pequeñas, es la correlación de fase en el dominio de frecuencia. En otro método iterativo, el resultado de uno de los dos métodos anteriores se utiliza como una suposición inicial para construir una imagen de SR estimada y el registro se itera para producir la imagen de SR óptima.

Como se describió anteriormente, después del cálculo de los desplazamientos de píxeles para el registro de imágenes, las múltiples imágenes de lR se suman usando un proceso denominado "apilamiento simple". En este método, las imágenes de LR se aumentan a la densidad de píxeles deseada para la SR, utilizando la interpolación del vecino más cercano. Las imágenes mejoradas se apilan unas encima de otras en la ubicación correcta utilizando los desplazamientos de píxeles calculados previamente. La media de todos los valores de píxel de LR se toma para cada píxel de SR, generando una única imagen de SR. Ese proceso genera una imagen que está borrosa, incluso si todos los parámetros de registro se conocen exactamente, por lo que la etapa final del proceso de súper-resolución es enfocar la imagen de valor medio.

Por tanto, la primera etapa de un algoritmo de súper-resolución, pero una etapa que se menciona escasamente en la literatura de súper-resolución, es registrar una secuencia de imágenes de baja resolución entre sí con una precisión de subpíxel. A continuación se describen a su vez tres métodos de ejemplo diferentes para alinear las imágenes. Todos estos métodos de ejemplo suponen que el único movimiento entre imágenes es el movimiento de traslación, sin contar con otros tipos de movimiento, como el giro y el cambio de escala; lo que obliga a cada vector de transformación a contener dos elementos, indicativos de una traslación horizontal y vertical. Dicho movimiento de traslación podría ocurrir, por ejemplo, como resultado de temblores en la lente de la cámara, causados, por ejemplo, por una cámara que viaja en un vehículo o aeronave en movimiento, o por un movimiento del objetivo dentro de la escena. En el caso de una cámara estacionaria con movimiento del objetivo dentro de la escena, la imagen se ajusta al objetivo para que los algoritmos de registro de la imagen no sean confundidos por el fondo estacionario.

En estos ejemplos, todas las imágenes se registran en relación con la primera imagen de la secuencia. Con esta opción, el vector de transformación inicial es igual a cero y todos los vectores de transformación posteriores contienen el desplazamiento horizontal y vertical de la imagen actual a partir de la imagen 1. Este cuadro de trabajo se utiliza en las descripciones de los diferentes métodos a continuación, en los que se supone que solo dos de las imágenes, imagen 1 e imagen 2, necesitan registrarse juntas; el proceso de registro se repite para cada imagen posterior.

La correlación en el dominio espacial es un método de cálculo intuitivo y fiable, pero relativamente lento, para el registro de imágenes. En este método, las dos imágenes se superponen una encima de la otra en diferentes desplazamientos de píxeles enteros y la correlación se lleva a cabo en la región superpuesta. La correlación, en este ejemplo de modo de realización, se calcula a partir del valor absoluto de la diferencia entre cada par de píxeles: la media de esos valores, tomada en toda la región, da una medida de como de bien se alinean las dos imágenes (hay que señalar que diferentes técnicas de correlación, como los métodos de "diferencia al cuadrado" podrían usarse en modos de realización alternativos). Con una superposición perfecta, la diferencia de píxeles promedio desaparece, y por lo tanto cuanto menor sea esta medida, mejor será la alineación. El proceso continúa en todos los desplazamientos de píxeles enteros dentro de una superposición predefinida, para construir una superficie de correlación. La superposición predefinida puede hacerse más grande para un aumento en la velocidad de cálculo o reducirse para permitir que se tenga en cuenta un movimiento mayor; podría, por ejemplo, elegirse un valor del 66%, es decir, se supone que una imagen se ha trasladado en menos de un tercio de su ancho o alto.

Una vez completada la superficie de correlación, el desplazamiento de píxeles enteros de la imagen 2 a partir de la imagen 1 se puede calcular encontrando la ubicación del valor mínimo de la matriz. Para extender esta estimación para incluir desplazamientos de subpíxeles, se considera la superficie de correlación sobre este mínimo. Al ajustar una función cuadrática a través de los valores del punto mínimo y los dos puntos adyacentes al mismo, arriba y abajo, y luego encontrar la ubicación del mínimo de esta función, se obtiene una estimación del desplazamiento vertical de subpíxeles; repetir de manera similar en la dirección horizontal proporciona una posición completa de subpíxel. (Este método de ejemplo supone que no hay acoplamiento entre las direcciones vertical y horizontal).

Un método alternativo muy rápido (y eficaz para imágenes grandes) para determinar el registro de dos imágenes es llevar a cabo una correlación de fase en el dominio de la frecuencia. Este es un método bien probado para calcular desplazamientos de píxeles enteros que se ha extendido recientemente para incorporar desplazamientos de subpíxeles.

Si se sabe que dos imágenes son idénticas excepto por una traslación, es posible escribir una en función de las coordenadas que se desplazan en una cantidad fija en relación con las coordenadas de la otra. La matriz de correlación de fase se define como el espectro de potencia cruzada normalizado entre las transformadas de Fourier de esas funciones cuando así está escrito. Tomar la transformada inversa de Fourier de la matriz de correlación de fase produce una función delta centrada en la traslación y, por lo tanto, produce la traslación misma.

Típicamente, en el caso del desplazamiento de píxeles enteros, el método de correlación de fase proporciona un pico mucho más fuerte y más detectable que el obtenido a través de la correlación espacial; sin embargo, cuando se trata de desplazamientos de píxeles fraccionados, el pico de la función delta se extiende sobre múltiples píxeles, lo que hace que la determinación del desplazamiento sea imprecisa.

Un método para superar este problema es sobremuestrear las imágenes a una resolución más alta antes de llevar a cabo la correlación de fase; sin embargo, esto aumentará drásticamente la carga de cálculo. El enfoque adoptado en este ejemplo es resolver el problema en el dominio de la frecuencia y, por lo tanto, eliminar la necesidad de calcular una transformada inversa de Fourier. En el dominio de la frecuencia, la única variable relevante es el desplazamiento de fase, que contiene los dos parámetros desconocidos de la traslación. El desplazamiento de fase, cuando se desenvuelve de la envoltura inherente 2*pi, forma un plano que pasa a través del origen y, por lo tanto, desde este plano se pueden determinar los valores de los parámetros de la traslación.

Un tercer enfoque es llevar a cabo el registro de la imagen al mismo tiempo que se optimiza la imagen de súperresolución con un método iterativo. Suponiendo un registro inicial, que podría ser sencillamente que cada imagen tiene desplazamiento cero, o usando uno de los métodos anteriores para proporcionar una estimación preliminar, se construye una imagen de súper-resolución inicial usando el método de apilamiento que se describe a continuación. A partir de esta estimación de la escena del mundo real, se puede aplicar el modelo de observación, sin ruido ni términos borrosos, para aproximar las imágenes de LR originales. Esto equivale a llevar a cabo promedios sobre bloques de píxeles de alta resolución (HR) para estimar los valores de píxeles de LR. Estas imágenes de LR estimadas se pueden comparar con las imágenes de LR originales y el registro se puede ajustar hasta que se minimice alguna medida de coste.

Después de generar una estimación del registro de la imagen, se puede construir una primera aproximación a una imagen de súper-resolución apilando las imágenes, una encima de la otra, contabilizando los desplazamientos de píxeles relevantes. Se elige un factor de mejora de resolución para que sea un entero m, mayor que la unidad, y cada píxel de LR se divide en mxm píxeles de HR, que es equivalente a la ampliación de la imagen por un factor de m usando la interpolación del vecino más cercano. La figura 1 muestra un ejemplo de ese proceso, con m=4. La figura 1(a) muestra una cuadrícula de 2x2 de ejemplo de píxeles de baja resolución. La figura 1(b) muestra la cuadrícula de 8x8 correspondiente de píxeles de alta resolución, siguiendo la interpolación del vecino más cercano. El valor de cada píxel de la cuadrícula de LR se asigna a un bloque de 4x4 de píxeles de la cuadrícula de HR.

El desplazamiento traslacional se ha calculado en la escala de LR y, por lo tanto, también se debe multiplicar por m para escalarlo a la cuadrícula de HR. Luego se redondea al entero más cercano, produciendo un nuevo vector de desplazamiento. (En el caso de un desplazamiento de no-entero, es posible llevar a cabo la interpolación de imágenes al píxel entero más cercano; sin embargo, eso tiene la desventaja de que puede introducir información que no estaba presente en la escena original).

Cada imagen de LR ampliada es trasladada posteriormente por el vector de desplazamiento traslacional relevante. Como ejemplo, la figura 2 muestra dos cuadrículas de HR de 8x8 combinadas después de la traslación de la segunda cuadrícula en relación con la primera por dos columnas de píxeles de ancho y una fila hacia abajo. Como se puede observar en la figura 2, la región de superposición entre imágenes es más pequeña que cada imagen de LR en sí misma y, por lo tanto, no se obtiene en toda la imagen información adicional para el propósito de una súperresolución. Por lo tanto, se elige cómo se tratan las regiones límite en el algoritmo de SR, con opciones que comprenden:

• Tomar solo la región de la imagen de HR en la que se solapan todas las imágenes de LR; con un número considerable de imágenes de LR y un amplio desplazamiento de traslación esto podría dar como resultado una imagen con una cobertura considerablemente menor que las imágenes originales;

• Tomar todos los píxeles, incluyendo todas las regiones de límite, esto podría dar como resultado una imagen mucho más grande que la imagen original; o

• Tomar solo los píxeles de la imagen original (es decir, la primera imagen)

En todo el trabajo que sigue, se elige la tercera opción, tomar solo los píxeles que están presentes en la imagen original. La imagen de HR en este caso tiene píxeles alrededor del límite que no tienen píxeles que contribuyan de todas las imágenes de LR y también se descarta la información de los píxeles de LR que quedan fuera de la imagen original. Sin embargo, este método permite que la imagen súper-resuelta tenga un tamaño conocido, independientemente de los desplazamientos de traslación, y permite una comparación fácil con las imágenes de LR.

La imagen de súper-resolución se forma sencillamente promediando los píxeles de HR en cada ubicación, teniendo en cuenta cuántas de las imágenes de LR contribuyen a cada píxel. La imagen de súper-resolución resultante es una representación borrosa de la escena del mundo real, resultante del desenfoque de imagen del sistema óptico y la turbulencia atmosférica, pero también del desenfoque de imagen inherente al proceso de súper-resolución de apilamiento simple, como se muestra en la figura 3. En la figura 3, un único píxel en la ubicación (3,3) en una cuadrícula de 7x7 (de alta resolución) se muestrea hacia abajo por un factor de escala de dos, produciendo cuatro imágenes de baja resolución, cada una de las cuales se muestra en una cuadrícula de muestra de 3x3. El proceso de muestreo hacia abajo toma un parche de 2x2 de la imagen de HR y promedia los valores para formar el valor de píxel de LR. Las cuatro muestras que corresponden a desplazamientos de (0,0) (es decir, sin desplazamiento), (1,0) (es decir, desplazamiento por una fila), (0,1) (es decir, desplazamiento por una columna) y (1,1), es decir desplazamiento por una fila y una columna. Esos son todos los posibles desplazamientos de subpíxeles, ya que cualquier desplazamiento adicional da como resultado un desplazamiento de entero en la cuadrícula de baja resolución y, por lo tanto, no hay información adicional para ayudar a la súper-resolución. En las cuatro muestras de 3x3, el píxel ocurre en la ubicación (2,2), (2,1), (1,2) y (1,1), respectivamente. La aplicación de la técnica de apilamiento simple de súper-resolución ubica con precisión el píxel en su ubicación (3, 3) en la cuadrícula de 7x7, pero la imagen del píxel se extiende a los nueve píxeles inmediatamente adyacentes a esa ubicación. Si se considera que el píxel original tiene un valor de intensidad de 16, el proceso de muestreo y desenfoque de imagen de súper-resolución puede entenderse como sigue:

El desenfoque de imagen se reduce o elimina mediante la aplicación de algoritmos de enfoque de imágenes borrosas tradicionales, como un filtro Wiener, el algoritmo Lucy Richardson o la de convolución ciega, utilizando la función de dispersión de puntos de la súper-resolución de apilamiento simple.

Un modo de realización de ejemplo de la invención se describirá ahora con más detalle (figura 4). Un generador 410 de imágenes -por ejemplo una señal de imagen alimentada desde una cámara digital montada en un vehículo aéreoproporciona un flujo de imágenes. Las imágenes respectivas de ese flujo se extraen mediante un capturador 420 de cuadro y se proporcionan a un módulo 430 de extracción de Región de Interés. En una primera etapa del método, el módulo 430 de extracción de ROI interactúa con un usuario, a través de una Interfaz 440 Gráfica de Usuario, para definir una región de interés. En pasadas posteriores, la región de interés se identifica utilizando la información de desplazamiento de entero proporcionada por una calculadora 450 de desplazamiento. El extractor 430 de ROI suministra la ROI a un correlacionador 460 cruzado y también la almacena en una pila 470. Un módulo 480 de súper-resolución recupera ROIs almacenadas de la pila 470 y, utilizando información de desplazamiento fraccional de la calculadora 450 de desplazamiento, crea una imagen súper-resuelta, que se presenta en una pantalla 490 de visualización a un usuario. La imagen también se pasa a un módulo 500 de des-resolución, que a su vez pasa una imagen no resuelta al correlacionador 460 cruzado. La salida del correlacionador 460 cruzado se pasa a la calculadora 450 de desplazamiento.

El método de ejemplo se describirá ahora con más detalle, con referencia a la figura 5. Se carga (etapa 510) un cuadro de imagen por el capturador 420 de cuadro del generador 410 de imágenes. El cuadro de imagen tiene la forma de una matriz de píxeles Si esta es la primera etapa del método (etapa 520 de decisión), un usuario usa la GUI 440 para identificar la ubicación de un objeto objetivo en el cuadro de la imagen. El usuario define (etapa 530) en el cuadro de imagen una porción que es una región de interés que incluye el objeto objetivo. Normalmente, la porción de cuadro serán los píxeles que componen el objeto objetivo, junto con un pequeño borde que rodea el objeto objetivo, proporcionando un margen en el cuadro, para permitir el movimiento futuro del objeto en los cuadros posteriores. Los píxeles correspondientes a la porción de cuadro identificada (es decir, la región de interés) son extraídos por el extractor 430 de ROI a partir del cuadro y se almacenan para su posterior procesamiento, colocándolos (etapa 540) al final de una pila 470 de procesamiento de imágenes.

Un módulo 480 de súper-resolución recupera las imágenes de la pila 470 y construye (etapa 550) una imagen súperresuelta. En la primera pasada del método, solo se ha almacenado una porción de cuadro, y así en esta primera pasada la imagen "súper-resuelta" es de hecho idéntica a la primera porción de cuadro. La imagen súper-resuelta se envía (etapa 560) a la pantalla 490 de visualización. Se calcula (etapa 570) una imagen 575 "no resuelta", mediante un módulo 500 de des-resolución, a partir de la imagen "súper-resuelta", para usar en pasadas posteriores; de nuevo, en la primera pasada, la imagen 575 "no resuelta" es idéntica a la primera porción de cuadro.

Después de completar la primera pasada, el método comienza nuevamente para una segunda pasada.

El capturador 420 de cuadro carga (etapa 510) un segundo cuadro de imagen. El extractor 430 de ROI extrae (etapa 580) una porción de cuadro de trabajo del segundo cuadro de imagen. La porción de cuadro de trabajo se extrae de la ubicación aproximada del objeto objetivo, en este ejemplo, el mismo conjunto de ubicaciones de píxeles que se extrajeron para formar la primera porción de cuadro.

A continuación, la porción de cuadro de trabajo se correlaciona (etapa 590) de forma cruzada, en el correlacionador 460 cruzado, con la imagen no resuelta producida por el módulo 500 de des-resolución en la primera pasada del método. El cambio de posición del objetivo en la porción de cuadro de trabajo en comparación con la posición del objetivo en la imagen de primera pasada no resuelta se calcula (etapa 600) de este modo mediante la calculadora 450 de desplazamiento. Ese cambio de posición se divide en un desplazamiento de un número entero de píxeles (es decir, un desplazamiento 610 de entero) y un desplazamiento de una fracción de píxel (es decir, un desplazamiento 620 fraccional). El desplazamiento 610 de entero se usa para definir una ubicación para una segunda porción de cuadro, es decir, la ubicación de la primera porción de cuadro es trasladada por el desplazamiento 610 de entero para dar la ubicación para una segunda porción de cuadro. Se extraen (etapa 630) los píxeles que forman la segunda porción de cuadro, correspondiente a una región de interés reubicada. Se realiza (etapa 640 de decisión) una evaluación para determinar si la pila 470 está llena; si no es así, los píxeles que forman la segunda porción de cuadro sencillamente se agregan (etapa 540) a la pila 470 de procesamiento de imágenes. Por lo tanto, se han almacenado dos porciones de cuadro en la pila 470, después de la segunda pasada del método.

Se construye (etapa 550) una imagen súper-resuelta mediante el módulo 480 de construcción de súper-resolución a partir de las porciones de cuadro almacenadas en la pila 470, y se envía (etapa 560) a la pantalla 490 de visualización para un usuario. Se calcula (etapa 570) una imagen 575 no resuelta a partir de la imagen súperresuelta por el módulo 500 de des-resolución, y es usada (etapa 590) en el correlacionador 460 cruzado para determinar la ubicación de porciones de cuadro posteriores.

En pasadas posteriores, se repite el método llevado a cabo en la segunda pasada, usando cada vez la ubicación de la porción de cuadro de la pasada anterior como la ubicación de la porción de cuadro de trabajo para la pasada actual, y usando la imagen 575 no resuelta de la etapa anterior en el correlacionador 460 cruzado para determinar el cambio en la posición del objetivo. Por tanto, se carga (etapa 510) un cuadro de imagen adicional. Se extrae (etapa 580) una porción de cuadro de trabajo del cuadro de imagen adicional. La porción de cuadro de trabajo se extrae de la ubicación aproximada del objeto objetivo, en este ejemplo, el mismo conjunto de ubicaciones de píxeles que se extrajeron para formar la porción de cuadro anterior.

En la etapa 590, la porción de cuadro de trabajo se correlaciona de forma cruzada con la imagen 575 no resuelta de la etapa anterior del método. De este modo, se obtiene el cambio en la posición del objetivo en la porción de cuadro de trabajo en comparación con la posición del objetivo en la imagen 575 no resuelta. Ese cambio de posición se divide (etapa 600) en un desplazamiento de un número entero de píxeles (es decir, un desplazamiento 610 de entero) y un desplazamiento de una fracción de píxel (es decir, un desplazamiento 620 fraccional). El desplazamiento 610 de entero se usa para definir una ubicación para una porción de cuadro adicional, es decir, la ubicación de la porción de cuadro anterior es trasladada por el desplazamiento 610 de entero para dar la ubicación para la porción de cuadro adicional. Se extraen (etapa 630) los píxeles que forman la porción de cuadro adicional, correspondiente a una región de interés reubicada. Se realiza (etapa de decisión 640) una evaluación para determinar si la pila 470 está llena; si no es así, los píxeles que forman la porción de cuadro adicional sencillamente se agregan (etapa 540) a la pila 470 de procesamiento de imágenes.

La pila 470 es de un tamaño finito; En este ejemplo, puede almacenar 20 porciones de cuadro. Si la etapa 640 de decisión determina que la pila 470 está llena, la porción de cuadro más antigua en la pila 470 se descarta (etapa 650), antes de que la porción de cuadro adicional se agregue (etapa 540) a la pila 470.

Se construye (etapa 550) una imagen súper-resuelta a partir de las porciones de cuadro almacenadas en la pila 470, y se envía (etapa 560) a un usuario. Se calcula (etapa 570) una imagen 575 no resuelta a partir de la imagen súperresuelta, y se usa en la etapa 590 de correlación cruzada para la determinación de la ubicación de porciones de cuadro posteriores.

Se aplicó un método de acuerdo con un modo de realización de ejemplo de la invención a secuencias infrarrojas de objetivos terrestres capturados usando una cámara CEDIP de onda larga refrigerada. Cuando se carga el primer cuadro de la secuencia, mediante el capturador 420 de cuadro, se le solicita al usuario que seleccione en la GUI 440 las esquinas superior izquierda e inferior derecha de una ventana que contiene el objetivo que se debe rastrear y súper-resolver. Posteriormente, el extractor 430 de ROI recorta esta ventana del cuadro, generando una primera imagen de LR, y también se recorta del siguiente cuadro, generando el segundo cuadro de LR, y estos dos cuadros entonces se registran. Si hay más de un desplazamiento de píxel entero entre los cuadro primero y segundo, la ventana de recorte para el segundo cuadro es movida por la cantidad de píxeles enteros y se recorta nuevamente para obtener una imagen de LR en la que el objetivo solo se ha movido por un desplazamiento de subpíxel con respecto al cuadro inicial. Este proceso se repite para los cuadros posteriores para obtener una pila de imágenes de LR en las que el objetivo solo tiene desplazamientos de subpíxeles a partir de la imagen original. El proceso se basa en que la velocidad de cuadros de la secuencia de video es mucho mayor que el movimiento del objetivo, de modo que el objetivo se captura completamente en cada ventana recortada para permitir que el registro funcione de manera fiable. El tamaño de la pila de imágenes (o búfer) que debe crearse es otro parámetro del problema y debería ser mayor si se buscan aumentos mayores. Una vez que la pila de imágenes está llena, entonces, cuando se mueve a un nuevo cuadro, la imagen más antigua de la pila se descarta y se reemplaza con una nueva ventana recortada y la súper-resolución se repite en la nueva pila de imágenes.

Los resultados de varias secuencias infrarrojas en las que una cámara estacionaria registra un objetivo en movimiento se muestran en las figuras 6 a 9. En cada una de estas imágenes, el cuadro de la izquierda muestra la escena completa con un cuadro en la región de interés rastreada, la imagen superior derecha muestra la región de interés ampliada a la escala de súper-resolución usando la interpolación del vecino más cercano, y la imagen inferior derecha muestra la imagen súper-resuelta. El tamaño de la pila en la figura 6 es de 25 imágenes y el factor de escala (aumento) es 5; el tamaño de la pila en las figuras 7 a 9 es de 100 imágenes y el factor de escala es 10.

En cada una de las figuras 6 a 9, se logra una mejora considerable en la resolución mediante el método de ejemplo de acuerdo con la invención.

Los inventores han demostrado la mejora de la resolución espacial de una imagen utilizando múltiples vistas temporales de una escena, en la que hay desplazamientos de subpíxeles entre vistas. Se ha demostrado que es posible mejorar en gran medida la cantidad de detalles contenidos dentro de una imagen.

Aunque la presente invención se ha descrito e ilustrado con referencia a modos de realización concretos, los expertos en la técnica reconocerán que la invención se presta a muchas variaciones diferentes que no se ilustran específicamente en el presente documento. Solo a modo de ejemplo, ahora se describirán ciertas posibles variaciones.

En el modo de realización de ejemplo descrito anteriormente, el usuario identifica el objetivo en el cuadro de imagen, y el usuario define la región de interés para la que se extrae la porción de imagen. En modos de realización alternativos, una o ambas de esas operaciones están automatizadas. Por ejemplo, el objetivo puede identificarse en el cuadro de imagen mediante un algoritmo de reconocimiento de objetivo. De manera similar, la región de interés, y por lo tanto la porción de cuadro extraída, que comprende el objeto objetivo, puede ser definida por un ordenador alrededor del objeto objetivo una vez que se ha identificado la ubicación del propio objeto objetivo, ya sea automáticamente o por un usuario. En otro modo de realización de ejemplo, un usuario define la región de interés después de que un algoritmo de reconocimiento de objetivo haya identificado el objetivo.

En el modo de realización de ejemplo descrito anteriormente, los cálculos para producir una imagen "súper-resuelta" y "no resuelta" se llevan a cabo incluso en la primera pasada del método, lo que resulta en que las primeras imágenes "súper-resueltas" y "no resueltas" sean idénticas a la primera porción de cuadro almacenada. En modos de realización alternativos, los cálculos de súper-resolución y/o des-resolución se omiten para la primera pasada. En modos de realización alternativos, los cálculos de súper-resolución y des-resolución se omiten en cada pasada hasta que un número mínimo predefinido de porciones de imagen esté en la pila, por ejemplo, hasta que la pila esté llena.

En el modo de realización de ejemplo descrito anteriormente, el objetivo es de movimiento relativamente lento, y la región de interés definida durante la primera pasada es lo suficientemente grande como para que la porción de cuadro de trabajo sea el mismo conjunto de ubicaciones de píxeles que se extrajeron de la primera porción de cuadro. En modos de realización alternativos, en los que el objetivo se mueve más rápido, o en los que se define una región de interés más pequeña, la ubicación probable del objetivo se estima a partir del supuesto movimiento del objetivo, o se mide utilizando algún otro algoritmo de rastreo, de modo que la porción de cuadro de trabajo es una región de interés alrededor de la ubicación probable estimada del objetivo. El cambio en la posición del objetivo en la porción de cuadro de trabajo en comparación con la posición del objetivo en la imagen no resuelta se obtiene teniendo en cuenta, así como el cambio en la posición del objetivo dentro de la porción de cuadro, el desplazamiento en la ubicación de la propia porción de cuadro.

En el modo de realización de ejemplo descrito anteriormente, las imágenes súper-resueltas se envían a un usuario. En modos de realización alternativos, las imágenes súper-resueltas se pasan a una unidad automatizada adicional, donde se usan en procesos automatizados adicionales.

Cuando en la descripción anterior, se mencionan enteros o elementos que tienen equivalentes conocidos, evidentes o previsibles, entonces dichos equivalentes se incorporan en el presente documento como si se establecieran individualmente. Ha de hacerse referencia a las reivindicaciones para determinar el verdadero alcance de la presente invención, que ha de interpretarse de manera que abarque cualquiera de esos equivalentes. El lector también reconocerá que los enteros o características de la invención que se describen como preferibles, ventajosos, convenientes o similares son opcionales y no limitan el alcance de las reivindicaciones independientes. Además, ha de entenderse que dichos enteros o características opcionales, aunque pueden ser beneficiosos en algunos modos de realización de la invención, pueden no ser deseables, y por lo tanto pueden estar ausentes, en otros modos de realización.

Claims (15)

REIVINDICACIONES

1. Un método de procesamiento de imágenes que comprende las etapas de:

(i) proporcionar una pila para almacenar un número predeterminado de porciones de cuadro;

(ii) obtener (510) una imagen que incluye un objeto objetivo, formando la imagen una matriz de píxeles;

(iii) extraer (580) una porción de cuadro de la imagen, siendo la porción de cuadro al menos una porción de los píxeles que forman la imagen, que corresponde a una región de interés en la imagen, la región de interés que comprende el objeto objetivo; la porción de cuadro que tiene una fase asociada, representativa del desplazamiento de traslación de subpíxeles de la región de interés definida por la porción de cuadro,

(iv) almacenar (650, 540) la porción de cuadro en la pila, el almacenamiento que incluye descartar una porción de cuadro almacenada previamente más antigua de la pila si el número de porciones de cuadro almacenadas en la pila ha alcanzado el número predeterminado;

(v) repetir las etapas (ii) a (iv) una pluralidad de veces; y

(vi) calcular (550) una imagen súper-resuelta a partir de la pluralidad de porciones de cuadro almacenadas, que incluye una subetapa de promediar todas las porciones de cuadro en la pila que tienen una fase esencialmente igual a una fase determinada.

2. Un método como se reivindica en la reivindicación 1, en el que el objeto objetivo es identificado (530) en la primera imagen por un usuario o un algoritmo de reconocimiento de objetivo.

3. Un método como se reivindica en la reivindicación 1 o la reivindicación 2, en el que la región de interés es definida por un usuario o por un algoritmo en una imagen obtenida (580) del generador de imágenes y luego calculada en imágenes posteriores.

4. Un método como se reivindica en cualquiera de las reivindicaciones anteriores, en el que se calcula (600) un desplazamiento en la posición del objetivo en imágenes sucesivas, y la parte entera del desplazamiento calculado se usa para desplazar (630) la región de interés en la imagen posterior en relación con la posición de la región de interés en la imagen anterior.

5. Un método como se reivindica en cualquiera de las reivindicaciones anteriores, en el que se extrae una porción de cuadro de trabajo de cada imagen posterior.

6. Un método como se reivindica en cualquiera de las reivindicaciones anteriores, en el que el desplazamiento de traslación entre un par de imágenes se calcula (600) mediante una correlación.

7. Un método como se reivindica en cualquiera de las reivindicaciones anteriores, en el que se calcula (600) un desplazamiento de traslación entre un primer par de porciones de cuadro y el desplazamiento de traslación calculado resultante se usa para calcular una primera imagen súper-resuelta derivada de un primer conjunto de porciones de cuadro que incluyen dicho primer par de porciones de cuadro, y luego se calcula una segunda imagen súper-resuelta a partir de un segundo conjunto de porciones de cuadro, diferente del primer conjunto, pero que aún incluye dicho primer par de porciones de cuadro, en donde la segunda imagen súper-resuelta se calcula utilizando el desplazamiento de traslación previamente calculado.

8. Un método como se reivindica en cualquiera de las reivindicaciones anteriores, en el que el cálculo (550) de la imagen súper-resuelta incluye actualizar una imagen súper-resuelta calculada en una iteración anterior cambiando en el cálculo solo las fases que han cambiado en un nuevo cuadro.

9. Un método como se reivindica en cualquiera de las reivindicaciones anteriores, en el que el cálculo (550) de una imagen súper-resuelta a partir de la pluralidad de porciones de cuadro almacenadas incluye la actualización de una imagen súper-resuelta calculada en una iteración previa eliminando (650) el cuadro más antiguo de su promedio de fase correspondiente, agregando (540) el nuevo cuadro a su promedio de fase correspondiente y actualizando el promedio de fase sobre las fases con las dos fases modificadas.

10. Un método como se reivindica en cualquiera de las reivindicaciones anteriores, en el que el cálculo (550) de la imagen súper-resuelta incluye una etapa de enfoque de imágenes borrosas.

11. Un método como se reivindica en cualquiera de las reivindicaciones anteriores, en el que el cálculo (550) de la imagen súper-resuelta se omite en cada iteración hasta que se haya almacenado en la pila un número mínimo predefinido de porciones de cuadro.

12. Un método como se reivindica en cualquiera de las reivindicaciones anteriores, en el que las imágenes súperresueltas se generan en tiempo real.

13. Un aparato de procesamiento de imágenes que comprende:

(i) un generador (410) de imágenes para obtener una imagen que incluye un objeto objetivo, estando formada la imagen por una matriz de píxeles;

(ii) una pila (470) para almacenar un número predeterminado de porciones de cuadro;

(iii) un procesador de imagen configurado para

a. extraer (580) una porción de cuadro de la imagen, siendo la porción de cuadro al menos una porción de los píxeles que forman la imagen, correspondiente a una región de interés en la imagen, la región de interés que comprende el objeto objetivo, la porción de cuadro que tiene una fase asociada, representativa del desplazamiento de traslación de subpíxeles de la región de interés definida por la porción de cuadro;

b. almacenar (540, 640, 650) la porción de cuadro en la pila, el almacenamiento que incluye descartar una porción de cuadro almacenada previamente más antigua de la pila si el número de porciones de cuadro almacenadas en la pila ha alcanzado el número predeterminado; y

c. calcular (550) una imagen súper-resuelta a partir de una pluralidad de porciones de cuadro almacenadas, incluyendo el promedio de todas las porciones de cuadro en la pila que tienen una fase esencialmente igual a una fase determinada.

14. Un buscador de misiles que incluye un aparato de procesamiento de imágenes de acuerdo con la reivindicación 13.

15. Un producto de programa informático configurado para producir, cuando se ejecuta el programa informático, un aparato de procesamiento de datos para:

(i) recibir (510) una imagen que incluye un objeto objetivo, estando formada la imagen por una matriz de píxeles; (ii) extraer (580) una porción de cuadro de la imagen, siendo la porción de cuadro al menos una porción de los píxeles que forman la imagen, correspondiente a una región de interés en la imagen, la región de interés que comprende el objeto objetivo, la porción de cuadro que tiene una fase asociada, representativa del desplazamiento de traslación de subpíxeles de la región de interés definida por la porción de cuadro;

(iii) almacenar (540) la porción de cuadro en una pila para almacenar un número predeterminado de porciones de cuadro, el almacenamiento que incluye descartar una porción de cuadro almacenada previamente más antigua de la pila si el número de porciones de cuadro almacenadas en la pila ha alcanzado el número predeterminado;

(iv) repetir las etapas (i) a (iii) una pluralidad de veces; y

(v) calcular (550) una imagen súper-resuelta a partir de la pluralidad de porciones de cuadro almacenadas, incluyendo el promedio de todas las porciones de cuadro en la pila que tienen una fase esencialmente igual a una fase determinada.