ES2258311T3 - Sistema y procedimiento para la estabilizacion electronica de imagenes. - Google Patents
Sistema y procedimiento para la estabilizacion electronica de imagenes.Info
- Publication number
- ES2258311T3 ES2258311T3 ES99204323T ES99204323T ES2258311T3 ES 2258311 T3 ES2258311 T3 ES 2258311T3 ES 99204323 T ES99204323 T ES 99204323T ES 99204323 T ES99204323 T ES 99204323T ES 2258311 T3 ES2258311 T3 ES 2258311T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- frames
- sequence
- frame
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
Abstract
El sistema y el procedimiento es para la estabilización electrónica de una imagen producida por un dispositivo electrónico de imagen. La entrada puede ser cualquier secuencia de tramas de imagen desde una fuente de imagen, tal como una videocámara o un dispositivo de imagen de infrarrojos o rayos X, radar, o desde un medio de almacenamiento como la memoria de disco de un ordenador, cinta de vídeo o un generador de gráficos por ordenador. Las imágenes de varias fuentes se pueden usar cuando éstas se deban estabilizar unas con respecto a otras. Un bucle de realimentación (104) y una segunda etapa de combamiento de la imagen (116) consiguen un alineamiento preciso de la imagen como parte del procedimiento de estimación del desplazamiento. La salida del sistema de estabilización es una secuencia de imagen modificada en la que las componentes no deseadas de movimiento de la imagen han sido reducidas o eliminadas, o en la que se ha introducido un nuevo movimiento de una forma deseada. La salida puede incluir también información que se deriva de la secuencia de entrada, tal como vectores de desplazamiento estimados trama a trama o campos de flujo de movimiento, y derivados de las secuencias de imagen con ruido reducido o cambio resaltado.
Description
Sistema y procedimiento para la estabilización
electrónica de imágenes.
La presente invención se refiere a un
procedimiento y aparato para la estabilización electrónica de
secuencias de imágenes utilizando el procesado de imágenes digitales
para eliminar un componente no deseado del movimiento de trama a
trama.
La necesidad de estabilizar imágenes se plantea
en muchas aplicaciones, que incluyen la industria cinematográfica,
en las que se deben eliminar fluctuaciones no deseadas entre tramas
consecutivas de vídeo base, los operadores de cámaras para noticias
de televisión deben estabilizar vídeo de cámaras de mano en
informativos efectuados en localizaciones fuera del estudio, el
vídeo de cámaras de vigilancia montadas sobre plataformas de
balanceo o giratorias, o sobre vehículos en movimiento, debe ser
estabilizado antes del análisis por ordenador o antes de su
visualización por las personas, y el vídeo de vehículos en
movimiento debe estabilizarse antes de la compresión de imágenes o
la presentación ante un operador remoto (teleoperación) o ante
sistemas de visión por ordenador para conducción automática.
Se utilizan plataformas estabilizadas
mecánicamente de diversos tipos en vigilancia para compensar el
movimiento del reproductor de imágenes, pero no el de la imagen. En
la Figura 1, se muestra un reproductor de imágenes 10 montado sobre
una plataforma estabilizada mecánicamente 12. La salida
I_{in}(t)
en el conductor 14 del reproductor de imágenes 10 se visualiza en un monitor 16. La plataforma 12 habitualmente utiliza giroscopios para detectar la rotación de la plataforma, y motores para compensar dicha rotación. Un usuario puede guiar el eje de contemplación de la imagen (en dirección horizontal y vertical e inclinación) y aplicar ampliación por medio de una señal de control electrónica 18 y accionamientos por motor de la plataforma 12.
en el conductor 14 del reproductor de imágenes 10 se visualiza en un monitor 16. La plataforma 12 habitualmente utiliza giroscopios para detectar la rotación de la plataforma, y motores para compensar dicha rotación. Un usuario puede guiar el eje de contemplación de la imagen (en dirección horizontal y vertical e inclinación) y aplicar ampliación por medio de una señal de control electrónica 18 y accionamientos por motor de la plataforma 12.
Puede utilizarse estabilización electrónica con
detectores de movimiento del reproductor de imágenes para compensar
el movimiento del reproductor de imágenes, pero no el movimiento de
las imágenes. En la Figura 2, un reproductor de imágenes 10,
montado sobre una plataforma estabilizada mecánicamente 12, tiene
una salida I_{in}(t) en el conductor 14. El movimiento
residual de la plataforma 12 se mide utilizando detectores 20. Los
desplazamientos detectados d(t) en el conductor 22 son
convertidos en parámetros de transformación p(t) en el
conductor 24 por un módulo de transformación 26. Los parámetros
p(t) 24 son utilizados por el dispositivo de deformación de
imágenes 28 para generar una imagen de salida estabilizada
I_{out}(t)30, en la que el movimiento del
reproductor de imágenes ha sido compensado, para su visualización en
el monitor 16.
En la Fig. 3, se muestra un sistema para la
estabilización electrónica con procesado digital para detectar el
movimiento de imágenes. El sistema incluye un reproductor de
imágenes 10 que tiene una salida I_{in}(t) 14 que se
almacena en una memoria de tramas de imagen 32 que conserva la
imagen hasta que se han calculado y transmitido parámetros de
deformación adecuados a un dispositivo de deformación de imágenes 28
para la estabilización. (Esta memoria de tramas no es necesaria si
la deformación efectuada en un tiempo de trama se basa en los
parámetros calculados en el anterior tiempo de trama.) Para reducir
la memoria, el módulo 34 puede extraer un grupo de características
del vídeo base. Se proporciona una segunda memoria de tramas de
imagen 36 para conservar las características extraídas de la imagen
anterior y permitir su comparación con la presente imagen. Las
características f(t) de el conductor 38 extraídas en el
tiempo t se comparan con las características
f(t-1) de el conductor 40 extraídas en el
tiempo (t-1) en el calculador de desplazamientos 42,
que utiliza el procesado de imágenes digitales para determinar el
movimiento de imagen a imagen y generar desplazamientos d(t)
en el conductor 44. Una cámara disponible en el mercado utiliza un
conjunto de 36 pixels como características a comparar entre tramas.
Los desplazamientos detectados d(t) en el conductor 44 son
utilizados por el dispositivo de deformación de imágenes 28 para
crear una imagen de salida estabilizada
I_{out}(t)30, en la que el movimiento de imagen ha
sido compensado, para su visualización en un monitor 16. Dichos
sistemas conocidos por el inventor no pueden compensar el
ampliación, la rotación, y el paralaje y/o distorsión de la
lente.
En la Fig. 4, se muestra un sistema de
seguimiento electrónico de objetivos que utiliza correlación para
ubicar un objetivo dentro del campo de visión de un reproductor de
imágenes y, a continuación, orienta el reproductor de imágenes para
centrar el objetivo y, por lo menos de forma aproximada, estabilizar
la forma del objetivo. El sistema incluye un reproductor de imágenes
10 que tiene una imagen de salida I_{in}(t) 14 que se
compara en un módulo de correlación 46 para ajustar una forma de
referencia almacenada en el mismo con la imagen 14. La forma de
referencia se selecciona en el módulo de secuencias de vídeo 48 a
partir de una trama anterior almacenada en la memoria 50. La forma
de referencia puede representar un objeto estacionario de la escena
o un objeto en movimiento. La diferencia entre la imagen
I_{in}(t) y la forma de referencia proporciona información
de desplazamiento al módulo de transformación 26 que convierte esta
información para generar una señal y estabilizar la plataforma
12.
En la Fig. 5, se muestra un sistema para el
seguimiento electrónico de objetivos que utiliza la detección de
cambios. Un restador 62 determina la diferencia entre la imagen
actual I_{in}(t) y una imagen anterior
I_{in}(t-1) de la memoria de tramas 60, y
se hallan zonas con un cambio significativo. La información de
localización x(t) proporcionada por el módulo 64, se utiliza
para reencaminar el reproductor de imágenes 10 hacia el
mantenimiento de la imagen en un punto particular o en una
trayectoria particular de la imagen visualizada. Tal vez se prefiera
este planteamiento a un planteamiento basado en las formas cuando
los objetivos sean demasiado pequeños para ser detectados en base a
una coincidencia de formas, pero estén en movimiento, pudiéndose
utilizar este movimiento como base para la detección. En los
sistemas existentes, es necesario que el movimiento de la escena de
fondo sea pequeño para poder detectar el movimiento del
objetivo.
Burt et al. en Proceedings Of The Workshop
On Visual Motion, Irvine, CA, 20-22 de marzo, 889,
páginas 1-12, han dado a conocer procedimientos para
obtener una alineación de imágenes precisa mediante refinado
iterativo. Dichos procedimientos han sido utilizados para
aplicaciones como, por ejemplo, recuperación de la forma del terreno
y detección de objetivos en movimiento.
El documento WO 93/07585 da a conocer un
procedimiento para determinar un modelo para el movimiento del
detector de imágenes durante una escena y un modelo de estructura de
escena de la escena a partir de dos o más imágenes de la escena a
una resolución de imágenes determinada que comprende las etapas
siguientes:
(a) establecer los cálculos iniciales de los
modelos de escena local y de un modelo de movimiento de un detector
de imágenes;
(b) determinar un nuevo valor de uno de dichos
modelos minimizando la diferencia entre el error medido en las
imágenes y el error predicho por el modelo;
(c) restablecer los cálculos iniciales de los
modelos de escena local y del modelo de movimiento del detector de
imágenes utilizando el nuevo valor de uno de dichos modelos
determinado en la etapa (b);
(d) determinar un nuevo valor del segundo de
dichos modelos utilizando los cálculos de los modelos determinados
en la etapa (b) minimizando la diferencia entre el error medido en
las imágenes y el error predicho por el modelo;
(e) deformar una de las imágenes hacia la otra
imagen utilizando los cálculos actuales de los modelos en la
resolución de imagen determinada; y
(f) repetir las etapas (b), (c), (d) y (e) hasta
que las diferencias entre los nuevos valores de los modelos y los
valores determinados en la iteración anterior sean inferiores a un
cierto valor o hasta que hayan tenido lugar un número fijo de
iteraciones.
Un procedimiento de este tipo puede ser utilizado
en la estabilización de imágenes.
J.K.PAIK et al: "An adaptive motion
decision system for digital image stabilizer based on edge pattern
matching", IEEE Transactions on Consumer Electronics, Vol. 38, nº
3, agosto de 1992 (08-1992), páginas 607 a 615,
XP000311901 New York, USA. En el sistema de Paik et al, debe
determinarse una superficie de cálculo del movimiento (MEA) en
primer lugar en una posición adecuada sobre las imágenes con el fin
de calcular un vector de movimiento entre dos imágenes secuenciales,
denominadas las imágenes de referencia y comparada. A continuación
una parte de la MEA en la imagen de referencia, que es denominada el
bloque de cálculo del movimiento (MEB) es comparada con los MEB
correspondientes en la imagen comparada, cada uno de los cuales es
desplazado por el candidato vector de movimiento correspondiente. A
cada comparación del MEB de referencia y un MEB comparado, se
calcula un valor de correlación para el candidato vector de
movimiento correspondiente. Es seleccionado, de entre muchos
candidatos vector de movimiento, uno con correlación máxima para el
vector de movimiento, que corresponde al MEA predefinido, entre las
imágenes comparadas y de referencia. Para una valoración del vector
de movimiento más fidedigna, más de uno, por ejemplo M,
vectores de movimiento en diferentes posiciones, es decir MEA, son
calculados sobre la imagen, y son denominados vectores de movimiento
local (LMV). En el cálculo de los LMV, el sistema utiliza imágenes
de borde binarias en lugar de utilizar imágenes reales de bits
completos o imágenes filtradas de bits múltiples con el fin de
reducir el coste del hardware en el sentido tanto del cálculo como
del almacenamiento.
El vector de movimiento deseado entre los campos
comparado y de referencia, denominado vector de movimiento de campo
(FMV), se obtiene mediante el cálculo del promedio de manera
apropiada de los LMV. El sistema utiliza un método de cálculo de
promedio ponderado para generar el FMV, en el que las mediciones de
aislamiento y estabilidad determinan adaptativamente la ponderación
de cada LMV.
Con el fin de estabilizar más de dos imágenes
secuenciales, los FMV de los campos consecutivos deben acumularse
con respecto a la primera imagen de referencia, y el vector de
movimiento resultante es denominado vector de movimiento acumulado
(AMV). La dirección de lectura de la memoria de campo es calculada
mediante la utilización del AMV, y los datos correspondientes de la
memoria de campo son amplificados (o aumentados) con el fin de
eliminar límites inusuales.
Sería deseable ampliar la funcionalidad de un
sistema de estabilización de imágenes para que comprenda secuencias
de imágenes derivadas que sigan un objetivo utilizando la
información generada como subproducto del procedimiento de
estabilización mejorado.
Según un aspecto de la presente invención, se
proporciona un procedimiento de estabilización electrónica de
imágenes sensible a una secuencia de pares consecutivos
(Iin(t) e Iin(t-1)) de tramas de
imagen de forma digital, caracterizado porque dicho procedimiento
incluye las siguientes etapas: (a) emplear un bucle de
retroalimentación utilizado de forma iterativa y que comprende un
deformador de imágenes, un calculador de desplazamientos, un sumador
y una memoria para reducir un cálculo inicial de mayor error
(d(t;0)) de desplazamiento entre las imágenes representadas
por cada par de tramas de imagen de dicha secuencia a un cálculo
final de menor error (d(t;k)) de desplazamiento, y (b)
almacenar dicho cálculo final (d(t;k)) de desplazamiento en
dicha memoria; estando el procedimiento caracterizado porque
comprende además las etapas siguientes:
(c) determinar, a partir de la diferencia entre
cierta trama de imagen (Iin(t)) de cada uno de dichos pares
consecutivos de tramas de imagen con la otra trama
(Iwarp(t-1)) de las tramas deformadas en la
etapa (a) en alineación con la misma por el deformador, la
información posicional que indica la localización de un objetivo en
la imagen;
(d) convertir dicho cálculo final de
desplazamiento almacenado en dicha memoria y dicha información
posicional en parámetros de transformación de salida p(t)
según un modelo matemático dado que representa dichos cálculos
finales y la información posicional derivada de la secuencia de
tramas sobre las posiciones deseadas en la secuencia; y
(e) deformar cierta trama de imagen
(Iin(t)) de cada uno de dichos pares consecutivos de tramas
de imagen según dichos parámetros de transformación de salida
(p(t)), para estabilizar la secuencia de tramas de
imagen.
Según otro aspecto de la presente invención, se
proporciona un aparato de estabilización electrónica de imágenes
sensible a una secuencia de pares consecutivos (Iin(t),
Iin(t-1)) de tramas de imagen de forma
digital,
en el que dicho aparato comprende medios de
deformación de imágenes; un bucle de retroalimentación utilizado de
forma iterativa que incluye los medios de deformación de imágenes,
un calculador de desplazamientos, un sumador y una memoria, para
reducir un cálculo inicial de mayor error d(t;0) de
desplazamiento entre las imágenes representadas por cada par de
tramas de imagen de dicha secuencia a un cálculo final de menor
error d(t;k) de desplazamiento, almacenándose dicho cálculo
final de desplazamiento en dicha memoria; y caracterizado porque
comprende
medios para determinar, a partir de la diferencia
entre cierta trama de imagen (Iin(t)) de cada uno de dichos
pares consecutivos de tramas de imagen y la otra trama
(Iwarp(t-1)) de las tramas deformadas en la
etapa (a) en alineación con la misma mediante el deformador, la
información posicional que indica la localización de un objetivo en
la imagen;
medios para convertir dicho cálculo final de
desplazamiento (d(t;k)) almacenado en dicha memoria y la
información posicional en parámetros de transformación de salida
(p(t)) según un modelo matemático dado que representa dichos
cálculos finales y la información posicional derivada de la
secuencia de tramas sobre las posiciones deseadas en la secuencia;
y
empleando el aparato los medios de deformación de
imágenes para deformar cierta trama de imagen (Iin(t)) de
cada uno de dichos pares consecutivos de tramas de imagen según
dichos parámetros de transformación de salida (p(t)), para
estabilizar cierta trama de imagen.
Los elementos comunes a las diferentes Figuras
están designados con la misma identificación numérica en cada una
de las Figuras.
La Fig. 1 es un diagrama esquemático de una
plataforma estabilizada mecánicamente de técnica anterior;
La Fig. 2 es un diagrama esquemático de un
sistema de estabilización electrónica de técnica anterior con
detectores de movimiento del reproductor de imágenes;
La Fig. 3 es un diagrama esquemático de un
sistema de estabilización electrónica de técnica anterior con
procesado digital;
La Fig. 4 es un diagrama esquemático de un
sistema de técnica anterior para el seguimiento electrónico de
objetivos;
La Fig. 5 es un diagrama esquemático de un
sistema de técnica anterior para el seguimiento electrónico de
objetivos por medio de detección de cambio;
La Fig. 6 es un diagrama esquemático de un
sistema de estabilización electrónica de la presente invención;
La Fig. 7 es un diagrama esquemático de otro
sistema de estabilización electrónica de la presente invención;
La Fig. 8 es un diagrama esquemático de un
sistema para el procesado de movimiento de trama a trama
adaptativo;
La Fig. 9 es un diagrama esquemático de otro
sistema de estabilización que utiliza una forma de referencia
independiente, R;
La Fig. 10 es un diagrama esquemático de otro
sistema de estabilización que utiliza dos secuencias de
imágenes;
La Fig. 11 es un diagrama esquemático de un
sistema para localizar un objetivo;
La Fig. 12 y 13 ilustran procedimientos para
obtener los parámetros de transformación;
La Fig. 14 ilustra un procedimiento para generar
las pirámides gaussianas y laplacianas;
La Fig. 15 es un diagrama esquemático de un
circuito PYR-1; y
La Fig. 16 es un diagrama esquemático de una
forma de realización alternativa del sistema de estabilización
electrónica de la Fig. 6.
La presente invención es un sistema y un
procedimiento para estabilizar electrónicamente una imagen producida
por un dispositivo electrónico de reproducción de imágenes. La
entrada puede ser cualquier secuencia de tramas de imagen
I_{in}(t) de una fuente de imágenes como, por ejemplo, una
cámara de vídeo, un reproductor de imágenes de IR o rayos X, o un
radar, o de un medio de almacenado como, por ejemplo, memoria en
disco de ordenador, una cinta de vídeo o un generador de gráficos
por ordenador. La presente invención también puede utilizarse con
imágenes de diversas fuentes cuando éstas deben estabilizarse unas
respecto de las otras, siendo estabilizada una de las imágenes y
siendo utilizada la otra como referencia. La presente invención
utiliza un bucle de retroalimentación y una segunda etapa de
deformación de imágenes para llevar a cabo una alineación precisa de
las imágenes como parte del procedimiento del cálculo del
desplazamiento. La salida del sistema de estabilización es una
secuencia de imágenes modificada, I_{out}(t), en la que se
han reducido o eliminado los componentes no deseados del movimiento
de imágenes, o en la que se ha introducido un movimiento nuevo de
forma deseada. La salida también puede incluir información obtenida
a partir de la secuencia de entrada como, por ejemplo, vectores de
desplazamiento de trama a trama o campos de flujo de movimiento
estimados, y secuencias de imágenes derivadas con ruido reducido o
cambio destacado.
En la Fig. 6, un sistema de estabilización
electrónica 100 de la presente invención comprende un reproductor
de imágenes 10 que tiene una salida I_{in}(t), una memoria
de tramas de imagen 32 para almacenar la imagen
I_{in}(t-1), y una segunda memoria de
tramas 36 para almacenar una imagen anterior
I_{in}(t-1). El contenido
I_{in}(t) de la memoria de tramas 36 se deforma en el
deformador de imágenes de trama anterior 102 utilizando un cálculo
inicial d(t;0) del desplazamiento proporcionado por un bucle
de retroalimentación 104, mostrado en el recuadro punteado, para
proporcionar una imagen anterior deformada
I_{in}(t-1; k-1). La imagen
anterior deformada I_{in}(t-1;
k-1) se compara en los medios 106 de cálculo de
desplazamiento con la imagen original I_{in}(t) para
obtener un cálculo del desplazamiento residual \Delta(t;k)
que proporciona una entrada para el bucle de retroalimentación 104
desde el calculador de desplazamiento 106. A continuación, el
desplazamiento residual \Delta(t;k) se suma al cálculo
anterior del desplazamiento en el sumador 108 y se conserva en la
memoria 110 para generar un cálculo refinado del desplazamiento
d(t;k) = d(t;k-1) +
\Delta(t;k). Estas etapas se repiten K veces hasta que el
desplazamiento residual es inferior a un valor dado, o bien, un
número fijo de veces seleccionado por un operador u otros medios,
generándose de ese modo un cálculo final del desplazamiento. El
terminal 112 está conectado a los medios 114 para convertir el
cálculo final del desplazamiento d(t;k) en parámetros de
transformación de salida p(t). Éstos incluyen cualquier
cambio de imagen que pueda ser modelizado, incluyendo ampliación, la
mayor parte de paralajes, traslación, rotación, dilatación y
distorsión de la lente. La salida de los medios 114 se conecta al
deformador de imágenes presentes 116. El deformador de imágenes
presentes 116 deforma la presente imagen I_{in}(t) para
crear I_{out}(t) en el terminal 118. El cálculo refinado
del desplazamiento d(t;K) tras K iteraciones en el bucle de
retroalimentación 104 también está disponible en el terminal de
salida 120. Los cálculos del desplazamiento
imagen-referencia/imagen pueden basarse en
mediciones de desplazamiento calculado sólo en relación con partes
del dominio de la imagen, p.ej., las partes que contienen formas de
objetivo.
En el procedimiento de la presente invención, la
iteración k empieza por un cálculo anterior
d(t;k-1) del desplazamiento de
I_{in}(t-1) a I_{in}(t). La
imagen
I_{in}(t-1) es deformada mediante d(t; k-1) para crear la imagen deformada I_{warp}(t-1; k-1). El procedimiento de cálculo de desplazamiento se aplica a la I_{in}(t) actual y a la imagen deformada I_{warp}(t-1; k-1) para obtener un cálculo del desplazamiento residual \Deltad(t;k). A continuación, el desplazamiento residual \Deltad(t;k) se suma al cálculo anterior de desplazamiento para obtener un cálculo refinado de desplazamiento d(t;k) = d(t;k-1) + \Deltad(t;k). Seguidamente, se repite la etapa de deformación de la imagen para crear I_{warp}(t-1;k) que está alineada de forma más precisa con I_{in}(t). Estas etapas se repiten K veces para obtener un cálculo final d(t;K) del desplazamiento de la trama I_{in}(t-1) a la trama I_{in}(t). El cálculo anterior utilizado en la primera iteración de este procedimiento, d(t;0) puede basarse en el cálculo final obtenido en el tiempo de trama anterior, p.ej., d(t;0) = d(t-1;K). Finalmente, el ciclo termina en el tiempo t al transferirse una copia de I_{in}(t) desde la memoria de tramas 32 hasta la memoria de tramas 36.
I_{in}(t-1) es deformada mediante d(t; k-1) para crear la imagen deformada I_{warp}(t-1; k-1). El procedimiento de cálculo de desplazamiento se aplica a la I_{in}(t) actual y a la imagen deformada I_{warp}(t-1; k-1) para obtener un cálculo del desplazamiento residual \Deltad(t;k). A continuación, el desplazamiento residual \Deltad(t;k) se suma al cálculo anterior de desplazamiento para obtener un cálculo refinado de desplazamiento d(t;k) = d(t;k-1) + \Deltad(t;k). Seguidamente, se repite la etapa de deformación de la imagen para crear I_{warp}(t-1;k) que está alineada de forma más precisa con I_{in}(t). Estas etapas se repiten K veces para obtener un cálculo final d(t;K) del desplazamiento de la trama I_{in}(t-1) a la trama I_{in}(t). El cálculo anterior utilizado en la primera iteración de este procedimiento, d(t;0) puede basarse en el cálculo final obtenido en el tiempo de trama anterior, p.ej., d(t;0) = d(t-1;K). Finalmente, el ciclo termina en el tiempo t al transferirse una copia de I_{in}(t) desde la memoria de tramas 32 hasta la memoria de tramas 36.
En esta forma de realización, la trama anterior,
o de referencia, I_{in}(t-1), se deforma
para ajustarse a la trama actual, I_{in}(t), y
proporcionar la información de desplazamiento. Como alternativa,
puede utilizarse una referencia de la misma u otra fuente para
proporcionar la información de desplazamiento para deformar la trama
actual y ajustarla. Habitualmente, el cálculo inicial de
desplazamiento d(t;0) utilizado en el tiempo t se considera
que es igual al cálculo final d(t-1; K) en el
tiempo t-1. Si la aceleración de una trama a otra es
pequeña, tal vez sólo sea necesario efectuar una iteración del
procedimiento de cálculo por tiempo de trama, K=1, para lograr un
refinamiento de forma consecutiva.
Aunque el procedimiento de estabilización
propuesto utiliza dos etapas de deformación diferenciadas, en la
práctica, éstas suelen ser efectuadas por el mismo dispositivo de
hardware de deformación multiplexando las entradas y salidas del
deformador. Por ejemplo, la salida de la memoria de tramas 36 y el
bucle 104 son entradas y la salida del deformador para el calculador
106 es una salida. La imagen presente y los parámetros de
transformación son entradas alternativas y, entonces, la salida del
deformador es la imagen de salida.
Las imágenes I_{in}(t) e
I_{warp}(t-1; k-1) pueden
filtrarse o sino procesarse antes del cálculo de desplazamiento,
como se muestra en la Fig. 7. En una ejecución preferida, se
construye una pirámide laplaciana para la imagen de entrada actual,
I_{in}(t), en el procesador piramidal 130 y se almacena en
la memoria 132. La pirámide laplaciana para
I_{warp}(t-1; k-1) se
regenera tras la etapa de deformación en cada iteración, k, en el
procesador piramidal 134. Las etapas de refinado sucesivas del
procedimiento de cálculo pueden basar el cálculo de desplazamiento
residual en niveles piramidales de resolución cada vez más
alta.
En la Fig. 8, un sistema 150 para el procesado de
movimiento de trama a trama adaptativo que forma parte de un
sistema de estabilización de imágenes de la presente invención
incluye medios 152 para sumar la presente imagen I_{in}(t)
y la imagen deformada
I_{warp}(t-1; k-1) pixel a pixel (paso bajo temporal), para obtener una imagen compuesta
I_{warp}(t-1; k-1) pixel a pixel (paso bajo temporal), para obtener una imagen compuesta
A(t) =
I_{in}(t) + I_{warp}(t-1;
k-1)
con ruido de imagen reducido.
Asimismo, el sistema 150 incluye medios 154 para restar (paso alto
temporal) la presente imagen y la imagen deformada pixel a pixel
para crear una imagen
diferencial
B(t) =
I_{in}(t) - I_{warp}(t-1;
k-1)
que revela cambio o movimiento en
la escena (detección de movimiento de
objetivo).
Las imágenes de suma y resta pueden
proporcionarse directamente como salidas del sistema de
estabilización además de, o en lugar de, la salida estabilizada
I_{out}(t). Las secuencias de imágenes derivadas pueden
estabilizarse llevando a cabo una deformación de la misma forma en
que se lleva a cabo la estabilización de una imagen en relación con
la Fig. 6.
Pueden alinearse más de dos imágenes para la
reducción de ruido (filtro paso bajo temporal) o la detección de
cambio (filtro paso alto temporal). Como opción, las imágenes de
ruido reducido pueden realzarse más, p.ej., proporcionando más
nitidez o tomando muestras de ruido, o la imagen cambiada puede
someterse a un mayor procesado, p.ej. para crear una imagen de
energía cambiada (o pirámide). Debe observarse que se conocen
procedimientos para alineación de imágenes y filtrado temporal. Por
lo tanto, la presente invención también se refiere a la
incorporación del procesado trama a trama de imágenes que se alinean
como una etapa en la estabilización de imágenes. En particular, la
presente invención se refiere a la generación de secuencias de
imágenes de ruido reducido o de imágenes realzadas y cambiadas
mediante filtrado temporal paso bajo y paso alto, respectivamente,
de las imágenes de entrada alineadas, y a la estabilización de estas
secuencias derivadas antes de salir del sistema.
En la Fig. 9 se muestra un sistema 160 para
alinear cada imagen de la secuencia de origen con una forma de
referencia R independiente en lugar de la imagen anterior. La forma
de referencia puede obtenerse a partir de diversas fuentes.
Habitualmente, la forma de referencia R es seleccionada por el
selector 162 bajo control del usuario a partir de una trama anterior
del vídeo base, o puede ser simplemente una imagen anterior o parte
de una imagen anterior del vídeo base (p.ej., puede seleccionarse y
utilizarse cada enésima trama como referencia para alinear las
siguientes n-1 tramas), o puede ser una forma
seleccionada a partir de un grupo de formas de objetivo almacenadas.
La forma R, almacenada en la memoria de tramas 36, se deforma en el
deformador 102, generando una salida
R_{warp}(k-1) en respuesta a un cálculo del
desplazamiento de la forma R entre la imagen de referencia y la
presente imagen I_{in}(t). La salida del sistema es la
presente imagen I_{in}(t) deformada para mantener
estacionaria la zona que se ajusta a la forma de referencia, o
determinar que dicha zona se mueva a lo largo de una trayectoria
deseada arbitraria. Como alternativa, en lugar de buscar una sola
forma de objetivo, el sistema puede buscar un grupo de formas de
componentes, p.ej., utilizando una búsqueda estructurada
jerárquicamente.
En la Fig. 10, se muestra un sistema 180 para
estabilizar imágenes de diferentes fuentes, p.ej., reproductores de
imágenes de IR y visibles, por medio del ajuste de una imagen
particular I_{1n}(t), generada en el reproductor de
imágenes 10 y almacenada en la memoria de tramas 32, a una segunda
secuencia de imágenes I_{2n}(t) de una fuente de imágenes
182, que requiere procedimientos de cálculo de desplazamiento
especiales. La segunda secuencia de imágenes I_{2n}(t) se
almacena en la memoria de tramas 184. Las imágenes de una fuente se
alinean con las imágenes de la otra fuente; es decir, las imágenes
de una fuente sirven de formas de referencia utilizadas para
estabilizar las imágenes de la otra fuente. La imagen deformada
I_{warp}(t; k-1) se compara con la imagen
I_{1n}(t) en los medios 106 para calcular las diferencias y
determinar la diferencia presente d(t;k) que a continuación
se suma al cálculo anterior d(t;k-1) para
proporcionar el nuevo cálculo al deformador 102. El cálculo final de
las diferencias es utilizado por los medios 114 para generar
parámetros de transformación y proporcionar la información necesaria
al deformador 116, para estabilizar I_{in}(t) y generar la
imagen I_{out}(t) en el terminal 118. La imagen
I_{2n}(t) también está disponible como una salida del
sistema en el terminal 186.
Pueden utilizarse diversos procedimientos para
detectar la localización de objetivos de destino dentro del campo
de visión del reproductor de imágenes. Entre éstos se incluyen el
ajuste por correlación (p.ej., el ajuste a una forma de
referencia), la detección de una zona de actividad en el campo de
flujo de movimiento y la detección de una zona de actividad en la
imagen cambiada temporalmente. Los sistemas de técnica anterior
utilizan la detección electrónica de objetivos para orientar el
reproductor de imágenes. Éstos se fundamentan en el ajuste de formas
por correlación o el cambio de trama a trama, pero no utilizan el
flujo de movimiento de imágenes o el cambio de trama a trama tras la
alineación electrónica. Por consiguiente, dichos sistemas sólo
pueden utilizar el cambio de trama a trama para detectar un objetivo
en movimiento si el reproductor de imágenes está efectuando el
seguimiento del fondo y la imagen del fondo está prácticamente
estacionaria.
En el procedimiento de la presente invención, el
fondo se alinea electrónicamente, a continuación se detecta el
objetivo y, finalmente, la localización del objetivo encamina el
reproductor de imágenes y/o procedimiento de estabilización
electrónica hacia el seguimiento y la estabilización del objetivo,
no del fondo, en la secuencia de imágenes de salida. La presente
invención utiliza información derivada de cambio o de movimiento
para detectar objetivos que se mueven en relación con el fondo y
para calcular el movimiento de los objetivos y el movimiento del
fondo, e información de localización de los objetivos detectada
electrónicamente y de movimiento de fondo para controlar la
orientación del reproductor de imágenes y la estabilización de
secuencias de imágenes de salida.
En la Fig. 11, se muestra un sistema 200 que
incluye medios de filtración paso alto 202 que obtienen la
diferencia
I_{in}(t)-I_{warp}(t-1)
y medios 204 para determinar la localización de un objetivo; es
decir, cualquier objeto que cambie rápidamente en las imágenes. La
salida de los medios 204 proporciona información posicional que se
aplica a los medios 114 y a unos segundos medios 206 para generar
parámetros de transformación. La salida de los medios 206 se utiliza
para controlar la plataforma del reproductor de imágenes 208 y
orientar el reproductor de imágenes, p.ej., para efectuar el
seguimiento o centrado del objetivo, o para estabilizar
electrónicamente o centrar el objetivo. La entrada a los medios 106
proporciona movimiento de desplazamiento a la imagen que puede
utilizarse, por ejemplo, para centrar un objeto que se mueve con
rapidez en la imagen de salida. De forma más general, la información
de localización del objetivo puede utilizarse tanto para orientar el
reproductor de imágenes como para compensar electrónicamente el
movimiento residual. En este caso, los parámetros de deformación se
basan en el desplazamiento de trama a trama d(t; K) y en los
parámetros de localización del objetivo x(t). La combinación
de los medios de filtración 202 y los medios de localización 204
también puede aceptar diferencias filtradas de otros pares de
imágenes que están alineadas en el espacio y en el tiempo para
mejorar la detección de objetivos y reducir el ruido.
La función de un sistema de estabilización de
imágenes es determinar el movimiento de la secuencia de entrada y
sustituir el movimiento observado por un movimiento deseado en la
secuencia de salida. Pueden utilizarse diversas transformaciones en
los medios 114 para convertir los desplazamientos observados
d(t) en los parámetros de deformación p(t) necesarios.
En este documento, se describen tres de dichos procedimientos. En la
Fig. 12, supongamos que x_{in}(t) sea la localización de la
trama de entrada de orden t. En general, ésta es una cantidad
vectorial que incluye x, y, Q, escala (o parámetros de orden
superior en el caso de estabilización basada en un modelo, descrita
más adelante). Supongamos que
\Deltax_{in}(t)=d(t; K) sea el desplazamiento de
trama a trama observado y supongamos que x_{desired}(t)
sea la localización de la imagen de orden t en cierta trayectoria de
salida deseada, P. Los medios 114 determinan el desplazamiento
\Deltax_{shift}(t) necesario para desplazar las imágenes
desde ubicaciones de entrada observadas hasta ubicaciones de salida
deseadas. El módulo de transformación también determina la
trayectoria P deseada en base a los desplazamientos de entrada
observados. A continuación, se describen los procedimientos para
obtener
P(x_{desired}) a partir del \Deltax_{in} observado.
P(x_{desired}) a partir del \Deltax_{in} observado.
En un procedimiento "paso bajo" para
transformar cálculos de desplazamiento, la secuencia de salida de
las posiciones se obtiene simplemente suavizando la secuencia de
posiciones de entrada:
\Deltax_{shift}(t) =
\Deltax_{in}(t) -
w*\Deltax_{in}(t).
Siendo habitualmente w un filtro paso bajo IIR.
Pueden aplicarse diferentes filtros para obtener diferentes
parámetros de movimiento. Por ejemplo, la rotación \Theta puede
suavizarse mucho, mientras que la traslación (x,y) se suaviza de
forma moderada, y la escala no se suaviza en absoluto. En la
práctica, pueden utilizarse filtros paso bajo no lineales. Por
ejemplo, puede determinarse hasta qué limite puede llegar el
desplazamiento x_{shift}(t). La presente invención se
refiere también a la amortiguación del movimiento aplicando un
filtro paso bajo a la secuencia de posiciones de entrada para
determinar las posiciones de salida deseadas.
En un procedimiento continuo por fragmentos para
transformar cálculos de desplazamiento como el mostrado en la Fig.
13, la trayectoria de salida se define como una secuencia de
segmentos lineales unidos (u otros segmentos suavizados). Se
seleccionan segmentos que sigan la tendencia esperada de posiciones
de imágenes de entrada. Todas las tramas de salida pueden
desplazarse hasta un segmento de línea A hasta que se llega al
tiempo t_{1}, en el que este desplazamiento sobrepasará un límite
predefinido. A continuación, se inicia un nuevo segmento que tenderá
a volver a colocar las imágenes de salida en el centro de la
pantalla de salida. Un cálculo de la velocidad en t_{1} se basa,
por ejemplo, en un promedio del desplazamiento de entrada observado
durante un período de tiempo anterior t_{1}. Como alternativa, la
trayectoria deseada puede especificarse externamente. Esta velocidad
y la posición de la trama I_{in}(t_{1}) definen una
trayectoria B que predice las posiciones de las tramas de entradas
subsiguientes. A continuación, se determina que la trayectoria de
salida P siga un segmento de transición C que se construye desde el
final del segmento A, en el tiempo t_{1}-1, hasta
el segmento B en t_{2}. A continuación, P sigue a B hasta dicho
tiempo en el que el desplazamiento necesario vuelve a sobrepasar el
límite predefinido. Este procedimiento elimina los movimientos de
frecuencia temporal alta de la secuencia de entrada, mientras que
permite a la salida seguir tendencias del movimiento de entrada que
pueden cambiar bruscamente de dirección.
Cuando se utiliza un procedimiento de seguimiento
de objetivos en combinación con un procedimiento de alineación de
imágenes como el mostrado en la Fig. 11, la posición de objetivo
detectada puede utilizarse para determinar la trayectoria de salida
P, mientras que el procedimiento de alineación de imágenes se
utiliza para desplazar imágenes hacia esa trayectoria. El
planteamiento de dos procedimientos puede ser necesario cuando los
objetivos son pequeños o se mueven de una forma algo errática en la
escena. La estabilización de imágenes suavizadas por fragmentos
asegura la eliminación del movimiento de alta frecuencia no deseado
de la escena de fondo de la salida. El seguimiento de objetivos se
utiliza para definir una trayectoria que mantenga el objetivo
generalmente centrado dentro de la pantalla de salida.
La forma del objetivo puede ser un fragmento de
la escena de fondo designada por el operador, o un objeto en
movimiento de la escena designado por el observador o detectado por
el módulo de detección de movimiento. En el caso de una forma
designada por el observador, el sistema almacena una forma a
utilizar como referencia en un seguimiento posterior. Esta
referencia puede actualizarse de forma automática a intervalos
regulares, p.ej., cada enésima trama. Una vez que se ha hallado la
localización en la escena que proporciona una mejor ajuste a la
forma de referencia, la forma de esta localización se almacena como
recambio para la referencia. De este modo, el sistema puede
adaptarse a los cambios graduales de la forma del objetivo. Si la
localización detectada de la forma del objetivo se utiliza
directamente para estabilizar la secuencia de salida, tenderá a
existir un ligero salto (discontinuidad en la trayectoria de salida,
P) cada vez que la forma de referencia se actualice. Este salto se
evita utilizando la posición observada de la forma del objetivo para
definir segmentos en la trayectoria, P, mientras que el
procedimiento de alineación preciso del fondo define desplazamientos
x(t) y p(t) en la Fig. 11. La presente invención
también se refiere a la utilización de procedimientos de fondo y de
seguimiento de objetivos independientes en la estabilización. El
procedimiento de fondo proporciona estabilización suave por
fragmentos, mientras que el procedimiento de seguimiento de
objetivos determina segmentos de la trayectoria de movimiento de
salida para desplazar con suavidad la forma del objetivo hasta una
posición deseada de la pantalla de salida.
Los dispositivos de estabilización mecánica
existentes estabilizan dos o tres ejes de rotación del reproductor
de imágenes. Los dispositivos electrónicos existentes compensan la
traslación de la imagen en el campo de visión del reproductor de
imágenes. Una de las ventajas importantes del planteamiento
electrónico propuesto aquí es que puede utilizarse para compensar
componentes de movimiento que no pueden compensarse mediante el
control del reproductor de imágenes. Por ejemplo, la deformación
electrónica puede compensar distorsiones de la lente cuando las
formas se desplazan por el campo de visión del reproductor de
imágenes. Y lo más importante es que la estabilización electrónica
puede utilizarse para compensar el movimiento de paralaje cuando el
reproductor de imágenes se desplaza en relación con una superficie
de la escena. La estabilización se basa en un modelo matemático de
ese movimiento y los parámetros calculados mediante el procedimiento
de alineación precisa descrito en líneas generales anteriormente.
Por ejemplo, una deformación cuadrática puede compensar el
movimiento de una superficie plana que puede estar inclinada
respecto del eje de contemplación del reproductor de imágenes.
La estabilización electrónica puede utilizarse
para compensar el movimiento de las superficies existentes en la
escena (p.ej., una superficie de carretera delante de un vehículo
autónomo) o de las superficies que se definen en relación con el
reproductor de imágenes (p.ej., una superficie vertical a una
distancia predefinida de un vehículo en movimiento). El primer
procedimiento proporciona medios para calcular los movimientos y las
distancias hasta las superficies de la escena y también para
estabilizar dichas superficies, mientras que el segundo
procedimiento proporciona medios para detectar los objetos que
cruzan una "barrera invisible" a una distancia recomendada del
reproductor de imágenes. (La detección puede basarse en la
estabilización fundada en un modelo de movimiento residual de una
superficie situada delante de un vehículo en movimiento, seguida de
los resultados del filtro paso bajo temporal en desenfoque de
movimiento para todos los objetos de la escena que no están cerca de
dicha superficie. Los objetos se verán nítidamente cuando pasen por
la "barrera invisible".)
La estabilización basada en un modelo puede
utilizarse para estabilizar una superficie de la escena como, por
ejemplo, la de la propia carretera. En este caso, debe determinarse
el movimiento de la superficie en relación con el reproductor de
imágenes. Esto puede llevarse a cabo utilizando procedimientos
conocidos de cálculo de desplazamiento basados en modelos. Estas
técnicas se han propuesto en el pasado como medios para determinar
la forma de la superficie y la distancia. Aquí se propone la
utilización de estas técnicas en la estabilización de la secuencia
de imágenes.
Los medios de reproducción de imágenes 10 pueden
consistir en una estructura para recibir la radiación reflejada
desde objetos situados dentro de un campo de visión que son
iluminados por un radiador externo. Como alternativa, los medios de
reproducción de imágenes 10 pueden consistir en una estructura que
incluye medios para iluminar objetos dentro de su campo de visión
con radiación y medios para recibir los ecos reflejados desde dichos
objetos (estos ecos también pueden proporcionar información de la
distancia de los objetos). Además, los medios de reproducción de
imágenes 10 pueden ser sensibles a la radiación de cualquier
fragmento dado de longitudes de onda del espectro de ondas
electromagnéticas, ultrasónicas y/o ondas de cualquier otro tipo de
energía. Un convertidor analógico-digital (A/D)
convierte los datos de imagen de cada trama consecutiva en datos de
forma digital para su procesado por un procesador digital.
Los deformadores de imágenes 102 y 116 se crean
preferentemente a partir de un secuenciador de manipulación de
imágenes 2302 y un filtro de imágenes TMC 2246 fabricados por TRW,
Inc. El secuenciador de manipulación de imágenes se utiliza para
generar una dirección en la imagen de origen partiendo de una
dirección de la imagen de salida. El filtro de imágenes interpola
el valor de los pixels de salida partiendo de los pixels de entrada
situados cerca de la dirección de imagen de entrada especificada. La
imagen de entrada se almacena en memoria estándar que ha sido
fragmentada para permitir la lectura simultánea de todos los pixels
cercanos que necesita el interpolador.
La unidad de transformación convierte los
desplazamientos de imagen observados y la información de control
especificada externamente. El módulo de transformación puede ser un
dispositivo informático de uso general como, por ejemplo, el chip
de procesado de señales digitales TMS 320 C 30 fabricado por Texas
Instruments, Inc., Dallas, Texas, con cierta cantidad de memoria.
El módulo de transformación puede incluir varias modalidades de
control de estabilización diferentes, cada una de las cuales es
especificada por un código de ordenador almacenado en su memoria.
Por ejemplo, éstas pueden incluir la estabilización de movimiento
amortiguado, la estabilización lineal por fragmentos y la
estabilización combinada con centrado de objetivos. La modalidad
utilizada en cualquier momento en el tiempo es especificada
normalmente por una entrada externa al sistema. Otras entradas para
el módulo de transformación incluyen desplazamientos de trama a
trama, calculados por el calculador de desplazamientos, y
ubicaciones de objetivo, calculadas por el módulo de localización.
En cada tiempo de trama, el módulo de transformación determina en
primer lugar la trayectoria de movimiento de salida deseada y, a
continuación, el desplazamiento necesario para llevar una trama de
entrada hasta dicha trayectoria. Los parámetros de desplazamiento
son proporcionados al deformador como salida del sistema. Las
entradas incluyen información de desplazamiento de trama a trama del
calculador de desplazamiento e información externa de modalidad u
otra información de control.
En el documento "Multiresolution Image
Processing And Analysis" ("Procesado y Análisis de Imágenes de
Varias Resoluciones"), volumen 16, páginas
20-51, 881 de Burt y en la patente U.S. nº
4.692.806, de Anderson et al., que se incorporan a la
presente memoria en su totalidad como referencia por sus enseñanzas
en técnicas de descomposición de imágenes, se da a conocer el
análisis de una imagen por descomposición de ésta cuando una imagen
de resolución comparativamente alta que tiene un primer número de
pixels se procesa para obtener una imagen de gran campo de visión y
resolución baja que tiene un segundo número de pixels inferior al
primer número.
La transformación laplaciana se utiliza para
descomponer cada imagen de origen en conjuntos regulares de
funciones de base tipo gaussiana de muchos tamaños, denominadas a
veces funciones de base de la transformación piramidal u ondas
pequeñas. Una pirámide de varias resoluciones para una imagen
permite analizar características gruesas a una resolución baja y
características finas a una resolución alta. Cada valor de muestra
de una pirámide representa la amplitud asociada a una
correspondiente función de base. En la Fig. 14, se muestra un
organigrama para la generación de las pirámides gaussiana y
laplaciana de una imagen de origen. La imagen gaussiana G(0)
es la imagen de origen que a continuación es filtrada por F1, un
filtro paso bajo que tiene una atenuación progresiva gaussiana, y
submuestreada por F2, para eliminar pixels alternos de cada fila y
de filas alternas, para formar la imagen gaussiana de primer nivel
G(1). Las imágenes gaussianas G(n) de nivel inferior
se forman consecutivamente del mismo modo. La imagen laplaciana
L(n) correspondiente a la imagen gaussiana de cada nivel de
la pirámide se forma restaurando los datos submuestreados en el
siguiente nivel inferior de la pirámide gaussiana (insertando
muestras de valor cero entre las muestras F2' dadas y a continuación
aplicando un filtro de interpolación F1) y restándolos de la imagen
gaussiana del nivel dado. La imagen laplaciana formada de esta
manera se conoce como la imagen laplaciana de
reducción-ampliación (RE). Como alternativa, la
imagen laplaciana puede formarse sin submuestreo ni reinterpolación,
como se muestra mediante la línea a trazos. Ésta se denomina imagen
laplaciana de
filtración-resta-decimalización
(FSD).
El procedimiento de descomposición de la imagen
para producir imágenes de resolución más baja se suele llevar a cabo
utilizando una pluralidad de filtros paso bajo de anchos de banda
diferentes que tienen atenuación progresiva gaussiana, pudiéndose
ejecutar de forma eficaz utilizando el circuito
PYR-1 descrito en la solicitud de patente U.S. nº
07/805149, que se incorpora a la presente memoria en su totalidad
como referencia, y en el Workshop For Machine Vision, París, de
diciembre, 891, y de forma general, en la patente U.S. nº 4.703.514,
y puesto a la venta por Sensar, Inc., PO Box, Princeton, NJ 08540.
El circuito piramidal PYR-1 acepta hasta tres
señales de entrada digitalizadas y proporciona hasta dos señales de
salida. Los canales de datos de entrada y de salida incorporan
señales de temporización que controlan el procesado canalizado.
Estas señales de temporización son ajustadas de forma automática al
retardo de procesado del circuito, permitiendo el control automático
de retardos en los sistemas canalizados. Las duraciones efectivas de
las líneas de retardo horizontales utilizadas para ejecutar un
filtro de dos dimensiones son controladas por las señales de
temporización y, por lo tanto, no es necesario programarlas. Este
circuito acepta y procesa señales que tienen tiempos de supresión
horizontales y verticales de variación continua. Para una imagen de
cámara de vídeo, las señales de temporización son proporcionadas por
las señales de sincronización horizontales y verticales. Estas
señales son digitalizadas y a continuación combinadas con la señal
de datos digitales para generar la señal de entrada. Como
alternativa, la señal de datos digitales puede ser generada por una
memoria de tramas, en cuyo caso, la señal de temporización es sumada
por la memoria de tramas o por un dispositivo auxiliar. El circuito
tiene dos trayectorias paralelas que pueden utilizarse para
calcular de forma simultánea una imagen sometida a filtración paso
bajo gaussiana y una función laplaciana (la diferencia entre la
imagen de entrada y la imagen gaussiana) de la imagen de entrada.
Las dos trayectorias paralelas también se utilizan para calcular las
transformaciones piramidales inversas.
En la Fig. 15, se muestra un circuito
PYR-1 de ejemplo que puede aceptar hasta tres
señales de entrada, IN1, IN2 e IN3, y proporcionar hasta dos
señales de salida, OUT1 y OUT2. Cada una de estas señales es una
señal digital de varios bits que contiene por lo menos ocho bits de
datos y dos bits de temporización. Los dos bits de temporización
transmiten respectivas señales de temporización. Una señal, HA, está
en estado lógico alto cuando los datos de una línea son válidos (es
decir, durante el intervalo activo de imagen) y en estado lógico
bajo en caso contrario (es decir, durante el intervalo de supresión
horizontal). La otra señal, VA, está en estado lógico alto cuando
los datos de un campo son válidos, y en estado lógico bajo en caso
contrario (es decir, durante el intervalo de supresión
vertical).
El circuito incluye cinco elementos principales:
una unidad aritmética y lógica (ALU) de entrada 1104, un filtro
1110 (mostrado dentro de la línea discontinua de la FIG. 1), un
multiplexor 1120, un procesador de recorte 1122 y una ALU de salida
1124. Las señales IN1 e IN2 sometidas al mismo retardo por un
elemento de retardo de entrada 1102 son combinadas por la ALU 1104
para generar una señal, IN, para su aplicación al filtro 1110. Esta
señal puede ser una de las señales IN1 o IN2, o puede ser la suma de
ambas (1N1+1N2) o la diferencia entre ambas
(IN1-IN2).
El filtro 1110 procesa la señal proporcionada por
la ALU 1104 a través de un filtro de dos dimensiones que puede
estar configurado para tener entre una y cinco tomas en cada una de
sus dos dimensiones. El filtro incluye un procesador vertical de
bordes 1106 y un procesador horizontal de bordes 1108 que permiten
suponer una diversidad de tipos de valores de pixel diferentes
alrededor de los datos de imagen reales. Entre éstos existe un valor
constante o una repetición de la primera o la última línea
horizontal o vertical. El procesador 1108 procesa las señales de
entrada para añadir de forma eficaz líneas de pixels de margen a la
imagen por los bordes superior e inferior. Además, éste actúa
conjuntamente con puertas de tres estados
1112a-1112d y una memoria 1114 para ejecutar una
línea de retardo con tomas que se utiliza para proporcionar cuatro
señales de imagen de línea retardada a la parte de filtro vertical
del procesador de convolución 1118.
Una memoria 1114 proporciona un retardo de cuatro
u ocho líneas para la parte vertical del filtro de dos dimensiones.
Las líneas retardadas se combinan tanto de forma vertical como de
forma horizontal en el procesador de convolución 1118 para terminar
el filtro 1110. La señal de salida proporcionada por el filtro 1110
es procesada por el procesador de recorte 1122 que lleva a cabo el
redondeo y la conversión a escala de las señales de precisión
individuales, y combina los datos filtrados como posiciones de bit
de mayor significación (MSB) con datos filtrados que representan las
posiciones de bit de menor significación (LSB), proporcionados por
medio de la entrada IN3, para generar señales de salida de doble
precisión.
La señal de salida del procesador 1122 o la señal
de salida de la ALU 1104, procesada por el procesador 1106, puede
seleccionarse como señal de salida OUT1. La señal de salida OUT2
puede ser la señal de salida del procesador de recorte 1122 o la
señal de salida del multiplexor 1120 o la salida de la ALU 1124 que
combina estas dos señales. La señal proporcionada por el multiplexor
1120 puede ser un valor constante, K2, la señal de entrada IN2 o una
de las señales de línea horizontal retardadas proporcionadas por el
procesador horizontal de bordes 1108. El multiplexor 1120 incluye
retardos de compensación internos (no mostrados) que alinean cada
una de las señales de entrada con la señal proporcionada por el
procesador de recorte 1122. Las señales de temporización para el
circuito son generadas por los circuitos de temporización 1128 que
generan una señal de reloj de memoria de dos fases y una señal de
reloj del sistema CK a partir de una señal de reloj de entrada de
dos fases, CLK y CLK2.
Las funciones del circuito son controladas por
medio de los circuitos de control 1130 que aceptan mandatos del
usuario desde un canal de entrada de control CBUS y proporcionan
señales de control y valores de datos a los demás componentes del
circuito por medio de una puerta de salida CONT.
Aunque la invención está representada y descrita
en la presente memoria constituida como un sistema de reproducción
de imágenes, la invención no pretende en absoluto limitarse a los
detalles tal como se han representado. Por ejemplo, la presente
invención comprende secuencias de imágenes a partir de una fuente
única o de imágenes a partir de fuentes múltiples. Se pueden al
contrario introducir varias modificaciones en los detalles dentro
del alcance y del ámbito de los equivalentes de las reivindicaciones
sin apartarse por ello del espíritu de la presente invención.
Es obvio que, aunque la presente invención se ha
descrito en términos de deformación de una referencia para
determinar el cálculo del desplazamiento de una imagen, podría
deformarse la propia imagen mediante su comparación con la
referencia en el calculador. El cálculo final del desplazamiento se
utiliza entonces para deformar la imagen y crear la imagen de salida
estabilizada. En la Fig. 16, el sistema es el mismo que el de la
Fig. 6, salvo que se cambia la posición del deformador para deformar
la presente imagen en lugar de la referencia para obtener el cálculo
del desplazamiento.
Claims (21)
1. Procedimiento de estabilización electrónica de
imágenes sensible a una secuencia de pares consecutivos
(Iin(t) e Iin(t-1)) de tramas de
imagen de forma digital, caracterizado porque dicho
procedimiento incluye las siguientes etapas de: (a) emplear un bucle
de retroalimentación utilizado de forma iterativa y que comprende un
deformador de imágenes (102), un calculador de desplazamientos
(106), un sumador (108) y una memoria (110) para reducir un cálculo
inicial de mayor error (d(t;0)) de desplazamiento entre las
imágenes representadas por cada par de tramas de imagen de dicha
secuencia a un cálculo final de menor error (d(t;k)) de
desplazamiento, y (b) almacenar dicho cálculo final (d(t;k))
de desplazamiento en dicha memoria (110); estando el procedimiento
caracterizado porque comprende además las etapas
siguientes:
(c) determinar (202, 204) a partir de la
diferencia entre cierta trama de imagen (Iin(t)) de cada uno
de dichos pares consecutivos de tramas de imagen con la otra trama
(Iwarp(t-1)) de las tramas deformadas en la
etapa (a) en alineación con la misma por el deformador, la
información posicional que indica la localización de un objetivo en
la imagen;
(d) convertir (114) dicho cálculo final de
desplazamiento almacenado en dicha memoria y dicha información
posicional en parámetros de transformación de salida p(t)
según un modelo matemático dado que representa dichos cálculos
finales y la información posicional derivada de la secuencia de
tramas sobre las posiciones deseadas en la secuencia; y
(e) deformar (116) cierta trama de imagen
(Iin(t)) de cada uno de dichos pares consecutivos de tramas
de imagen según dichos parámetros de transformación de salida
(p(t)), para estabilizar la secuencia de tramas de
imagen.
2. Procedimiento según la reivindicación 1, en el
que en la etapa (a) el bucle de retroalimentación utilizado de forma
iterativa emplea un primer deformador de imágenes (102) y la etapa
(e) emplea un segundo deformador de imágenes (116).
3. Procedimiento según la reivindicación 1 ó 2,
en el que:
dicha cierta trama de imagen de cada uno de los
pares consecutivos de tramas de imagen corresponde a la trama de
imagen actual en ese momento (Iin(t)) de ese par de tramas de
imágenes de dicha secuencia; y
la trama de imagen que no es dicha cierta trama
de imagen de cada uno de dichos pares consecutivos de tramas de
imagen corresponde a la trama de imagen
(Iin(t-1)) inmediatamente anterior a la trama
de imagen actual en ese momento de dicho par de tramas de imagen de
dicha secuencia.
4. Procedimiento según la reivindicación 1 ó 2,
en el que:
dicha cierta trama de imagen de cada uno de
dichos pares consecutivos de tramas de imagen corresponde a la
trama de imagen (In(t-1)) inmediatamente
anterior a la trama de imagen actual en ese momento de dicho par de
tramas de imagen de dicha secuencia; y
la trama de imagen que no es dicha cierta trama
de imagen de cada uno de dichos pares consecutivos de tramas de
imagen corresponde a la trama de imagen actual en ese momento
(Iin(t)) de dicho par de tramas de imagen de dicha
secuencia.
5. Procedimiento según cualquiera de las
reivindicaciones 1 a 4, en el que cada uno de dichos pares
consecutivos de tramas de imagen de dicha secuencia está disponible
en una pluralidad de resoluciones que abarcan desde una resolución
más baja dada hasta una resolución más alta dada, y en el que la
etapa (a) comprende las siguientes etapas:
empezar por dichas tramas de imagen de resolución
más baja dada, emplear dicho bucle de retroalimentación utilizado
de forma iterativa, alternativamente, con cada una de las tramas de
imagen de resolución cada vez mayor, para reducir un cálculo
inicial de mayor error del desplazamiento entre las imágenes
representadas por cada par de tramas de imagen de resolución más
baja dada a un cálculo final de menor error del desplazamiento
representado por cada par de tramas de imagen de resolución más alta
dada.
6. Procedimiento según cualquiera de las
reivindicaciones 1 a 5, en el que la etapa (a) comprende la
siguiente etapa:
emplear el cálculo final de desplazamiento entre
imágenes representadas por un par de tramas de imagen que precede a
un par de tramas de imagen actual de dicha secuencia como cálculo
inicial de desplazamiento de dicho par de tramas de imagen
actual.
7. Procedimiento según cualquiera de las
reivindicaciones 1 a 6, en el que la etapa (d) comprende la
siguiente etapa:
convertir (114) dicho cálculo final de
desplazamiento (d(t;k)) almacenado en dicha memoria (110) en
parámetros de transformación p(t) según un modelo matemático
dado que obtiene parámetros de transformación de salida que forman
una trayectoria lineal por fragmentos.
8. Procedimiento según cualquiera de las
reivindicaciones 1 a 6, en el que la etapa (d) comprende la
siguiente etapa:
convertir (114) dicho cálculo final de
desplazamiento (d(t;k)) almacenado en dicha memoria (110) en
parámetros de transformación (P(t)) según un modelo
matemático dado en el que se aplica filtración paso bajo para
suavizar las diferencias de imagen.
9. Procedimiento según cualquiera de las
reivindicaciones 1 a 8, en el que dicho modelo matemático dado
modela el efecto de por lo menos uno de entre ampliación, paralaje,
traslación, rotación, dilatación y distorsión de la lente sobre una
imagen.
10. Procedimiento según cualquiera de las
reivindicaciones 1 a 9, que comprende además orientar (206, 208) un
reproductor de imágenes (10) para producir dicha secuencia de
imágenes según dicha información posicional.
11. Aparato de estabilización electrónica de
imágenes sensible a una secuencia de pares consecutivos
(Iin(t), Iin(t-1)) de tramas de imagen
de forma digital,
en el que dicho aparato comprende medios de
deformación de imágenes (102, 116); un bucle de retroalimentación
utilizado de forma iterativa (104) y que incluye los medios de
deformación de imágenes (102, 116), un calculador de desplazamientos
(106), un sumador (108) y una memoria (110), para reducir un cálculo
inicial de mayor error d(t;0) de desplazamiento entre las
imágenes representadas por cada par de tramas de imagen de dicha
secuencia a un cálculo final de menor error d(t;k) de
desplazamiento, almacenándose dicho cálculo final de desplazamiento
en dicha memoria (110); y caracterizado porque comprende
medios para determinar (202, 204) a partir de la
diferencia entre cierta trama de imagen (Iin(t)) de cada uno
de dichos pares consecutivos de tramas de imagen y la otra trama
(Iwarp(t-1)) de las tramas deformadas en la
etapa (a) en alineación con la misma mediante el deformador, la
información posicional que indica la localización de un objetivo en
la imagen;
medios (114) para convertir dicho cálculo final
de desplazamiento (d(t;k)) almacenado en dicha memoria (110)
y la información posicional en parámetros de transformación de
salida (p(t)) según un modelo matemático dado que representa
dichos cálculos finales y la información posicional derivada de la
secuencia de tramas sobre las posiciones deseadas en la secuencia;
y
empleando el aparato los medios de deformación de
imágenes (116) para deformar cierta trama de imagen (Iin(t))
de cada uno de dichos pares consecutivos de tramas de imagen según
dichos parámetros de transformación de salida (p(t)), para
estabilizar cierta trama de imagen.
12. Aparato según la reivindicación 11, en el que
los medios de deformación de imágenes comprenden un primer y un
segundo deformador de imágenes (102, 116), incluyendo dicho bucle de
retroalimentación el primer deformador de imágenes (102), siendo
empleado el segundo deformador de imágenes (116) para deformar dicha
cierta trama de imagen.
13. Aparato según la reivindicación 11 ó 12, que
además comprende:
una primera memoria de tramas de imagen (32) para
almacenar dicha cierta trama de imagen (Iin(t)) de cada uno
de dichos pares consecutivos de tramas de imagen; y
una segunda memoria de tramas de imagen (36) para
almacenar la trama de imagen (Iin(t-1)) que
no es dicha cierta trama de imagen de cada uno de dichos pares
consecutivos de tramas de imagen.
14. Aparato según la reivindicación 13, en el
que:
dicha cierta trama de imagen de cada uno de
dichos pares consecutivos de tramas de imagen almacenadas en dicha
primera memoria de tramas de imagen (32) corresponde a la trama de
imagen actual en ese momento (Iin(t)) de dicho par de tramas
de imagen de dicha secuencia; y
dicha trama de imagen que no es dicha cierta
trama de imagen de cada uno de dichos pares consecutivos de tramas
de imagen almacenadas en dicha segunda memoria de tramas de imagen
(36) corresponde a la trama de imagen
(Iin(t-1)) inmediatamente anterior a la trama
de imagen actual en ese momento de ese par de tramas de imagen de
dicha secuencia.
15. Aparato según la reivindicación 13, en el
que:
dicha cierta trama de imagen de cada uno de
dichos pares consecutivos de tramas de imagen almacenadas en dicha
primera memoria de tramas de imagen (32) corresponde a la trama de
imagen (Iin(t-1) inmediatamente anterior a la
trama de imagen actual en ese momento de dicho par de tramas de
imagen de dicha secuencia; y
dicha trama de imagen que no es dicha cierta
trama de imagen de cada uno de dichos pares consecutivos de tramas
de imagen almacenadas en dicha segunda memoria de tramas de imagen
(36) corresponde a la trama de imagen actual en ese momento
(Iin(t)) de ese par de tramas de imagen de dicha
secuencia.
16. Aparato según cualquiera de las
reivindicaciones 11 a 15, que comprende además:
medios piramidales (130, 134) para proporcionar
cada uno de dichos pares consecutivos de tramas de imagen de dicha
secuencia a una pluralidad de resoluciones que abarcan desde una
resolución más baja dada hasta una resolución más alta dada; y en
el que:
dicho bucle de retroalimentación utilizado de
forma iterativa (104) incluye medios que empiezan utilizando dichas
tramas de imagen de resolución más baja dada y a continuación, de
forma alternativa, utilizan cada una de las tramas de imagen de
resolución cada vez más alta para reducir un cálculo inicial de
mayor error del desplazamiento entre las imágenes representadas por
cada par de tramas de imagen de resolución más baja dada a un
cálculo final de menor error del desplazamiento representado por
cada par de tramas de imagen de resolución más alta dada.
17. Aparato según cualquiera de las
reivindicaciones 11 a 16, en el que dicho aparato comprende
además:
medios para proporcionar dicho bucle de
retroalimentación utilizado de forma iterativa con el cálculo final
de desplazamiento entre las imágenes representadas por un par de
tramas de imagen que precede a un par de tramas de imagen actual en
dicha secuencia, como cálculo inicial del desplazamiento de dicho
par de tramas de imagen actual.
18. Aparato según cualquiera de las
reivindicaciones 11 a 17, en el que:
dichos medios para convertir dicho cálculo final
del desplazamiento almacenado en dicha memoria en parámetros de
transformación de salida según un modelo matemático dado incluyen
medios que obtienen parámetros de transformación de salida que
forman una trayectoria lineal por fragmentos.
19. Aparato según cualquiera de las
reivindicaciones 11 a 17, en el que:
dichos medios para convertir dicho cálculo final
del desplazamiento almacenado en dicha memoria en parámetros de
transformación de salida según un modelo matemático dado incluyen
medios de filtración paso bajo que obtienen parámetros de
transformación de salida que son eficaces en la suavización de
diferencias de imagen.
20. Aparato según cualquiera de las
reivindicaciones 11 a 19, en el que dicho modelo matemático modela
el efecto de por lo menos uno de entre ampliación, paralaje,
traslación, rotación, dilatación y distorsión de la lente sobre una
imagen.
21. Aparato según cualquiera de las
reivindicaciones 11 a 20 que comprende además medios para orientar
(206, 208) un reproductor de imágenes (10) para producir dicha
secuencia de imágenes según dicha información posicional.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US7181493A | 1993-06-04 | 1993-06-04 | |
| US71814 | 1993-06-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2258311T3 true ES2258311T3 (es) | 2006-08-16 |
Family
ID=22103762
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES99204323T Expired - Lifetime ES2258311T3 (es) | 1993-06-04 | 1994-06-02 | Sistema y procedimiento para la estabilizacion electronica de imagenes. |
| ES94919278T Expired - Lifetime ES2151550T3 (es) | 1993-06-04 | 1994-06-02 | Sistema y procedimiento para la estabilizacion electronica de imagenes. |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES94919278T Expired - Lifetime ES2151550T3 (es) | 1993-06-04 | 1994-06-02 | Sistema y procedimiento para la estabilizacion electronica de imagenes. |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US5629988A (es) |
| EP (2) | EP0701758B1 (es) |
| JP (1) | JP3734829B2 (es) |
| KR (1) | KR100268311B1 (es) |
| DE (2) | DE69426232T2 (es) |
| ES (2) | ES2258311T3 (es) |
| WO (1) | WO1994030007A1 (es) |
Families Citing this family (119)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69332379T2 (de) * | 1993-11-23 | 2003-07-10 | Hewlett Packard Co | Tintenwiedergabe |
| US5649032A (en) | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
| DE69616031T2 (de) * | 1995-12-21 | 2002-06-20 | Koninkl Philips Electronics Nv | Rauschreduzierung in einem bild |
| KR100188116B1 (ko) * | 1995-12-28 | 1999-06-01 | 김광호 | 손떨림 영상 안정화 회로 |
| US6049619A (en) * | 1996-02-12 | 2000-04-11 | Sarnoff Corporation | Method and apparatus for detecting moving objects in two- and three-dimensional scenes |
| US6009210A (en) * | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
| US6219462B1 (en) * | 1997-05-09 | 2001-04-17 | Sarnoff Corporation | Method and apparatus for performing global image alignment using any local match measure |
| US6249616B1 (en) | 1997-05-30 | 2001-06-19 | Enroute, Inc | Combining digital images based on three-dimensional relationships between source image data sets |
| US6396961B1 (en) | 1997-11-12 | 2002-05-28 | Sarnoff Corporation | Method and apparatus for fixating a camera on a target point using image alignment |
| US6320624B1 (en) | 1998-01-16 | 2001-11-20 | ECOLE POLYTECHNIQUE FéDéRALE | Method and system for combining video sequences with spatio-temporal alignment |
| US7843510B1 (en) | 1998-01-16 | 2010-11-30 | Ecole Polytechnique Federale De Lausanne | Method and system for combining video sequences with spatio-temporal alignment |
| US6211913B1 (en) | 1998-03-23 | 2001-04-03 | Sarnoff Corporation | Apparatus and method for removing blank areas from real-time stabilized images by inserting background information |
| EP1068730A4 (en) | 1998-04-02 | 2005-03-30 | Kewazinga Corp | NAVIGATING TELE-ACTIVITY PROCESS AND SYSTEM WITH CAMERA LINE |
| US6067373A (en) * | 1998-04-02 | 2000-05-23 | Arch Development Corporation | Method, system and computer readable medium for iterative image warping prior to temporal subtraction of chest radiographs in the detection of interval changes |
| US6522325B1 (en) | 1998-04-02 | 2003-02-18 | Kewazinga Corp. | Navigable telepresence method and system utilizing an array of cameras |
| US6459822B1 (en) | 1998-08-26 | 2002-10-01 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Video image stabilization and registration |
| US6454410B1 (en) | 1999-10-20 | 2002-09-24 | The Trustees Of The University Of Pennsylvania | Mosaicing and enhancement of images for ophthalmic diagnosis and documentation |
| CN100349188C (zh) * | 1999-11-24 | 2007-11-14 | 伊摩信科技有限公司 | 以时空同步整合视频序列的方法及系统 |
| AU1793301A (en) * | 1999-11-26 | 2001-06-04 | Mobileye, Inc. | System and method for estimating ego-motion of a moving vehicle using successiveimages recorded along the vehicle's path of motion |
| US6099124A (en) * | 1999-12-14 | 2000-08-08 | Hidaji; Faramarz | Ophthalmological system and method |
| US6809758B1 (en) | 1999-12-29 | 2004-10-26 | Eastman Kodak Company | Automated stabilization method for digital image sequences |
| US6993719B1 (en) | 2000-02-11 | 2006-01-31 | Sony Corporation | System and method for animated character photo-editing interface and cross-platform education icon |
| US7262778B1 (en) | 2000-02-11 | 2007-08-28 | Sony Corporation | Automatic color adjustment of a template design |
| US6757027B1 (en) | 2000-02-11 | 2004-06-29 | Sony Corporation | Automatic video editing |
| US7136528B2 (en) * | 2000-02-11 | 2006-11-14 | Sony Corporation | System and method for editing digital images |
| AU2001247315A1 (en) * | 2000-03-10 | 2001-09-24 | Sensormatic Electronics Corporation | Method and apparatus for object tracking and detection |
| US7019773B1 (en) * | 2000-05-25 | 2006-03-28 | Prc Inc. | Video mosaic |
| US6826292B1 (en) * | 2000-06-23 | 2004-11-30 | Sarnoff Corporation | Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation |
| EP1354292B1 (en) * | 2000-12-01 | 2012-04-04 | Imax Corporation | Method and apparatus FOR DEVELOPING HIGH-RESOLUTION IMAGERY |
| JP2002224982A (ja) * | 2000-12-01 | 2002-08-13 | Yaskawa Electric Corp | 薄型基板搬送用ロボットおよび薄型基板検出方法 |
| US6423720B1 (en) * | 2001-02-01 | 2002-07-23 | Duquesne University Of The Holy Ghost | Pyrimidine compounds and methods for making and using the same |
| US7103235B2 (en) | 2001-04-25 | 2006-09-05 | Lockheed Martin Corporation | Extended range image processing for electro-optical systems |
| US6901173B2 (en) * | 2001-04-25 | 2005-05-31 | Lockheed Martin Corporation | Scene-based non-uniformity correction for detector arrays |
| US6973218B2 (en) * | 2001-04-25 | 2005-12-06 | Lockheed Martin Corporation | Dynamic range compression |
| US6965379B2 (en) | 2001-05-08 | 2005-11-15 | Koninklijke Philips Electronics N.V. | N-view synthesis from monocular video of certain broadcast and stored mass media content |
| FR2828314B1 (fr) * | 2001-07-31 | 2003-12-12 | Sagem | Procede de stabilisation electronique des images d'une scene d'un appareil de prise de vues d'un systeme d'imagerie et procede d'harmonisation electronique de deux appareils de prise de vues de deux systemes d'imagerie |
| FR2828315B1 (fr) * | 2001-07-31 | 2005-08-05 | Sagem | Stabilisation des images d'une scene, correction des offsets de niveaux de gris, detection d'objets mobiles et harmonisation de deux appareils de prise de vues fondes sur la stabilisation des images |
| EP1428389A1 (en) * | 2001-09-07 | 2004-06-16 | Intergraph Hardware Technologies Company | Method, device and computer program product for demultiplexing of video images |
| US7006665B2 (en) * | 2002-01-18 | 2006-02-28 | Lockheed Martin Corporation | Adaptive, product control and stabilization sub-system for camera-based optical character recognition, and a method of operating the same |
| EP1483909B1 (en) * | 2002-03-13 | 2010-04-28 | Imax Corporation | Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data |
| US6925195B2 (en) * | 2002-05-28 | 2005-08-02 | Eastman Kodak Company | Stabilization of three-dimensional images in a scannerless range imaging system |
| US7119837B2 (en) | 2002-06-28 | 2006-10-10 | Microsoft Corporation | Video processing system and method for automatic enhancement of digital video |
| JP3859673B2 (ja) * | 2002-09-17 | 2006-12-20 | 富士通株式会社 | 生体情報取得装置および生体情報による認証装置 |
| US20040100565A1 (en) * | 2002-11-22 | 2004-05-27 | Eastman Kodak Company | Method and system for generating images used in extended range panorama composition |
| US20040100563A1 (en) | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
| US7602415B2 (en) * | 2003-01-17 | 2009-10-13 | Insitu, Inc. | Compensation for overflight velocity when stabilizing an airborne camera |
| US7876359B2 (en) * | 2003-01-17 | 2011-01-25 | Insitu, Inc. | Cooperative nesting of mechanical and electronic stabilization for an airborne camera system |
| US7298869B1 (en) * | 2003-07-21 | 2007-11-20 | Abernathy Donald A | Multispectral data acquisition system and method |
| JP2005078528A (ja) * | 2003-09-02 | 2005-03-24 | Honda Motor Co Ltd | 物体検出装置及び方法 |
| US7382400B2 (en) * | 2004-02-19 | 2008-06-03 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| US7742077B2 (en) * | 2004-02-19 | 2010-06-22 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| US7561186B2 (en) * | 2004-04-19 | 2009-07-14 | Seiko Epson Corporation | Motion blur correction |
| US9210312B2 (en) | 2004-06-02 | 2015-12-08 | Bosch Security Systems, Inc. | Virtual mask for use in autotracking video camera images |
| US20050270372A1 (en) * | 2004-06-02 | 2005-12-08 | Henninger Paul E Iii | On-screen display and privacy masking apparatus and method |
| US8212872B2 (en) * | 2004-06-02 | 2012-07-03 | Robert Bosch Gmbh | Transformable privacy mask for video camera images |
| JP3901173B2 (ja) * | 2004-06-07 | 2007-04-04 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| US20050285947A1 (en) * | 2004-06-21 | 2005-12-29 | Grindstaff Gene A | Real-time stabilization |
| US7463753B2 (en) | 2004-09-15 | 2008-12-09 | Raytheon Company | FLIR-to-missile boresight correlation and non-uniformity compensation of the missile seeker |
| GB0423578D0 (en) * | 2004-10-22 | 2004-11-24 | Greenparrotpictures Ltd | Dominant motion estimation for image sequence processing |
| DE102005000820B4 (de) * | 2004-12-08 | 2007-07-05 | Carl Zeiss Ag | Verfahren zum Verbessern der Sehfähigkeit einer sehbehinderten Person und Sehhilfe |
| US7961966B2 (en) * | 2005-01-04 | 2011-06-14 | Etron Technology, Inc. | Digitized image stabilization using energy analysis method |
| CN100565589C (zh) * | 2005-01-12 | 2009-12-02 | 皇家飞利浦电子股份有限公司 | 用于深度感知的装置和方法 |
| US7489341B2 (en) * | 2005-01-18 | 2009-02-10 | Primax Electronics Ltd. | Method to stabilize digital video motion |
| WO2006079997A2 (en) * | 2005-01-31 | 2006-08-03 | Koninklijke Philips Electronics N.V. | Pyramidal decomposition for multi-resolution image filtering |
| GB2426074A (en) * | 2005-05-05 | 2006-11-15 | Vitec Group Plc | Camera mounting with gyroscopic stablizer |
| GB2425907A (en) * | 2005-05-05 | 2006-11-08 | Vitec Group Plc | Improvements in or relating to camera mounting |
| US7755667B2 (en) * | 2005-05-17 | 2010-07-13 | Eastman Kodak Company | Image sequence stabilization method and camera having dual path image sequence stabilization |
| GB2432071A (en) * | 2005-11-04 | 2007-05-09 | Autoliv Dev | Determining pixel values for an enhanced image dependent on earlier processed pixels but independent of pixels below the pixel in question |
| WO2007053075A2 (en) * | 2005-11-04 | 2007-05-10 | Autoliv Development Ab | Infrared vision arrangement and image enhancement method |
| CA2636858C (en) * | 2006-01-27 | 2015-11-24 | Imax Corporation | Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality |
| US8411931B2 (en) * | 2006-06-23 | 2013-04-02 | Imax Corporation | Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition |
| FR2903200B1 (fr) * | 2006-06-29 | 2008-12-19 | Thales Sa | Stabilisation hybride d'images pour camera video |
| US8432448B2 (en) | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
| US20090262074A1 (en) * | 2007-01-05 | 2009-10-22 | Invensense Inc. | Controlling and accessing content using motion processing on mobile devices |
| US20080165280A1 (en) * | 2007-01-05 | 2008-07-10 | Deever Aaron T | Digital video stabilization with manual control |
| US8462109B2 (en) * | 2007-01-05 | 2013-06-11 | Invensense, Inc. | Controlling and accessing content using motion processing on mobile devices |
| US8020441B2 (en) * | 2008-02-05 | 2011-09-20 | Invensense, Inc. | Dual mode sensing for vibratory gyroscope |
| US20090265671A1 (en) * | 2008-04-21 | 2009-10-22 | Invensense | Mobile devices with motion gesture recognition |
| US8250921B2 (en) | 2007-07-06 | 2012-08-28 | Invensense, Inc. | Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics |
| US8952832B2 (en) | 2008-01-18 | 2015-02-10 | Invensense, Inc. | Interfacing application programs and motion sensors of a device |
| US8141424B2 (en) | 2008-09-12 | 2012-03-27 | Invensense, Inc. | Low inertia frame for detecting coriolis acceleration |
| US7934423B2 (en) * | 2007-12-10 | 2011-05-03 | Invensense, Inc. | Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics |
| US8047075B2 (en) | 2007-06-21 | 2011-11-01 | Invensense, Inc. | Vertically integrated 3-axis MEMS accelerometer with electronics |
| US8508039B1 (en) | 2008-05-08 | 2013-08-13 | Invensense, Inc. | Wafer scale chip scale packaging of vertically integrated MEMS sensors with electronics |
| US20100071467A1 (en) * | 2008-09-24 | 2010-03-25 | Invensense | Integrated multiaxis motion sensor |
| US7796872B2 (en) * | 2007-01-05 | 2010-09-14 | Invensense, Inc. | Method and apparatus for producing a sharp image from a handheld device containing a gyroscope |
| US20080212895A1 (en) * | 2007-01-09 | 2008-09-04 | Lockheed Martin Corporation | Image data processing techniques for highly undersampled images |
| US8457410B2 (en) * | 2007-02-14 | 2013-06-04 | Technion Research And Development Foundation Ltd. | Over-parameterized variational optical flow method |
| US7995800B2 (en) * | 2007-02-28 | 2011-08-09 | Imec | System and method for motion detection and the use thereof in video coding |
| JP4389956B2 (ja) * | 2007-04-04 | 2009-12-24 | ソニー株式会社 | 顔認識装置及び顔認識方法、並びにコンピュータ・プログラム |
| JP4926920B2 (ja) * | 2007-11-16 | 2012-05-09 | キヤノン株式会社 | 防振画像処理装置及び防振画像処理方法 |
| JP5213237B2 (ja) * | 2008-04-17 | 2013-06-19 | パナソニック株式会社 | 撮像位置判定方法及び撮像位置判定装置 |
| US8081224B2 (en) * | 2008-05-07 | 2011-12-20 | Aptina Imaging Corporation | Method and apparatus for image stabilization using multiple image captures |
| DE102009011032A1 (de) | 2009-03-02 | 2010-09-09 | Epiret Gmbh | Mobile Video Trainingseinheit |
| US8314816B2 (en) * | 2009-06-08 | 2012-11-20 | Honeywell International Inc. | System and method for displaying information on a display element |
| WO2011094346A1 (en) * | 2010-01-26 | 2011-08-04 | Hobbs Barry L | Integrated concurrent multi-standard encoder, decoder and transcoder |
| US8896715B2 (en) | 2010-02-11 | 2014-11-25 | Microsoft Corporation | Generic platform video image stabilization |
| JP2012054911A (ja) * | 2010-08-05 | 2012-03-15 | Panasonic Corp | 撮像装置 |
| US20120076403A1 (en) * | 2010-09-23 | 2012-03-29 | Oscar Nestares | System and method for all-in-focus imaging from multiple images acquired with hand-held camera |
| US8711248B2 (en) | 2011-02-25 | 2014-04-29 | Microsoft Corporation | Global alignment for high-dynamic range image generation |
| US20120328161A1 (en) * | 2011-06-22 | 2012-12-27 | Palenychka Roman | Method and multi-scale attention system for spatiotemporal change determination and object detection |
| US9824426B2 (en) | 2011-08-01 | 2017-11-21 | Microsoft Technology Licensing, Llc | Reduced latency video stabilization |
| US8761439B1 (en) | 2011-08-24 | 2014-06-24 | Sri International | Method and apparatus for generating three-dimensional pose using monocular visual sensor and inertial measurement unit |
| US8760513B2 (en) | 2011-09-30 | 2014-06-24 | Siemens Industry, Inc. | Methods and system for stabilizing live video in the presence of long-term image drift |
| US9338352B2 (en) * | 2011-12-30 | 2016-05-10 | Flir Systems Ab | Image stabilization systems and methods |
| US8774513B2 (en) | 2012-01-09 | 2014-07-08 | General Electric Company | Image concealing via efficient feature selection |
| EP2812884B1 (en) * | 2012-02-06 | 2018-01-10 | Aselsan Elektronik Sanayi ve Ticaret Anonim Sirketi | System and method for stabilizing digital image sequences |
| JP6087671B2 (ja) * | 2013-03-12 | 2017-03-01 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| IL233684B (en) | 2014-07-17 | 2018-01-31 | Shamir Hanan | Stabilizing and displaying remote images |
| US10554965B2 (en) | 2014-08-18 | 2020-02-04 | Google Llc | Motion-compensated partitioning |
| US20170069103A1 (en) * | 2015-09-08 | 2017-03-09 | Microsoft Technology Licensing, Llc | Kinematic quantity measurement from an image |
| WO2017087537A1 (en) | 2015-11-16 | 2017-05-26 | Google Inc. | Stabilization based on accelerometer data |
| FR3047103B1 (fr) * | 2016-01-26 | 2019-05-24 | Thales | Procede de detection de cibles au sol et en mouvement dans un flux video acquis par une camera aeroportee |
| US10397600B1 (en) | 2016-01-29 | 2019-08-27 | Google Llc | Dynamic reference motion vector coding mode |
| US10462457B2 (en) | 2016-01-29 | 2019-10-29 | Google Llc | Dynamic reference motion vector coding mode |
| CN108510520B (zh) * | 2018-02-13 | 2019-03-08 | 视辰信息科技(上海)有限公司 | 一种图像处理方法、装置及ar设备 |
| CN110072064B (zh) * | 2019-06-12 | 2020-07-03 | 睿魔智能科技（深圳）有限公司 | 一种图像拍摄方法、装置、设备以及存储介质 |
| US10937232B2 (en) | 2019-06-26 | 2021-03-02 | Honeywell International Inc. | Dense mapping using range sensor multi-scanning and multi-view geometry from successive image frames |
| CN113923369B (zh) * | 2021-12-13 | 2022-03-15 | 北京海兰信数据科技股份有限公司 | 一种用于船舶的视频防抖方法和系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4835532A (en) * | 1982-07-30 | 1989-05-30 | Honeywell Inc. | Nonaliasing real-time spatial transform image processing system |
| GB8518803D0 (en) * | 1985-07-25 | 1985-08-29 | Rca Corp | Locating target patterns within images |
| US4703514A (en) * | 1985-09-16 | 1987-10-27 | Rca Corporation | Programmed implementation of real-time multiresolution signal processing apparatus |
| GB2220319B (en) * | 1988-07-01 | 1992-11-04 | Plessey Co Plc | Improvements in or relating to image stabilisation |
| US5063603A (en) * | 1989-11-06 | 1991-11-05 | David Sarnoff Research Center, Inc. | Dynamic method for recognizing objects and image processing system therefor |
| GB9001468D0 (en) * | 1990-01-23 | 1990-03-21 | Sarnoff David Res Center | Computing multiple motions within an image region |
| US5259040A (en) * | 1991-10-04 | 1993-11-02 | David Sarnoff Research Center, Inc. | Method for determining sensor motion and scene structure and image processing system therefor |
| US5251271A (en) * | 1991-10-21 | 1993-10-05 | R. R. Donnelley & Sons Co. | Method for automatic registration of digitized multi-plane images |
-
1994
- 1994-06-02 EP EP94919278A patent/EP0701758B1/en not_active Expired - Lifetime
- 1994-06-02 DE DE69426232T patent/DE69426232T2/de not_active Expired - Fee Related
- 1994-06-02 JP JP50187595A patent/JP3734829B2/ja not_active Expired - Fee Related
- 1994-06-02 WO PCT/US1994/006032 patent/WO1994030007A1/en active IP Right Grant
- 1994-06-02 KR KR1019950705473A patent/KR100268311B1/ko not_active IP Right Cessation
- 1994-06-02 ES ES99204323T patent/ES2258311T3/es not_active Expired - Lifetime
- 1994-06-02 DE DE69434657T patent/DE69434657T2/de not_active Expired - Fee Related
- 1994-06-02 EP EP99204323A patent/EP0986252B1/en not_active Expired - Lifetime
- 1994-06-02 ES ES94919278T patent/ES2151550T3/es not_active Expired - Lifetime
- 1994-10-28 US US08/328,783 patent/US5629988A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE69426232D1 (de) | 2000-12-07 |
| ES2151550T3 (es) | 2001-01-01 |
| EP0986252A1 (en) | 2000-03-15 |
| EP0701758B1 (en) | 2000-11-02 |
| JPH08511137A (ja) | 1996-11-19 |
| US5629988A (en) | 1997-05-13 |
| DE69434657T2 (de) | 2007-02-15 |
| JP3734829B2 (ja) | 2006-01-11 |
| DE69434657D1 (de) | 2006-05-04 |
| KR960702974A (ko) | 1996-05-23 |
| EP0701758A1 (en) | 1996-03-20 |
| WO1994030007A1 (en) | 1994-12-22 |
| KR100268311B1 (ko) | 2000-10-16 |
| EP0986252B1 (en) | 2006-03-08 |
| DE69426232T2 (de) | 2001-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2258311T3 (es) | Sistema y procedimiento para la estabilizacion electronica de imagenes. | |
| US10404917B2 (en) | One-pass video stabilization | |
| Ben-Ezra et al. | Video super-resolution using controlled subpixel detector shifts | |
| Hardie et al. | Joint MAP registration and high-resolution image estimation using a sequence of undersampled images | |
| US9277129B2 (en) | Robust image feature based video stabilization and smoothing | |
| US8503821B2 (en) | Scene based non-uniformity correction systems and methods | |
| US11138742B2 (en) | Event-based feature tracking | |
| ES2847348T3 (es) | Procedimiento y aparato para dar seguimiento a un objeto | |
| ES2773841T3 (es) | Procesamiento de imágenes | |
| KR950005601B1 (ko) | 디지탈 영상 안정화 방법 및 시스템 | |
| CN105635588A (zh) | 一种稳像方法及装置 | |
| JP2000306108A (ja) | オプティカルフロー推定方法 | |
| Ben-Ezra et al. | Jitter camera: High resolution video from a low resolution detector | |
| JP2005526318A (ja) | オプティカルフローを決定する方法及び装置 | |
| Hardie | Super-resolution using adaptive Wiener filters | |
| Gural | Algorithms and software for meteor detection | |
| US11756215B2 (en) | Image processing device, image processing method, and image processing program | |
| JP2000011134A (ja) | 移動量検出装置及びその方法 | |
| Yacoob et al. | Temporal multi-scale models for flow and acceleration | |
| Macwan et al. | A survey on various techniques of super resolution imaging | |
| US20220207903A1 (en) | Pose data generation device, cg data generation system, pose data generation method, and non-transitory computer readable storage medium | |
| Yu | Robust Selfie and General Video Stabilization | |
| Auvray et al. | Multiresolution parametric estimation of transparent motions | |
| Neumann et al. | Adaptive multistage 2D image motion field estimation | |
| Kim et al. | Translation estimation from omnidirectional images |